Use row-activated signal instead of selection-changed. This will avoid that hy u-c-c decides which port the system should use after the user unplugs the headset.  PulseAudio will do the job for us.