Make sure the icon is cleared also when a source is removed

The code was there, but an superfluous condition made the function return
early.