server.channel: do Close cleanup parts separately

For example, if we create a channel without a channel manager, the
first of these cleanups will fail, but the other two won't.

Signed-off-by: Jonny Lamb <jonny.lamb@collabora.co.uk>