Use a contextmanager for the formatter to ensure it gets flushed.

This replaces the __del__ hack. Apart from not abusing __del__ the
advantage is this gives no useless warning if we bail with an exception.