vmtest: when putting console to debug log, decode with errors=replace

The console logs from boot and install are not guaranteed to have
utf-8 decodable content written to them.   This would cause a stacktrace
on the failure to decode.

In practice, I saw this when testing precise while working on UEFI.