util: Wait for display opened only on X11 setup

This is actually only relevant for wayland sessions with Xwayland, as
it may lead to opening the X11 display with some delay.

But let's keep it to be a bit more conservative, and unblock the case
for setups with no-x11 at all.

Closes #279