build: Limit which parts link to the evolution libraries (and gtk+)

Due to linking with Evolution in libraries not being used only in Evolution,
the code could bring the GUI libraries into processes unexpectedly,
especially gtk3 into a gtk4 application, which cannot be done.

This change limits the linkage to the Evolution to necessary minimum,
for a price of a small code duplication.

Related to https://gitlab.gnome.org/GNOME/gnome-contacts/-/issues/222