Fix another edge case.

Our test suite doesn't always have APIHostPorts available, because we don't
always have a machine-0. In those cases, we can get an EnvironTag but not
have any addresses to connect to. We don't want to end up setting the
connection addresses to the empty list, and make it hard to actually
connect to the environment.
Add a test, move where we set addrs to only set it when they have changed.