Turns out the fast ping averager was useless in client mode and essentially always had the last ping with zero variance stored. Fixing that, there is now a guaranteed minimum number of stored past pings.