add some tolerance when pruning queue

normally it should not matter but there is a race case between source client pruning and
a listener detaching from queue when the lock is re-acquired for updating.