Don't perform the standard scroll if we've just scrolled using the press timeout

This avoids an extra scroll on button release event.