fix token state corruption during yylex(), namely when its interna call the
interactive command line editing and during t̲h̲a̲t̲ evaluate-region is called,
which uses the parser… so, the latter is now f̲i̲n̲a̲l̲l̲y̲ ripe for production 🎉