Change the internals of _loader a fair amount.

Rather than trying to pack things into C long types, we go ahead
and keep the reference to them. Should be interesting.