Let's keep the references to the contracts around all the time.

Previously we were depending on references held by client code, but it's a source of bugs, so better keep our own references in addition to external references.