Use a set() to ensure we don't repeat parents.

Repeated children is useful, because stuff like dicts can do it, and it
lets you know the key:value. Repeated parents doesn't seem to do
anything but waste a lot of memory.