Big performance win, back to 650ms.

Note that we don't need to grow known_parent_gdfos indefinitely.
Once we have queued up a node to be walked, we should never walk
it again, so we can remove the entry.
We also can avoid ever *setting* the item if we resolve it in
the first pass.

Will update the python version as well.