Properly handle annotating when ghosts are present.
get_build_details just skips ghosts, but layers on top may
want to raise RevisionNotPresent.
Also, _KnitAnnotator should not block waiting for a ghost to
show up before we annotate the child.