Need to record the other annotations before we can record this,
otherwise popping the extra annotations fails.
Factor out an '_annotate_one' helper, as it makes the code cleaner, especially
since we added a progress bar.