More debug timing.
{'_process_pending': 0.31604861791095284,
 '_read_records_iter': 1.493346989631362,
 'annotate one': 5.0270826320105231,
 'annotate time': 7.4366645760843912,
 'expand_record': 0.4893973954790547,
 'first ann': 8498,
 'get build graph': 0.24679763768858889,
 'get_matching_blocks()': 3.7303522514733056,
 'heads time': 0.1828461438535145,
 'known blocks': 4389,
 'left parents': 4560,
 'multi heads': 30,
 'multi source': 8649,
 'one head': 8619,
 'one source': 973,
 'overall': 7.6605459632439326,
 'resolve annotations': 0.2150744019142099,
 'right parents': 2094,
 'unknown blocks': 2265,
 'update left': 0.9340078138422363,
 'update other match': 3.3286844417377002,
 'update other resolve': 0.34835153629861293,
 'update rest': 3.7008640064589233}

proc_pending + expand + read_raw gives about 2s to get the texts.
and then we spend 5s annotating, 3.5s of that is get_matching_blocks().
So there is about 400ms left to trim out of _update_from_other_parents,
which really isn't much.

The next *biggest* time would be to improve the PatienceSequence information.