Assert that entries in the annotation cache also get cleaned up.
This actually drops peak mem by almost 100MB, I wouldn't think the annotations
would be that expensive...
Anyway, texts themselves are still held by the VF stream, so we only save
for other things that we might be caching.