Major rework, simplify what is put into the queues.
Now we only put refs into the regular queue, and move items into
their own queue.
We also don't need to prioritize the queue anymore, so we use simple 'append'
rather than anything fancier, and we don't need to include the search key
prefix anymore.