Add a flag that controls if we will return InventoryEntries from the cache.

Setting this to true makes conversion a lot faster, but isn't safe to do
all the time, as callers might mutate the returned object.