Use cmp_by_dirs in _iter_changes, it saves a bit of time.
When I initially wrote it, I thought they wouldn't be called often,
but I realize now they are evaluated when we have unknown/ignored files
on disk.