← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tree.py

  • Committer: Robert Collins
  • Date: 2010-04-08 04:34:03 UTC
  • mfrom: (5138 +trunk)
  • mto: This revision was merged to the branch mainline in revision 5139.
  • Revision ID: robertc@robertcollins.net-20100408043403-56z0d07vdqrx7f3t
Update bugfix for 528114 to trunk.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tree.py
1
 
# Copyright (C) 2005 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
"""Tree classes, representing directory at point in time.
18
18
"""
19
19
 
20
20
import os
21
21
from collections import deque
22
 
from cStringIO import StringIO
23
22
 
24
23
import bzrlib
25
24
from bzrlib import (
 
25
    conflicts as _mod_conflicts,
 
26
    debug,
26
27
    delta,
 
28
    filters,
27
29
    osutils,
28
30
    revision as _mod_revision,
29
 
    conflicts as _mod_conflicts,
30
 
    symbol_versioning,
 
31
    rules,
31
32
    )
32
33
from bzrlib.decorators import needs_read_lock
33
 
from bzrlib.errors import BzrError, BzrCheckError
 
34
from bzrlib.errors import BzrError, NoSuchId
34
35
from bzrlib import errors
35
 
from bzrlib.inventory import Inventory, InventoryFile
 
36
from bzrlib.inventory import InventoryFile
36
37
from bzrlib.inter import InterObject
37
38
from bzrlib.osutils import fingerprint_file
38
39
import bzrlib.revision
39
 
from bzrlib.trace import mutter, note
 
40
from bzrlib.symbol_versioning import deprecated_function, deprecated_in
 
41
from bzrlib.trace import note
40
42
 
41
43
 
42
44
class Tree(object):
43
45
    """Abstract file tree.
44
46
 
45
47
    There are several subclasses:
46
 
    
 
48
 
47
49
    * `WorkingTree` exists as files on disk editable by the user.
48
50
 
49
51
    * `RevisionTree` is a tree as recorded at some point in the past.
58
60
    Trees can be compared, etc, regardless of whether they are working
59
61
    trees or versioned trees.
60
62
    """
61
 
    
 
63
 
62
64
    def changes_from(self, other, want_unchanged=False, specific_files=None,
63
65
        extra_trees=None, require_versioned=False, include_root=False,
64
66
        want_unversioned=False):
78
80
            a PathsNotVersionedError will be thrown.
79
81
        :param want_unversioned: Scan for unversioned paths.
80
82
 
81
 
        The comparison will be performed by an InterTree object looked up on 
 
83
        The comparison will be performed by an InterTree object looked up on
82
84
        self and other.
83
85
        """
84
86
        # Martin observes that Tree.changes_from returns a TreeDelta and this
93
95
            want_unversioned=want_unversioned,
94
96
            )
95
97
 
96
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_three)
97
 
    def _iter_changes(self, *args, **kwargs):
98
 
        return self.iter_changes(*args, **kwargs)
99
 
 
100
98
    def iter_changes(self, from_tree, include_unchanged=False,
101
99
                     specific_files=None, pb=None, extra_trees=None,
102
100
                     require_versioned=True, want_unversioned=False):
 
101
        """See InterTree.iter_changes"""
103
102
        intertree = InterTree.get(from_tree, self)
104
103
        return intertree.iter_changes(include_unchanged, specific_files, pb,
105
104
            extra_trees, require_versioned, want_unversioned=want_unversioned)
106
 
    
 
105
 
107
106
    def conflicts(self):
108
107
        """Get a list of the conflicts in the tree.
109
108
 
116
115
        return []
117
116
 
118
117
    def get_parent_ids(self):
119
 
        """Get the parent ids for this tree. 
 
118
        """Get the parent ids for this tree.
120
119
 
121
120
        :return: a list of parent ids. [] is returned to indicate
122
121
        a tree with no parents.
123
122
        :raises: BzrError if the parents are not known.
124
123
        """
125
124
        raise NotImplementedError(self.get_parent_ids)
126
 
    
 
125
 
127
126
    def has_filename(self, filename):
128
127
        """True if the tree has given filename."""
129
128
        raise NotImplementedError(self.has_filename)
131
130
    def has_id(self, file_id):
132
131
        return self.inventory.has_id(file_id)
133
132
 
134
 
    __contains__ = has_id
 
133
    def __contains__(self, file_id):
 
134
        return self.has_id(file_id)
135
135
 
136
136
    def has_or_had_id(self, file_id):
137
 
        if file_id == self.inventory.root.file_id:
138
 
            return True
139
137
        return self.inventory.has_id(file_id)
140
138
 
141
139
    def is_ignored(self, filename):
162
160
 
163
161
    def is_control_filename(self, filename):
164
162
        """True if filename is the name of a control file in this tree.
165
 
        
 
163
 
166
164
        :param filename: A filename within the tree. This is a relative path
167
165
        from the root of this tree.
168
166
 
173
171
        return self.bzrdir.is_control_filename(filename)
174
172
 
175
173
    @needs_read_lock
176
 
    def iter_entries_by_dir(self, specific_file_ids=None):
 
174
    def iter_entries_by_dir(self, specific_file_ids=None, yield_parents=False):
177
175
        """Walk the tree in 'by_dir' order.
178
176
 
179
 
        This will yield each entry in the tree as a (path, entry) tuple. The
180
 
        order that they are yielded is: the contents of a directory are 
181
 
        preceeded by the parent of a directory, and all the contents of a 
182
 
        directory are grouped together.
 
177
        This will yield each entry in the tree as a (path, entry) tuple.
 
178
        The order that they are yielded is:
 
179
 
 
180
        Directories are walked in a depth-first lexicographical order,
 
181
        however, whenever a directory is reached, all of its direct child
 
182
        nodes are yielded in  lexicographical order before yielding the
 
183
        grandchildren.
 
184
 
 
185
        For example, in the tree::
 
186
 
 
187
           a/
 
188
             b/
 
189
               c
 
190
             d/
 
191
               e
 
192
           f/
 
193
             g
 
194
 
 
195
        The yield order (ignoring root) would be::
 
196
          a, f, a/b, a/d, a/b/c, a/d/e, f/g
 
197
 
 
198
        :param yield_parents: If True, yield the parents from the root leading
 
199
            down to specific_file_ids that have been requested. This has no
 
200
            impact if specific_file_ids is None.
183
201
        """
184
202
        return self.inventory.iter_entries_by_dir(
185
 
            specific_file_ids=specific_file_ids)
 
203
            specific_file_ids=specific_file_ids, yield_parents=yield_parents)
186
204
 
187
205
    def iter_references(self):
188
 
        for path, entry in self.iter_entries_by_dir():
189
 
            if entry.kind == 'tree-reference':
190
 
                yield path, entry.file_id
 
206
        if self.supports_tree_reference():
 
207
            for path, entry in self.iter_entries_by_dir():
 
208
                if entry.kind == 'tree-reference':
 
209
                    yield path, entry.file_id
191
210
 
192
211
    def kind(self, file_id):
193
212
        raise NotImplementedError("Tree subclass %s must implement kind"
203
222
 
204
223
    def path_content_summary(self, path):
205
224
        """Get a summary of the information about path.
206
 
        
 
225
 
 
226
        All the attributes returned are for the canonical form, not the
 
227
        convenient form (if content filters are in use.)
 
228
 
207
229
        :param path: A relative path within the tree.
208
230
        :return: A tuple containing kind, size, exec, sha1-or-link.
209
231
            Kind is always present (see tree.kind()).
210
 
            size is present if kind is file, None otherwise.
 
232
            size is present if kind is file and the size of the 
 
233
                canonical form can be cheaply determined, None otherwise.
211
234
            exec is None unless kind is file and the platform supports the 'x'
212
235
                bit.
213
236
            sha1-or-link is the link target if kind is symlink, or the sha1 if
236
259
 
237
260
    def _get_inventory(self):
238
261
        return self._inventory
239
 
    
 
262
 
240
263
    def get_file(self, file_id, path=None):
241
264
        """Return a file object for the file file_id in the tree.
242
 
        
 
265
 
243
266
        If both file_id and path are defined, it is implementation defined as
244
267
        to which one is used.
245
268
        """
246
269
        raise NotImplementedError(self.get_file)
247
270
 
 
271
    def get_file_with_stat(self, file_id, path=None):
 
272
        """Get a file handle and stat object for file_id.
 
273
 
 
274
        The default implementation returns (self.get_file, None) for backwards
 
275
        compatibility.
 
276
 
 
277
        :param file_id: The file id to read.
 
278
        :param path: The path of the file, if it is known.
 
279
        :return: A tuple (file_handle, stat_value_or_None). If the tree has
 
280
            no stat facility, or need for a stat cache feedback during commit,
 
281
            it may return None for the second element of the tuple.
 
282
        """
 
283
        return (self.get_file(file_id, path), None)
 
284
 
 
285
    def get_file_text(self, file_id, path=None):
 
286
        """Return the byte content of a file.
 
287
 
 
288
        :param file_id: The file_id of the file.
 
289
        :param path: The path of the file.
 
290
        If both file_id and path are supplied, an implementation may use
 
291
        either one.
 
292
        """
 
293
        my_file = self.get_file(file_id, path)
 
294
        try:
 
295
            return my_file.read()
 
296
        finally:
 
297
            my_file.close()
 
298
 
 
299
    def get_file_lines(self, file_id, path=None):
 
300
        """Return the content of a file, as lines.
 
301
 
 
302
        :param file_id: The file_id of the file.
 
303
        :param path: The path of the file.
 
304
        If both file_id and path are supplied, an implementation may use
 
305
        either one.
 
306
        """
 
307
        return osutils.split_lines(self.get_file_text(file_id, path))
 
308
 
248
309
    def get_file_mtime(self, file_id, path=None):
249
310
        """Return the modification time for a file.
250
311
 
302
363
        """
303
364
        raise NotImplementedError(self.get_symlink_target)
304
365
 
 
366
    def get_canonical_inventory_paths(self, paths):
 
367
        """Like get_canonical_inventory_path() but works on multiple items.
 
368
 
 
369
        :param paths: A sequence of paths relative to the root of the tree.
 
370
        :return: A list of paths, with each item the corresponding input path
 
371
        adjusted to account for existing elements that match case
 
372
        insensitively.
 
373
        """
 
374
        return list(self._yield_canonical_inventory_paths(paths))
 
375
 
 
376
    def get_canonical_inventory_path(self, path):
 
377
        """Returns the first inventory item that case-insensitively matches path.
 
378
 
 
379
        If a path matches exactly, it is returned. If no path matches exactly
 
380
        but more than one path matches case-insensitively, it is implementation
 
381
        defined which is returned.
 
382
 
 
383
        If no path matches case-insensitively, the input path is returned, but
 
384
        with as many path entries that do exist changed to their canonical
 
385
        form.
 
386
 
 
387
        If you need to resolve many names from the same tree, you should
 
388
        use get_canonical_inventory_paths() to avoid O(N) behaviour.
 
389
 
 
390
        :param path: A paths relative to the root of the tree.
 
391
        :return: The input path adjusted to account for existing elements
 
392
        that match case insensitively.
 
393
        """
 
394
        return self._yield_canonical_inventory_paths([path]).next()
 
395
 
 
396
    def _yield_canonical_inventory_paths(self, paths):
 
397
        for path in paths:
 
398
            # First, if the path as specified exists exactly, just use it.
 
399
            if self.path2id(path) is not None:
 
400
                yield path
 
401
                continue
 
402
            # go walkin...
 
403
            cur_id = self.get_root_id()
 
404
            cur_path = ''
 
405
            bit_iter = iter(path.split("/"))
 
406
            for elt in bit_iter:
 
407
                lelt = elt.lower()
 
408
                new_path = None
 
409
                for child in self.iter_children(cur_id):
 
410
                    try:
 
411
                        # XXX: it seem like if the child is known to be in the
 
412
                        # tree, we shouldn't need to go from its id back to
 
413
                        # its path -- mbp 2010-02-11
 
414
                        #
 
415
                        # XXX: it seems like we could be more efficient
 
416
                        # by just directly looking up the original name and
 
417
                        # only then searching all children; also by not
 
418
                        # chopping paths so much. -- mbp 2010-02-11
 
419
                        child_base = os.path.basename(self.id2path(child))
 
420
                        if (child_base == elt):
 
421
                            # if we found an exact match, we can stop now; if
 
422
                            # we found an approximate match we need to keep
 
423
                            # searching because there might be an exact match
 
424
                            # later.  
 
425
                            cur_id = child
 
426
                            new_path = osutils.pathjoin(cur_path, child_base)
 
427
                            break
 
428
                        elif child_base.lower() == lelt:
 
429
                            cur_id = child
 
430
                            new_path = osutils.pathjoin(cur_path, child_base)
 
431
                    except NoSuchId:
 
432
                        # before a change is committed we can see this error...
 
433
                        continue
 
434
                if new_path:
 
435
                    cur_path = new_path
 
436
                else:
 
437
                    # got to the end of this directory and no entries matched.
 
438
                    # Return what matched so far, plus the rest as specified.
 
439
                    cur_path = osutils.pathjoin(cur_path, elt, *list(bit_iter))
 
440
                    break
 
441
            yield cur_path
 
442
        # all done.
 
443
 
305
444
    def get_root_id(self):
306
445
        """Return the file_id for the root of this tree."""
307
446
        raise NotImplementedError(self.get_root_id)
321
460
        raise NotImplementedError(self.annotate_iter)
322
461
 
323
462
    def _get_plan_merge_data(self, file_id, other, base):
324
 
        from bzrlib import merge, versionedfile
 
463
        from bzrlib import versionedfile
325
464
        vf = versionedfile._PlanMergeVersionedFile(file_id)
326
465
        last_revision_a = self._get_file_revision(file_id, vf, 'this:')
327
466
        last_revision_b = other._get_file_revision(file_id, vf, 'other:')
357
496
        return vf.plan_lca_merge(last_revision_a, last_revision_b,
358
497
                                 last_revision_base)
359
498
 
 
499
    def _iter_parent_trees(self):
 
500
        """Iterate through parent trees, defaulting to Tree.revision_tree."""
 
501
        for revision_id in self.get_parent_ids():
 
502
            try:
 
503
                yield self.revision_tree(revision_id)
 
504
            except errors.NoSuchRevisionInTree:
 
505
                yield self.repository.revision_tree(revision_id)
 
506
 
 
507
    @staticmethod
 
508
    def _file_revision(revision_tree, file_id):
 
509
        """Determine the revision associated with a file in a given tree."""
 
510
        revision_tree.lock_read()
 
511
        try:
 
512
            return revision_tree.inventory[file_id].revision
 
513
        finally:
 
514
            revision_tree.unlock()
 
515
 
360
516
    def _get_file_revision(self, file_id, vf, tree_revision):
361
 
        def file_revision(revision_tree):
362
 
            revision_tree.lock_read()
363
 
            try:
364
 
                return revision_tree.inventory[file_id].revision
365
 
            finally:
366
 
                revision_tree.unlock()
367
 
 
368
 
        def iter_parent_trees():
369
 
            for revision_id in self.get_parent_ids():
370
 
                try:
371
 
                    yield self.revision_tree(revision_id)
372
 
                except:
373
 
                    yield self.repository.revision_tree(revision_id)
374
 
 
375
 
        if getattr(self, '_get_weave', None) is None:
 
517
        """Ensure that file_id, tree_revision is in vf to plan the merge."""
 
518
 
 
519
        if getattr(self, '_repository', None) is None:
376
520
            last_revision = tree_revision
377
 
            parent_revisions = [file_revision(t) for t in iter_parent_trees()]
378
 
            vf.add_lines(last_revision, parent_revisions,
 
521
            parent_keys = [(file_id, self._file_revision(t, file_id)) for t in
 
522
                self._iter_parent_trees()]
 
523
            vf.add_lines((file_id, last_revision), parent_keys,
379
524
                         self.get_file(file_id).readlines())
380
525
            repo = self.branch.repository
381
 
            transaction = repo.get_transaction()
382
 
            base_vf = repo.weave_store.get_weave(file_id, transaction)
 
526
            base_vf = repo.texts
383
527
        else:
384
 
            last_revision = file_revision(self)
385
 
            base_vf = self._get_weave(file_id)
386
 
        vf.fallback_versionedfiles.append(base_vf)
 
528
            last_revision = self._file_revision(self, file_id)
 
529
            base_vf = self._repository.texts
 
530
        if base_vf not in vf.fallback_versionedfiles:
 
531
            vf.fallback_versionedfiles.append(base_vf)
387
532
        return last_revision
388
533
 
389
534
    inventory = property(_get_inventory,
391
536
 
392
537
    def _check_retrieved(self, ie, f):
393
538
        if not __debug__:
394
 
            return  
 
539
            return
395
540
        fp = fingerprint_file(f)
396
541
        f.seek(0)
397
 
        
 
542
 
398
543
        if ie.text_size is not None:
399
544
            if ie.text_size != fp['size']:
400
545
                raise BzrError("mismatched size for file %r in %r" % (ie.file_id, self._store),
415
560
 
416
561
    def paths2ids(self, paths, trees=[], require_versioned=True):
417
562
        """Return all the ids that can be reached by walking from paths.
418
 
        
 
563
 
419
564
        Each path is looked up in this tree and any extras provided in
420
565
        trees, and this is repeated recursively: the children in an extra tree
421
566
        of a directory that has been renamed under a provided path in this tree
432
577
        """
433
578
        return find_ids_across_trees(paths, [self] + list(trees), require_versioned)
434
579
 
435
 
    def print_file(self, file_id):
436
 
        """Print file with id `file_id` to stdout."""
437
 
        import sys
438
 
        sys.stdout.write(self.get_file_text(file_id))
 
580
    def iter_children(self, file_id):
 
581
        entry = self.iter_entries_by_dir([file_id]).next()[1]
 
582
        for child in getattr(entry, 'children', {}).itervalues():
 
583
            yield child.file_id
439
584
 
440
585
    def lock_read(self):
441
586
        pass
445
590
 
446
591
        The intention of this method is to allow access to possibly cached
447
592
        tree data. Implementors of this method should raise NoSuchRevision if
448
 
        the tree is not locally available, even if they could obtain the 
449
 
        tree via a repository or some other means. Callers are responsible 
 
593
        the tree is not locally available, even if they could obtain the
 
594
        tree via a repository or some other means. Callers are responsible
450
595
        for finding the ultimate source for a revision tree.
451
596
 
452
597
        :param revision_id: The revision_id of the requested tree.
457
602
 
458
603
    def unknowns(self):
459
604
        """What files are present in this tree and unknown.
460
 
        
 
605
 
461
606
        :return: an iterator over the unknown files.
462
607
        """
463
608
        return iter([])
471
616
        :return: set of paths.
472
617
        """
473
618
        # NB: we specifically *don't* call self.has_filename, because for
474
 
        # WorkingTrees that can indicate files that exist on disk but that 
 
619
        # WorkingTrees that can indicate files that exist on disk but that
475
620
        # are not versioned.
476
621
        pred = self.inventory.has_filename
477
622
        return set((p for p in paths if not pred(p)))
482
627
        This yields all the data about the contents of a directory at a time.
483
628
        After each directory has been yielded, if the caller has mutated the
484
629
        list to exclude some directories, they are then not descended into.
485
 
        
 
630
 
486
631
        The data yielded is of the form:
487
632
        ((directory-relpath, directory-path-from-root, directory-fileid),
488
 
        [(relpath, basename, kind, lstat, path_from_tree_root, file_id, 
 
633
        [(relpath, basename, kind, lstat, path_from_tree_root, file_id,
489
634
          versioned_kind), ...]),
490
635
         - directory-relpath is the containing dirs relpath from prefix
491
636
         - directory-path-from-root is the containing dirs path from /
498
643
         - lstat is the stat data *if* the file was statted.
499
644
         - path_from_tree_root is the path from the root of the tree.
500
645
         - file_id is the file_id if the entry is versioned.
501
 
         - versioned_kind is the kind of the file as last recorded in the 
 
646
         - versioned_kind is the kind of the file as last recorded in the
502
647
           versioning system. If 'unknown' the file is not versioned.
503
648
        One of 'kind' and 'versioned_kind' must not be 'unknown'.
504
649
 
509
654
        """
510
655
        raise NotImplementedError(self.walkdirs)
511
656
 
512
 
 
513
 
class EmptyTree(Tree):
514
 
 
515
 
    def __init__(self):
516
 
        self._inventory = Inventory(root_id=None)
517
 
        symbol_versioning.warn('EmptyTree is deprecated as of bzr 0.9 please'
518
 
                               ' use repository.revision_tree instead.',
519
 
                               DeprecationWarning, stacklevel=2)
520
 
 
521
 
    def get_parent_ids(self):
522
 
        return []
523
 
 
524
 
    def get_symlink_target(self, file_id):
525
 
        return None
526
 
 
527
 
    def has_filename(self, filename):
 
657
    def supports_content_filtering(self):
528
658
        return False
529
659
 
530
 
    def kind(self, file_id):
531
 
        return "directory"
532
 
 
533
 
    def list_files(self, include_root=False):
534
 
        return iter([])
535
 
    
536
 
    def __contains__(self, file_id):
537
 
        return (file_id in self._inventory)
538
 
 
539
 
    def get_file_sha1(self, file_id, path=None, stat_value=None):
540
 
        return None
 
660
    def _content_filter_stack(self, path=None, file_id=None):
 
661
        """The stack of content filters for a path if filtering is supported.
 
662
 
 
663
        Readers will be applied in first-to-last order.
 
664
        Writers will be applied in last-to-first order.
 
665
        Either the path or the file-id needs to be provided.
 
666
 
 
667
        :param path: path relative to the root of the tree
 
668
            or None if unknown
 
669
        :param file_id: file_id or None if unknown
 
670
        :return: the list of filters - [] if there are none
 
671
        """
 
672
        filter_pref_names = filters._get_registered_names()
 
673
        if len(filter_pref_names) == 0:
 
674
            return []
 
675
        if path is None:
 
676
            path = self.id2path(file_id)
 
677
        prefs = self.iter_search_rules([path], filter_pref_names).next()
 
678
        stk = filters._get_filter_stack_for(prefs)
 
679
        if 'filters' in debug.debug_flags:
 
680
            note("*** %s content-filter: %s => %r" % (path,prefs,stk))
 
681
        return stk
 
682
 
 
683
    def _content_filter_stack_provider(self):
 
684
        """A function that returns a stack of ContentFilters.
 
685
 
 
686
        The function takes a path (relative to the top of the tree) and a
 
687
        file-id as parameters.
 
688
 
 
689
        :return: None if content filtering is not supported by this tree.
 
690
        """
 
691
        if self.supports_content_filtering():
 
692
            return lambda path, file_id: \
 
693
                    self._content_filter_stack(path, file_id)
 
694
        else:
 
695
            return None
 
696
 
 
697
    def iter_search_rules(self, path_names, pref_names=None,
 
698
        _default_searcher=None):
 
699
        """Find the preferences for filenames in a tree.
 
700
 
 
701
        :param path_names: an iterable of paths to find attributes for.
 
702
          Paths are given relative to the root of the tree.
 
703
        :param pref_names: the list of preferences to lookup - None for all
 
704
        :param _default_searcher: private parameter to assist testing - don't use
 
705
        :return: an iterator of tuple sequences, one per path-name.
 
706
          See _RulesSearcher.get_items for details on the tuple sequence.
 
707
        """
 
708
        if _default_searcher is None:
 
709
            _default_searcher = rules._per_user_searcher
 
710
        searcher = self._get_rules_searcher(_default_searcher)
 
711
        if searcher is not None:
 
712
            if pref_names is not None:
 
713
                for path in path_names:
 
714
                    yield searcher.get_selected_items(path, pref_names)
 
715
            else:
 
716
                for path in path_names:
 
717
                    yield searcher.get_items(path)
 
718
 
 
719
    def _get_rules_searcher(self, default_searcher):
 
720
        """Get the RulesSearcher for this tree given the default one."""
 
721
        searcher = default_searcher
 
722
        return searcher
541
723
 
542
724
 
543
725
######################################################################
592
774
 
593
775
    return 'wtf?'
594
776
 
595
 
    
596
777
 
 
778
@deprecated_function(deprecated_in((1, 9, 0)))
597
779
def find_renames(old_inv, new_inv):
598
780
    for file_id in old_inv:
599
781
        if file_id not in new_inv:
602
784
        new_name = new_inv.id2path(file_id)
603
785
        if old_name != new_name:
604
786
            yield (old_name, new_name)
605
 
            
 
787
 
606
788
 
607
789
def find_ids_across_trees(filenames, trees, require_versioned=True):
608
790
    """Find the ids corresponding to specified filenames.
609
 
    
 
791
 
610
792
    All matches in all trees will be used, and all children of matched
611
793
    directories will be used.
612
794
 
626
808
 
627
809
def _find_ids_across_trees(filenames, trees, require_versioned):
628
810
    """Find the ids corresponding to specified filenames.
629
 
    
 
811
 
630
812
    All matches in all trees will be used, but subdirectories are not scanned.
631
813
 
632
814
    :param filenames: The filenames to find file_ids for
653
835
 
654
836
def _find_children_across_trees(specified_ids, trees):
655
837
    """Return a set including specified ids and their children.
656
 
    
 
838
 
657
839
    All matches in all trees will be used.
658
840
 
659
841
    :param trees: The trees to find file_ids within
660
 
    :return: a set containing all specified ids and their children 
 
842
    :return: a set containing all specified ids and their children
661
843
    """
662
844
    interesting_ids = set(specified_ids)
663
845
    pending = interesting_ids
667
849
        new_pending = set()
668
850
        for file_id in pending:
669
851
            for tree in trees:
670
 
                if not tree.has_id(file_id):
 
852
                if not tree.has_or_had_id(file_id):
671
853
                    continue
672
 
                entry = tree.inventory[file_id]
673
 
                for child in getattr(entry, 'children', {}).itervalues():
674
 
                    if child.file_id not in interesting_ids:
675
 
                        new_pending.add(child.file_id)
 
854
                for child_id in tree.iter_children(file_id):
 
855
                    if child_id not in interesting_ids:
 
856
                        new_pending.add(child_id)
676
857
        interesting_ids.update(new_pending)
677
858
        pending = new_pending
678
859
    return interesting_ids
689
870
    will pass through to InterTree as appropriate.
690
871
    """
691
872
 
 
873
    # Formats that will be used to test this InterTree. If both are
 
874
    # None, this InterTree will not be tested (e.g. because a complex
 
875
    # setup is required)
 
876
    _matching_from_tree_format = None
 
877
    _matching_to_tree_format = None
 
878
 
692
879
    _optimisers = []
693
880
 
 
881
    def _changes_from_entries(self, source_entry, target_entry,
 
882
        source_path=None, target_path=None):
 
883
        """Generate a iter_changes tuple between source_entry and target_entry.
 
884
 
 
885
        :param source_entry: An inventory entry from self.source, or None.
 
886
        :param target_entry: An inventory entry from self.target, or None.
 
887
        :param source_path: The path of source_entry, if known. If not known
 
888
            it will be looked up.
 
889
        :param target_path: The path of target_entry, if known. If not known
 
890
            it will be looked up.
 
891
        :return: A tuple, item 0 of which is an iter_changes result tuple, and
 
892
            item 1 is True if there are any changes in the result tuple.
 
893
        """
 
894
        if source_entry is None:
 
895
            if target_entry is None:
 
896
                return None
 
897
            file_id = target_entry.file_id
 
898
        else:
 
899
            file_id = source_entry.file_id
 
900
        if source_entry is not None:
 
901
            source_versioned = True
 
902
            source_name = source_entry.name
 
903
            source_parent = source_entry.parent_id
 
904
            if source_path is None:
 
905
                source_path = self.source.id2path(file_id)
 
906
            source_kind, source_executable, source_stat = \
 
907
                self.source._comparison_data(source_entry, source_path)
 
908
        else:
 
909
            source_versioned = False
 
910
            source_name = None
 
911
            source_parent = None
 
912
            source_kind = None
 
913
            source_executable = None
 
914
        if target_entry is not None:
 
915
            target_versioned = True
 
916
            target_name = target_entry.name
 
917
            target_parent = target_entry.parent_id
 
918
            if target_path is None:
 
919
                target_path = self.target.id2path(file_id)
 
920
            target_kind, target_executable, target_stat = \
 
921
                self.target._comparison_data(target_entry, target_path)
 
922
        else:
 
923
            target_versioned = False
 
924
            target_name = None
 
925
            target_parent = None
 
926
            target_kind = None
 
927
            target_executable = None
 
928
        versioned = (source_versioned, target_versioned)
 
929
        kind = (source_kind, target_kind)
 
930
        changed_content = False
 
931
        if source_kind != target_kind:
 
932
            changed_content = True
 
933
        elif source_kind == 'file':
 
934
            if (self.source.get_file_sha1(file_id, source_path, source_stat) !=
 
935
                self.target.get_file_sha1(file_id, target_path, target_stat)):
 
936
                changed_content = True
 
937
        elif source_kind == 'symlink':
 
938
            if (self.source.get_symlink_target(file_id) !=
 
939
                self.target.get_symlink_target(file_id)):
 
940
                changed_content = True
 
941
            # XXX: Yes, the indentation below is wrong. But fixing it broke
 
942
            # test_merge.TestMergerEntriesLCAOnDisk.
 
943
            # test_nested_tree_subtree_renamed_and_modified. We'll wait for
 
944
            # the fix from bzr.dev -- vila 2009026
 
945
            elif source_kind == 'tree-reference':
 
946
                if (self.source.get_reference_revision(file_id, source_path)
 
947
                    != self.target.get_reference_revision(file_id, target_path)):
 
948
                    changed_content = True
 
949
        parent = (source_parent, target_parent)
 
950
        name = (source_name, target_name)
 
951
        executable = (source_executable, target_executable)
 
952
        if (changed_content is not False or versioned[0] != versioned[1]
 
953
            or parent[0] != parent[1] or name[0] != name[1] or
 
954
            executable[0] != executable[1]):
 
955
            changes = True
 
956
        else:
 
957
            changes = False
 
958
        return (file_id, (source_path, target_path), changed_content,
 
959
                versioned, parent, name, kind, executable), changes
 
960
 
694
961
    @needs_read_lock
695
962
    def compare(self, want_unchanged=False, specific_files=None,
696
963
        extra_trees=None, require_versioned=False, include_root=False,
711
978
            a PathsNotVersionedError will be thrown.
712
979
        :param want_unversioned: Scan for unversioned paths.
713
980
        """
714
 
        # NB: show_status depends on being able to pass in non-versioned files
715
 
        # and report them as unknown
716
981
        trees = (self.source,)
717
982
        if extra_trees is not None:
718
983
            trees = trees + tuple(extra_trees)
759
1024
        :param require_versioned: Raise errors.PathsNotVersionedError if a
760
1025
            path in the specific_files list is not versioned in one of
761
1026
            source, target or extra_trees.
 
1027
        :param specific_files: An optional list of file paths to restrict the
 
1028
            comparison to. When mapping filenames to ids, all matches in all
 
1029
            trees (including optional extra_trees) are used, and all children
 
1030
            of matched directories are included. The parents in the target tree
 
1031
            of the specific files up to and including the root of the tree are
 
1032
            always evaluated for changes too.
762
1033
        :param want_unversioned: Should unversioned files be returned in the
763
1034
            output. An unversioned file is defined as one with (False, False)
764
1035
            for the versioned pair.
765
1036
        """
766
 
        result = []
767
1037
        lookup_trees = [self.source]
768
1038
        if extra_trees:
769
1039
             lookup_trees.extend(extra_trees)
 
1040
        # The ids of items we need to examine to insure delta consistency.
 
1041
        precise_file_ids = set()
 
1042
        changed_file_ids = []
770
1043
        if specific_files == []:
771
1044
            specific_file_ids = []
772
1045
        else:
773
1046
            specific_file_ids = self.target.paths2ids(specific_files,
774
1047
                lookup_trees, require_versioned=require_versioned)
 
1048
        if specific_files is not None:
 
1049
            # reparented or added entries must have their parents included
 
1050
            # so that valid deltas can be created. The seen_parents set
 
1051
            # tracks the parents that we need to have.
 
1052
            # The seen_dirs set tracks directory entries we've yielded.
 
1053
            # After outputting version object in to_entries we set difference
 
1054
            # the two seen sets and start checking parents.
 
1055
            seen_parents = set()
 
1056
            seen_dirs = set()
775
1057
        if want_unversioned:
776
1058
            all_unversioned = sorted([(p.split('/'), p) for p in
777
1059
                                     self.target.extras()
781
1063
        else:
782
1064
            all_unversioned = deque()
783
1065
        to_paths = {}
784
 
        from_entries_by_dir = list(self.source.inventory.iter_entries_by_dir(
 
1066
        from_entries_by_dir = list(self.source.iter_entries_by_dir(
785
1067
            specific_file_ids=specific_file_ids))
786
1068
        from_data = dict((e.file_id, (p, e)) for p, e in from_entries_by_dir)
787
 
        to_entries_by_dir = list(self.target.inventory.iter_entries_by_dir(
 
1069
        to_entries_by_dir = list(self.target.iter_entries_by_dir(
788
1070
            specific_file_ids=specific_file_ids))
789
1071
        num_entries = len(from_entries_by_dir) + len(to_entries_by_dir)
790
1072
        entry_count = 0
791
 
        # the unversioned path lookup only occurs on real trees - where there 
 
1073
        # the unversioned path lookup only occurs on real trees - where there
792
1074
        # can be extras. So the fake_entry is solely used to look up
793
1075
        # executable it values when execute is not supported.
794
1076
        fake_entry = InventoryFile('unused', 'unused', 'unused')
795
 
        for to_path, to_entry in to_entries_by_dir:
796
 
            while all_unversioned and all_unversioned[0][0] < to_path.split('/'):
 
1077
        for target_path, target_entry in to_entries_by_dir:
 
1078
            while (all_unversioned and
 
1079
                all_unversioned[0][0] < target_path.split('/')):
797
1080
                unversioned_path = all_unversioned.popleft()
798
 
                to_kind, to_executable, to_stat = \
 
1081
                target_kind, target_executable, target_stat = \
799
1082
                    self.target._comparison_data(fake_entry, unversioned_path[1])
800
1083
                yield (None, (None, unversioned_path[1]), True, (False, False),
801
1084
                    (None, None),
802
1085
                    (None, unversioned_path[0][-1]),
803
 
                    (None, to_kind),
804
 
                    (None, to_executable))
805
 
            file_id = to_entry.file_id
806
 
            to_paths[file_id] = to_path
 
1086
                    (None, target_kind),
 
1087
                    (None, target_executable))
 
1088
            source_path, source_entry = from_data.get(target_entry.file_id,
 
1089
                (None, None))
 
1090
            result, changes = self._changes_from_entries(source_entry,
 
1091
                target_entry, source_path=source_path, target_path=target_path)
 
1092
            to_paths[result[0]] = result[1][1]
807
1093
            entry_count += 1
808
 
            changed_content = False
809
 
            from_path, from_entry = from_data.get(file_id, (None, None))
810
 
            from_versioned = (from_entry is not None)
811
 
            if from_entry is not None:
812
 
                from_versioned = True
813
 
                from_name = from_entry.name
814
 
                from_parent = from_entry.parent_id
815
 
                from_kind, from_executable, from_stat = \
816
 
                    self.source._comparison_data(from_entry, from_path)
 
1094
            if result[3][0]:
817
1095
                entry_count += 1
818
 
            else:
819
 
                from_versioned = False
820
 
                from_kind = None
821
 
                from_parent = None
822
 
                from_name = None
823
 
                from_executable = None
824
 
            versioned = (from_versioned, True)
825
 
            to_kind, to_executable, to_stat = \
826
 
                self.target._comparison_data(to_entry, to_path)
827
 
            kind = (from_kind, to_kind)
828
 
            if kind[0] != kind[1]:
829
 
                changed_content = True
830
 
            elif from_kind == 'file':
831
 
                from_size = self.source._file_size(from_entry, from_stat)
832
 
                to_size = self.target._file_size(to_entry, to_stat)
833
 
                if from_size != to_size:
834
 
                    changed_content = True
835
 
                elif (self.source.get_file_sha1(file_id, from_path, from_stat) !=
836
 
                    self.target.get_file_sha1(file_id, to_path, to_stat)):
837
 
                    changed_content = True
838
 
            elif from_kind == 'symlink':
839
 
                if (self.source.get_symlink_target(file_id) !=
840
 
                    self.target.get_symlink_target(file_id)):
841
 
                    changed_content = True
842
 
                elif from_kind == 'tree-reference':
843
 
                    if (self.source.get_reference_revision(file_id, from_path)
844
 
                        != self.target.get_reference_revision(file_id, to_path)):
845
 
                        changed_content = True 
846
 
            parent = (from_parent, to_entry.parent_id)
847
 
            name = (from_name, to_entry.name)
848
 
            executable = (from_executable, to_executable)
849
1096
            if pb is not None:
850
1097
                pb.update('comparing files', entry_count, num_entries)
851
 
            if (changed_content is not False or versioned[0] != versioned[1]
852
 
                or parent[0] != parent[1] or name[0] != name[1] or 
853
 
                executable[0] != executable[1] or include_unchanged):
854
 
                yield (file_id, (from_path, to_path), changed_content,
855
 
                    versioned, parent, name, kind, executable)
856
 
 
 
1098
            if changes or include_unchanged:
 
1099
                if specific_file_ids is not None:
 
1100
                    new_parent_id = result[4][1]
 
1101
                    precise_file_ids.add(new_parent_id)
 
1102
                    changed_file_ids.append(result[0])
 
1103
                yield result
 
1104
            # Ensure correct behaviour for reparented/added specific files.
 
1105
            if specific_files is not None:
 
1106
                # Record output dirs
 
1107
                if result[6][1] == 'directory':
 
1108
                    seen_dirs.add(result[0])
 
1109
                # Record parents of reparented/added entries.
 
1110
                versioned = result[3]
 
1111
                parents = result[4]
 
1112
                if not versioned[0] or parents[0] != parents[1]:
 
1113
                    seen_parents.add(parents[1])
857
1114
        while all_unversioned:
858
1115
            # yield any trailing unversioned paths
859
1116
            unversioned_path = all_unversioned.popleft()
864
1121
                (None, unversioned_path[0][-1]),
865
1122
                (None, to_kind),
866
1123
                (None, to_executable))
867
 
 
868
 
        def get_to_path(to_entry):
869
 
            if to_entry.parent_id is None:
870
 
                to_path = '' # the root
871
 
            else:
872
 
                if to_entry.parent_id not in to_paths:
873
 
                    # recurse up
874
 
                    return get_to_path(self.target.inventory[to_entry.parent_id])
875
 
                to_path = osutils.pathjoin(to_paths[to_entry.parent_id],
876
 
                                           to_entry.name)
877
 
            to_paths[to_entry.file_id] = to_path
878
 
            return to_path
879
 
 
 
1124
        # Yield all remaining source paths
880
1125
        for path, from_entry in from_entries_by_dir:
881
1126
            file_id = from_entry.file_id
882
1127
            if file_id in to_paths:
883
1128
                # already returned
884
1129
                continue
885
 
            if not file_id in self.target.inventory:
 
1130
            if file_id not in self.target.all_file_ids():
886
1131
                # common case - paths we have not emitted are not present in
887
1132
                # target.
888
1133
                to_path = None
889
1134
            else:
890
 
                to_path = get_to_path(self.target.inventory[file_id])
 
1135
                to_path = self.target.id2path(file_id)
891
1136
            entry_count += 1
892
1137
            if pb is not None:
893
1138
                pb.update('comparing files', entry_count, num_entries)
898
1143
                self.source._comparison_data(from_entry, path)
899
1144
            kind = (from_kind, None)
900
1145
            executable = (from_executable, None)
901
 
            changed_content = True
 
1146
            changed_content = from_kind is not None
902
1147
            # the parent's path is necessarily known at this point.
 
1148
            changed_file_ids.append(file_id)
903
1149
            yield(file_id, (path, to_path), changed_content, versioned, parent,
904
1150
                  name, kind, executable)
 
1151
        changed_file_ids = set(changed_file_ids)
 
1152
        if specific_file_ids is not None:
 
1153
            for result in self._handle_precise_ids(precise_file_ids,
 
1154
                changed_file_ids):
 
1155
                yield result
 
1156
 
 
1157
    def _get_entry(self, tree, file_id):
 
1158
        """Get an inventory entry from a tree, with missing entries as None.
 
1159
 
 
1160
        If the tree raises NotImplementedError on accessing .inventory, then
 
1161
        this is worked around using iter_entries_by_dir on just the file id
 
1162
        desired.
 
1163
 
 
1164
        :param tree: The tree to lookup the entry in.
 
1165
        :param file_id: The file_id to lookup.
 
1166
        """
 
1167
        try:
 
1168
            inventory = tree.inventory
 
1169
        except NotImplementedError:
 
1170
            # No inventory available.
 
1171
            try:
 
1172
                iterator = tree.iter_entries_by_dir(specific_file_ids=[file_id])
 
1173
                return iterator.next()[1]
 
1174
            except StopIteration:
 
1175
                return None
 
1176
        else:
 
1177
            try:
 
1178
                return inventory[file_id]
 
1179
            except errors.NoSuchId:
 
1180
                return None
 
1181
 
 
1182
    def _handle_precise_ids(self, precise_file_ids, changed_file_ids,
 
1183
        discarded_changes=None):
 
1184
        """Fill out a partial iter_changes to be consistent.
 
1185
 
 
1186
        :param precise_file_ids: The file ids of parents that were seen during
 
1187
            the iter_changes.
 
1188
        :param changed_file_ids: The file ids of already emitted items.
 
1189
        :param discarded_changes: An optional dict of precalculated
 
1190
            iter_changes items which the partial iter_changes had not output
 
1191
            but had calculated.
 
1192
        :return: A generator of iter_changes items to output.
 
1193
        """
 
1194
        # process parents of things that had changed under the users
 
1195
        # requested paths to prevent incorrect paths or parent ids which
 
1196
        # aren't in the tree.
 
1197
        while precise_file_ids:
 
1198
            precise_file_ids.discard(None)
 
1199
            # Don't emit file_ids twice
 
1200
            precise_file_ids.difference_update(changed_file_ids)
 
1201
            if not precise_file_ids:
 
1202
                break
 
1203
            # If the there was something at a given output path in source, we
 
1204
            # have to include the entry from source in the delta, or we would
 
1205
            # be putting this entry into a used path.
 
1206
            paths = []
 
1207
            for parent_id in precise_file_ids:
 
1208
                try:
 
1209
                    paths.append(self.target.id2path(parent_id))
 
1210
                except errors.NoSuchId:
 
1211
                    # This id has been dragged in from the source by delta
 
1212
                    # expansion and isn't present in target at all: we don't
 
1213
                    # need to check for path collisions on it.
 
1214
                    pass
 
1215
            for path in paths:
 
1216
                old_id = self.source.path2id(path)
 
1217
                precise_file_ids.add(old_id)
 
1218
            precise_file_ids.discard(None)
 
1219
            current_ids = precise_file_ids
 
1220
            precise_file_ids = set()
 
1221
            # We have to emit all of precise_file_ids that have been altered.
 
1222
            # We may have to output the children of some of those ids if any
 
1223
            # directories have stopped being directories.
 
1224
            for file_id in current_ids:
 
1225
                # Examine file_id
 
1226
                if discarded_changes:
 
1227
                    result = discarded_changes.get(file_id)
 
1228
                    old_entry = None
 
1229
                else:
 
1230
                    result = None
 
1231
                if result is None:
 
1232
                    old_entry = self._get_entry(self.source, file_id)
 
1233
                    new_entry = self._get_entry(self.target, file_id)
 
1234
                    result, changes = self._changes_from_entries(
 
1235
                        old_entry, new_entry)
 
1236
                else:
 
1237
                    changes = True
 
1238
                # Get this parents parent to examine.
 
1239
                new_parent_id = result[4][1]
 
1240
                precise_file_ids.add(new_parent_id)
 
1241
                if changes:
 
1242
                    if (result[6][0] == 'directory' and
 
1243
                        result[6][1] != 'directory'):
 
1244
                        # This stopped being a directory, the old children have
 
1245
                        # to be included.
 
1246
                        if old_entry is None:
 
1247
                            # Reusing a discarded change.
 
1248
                            old_entry = self._get_entry(self.source, file_id)
 
1249
                        for child in old_entry.children.values():
 
1250
                            precise_file_ids.add(child.file_id)
 
1251
                    changed_file_ids.add(result[0])
 
1252
                    yield result
 
1253
 
 
1254
 
 
1255
class MultiWalker(object):
 
1256
    """Walk multiple trees simultaneously, getting combined results."""
 
1257
 
 
1258
    # Note: This could be written to not assume you can do out-of-order
 
1259
    #       lookups. Instead any nodes that don't match in all trees could be
 
1260
    #       marked as 'deferred', and then returned in the final cleanup loop.
 
1261
    #       For now, I think it is "nicer" to return things as close to the
 
1262
    #       "master_tree" order as we can.
 
1263
 
 
1264
    def __init__(self, master_tree, other_trees):
 
1265
        """Create a new MultiWalker.
 
1266
 
 
1267
        All trees being walked must implement "iter_entries_by_dir()", such
 
1268
        that they yield (path, object) tuples, where that object will have a
 
1269
        '.file_id' member, that can be used to check equality.
 
1270
 
 
1271
        :param master_tree: All trees will be 'slaved' to the master_tree such
 
1272
            that nodes in master_tree will be used as 'first-pass' sync points.
 
1273
            Any nodes that aren't in master_tree will be merged in a second
 
1274
            pass.
 
1275
        :param other_trees: A list of other trees to walk simultaneously.
 
1276
        """
 
1277
        self._master_tree = master_tree
 
1278
        self._other_trees = other_trees
 
1279
 
 
1280
        # Keep track of any nodes that were properly processed just out of
 
1281
        # order, that way we don't return them at the end, we don't have to
 
1282
        # track *all* processed file_ids, just the out-of-order ones
 
1283
        self._out_of_order_processed = set()
 
1284
 
 
1285
    @staticmethod
 
1286
    def _step_one(iterator):
 
1287
        """Step an iter_entries_by_dir iterator.
 
1288
 
 
1289
        :return: (has_more, path, ie)
 
1290
            If has_more is False, path and ie will be None.
 
1291
        """
 
1292
        try:
 
1293
            path, ie = iterator.next()
 
1294
        except StopIteration:
 
1295
            return False, None, None
 
1296
        else:
 
1297
            return True, path, ie
 
1298
 
 
1299
    @staticmethod
 
1300
    def _cmp_path_by_dirblock(path1, path2):
 
1301
        """Compare two paths based on what directory they are in.
 
1302
 
 
1303
        This generates a sort order, such that all children of a directory are
 
1304
        sorted together, and grandchildren are in the same order as the
 
1305
        children appear. But all grandchildren come after all children.
 
1306
 
 
1307
        :param path1: first path
 
1308
        :param path2: the second path
 
1309
        :return: negative number if ``path1`` comes first,
 
1310
            0 if paths are equal
 
1311
            and a positive number if ``path2`` sorts first
 
1312
        """
 
1313
        # Shortcut this special case
 
1314
        if path1 == path2:
 
1315
            return 0
 
1316
        # This is stolen from _dirstate_helpers_py.py, only switching it to
 
1317
        # Unicode objects. Consider using encode_utf8() and then using the
 
1318
        # optimized versions, or maybe writing optimized unicode versions.
 
1319
        if not isinstance(path1, unicode):
 
1320
            raise TypeError("'path1' must be a unicode string, not %s: %r"
 
1321
                            % (type(path1), path1))
 
1322
        if not isinstance(path2, unicode):
 
1323
            raise TypeError("'path2' must be a unicode string, not %s: %r"
 
1324
                            % (type(path2), path2))
 
1325
        return cmp(MultiWalker._path_to_key(path1),
 
1326
                   MultiWalker._path_to_key(path2))
 
1327
 
 
1328
    @staticmethod
 
1329
    def _path_to_key(path):
 
1330
        dirname, basename = osutils.split(path)
 
1331
        return (dirname.split(u'/'), basename)
 
1332
 
 
1333
    def _lookup_by_file_id(self, extra_entries, other_tree, file_id):
 
1334
        """Lookup an inventory entry by file_id.
 
1335
 
 
1336
        This is called when an entry is missing in the normal order.
 
1337
        Generally this is because a file was either renamed, or it was
 
1338
        deleted/added. If the entry was found in the inventory and not in
 
1339
        extra_entries, it will be added to self._out_of_order_processed
 
1340
 
 
1341
        :param extra_entries: A dictionary of {file_id: (path, ie)}.  This
 
1342
            should be filled with entries that were found before they were
 
1343
            used. If file_id is present, it will be removed from the
 
1344
            dictionary.
 
1345
        :param other_tree: The Tree to search, in case we didn't find the entry
 
1346
            yet.
 
1347
        :param file_id: The file_id to look for
 
1348
        :return: (path, ie) if found or (None, None) if not present.
 
1349
        """
 
1350
        if file_id in extra_entries:
 
1351
            return extra_entries.pop(file_id)
 
1352
        # TODO: Is id2path better as the first call, or is
 
1353
        #       inventory[file_id] better as a first check?
 
1354
        try:
 
1355
            cur_path = other_tree.id2path(file_id)
 
1356
        except errors.NoSuchId:
 
1357
            cur_path = None
 
1358
        if cur_path is None:
 
1359
            return (None, None)
 
1360
        else:
 
1361
            self._out_of_order_processed.add(file_id)
 
1362
            cur_ie = other_tree.inventory[file_id]
 
1363
            return (cur_path, cur_ie)
 
1364
 
 
1365
    def iter_all(self):
 
1366
        """Match up the values in the different trees."""
 
1367
        for result in self._walk_master_tree():
 
1368
            yield result
 
1369
        self._finish_others()
 
1370
        for result in self._walk_others():
 
1371
            yield result
 
1372
 
 
1373
    def _walk_master_tree(self):
 
1374
        """First pass, walk all trees in lock-step.
 
1375
 
 
1376
        When we are done, all nodes in the master_tree will have been
 
1377
        processed. _other_walkers, _other_entries, and _others_extra will be
 
1378
        set on 'self' for future processing.
 
1379
        """
 
1380
        # This iterator has the most "inlining" done, because it tends to touch
 
1381
        # every file in the tree, while the others only hit nodes that don't
 
1382
        # match.
 
1383
        master_iterator = self._master_tree.iter_entries_by_dir()
 
1384
 
 
1385
        other_walkers = [other.iter_entries_by_dir()
 
1386
                         for other in self._other_trees]
 
1387
        other_entries = [self._step_one(walker) for walker in other_walkers]
 
1388
        # Track extra nodes in the other trees
 
1389
        others_extra = [{} for i in xrange(len(self._other_trees))]
 
1390
 
 
1391
        master_has_more = True
 
1392
        step_one = self._step_one
 
1393
        lookup_by_file_id = self._lookup_by_file_id
 
1394
        out_of_order_processed = self._out_of_order_processed
 
1395
 
 
1396
        while master_has_more:
 
1397
            (master_has_more, path, master_ie) = step_one(master_iterator)
 
1398
            if not master_has_more:
 
1399
                break
 
1400
 
 
1401
            file_id = master_ie.file_id
 
1402
            other_values = []
 
1403
            other_values_append = other_values.append
 
1404
            next_other_entries = []
 
1405
            next_other_entries_append = next_other_entries.append
 
1406
            for idx, (other_has_more, other_path, other_ie) in enumerate(other_entries):
 
1407
                if not other_has_more:
 
1408
                    other_values_append(lookup_by_file_id(
 
1409
                        others_extra[idx], self._other_trees[idx], file_id))
 
1410
                    next_other_entries_append((False, None, None))
 
1411
                elif file_id == other_ie.file_id:
 
1412
                    # This is the critical code path, as most of the entries
 
1413
                    # should match between most trees.
 
1414
                    other_values_append((other_path, other_ie))
 
1415
                    next_other_entries_append(step_one(other_walkers[idx]))
 
1416
                else:
 
1417
                    # This walker did not match, step it until it either
 
1418
                    # matches, or we know we are past the current walker.
 
1419
                    other_walker = other_walkers[idx]
 
1420
                    other_extra = others_extra[idx]
 
1421
                    while (other_has_more and
 
1422
                           self._cmp_path_by_dirblock(other_path, path) < 0):
 
1423
                        other_file_id = other_ie.file_id
 
1424
                        if other_file_id not in out_of_order_processed:
 
1425
                            other_extra[other_file_id] = (other_path, other_ie)
 
1426
                        other_has_more, other_path, other_ie = \
 
1427
                            step_one(other_walker)
 
1428
                    if other_has_more and other_ie.file_id == file_id:
 
1429
                        # We ended up walking to this point, match and step
 
1430
                        # again
 
1431
                        other_values_append((other_path, other_ie))
 
1432
                        other_has_more, other_path, other_ie = \
 
1433
                            step_one(other_walker)
 
1434
                    else:
 
1435
                        # This record isn't in the normal order, see if it
 
1436
                        # exists at all.
 
1437
                        other_values_append(lookup_by_file_id(
 
1438
                            other_extra, self._other_trees[idx], file_id))
 
1439
                    next_other_entries_append((other_has_more, other_path,
 
1440
                                               other_ie))
 
1441
            other_entries = next_other_entries
 
1442
 
 
1443
            # We've matched all the walkers, yield this datapoint
 
1444
            yield path, file_id, master_ie, other_values
 
1445
        self._other_walkers = other_walkers
 
1446
        self._other_entries = other_entries
 
1447
        self._others_extra = others_extra
 
1448
 
 
1449
    def _finish_others(self):
 
1450
        """Finish walking the other iterators, so we get all entries."""
 
1451
        for idx, info in enumerate(self._other_entries):
 
1452
            other_extra = self._others_extra[idx]
 
1453
            (other_has_more, other_path, other_ie) = info
 
1454
            while other_has_more:
 
1455
                other_file_id = other_ie.file_id
 
1456
                if other_file_id not in self._out_of_order_processed:
 
1457
                    other_extra[other_file_id] = (other_path, other_ie)
 
1458
                other_has_more, other_path, other_ie = \
 
1459
                    self._step_one(self._other_walkers[idx])
 
1460
        del self._other_entries
 
1461
 
 
1462
    def _walk_others(self):
 
1463
        """Finish up by walking all the 'deferred' nodes."""
 
1464
        # TODO: One alternative would be to grab all possible unprocessed
 
1465
        #       file_ids, and then sort by path, and then yield them. That
 
1466
        #       might ensure better ordering, in case a caller strictly
 
1467
        #       requires parents before children.
 
1468
        for idx, other_extra in enumerate(self._others_extra):
 
1469
            others = sorted(other_extra.itervalues(),
 
1470
                            key=lambda x: self._path_to_key(x[0]))
 
1471
            for other_path, other_ie in others:
 
1472
                file_id = other_ie.file_id
 
1473
                # We don't need to check out_of_order_processed here, because
 
1474
                # the lookup_by_file_id will be removing anything processed
 
1475
                # from the extras cache
 
1476
                other_extra.pop(file_id)
 
1477
                other_values = [(None, None) for i in xrange(idx)]
 
1478
                other_values.append((other_path, other_ie))
 
1479
                for alt_idx, alt_extra in enumerate(self._others_extra[idx+1:]):
 
1480
                    alt_idx = alt_idx + idx + 1
 
1481
                    alt_extra = self._others_extra[alt_idx]
 
1482
                    alt_tree = self._other_trees[alt_idx]
 
1483
                    other_values.append(self._lookup_by_file_id(
 
1484
                                            alt_extra, alt_tree, file_id))
 
1485
                yield other_path, file_id, None, other_values