~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2009-04-07 13:08:21 UTC
  • mfrom: (4222.2.12 ui-username)
  • Revision ID: pqm@pqm.ubuntu.com-20090407130821-e4wi39x60alhpnr4
(Jelmer) Add UIFactory.get_username.

Show diffs side-by-side

added added

removed removed

Lines of Context:
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
# FIXME: This refactoring of the workingtree code doesn't seem to keep 
 
17
# FIXME: This refactoring of the workingtree code doesn't seem to keep
18
18
# the WorkingTree's copy of the inventory in sync with the branch.  The
19
19
# branch modifies its working inventory when it does a commit to make
20
20
# missing files permanently removed.
27
27
# created, but it's not for now.
28
28
ROOT_ID = "TREE_ROOT"
29
29
 
30
 
import os
31
 
import re
32
 
import sys
 
30
from copy import deepcopy
33
31
 
34
32
from bzrlib.lazy_import import lazy_import
35
33
lazy_import(globals(), """
36
34
import collections
 
35
import os
 
36
import re
37
37
import tarfile
38
38
 
39
39
import bzrlib
40
40
from bzrlib import (
 
41
    chk_map,
41
42
    errors,
42
43
    generate_ids,
43
44
    osutils,
50
51
    BzrCheckError,
51
52
    BzrError,
52
53
    )
 
54
from bzrlib.symbol_versioning import deprecated_in, deprecated_method
53
55
from bzrlib.trace import mutter
54
56
 
55
57
 
68
70
        file_id of the parent directory, or ROOT_ID
69
71
 
70
72
    revision
71
 
        the revision_id in which this variation of this file was 
 
73
        the revision_id in which this variation of this file was
72
74
        introduced.
73
75
 
74
76
    executable
77
79
 
78
80
    text_sha1
79
81
        sha-1 of the text of the file
80
 
        
 
82
 
81
83
    text_size
82
84
        size in bytes of the text of the file
83
 
        
 
85
 
84
86
    (reading a version 4 tree created a text_id field.)
85
87
 
86
88
    >>> i = Inventory()
89
91
    >>> i.add(InventoryDirectory('123', 'src', ROOT_ID))
90
92
    InventoryDirectory('123', 'src', parent_id='TREE_ROOT', revision=None)
91
93
    >>> i.add(InventoryFile('2323', 'hello.c', parent_id='123'))
92
 
    InventoryFile('2323', 'hello.c', parent_id='123', sha1=None, len=None)
 
94
    InventoryFile('2323', 'hello.c', parent_id='123', sha1=None, len=None, revision=None)
93
95
    >>> shouldbe = {0: '', 1: 'src', 2: 'src/hello.c'}
94
96
    >>> for ix, j in enumerate(i.iter_entries()):
95
97
    ...   print (j[0] == shouldbe[ix], j[1])
96
 
    ... 
 
98
    ...
97
99
    (True, InventoryDirectory('TREE_ROOT', u'', parent_id=None, revision=None))
98
100
    (True, InventoryDirectory('123', 'src', parent_id='TREE_ROOT', revision=None))
99
 
    (True, InventoryFile('2323', 'hello.c', parent_id='123', sha1=None, len=None))
 
101
    (True, InventoryFile('2323', 'hello.c', parent_id='123', sha1=None, len=None, revision=None))
100
102
    >>> i.add(InventoryFile('2324', 'bye.c', '123'))
101
 
    InventoryFile('2324', 'bye.c', parent_id='123', sha1=None, len=None)
 
103
    InventoryFile('2324', 'bye.c', parent_id='123', sha1=None, len=None, revision=None)
102
104
    >>> i.add(InventoryDirectory('2325', 'wibble', '123'))
103
105
    InventoryDirectory('2325', 'wibble', parent_id='123', revision=None)
104
106
    >>> i.path2id('src/wibble')
106
108
    >>> '2325' in i
107
109
    True
108
110
    >>> i.add(InventoryFile('2326', 'wibble.c', '2325'))
109
 
    InventoryFile('2326', 'wibble.c', parent_id='2325', sha1=None, len=None)
 
111
    InventoryFile('2326', 'wibble.c', parent_id='2325', sha1=None, len=None, revision=None)
110
112
    >>> i['2326']
111
 
    InventoryFile('2326', 'wibble.c', parent_id='2325', sha1=None, len=None)
 
113
    InventoryFile('2326', 'wibble.c', parent_id='2325', sha1=None, len=None, revision=None)
112
114
    >>> for path, entry in i.iter_entries():
113
115
    ...     print path
114
 
    ...     assert i.path2id(path)
115
 
    ... 
 
116
    ...
116
117
    <BLANKLINE>
117
118
    src
118
119
    src/bye.c
125
126
 
126
127
    # Constants returned by describe_change()
127
128
    #
128
 
    # TODO: These should probably move to some kind of FileChangeDescription 
129
 
    # class; that's like what's inside a TreeDelta but we want to be able to 
 
129
    # TODO: These should probably move to some kind of FileChangeDescription
 
130
    # class; that's like what's inside a TreeDelta but we want to be able to
130
131
    # generate them just for one file at a time.
131
132
    RENAMED = 'renamed'
132
133
    MODIFIED_AND_RENAMED = 'modified and renamed'
133
 
    
 
134
 
134
135
    __slots__ = []
135
136
 
136
137
    def detect_changes(self, old_entry):
137
138
        """Return a (text_modified, meta_modified) from this to old_entry.
138
 
        
139
 
        _read_tree_state must have been called on self and old_entry prior to 
 
139
 
 
140
        _read_tree_state must have been called on self and old_entry prior to
140
141
        calling detect_changes.
141
142
        """
142
143
        return False, False
143
144
 
144
 
    def diff(self, text_diff, from_label, tree, to_label, to_entry, to_tree,
145
 
             output_to, reverse=False):
146
 
        """Perform a diff from this to to_entry.
147
 
 
148
 
        text_diff will be used for textual difference calculation.
149
 
        This is a template method, override _diff in child classes.
150
 
        """
151
 
        self._read_tree_state(tree.id2path(self.file_id), tree)
152
 
        if to_entry:
153
 
            # cannot diff from one kind to another - you must do a removal
154
 
            # and an addif they do not match.
155
 
            assert self.kind == to_entry.kind
156
 
            to_entry._read_tree_state(to_tree.id2path(to_entry.file_id),
157
 
                                      to_tree)
158
 
        self._diff(text_diff, from_label, tree, to_label, to_entry, to_tree,
159
 
                   output_to, reverse)
160
 
 
161
145
    def _diff(self, text_diff, from_label, tree, to_label, to_entry, to_tree,
162
146
             output_to, reverse=False):
163
147
        """Perform a diff between two entries of the same kind."""
164
148
 
165
 
    def find_previous_heads(self, previous_inventories,
166
 
                            versioned_file_store,
167
 
                            transaction,
168
 
                            entry_vf=None):
169
 
        """Return the revisions and entries that directly precede this.
170
 
 
171
 
        Returned as a map from revision to inventory entry.
172
 
 
173
 
        This is a map containing the file revisions in all parents
174
 
        for which the file exists, and its revision is not a parent of
175
 
        any other. If the file is new, the set will be empty.
176
 
 
177
 
        :param versioned_file_store: A store where ancestry data on this
178
 
                                     file id can be queried.
179
 
        :param transaction: The transaction that queries to the versioned 
180
 
                            file store should be completed under.
181
 
        :param entry_vf: The entry versioned file, if its already available.
 
149
    def parent_candidates(self, previous_inventories):
 
150
        """Find possible per-file graph parents.
 
151
 
 
152
        This is currently defined by:
 
153
         - Select the last changed revision in the parent inventory.
 
154
         - Do deal with a short lived bug in bzr 0.8's development two entries
 
155
           that have the same last changed but different 'x' bit settings are
 
156
           changed in-place.
182
157
        """
183
 
        def get_ancestors(weave, entry):
184
 
            return set(weave.get_ancestry(entry.revision))
185
158
        # revision:ie mapping for each ie found in previous_inventories.
186
159
        candidates = {}
187
 
        # revision:ie mapping with one revision for each head.
188
 
        heads = {}
189
 
        # revision: ancestor list for each head
190
 
        head_ancestors = {}
191
160
        # identify candidate head revision ids.
192
161
        for inv in previous_inventories:
193
162
            if self.file_id in inv:
194
163
                ie = inv[self.file_id]
195
 
                assert ie.file_id == self.file_id
196
 
                if ie.kind != self.kind:
197
 
                    # Can't be a candidate if the kind has changed.
198
 
                    continue
199
164
                if ie.revision in candidates:
200
165
                    # same revision value in two different inventories:
201
166
                    # correct possible inconsistencies:
202
 
                    #     * there was a bug in revision updates with 'x' bit 
 
167
                    #     * there was a bug in revision updates with 'x' bit
203
168
                    #       support.
204
169
                    try:
205
170
                        if candidates[ie.revision].executable != ie.executable:
207
172
                            ie.executable = False
208
173
                    except AttributeError:
209
174
                        pass
210
 
                    # must now be the same.
211
 
                    assert candidates[ie.revision] == ie
212
175
                else:
213
176
                    # add this revision as a candidate.
214
177
                    candidates[ie.revision] = ie
215
 
 
216
 
        # common case optimisation
217
 
        if len(candidates) == 1:
218
 
            # if there is only one candidate revision found
219
 
            # then we can opening the versioned file to access ancestry:
220
 
            # there cannot be any ancestors to eliminate when there is 
221
 
            # only one revision available.
222
 
            heads[ie.revision] = ie
223
 
            return heads
224
 
 
225
 
        # eliminate ancestors amongst the available candidates:
226
 
        # heads are those that are not an ancestor of any other candidate
227
 
        # - this provides convergence at a per-file level.
228
 
        for ie in candidates.values():
229
 
            # may be an ancestor of a known head:
230
 
            already_present = 0 != len(
231
 
                [head for head in heads 
232
 
                 if ie.revision in head_ancestors[head]])
233
 
            if already_present:
234
 
                # an ancestor of an analyzed candidate.
235
 
                continue
236
 
            # not an ancestor of a known head:
237
 
            # load the versioned file for this file id if needed
238
 
            if entry_vf is None:
239
 
                entry_vf = versioned_file_store.get_weave_or_empty(
240
 
                    self.file_id, transaction)
241
 
            ancestors = get_ancestors(entry_vf, ie)
242
 
            # may knock something else out:
243
 
            check_heads = list(heads.keys())
244
 
            for head in check_heads:
245
 
                if head in ancestors:
246
 
                    # this previously discovered 'head' is not
247
 
                    # really a head - its an ancestor of the newly 
248
 
                    # found head,
249
 
                    heads.pop(head)
250
 
            head_ancestors[ie.revision] = ancestors
251
 
            heads[ie.revision] = ie
252
 
        return heads
253
 
 
 
178
        return candidates
 
179
 
 
180
    @deprecated_method(deprecated_in((1, 6, 0)))
254
181
    def get_tar_item(self, root, dp, now, tree):
255
182
        """Get a tarfile item and a file stream for its content."""
256
183
        item = tarfile.TarInfo(osutils.pathjoin(root, dp).encode('utf8'))
273
200
 
274
201
    def __init__(self, file_id, name, parent_id, text_id=None):
275
202
        """Create an InventoryEntry
276
 
        
 
203
 
277
204
        The filename must be a single component, relative to the
278
205
        parent directory; it cannot be a whole path or relative name.
279
206
 
286
213
        Traceback (most recent call last):
287
214
        InvalidEntryName: Invalid entry name: src/hello.c
288
215
        """
289
 
        assert isinstance(name, basestring), name
290
216
        if '/' in name or '\\' in name:
291
217
            raise errors.InvalidEntryName(name=name)
292
218
        self.executable = False
294
220
        self.text_sha1 = None
295
221
        self.text_size = None
296
222
        self.file_id = file_id
297
 
        assert isinstance(file_id, (str, None.__class__)), \
298
 
            'bad type %r for %r' % (type(file_id), file_id)
299
223
        self.name = name
300
224
        self.text_id = text_id
301
225
        self.parent_id = parent_id
316
240
        raise BzrError("don't know how to export {%s} of kind %r" %
317
241
                       (self.file_id, self.kind))
318
242
 
 
243
    @deprecated_method(deprecated_in((1, 6, 0)))
319
244
    def put_on_disk(self, dest, dp, tree):
320
245
        """Create a representation of self on disk in the prefix dest.
321
 
        
 
246
 
322
247
        This is a template method - implement _put_on_disk in subclasses.
323
248
        """
324
249
        fullpath = osutils.pathjoin(dest, dp)
343
268
        This is a template method, override _check for kind specific
344
269
        tests.
345
270
 
346
 
        :param checker: Check object providing context for the checks; 
 
271
        :param checker: Check object providing context for the checks;
347
272
             can be used to find out what parts of the repository have already
348
273
             been checked.
349
274
        :param rev_id: Revision id from which this InventoryEntry was loaded.
359
284
 
360
285
    def _check(self, checker, rev_id, tree):
361
286
        """Check this inventory entry for kind specific errors."""
362
 
        raise BzrCheckError('unknown entry kind %r in revision {%s}' % 
 
287
        raise BzrCheckError('unknown entry kind %r in revision {%s}' %
363
288
                            (self.kind, rev_id))
364
289
 
365
290
    def copy(self):
369
294
    @staticmethod
370
295
    def describe_change(old_entry, new_entry):
371
296
        """Describe the change between old_entry and this.
372
 
        
 
297
 
373
298
        This smells of being an InterInventoryEntry situation, but as its
374
299
        the first one, we're making it a static method for now.
375
300
 
376
 
        An entry with a different parent, or different name is considered 
 
301
        An entry with a different parent, or different name is considered
377
302
        to be renamed. Reparenting is an internal detail.
378
303
        Note that renaming the parent does not trigger a rename for the
379
304
        child entry itself.
416
341
                   self.parent_id,
417
342
                   self.revision))
418
343
 
419
 
    def snapshot(self, revision, path, previous_entries,
420
 
                 work_tree, commit_builder):
421
 
        """Make a snapshot of this entry which may or may not have changed.
422
 
        
423
 
        This means that all its fields are populated, that it has its
424
 
        text stored in the text store or weave.
425
 
        """
426
 
        # mutter('new parents of %s are %r', path, previous_entries)
427
 
        self._read_tree_state(path, work_tree)
428
 
        # TODO: Where should we determine whether to reuse a
429
 
        # previous revision id or create a new revision? 20060606
430
 
        if len(previous_entries) == 1:
431
 
            # cannot be unchanged unless there is only one parent file rev.
432
 
            parent_ie = previous_entries.values()[0]
433
 
            if self._unchanged(parent_ie):
434
 
                # mutter("found unchanged entry")
435
 
                self.revision = parent_ie.revision
436
 
                return "unchanged"
437
 
        return self._snapshot_into_revision(revision, previous_entries, 
438
 
                                            work_tree, commit_builder)
439
 
 
440
 
    def _snapshot_into_revision(self, revision, previous_entries, work_tree,
441
 
                                commit_builder):
442
 
        """Record this revision unconditionally into a store.
443
 
 
444
 
        The entry's last-changed revision property (`revision`) is updated to 
445
 
        that of the new revision.
446
 
        
447
 
        :param revision: id of the new revision that is being recorded.
448
 
 
449
 
        :returns: String description of the commit (e.g. "merged", "modified"), etc.
450
 
        """
451
 
        # mutter('new revision {%s} for {%s}', revision, self.file_id)
452
 
        self.revision = revision
453
 
        self._snapshot_text(previous_entries, work_tree, commit_builder)
454
 
 
455
 
    def _snapshot_text(self, file_parents, work_tree, commit_builder): 
456
 
        """Record the 'text' of this entry, whatever form that takes.
457
 
        
458
 
        This default implementation simply adds an empty text.
459
 
        """
460
 
        raise NotImplementedError(self._snapshot_text)
461
 
 
462
344
    def __eq__(self, other):
 
345
        if other is self:
 
346
            # For the case when objects are cached
 
347
            return True
463
348
        if not isinstance(other, InventoryEntry):
464
349
            return NotImplemented
465
350
 
500
385
 
501
386
    def _read_tree_state(self, path, work_tree):
502
387
        """Populate fields in the inventory entry from the given tree.
503
 
        
 
388
 
504
389
        Note that this should be modified to be a noop on virtual trees
505
390
        as all entries created there are prepopulated.
506
391
        """
507
 
        # TODO: Rather than running this manually, we should check the 
 
392
        # TODO: Rather than running this manually, we should check the
508
393
        # working sha1 and other expensive properties when they're
509
394
        # first requested, or preload them if they're already known
510
395
        pass            # nothing to do by default
536
421
    def __eq__(self, other):
537
422
        if not isinstance(other, RootEntry):
538
423
            return NotImplemented
539
 
        
 
424
 
540
425
        return (self.file_id == other.file_id) \
541
426
               and (self.children == other.children)
542
427
 
583
468
        """See InventoryEntry._put_on_disk."""
584
469
        os.mkdir(fullpath)
585
470
 
586
 
    def _snapshot_text(self, file_parents, work_tree, commit_builder):
587
 
        """See InventoryEntry._snapshot_text."""
588
 
        commit_builder.modified_directory(self.file_id, file_parents)
589
 
 
590
471
 
591
472
class InventoryFile(InventoryEntry):
592
473
    """A file in an inventory."""
597
478
 
598
479
    def _check(self, checker, tree_revision_id, tree):
599
480
        """See InventoryEntry._check"""
600
 
        t = (self.file_id, self.revision)
601
 
        if t in checker.checked_texts:
602
 
            prev_sha = checker.checked_texts[t]
 
481
        key = (self.file_id, self.revision)
 
482
        if key in checker.checked_texts:
 
483
            prev_sha = checker.checked_texts[key]
603
484
            if prev_sha != self.text_sha1:
604
 
                raise BzrCheckError('mismatched sha1 on {%s} in {%s}' %
605
 
                                    (self.file_id, tree_revision_id))
 
485
                raise BzrCheckError(
 
486
                    'mismatched sha1 on {%s} in {%s} (%s != %s) %r' %
 
487
                    (self.file_id, tree_revision_id, prev_sha, self.text_sha1,
 
488
                     t))
606
489
            else:
607
490
                checker.repeated_text_cnt += 1
608
491
                return
609
492
 
610
 
        if self.file_id not in checker.checked_weaves:
611
 
            mutter('check weave {%s}', self.file_id)
612
 
            w = tree.get_weave(self.file_id)
613
 
            # Not passing a progress bar, because it creates a new
614
 
            # progress, which overwrites the current progress,
615
 
            # and doesn't look nice
616
 
            w.check()
617
 
            checker.checked_weaves[self.file_id] = True
618
 
        else:
619
 
            w = tree.get_weave(self.file_id)
620
 
 
621
 
        mutter('check version {%s} of {%s}', tree_revision_id, self.file_id)
622
493
        checker.checked_text_cnt += 1
623
494
        # We can't check the length, because Weave doesn't store that
624
495
        # information, and the whole point of looking at the weave's
625
496
        # sha1sum is that we don't have to extract the text.
626
 
        if self.text_sha1 != w.get_sha1(self.revision):
627
 
            raise BzrCheckError('text {%s} version {%s} wrong sha1' 
628
 
                                % (self.file_id, self.revision))
629
 
        checker.checked_texts[t] = self.text_sha1
 
497
        if (self.text_sha1 != tree._repository.texts.get_sha1s([key])[key]):
 
498
            raise BzrCheckError('text {%s} version {%s} wrong sha1' % key)
 
499
        checker.checked_texts[key] = self.text_sha1
630
500
 
631
501
    def copy(self):
632
502
        other = InventoryFile(self.file_id, self.name, self.parent_id)
639
509
 
640
510
    def detect_changes(self, old_entry):
641
511
        """See InventoryEntry.detect_changes."""
642
 
        assert self.text_sha1 is not None
643
 
        assert old_entry.text_sha1 is not None
644
512
        text_modified = (self.text_sha1 != old_entry.text_sha1)
645
513
        meta_modified = (self.executable != old_entry.executable)
646
514
        return text_modified, meta_modified
648
516
    def _diff(self, text_diff, from_label, tree, to_label, to_entry, to_tree,
649
517
             output_to, reverse=False):
650
518
        """See InventoryEntry._diff."""
651
 
        try:
652
 
            from_text = tree.get_file(self.file_id).readlines()
653
 
            if to_entry:
654
 
                to_text = to_tree.get_file(to_entry.file_id).readlines()
655
 
            else:
656
 
                to_text = []
657
 
            if not reverse:
658
 
                text_diff(from_label, from_text,
659
 
                          to_label, to_text, output_to)
660
 
            else:
661
 
                text_diff(to_label, to_text,
662
 
                          from_label, from_text, output_to)
663
 
        except errors.BinaryFile:
664
 
            if reverse:
665
 
                label_pair = (to_label, from_label)
666
 
            else:
667
 
                label_pair = (from_label, to_label)
668
 
            print >> output_to, "Binary files %s and %s differ" % label_pair
 
519
        from bzrlib.diff import DiffText
 
520
        from_file_id = self.file_id
 
521
        if to_entry:
 
522
            to_file_id = to_entry.file_id
 
523
        else:
 
524
            to_file_id = None
 
525
        if reverse:
 
526
            to_file_id, from_file_id = from_file_id, to_file_id
 
527
            tree, to_tree = to_tree, tree
 
528
            from_label, to_label = to_label, from_label
 
529
        differ = DiffText(tree, to_tree, output_to, 'utf-8', '', '',
 
530
                          text_diff)
 
531
        return differ.diff_text(from_file_id, to_file_id, from_label, to_label)
669
532
 
670
533
    def has_text(self):
671
534
        """See InventoryEntry.has_text."""
704
567
        self.executable = work_tree.is_executable(self.file_id, path=path)
705
568
 
706
569
    def __repr__(self):
707
 
        return ("%s(%r, %r, parent_id=%r, sha1=%r, len=%s)"
 
570
        return ("%s(%r, %r, parent_id=%r, sha1=%r, len=%s, revision=%s)"
708
571
                % (self.__class__.__name__,
709
572
                   self.file_id,
710
573
                   self.name,
711
574
                   self.parent_id,
712
575
                   self.text_sha1,
713
 
                   self.text_size))
 
576
                   self.text_size,
 
577
                   self.revision))
714
578
 
715
579
    def _forget_tree_state(self):
716
580
        self.text_sha1 = None
717
581
 
718
 
    def _snapshot_text(self, file_parents, work_tree, commit_builder):
719
 
        """See InventoryEntry._snapshot_text."""
720
 
        def get_content_byte_lines():
721
 
            return work_tree.get_file(self.file_id).readlines()
722
 
        self.text_sha1, self.text_size = commit_builder.modified_file_text(
723
 
            self.file_id, file_parents, get_content_byte_lines, self.text_sha1, self.text_size)
724
 
 
725
582
    def _unchanged(self, previous_ie):
726
583
        """See InventoryEntry._unchanged."""
727
584
        compatible = super(InventoryFile, self)._unchanged(previous_ie)
770
627
    def _diff(self, text_diff, from_label, tree, to_label, to_entry, to_tree,
771
628
             output_to, reverse=False):
772
629
        """See InventoryEntry._diff."""
773
 
        from_text = self.symlink_target
 
630
        from bzrlib.diff import DiffSymlink
 
631
        old_target = self.symlink_target
774
632
        if to_entry is not None:
775
 
            to_text = to_entry.symlink_target
776
 
            if reverse:
777
 
                temp = from_text
778
 
                from_text = to_text
779
 
                to_text = temp
780
 
            print >>output_to, '=== target changed %r => %r' % (from_text, to_text)
781
 
        else:
782
 
            if not reverse:
783
 
                print >>output_to, '=== target was %r' % self.symlink_target
784
 
            else:
785
 
                print >>output_to, '=== target is %r' % self.symlink_target
 
633
            new_target = to_entry.symlink_target
 
634
        else:
 
635
            new_target = None
 
636
        if not reverse:
 
637
            old_tree = tree
 
638
            new_tree = to_tree
 
639
        else:
 
640
            old_tree = to_tree
 
641
            new_tree = tree
 
642
            new_target, old_target = old_target, new_target
 
643
        differ = DiffSymlink(old_tree, new_tree, output_to)
 
644
        return differ.diff_symlink(old_target, new_target)
786
645
 
787
646
    def __init__(self, file_id, name, parent_id):
788
647
        super(InventoryLink, self).__init__(file_id, name, parent_id)
822
681
            compatible = False
823
682
        return compatible
824
683
 
825
 
    def _snapshot_text(self, file_parents, work_tree, commit_builder):
826
 
        """See InventoryEntry._snapshot_text."""
827
 
        commit_builder.modified_link(
828
 
            self.file_id, file_parents, self.symlink_target)
829
 
 
830
684
 
831
685
class TreeReference(InventoryEntry):
832
 
    
 
686
 
833
687
    kind = 'tree-reference'
834
 
    
 
688
 
835
689
    def __init__(self, file_id, name, parent_id, revision=None,
836
690
                 reference_revision=None):
837
691
        InventoryEntry.__init__(self, file_id, name, parent_id)
842
696
        return TreeReference(self.file_id, self.name, self.parent_id,
843
697
                             self.revision, self.reference_revision)
844
698
 
845
 
    def _snapshot_text(self, file_parents, work_tree, commit_builder):
846
 
        commit_builder.modified_reference(self.file_id, file_parents)
847
 
 
848
699
    def _read_tree_state(self, path, work_tree):
849
700
        """Populate fields in the inventory entry from the given tree.
850
701
        """
852
703
            self.file_id, path)
853
704
 
854
705
    def _forget_tree_state(self):
855
 
        self.reference_revision = None 
856
 
 
857
 
 
858
 
class Inventory(object):
859
 
    """Inventory of versioned files in a tree.
860
 
 
861
 
    This describes which file_id is present at each point in the tree,
862
 
    and possibly the SHA-1 or other information about the file.
863
 
    Entries can be looked up either by path or by file_id.
864
 
 
865
 
    The inventory represents a typical unix file tree, with
866
 
    directories containing files and subdirectories.  We never store
867
 
    the full path to a file, because renaming a directory implicitly
868
 
    moves all of its contents.  This class internally maintains a
869
 
    lookup tree that allows the children under a directory to be
870
 
    returned quickly.
871
 
 
872
 
    InventoryEntry objects must not be modified after they are
873
 
    inserted, other than through the Inventory API.
874
 
 
875
 
    >>> inv = Inventory()
876
 
    >>> inv.add(InventoryFile('123-123', 'hello.c', ROOT_ID))
877
 
    InventoryFile('123-123', 'hello.c', parent_id='TREE_ROOT', sha1=None, len=None)
878
 
    >>> inv['123-123'].name
879
 
    'hello.c'
880
 
 
881
 
    May be treated as an iterator or set to look up file ids:
882
 
    
883
 
    >>> bool(inv.path2id('hello.c'))
884
 
    True
885
 
    >>> '123-123' in inv
886
 
    True
887
 
 
888
 
    May also look up by name:
889
 
 
890
 
    >>> [x[0] for x in inv.iter_entries()]
891
 
    ['', u'hello.c']
892
 
    >>> inv = Inventory('TREE_ROOT-12345678-12345678')
893
 
    >>> inv.add(InventoryFile('123-123', 'hello.c', ROOT_ID))
894
 
    Traceback (most recent call last):
895
 
    BzrError: parent_id {TREE_ROOT} not in inventory
896
 
    >>> inv.add(InventoryFile('123-123', 'hello.c', 'TREE_ROOT-12345678-12345678'))
897
 
    InventoryFile('123-123', 'hello.c', parent_id='TREE_ROOT-12345678-12345678', sha1=None, len=None)
898
 
    """
899
 
    def __init__(self, root_id=ROOT_ID, revision_id=None):
900
 
        """Create or read an inventory.
901
 
 
902
 
        If a working directory is specified, the inventory is read
903
 
        from there.  If the file is specified, read from that. If not,
904
 
        the inventory is created empty.
905
 
 
906
 
        The inventory is created with a default root directory, with
907
 
        an id of None.
908
 
        """
909
 
        if root_id is not None:
910
 
            assert root_id.__class__ == str
911
 
            self._set_root(InventoryDirectory(root_id, u'', None))
912
 
        else:
913
 
            self.root = None
914
 
            self._byid = {}
915
 
        self.revision_id = revision_id
916
 
 
917
 
    def _set_root(self, ie):
918
 
        self.root = ie
919
 
        self._byid = {self.root.file_id: self.root}
920
 
 
921
 
    def copy(self):
922
 
        # TODO: jam 20051218 Should copy also copy the revision_id?
923
 
        entries = self.iter_entries()
924
 
        other = Inventory(entries.next()[1].file_id)
925
 
        # copy recursively so we know directories will be added before
926
 
        # their children.  There are more efficient ways than this...
927
 
        for path, entry in entries():
928
 
            other.add(entry.copy())
929
 
        return other
930
 
 
931
 
    def __iter__(self):
932
 
        return iter(self._byid)
933
 
 
934
 
    def __len__(self):
935
 
        """Returns number of entries."""
936
 
        return len(self._byid)
 
706
        self.reference_revision = None
 
707
 
 
708
    def _unchanged(self, previous_ie):
 
709
        """See InventoryEntry._unchanged."""
 
710
        compatible = super(TreeReference, self)._unchanged(previous_ie)
 
711
        if self.reference_revision != previous_ie.reference_revision:
 
712
            compatible = False
 
713
        return compatible
 
714
 
 
715
 
 
716
class CommonInventory(object):
 
717
    """Basic inventory logic, defined in terms of primitives like has_id."""
 
718
 
 
719
    def __contains__(self, file_id):
 
720
        """True if this entry contains a file with given id.
 
721
 
 
722
        >>> inv = Inventory()
 
723
        >>> inv.add(InventoryFile('123', 'foo.c', ROOT_ID))
 
724
        InventoryFile('123', 'foo.c', parent_id='TREE_ROOT', sha1=None, len=None, revision=None)
 
725
        >>> '123' in inv
 
726
        True
 
727
        >>> '456' in inv
 
728
        False
 
729
 
 
730
        Note that this method along with __iter__ are not encouraged for use as
 
731
        they are less clear than specific query methods - they may be rmeoved
 
732
        in the future.
 
733
        """
 
734
        return self.has_id(file_id)
 
735
 
 
736
    def id2path(self, file_id):
 
737
        """Return as a string the path to file_id.
 
738
 
 
739
        >>> i = Inventory()
 
740
        >>> e = i.add(InventoryDirectory('src-id', 'src', ROOT_ID))
 
741
        >>> e = i.add(InventoryFile('foo-id', 'foo.c', parent_id='src-id'))
 
742
        >>> print i.id2path('foo-id')
 
743
        src/foo.c
 
744
        """
 
745
        # get all names, skipping root
 
746
        return '/'.join(reversed(
 
747
            [parent.name for parent in
 
748
             self._iter_file_id_parents(file_id)][:-1]))
937
749
 
938
750
    def iter_entries(self, from_dir=None):
939
751
        """Return (path, entry) pairs, in order by name."""
943
755
            from_dir = self.root
944
756
            yield '', self.root
945
757
        elif isinstance(from_dir, basestring):
946
 
            from_dir = self._byid[from_dir]
947
 
            
 
758
            from_dir = self[from_dir]
 
759
 
948
760
        # unrolling the recursive called changed the time from
949
761
        # 440ms/663ms (inline/total) to 116ms/116ms
950
762
        children = from_dir.children.items()
979
791
                # if we finished all children, pop it off the stack
980
792
                stack.pop()
981
793
 
982
 
    def iter_entries_by_dir(self, from_dir=None, specific_file_ids=None):
 
794
    def iter_entries_by_dir(self, from_dir=None, specific_file_ids=None,
 
795
        yield_parents=False):
983
796
        """Iterate over the entries in a directory first order.
984
797
 
985
798
        This returns all entries for a directory before returning
987
800
        lexicographically sorted order, and is a hybrid between
988
801
        depth-first and breadth-first.
989
802
 
 
803
        :param yield_parents: If True, yield the parents from the root leading
 
804
            down to specific_file_ids that have been requested. This has no
 
805
            impact if specific_file_ids is None.
990
806
        :return: This yields (path, entry) pairs
991
807
        """
992
 
        if specific_file_ids:
993
 
            safe = osutils.safe_file_id
994
 
            specific_file_ids = set(safe(fid) for fid in specific_file_ids)
 
808
        if specific_file_ids and not isinstance(specific_file_ids, set):
 
809
            specific_file_ids = set(specific_file_ids)
995
810
        # TODO? Perhaps this should return the from_dir so that the root is
996
811
        # yielded? or maybe an option?
997
812
        if from_dir is None:
998
813
            if self.root is None:
999
814
                return
1000
815
            # Optimize a common case
1001
 
            if specific_file_ids is not None and len(specific_file_ids) == 1:
 
816
            if (not yield_parents and specific_file_ids is not None and
 
817
                len(specific_file_ids) == 1):
1002
818
                file_id = list(specific_file_ids)[0]
1003
819
                if file_id in self:
1004
820
                    yield self.id2path(file_id), self[file_id]
1005
 
                return 
 
821
                return
1006
822
            from_dir = self.root
1007
 
            if (specific_file_ids is None or 
 
823
            if (specific_file_ids is None or yield_parents or
1008
824
                self.root.file_id in specific_file_ids):
1009
825
                yield u'', self.root
1010
826
        elif isinstance(from_dir, basestring):
1011
 
            from_dir = self._byid[from_dir]
 
827
            from_dir = self[from_dir]
1012
828
 
1013
829
        if specific_file_ids is not None:
1014
830
            # TODO: jam 20070302 This could really be done as a loop rather
1015
831
            #       than a bunch of recursive calls.
1016
832
            parents = set()
1017
 
            byid = self._byid
 
833
            byid = self
1018
834
            def add_ancestors(file_id):
1019
835
                if file_id not in byid:
1020
836
                    return
1028
844
                add_ancestors(file_id)
1029
845
        else:
1030
846
            parents = None
1031
 
            
 
847
 
1032
848
        stack = [(u'', from_dir)]
1033
849
        while stack:
1034
850
            cur_relpath, cur_dir = stack.pop()
1038
854
 
1039
855
                child_relpath = cur_relpath + child_name
1040
856
 
1041
 
                if (specific_file_ids is None or 
1042
 
                    child_ie.file_id in specific_file_ids):
 
857
                if (specific_file_ids is None or
 
858
                    child_ie.file_id in specific_file_ids or
 
859
                    (yield_parents and child_ie.file_id in parents)):
1043
860
                    yield child_relpath, child_ie
1044
861
 
1045
862
                if child_ie.kind == 'directory':
1047
864
                        child_dirs.append((child_relpath+'/', child_ie))
1048
865
            stack.extend(reversed(child_dirs))
1049
866
 
 
867
    def _make_delta(self, old):
 
868
        """Make an inventory delta from two inventories."""
 
869
        old_ids = set(old)
 
870
        new_ids = set(self)
 
871
        adds = new_ids - old_ids
 
872
        deletes = old_ids - new_ids
 
873
        common = old_ids.intersection(new_ids)
 
874
        delta = []
 
875
        for file_id in deletes:
 
876
            delta.append((old.id2path(file_id), None, file_id, None))
 
877
        for file_id in adds:
 
878
            delta.append((None, self.id2path(file_id), file_id, self[file_id]))
 
879
        for file_id in common:
 
880
            if old[file_id] != self[file_id]:
 
881
                delta.append((old.id2path(file_id), self.id2path(file_id),
 
882
                    file_id, self[file_id]))
 
883
        return delta
 
884
 
 
885
    def _get_mutable_inventory(self):
 
886
        """Returns a mutable copy of the object.
 
887
 
 
888
        Some inventories are immutable, yet working trees, for example, needs
 
889
        to mutate exisiting inventories instead of creating a new one.
 
890
        """
 
891
        raise NotImplementedError(self._get_mutable_inventory)
 
892
 
 
893
    def make_entry(self, kind, name, parent_id, file_id=None):
 
894
        """Simple thunk to bzrlib.inventory.make_entry."""
 
895
        return make_entry(kind, name, parent_id, file_id)
 
896
 
1050
897
    def entries(self):
1051
898
        """Return list of (path, ie) for all entries except the root.
1052
899
 
1071
918
        accum = []
1072
919
        def descend(parent_ie, parent_path):
1073
920
            accum.append((parent_path, parent_ie))
1074
 
            
 
921
 
1075
922
            kids = [(ie.name, ie) for ie in parent_ie.children.itervalues() if ie.kind == 'directory']
1076
923
            kids.sort()
1077
924
 
1080
927
                descend(child_ie, child_path)
1081
928
        descend(self.root, u'')
1082
929
        return accum
 
930
 
 
931
    def path2id(self, name):
 
932
        """Walk down through directories to return entry of last component.
 
933
 
 
934
        names may be either a list of path components, or a single
 
935
        string, in which case it is automatically split.
 
936
 
 
937
        This returns the entry of the last component in the path,
 
938
        which may be either a file or a directory.
 
939
 
 
940
        Returns None IFF the path is not found.
 
941
        """
 
942
        if isinstance(name, basestring):
 
943
            name = osutils.splitpath(name)
 
944
 
 
945
        # mutter("lookup path %r" % name)
 
946
 
 
947
        try:
 
948
            parent = self.root
 
949
        except errors.NoSuchId:
 
950
            # root doesn't exist yet so nothing else can
 
951
            return None
 
952
        if parent is None:
 
953
            return None
 
954
        for f in name:
 
955
            try:
 
956
                children = getattr(parent, 'children', None)
 
957
                if children is None:
 
958
                    return None
 
959
                cie = children[f]
 
960
                parent = cie
 
961
            except KeyError:
 
962
                # or raise an error?
 
963
                return None
 
964
 
 
965
        return parent.file_id
 
966
 
 
967
    def filter(self, specific_fileids):
 
968
        """Get an inventory view filtered against a set of file-ids.
 
969
 
 
970
        Children of directories and parents are included.
 
971
 
 
972
        The result may or may not reference the underlying inventory
 
973
        so it should be treated as immutable.
 
974
        """
 
975
        interesting_parents = set()
 
976
        for fileid in specific_fileids:
 
977
            try:
 
978
                interesting_parents.update(self.get_idpath(fileid))
 
979
            except errors.NoSuchId:
 
980
                # This fileid is not in the inventory - that's ok
 
981
                pass
 
982
        entries = self.iter_entries()
 
983
        if self.root is None:
 
984
            return Inventory(root_id=None)
 
985
        other = Inventory(entries.next()[1].file_id)
 
986
        other.root.revision = self.root.revision
 
987
        other.revision_id = self.revision_id
 
988
        directories_to_expand = set()
 
989
        for path, entry in entries:
 
990
            file_id = entry.file_id
 
991
            if (file_id in specific_fileids
 
992
                or entry.parent_id in directories_to_expand):
 
993
                if entry.kind == 'directory':
 
994
                    directories_to_expand.add(file_id)
 
995
            elif file_id not in interesting_parents:
 
996
                continue
 
997
            other.add(entry.copy())
 
998
        return other
 
999
 
 
1000
    def get_idpath(self, file_id):
 
1001
        """Return a list of file_ids for the path to an entry.
 
1002
 
 
1003
        The list contains one element for each directory followed by
 
1004
        the id of the file itself.  So the length of the returned list
 
1005
        is equal to the depth of the file in the tree, counting the
 
1006
        root directory as depth 1.
 
1007
        """
 
1008
        p = []
 
1009
        for parent in self._iter_file_id_parents(file_id):
 
1010
            p.insert(0, parent.file_id)
 
1011
        return p
 
1012
 
 
1013
 
 
1014
class Inventory(CommonInventory):
 
1015
    """Inventory of versioned files in a tree.
 
1016
 
 
1017
    This describes which file_id is present at each point in the tree,
 
1018
    and possibly the SHA-1 or other information about the file.
 
1019
    Entries can be looked up either by path or by file_id.
 
1020
 
 
1021
    The inventory represents a typical unix file tree, with
 
1022
    directories containing files and subdirectories.  We never store
 
1023
    the full path to a file, because renaming a directory implicitly
 
1024
    moves all of its contents.  This class internally maintains a
 
1025
    lookup tree that allows the children under a directory to be
 
1026
    returned quickly.
 
1027
 
 
1028
    InventoryEntry objects must not be modified after they are
 
1029
    inserted, other than through the Inventory API.
 
1030
 
 
1031
    >>> inv = Inventory()
 
1032
    >>> inv.add(InventoryFile('123-123', 'hello.c', ROOT_ID))
 
1033
    InventoryFile('123-123', 'hello.c', parent_id='TREE_ROOT', sha1=None, len=None, revision=None)
 
1034
    >>> inv['123-123'].name
 
1035
    'hello.c'
 
1036
 
 
1037
    May be treated as an iterator or set to look up file ids:
 
1038
 
 
1039
    >>> bool(inv.path2id('hello.c'))
 
1040
    True
 
1041
    >>> '123-123' in inv
 
1042
    True
 
1043
 
 
1044
    May also look up by name:
 
1045
 
 
1046
    >>> [x[0] for x in inv.iter_entries()]
 
1047
    ['', u'hello.c']
 
1048
    >>> inv = Inventory('TREE_ROOT-12345678-12345678')
 
1049
    >>> inv.add(InventoryFile('123-123', 'hello.c', ROOT_ID))
 
1050
    Traceback (most recent call last):
 
1051
    BzrError: parent_id {TREE_ROOT} not in inventory
 
1052
    >>> inv.add(InventoryFile('123-123', 'hello.c', 'TREE_ROOT-12345678-12345678'))
 
1053
    InventoryFile('123-123', 'hello.c', parent_id='TREE_ROOT-12345678-12345678', sha1=None, len=None, revision=None)
 
1054
    """
 
1055
    def __init__(self, root_id=ROOT_ID, revision_id=None):
 
1056
        """Create or read an inventory.
 
1057
 
 
1058
        If a working directory is specified, the inventory is read
 
1059
        from there.  If the file is specified, read from that. If not,
 
1060
        the inventory is created empty.
 
1061
 
 
1062
        The inventory is created with a default root directory, with
 
1063
        an id of None.
 
1064
        """
 
1065
        if root_id is not None:
 
1066
            self._set_root(InventoryDirectory(root_id, u'', None))
 
1067
        else:
 
1068
            self.root = None
 
1069
            self._byid = {}
 
1070
        self.revision_id = revision_id
 
1071
 
 
1072
    def __repr__(self):
 
1073
        # More than one page of ouput is not useful anymore to debug
 
1074
        max_len = 2048
 
1075
        closing = '...}'
 
1076
        contents = repr(self._byid)
 
1077
        if len(contents) > max_len:
 
1078
            contents = contents[:(max_len-len(closing))] + closing
 
1079
        return "<Inventory object at %x, contents=%r>" % (id(self), contents)
 
1080
 
 
1081
    def apply_delta(self, delta):
 
1082
        """Apply a delta to this inventory.
 
1083
 
 
1084
        :param delta: A list of changes to apply. After all the changes are
 
1085
            applied the final inventory must be internally consistent, but it
 
1086
            is ok to supply changes which, if only half-applied would have an
 
1087
            invalid result - such as supplying two changes which rename two
 
1088
            files, 'A' and 'B' with each other : [('A', 'B', 'A-id', a_entry),
 
1089
            ('B', 'A', 'B-id', b_entry)].
 
1090
 
 
1091
            Each change is a tuple, of the form (old_path, new_path, file_id,
 
1092
            new_entry).
 
1093
 
 
1094
            When new_path is None, the change indicates the removal of an entry
 
1095
            from the inventory and new_entry will be ignored (using None is
 
1096
            appropriate). If new_path is not None, then new_entry must be an
 
1097
            InventoryEntry instance, which will be incorporated into the
 
1098
            inventory (and replace any existing entry with the same file id).
 
1099
 
 
1100
            When old_path is None, the change indicates the addition of
 
1101
            a new entry to the inventory.
 
1102
 
 
1103
            When neither new_path nor old_path are None, the change is a
 
1104
            modification to an entry, such as a rename, reparent, kind change
 
1105
            etc.
 
1106
 
 
1107
            The children attribute of new_entry is ignored. This is because
 
1108
            this method preserves children automatically across alterations to
 
1109
            the parent of the children, and cases where the parent id of a
 
1110
            child is changing require the child to be passed in as a separate
 
1111
            change regardless. E.g. in the recursive deletion of a directory -
 
1112
            the directory's children must be included in the delta, or the
 
1113
            final inventory will be invalid.
 
1114
 
 
1115
            Note that a file_id must only appear once within a given delta.
 
1116
            An AssertionError is raised otherwise.
 
1117
        """
 
1118
        # Check that the delta is legal. It would be nice if this could be
 
1119
        # done within the loops below but it's safer to validate the delta
 
1120
        # before starting to mutate the inventory.
 
1121
        unique_file_ids = set([f for _, _, f, _ in delta])
 
1122
        if len(unique_file_ids) != len(delta):
 
1123
            raise AssertionError("a file-id appears multiple times in %r"
 
1124
                    % (delta,))
 
1125
        del unique_file_ids
 
1126
 
 
1127
        children = {}
 
1128
        # Remove all affected items which were in the original inventory,
 
1129
        # starting with the longest paths, thus ensuring parents are examined
 
1130
        # after their children, which means that everything we examine has no
 
1131
        # modified children remaining by the time we examine it.
 
1132
        for old_path, file_id in sorted(((op, f) for op, np, f, e in delta
 
1133
                                        if op is not None), reverse=True):
 
1134
            if file_id not in self:
 
1135
                # adds come later
 
1136
                continue
 
1137
            # Preserve unaltered children of file_id for later reinsertion.
 
1138
            file_id_children = getattr(self[file_id], 'children', {})
 
1139
            if len(file_id_children):
 
1140
                children[file_id] = file_id_children
 
1141
            # Remove file_id and the unaltered children. If file_id is not
 
1142
            # being deleted it will be reinserted back later.
 
1143
            self.remove_recursive_id(file_id)
 
1144
        # Insert all affected which should be in the new inventory, reattaching
 
1145
        # their children if they had any. This is done from shortest path to
 
1146
        # longest, ensuring that items which were modified and whose parents in
 
1147
        # the resulting inventory were also modified, are inserted after their
 
1148
        # parents.
 
1149
        for new_path, new_entry in sorted((np, e) for op, np, f, e in
 
1150
                                          delta if np is not None):
 
1151
            if new_entry.kind == 'directory':
 
1152
                # Pop the child which to allow detection of children whose
 
1153
                # parents were deleted and which were not reattached to a new
 
1154
                # parent.
 
1155
                replacement = InventoryDirectory(new_entry.file_id,
 
1156
                    new_entry.name, new_entry.parent_id)
 
1157
                replacement.revision = new_entry.revision
 
1158
                replacement.children = children.pop(replacement.file_id, {})
 
1159
                new_entry = replacement
 
1160
            self.add(new_entry)
 
1161
        if len(children):
 
1162
            # Get the parent id that was deleted
 
1163
            parent_id, children = children.popitem()
 
1164
            raise errors.InconsistentDelta("<deleted>", parent_id,
 
1165
                "The file id was deleted but its children were not deleted.")
 
1166
 
 
1167
    def _set_root(self, ie):
 
1168
        self.root = ie
 
1169
        self._byid = {self.root.file_id: self.root}
 
1170
 
 
1171
    def copy(self):
 
1172
        # TODO: jam 20051218 Should copy also copy the revision_id?
 
1173
        entries = self.iter_entries()
 
1174
        if self.root is None:
 
1175
            return Inventory(root_id=None)
 
1176
        other = Inventory(entries.next()[1].file_id)
 
1177
        other.root.revision = self.root.revision
 
1178
        # copy recursively so we know directories will be added before
 
1179
        # their children.  There are more efficient ways than this...
 
1180
        for path, entry in entries:
 
1181
            other.add(entry.copy())
 
1182
        return other
 
1183
 
 
1184
    def _get_mutable_inventory(self):
 
1185
        """Returns a mutable copy of the object.
 
1186
 
 
1187
        Some inventories are immutable, yet working trees, for example, needs
 
1188
        to mutate exisiting inventories instead of creating a new one.
 
1189
        """
 
1190
        return deepcopy(self)
 
1191
 
 
1192
    def _get_mutable_inventory(self):
 
1193
        """See CommonInventory._get_mutable_inventory."""
 
1194
        return deepcopy(self)
 
1195
 
 
1196
    def __iter__(self):
 
1197
        """Iterate over all file-ids."""
 
1198
        return iter(self._byid)
 
1199
 
 
1200
    def iter_just_entries(self):
 
1201
        """Iterate over all entries.
1083
1202
        
1084
 
    def __contains__(self, file_id):
1085
 
        """True if this entry contains a file with given id.
 
1203
        Unlike iter_entries(), just the entries are returned (not (path, ie))
 
1204
        and the order of entries is undefined.
1086
1205
 
1087
 
        >>> inv = Inventory()
1088
 
        >>> inv.add(InventoryFile('123', 'foo.c', ROOT_ID))
1089
 
        InventoryFile('123', 'foo.c', parent_id='TREE_ROOT', sha1=None, len=None)
1090
 
        >>> '123' in inv
1091
 
        True
1092
 
        >>> '456' in inv
1093
 
        False
 
1206
        XXX: We may not want to merge this into bzr.dev.
1094
1207
        """
1095
 
        file_id = osutils.safe_file_id(file_id)
1096
 
        return (file_id in self._byid)
 
1208
        if self.root is None:
 
1209
            return
 
1210
        for _, ie in self._byid.iteritems():
 
1211
            yield ie
 
1212
 
 
1213
    def __len__(self):
 
1214
        """Returns number of entries."""
 
1215
        return len(self._byid)
1097
1216
 
1098
1217
    def __getitem__(self, file_id):
1099
1218
        """Return the entry for given file_id.
1100
1219
 
1101
1220
        >>> inv = Inventory()
1102
1221
        >>> inv.add(InventoryFile('123123', 'hello.c', ROOT_ID))
1103
 
        InventoryFile('123123', 'hello.c', parent_id='TREE_ROOT', sha1=None, len=None)
 
1222
        InventoryFile('123123', 'hello.c', parent_id='TREE_ROOT', sha1=None, len=None, revision=None)
1104
1223
        >>> inv['123123'].name
1105
1224
        'hello.c'
1106
1225
        """
1107
 
        file_id = osutils.safe_file_id(file_id)
1108
1226
        try:
1109
1227
            return self._byid[file_id]
1110
1228
        except KeyError:
1112
1230
            raise errors.NoSuchId(self, file_id)
1113
1231
 
1114
1232
    def get_file_kind(self, file_id):
1115
 
        file_id = osutils.safe_file_id(file_id)
1116
1233
        return self._byid[file_id].kind
1117
1234
 
1118
1235
    def get_child(self, parent_id, filename):
1119
 
        parent_id = osutils.safe_file_id(parent_id)
1120
1236
        return self[parent_id].children.get(filename)
1121
1237
 
1122
1238
    def _add_child(self, entry):
1142
1258
                                         self._byid[entry.file_id])
1143
1259
 
1144
1260
        if entry.parent_id is None:
1145
 
            assert self.root is None and len(self._byid) == 0
1146
1261
            self.root = entry
1147
1262
        else:
1148
1263
            try:
1164
1279
        The immediate parent must already be versioned.
1165
1280
 
1166
1281
        Returns the new entry object."""
1167
 
        
 
1282
 
1168
1283
        parts = osutils.splitpath(relpath)
1169
1284
 
1170
1285
        if len(parts) == 0:
1171
1286
            if file_id is None:
1172
1287
                file_id = generate_ids.gen_root_id()
1173
 
            else:
1174
 
                file_id = osutils.safe_file_id(file_id)
1175
1288
            self.root = InventoryDirectory(file_id, '', None)
1176
1289
            self._byid = {self.root.file_id: self.root}
1177
1290
            return self.root
1188
1301
 
1189
1302
        >>> inv = Inventory()
1190
1303
        >>> inv.add(InventoryFile('123', 'foo.c', ROOT_ID))
1191
 
        InventoryFile('123', 'foo.c', parent_id='TREE_ROOT', sha1=None, len=None)
 
1304
        InventoryFile('123', 'foo.c', parent_id='TREE_ROOT', sha1=None, len=None, revision=None)
1192
1305
        >>> '123' in inv
1193
1306
        True
1194
1307
        >>> del inv['123']
1195
1308
        >>> '123' in inv
1196
1309
        False
1197
1310
        """
1198
 
        file_id = osutils.safe_file_id(file_id)
1199
1311
        ie = self[file_id]
1200
 
 
1201
 
        assert ie.parent_id is None or \
1202
 
            self[ie.parent_id].children[ie.name] == ie
1203
 
        
1204
1312
        del self._byid[file_id]
1205
1313
        if ie.parent_id is not None:
1206
1314
            del self[ie.parent_id].children[ie.name]
1213
1321
        >>> i1 == i2
1214
1322
        True
1215
1323
        >>> i1.add(InventoryFile('123', 'foo', ROOT_ID))
1216
 
        InventoryFile('123', 'foo', parent_id='TREE_ROOT', sha1=None, len=None)
 
1324
        InventoryFile('123', 'foo', parent_id='TREE_ROOT', sha1=None, len=None, revision=None)
1217
1325
        >>> i1 == i2
1218
1326
        False
1219
1327
        >>> i2.add(InventoryFile('123', 'foo', ROOT_ID))
1220
 
        InventoryFile('123', 'foo', parent_id='TREE_ROOT', sha1=None, len=None)
 
1328
        InventoryFile('123', 'foo', parent_id='TREE_ROOT', sha1=None, len=None, revision=None)
1221
1329
        >>> i1 == i2
1222
1330
        True
1223
1331
        """
1234
1342
 
1235
1343
    def _iter_file_id_parents(self, file_id):
1236
1344
        """Yield the parents of file_id up to the root."""
1237
 
        file_id = osutils.safe_file_id(file_id)
1238
1345
        while file_id is not None:
1239
1346
            try:
1240
1347
                ie = self._byid[file_id]
1243
1350
            yield ie
1244
1351
            file_id = ie.parent_id
1245
1352
 
1246
 
    def get_idpath(self, file_id):
1247
 
        """Return a list of file_ids for the path to an entry.
1248
 
 
1249
 
        The list contains one element for each directory followed by
1250
 
        the id of the file itself.  So the length of the returned list
1251
 
        is equal to the depth of the file in the tree, counting the
1252
 
        root directory as depth 1.
1253
 
        """
1254
 
        file_id = osutils.safe_file_id(file_id)
1255
 
        p = []
1256
 
        for parent in self._iter_file_id_parents(file_id):
1257
 
            p.insert(0, parent.file_id)
1258
 
        return p
1259
 
 
1260
 
    def id2path(self, file_id):
1261
 
        """Return as a string the path to file_id.
1262
 
        
1263
 
        >>> i = Inventory()
1264
 
        >>> e = i.add(InventoryDirectory('src-id', 'src', ROOT_ID))
1265
 
        >>> e = i.add(InventoryFile('foo-id', 'foo.c', parent_id='src-id'))
1266
 
        >>> print i.id2path('foo-id')
1267
 
        src/foo.c
1268
 
        """
1269
 
        file_id = osutils.safe_file_id(file_id)
1270
 
        # get all names, skipping root
1271
 
        return '/'.join(reversed(
1272
 
            [parent.name for parent in 
1273
 
             self._iter_file_id_parents(file_id)][:-1]))
1274
 
            
1275
 
    def path2id(self, name):
1276
 
        """Walk down through directories to return entry of last component.
1277
 
 
1278
 
        names may be either a list of path components, or a single
1279
 
        string, in which case it is automatically split.
1280
 
 
1281
 
        This returns the entry of the last component in the path,
1282
 
        which may be either a file or a directory.
1283
 
 
1284
 
        Returns None IFF the path is not found.
1285
 
        """
1286
 
        if isinstance(name, basestring):
1287
 
            name = osutils.splitpath(name)
1288
 
 
1289
 
        # mutter("lookup path %r" % name)
1290
 
 
1291
 
        parent = self.root
1292
 
        if parent is None:
1293
 
            return None
1294
 
        for f in name:
1295
 
            try:
1296
 
                children = getattr(parent, 'children', None)
1297
 
                if children is None:
1298
 
                    return None
1299
 
                cie = children[f]
1300
 
                assert cie.name == f
1301
 
                assert cie.parent_id == parent.file_id
1302
 
                parent = cie
1303
 
            except KeyError:
1304
 
                # or raise an error?
1305
 
                return None
1306
 
 
1307
 
        return parent.file_id
1308
 
 
1309
1353
    def has_filename(self, names):
1310
1354
        return bool(self.path2id(names))
1311
1355
 
1312
1356
    def has_id(self, file_id):
1313
 
        file_id = osutils.safe_file_id(file_id)
1314
1357
        return (file_id in self._byid)
1315
1358
 
 
1359
    def _make_delta(self, old):
 
1360
        """Make an inventory delta from two inventories."""
 
1361
        old_getter = getattr(old, '_byid', old)
 
1362
        new_getter = self._byid
 
1363
        old_ids = set(old_getter)
 
1364
        new_ids = set(new_getter)
 
1365
        adds = new_ids - old_ids
 
1366
        deletes = old_ids - new_ids
 
1367
        if not adds and not deletes:
 
1368
            common = new_ids
 
1369
        else:
 
1370
            common = old_ids.intersection(new_ids)
 
1371
        delta = []
 
1372
        for file_id in deletes:
 
1373
            delta.append((old.id2path(file_id), None, file_id, None))
 
1374
        for file_id in adds:
 
1375
            delta.append((None, self.id2path(file_id), file_id, self[file_id]))
 
1376
        for file_id in common:
 
1377
            new_ie = new_getter[file_id]
 
1378
            old_ie = old_getter[file_id]
 
1379
            # If xml_serializer returns the cached InventoryEntries (rather
 
1380
            # than always doing .copy()), inlining the 'is' check saves 2.7M
 
1381
            # calls to __eq__.  Under lsprof this saves 20s => 6s.
 
1382
            # It is a minor improvement without lsprof.
 
1383
            if old_ie is new_ie or old_ie == new_ie:
 
1384
                continue
 
1385
            else:
 
1386
                delta.append((old.id2path(file_id), self.id2path(file_id),
 
1387
                              file_id, new_ie))
 
1388
        return delta
 
1389
 
1316
1390
    def remove_recursive_id(self, file_id):
1317
1391
        """Remove file_id, and children, from the inventory.
1318
 
        
 
1392
 
1319
1393
        :param file_id: A file_id to remove.
1320
1394
        """
1321
 
        file_id = osutils.safe_file_id(file_id)
1322
1395
        to_find_delete = [self._byid[file_id]]
1323
1396
        to_delete = []
1324
1397
        while to_find_delete:
1341
1414
 
1342
1415
        This does not move the working file.
1343
1416
        """
1344
 
        file_id = osutils.safe_file_id(file_id)
 
1417
        new_name = ensure_normalized_name(new_name)
1345
1418
        if not is_valid_name(new_name):
1346
1419
            raise BzrError("not an acceptable filename: %r" % new_name)
1347
1420
 
1361
1434
 
1362
1435
        del old_parent.children[file_ie.name]
1363
1436
        new_parent.children[new_name] = file_ie
1364
 
        
 
1437
 
1365
1438
        file_ie.name = new_name
1366
1439
        file_ie.parent_id = new_parent_id
1367
1440
 
1368
1441
    def is_root(self, file_id):
1369
 
        file_id = osutils.safe_file_id(file_id)
1370
1442
        return self.root is not None and file_id == self.root.file_id
1371
1443
 
1372
1444
 
 
1445
class CHKInventory(CommonInventory):
 
1446
    """An inventory persisted in a CHK store.
 
1447
 
 
1448
    By design, a CHKInventory is immutable so many of the methods
 
1449
    supported by Inventory - add, rename, apply_delta, etc - are *not*
 
1450
    supported. To create a new CHKInventory, use create_by_apply_delta()
 
1451
    or from_inventory(), say.
 
1452
 
 
1453
    Internally, a CHKInventory has one or two CHKMaps:
 
1454
 
 
1455
    * id_to_entry - a map from (file_id,) => InventoryEntry as bytes
 
1456
    * parent_id_basename_to_file_id - a map from (parent_id, basename_utf8)
 
1457
        => file_id as bytes
 
1458
 
 
1459
    The second map is optional and not present in early CHkRepository's.
 
1460
 
 
1461
    No caching is performed: every method call or item access will perform
 
1462
    requests to the storage layer. As such, keep references to objects you
 
1463
    want to reuse.
 
1464
    """
 
1465
 
 
1466
    def __init__(self, search_key_name):
 
1467
        CommonInventory.__init__(self)
 
1468
        self._fileid_to_entry_cache = {}
 
1469
        self._path_to_fileid_cache = {}
 
1470
        self._search_key_name = search_key_name
 
1471
 
 
1472
    def _entry_to_bytes(self, entry):
 
1473
        """Serialise entry as a single bytestring.
 
1474
 
 
1475
        :param Entry: An inventory entry.
 
1476
        :return: A bytestring for the entry.
 
1477
 
 
1478
        The BNF:
 
1479
        ENTRY ::= FILE | DIR | SYMLINK | TREE
 
1480
        FILE ::= "file: " COMMON SEP SHA SEP SIZE SEP EXECUTABLE
 
1481
        DIR ::= "dir: " COMMON
 
1482
        SYMLINK ::= "symlink: " COMMON SEP TARGET_UTF8
 
1483
        TREE ::= "tree: " COMMON REFERENCE_REVISION
 
1484
        COMMON ::= FILE_ID SEP PARENT_ID SEP NAME_UTF8 SEP REVISION
 
1485
        SEP ::= "\n"
 
1486
        """
 
1487
        if entry.parent_id is not None:
 
1488
            parent_str = entry.parent_id
 
1489
        else:
 
1490
            parent_str = ''
 
1491
        name_str = entry.name.encode("utf8")
 
1492
        if entry.kind == 'file':
 
1493
            if entry.executable:
 
1494
                exec_str = "Y"
 
1495
            else:
 
1496
                exec_str = "N"
 
1497
            return "file: %s\n%s\n%s\n%s\n%s\n%d\n%s" % (
 
1498
                entry.file_id, parent_str, name_str, entry.revision,
 
1499
                entry.text_sha1, entry.text_size, exec_str)
 
1500
        elif entry.kind == 'directory':
 
1501
            return "dir: %s\n%s\n%s\n%s" % (
 
1502
                entry.file_id, parent_str, name_str, entry.revision)
 
1503
        elif entry.kind == 'symlink':
 
1504
            return "symlink: %s\n%s\n%s\n%s\n%s" % (
 
1505
                entry.file_id, parent_str, name_str, entry.revision,
 
1506
                entry.symlink_target.encode("utf8"))
 
1507
        elif entry.kind == 'tree-reference':
 
1508
            return "tree: %s\n%s\n%s\n%s\n%s" % (
 
1509
                entry.file_id, parent_str, name_str, entry.revision,
 
1510
                entry.reference_revision)
 
1511
        else:
 
1512
            raise ValueError("unknown kind %r" % entry.kind)
 
1513
 
 
1514
    @staticmethod
 
1515
    def _bytes_to_utf8name_key(bytes):
 
1516
        """Get the file_id, revision_id key out of bytes."""
 
1517
        # We don't normally care about name, except for times when we want
 
1518
        # to filter out empty names because of non rich-root...
 
1519
        sections = bytes.split('\n')
 
1520
        kind, file_id = sections[0].split(': ')
 
1521
        return (sections[2], file_id, sections[3])
 
1522
 
 
1523
    def _bytes_to_entry(self, bytes):
 
1524
        """Deserialise a serialised entry."""
 
1525
        sections = bytes.split('\n')
 
1526
        if sections[0].startswith("file: "):
 
1527
            result = InventoryFile(sections[0][6:],
 
1528
                sections[2].decode('utf8'),
 
1529
                sections[1])
 
1530
            result.text_sha1 = sections[4]
 
1531
            result.text_size = int(sections[5])
 
1532
            result.executable = sections[6] == "Y"
 
1533
        elif sections[0].startswith("dir: "):
 
1534
            result = CHKInventoryDirectory(sections[0][5:],
 
1535
                sections[2].decode('utf8'),
 
1536
                sections[1], self)
 
1537
        elif sections[0].startswith("symlink: "):
 
1538
            result = InventoryLink(sections[0][9:],
 
1539
                sections[2].decode('utf8'),
 
1540
                sections[1])
 
1541
            result.symlink_target = sections[4].decode('utf8')
 
1542
        elif sections[0].startswith("tree: "):
 
1543
            result = TreeReference(sections[0][6:],
 
1544
                sections[2].decode('utf8'),
 
1545
                sections[1])
 
1546
            result.reference_revision = sections[4]
 
1547
        else:
 
1548
            raise ValueError("Not a serialised entry %r" % bytes)
 
1549
        result.revision = sections[3]
 
1550
        if result.parent_id == '':
 
1551
            result.parent_id = None
 
1552
        self._fileid_to_entry_cache[result.file_id] = result
 
1553
        return result
 
1554
 
 
1555
    def _get_mutable_inventory(self):
 
1556
        """See CommonInventory._get_mutable_inventory."""
 
1557
        entries = self.iter_entries()
 
1558
        if self.root_id is not None:
 
1559
            entries.next()
 
1560
        inv = Inventory(self.root_id, self.revision_id)
 
1561
        for path, inv_entry in entries:
 
1562
            inv.add(inv_entry)
 
1563
        return inv
 
1564
 
 
1565
    def create_by_apply_delta(self, inventory_delta, new_revision_id,
 
1566
        propagate_caches=False):
 
1567
        """Create a new CHKInventory by applying inventory_delta to this one.
 
1568
 
 
1569
        :param inventory_delta: The inventory delta to apply. See
 
1570
            Inventory.apply_delta for details.
 
1571
        :param new_revision_id: The revision id of the resulting CHKInventory.
 
1572
        :param propagate_caches: If True, the caches for this inventory are
 
1573
          copied to and updated for the result.
 
1574
        :return: The new CHKInventory.
 
1575
        """
 
1576
        result = CHKInventory(self._search_key_name)
 
1577
        if propagate_caches:
 
1578
            # Just propagate the path-to-fileid cache for now
 
1579
            result._path_to_fileid_cache = dict(self._path_to_fileid_cache.iteritems())
 
1580
        search_key_func = chk_map.search_key_registry.get(self._search_key_name)
 
1581
        self.id_to_entry._ensure_root()
 
1582
        maximum_size = self.id_to_entry._root_node.maximum_size
 
1583
        result.revision_id = new_revision_id
 
1584
        result.id_to_entry = chk_map.CHKMap(
 
1585
            self.id_to_entry._store,
 
1586
            self.id_to_entry.key(),
 
1587
            search_key_func=search_key_func)
 
1588
        result.id_to_entry._ensure_root()
 
1589
        result.id_to_entry._root_node.set_maximum_size(maximum_size)
 
1590
        parent_id_basename_delta = []
 
1591
        if self.parent_id_basename_to_file_id is not None:
 
1592
            result.parent_id_basename_to_file_id = chk_map.CHKMap(
 
1593
                self.parent_id_basename_to_file_id._store,
 
1594
                self.parent_id_basename_to_file_id.key(),
 
1595
                search_key_func=search_key_func)
 
1596
            result.parent_id_basename_to_file_id._ensure_root()
 
1597
            self.parent_id_basename_to_file_id._ensure_root()
 
1598
            result_p_id_root = result.parent_id_basename_to_file_id._root_node
 
1599
            p_id_root = self.parent_id_basename_to_file_id._root_node
 
1600
            result_p_id_root.set_maximum_size(p_id_root.maximum_size)
 
1601
            result_p_id_root._key_width = p_id_root._key_width
 
1602
        else:
 
1603
            result.parent_id_basename_to_file_id = None
 
1604
        result.root_id = self.root_id
 
1605
        id_to_entry_delta = []
 
1606
        for old_path, new_path, file_id, entry in inventory_delta:
 
1607
            # file id changes
 
1608
            if new_path == '':
 
1609
                result.root_id = file_id
 
1610
            if new_path is None:
 
1611
                # Make a delete:
 
1612
                new_key = None
 
1613
                new_value = None
 
1614
                # Update caches
 
1615
                if propagate_caches:
 
1616
                    try:
 
1617
                        del result._path_to_fileid_cache[old_path]
 
1618
                    except KeyError:
 
1619
                        pass
 
1620
            else:
 
1621
                new_key = (file_id,)
 
1622
                new_value = result._entry_to_bytes(entry)
 
1623
                # Update caches. It's worth doing this whether
 
1624
                # we're propagating the old caches or not.
 
1625
                result._path_to_fileid_cache[new_path] = file_id
 
1626
            if old_path is None:
 
1627
                old_key = None
 
1628
            else:
 
1629
                old_key = (file_id,)
 
1630
            id_to_entry_delta.append((old_key, new_key, new_value))
 
1631
            if result.parent_id_basename_to_file_id is not None:
 
1632
                # parent_id, basename changes
 
1633
                if old_path is None:
 
1634
                    old_key = None
 
1635
                else:
 
1636
                    old_entry = self[file_id]
 
1637
                    old_key = self._parent_id_basename_key(old_entry)
 
1638
                if new_path is None:
 
1639
                    new_key = None
 
1640
                    new_value = None
 
1641
                else:
 
1642
                    new_key = self._parent_id_basename_key(entry)
 
1643
                    new_value = file_id
 
1644
                if old_key != new_key:
 
1645
                    # If the two keys are the same, the value will be unchanged
 
1646
                    # as its always the file id.
 
1647
                    parent_id_basename_delta.append((old_key, new_key, new_value))
 
1648
        result.id_to_entry.apply_delta(id_to_entry_delta)
 
1649
        if parent_id_basename_delta:
 
1650
            result.parent_id_basename_to_file_id.apply_delta(parent_id_basename_delta)
 
1651
        return result
 
1652
 
 
1653
    @classmethod
 
1654
    def deserialise(klass, chk_store, bytes, expected_revision_id):
 
1655
        """Deserialise a CHKInventory.
 
1656
 
 
1657
        :param chk_store: A CHK capable VersionedFiles instance.
 
1658
        :param bytes: The serialised bytes.
 
1659
        :param expected_revision_id: The revision ID we think this inventory is
 
1660
            for.
 
1661
        :return: A CHKInventory
 
1662
        """
 
1663
        lines = bytes.split('\n')
 
1664
        if lines[-1] != '':
 
1665
            raise AssertionError('bytes to deserialize must end with an eol')
 
1666
        lines.pop()
 
1667
        if lines[0] != 'chkinventory:':
 
1668
            raise ValueError("not a serialised CHKInventory: %r" % bytes)
 
1669
        info = {}
 
1670
        allowed_keys = frozenset(['root_id', 'revision_id', 'search_key_name',
 
1671
                                  'parent_id_basename_to_file_id',
 
1672
                                  'id_to_entry'])
 
1673
        for line in lines[1:]:
 
1674
            key, value = line.split(': ', 1)
 
1675
            if key not in allowed_keys:
 
1676
                raise errors.BzrError('Unknown key in inventory: %r\n%r'
 
1677
                                      % (key, bytes))
 
1678
            if key in info:
 
1679
                raise errors.BzrError('Duplicate key in inventory: %r\n%r'
 
1680
                                      % (key, bytes))
 
1681
            info[key] = value
 
1682
        revision_id = info['revision_id']
 
1683
        root_id = info['root_id']
 
1684
        search_key_name = info.get('search_key_name', 'plain')
 
1685
        parent_id_basename_to_file_id = info.get(
 
1686
            'parent_id_basename_to_file_id', None)
 
1687
        id_to_entry = info['id_to_entry']
 
1688
 
 
1689
        result = CHKInventory(search_key_name)
 
1690
        result.revision_id = revision_id
 
1691
        result.root_id = root_id
 
1692
        search_key_func = chk_map.search_key_registry.get(
 
1693
                            result._search_key_name)
 
1694
        if parent_id_basename_to_file_id is not None:
 
1695
            result.parent_id_basename_to_file_id = chk_map.CHKMap(
 
1696
                chk_store, (parent_id_basename_to_file_id,),
 
1697
                search_key_func=search_key_func)
 
1698
        else:
 
1699
            result.parent_id_basename_to_file_id = None
 
1700
 
 
1701
        result.id_to_entry = chk_map.CHKMap(chk_store, (id_to_entry,),
 
1702
                                            search_key_func=search_key_func)
 
1703
        if (result.revision_id,) != expected_revision_id:
 
1704
            raise ValueError("Mismatched revision id and expected: %r, %r" %
 
1705
                (result.revision_id, expected_revision_id))
 
1706
        return result
 
1707
 
 
1708
    @classmethod
 
1709
    def from_inventory(klass, chk_store, inventory, maximum_size=0, search_key_name='plain'):
 
1710
        """Create a CHKInventory from an existing inventory.
 
1711
 
 
1712
        The content of inventory is copied into the chk_store, and a
 
1713
        CHKInventory referencing that is returned.
 
1714
 
 
1715
        :param chk_store: A CHK capable VersionedFiles instance.
 
1716
        :param inventory: The inventory to copy.
 
1717
        :param maximum_size: The CHKMap node size limit.
 
1718
        :param search_key_name: The identifier for the search key function
 
1719
        """
 
1720
        result = CHKInventory(search_key_name)
 
1721
        result.revision_id = inventory.revision_id
 
1722
        result.root_id = inventory.root.file_id
 
1723
        search_key_func = chk_map.search_key_registry.get(search_key_name)
 
1724
        result.id_to_entry = chk_map.CHKMap(chk_store, None, search_key_func)
 
1725
        result.id_to_entry._root_node.set_maximum_size(maximum_size)
 
1726
        file_id_delta = []
 
1727
        result.parent_id_basename_to_file_id = chk_map.CHKMap(chk_store,
 
1728
            None, search_key_func)
 
1729
        result.parent_id_basename_to_file_id._root_node.set_maximum_size(
 
1730
            maximum_size)
 
1731
        result.parent_id_basename_to_file_id._root_node._key_width = 2
 
1732
        parent_id_delta = []
 
1733
        for path, entry in inventory.iter_entries():
 
1734
            file_id_delta.append((None, (entry.file_id,),
 
1735
                result._entry_to_bytes(entry)))
 
1736
            parent_id_delta.append(
 
1737
                (None, result._parent_id_basename_key(entry),
 
1738
                 entry.file_id))
 
1739
        result.id_to_entry.apply_delta(file_id_delta)
 
1740
        result.parent_id_basename_to_file_id.apply_delta(parent_id_delta)
 
1741
        return result
 
1742
 
 
1743
    def _parent_id_basename_key(self, entry):
 
1744
        """Create a key for a entry in a parent_id_basename_to_file_id index."""
 
1745
        if entry.parent_id is not None:
 
1746
            parent_id = entry.parent_id
 
1747
        else:
 
1748
            parent_id = ''
 
1749
        return parent_id, entry.name.encode('utf8')
 
1750
 
 
1751
    def __getitem__(self, file_id):
 
1752
        """map a single file_id -> InventoryEntry."""
 
1753
        if file_id is None:
 
1754
            raise errors.NoSuchId(self, file_id)
 
1755
        result = self._fileid_to_entry_cache.get(file_id, None)
 
1756
        if result is not None:
 
1757
            return result
 
1758
        try:
 
1759
            return self._bytes_to_entry(
 
1760
                self.id_to_entry.iteritems([(file_id,)]).next()[1])
 
1761
        except StopIteration:
 
1762
            # really we're passing an inventory, not a tree...
 
1763
            raise errors.NoSuchId(self, file_id)
 
1764
 
 
1765
    def has_id(self, file_id):
 
1766
        # Perhaps have an explicit 'contains' method on CHKMap ?
 
1767
        if self._fileid_to_entry_cache.get(file_id, None) is not None:
 
1768
            return True
 
1769
        return len(list(self.id_to_entry.iteritems([(file_id,)]))) == 1
 
1770
 
 
1771
    def is_root(self, file_id):
 
1772
        return file_id == self.root_id
 
1773
 
 
1774
    def _iter_file_id_parents(self, file_id):
 
1775
        """Yield the parents of file_id up to the root."""
 
1776
        while file_id is not None:
 
1777
            try:
 
1778
                ie = self[file_id]
 
1779
            except KeyError:
 
1780
                raise errors.NoSuchId(tree=self, file_id=file_id)
 
1781
            yield ie
 
1782
            file_id = ie.parent_id
 
1783
 
 
1784
    def __iter__(self):
 
1785
        """Iterate over all file-ids."""
 
1786
        for key, _ in self.id_to_entry.iteritems():
 
1787
            yield key[-1]
 
1788
 
 
1789
    def iter_just_entries(self):
 
1790
        """Iterate over all entries.
 
1791
        
 
1792
        Unlike iter_entries(), just the entries are returned (not (path, ie))
 
1793
        and the order of entries is undefined.
 
1794
 
 
1795
        XXX: We may not want to merge this into bzr.dev.
 
1796
        """
 
1797
        for key, entry in self.id_to_entry.iteritems():
 
1798
            file_id = key[0]
 
1799
            ie = self._fileid_to_entry_cache.get(file_id, None)
 
1800
            if ie is None:
 
1801
                ie = self._bytes_to_entry(entry)
 
1802
                self._fileid_to_entry_cache[file_id] = ie
 
1803
            yield ie
 
1804
 
 
1805
    def iter_changes(self, basis):
 
1806
        """Generate a Tree.iter_changes change list between this and basis.
 
1807
 
 
1808
        :param basis: Another CHKInventory.
 
1809
        :return: An iterator over the changes between self and basis, as per
 
1810
            tree.iter_changes().
 
1811
        """
 
1812
        # We want: (file_id, (path_in_source, path_in_target),
 
1813
        # changed_content, versioned, parent, name, kind,
 
1814
        # executable)
 
1815
        for key, basis_value, self_value in \
 
1816
            self.id_to_entry.iter_changes(basis.id_to_entry):
 
1817
            file_id = key[0]
 
1818
            if basis_value is not None:
 
1819
                basis_entry = basis._bytes_to_entry(basis_value)
 
1820
                path_in_source = basis.id2path(file_id)
 
1821
                basis_parent = basis_entry.parent_id
 
1822
                basis_name = basis_entry.name
 
1823
                basis_executable = basis_entry.executable
 
1824
            else:
 
1825
                path_in_source = None
 
1826
                basis_parent = None
 
1827
                basis_name = None
 
1828
                basis_executable = None
 
1829
            if self_value is not None:
 
1830
                self_entry = self._bytes_to_entry(self_value)
 
1831
                path_in_target = self.id2path(file_id)
 
1832
                self_parent = self_entry.parent_id
 
1833
                self_name = self_entry.name
 
1834
                self_executable = self_entry.executable
 
1835
            else:
 
1836
                path_in_target = None
 
1837
                self_parent = None
 
1838
                self_name = None
 
1839
                self_executable = None
 
1840
            if basis_value is None:
 
1841
                # add
 
1842
                kind = (None, self_entry.kind)
 
1843
                versioned = (False, True)
 
1844
            elif self_value is None:
 
1845
                # delete
 
1846
                kind = (basis_entry.kind, None)
 
1847
                versioned = (True, False)
 
1848
            else:
 
1849
                kind = (basis_entry.kind, self_entry.kind)
 
1850
                versioned = (True, True)
 
1851
            changed_content = False
 
1852
            if kind[0] != kind[1]:
 
1853
                changed_content = True
 
1854
            elif kind[0] == 'file':
 
1855
                if (self_entry.text_size != basis_entry.text_size or
 
1856
                    self_entry.text_sha1 != basis_entry.text_sha1):
 
1857
                    changed_content = True
 
1858
            elif kind[0] == 'symlink':
 
1859
                if self_entry.symlink_target != basis_entry.symlink_target:
 
1860
                    changed_content = True
 
1861
            elif kind[0] == 'tree-reference':
 
1862
                if (self_entry.reference_revision !=
 
1863
                    basis_entry.reference_revision):
 
1864
                    changed_content = True
 
1865
            parent = (basis_parent, self_parent)
 
1866
            name = (basis_name, self_name)
 
1867
            executable = (basis_executable, self_executable)
 
1868
            if (not changed_content
 
1869
                and parent[0] == parent[1]
 
1870
                and name[0] == name[1]
 
1871
                and executable[0] == executable[1]):
 
1872
                # Could happen when only the revision changed for a directory
 
1873
                # for instance.
 
1874
                continue
 
1875
            yield (file_id, (path_in_source, path_in_target), changed_content,
 
1876
                versioned, parent, name, kind, executable)
 
1877
 
 
1878
    def __len__(self):
 
1879
        """Return the number of entries in the inventory."""
 
1880
        return len(self.id_to_entry)
 
1881
 
 
1882
    def _make_delta(self, old):
 
1883
        """Make an inventory delta from two inventories."""
 
1884
        if type(old) != CHKInventory:
 
1885
            return CommonInventory._make_delta(self, old)
 
1886
        delta = []
 
1887
        for key, old_value, self_value in \
 
1888
            self.id_to_entry.iter_changes(old.id_to_entry):
 
1889
            file_id = key[0]
 
1890
            if old_value is not None:
 
1891
                old_path = old.id2path(file_id)
 
1892
            else:
 
1893
                old_path = None
 
1894
            if self_value is not None:
 
1895
                entry = self._bytes_to_entry(self_value)
 
1896
                self._fileid_to_entry_cache[file_id] = entry
 
1897
                new_path = self.id2path(file_id)
 
1898
            else:
 
1899
                entry = None
 
1900
                new_path = None
 
1901
            delta.append((old_path, new_path, file_id, entry))
 
1902
        return delta
 
1903
 
 
1904
    def path2id(self, name):
 
1905
        """See CommonInventory.path2id()."""
 
1906
        result = self._path_to_fileid_cache.get(name, None)
 
1907
        if result is None:
 
1908
            result = CommonInventory.path2id(self, name)
 
1909
            self._path_to_fileid_cache[name] = result
 
1910
        return result
 
1911
 
 
1912
    def to_lines(self):
 
1913
        """Serialise the inventory to lines."""
 
1914
        lines = ["chkinventory:\n"]
 
1915
        if self._search_key_name != 'plain':
 
1916
            # custom ordering grouping things that don't change together
 
1917
            lines.append('search_key_name: %s\n' % (self._search_key_name,))
 
1918
            lines.append("root_id: %s\n" % self.root_id)
 
1919
            lines.append('parent_id_basename_to_file_id: %s\n' %
 
1920
                self.parent_id_basename_to_file_id.key())
 
1921
            lines.append("revision_id: %s\n" % self.revision_id)
 
1922
            lines.append("id_to_entry: %s\n" % self.id_to_entry.key())
 
1923
        else:
 
1924
            lines.append("revision_id: %s\n" % self.revision_id)
 
1925
            lines.append("root_id: %s\n" % self.root_id)
 
1926
            if self.parent_id_basename_to_file_id is not None:
 
1927
                lines.append('parent_id_basename_to_file_id: %s\n' %
 
1928
                    self.parent_id_basename_to_file_id.key())
 
1929
            lines.append("id_to_entry: %s\n" % self.id_to_entry.key())
 
1930
        return lines
 
1931
 
 
1932
    @property
 
1933
    def root(self):
 
1934
        """Get the root entry."""
 
1935
        return self[self.root_id]
 
1936
 
 
1937
 
 
1938
class CHKInventoryDirectory(InventoryDirectory):
 
1939
    """A directory in an inventory."""
 
1940
 
 
1941
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
 
1942
                 'text_id', 'parent_id', '_children', 'executable',
 
1943
                 'revision', 'symlink_target', 'reference_revision',
 
1944
                 '_chk_inventory']
 
1945
 
 
1946
    def __init__(self, file_id, name, parent_id, chk_inventory):
 
1947
        # Don't call InventoryDirectory.__init__ - it isn't right for this
 
1948
        # class.
 
1949
        InventoryEntry.__init__(self, file_id, name, parent_id)
 
1950
        self._children = None
 
1951
        self.kind = 'directory'
 
1952
        self._chk_inventory = chk_inventory
 
1953
 
 
1954
    @property
 
1955
    def children(self):
 
1956
        """Access the list of children of this directory.
 
1957
 
 
1958
        With a parent_id_basename_to_file_id index, loads all the children,
 
1959
        without loads the entire index. Without is bad. A more sophisticated
 
1960
        proxy object might be nice, to allow partial loading of children as
 
1961
        well when specific names are accessed. (So path traversal can be
 
1962
        written in the obvious way but not examine siblings.).
 
1963
        """
 
1964
        if self._children is not None:
 
1965
            return self._children
 
1966
        # No longer supported
 
1967
        if self._chk_inventory.parent_id_basename_to_file_id is None:
 
1968
            raise AssertionError("Inventories without"
 
1969
                " parent_id_basename_to_file_id are no longer supported")
 
1970
        result = {}
 
1971
        # XXX: Todo - use proxy objects for the children rather than loading
 
1972
        # all when the attribute is referenced.
 
1973
        parent_id_index = self._chk_inventory.parent_id_basename_to_file_id
 
1974
        child_keys = set()
 
1975
        for (parent_id, name_utf8), file_id in parent_id_index.iteritems(
 
1976
            key_filter=[(self.file_id,)]):
 
1977
            child_keys.add((file_id,))
 
1978
        cached = set()
 
1979
        for file_id_key in child_keys:
 
1980
            entry = self._chk_inventory._fileid_to_entry_cache.get(
 
1981
                file_id_key[0], None)
 
1982
            if entry is not None:
 
1983
                result[entry.name] = entry
 
1984
                cached.add(file_id_key)
 
1985
        child_keys.difference_update(cached)
 
1986
        # populate; todo: do by name
 
1987
        id_to_entry = self._chk_inventory.id_to_entry
 
1988
        for file_id_key, bytes in id_to_entry.iteritems(child_keys):
 
1989
            entry = self._chk_inventory._bytes_to_entry(bytes)
 
1990
            result[entry.name] = entry
 
1991
            self._chk_inventory._fileid_to_entry_cache[file_id_key[0]] = entry
 
1992
        self._children = result
 
1993
        return result
 
1994
 
1373
1995
entry_factory = {
1374
1996
    'directory': InventoryDirectory,
1375
1997
    'file': InventoryFile,
1387
2009
    """
1388
2010
    if file_id is None:
1389
2011
        file_id = generate_ids.gen_file_id(name)
1390
 
    else:
1391
 
        file_id = osutils.safe_file_id(file_id)
1392
 
 
 
2012
    name = ensure_normalized_name(name)
 
2013
    try:
 
2014
        factory = entry_factory[kind]
 
2015
    except KeyError:
 
2016
        raise BzrError("unknown kind %r" % kind)
 
2017
    return factory(file_id, name, parent_id)
 
2018
 
 
2019
 
 
2020
def ensure_normalized_name(name):
 
2021
    """Normalize name.
 
2022
 
 
2023
    :raises InvalidNormalization: When name is not normalized, and cannot be
 
2024
        accessed on this platform by the normalized path.
 
2025
    :return: The NFC normalised version of name.
 
2026
    """
1393
2027
    #------- This has been copied to bzrlib.dirstate.DirState.add, please
1394
2028
    # keep them synchronised.
1395
2029
    # we dont import normalized_filename directly because we want to be
1397
2031
    norm_name, can_access = osutils.normalized_filename(name)
1398
2032
    if norm_name != name:
1399
2033
        if can_access:
1400
 
            name = norm_name
 
2034
            return norm_name
1401
2035
        else:
1402
2036
            # TODO: jam 20060701 This would probably be more useful
1403
2037
            #       if the error was raised with the full path
1404
2038
            raise errors.InvalidNormalization(name)
1405
 
 
1406
 
    try:
1407
 
        factory = entry_factory[kind]
1408
 
    except KeyError:
1409
 
        raise BzrError("unknown kind %r" % kind)
1410
 
    return factory(file_id, name, parent_id)
 
2039
    return name
1411
2040
 
1412
2041
 
1413
2042
_NAME_RE = None
1416
2045
    global _NAME_RE
1417
2046
    if _NAME_RE is None:
1418
2047
        _NAME_RE = re.compile(r'^[^/\\]+$')
1419
 
        
 
2048
 
1420
2049
    return bool(_NAME_RE.match(name))