~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

  • Committer: John Arbash Meinel
  • Date: 2009-07-08 23:10:47 UTC
  • mto: This revision was merged to the branch mainline in revision 4522.
  • Revision ID: john@arbash-meinel.com-20090708231047-8zlppczwumi0e0hp
Remove some assert statements.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
51
51
    )
52
52
from bzrlib.symbol_versioning import deprecated_in, deprecated_method
53
53
from bzrlib.trace import mutter
54
 
from bzrlib.static_tuple import StaticTuple
55
54
 
56
55
 
57
56
class InventoryEntry(object):
261
260
    def versionable_kind(kind):
262
261
        return (kind in ('file', 'directory', 'symlink', 'tree-reference'))
263
262
 
264
 
    def check(self, checker, rev_id, inv):
 
263
    def check(self, checker, rev_id, inv, tree):
265
264
        """Check this inventory entry is intact.
266
265
 
267
266
        This is a template method, override _check for kind specific
273
272
        :param rev_id: Revision id from which this InventoryEntry was loaded.
274
273
             Not necessarily the last-changed revision for this file.
275
274
        :param inv: Inventory from which the entry was loaded.
 
275
        :param tree: RevisionTree for this entry.
276
276
        """
277
277
        if self.parent_id is not None:
278
278
            if not inv.has_id(self.parent_id):
279
279
                raise BzrCheckError('missing parent {%s} in inventory for revision {%s}'
280
280
                        % (self.parent_id, rev_id))
281
 
        checker._add_entry_to_text_key_references(inv, self)
282
 
        self._check(checker, rev_id)
 
281
        self._check(checker, rev_id, tree)
283
282
 
284
 
    def _check(self, checker, rev_id):
 
283
    def _check(self, checker, rev_id, tree):
285
284
        """Check this inventory entry for kind specific errors."""
286
 
        checker._report_items.append(
287
 
            'unknown entry kind %r in revision {%s}' % (self.kind, rev_id))
 
285
        raise BzrCheckError('unknown entry kind %r in revision {%s}' %
 
286
                            (self.kind, rev_id))
288
287
 
289
288
    def copy(self):
290
289
        """Clone this inventory entry."""
403
402
                 'text_id', 'parent_id', 'children', 'executable',
404
403
                 'revision', 'symlink_target', 'reference_revision']
405
404
 
406
 
    def _check(self, checker, rev_id):
 
405
    def _check(self, checker, rev_id, tree):
407
406
        """See InventoryEntry._check"""
408
407
 
409
408
    def __init__(self, file_id):
432
431
                 'text_id', 'parent_id', 'children', 'executable',
433
432
                 'revision', 'symlink_target', 'reference_revision']
434
433
 
435
 
    def _check(self, checker, rev_id):
 
434
    def _check(self, checker, rev_id, tree):
436
435
        """See InventoryEntry._check"""
437
 
        if (self.text_sha1 is not None or self.text_size is not None or
438
 
            self.text_id is not None):
439
 
            checker._report_items.append('directory {%s} has text in revision {%s}'
 
436
        if self.text_sha1 is not None or self.text_size is not None or self.text_id is not None:
 
437
            raise BzrCheckError('directory {%s} has text in revision {%s}'
440
438
                                % (self.file_id, rev_id))
441
 
        # In non rich root repositories we do not expect a file graph for the
442
 
        # root.
443
 
        if self.name == '' and not checker.rich_roots:
444
 
            return
445
 
        # Directories are stored as an empty file, but the file should exist
446
 
        # to provide a per-fileid log. The hash of every directory content is
447
 
        # "da..." below (the sha1sum of '').
448
 
        checker.add_pending_item(rev_id,
449
 
            ('texts', self.file_id, self.revision), 'text',
450
 
             'da39a3ee5e6b4b0d3255bfef95601890afd80709')
451
439
 
452
440
    def copy(self):
453
441
        other = InventoryDirectory(self.file_id, self.name, self.parent_id)
486
474
                 'text_id', 'parent_id', 'children', 'executable',
487
475
                 'revision', 'symlink_target', 'reference_revision']
488
476
 
489
 
    def _check(self, checker, tree_revision_id):
 
477
    def _check(self, checker, tree_revision_id, tree):
490
478
        """See InventoryEntry._check"""
491
 
        # TODO: check size too.
492
 
        checker.add_pending_item(tree_revision_id,
493
 
            ('texts', self.file_id, self.revision), 'text',
494
 
             self.text_sha1)
495
 
        if self.text_size is None:
496
 
            checker._report_items.append(
497
 
                'fileid {%s} in {%s} has None for text_size' % (self.file_id,
498
 
                tree_revision_id))
 
479
        key = (self.file_id, self.revision)
 
480
        if key in checker.checked_texts:
 
481
            prev_sha = checker.checked_texts[key]
 
482
            if prev_sha != self.text_sha1:
 
483
                raise BzrCheckError(
 
484
                    'mismatched sha1 on {%s} in {%s} (%s != %s) %r' %
 
485
                    (self.file_id, tree_revision_id, prev_sha, self.text_sha1,
 
486
                     t))
 
487
            else:
 
488
                checker.repeated_text_cnt += 1
 
489
                return
 
490
 
 
491
        checker.checked_text_cnt += 1
 
492
        # We can't check the length, because Weave doesn't store that
 
493
        # information, and the whole point of looking at the weave's
 
494
        # sha1sum is that we don't have to extract the text.
 
495
        if (self.text_sha1 != tree._repository.texts.get_sha1s([key])[key]):
 
496
            raise BzrCheckError('text {%s} version {%s} wrong sha1' % key)
 
497
        checker.checked_texts[key] = self.text_sha1
499
498
 
500
499
    def copy(self):
501
500
        other = InventoryFile(self.file_id, self.name, self.parent_id)
599
598
                 'text_id', 'parent_id', 'children', 'executable',
600
599
                 'revision', 'symlink_target', 'reference_revision']
601
600
 
602
 
    def _check(self, checker, tree_revision_id):
 
601
    def _check(self, checker, rev_id, tree):
603
602
        """See InventoryEntry._check"""
604
603
        if self.text_sha1 is not None or self.text_size is not None or self.text_id is not None:
605
 
            checker._report_items.append(
606
 
               'symlink {%s} has text in revision {%s}'
607
 
                    % (self.file_id, tree_revision_id))
 
604
            raise BzrCheckError('symlink {%s} has text in revision {%s}'
 
605
                    % (self.file_id, rev_id))
608
606
        if self.symlink_target is None:
609
 
            checker._report_items.append(
610
 
                'symlink {%s} has no target in revision {%s}'
611
 
                    % (self.file_id, tree_revision_id))
612
 
        # Symlinks are stored as ''
613
 
        checker.add_pending_item(tree_revision_id,
614
 
            ('texts', self.file_id, self.revision), 'text',
615
 
             'da39a3ee5e6b4b0d3255bfef95601890afd80709')
 
607
            raise BzrCheckError('symlink {%s} has no target in revision {%s}'
 
608
                    % (self.file_id, rev_id))
616
609
 
617
610
    def copy(self):
618
611
        other = InventoryLink(self.file_id, self.name, self.parent_id)
719
712
 
720
713
 
721
714
class CommonInventory(object):
722
 
    """Basic inventory logic, defined in terms of primitives like has_id.
723
 
 
724
 
    An inventory is the metadata about the contents of a tree.
725
 
 
726
 
    This is broadly a map from file_id to entries such as directories, files,
727
 
    symlinks and tree references. Each entry maintains its own metadata like
728
 
    SHA1 and length for files, or children for a directory.
729
 
 
730
 
    Entries can be looked up either by path or by file_id.
731
 
 
732
 
    InventoryEntry objects must not be modified after they are
733
 
    inserted, other than through the Inventory API.
734
 
    """
 
715
    """Basic inventory logic, defined in terms of primitives like has_id."""
735
716
 
736
717
    def __contains__(self, file_id):
737
718
        """True if this entry contains a file with given id.
750
731
        """
751
732
        return self.has_id(file_id)
752
733
 
753
 
    def has_filename(self, filename):
754
 
        return bool(self.path2id(filename))
755
 
 
756
734
    def id2path(self, file_id):
757
735
        """Return as a string the path to file_id.
758
736
 
761
739
        >>> e = i.add(InventoryFile('foo-id', 'foo.c', parent_id='src-id'))
762
740
        >>> print i.id2path('foo-id')
763
741
        src/foo.c
764
 
 
765
 
        :raises NoSuchId: If file_id is not present in the inventory.
766
742
        """
767
743
        # get all names, skipping root
768
744
        return '/'.join(reversed(
959
935
        descend(self.root, u'')
960
936
        return accum
961
937
 
962
 
    def path2id(self, relpath):
 
938
    def path2id(self, name):
963
939
        """Walk down through directories to return entry of last component.
964
940
 
965
 
        :param relpath: may be either a list of path components, or a single
966
 
            string, in which case it is automatically split.
 
941
        names may be either a list of path components, or a single
 
942
        string, in which case it is automatically split.
967
943
 
968
944
        This returns the entry of the last component in the path,
969
945
        which may be either a file or a directory.
970
946
 
971
947
        Returns None IFF the path is not found.
972
948
        """
973
 
        if isinstance(relpath, basestring):
974
 
            names = osutils.splitpath(relpath)
975
 
        else:
976
 
            names = relpath
 
949
        if isinstance(name, basestring):
 
950
            name = osutils.splitpath(name)
 
951
 
 
952
        # mutter("lookup path %r" % name)
977
953
 
978
954
        try:
979
955
            parent = self.root
982
958
            return None
983
959
        if parent is None:
984
960
            return None
985
 
        for f in names:
 
961
        for f in name:
986
962
            try:
987
963
                children = getattr(parent, 'children', None)
988
964
                if children is None:
1043
1019
 
1044
1020
 
1045
1021
class Inventory(CommonInventory):
1046
 
    """Mutable dict based in-memory inventory.
1047
 
 
1048
 
    We never store the full path to a file, because renaming a directory
1049
 
    implicitly moves all of its contents.  This class internally maintains a
 
1022
    """Inventory of versioned files in a tree.
 
1023
 
 
1024
    This describes which file_id is present at each point in the tree,
 
1025
    and possibly the SHA-1 or other information about the file.
 
1026
    Entries can be looked up either by path or by file_id.
 
1027
 
 
1028
    The inventory represents a typical unix file tree, with
 
1029
    directories containing files and subdirectories.  We never store
 
1030
    the full path to a file, because renaming a directory implicitly
 
1031
    moves all of its contents.  This class internally maintains a
1050
1032
    lookup tree that allows the children under a directory to be
1051
1033
    returned quickly.
1052
1034
 
 
1035
    InventoryEntry objects must not be modified after they are
 
1036
    inserted, other than through the Inventory API.
 
1037
 
1053
1038
    >>> inv = Inventory()
1054
1039
    >>> inv.add(InventoryFile('123-123', 'hello.c', ROOT_ID))
1055
1040
    InventoryFile('123-123', 'hello.c', parent_id='TREE_ROOT', sha1=None, len=None, revision=None)
1056
1041
    >>> inv['123-123'].name
1057
1042
    'hello.c'
1058
1043
 
1059
 
    Id's may be looked up from paths:
 
1044
    May be treated as an iterator or set to look up file ids:
1060
1045
 
1061
 
    >>> inv.path2id('hello.c')
1062
 
    '123-123'
 
1046
    >>> bool(inv.path2id('hello.c'))
 
1047
    True
1063
1048
    >>> '123-123' in inv
1064
1049
    True
1065
1050
 
1066
 
    There are iterators over the contents:
 
1051
    May also look up by name:
1067
1052
 
1068
 
    >>> [entry[0] for entry in inv.iter_entries()]
 
1053
    >>> [x[0] for x in inv.iter_entries()]
1069
1054
    ['', u'hello.c']
 
1055
    >>> inv = Inventory('TREE_ROOT-12345678-12345678')
 
1056
    >>> inv.add(InventoryFile('123-123', 'hello.c', ROOT_ID))
 
1057
    Traceback (most recent call last):
 
1058
    BzrError: parent_id {TREE_ROOT} not in inventory
 
1059
    >>> inv.add(InventoryFile('123-123', 'hello.c', 'TREE_ROOT-12345678-12345678'))
 
1060
    InventoryFile('123-123', 'hello.c', parent_id='TREE_ROOT-12345678-12345678', sha1=None, len=None, revision=None)
1070
1061
    """
1071
 
 
1072
1062
    def __init__(self, root_id=ROOT_ID, revision_id=None):
1073
1063
        """Create or read an inventory.
1074
1064
 
1098
1088
    def apply_delta(self, delta):
1099
1089
        """Apply a delta to this inventory.
1100
1090
 
1101
 
        See the inventory developers documentation for the theory behind
1102
 
        inventory deltas.
1103
 
 
1104
 
        If delta application fails the inventory is left in an indeterminate
1105
 
        state and must not be used.
1106
 
 
1107
1091
        :param delta: A list of changes to apply. After all the changes are
1108
1092
            applied the final inventory must be internally consistent, but it
1109
1093
            is ok to supply changes which, if only half-applied would have an
1140
1124
        """
1141
1125
        # Check that the delta is legal. It would be nice if this could be
1142
1126
        # done within the loops below but it's safer to validate the delta
1143
 
        # before starting to mutate the inventory, as there isn't a rollback
1144
 
        # facility.
1145
 
        list(_check_delta_unique_ids(_check_delta_unique_new_paths(
1146
 
            _check_delta_unique_old_paths(_check_delta_ids_match_entry(
1147
 
            _check_delta_ids_are_valid(
1148
 
            _check_delta_new_path_entry_both_or_None(
1149
 
            delta)))))))
 
1127
        # before starting to mutate the inventory.
 
1128
        unique_file_ids = set([f for _, _, f, _ in delta])
 
1129
        if len(unique_file_ids) != len(delta):
 
1130
            raise AssertionError("a file-id appears multiple times in %r"
 
1131
                    % (delta,))
 
1132
        del unique_file_ids
1150
1133
 
1151
1134
        children = {}
1152
1135
        # Remove all affected items which were in the original inventory,
1155
1138
        # modified children remaining by the time we examine it.
1156
1139
        for old_path, file_id in sorted(((op, f) for op, np, f, e in delta
1157
1140
                                        if op is not None), reverse=True):
 
1141
            if file_id not in self:
 
1142
                # adds come later
 
1143
                continue
1158
1144
            # Preserve unaltered children of file_id for later reinsertion.
1159
1145
            file_id_children = getattr(self[file_id], 'children', {})
1160
1146
            if len(file_id_children):
1161
1147
                children[file_id] = file_id_children
1162
 
            if self.id2path(file_id) != old_path:
1163
 
                raise errors.InconsistentDelta(old_path, file_id,
1164
 
                    "Entry was at wrong other path %r." % self.id2path(file_id))
1165
1148
            # Remove file_id and the unaltered children. If file_id is not
1166
1149
            # being deleted it will be reinserted back later.
1167
1150
            self.remove_recursive_id(file_id)
1170
1153
        # longest, ensuring that items which were modified and whose parents in
1171
1154
        # the resulting inventory were also modified, are inserted after their
1172
1155
        # parents.
1173
 
        for new_path, f, new_entry in sorted((np, f, e) for op, np, f, e in
 
1156
        for new_path, new_entry in sorted((np, e) for op, np, f, e in
1174
1157
                                          delta if np is not None):
1175
1158
            if new_entry.kind == 'directory':
1176
1159
                # Pop the child which to allow detection of children whose
1181
1164
                replacement.revision = new_entry.revision
1182
1165
                replacement.children = children.pop(replacement.file_id, {})
1183
1166
                new_entry = replacement
1184
 
            try:
1185
 
                self.add(new_entry)
1186
 
            except errors.DuplicateFileId:
1187
 
                raise errors.InconsistentDelta(new_path, new_entry.file_id,
1188
 
                    "New id is already present in target.")
1189
 
            except AttributeError:
1190
 
                raise errors.InconsistentDelta(new_path, new_entry.file_id,
1191
 
                    "Parent is not a directory.")
1192
 
            if self.id2path(new_entry.file_id) != new_path:
1193
 
                raise errors.InconsistentDelta(new_path, new_entry.file_id,
1194
 
                    "New path is not consistent with parent path.")
 
1167
            self.add(new_entry)
1195
1168
        if len(children):
1196
1169
            # Get the parent id that was deleted
1197
1170
            parent_id, children = children.popitem()
1198
1171
            raise errors.InconsistentDelta("<deleted>", parent_id,
1199
1172
                "The file id was deleted but its children were not deleted.")
1200
1173
 
1201
 
    def create_by_apply_delta(self, inventory_delta, new_revision_id,
1202
 
                              propagate_caches=False):
1203
 
        """See CHKInventory.create_by_apply_delta()"""
1204
 
        new_inv = self.copy()
1205
 
        new_inv.apply_delta(inventory_delta)
1206
 
        new_inv.revision_id = new_revision_id
1207
 
        return new_inv
1208
 
 
1209
1174
    def _set_root(self, ie):
1210
1175
        self.root = ie
1211
1176
        self._byid = {self.root.file_id: self.root}
1285
1250
        To add  a file to a branch ready to be committed, use Branch.add,
1286
1251
        which calls this.
1287
1252
 
1288
 
        :return: entry
 
1253
        Returns the new entry object.
1289
1254
        """
1290
1255
        if entry.file_id in self._byid:
1291
1256
            raise errors.DuplicateFileId(entry.file_id,
1292
1257
                                         self._byid[entry.file_id])
 
1258
 
1293
1259
        if entry.parent_id is None:
1294
1260
            self.root = entry
1295
1261
        else:
1296
1262
            try:
1297
1263
                parent = self._byid[entry.parent_id]
1298
1264
            except KeyError:
1299
 
                raise errors.InconsistentDelta("<unknown>", entry.parent_id,
1300
 
                    "Parent not in inventory.")
 
1265
                raise BzrError("parent_id {%s} not in inventory" %
 
1266
                               entry.parent_id)
 
1267
 
1301
1268
            if entry.name in parent.children:
1302
 
                raise errors.InconsistentDelta(
1303
 
                    self.id2path(parent.children[entry.name].file_id),
1304
 
                    entry.file_id,
1305
 
                    "Path already versioned")
 
1269
                raise BzrError("%s is already versioned" %
 
1270
                        osutils.pathjoin(self.id2path(parent.file_id),
 
1271
                        entry.name).encode('utf-8'))
1306
1272
            parent.children[entry.name] = entry
1307
1273
        return self._add_child(entry)
1308
1274
 
1383
1349
            yield ie
1384
1350
            file_id = ie.parent_id
1385
1351
 
 
1352
    def has_filename(self, filename):
 
1353
        return bool(self.path2id(filename))
 
1354
 
1386
1355
    def has_id(self, file_id):
1387
1356
        return (file_id in self._byid)
1388
1357
 
1498
1467
        self._fileid_to_entry_cache = {}
1499
1468
        self._path_to_fileid_cache = {}
1500
1469
        self._search_key_name = search_key_name
1501
 
        self.root_id = None
1502
1470
 
1503
1471
    def __eq__(self, other):
1504
1472
        """Compare two sets by comparing their contents."""
1555
1523
        else:
1556
1524
            raise ValueError("unknown kind %r" % entry.kind)
1557
1525
 
1558
 
    def _expand_fileids_to_parents_and_children(self, file_ids):
1559
 
        """Give a more wholistic view starting with the given file_ids.
1560
 
 
1561
 
        For any file_id which maps to a directory, we will include all children
1562
 
        of that directory. We will also include all directories which are
1563
 
        parents of the given file_ids, but we will not include their children.
1564
 
 
1565
 
        eg:
1566
 
          /     # TREE_ROOT
1567
 
          foo/  # foo-id
1568
 
            baz # baz-id
1569
 
            frob/ # frob-id
1570
 
              fringle # fringle-id
1571
 
          bar/  # bar-id
1572
 
            bing # bing-id
1573
 
 
1574
 
        if given [foo-id] we will include
1575
 
            TREE_ROOT as interesting parents
1576
 
        and 
1577
 
            foo-id, baz-id, frob-id, fringle-id
1578
 
        As interesting ids.
1579
 
        """
1580
 
        interesting = set()
1581
 
        # TODO: Pre-pass over the list of fileids to see if anything is already
1582
 
        #       deserialized in self._fileid_to_entry_cache
1583
 
 
1584
 
        directories_to_expand = set()
1585
 
        children_of_parent_id = {}
1586
 
        # It is okay if some of the fileids are missing
1587
 
        for entry in self._getitems(file_ids):
1588
 
            if entry.kind == 'directory':
1589
 
                directories_to_expand.add(entry.file_id)
1590
 
            interesting.add(entry.parent_id)
1591
 
            children_of_parent_id.setdefault(entry.parent_id, []
1592
 
                                             ).append(entry.file_id)
1593
 
 
1594
 
        # Now, interesting has all of the direct parents, but not the
1595
 
        # parents of those parents. It also may have some duplicates with
1596
 
        # specific_fileids
1597
 
        remaining_parents = interesting.difference(file_ids)
1598
 
        # When we hit the TREE_ROOT, we'll get an interesting parent of None,
1599
 
        # but we don't actually want to recurse into that
1600
 
        interesting.add(None) # this will auto-filter it in the loop
1601
 
        remaining_parents.discard(None) 
1602
 
        while remaining_parents:
1603
 
            next_parents = set()
1604
 
            for entry in self._getitems(remaining_parents):
1605
 
                next_parents.add(entry.parent_id)
1606
 
                children_of_parent_id.setdefault(entry.parent_id, []
1607
 
                                                 ).append(entry.file_id)
1608
 
            # Remove any search tips we've already processed
1609
 
            remaining_parents = next_parents.difference(interesting)
1610
 
            interesting.update(remaining_parents)
1611
 
            # We should probably also .difference(directories_to_expand)
1612
 
        interesting.update(file_ids)
1613
 
        interesting.discard(None)
1614
 
        while directories_to_expand:
1615
 
            # Expand directories by looking in the
1616
 
            # parent_id_basename_to_file_id map
1617
 
            keys = [StaticTuple(f,).intern() for f in directories_to_expand]
1618
 
            directories_to_expand = set()
1619
 
            items = self.parent_id_basename_to_file_id.iteritems(keys)
1620
 
            next_file_ids = set([item[1] for item in items])
1621
 
            next_file_ids = next_file_ids.difference(interesting)
1622
 
            interesting.update(next_file_ids)
1623
 
            for entry in self._getitems(next_file_ids):
1624
 
                if entry.kind == 'directory':
1625
 
                    directories_to_expand.add(entry.file_id)
1626
 
                children_of_parent_id.setdefault(entry.parent_id, []
1627
 
                                                 ).append(entry.file_id)
1628
 
        return interesting, children_of_parent_id
1629
 
 
1630
 
    def filter(self, specific_fileids):
1631
 
        """Get an inventory view filtered against a set of file-ids.
1632
 
 
1633
 
        Children of directories and parents are included.
1634
 
 
1635
 
        The result may or may not reference the underlying inventory
1636
 
        so it should be treated as immutable.
1637
 
        """
1638
 
        (interesting,
1639
 
         parent_to_children) = self._expand_fileids_to_parents_and_children(
1640
 
                                specific_fileids)
1641
 
        # There is some overlap here, but we assume that all interesting items
1642
 
        # are in the _fileid_to_entry_cache because we had to read them to
1643
 
        # determine if they were a dir we wanted to recurse, or just a file
1644
 
        # This should give us all the entries we'll want to add, so start
1645
 
        # adding
1646
 
        other = Inventory(self.root_id)
1647
 
        other.root.revision = self.root.revision
1648
 
        other.revision_id = self.revision_id
1649
 
        if not interesting or not parent_to_children:
1650
 
            # empty filter, or filtering entrys that don't exist
1651
 
            # (if even 1 existed, then we would have populated
1652
 
            # parent_to_children with at least the tree root.)
1653
 
            return other
1654
 
        cache = self._fileid_to_entry_cache
1655
 
        try:
1656
 
            remaining_children = collections.deque(parent_to_children[self.root_id])
1657
 
        except:
1658
 
            import pdb; pdb.set_trace()
1659
 
            raise
1660
 
        while remaining_children:
1661
 
            file_id = remaining_children.popleft()
1662
 
            ie = cache[file_id]
1663
 
            if ie.kind == 'directory':
1664
 
                ie = ie.copy() # We create a copy to depopulate the .children attribute
1665
 
            # TODO: depending on the uses of 'other' we should probably alwyas
1666
 
            #       '.copy()' to prevent someone from mutating other and
1667
 
            #       invaliding our internal cache
1668
 
            other.add(ie)
1669
 
            if file_id in parent_to_children:
1670
 
                remaining_children.extend(parent_to_children[file_id])
1671
 
        return other
1672
 
 
1673
1526
    @staticmethod
1674
1527
    def _bytes_to_utf8name_key(bytes):
1675
1528
        """Get the file_id, revision_id key out of bytes."""
1677
1530
        # to filter out empty names because of non rich-root...
1678
1531
        sections = bytes.split('\n')
1679
1532
        kind, file_id = sections[0].split(': ')
1680
 
        return (sections[2], intern(file_id), intern(sections[3]))
 
1533
        return (sections[2], file_id, sections[3])
1681
1534
 
1682
1535
    def _bytes_to_entry(self, bytes):
1683
1536
        """Deserialise a serialised entry."""
1705
1558
            result.reference_revision = sections[4]
1706
1559
        else:
1707
1560
            raise ValueError("Not a serialised entry %r" % bytes)
1708
 
        result.file_id = intern(result.file_id)
1709
 
        result.revision = intern(sections[3])
 
1561
        result.revision = sections[3]
1710
1562
        if result.parent_id == '':
1711
1563
            result.parent_id = None
1712
1564
        self._fileid_to_entry_cache[result.file_id] = result
1724
1576
        propagate_caches=False):
1725
1577
        """Create a new CHKInventory by applying inventory_delta to this one.
1726
1578
 
1727
 
        See the inventory developers documentation for the theory behind
1728
 
        inventory deltas.
1729
 
 
1730
1579
        :param inventory_delta: The inventory delta to apply. See
1731
1580
            Inventory.apply_delta for details.
1732
1581
        :param new_revision_id: The revision id of the resulting CHKInventory.
1734
1583
          copied to and updated for the result.
1735
1584
        :return: The new CHKInventory.
1736
1585
        """
1737
 
        split = osutils.split
1738
1586
        result = CHKInventory(self._search_key_name)
1739
1587
        if propagate_caches:
1740
1588
            # Just propagate the path-to-fileid cache for now
1749
1597
            search_key_func=search_key_func)
1750
1598
        result.id_to_entry._ensure_root()
1751
1599
        result.id_to_entry._root_node.set_maximum_size(maximum_size)
1752
 
        # Change to apply to the parent_id_basename delta. The dict maps
1753
 
        # (parent_id, basename) -> (old_key, new_value). We use a dict because
1754
 
        # when a path has its id replaced (e.g. the root is changed, or someone
1755
 
        # does bzr mv a b, bzr mv c a, we should output a single change to this
1756
 
        # map rather than two.
1757
 
        parent_id_basename_delta = {}
 
1600
        parent_id_basename_delta = []
1758
1601
        if self.parent_id_basename_to_file_id is not None:
1759
1602
            result.parent_id_basename_to_file_id = chk_map.CHKMap(
1760
1603
                self.parent_id_basename_to_file_id._store,
1770
1613
            result.parent_id_basename_to_file_id = None
1771
1614
        result.root_id = self.root_id
1772
1615
        id_to_entry_delta = []
1773
 
        # inventory_delta is only traversed once, so we just update the
1774
 
        # variable.
1775
 
        # Check for repeated file ids
1776
 
        inventory_delta = _check_delta_unique_ids(inventory_delta)
1777
 
        # Repeated old paths
1778
 
        inventory_delta = _check_delta_unique_old_paths(inventory_delta)
1779
 
        # Check for repeated new paths
1780
 
        inventory_delta = _check_delta_unique_new_paths(inventory_delta)
1781
 
        # Check for entries that don't match the fileid
1782
 
        inventory_delta = _check_delta_ids_match_entry(inventory_delta)
1783
 
        # Check for nonsense fileids
1784
 
        inventory_delta = _check_delta_ids_are_valid(inventory_delta)
1785
 
        # Check for new_path <-> entry consistency
1786
 
        inventory_delta = _check_delta_new_path_entry_both_or_None(
1787
 
            inventory_delta)
1788
 
        # All changed entries need to have their parents be directories and be
1789
 
        # at the right path. This set contains (path, id) tuples.
1790
 
        parents = set()
1791
 
        # When we delete an item, all the children of it must be either deleted
1792
 
        # or altered in their own right. As we batch process the change via
1793
 
        # CHKMap.apply_delta, we build a set of things to use to validate the
1794
 
        # delta.
1795
 
        deletes = set()
1796
 
        altered = set()
1797
1616
        for old_path, new_path, file_id, entry in inventory_delta:
1798
1617
            # file id changes
1799
1618
            if new_path == '':
1808
1627
                        del result._path_to_fileid_cache[old_path]
1809
1628
                    except KeyError:
1810
1629
                        pass
1811
 
                deletes.add(file_id)
1812
1630
            else:
1813
 
                new_key = StaticTuple(file_id,)
 
1631
                new_key = (file_id,)
1814
1632
                new_value = result._entry_to_bytes(entry)
1815
1633
                # Update caches. It's worth doing this whether
1816
1634
                # we're propagating the old caches or not.
1817
1635
                result._path_to_fileid_cache[new_path] = file_id
1818
 
                parents.add((split(new_path)[0], entry.parent_id))
1819
1636
            if old_path is None:
1820
1637
                old_key = None
1821
1638
            else:
1822
 
                old_key = StaticTuple(file_id,)
1823
 
                if self.id2path(file_id) != old_path:
1824
 
                    raise errors.InconsistentDelta(old_path, file_id,
1825
 
                        "Entry was at wrong other path %r." %
1826
 
                        self.id2path(file_id))
1827
 
                altered.add(file_id)
1828
 
            id_to_entry_delta.append(StaticTuple(old_key, new_key, new_value))
 
1639
                old_key = (file_id,)
 
1640
            id_to_entry_delta.append((old_key, new_key, new_value))
1829
1641
            if result.parent_id_basename_to_file_id is not None:
1830
1642
                # parent_id, basename changes
1831
1643
                if old_path is None:
1839
1651
                else:
1840
1652
                    new_key = self._parent_id_basename_key(entry)
1841
1653
                    new_value = file_id
1842
 
                # If the two keys are the same, the value will be unchanged
1843
 
                # as its always the file id for this entry.
1844
1654
                if old_key != new_key:
1845
 
                    # Transform a change into explicit delete/add preserving
1846
 
                    # a possible match on the key from a different file id.
1847
 
                    if old_key is not None:
1848
 
                        parent_id_basename_delta.setdefault(
1849
 
                            old_key, [None, None])[0] = old_key
1850
 
                    if new_key is not None:
1851
 
                        parent_id_basename_delta.setdefault(
1852
 
                            new_key, [None, None])[1] = new_value
1853
 
        # validate that deletes are complete.
1854
 
        for file_id in deletes:
1855
 
            entry = self[file_id]
1856
 
            if entry.kind != 'directory':
1857
 
                continue
1858
 
            # This loop could potentially be better by using the id_basename
1859
 
            # map to just get the child file ids.
1860
 
            for child in entry.children.values():
1861
 
                if child.file_id not in altered:
1862
 
                    raise errors.InconsistentDelta(self.id2path(child.file_id),
1863
 
                        child.file_id, "Child not deleted or reparented when "
1864
 
                        "parent deleted.")
 
1655
                    # If the two keys are the same, the value will be unchanged
 
1656
                    # as its always the file id.
 
1657
                    parent_id_basename_delta.append((old_key, new_key, new_value))
1865
1658
        result.id_to_entry.apply_delta(id_to_entry_delta)
1866
1659
        if parent_id_basename_delta:
1867
 
            # Transform the parent_id_basename delta data into a linear delta
1868
 
            # with only one record for a given key. Optimally this would allow
1869
 
            # re-keying, but its simpler to just output that as a delete+add
1870
 
            # to spend less time calculating the delta.
1871
 
            delta_list = []
1872
 
            for key, (old_key, value) in parent_id_basename_delta.iteritems():
1873
 
                if value is not None:
1874
 
                    delta_list.append((old_key, key, value))
1875
 
                else:
1876
 
                    delta_list.append((old_key, None, None))
1877
 
            result.parent_id_basename_to_file_id.apply_delta(delta_list)
1878
 
        parents.discard(('', None))
1879
 
        for parent_path, parent in parents:
1880
 
            try:
1881
 
                if result[parent].kind != 'directory':
1882
 
                    raise errors.InconsistentDelta(result.id2path(parent), parent,
1883
 
                        'Not a directory, but given children')
1884
 
            except errors.NoSuchId:
1885
 
                raise errors.InconsistentDelta("<unknown>", parent,
1886
 
                    "Parent is not present in resulting inventory.")
1887
 
            if result.path2id(parent_path) != parent:
1888
 
                raise errors.InconsistentDelta(parent_path, parent,
1889
 
                    "Parent has wrong path %r." % result.path2id(parent_path))
 
1660
            result.parent_id_basename_to_file_id.apply_delta(parent_id_basename_delta)
1890
1661
        return result
1891
1662
 
1892
1663
    @classmethod
1918
1689
                raise errors.BzrError('Duplicate key in inventory: %r\n%r'
1919
1690
                                      % (key, bytes))
1920
1691
            info[key] = value
1921
 
        revision_id = intern(info['revision_id'])
1922
 
        root_id = intern(info['root_id'])
1923
 
        search_key_name = intern(info.get('search_key_name', 'plain'))
1924
 
        parent_id_basename_to_file_id = intern(info.get(
1925
 
            'parent_id_basename_to_file_id', None))
1926
 
        if not parent_id_basename_to_file_id.startswith('sha1:'):
1927
 
            raise ValueError('parent_id_basename_to_file_id should be a sha1'
1928
 
                             ' key not %r' % (parent_id_basename_to_file_id,))
 
1692
        revision_id = info['revision_id']
 
1693
        root_id = info['root_id']
 
1694
        search_key_name = info.get('search_key_name', 'plain')
 
1695
        parent_id_basename_to_file_id = info.get(
 
1696
            'parent_id_basename_to_file_id', None)
1929
1697
        id_to_entry = info['id_to_entry']
1930
 
        if not id_to_entry.startswith('sha1:'):
1931
 
            raise ValueError('id_to_entry should be a sha1'
1932
 
                             ' key not %r' % (id_to_entry,))
1933
1698
 
1934
1699
        result = CHKInventory(search_key_name)
1935
1700
        result.revision_id = revision_id
1938
1703
                            result._search_key_name)
1939
1704
        if parent_id_basename_to_file_id is not None:
1940
1705
            result.parent_id_basename_to_file_id = chk_map.CHKMap(
1941
 
                chk_store, StaticTuple(parent_id_basename_to_file_id,),
 
1706
                chk_store, (parent_id_basename_to_file_id,),
1942
1707
                search_key_func=search_key_func)
1943
1708
        else:
1944
1709
            result.parent_id_basename_to_file_id = None
1945
1710
 
1946
 
        result.id_to_entry = chk_map.CHKMap(chk_store,
1947
 
                                            StaticTuple(id_to_entry,),
 
1711
        result.id_to_entry = chk_map.CHKMap(chk_store, (id_to_entry,),
1948
1712
                                            search_key_func=search_key_func)
1949
1713
        if (result.revision_id,) != expected_revision_id:
1950
1714
            raise ValueError("Mismatched revision id and expected: %r, %r" %
1972
1736
        id_to_entry_dict = {}
1973
1737
        parent_id_basename_dict = {}
1974
1738
        for path, entry in inventory.iter_entries():
1975
 
            key = StaticTuple(entry.file_id,).intern()
1976
 
            id_to_entry_dict[key] = entry_to_bytes(entry)
 
1739
            id_to_entry_dict[(entry.file_id,)] = entry_to_bytes(entry)
1977
1740
            p_id_key = parent_id_basename_key(entry)
1978
1741
            parent_id_basename_dict[p_id_key] = entry.file_id
1979
1742
 
2002
1765
            parent_id = entry.parent_id
2003
1766
        else:
2004
1767
            parent_id = ''
2005
 
        return StaticTuple(parent_id, entry.name.encode('utf8')).intern()
 
1768
        return parent_id, entry.name.encode('utf8')
2006
1769
 
2007
1770
    def __getitem__(self, file_id):
2008
1771
        """map a single file_id -> InventoryEntry."""
2013
1776
            return result
2014
1777
        try:
2015
1778
            return self._bytes_to_entry(
2016
 
                self.id_to_entry.iteritems([StaticTuple(file_id,)]).next()[1])
 
1779
                self.id_to_entry.iteritems([(file_id,)]).next()[1])
2017
1780
        except StopIteration:
2018
1781
            # really we're passing an inventory, not a tree...
2019
1782
            raise errors.NoSuchId(self, file_id)
2020
1783
 
2021
 
    def _getitems(self, file_ids):
2022
 
        """Similar to __getitem__, but lets you query for multiple.
2023
 
        
2024
 
        The returned order is undefined. And currently if an item doesn't
2025
 
        exist, it isn't included in the output.
2026
 
        """
2027
 
        result = []
2028
 
        remaining = []
2029
 
        for file_id in file_ids:
2030
 
            entry = self._fileid_to_entry_cache.get(file_id, None)
2031
 
            if entry is None:
2032
 
                remaining.append(file_id)
2033
 
            else:
2034
 
                result.append(entry)
2035
 
        file_keys = [StaticTuple(f,).intern() for f in remaining]
2036
 
        for file_key, value in self.id_to_entry.iteritems(file_keys):
2037
 
            entry = self._bytes_to_entry(value)
2038
 
            result.append(entry)
2039
 
            self._fileid_to_entry_cache[entry.file_id] = entry
2040
 
        return result
2041
 
 
2042
1784
    def has_id(self, file_id):
2043
1785
        # Perhaps have an explicit 'contains' method on CHKMap ?
2044
1786
        if self._fileid_to_entry_cache.get(file_id, None) is not None:
2045
1787
            return True
2046
 
        return len(list(
2047
 
            self.id_to_entry.iteritems([StaticTuple(file_id,)]))) == 1
 
1788
        return len(list(self.id_to_entry.iteritems([(file_id,)]))) == 1
2048
1789
 
2049
1790
    def is_root(self, file_id):
2050
1791
        return file_id == self.root_id
2179
1920
            delta.append((old_path, new_path, file_id, entry))
2180
1921
        return delta
2181
1922
 
2182
 
    def path2id(self, relpath):
 
1923
    def path2id(self, name):
2183
1924
        """See CommonInventory.path2id()."""
2184
 
        # TODO: perhaps support negative hits?
2185
 
        result = self._path_to_fileid_cache.get(relpath, None)
2186
 
        if result is not None:
2187
 
            return result
2188
 
        if isinstance(relpath, basestring):
2189
 
            names = osutils.splitpath(relpath)
2190
 
        else:
2191
 
            names = relpath
2192
 
        current_id = self.root_id
2193
 
        if current_id is None:
2194
 
            return None
2195
 
        parent_id_index = self.parent_id_basename_to_file_id
2196
 
        cur_path = None
2197
 
        for basename in names:
2198
 
            if cur_path is None:
2199
 
                cur_path = basename
2200
 
            else:
2201
 
                cur_path = cur_path + '/' + basename
2202
 
            basename_utf8 = basename.encode('utf8')
2203
 
            file_id = self._path_to_fileid_cache.get(cur_path, None)
2204
 
            if file_id is None:
2205
 
                key_filter = [StaticTuple(current_id, basename_utf8)]
2206
 
                items = parent_id_index.iteritems(key_filter)
2207
 
                for (parent_id, name_utf8), file_id in items:
2208
 
                    if parent_id != current_id or name_utf8 != basename_utf8:
2209
 
                        raise errors.BzrError("corrupt inventory lookup! "
2210
 
                            "%r %r %r %r" % (parent_id, current_id, name_utf8,
2211
 
                            basename_utf8))
2212
 
                if file_id is None:
2213
 
                    return None
2214
 
                else:
2215
 
                    self._path_to_fileid_cache[cur_path] = file_id
2216
 
            current_id = file_id
2217
 
        return current_id
 
1925
        result = self._path_to_fileid_cache.get(name, None)
 
1926
        if result is None:
 
1927
            result = CommonInventory.path2id(self, name)
 
1928
            self._path_to_fileid_cache[name] = result
 
1929
        return result
2218
1930
 
2219
1931
    def to_lines(self):
2220
1932
        """Serialise the inventory to lines."""
2224
1936
            lines.append('search_key_name: %s\n' % (self._search_key_name,))
2225
1937
            lines.append("root_id: %s\n" % self.root_id)
2226
1938
            lines.append('parent_id_basename_to_file_id: %s\n' %
2227
 
                (self.parent_id_basename_to_file_id.key()[0],))
 
1939
                self.parent_id_basename_to_file_id.key())
2228
1940
            lines.append("revision_id: %s\n" % self.revision_id)
2229
 
            lines.append("id_to_entry: %s\n" % (self.id_to_entry.key()[0],))
 
1941
            lines.append("id_to_entry: %s\n" % self.id_to_entry.key())
2230
1942
        else:
2231
1943
            lines.append("revision_id: %s\n" % self.revision_id)
2232
1944
            lines.append("root_id: %s\n" % self.root_id)
2233
1945
            if self.parent_id_basename_to_file_id is not None:
2234
1946
                lines.append('parent_id_basename_to_file_id: %s\n' %
2235
 
                    (self.parent_id_basename_to_file_id.key()[0],))
2236
 
            lines.append("id_to_entry: %s\n" % (self.id_to_entry.key()[0],))
 
1947
                    self.parent_id_basename_to_file_id.key())
 
1948
            lines.append("id_to_entry: %s\n" % self.id_to_entry.key())
2237
1949
        return lines
2238
1950
 
2239
1951
    @property
2280
1992
        parent_id_index = self._chk_inventory.parent_id_basename_to_file_id
2281
1993
        child_keys = set()
2282
1994
        for (parent_id, name_utf8), file_id in parent_id_index.iteritems(
2283
 
            key_filter=[StaticTuple(self.file_id,)]):
2284
 
            child_keys.add(StaticTuple(file_id,))
 
1995
            key_filter=[(self.file_id,)]):
 
1996
            child_keys.add((file_id,))
2285
1997
        cached = set()
2286
1998
        for file_id_key in child_keys:
2287
1999
            entry = self._chk_inventory._fileid_to_entry_cache.get(
2320
2032
    try:
2321
2033
        factory = entry_factory[kind]
2322
2034
    except KeyError:
2323
 
        raise errors.BadFileKindError(name, kind)
 
2035
        raise BzrError("unknown kind %r" % kind)
2324
2036
    return factory(file_id, name, parent_id)
2325
2037
 
2326
2038
 
2354
2066
        _NAME_RE = re.compile(r'^[^/\\]+$')
2355
2067
 
2356
2068
    return bool(_NAME_RE.match(name))
2357
 
 
2358
 
 
2359
 
def _check_delta_unique_ids(delta):
2360
 
    """Decorate a delta and check that the file ids in it are unique.
2361
 
 
2362
 
    :return: A generator over delta.
2363
 
    """
2364
 
    ids = set()
2365
 
    for item in delta:
2366
 
        length = len(ids) + 1
2367
 
        ids.add(item[2])
2368
 
        if len(ids) != length:
2369
 
            raise errors.InconsistentDelta(item[0] or item[1], item[2],
2370
 
                "repeated file_id")
2371
 
        yield item
2372
 
 
2373
 
 
2374
 
def _check_delta_unique_new_paths(delta):
2375
 
    """Decorate a delta and check that the new paths in it are unique.
2376
 
 
2377
 
    :return: A generator over delta.
2378
 
    """
2379
 
    paths = set()
2380
 
    for item in delta:
2381
 
        length = len(paths) + 1
2382
 
        path = item[1]
2383
 
        if path is not None:
2384
 
            paths.add(path)
2385
 
            if len(paths) != length:
2386
 
                raise errors.InconsistentDelta(path, item[2], "repeated path")
2387
 
        yield item
2388
 
 
2389
 
 
2390
 
def _check_delta_unique_old_paths(delta):
2391
 
    """Decorate a delta and check that the old paths in it are unique.
2392
 
 
2393
 
    :return: A generator over delta.
2394
 
    """
2395
 
    paths = set()
2396
 
    for item in delta:
2397
 
        length = len(paths) + 1
2398
 
        path = item[0]
2399
 
        if path is not None:
2400
 
            paths.add(path)
2401
 
            if len(paths) != length:
2402
 
                raise errors.InconsistentDelta(path, item[2], "repeated path")
2403
 
        yield item
2404
 
 
2405
 
 
2406
 
def _check_delta_ids_are_valid(delta):
2407
 
    """Decorate a delta and check that the ids in it are valid.
2408
 
 
2409
 
    :return: A generator over delta.
2410
 
    """
2411
 
    for item in delta:
2412
 
        entry = item[3]
2413
 
        if item[2] is None:
2414
 
            raise errors.InconsistentDelta(item[0] or item[1], item[2],
2415
 
                "entry with file_id None %r" % entry)
2416
 
        if type(item[2]) != str:
2417
 
            raise errors.InconsistentDelta(item[0] or item[1], item[2],
2418
 
                "entry with non bytes file_id %r" % entry)
2419
 
        yield item
2420
 
 
2421
 
 
2422
 
def _check_delta_ids_match_entry(delta):
2423
 
    """Decorate a delta and check that the ids in it match the entry.file_id.
2424
 
 
2425
 
    :return: A generator over delta.
2426
 
    """
2427
 
    for item in delta:
2428
 
        entry = item[3]
2429
 
        if entry is not None:
2430
 
            if entry.file_id != item[2]:
2431
 
                raise errors.InconsistentDelta(item[0] or item[1], item[2],
2432
 
                    "mismatched id with %r" % entry)
2433
 
        yield item
2434
 
 
2435
 
 
2436
 
def _check_delta_new_path_entry_both_or_None(delta):
2437
 
    """Decorate a delta and check that the new_path and entry are paired.
2438
 
 
2439
 
    :return: A generator over delta.
2440
 
    """
2441
 
    for item in delta:
2442
 
        new_path = item[1]
2443
 
        entry = item[3]
2444
 
        if new_path is None and entry is not None:
2445
 
            raise errors.InconsistentDelta(item[0], item[1],
2446
 
                "Entry with no new_path")
2447
 
        if new_path is not None and entry is None:
2448
 
            raise errors.InconsistentDelta(new_path, item[1],
2449
 
                "new_path with no entry")
2450
 
        yield item