~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/inventory.py

merge bzr.dev@4126 into brisbane-core

Show diffs side-by-side

added added

removed removed

Lines of Context:
27
27
# created, but it's not for now.
28
28
ROOT_ID = "TREE_ROOT"
29
29
 
30
 
import os
31
 
import re
32
 
import sys
 
30
from copy import deepcopy
33
31
 
34
32
from bzrlib.lazy_import import lazy_import
35
33
lazy_import(globals(), """
36
34
import collections
 
35
import os
 
36
import re
37
37
import tarfile
38
38
 
39
39
import bzrlib
40
40
from bzrlib import (
 
41
    chk_map,
41
42
    errors,
42
43
    generate_ids,
43
44
    osutils,
90
91
    >>> i.add(InventoryDirectory('123', 'src', ROOT_ID))
91
92
    InventoryDirectory('123', 'src', parent_id='TREE_ROOT', revision=None)
92
93
    >>> i.add(InventoryFile('2323', 'hello.c', parent_id='123'))
93
 
    InventoryFile('2323', 'hello.c', parent_id='123', sha1=None, len=None)
 
94
    InventoryFile('2323', 'hello.c', parent_id='123', sha1=None, len=None, revision=None)
94
95
    >>> shouldbe = {0: '', 1: 'src', 2: 'src/hello.c'}
95
96
    >>> for ix, j in enumerate(i.iter_entries()):
96
97
    ...   print (j[0] == shouldbe[ix], j[1])
97
98
    ...
98
99
    (True, InventoryDirectory('TREE_ROOT', u'', parent_id=None, revision=None))
99
100
    (True, InventoryDirectory('123', 'src', parent_id='TREE_ROOT', revision=None))
100
 
    (True, InventoryFile('2323', 'hello.c', parent_id='123', sha1=None, len=None))
 
101
    (True, InventoryFile('2323', 'hello.c', parent_id='123', sha1=None, len=None, revision=None))
101
102
    >>> i.add(InventoryFile('2324', 'bye.c', '123'))
102
 
    InventoryFile('2324', 'bye.c', parent_id='123', sha1=None, len=None)
 
103
    InventoryFile('2324', 'bye.c', parent_id='123', sha1=None, len=None, revision=None)
103
104
    >>> i.add(InventoryDirectory('2325', 'wibble', '123'))
104
105
    InventoryDirectory('2325', 'wibble', parent_id='123', revision=None)
105
106
    >>> i.path2id('src/wibble')
107
108
    >>> '2325' in i
108
109
    True
109
110
    >>> i.add(InventoryFile('2326', 'wibble.c', '2325'))
110
 
    InventoryFile('2326', 'wibble.c', parent_id='2325', sha1=None, len=None)
 
111
    InventoryFile('2326', 'wibble.c', parent_id='2325', sha1=None, len=None, revision=None)
111
112
    >>> i['2326']
112
 
    InventoryFile('2326', 'wibble.c', parent_id='2325', sha1=None, len=None)
 
113
    InventoryFile('2326', 'wibble.c', parent_id='2325', sha1=None, len=None, revision=None)
113
114
    >>> for path, entry in i.iter_entries():
114
115
    ...     print path
115
116
    ...
566
567
        self.executable = work_tree.is_executable(self.file_id, path=path)
567
568
 
568
569
    def __repr__(self):
569
 
        return ("%s(%r, %r, parent_id=%r, sha1=%r, len=%s)"
 
570
        return ("%s(%r, %r, parent_id=%r, sha1=%r, len=%s, revision=%s)"
570
571
                % (self.__class__.__name__,
571
572
                   self.file_id,
572
573
                   self.name,
573
574
                   self.parent_id,
574
575
                   self.text_sha1,
575
 
                   self.text_size))
 
576
                   self.text_size,
 
577
                   self.revision))
576
578
 
577
579
    def _forget_tree_state(self):
578
580
        self.text_sha1 = None
711
713
        return compatible
712
714
 
713
715
 
714
 
class Inventory(object):
 
716
class CommonInventory(object):
 
717
    """Basic inventory logic, defined in terms of primitives like has_id."""
 
718
 
 
719
    def __contains__(self, file_id):
 
720
        """True if this entry contains a file with given id.
 
721
 
 
722
        >>> inv = Inventory()
 
723
        >>> inv.add(InventoryFile('123', 'foo.c', ROOT_ID))
 
724
        InventoryFile('123', 'foo.c', parent_id='TREE_ROOT', sha1=None, len=None, revision=None)
 
725
        >>> '123' in inv
 
726
        True
 
727
        >>> '456' in inv
 
728
        False
 
729
 
 
730
        Note that this method along with __iter__ are not encouraged for use as
 
731
        they are less clear than specific query methods - they may be rmeoved
 
732
        in the future.
 
733
        """
 
734
        return self.has_id(file_id)
 
735
 
 
736
    def id2path(self, file_id):
 
737
        """Return as a string the path to file_id.
 
738
 
 
739
        >>> i = Inventory()
 
740
        >>> e = i.add(InventoryDirectory('src-id', 'src', ROOT_ID))
 
741
        >>> e = i.add(InventoryFile('foo-id', 'foo.c', parent_id='src-id'))
 
742
        >>> print i.id2path('foo-id')
 
743
        src/foo.c
 
744
        """
 
745
        # get all names, skipping root
 
746
        return '/'.join(reversed(
 
747
            [parent.name for parent in
 
748
             self._iter_file_id_parents(file_id)][:-1]))
 
749
 
 
750
    def iter_entries(self, from_dir=None):
 
751
        """Return (path, entry) pairs, in order by name."""
 
752
        if from_dir is None:
 
753
            if self.root is None:
 
754
                return
 
755
            from_dir = self.root
 
756
            yield '', self.root
 
757
        elif isinstance(from_dir, basestring):
 
758
            from_dir = self[from_dir]
 
759
 
 
760
        # unrolling the recursive called changed the time from
 
761
        # 440ms/663ms (inline/total) to 116ms/116ms
 
762
        children = from_dir.children.items()
 
763
        children.sort()
 
764
        children = collections.deque(children)
 
765
        stack = [(u'', children)]
 
766
        while stack:
 
767
            from_dir_relpath, children = stack[-1]
 
768
 
 
769
            while children:
 
770
                name, ie = children.popleft()
 
771
 
 
772
                # we know that from_dir_relpath never ends in a slash
 
773
                # and 'f' doesn't begin with one, we can do a string op, rather
 
774
                # than the checks of pathjoin(), though this means that all paths
 
775
                # start with a slash
 
776
                path = from_dir_relpath + '/' + name
 
777
 
 
778
                yield path[1:], ie
 
779
 
 
780
                if ie.kind != 'directory':
 
781
                    continue
 
782
 
 
783
                # But do this child first
 
784
                new_children = ie.children.items()
 
785
                new_children.sort()
 
786
                new_children = collections.deque(new_children)
 
787
                stack.append((path, new_children))
 
788
                # Break out of inner loop, so that we start outer loop with child
 
789
                break
 
790
            else:
 
791
                # if we finished all children, pop it off the stack
 
792
                stack.pop()
 
793
 
 
794
    def iter_entries_by_dir(self, from_dir=None, specific_file_ids=None,
 
795
        yield_parents=False):
 
796
        """Iterate over the entries in a directory first order.
 
797
 
 
798
        This returns all entries for a directory before returning
 
799
        the entries for children of a directory. This is not
 
800
        lexicographically sorted order, and is a hybrid between
 
801
        depth-first and breadth-first.
 
802
 
 
803
        :param yield_parents: If True, yield the parents from the root leading
 
804
            down to specific_file_ids that have been requested. This has no
 
805
            impact if specific_file_ids is None.
 
806
        :return: This yields (path, entry) pairs
 
807
        """
 
808
        if specific_file_ids and not isinstance(specific_file_ids, set):
 
809
            specific_file_ids = set(specific_file_ids)
 
810
        # TODO? Perhaps this should return the from_dir so that the root is
 
811
        # yielded? or maybe an option?
 
812
        if from_dir is None:
 
813
            if self.root is None:
 
814
                return
 
815
            # Optimize a common case
 
816
            if (not yield_parents and specific_file_ids is not None and
 
817
                len(specific_file_ids) == 1):
 
818
                file_id = list(specific_file_ids)[0]
 
819
                if file_id in self:
 
820
                    yield self.id2path(file_id), self[file_id]
 
821
                return
 
822
            from_dir = self.root
 
823
            if (specific_file_ids is None or yield_parents or
 
824
                self.root.file_id in specific_file_ids):
 
825
                yield u'', self.root
 
826
        elif isinstance(from_dir, basestring):
 
827
            from_dir = self[from_dir]
 
828
 
 
829
        if specific_file_ids is not None:
 
830
            # TODO: jam 20070302 This could really be done as a loop rather
 
831
            #       than a bunch of recursive calls.
 
832
            parents = set()
 
833
            byid = self
 
834
            def add_ancestors(file_id):
 
835
                if file_id not in byid:
 
836
                    return
 
837
                parent_id = byid[file_id].parent_id
 
838
                if parent_id is None:
 
839
                    return
 
840
                if parent_id not in parents:
 
841
                    parents.add(parent_id)
 
842
                    add_ancestors(parent_id)
 
843
            for file_id in specific_file_ids:
 
844
                add_ancestors(file_id)
 
845
        else:
 
846
            parents = None
 
847
 
 
848
        stack = [(u'', from_dir)]
 
849
        while stack:
 
850
            cur_relpath, cur_dir = stack.pop()
 
851
 
 
852
            child_dirs = []
 
853
            for child_name, child_ie in sorted(cur_dir.children.iteritems()):
 
854
 
 
855
                child_relpath = cur_relpath + child_name
 
856
 
 
857
                if (specific_file_ids is None or
 
858
                    child_ie.file_id in specific_file_ids or
 
859
                    (yield_parents and child_ie.file_id in parents)):
 
860
                    yield child_relpath, child_ie
 
861
 
 
862
                if child_ie.kind == 'directory':
 
863
                    if parents is None or child_ie.file_id in parents:
 
864
                        child_dirs.append((child_relpath+'/', child_ie))
 
865
            stack.extend(reversed(child_dirs))
 
866
 
 
867
    def _make_delta(self, old):
 
868
        """Make an inventory delta from two inventories."""
 
869
        old_ids = set(old)
 
870
        new_ids = set(self)
 
871
        adds = new_ids - old_ids
 
872
        deletes = old_ids - new_ids
 
873
        common = old_ids.intersection(new_ids)
 
874
        delta = []
 
875
        for file_id in deletes:
 
876
            delta.append((old.id2path(file_id), None, file_id, None))
 
877
        for file_id in adds:
 
878
            delta.append((None, self.id2path(file_id), file_id, self[file_id]))
 
879
        for file_id in common:
 
880
            if old[file_id] != self[file_id]:
 
881
                delta.append((old.id2path(file_id), self.id2path(file_id),
 
882
                    file_id, self[file_id]))
 
883
        return delta
 
884
 
 
885
    def _get_mutable_inventory(self):
 
886
        """Returns a mutable copy of the object.
 
887
 
 
888
        Some inventories are immutable, yet working trees, for example, needs
 
889
        to mutate exisiting inventories instead of creating a new one.
 
890
        """
 
891
        raise NotImplementedError(self._get_mutable_inventory)
 
892
 
 
893
    def make_entry(self, kind, name, parent_id, file_id=None):
 
894
        """Simple thunk to bzrlib.inventory.make_entry."""
 
895
        return make_entry(kind, name, parent_id, file_id)
 
896
 
 
897
    def entries(self):
 
898
        """Return list of (path, ie) for all entries except the root.
 
899
 
 
900
        This may be faster than iter_entries.
 
901
        """
 
902
        accum = []
 
903
        def descend(dir_ie, dir_path):
 
904
            kids = dir_ie.children.items()
 
905
            kids.sort()
 
906
            for name, ie in kids:
 
907
                child_path = osutils.pathjoin(dir_path, name)
 
908
                accum.append((child_path, ie))
 
909
                if ie.kind == 'directory':
 
910
                    descend(ie, child_path)
 
911
 
 
912
        descend(self.root, u'')
 
913
        return accum
 
914
 
 
915
    def directories(self):
 
916
        """Return (path, entry) pairs for all directories, including the root.
 
917
        """
 
918
        accum = []
 
919
        def descend(parent_ie, parent_path):
 
920
            accum.append((parent_path, parent_ie))
 
921
 
 
922
            kids = [(ie.name, ie) for ie in parent_ie.children.itervalues() if ie.kind == 'directory']
 
923
            kids.sort()
 
924
 
 
925
            for name, child_ie in kids:
 
926
                child_path = osutils.pathjoin(parent_path, name)
 
927
                descend(child_ie, child_path)
 
928
        descend(self.root, u'')
 
929
        return accum
 
930
 
 
931
    def path2id(self, name):
 
932
        """Walk down through directories to return entry of last component.
 
933
 
 
934
        names may be either a list of path components, or a single
 
935
        string, in which case it is automatically split.
 
936
 
 
937
        This returns the entry of the last component in the path,
 
938
        which may be either a file or a directory.
 
939
 
 
940
        Returns None IFF the path is not found.
 
941
        """
 
942
        if isinstance(name, basestring):
 
943
            name = osutils.splitpath(name)
 
944
 
 
945
        # mutter("lookup path %r" % name)
 
946
 
 
947
        try:
 
948
            parent = self.root
 
949
        except errors.NoSuchId:
 
950
            # root doesn't exist yet so nothing else can
 
951
            return None
 
952
        if parent is None:
 
953
            return None
 
954
        for f in name:
 
955
            try:
 
956
                children = getattr(parent, 'children', None)
 
957
                if children is None:
 
958
                    return None
 
959
                cie = children[f]
 
960
                parent = cie
 
961
            except KeyError:
 
962
                # or raise an error?
 
963
                return None
 
964
 
 
965
        return parent.file_id
 
966
 
 
967
    def filter(self, specific_fileids):
 
968
        """Get an inventory view filtered against a set of file-ids.
 
969
 
 
970
        Children of directories and parents are included.
 
971
 
 
972
        The result may or may not reference the underlying inventory
 
973
        so it should be treated as immutable.
 
974
        """
 
975
        interesting_parents = set()
 
976
        for fileid in specific_fileids:
 
977
            try:
 
978
                interesting_parents.update(self.get_idpath(fileid))
 
979
            except errors.NoSuchId:
 
980
                # This fileid is not in the inventory - that's ok
 
981
                pass
 
982
        entries = self.iter_entries()
 
983
        if self.root is None:
 
984
            return Inventory(root_id=None)
 
985
        other = Inventory(entries.next()[1].file_id)
 
986
        other.root.revision = self.root.revision
 
987
        other.revision_id = self.revision_id
 
988
        directories_to_expand = set()
 
989
        for path, entry in entries:
 
990
            file_id = entry.file_id
 
991
            if (file_id in specific_fileids
 
992
                or entry.parent_id in directories_to_expand):
 
993
                if entry.kind == 'directory':
 
994
                    directories_to_expand.add(file_id)
 
995
            elif file_id not in interesting_parents:
 
996
                continue
 
997
            other.add(entry.copy())
 
998
        return other
 
999
 
 
1000
    def get_idpath(self, file_id):
 
1001
        """Return a list of file_ids for the path to an entry.
 
1002
 
 
1003
        The list contains one element for each directory followed by
 
1004
        the id of the file itself.  So the length of the returned list
 
1005
        is equal to the depth of the file in the tree, counting the
 
1006
        root directory as depth 1.
 
1007
        """
 
1008
        p = []
 
1009
        for parent in self._iter_file_id_parents(file_id):
 
1010
            p.insert(0, parent.file_id)
 
1011
        return p
 
1012
 
 
1013
 
 
1014
class Inventory(CommonInventory):
715
1015
    """Inventory of versioned files in a tree.
716
1016
 
717
1017
    This describes which file_id is present at each point in the tree,
730
1030
 
731
1031
    >>> inv = Inventory()
732
1032
    >>> inv.add(InventoryFile('123-123', 'hello.c', ROOT_ID))
733
 
    InventoryFile('123-123', 'hello.c', parent_id='TREE_ROOT', sha1=None, len=None)
 
1033
    InventoryFile('123-123', 'hello.c', parent_id='TREE_ROOT', sha1=None, len=None, revision=None)
734
1034
    >>> inv['123-123'].name
735
1035
    'hello.c'
736
1036
 
750
1050
    Traceback (most recent call last):
751
1051
    BzrError: parent_id {TREE_ROOT} not in inventory
752
1052
    >>> inv.add(InventoryFile('123-123', 'hello.c', 'TREE_ROOT-12345678-12345678'))
753
 
    InventoryFile('123-123', 'hello.c', parent_id='TREE_ROOT-12345678-12345678', sha1=None, len=None)
 
1053
    InventoryFile('123-123', 'hello.c', parent_id='TREE_ROOT-12345678-12345678', sha1=None, len=None, revision=None)
754
1054
    """
755
1055
    def __init__(self, root_id=ROOT_ID, revision_id=None):
756
1056
        """Create or read an inventory.
852
1152
                # Pop the child which to allow detection of children whose
853
1153
                # parents were deleted and which were not reattached to a new
854
1154
                # parent.
855
 
                new_entry.children = children.pop(new_entry.file_id, {})
 
1155
                replacement = InventoryDirectory(new_entry.file_id,
 
1156
                    new_entry.name, new_entry.parent_id)
 
1157
                replacement.revision = new_entry.revision
 
1158
                replacement.children = children.pop(replacement.file_id, {})
 
1159
                new_entry = replacement
856
1160
            self.add(new_entry)
857
1161
        if len(children):
858
1162
            # Get the parent id that was deleted
877
1181
            other.add(entry.copy())
878
1182
        return other
879
1183
 
 
1184
    def _get_mutable_inventory(self):
 
1185
        """See CommonInventory._get_mutable_inventory."""
 
1186
        return deepcopy(self)
 
1187
 
880
1188
    def __iter__(self):
 
1189
        """Iterate over all file-ids."""
881
1190
        return iter(self._byid)
882
1191
 
 
1192
    def iter_just_entries(self):
 
1193
        """Iterate over all entries.
 
1194
        
 
1195
        Unlike iter_entries(), just the entries are returned (not (path, ie))
 
1196
        and the order of entries is undefined.
 
1197
 
 
1198
        XXX: We may not want to merge this into bzr.dev.
 
1199
        """
 
1200
        if self.root is None:
 
1201
            return
 
1202
        for _, ie in self._byid.iteritems():
 
1203
            yield ie
 
1204
 
883
1205
    def __len__(self):
884
1206
        """Returns number of entries."""
885
1207
        return len(self._byid)
886
1208
 
887
 
    def iter_entries(self, from_dir=None):
888
 
        """Return (path, entry) pairs, in order by name."""
889
 
        if from_dir is None:
890
 
            if self.root is None:
891
 
                return
892
 
            from_dir = self.root
893
 
            yield '', self.root
894
 
        elif isinstance(from_dir, basestring):
895
 
            from_dir = self._byid[from_dir]
896
 
 
897
 
        # unrolling the recursive called changed the time from
898
 
        # 440ms/663ms (inline/total) to 116ms/116ms
899
 
        children = from_dir.children.items()
900
 
        children.sort()
901
 
        children = collections.deque(children)
902
 
        stack = [(u'', children)]
903
 
        while stack:
904
 
            from_dir_relpath, children = stack[-1]
905
 
 
906
 
            while children:
907
 
                name, ie = children.popleft()
908
 
 
909
 
                # we know that from_dir_relpath never ends in a slash
910
 
                # and 'f' doesn't begin with one, we can do a string op, rather
911
 
                # than the checks of pathjoin(), though this means that all paths
912
 
                # start with a slash
913
 
                path = from_dir_relpath + '/' + name
914
 
 
915
 
                yield path[1:], ie
916
 
 
917
 
                if ie.kind != 'directory':
918
 
                    continue
919
 
 
920
 
                # But do this child first
921
 
                new_children = ie.children.items()
922
 
                new_children.sort()
923
 
                new_children = collections.deque(new_children)
924
 
                stack.append((path, new_children))
925
 
                # Break out of inner loop, so that we start outer loop with child
926
 
                break
927
 
            else:
928
 
                # if we finished all children, pop it off the stack
929
 
                stack.pop()
930
 
 
931
 
    def iter_entries_by_dir(self, from_dir=None, specific_file_ids=None,
932
 
        yield_parents=False):
933
 
        """Iterate over the entries in a directory first order.
934
 
 
935
 
        This returns all entries for a directory before returning
936
 
        the entries for children of a directory. This is not
937
 
        lexicographically sorted order, and is a hybrid between
938
 
        depth-first and breadth-first.
939
 
 
940
 
        :param yield_parents: If True, yield the parents from the root leading
941
 
            down to specific_file_ids that have been requested. This has no
942
 
            impact if specific_file_ids is None.
943
 
        :return: This yields (path, entry) pairs
944
 
        """
945
 
        if specific_file_ids and not isinstance(specific_file_ids, set):
946
 
            specific_file_ids = set(specific_file_ids)
947
 
        # TODO? Perhaps this should return the from_dir so that the root is
948
 
        # yielded? or maybe an option?
949
 
        if from_dir is None:
950
 
            if self.root is None:
951
 
                return
952
 
            # Optimize a common case
953
 
            if (not yield_parents and specific_file_ids is not None and
954
 
                len(specific_file_ids) == 1):
955
 
                file_id = list(specific_file_ids)[0]
956
 
                if file_id in self:
957
 
                    yield self.id2path(file_id), self[file_id]
958
 
                return
959
 
            from_dir = self.root
960
 
            if (specific_file_ids is None or yield_parents or
961
 
                self.root.file_id in specific_file_ids):
962
 
                yield u'', self.root
963
 
        elif isinstance(from_dir, basestring):
964
 
            from_dir = self._byid[from_dir]
965
 
 
966
 
        if specific_file_ids is not None:
967
 
            # TODO: jam 20070302 This could really be done as a loop rather
968
 
            #       than a bunch of recursive calls.
969
 
            parents = set()
970
 
            byid = self._byid
971
 
            def add_ancestors(file_id):
972
 
                if file_id not in byid:
973
 
                    return
974
 
                parent_id = byid[file_id].parent_id
975
 
                if parent_id is None:
976
 
                    return
977
 
                if parent_id not in parents:
978
 
                    parents.add(parent_id)
979
 
                    add_ancestors(parent_id)
980
 
            for file_id in specific_file_ids:
981
 
                add_ancestors(file_id)
982
 
        else:
983
 
            parents = None
984
 
 
985
 
        stack = [(u'', from_dir)]
986
 
        while stack:
987
 
            cur_relpath, cur_dir = stack.pop()
988
 
 
989
 
            child_dirs = []
990
 
            for child_name, child_ie in sorted(cur_dir.children.iteritems()):
991
 
 
992
 
                child_relpath = cur_relpath + child_name
993
 
 
994
 
                if (specific_file_ids is None or
995
 
                    child_ie.file_id in specific_file_ids or
996
 
                    (yield_parents and child_ie.file_id in parents)):
997
 
                    yield child_relpath, child_ie
998
 
 
999
 
                if child_ie.kind == 'directory':
1000
 
                    if parents is None or child_ie.file_id in parents:
1001
 
                        child_dirs.append((child_relpath+'/', child_ie))
1002
 
            stack.extend(reversed(child_dirs))
1003
 
 
1004
 
    def make_entry(self, kind, name, parent_id, file_id=None):
1005
 
        """Simple thunk to bzrlib.inventory.make_entry."""
1006
 
        return make_entry(kind, name, parent_id, file_id)
1007
 
 
1008
 
    def entries(self):
1009
 
        """Return list of (path, ie) for all entries except the root.
1010
 
 
1011
 
        This may be faster than iter_entries.
1012
 
        """
1013
 
        accum = []
1014
 
        def descend(dir_ie, dir_path):
1015
 
            kids = dir_ie.children.items()
1016
 
            kids.sort()
1017
 
            for name, ie in kids:
1018
 
                child_path = osutils.pathjoin(dir_path, name)
1019
 
                accum.append((child_path, ie))
1020
 
                if ie.kind == 'directory':
1021
 
                    descend(ie, child_path)
1022
 
 
1023
 
        descend(self.root, u'')
1024
 
        return accum
1025
 
 
1026
 
    def directories(self):
1027
 
        """Return (path, entry) pairs for all directories, including the root.
1028
 
        """
1029
 
        accum = []
1030
 
        def descend(parent_ie, parent_path):
1031
 
            accum.append((parent_path, parent_ie))
1032
 
 
1033
 
            kids = [(ie.name, ie) for ie in parent_ie.children.itervalues() if ie.kind == 'directory']
1034
 
            kids.sort()
1035
 
 
1036
 
            for name, child_ie in kids:
1037
 
                child_path = osutils.pathjoin(parent_path, name)
1038
 
                descend(child_ie, child_path)
1039
 
        descend(self.root, u'')
1040
 
        return accum
1041
 
 
1042
 
    def __contains__(self, file_id):
1043
 
        """True if this entry contains a file with given id.
1044
 
 
1045
 
        >>> inv = Inventory()
1046
 
        >>> inv.add(InventoryFile('123', 'foo.c', ROOT_ID))
1047
 
        InventoryFile('123', 'foo.c', parent_id='TREE_ROOT', sha1=None, len=None)
1048
 
        >>> '123' in inv
1049
 
        True
1050
 
        >>> '456' in inv
1051
 
        False
1052
 
        """
1053
 
        return (file_id in self._byid)
1054
 
 
1055
1209
    def __getitem__(self, file_id):
1056
1210
        """Return the entry for given file_id.
1057
1211
 
1058
1212
        >>> inv = Inventory()
1059
1213
        >>> inv.add(InventoryFile('123123', 'hello.c', ROOT_ID))
1060
 
        InventoryFile('123123', 'hello.c', parent_id='TREE_ROOT', sha1=None, len=None)
 
1214
        InventoryFile('123123', 'hello.c', parent_id='TREE_ROOT', sha1=None, len=None, revision=None)
1061
1215
        >>> inv['123123'].name
1062
1216
        'hello.c'
1063
1217
        """
1139
1293
 
1140
1294
        >>> inv = Inventory()
1141
1295
        >>> inv.add(InventoryFile('123', 'foo.c', ROOT_ID))
1142
 
        InventoryFile('123', 'foo.c', parent_id='TREE_ROOT', sha1=None, len=None)
 
1296
        InventoryFile('123', 'foo.c', parent_id='TREE_ROOT', sha1=None, len=None, revision=None)
1143
1297
        >>> '123' in inv
1144
1298
        True
1145
1299
        >>> del inv['123']
1159
1313
        >>> i1 == i2
1160
1314
        True
1161
1315
        >>> i1.add(InventoryFile('123', 'foo', ROOT_ID))
1162
 
        InventoryFile('123', 'foo', parent_id='TREE_ROOT', sha1=None, len=None)
 
1316
        InventoryFile('123', 'foo', parent_id='TREE_ROOT', sha1=None, len=None, revision=None)
1163
1317
        >>> i1 == i2
1164
1318
        False
1165
1319
        >>> i2.add(InventoryFile('123', 'foo', ROOT_ID))
1166
 
        InventoryFile('123', 'foo', parent_id='TREE_ROOT', sha1=None, len=None)
 
1320
        InventoryFile('123', 'foo', parent_id='TREE_ROOT', sha1=None, len=None, revision=None)
1167
1321
        >>> i1 == i2
1168
1322
        True
1169
1323
        """
1188
1342
            yield ie
1189
1343
            file_id = ie.parent_id
1190
1344
 
1191
 
    def get_idpath(self, file_id):
1192
 
        """Return a list of file_ids for the path to an entry.
1193
 
 
1194
 
        The list contains one element for each directory followed by
1195
 
        the id of the file itself.  So the length of the returned list
1196
 
        is equal to the depth of the file in the tree, counting the
1197
 
        root directory as depth 1.
1198
 
        """
1199
 
        p = []
1200
 
        for parent in self._iter_file_id_parents(file_id):
1201
 
            p.insert(0, parent.file_id)
1202
 
        return p
1203
 
 
1204
 
    def id2path(self, file_id):
1205
 
        """Return as a string the path to file_id.
1206
 
 
1207
 
        >>> i = Inventory()
1208
 
        >>> e = i.add(InventoryDirectory('src-id', 'src', ROOT_ID))
1209
 
        >>> e = i.add(InventoryFile('foo-id', 'foo.c', parent_id='src-id'))
1210
 
        >>> print i.id2path('foo-id')
1211
 
        src/foo.c
1212
 
        """
1213
 
        # get all names, skipping root
1214
 
        return '/'.join(reversed(
1215
 
            [parent.name for parent in
1216
 
             self._iter_file_id_parents(file_id)][:-1]))
1217
 
 
1218
 
    def path2id(self, name):
1219
 
        """Walk down through directories to return entry of last component.
1220
 
 
1221
 
        names may be either a list of path components, or a single
1222
 
        string, in which case it is automatically split.
1223
 
 
1224
 
        This returns the entry of the last component in the path,
1225
 
        which may be either a file or a directory.
1226
 
 
1227
 
        Returns None IFF the path is not found.
1228
 
        """
1229
 
        if isinstance(name, basestring):
1230
 
            name = osutils.splitpath(name)
1231
 
 
1232
 
        # mutter("lookup path %r" % name)
1233
 
 
1234
 
        parent = self.root
1235
 
        if parent is None:
1236
 
            return None
1237
 
        for f in name:
1238
 
            try:
1239
 
                children = getattr(parent, 'children', None)
1240
 
                if children is None:
1241
 
                    return None
1242
 
                cie = children[f]
1243
 
                parent = cie
1244
 
            except KeyError:
1245
 
                # or raise an error?
1246
 
                return None
1247
 
 
1248
 
        return parent.file_id
1249
 
 
1250
1345
    def has_filename(self, names):
1251
1346
        return bool(self.path2id(names))
1252
1347
 
1338
1433
    def is_root(self, file_id):
1339
1434
        return self.root is not None and file_id == self.root.file_id
1340
1435
 
1341
 
    def filter(self, specific_fileids):
1342
 
        """Get an inventory view filtered against a set of file-ids.
1343
 
 
1344
 
        Children of directories and parents are included.
1345
 
 
1346
 
        The result may or may not reference the underlying inventory
1347
 
        so it should be treated as immutable.
1348
 
        """
1349
 
        interesting_parents = set()
1350
 
        for fileid in specific_fileids:
 
1436
 
 
1437
class CHKInventory(CommonInventory):
 
1438
    """An inventory persisted in a CHK store.
 
1439
 
 
1440
    By design, a CHKInventory is immutable so many of the methods
 
1441
    supported by Inventory - add, rename, apply_delta, etc - are *not*
 
1442
    supported. To create a new CHKInventory, use create_by_apply_delta()
 
1443
    or from_inventory(), say.
 
1444
 
 
1445
    Internally, a CHKInventory has one or two CHKMaps:
 
1446
 
 
1447
    * id_to_entry - a map from (file_id,) => InventoryEntry as bytes
 
1448
    * parent_id_basename_to_file_id - a map from (parent_id, basename_utf8)
 
1449
        => file_id as bytes
 
1450
 
 
1451
    The second map is optional and not present in early CHkRepository's.
 
1452
 
 
1453
    No caching is performed: every method call or item access will perform
 
1454
    requests to the storage layer. As such, keep references to objects you
 
1455
    want to reuse.
 
1456
    """
 
1457
 
 
1458
    def __init__(self, search_key_name):
 
1459
        CommonInventory.__init__(self)
 
1460
        self._fileid_to_entry_cache = {}
 
1461
        self._path_to_fileid_cache = {}
 
1462
        self._search_key_name = search_key_name
 
1463
 
 
1464
    def _entry_to_bytes(self, entry):
 
1465
        """Serialise entry as a single bytestring.
 
1466
 
 
1467
        :param Entry: An inventory entry.
 
1468
        :return: A bytestring for the entry.
 
1469
 
 
1470
        The BNF:
 
1471
        ENTRY ::= FILE | DIR | SYMLINK | TREE
 
1472
        FILE ::= "file: " COMMON SEP SHA SEP SIZE SEP EXECUTABLE
 
1473
        DIR ::= "dir: " COMMON
 
1474
        SYMLINK ::= "symlink: " COMMON SEP TARGET_UTF8
 
1475
        TREE ::= "tree: " COMMON REFERENCE_REVISION
 
1476
        COMMON ::= FILE_ID SEP PARENT_ID SEP NAME_UTF8 SEP REVISION
 
1477
        SEP ::= "\n"
 
1478
        """
 
1479
        if entry.parent_id is not None:
 
1480
            parent_str = entry.parent_id
 
1481
        else:
 
1482
            parent_str = ''
 
1483
        name_str = entry.name.encode("utf8")
 
1484
        if entry.kind == 'file':
 
1485
            if entry.executable:
 
1486
                exec_str = "Y"
 
1487
            else:
 
1488
                exec_str = "N"
 
1489
            return "file: %s\n%s\n%s\n%s\n%s\n%d\n%s" % (
 
1490
                entry.file_id, parent_str, name_str, entry.revision,
 
1491
                entry.text_sha1, entry.text_size, exec_str)
 
1492
        elif entry.kind == 'directory':
 
1493
            return "dir: %s\n%s\n%s\n%s" % (
 
1494
                entry.file_id, parent_str, name_str, entry.revision)
 
1495
        elif entry.kind == 'symlink':
 
1496
            return "symlink: %s\n%s\n%s\n%s\n%s" % (
 
1497
                entry.file_id, parent_str, name_str, entry.revision,
 
1498
                entry.symlink_target.encode("utf8"))
 
1499
        elif entry.kind == 'tree-reference':
 
1500
            return "tree: %s\n%s\n%s\n%s\n%s" % (
 
1501
                entry.file_id, parent_str, name_str, entry.revision,
 
1502
                entry.reference_revision)
 
1503
        else:
 
1504
            raise ValueError("unknown kind %r" % entry.kind)
 
1505
 
 
1506
    @staticmethod
 
1507
    def _bytes_to_utf8name_key(bytes):
 
1508
        """Get the file_id, revision_id key out of bytes."""
 
1509
        # We don't normally care about name, except for times when we want
 
1510
        # to filter out empty names because of non rich-root...
 
1511
        sections = bytes.split('\n')
 
1512
        kind, file_id = sections[0].split(': ')
 
1513
        return (sections[2], file_id, sections[3])
 
1514
 
 
1515
    def _bytes_to_entry(self, bytes):
 
1516
        """Deserialise a serialised entry."""
 
1517
        sections = bytes.split('\n')
 
1518
        if sections[0].startswith("file: "):
 
1519
            result = InventoryFile(sections[0][6:],
 
1520
                sections[2].decode('utf8'),
 
1521
                sections[1])
 
1522
            result.text_sha1 = sections[4]
 
1523
            result.text_size = int(sections[5])
 
1524
            result.executable = sections[6] == "Y"
 
1525
        elif sections[0].startswith("dir: "):
 
1526
            result = CHKInventoryDirectory(sections[0][5:],
 
1527
                sections[2].decode('utf8'),
 
1528
                sections[1], self)
 
1529
        elif sections[0].startswith("symlink: "):
 
1530
            result = InventoryLink(sections[0][9:],
 
1531
                sections[2].decode('utf8'),
 
1532
                sections[1])
 
1533
            result.symlink_target = sections[4].decode('utf8')
 
1534
        elif sections[0].startswith("tree: "):
 
1535
            result = TreeReference(sections[0][6:],
 
1536
                sections[2].decode('utf8'),
 
1537
                sections[1])
 
1538
            result.reference_revision = sections[4]
 
1539
        else:
 
1540
            raise ValueError("Not a serialised entry %r" % bytes)
 
1541
        result.revision = sections[3]
 
1542
        if result.parent_id == '':
 
1543
            result.parent_id = None
 
1544
        self._fileid_to_entry_cache[result.file_id] = result
 
1545
        return result
 
1546
 
 
1547
    def _get_mutable_inventory(self):
 
1548
        """See CommonInventory._get_mutable_inventory."""
 
1549
        entries = self.iter_entries()
 
1550
        if self.root_id is not None:
 
1551
            entries.next()
 
1552
        inv = Inventory(self.root_id, self.revision_id)
 
1553
        for path, inv_entry in entries:
 
1554
            inv.add(inv_entry)
 
1555
        return inv
 
1556
 
 
1557
    def create_by_apply_delta(self, inventory_delta, new_revision_id,
 
1558
        propagate_caches=False):
 
1559
        """Create a new CHKInventory by applying inventory_delta to this one.
 
1560
 
 
1561
        :param inventory_delta: The inventory delta to apply. See
 
1562
            Inventory.apply_delta for details.
 
1563
        :param new_revision_id: The revision id of the resulting CHKInventory.
 
1564
        :param propagate_caches: If True, the caches for this inventory are
 
1565
          copied to and updated for the result.
 
1566
        :return: The new CHKInventory.
 
1567
        """
 
1568
        result = CHKInventory(self._search_key_name)
 
1569
        if propagate_caches:
 
1570
            # Just propagate the path-to-fileid cache for now
 
1571
            result._path_to_fileid_cache = dict(self._path_to_fileid_cache.iteritems())
 
1572
        search_key_func = chk_map.search_key_registry.get(self._search_key_name)
 
1573
        self.id_to_entry._ensure_root()
 
1574
        maximum_size = self.id_to_entry._root_node.maximum_size
 
1575
        result.revision_id = new_revision_id
 
1576
        result.id_to_entry = chk_map.CHKMap(
 
1577
            self.id_to_entry._store,
 
1578
            self.id_to_entry.key(),
 
1579
            search_key_func=search_key_func)
 
1580
        result.id_to_entry._ensure_root()
 
1581
        result.id_to_entry._root_node.set_maximum_size(maximum_size)
 
1582
        parent_id_basename_delta = []
 
1583
        if self.parent_id_basename_to_file_id is not None:
 
1584
            result.parent_id_basename_to_file_id = chk_map.CHKMap(
 
1585
                self.parent_id_basename_to_file_id._store,
 
1586
                self.parent_id_basename_to_file_id.key(),
 
1587
                search_key_func=search_key_func)
 
1588
            result.parent_id_basename_to_file_id._ensure_root()
 
1589
            self.parent_id_basename_to_file_id._ensure_root()
 
1590
            result_p_id_root = result.parent_id_basename_to_file_id._root_node
 
1591
            p_id_root = self.parent_id_basename_to_file_id._root_node
 
1592
            result_p_id_root.set_maximum_size(p_id_root.maximum_size)
 
1593
            result_p_id_root._key_width = p_id_root._key_width
 
1594
        else:
 
1595
            result.parent_id_basename_to_file_id = None
 
1596
        result.root_id = self.root_id
 
1597
        id_to_entry_delta = []
 
1598
        for old_path, new_path, file_id, entry in inventory_delta:
 
1599
            # file id changes
 
1600
            if new_path == '':
 
1601
                result.root_id = file_id
 
1602
            if new_path is None:
 
1603
                # Make a delete:
 
1604
                new_key = None
 
1605
                new_value = None
 
1606
                # Update caches
 
1607
                if propagate_caches:
 
1608
                    try:
 
1609
                        del result._path_to_fileid_cache[old_path]
 
1610
                    except KeyError:
 
1611
                        pass
 
1612
            else:
 
1613
                new_key = (file_id,)
 
1614
                new_value = result._entry_to_bytes(entry)
 
1615
                # Update caches. It's worth doing this whether
 
1616
                # we're propagating the old caches or not.
 
1617
                result._path_to_fileid_cache[new_path] = file_id
 
1618
            if old_path is None:
 
1619
                old_key = None
 
1620
            else:
 
1621
                old_key = (file_id,)
 
1622
            id_to_entry_delta.append((old_key, new_key, new_value))
 
1623
            if result.parent_id_basename_to_file_id is not None:
 
1624
                # parent_id, basename changes
 
1625
                if old_path is None:
 
1626
                    old_key = None
 
1627
                else:
 
1628
                    old_entry = self[file_id]
 
1629
                    old_key = self._parent_id_basename_key(old_entry)
 
1630
                if new_path is None:
 
1631
                    new_key = None
 
1632
                    new_value = None
 
1633
                else:
 
1634
                    new_key = self._parent_id_basename_key(entry)
 
1635
                    new_value = file_id
 
1636
                if old_key != new_key:
 
1637
                    # If the two keys are the same, the value will be unchanged
 
1638
                    # as its always the file id.
 
1639
                    parent_id_basename_delta.append((old_key, new_key, new_value))
 
1640
        result.id_to_entry.apply_delta(id_to_entry_delta)
 
1641
        if parent_id_basename_delta:
 
1642
            result.parent_id_basename_to_file_id.apply_delta(parent_id_basename_delta)
 
1643
        return result
 
1644
 
 
1645
    @classmethod
 
1646
    def deserialise(klass, chk_store, bytes, expected_revision_id):
 
1647
        """Deserialise a CHKInventory.
 
1648
 
 
1649
        :param chk_store: A CHK capable VersionedFiles instance.
 
1650
        :param bytes: The serialised bytes.
 
1651
        :param expected_revision_id: The revision ID we think this inventory is
 
1652
            for.
 
1653
        :return: A CHKInventory
 
1654
        """
 
1655
        lines = bytes.split('\n')
 
1656
        assert lines[-1] == ''
 
1657
        lines.pop()
 
1658
        if lines[0] != 'chkinventory:':
 
1659
            raise ValueError("not a serialised CHKInventory: %r" % bytes)
 
1660
        info = {}
 
1661
        allowed_keys = frozenset(['root_id', 'revision_id', 'search_key_name',
 
1662
                                  'parent_id_basename_to_file_id',
 
1663
                                  'id_to_entry'])
 
1664
        for line in lines[1:]:
 
1665
            key, value = line.split(': ', 1)
 
1666
            if key not in allowed_keys:
 
1667
                raise errors.BzrError('Unknown key in inventory: %r\n%r'
 
1668
                                      % (key, bytes))
 
1669
            if key in info:
 
1670
                raise errors.BzrError('Duplicate key in inventory: %r\n%r'
 
1671
                                      % (key, bytes))
 
1672
            info[key] = value
 
1673
        revision_id = info['revision_id']
 
1674
        root_id = info['root_id']
 
1675
        search_key_name = info.get('search_key_name', 'plain')
 
1676
        parent_id_basename_to_file_id = info.get(
 
1677
            'parent_id_basename_to_file_id', None)
 
1678
        id_to_entry = info['id_to_entry']
 
1679
 
 
1680
        result = CHKInventory(search_key_name)
 
1681
        result.revision_id = revision_id
 
1682
        result.root_id = root_id
 
1683
        search_key_func = chk_map.search_key_registry.get(
 
1684
                            result._search_key_name)
 
1685
        if parent_id_basename_to_file_id is not None:
 
1686
            result.parent_id_basename_to_file_id = chk_map.CHKMap(
 
1687
                chk_store, (parent_id_basename_to_file_id,),
 
1688
                search_key_func=search_key_func)
 
1689
        else:
 
1690
            result.parent_id_basename_to_file_id = None
 
1691
 
 
1692
        result.id_to_entry = chk_map.CHKMap(chk_store, (id_to_entry,),
 
1693
                                            search_key_func=search_key_func)
 
1694
        if (result.revision_id,) != expected_revision_id:
 
1695
            raise ValueError("Mismatched revision id and expected: %r, %r" %
 
1696
                (result.revision_id, expected_revision_id))
 
1697
        return result
 
1698
 
 
1699
    @classmethod
 
1700
    def from_inventory(klass, chk_store, inventory, maximum_size=0, search_key_name='plain'):
 
1701
        """Create a CHKInventory from an existing inventory.
 
1702
 
 
1703
        The content of inventory is copied into the chk_store, and a
 
1704
        CHKInventory referencing that is returned.
 
1705
 
 
1706
        :param chk_store: A CHK capable VersionedFiles instance.
 
1707
        :param inventory: The inventory to copy.
 
1708
        :param maximum_size: The CHKMap node size limit.
 
1709
        :param search_key_name: The identifier for the search key function
 
1710
        """
 
1711
        result = CHKInventory(search_key_name)
 
1712
        result.revision_id = inventory.revision_id
 
1713
        result.root_id = inventory.root.file_id
 
1714
        search_key_func = chk_map.search_key_registry.get(search_key_name)
 
1715
        result.id_to_entry = chk_map.CHKMap(chk_store, None, search_key_func)
 
1716
        result.id_to_entry._root_node.set_maximum_size(maximum_size)
 
1717
        file_id_delta = []
 
1718
        result.parent_id_basename_to_file_id = chk_map.CHKMap(chk_store,
 
1719
            None, search_key_func)
 
1720
        result.parent_id_basename_to_file_id._root_node.set_maximum_size(
 
1721
            maximum_size)
 
1722
        result.parent_id_basename_to_file_id._root_node._key_width = 2
 
1723
        parent_id_delta = []
 
1724
        for path, entry in inventory.iter_entries():
 
1725
            file_id_delta.append((None, (entry.file_id,),
 
1726
                result._entry_to_bytes(entry)))
 
1727
            parent_id_delta.append(
 
1728
                (None, result._parent_id_basename_key(entry),
 
1729
                 entry.file_id))
 
1730
        result.id_to_entry.apply_delta(file_id_delta)
 
1731
        result.parent_id_basename_to_file_id.apply_delta(parent_id_delta)
 
1732
        return result
 
1733
 
 
1734
    def _parent_id_basename_key(self, entry):
 
1735
        """Create a key for a entry in a parent_id_basename_to_file_id index."""
 
1736
        if entry.parent_id is not None:
 
1737
            parent_id = entry.parent_id
 
1738
        else:
 
1739
            parent_id = ''
 
1740
        return parent_id, entry.name.encode('utf8')
 
1741
 
 
1742
    def __getitem__(self, file_id):
 
1743
        """map a single file_id -> InventoryEntry."""
 
1744
        if file_id is None:
 
1745
            raise errors.NoSuchId(self, file_id)
 
1746
        result = self._fileid_to_entry_cache.get(file_id, None)
 
1747
        if result is not None:
 
1748
            return result
 
1749
        try:
 
1750
            return self._bytes_to_entry(
 
1751
                self.id_to_entry.iteritems([(file_id,)]).next()[1])
 
1752
        except StopIteration:
 
1753
            # really we're passing an inventory, not a tree...
 
1754
            raise errors.NoSuchId(self, file_id)
 
1755
 
 
1756
    def has_id(self, file_id):
 
1757
        # Perhaps have an explicit 'contains' method on CHKMap ?
 
1758
        if self._fileid_to_entry_cache.get(file_id, None) is not None:
 
1759
            return True
 
1760
        return len(list(self.id_to_entry.iteritems([(file_id,)]))) == 1
 
1761
 
 
1762
    def is_root(self, file_id):
 
1763
        return file_id == self.root_id
 
1764
 
 
1765
    def _iter_file_id_parents(self, file_id):
 
1766
        """Yield the parents of file_id up to the root."""
 
1767
        while file_id is not None:
1351
1768
            try:
1352
 
                interesting_parents.update(self.get_idpath(fileid))
1353
 
            except errors.NoSuchId:
1354
 
                # This fileid is not in the inventory - that's ok
1355
 
                pass
1356
 
        entries = self.iter_entries()
1357
 
        if self.root is None:
1358
 
            return Inventory(root_id=None)
1359
 
        other = Inventory(entries.next()[1].file_id)
1360
 
        other.root.revision = self.root.revision
1361
 
        other.revision_id = self.revision_id
1362
 
        directories_to_expand = set()
1363
 
        for path, entry in entries:
1364
 
            file_id = entry.file_id
1365
 
            if (file_id in specific_fileids
1366
 
                or entry.parent_id in directories_to_expand):
1367
 
                if entry.kind == 'directory':
1368
 
                    directories_to_expand.add(file_id)
1369
 
            elif file_id not in interesting_parents:
 
1769
                ie = self[file_id]
 
1770
            except KeyError:
 
1771
                raise errors.NoSuchId(tree=self, file_id=file_id)
 
1772
            yield ie
 
1773
            file_id = ie.parent_id
 
1774
 
 
1775
    def __iter__(self):
 
1776
        """Iterate over all file-ids."""
 
1777
        for key, _ in self.id_to_entry.iteritems():
 
1778
            yield key[-1]
 
1779
 
 
1780
    def iter_just_entries(self):
 
1781
        """Iterate over all entries.
 
1782
        
 
1783
        Unlike iter_entries(), just the entries are returned (not (path, ie))
 
1784
        and the order of entries is undefined.
 
1785
 
 
1786
        XXX: We may not want to merge this into bzr.dev.
 
1787
        """
 
1788
        for key, entry in self.id_to_entry.iteritems():
 
1789
            file_id = key[0]
 
1790
            ie = self._fileid_to_entry_cache.get(file_id, None)
 
1791
            if ie is None:
 
1792
                ie = self._bytes_to_entry(entry)
 
1793
                self._fileid_to_entry_cache[file_id] = ie
 
1794
            yield ie
 
1795
 
 
1796
    def iter_changes(self, basis):
 
1797
        """Generate a Tree.iter_changes change list between this and basis.
 
1798
 
 
1799
        :param basis: Another CHKInventory.
 
1800
        :return: An iterator over the changes between self and basis, as per
 
1801
            tree.iter_changes().
 
1802
        """
 
1803
        # We want: (file_id, (path_in_source, path_in_target),
 
1804
        # changed_content, versioned, parent, name, kind,
 
1805
        # executable)
 
1806
        for key, basis_value, self_value in \
 
1807
            self.id_to_entry.iter_changes(basis.id_to_entry):
 
1808
            file_id = key[0]
 
1809
            if basis_value is not None:
 
1810
                basis_entry = basis._bytes_to_entry(basis_value)
 
1811
                path_in_source = basis.id2path(file_id)
 
1812
                basis_parent = basis_entry.parent_id
 
1813
                basis_name = basis_entry.name
 
1814
                basis_executable = basis_entry.executable
 
1815
            else:
 
1816
                path_in_source = None
 
1817
                basis_parent = None
 
1818
                basis_name = None
 
1819
                basis_executable = None
 
1820
            if self_value is not None:
 
1821
                self_entry = self._bytes_to_entry(self_value)
 
1822
                path_in_target = self.id2path(file_id)
 
1823
                self_parent = self_entry.parent_id
 
1824
                self_name = self_entry.name
 
1825
                self_executable = self_entry.executable
 
1826
            else:
 
1827
                path_in_target = None
 
1828
                self_parent = None
 
1829
                self_name = None
 
1830
                self_executable = None
 
1831
            if basis_value is None:
 
1832
                # add
 
1833
                kind = (None, self_entry.kind)
 
1834
                versioned = (False, True)
 
1835
            elif self_value is None:
 
1836
                # delete
 
1837
                kind = (basis_entry.kind, None)
 
1838
                versioned = (True, False)
 
1839
            else:
 
1840
                kind = (basis_entry.kind, self_entry.kind)
 
1841
                versioned = (True, True)
 
1842
            changed_content = False
 
1843
            if kind[0] != kind[1]:
 
1844
                changed_content = True
 
1845
            elif kind[0] == 'file':
 
1846
                if (self_entry.text_size != basis_entry.text_size or
 
1847
                    self_entry.text_sha1 != basis_entry.text_sha1):
 
1848
                    changed_content = True
 
1849
            elif kind[0] == 'symlink':
 
1850
                if self_entry.symlink_target != basis_entry.symlink_target:
 
1851
                    changed_content = True
 
1852
            elif kind[0] == 'tree-reference':
 
1853
                if (self_entry.reference_revision !=
 
1854
                    basis_entry.reference_revision):
 
1855
                    changed_content = True
 
1856
            parent = (basis_parent, self_parent)
 
1857
            name = (basis_name, self_name)
 
1858
            executable = (basis_executable, self_executable)
 
1859
            if (not changed_content
 
1860
                and parent[0] == parent[1]
 
1861
                and name[0] == name[1]
 
1862
                and executable[0] == executable[1]):
 
1863
                # Could happen when only the revision changed for a directory
 
1864
                # for instance.
1370
1865
                continue
1371
 
            other.add(entry.copy())
1372
 
        return other
 
1866
            yield (file_id, (path_in_source, path_in_target), changed_content,
 
1867
                versioned, parent, name, kind, executable)
 
1868
 
 
1869
    def __len__(self):
 
1870
        """Return the number of entries in the inventory."""
 
1871
        return len(self.id_to_entry)
 
1872
 
 
1873
    def _make_delta(self, old):
 
1874
        """Make an inventory delta from two inventories."""
 
1875
        if type(old) != CHKInventory:
 
1876
            return CommonInventory._make_delta(self, old)
 
1877
        delta = []
 
1878
        for key, old_value, self_value in \
 
1879
            self.id_to_entry.iter_changes(old.id_to_entry):
 
1880
            file_id = key[0]
 
1881
            if old_value is not None:
 
1882
                old_path = old.id2path(file_id)
 
1883
            else:
 
1884
                old_path = None
 
1885
            if self_value is not None:
 
1886
                entry = self._bytes_to_entry(self_value)
 
1887
                self._fileid_to_entry_cache[file_id] = entry
 
1888
                new_path = self.id2path(file_id)
 
1889
            else:
 
1890
                entry = None
 
1891
                new_path = None
 
1892
            delta.append((old_path, new_path, file_id, entry))
 
1893
        return delta
 
1894
 
 
1895
    def path2id(self, name):
 
1896
        """See CommonInventory.path2id()."""
 
1897
        result = self._path_to_fileid_cache.get(name, None)
 
1898
        if result is None:
 
1899
            result = CommonInventory.path2id(self, name)
 
1900
            self._path_to_fileid_cache[name] = result
 
1901
        return result
 
1902
 
 
1903
    def to_lines(self):
 
1904
        """Serialise the inventory to lines."""
 
1905
        lines = ["chkinventory:\n"]
 
1906
        if self._search_key_name != 'plain':
 
1907
            # custom ordering grouping things that don't change together
 
1908
            lines.append('search_key_name: %s\n' % (self._search_key_name,))
 
1909
            lines.append("root_id: %s\n" % self.root_id)
 
1910
            lines.append('parent_id_basename_to_file_id: %s\n' %
 
1911
                self.parent_id_basename_to_file_id.key())
 
1912
            lines.append("revision_id: %s\n" % self.revision_id)
 
1913
            lines.append("id_to_entry: %s\n" % self.id_to_entry.key())
 
1914
        else:
 
1915
            lines.append("revision_id: %s\n" % self.revision_id)
 
1916
            lines.append("root_id: %s\n" % self.root_id)
 
1917
            if self.parent_id_basename_to_file_id is not None:
 
1918
                lines.append('parent_id_basename_to_file_id: %s\n' %
 
1919
                    self.parent_id_basename_to_file_id.key())
 
1920
            lines.append("id_to_entry: %s\n" % self.id_to_entry.key())
 
1921
        return lines
 
1922
 
 
1923
    @property
 
1924
    def root(self):
 
1925
        """Get the root entry."""
 
1926
        return self[self.root_id]
 
1927
 
 
1928
 
 
1929
class CHKInventoryDirectory(InventoryDirectory):
 
1930
    """A directory in an inventory."""
 
1931
 
 
1932
    __slots__ = ['text_sha1', 'text_size', 'file_id', 'name', 'kind',
 
1933
                 'text_id', 'parent_id', '_children', 'executable',
 
1934
                 'revision', 'symlink_target', 'reference_revision',
 
1935
                 '_chk_inventory']
 
1936
 
 
1937
    def __init__(self, file_id, name, parent_id, chk_inventory):
 
1938
        # Don't call InventoryDirectory.__init__ - it isn't right for this
 
1939
        # class.
 
1940
        InventoryEntry.__init__(self, file_id, name, parent_id)
 
1941
        self._children = None
 
1942
        self.kind = 'directory'
 
1943
        self._chk_inventory = chk_inventory
 
1944
 
 
1945
    @property
 
1946
    def children(self):
 
1947
        """Access the list of children of this directory.
 
1948
 
 
1949
        With a parent_id_basename_to_file_id index, loads all the children,
 
1950
        without loads the entire index. Without is bad. A more sophisticated
 
1951
        proxy object might be nice, to allow partial loading of children as
 
1952
        well when specific names are accessed. (So path traversal can be
 
1953
        written in the obvious way but not examine siblings.).
 
1954
        """
 
1955
        if self._children is not None:
 
1956
            return self._children
 
1957
        # No longer supported
 
1958
        if self._chk_inventory.parent_id_basename_to_file_id is None:
 
1959
            raise AssertionError("Inventories without"
 
1960
                " parent_id_basename_to_file_id are no longer supported")
 
1961
        result = {}
 
1962
        # XXX: Todo - use proxy objects for the children rather than loading
 
1963
        # all when the attribute is referenced.
 
1964
        parent_id_index = self._chk_inventory.parent_id_basename_to_file_id
 
1965
        child_keys = set()
 
1966
        for (parent_id, name_utf8), file_id in parent_id_index.iteritems(
 
1967
            key_filter=[(self.file_id,)]):
 
1968
            child_keys.add((file_id,))
 
1969
        cached = set()
 
1970
        for file_id_key in child_keys:
 
1971
            entry = self._chk_inventory._fileid_to_entry_cache.get(
 
1972
                file_id_key[0], None)
 
1973
            if entry is not None:
 
1974
                result[entry.name] = entry
 
1975
                cached.add(file_id_key)
 
1976
        child_keys.difference_update(cached)
 
1977
        # populate; todo: do by name
 
1978
        id_to_entry = self._chk_inventory.id_to_entry
 
1979
        for file_id_key, bytes in id_to_entry.iteritems(child_keys):
 
1980
            entry = self._chk_inventory._bytes_to_entry(bytes)
 
1981
            result[entry.name] = entry
 
1982
            self._chk_inventory._fileid_to_entry_cache[file_id_key[0]] = entry
 
1983
        self._children = result
 
1984
        return result
1373
1985
 
1374
1986
 
1375
1987
entry_factory = {