← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tree.py

  • Committer: Martin Pool
  • Date: 2010-01-29 14:09:05 UTC
  • mto: This revision was merged to the branch mainline in revision 4992.
  • Revision ID: mbp@sourcefrog.net-20100129140905-2uiarb6p8di1ywsr
Correction to url

from review: https://code.edge.launchpad.net/~mbp/bzr/doc/+merge/18250

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tree.py
170
170
        return self.bzrdir.is_control_filename(filename)
171
171
 
172
172
    @needs_read_lock
173
 
    def iter_entries_by_dir(self, specific_file_ids=None):
 
173
    def iter_entries_by_dir(self, specific_file_ids=None, yield_parents=False):
174
174
        """Walk the tree in 'by_dir' order.
175
175
 
176
176
        This will yield each entry in the tree as a (path, entry) tuple.
193
193
 
194
194
        The yield order (ignoring root) would be::
195
195
          a, f, a/b, a/d, a/b/c, a/d/e, f/g
 
196
 
 
197
        :param yield_parents: If True, yield the parents from the root leading
 
198
            down to specific_file_ids that have been requested. This has no
 
199
            impact if specific_file_ids is None.
196
200
        """
197
201
        return self.inventory.iter_entries_by_dir(
198
 
            specific_file_ids=specific_file_ids)
 
202
            specific_file_ids=specific_file_ids, yield_parents=yield_parents)
199
203
 
200
204
    def iter_references(self):
201
205
        if self.supports_tree_reference():
218
222
    def path_content_summary(self, path):
219
223
        """Get a summary of the information about path.
220
224
 
 
225
        All the attributes returned are for the canonical form, not the
 
226
        convenient form (if content filters are in use.)
 
227
 
221
228
        :param path: A relative path within the tree.
222
229
        :return: A tuple containing kind, size, exec, sha1-or-link.
223
230
            Kind is always present (see tree.kind()).
224
 
            size is present if kind is file, None otherwise.
 
231
            size is present if kind is file and the size of the 
 
232
                canonical form can be cheaply determined, None otherwise.
225
233
            exec is None unless kind is file and the platform supports the 'x'
226
234
                bit.
227
235
            sha1-or-link is the link target if kind is symlink, or the sha1 if
689
697
                for path in path_names:
690
698
                    yield searcher.get_items(path)
691
699
 
692
 
    @needs_read_lock
693
700
    def _get_rules_searcher(self, default_searcher):
694
701
        """Get the RulesSearcher for this tree given the default one."""
695
702
        searcher = default_searcher
844
851
    will pass through to InterTree as appropriate.
845
852
    """
846
853
 
 
854
    # Formats that will be used to test this InterTree. If both are
 
855
    # None, this InterTree will not be tested (e.g. because a complex
 
856
    # setup is required)
 
857
    _matching_from_tree_format = None
 
858
    _matching_to_tree_format = None
 
859
 
847
860
    _optimisers = []
848
861
 
 
862
    def _changes_from_entries(self, source_entry, target_entry,
 
863
        source_path=None, target_path=None):
 
864
        """Generate a iter_changes tuple between source_entry and target_entry.
 
865
 
 
866
        :param source_entry: An inventory entry from self.source, or None.
 
867
        :param target_entry: An inventory entry from self.target, or None.
 
868
        :param source_path: The path of source_entry, if known. If not known
 
869
            it will be looked up.
 
870
        :param target_path: The path of target_entry, if known. If not known
 
871
            it will be looked up.
 
872
        :return: A tuple, item 0 of which is an iter_changes result tuple, and
 
873
            item 1 is True if there are any changes in the result tuple.
 
874
        """
 
875
        if source_entry is None:
 
876
            if target_entry is None:
 
877
                return None
 
878
            file_id = target_entry.file_id
 
879
        else:
 
880
            file_id = source_entry.file_id
 
881
        if source_entry is not None:
 
882
            source_versioned = True
 
883
            source_name = source_entry.name
 
884
            source_parent = source_entry.parent_id
 
885
            if source_path is None:
 
886
                source_path = self.source.id2path(file_id)
 
887
            source_kind, source_executable, source_stat = \
 
888
                self.source._comparison_data(source_entry, source_path)
 
889
        else:
 
890
            source_versioned = False
 
891
            source_name = None
 
892
            source_parent = None
 
893
            source_kind = None
 
894
            source_executable = None
 
895
        if target_entry is not None:
 
896
            target_versioned = True
 
897
            target_name = target_entry.name
 
898
            target_parent = target_entry.parent_id
 
899
            if target_path is None:
 
900
                target_path = self.target.id2path(file_id)
 
901
            target_kind, target_executable, target_stat = \
 
902
                self.target._comparison_data(target_entry, target_path)
 
903
        else:
 
904
            target_versioned = False
 
905
            target_name = None
 
906
            target_parent = None
 
907
            target_kind = None
 
908
            target_executable = None
 
909
        versioned = (source_versioned, target_versioned)
 
910
        kind = (source_kind, target_kind)
 
911
        changed_content = False
 
912
        if source_kind != target_kind:
 
913
            changed_content = True
 
914
        elif source_kind == 'file':
 
915
            if (self.source.get_file_sha1(file_id, source_path, source_stat) !=
 
916
                self.target.get_file_sha1(file_id, target_path, target_stat)):
 
917
                changed_content = True
 
918
        elif source_kind == 'symlink':
 
919
            if (self.source.get_symlink_target(file_id) !=
 
920
                self.target.get_symlink_target(file_id)):
 
921
                changed_content = True
 
922
            # XXX: Yes, the indentation below is wrong. But fixing it broke
 
923
            # test_merge.TestMergerEntriesLCAOnDisk.
 
924
            # test_nested_tree_subtree_renamed_and_modified. We'll wait for
 
925
            # the fix from bzr.dev -- vila 2009026
 
926
            elif source_kind == 'tree-reference':
 
927
                if (self.source.get_reference_revision(file_id, source_path)
 
928
                    != self.target.get_reference_revision(file_id, target_path)):
 
929
                    changed_content = True
 
930
        parent = (source_parent, target_parent)
 
931
        name = (source_name, target_name)
 
932
        executable = (source_executable, target_executable)
 
933
        if (changed_content is not False or versioned[0] != versioned[1]
 
934
            or parent[0] != parent[1] or name[0] != name[1] or
 
935
            executable[0] != executable[1]):
 
936
            changes = True
 
937
        else:
 
938
            changes = False
 
939
        return (file_id, (source_path, target_path), changed_content,
 
940
                versioned, parent, name, kind, executable), changes
 
941
 
849
942
    @needs_read_lock
850
943
    def compare(self, want_unchanged=False, specific_files=None,
851
944
        extra_trees=None, require_versioned=False, include_root=False,
866
959
            a PathsNotVersionedError will be thrown.
867
960
        :param want_unversioned: Scan for unversioned paths.
868
961
        """
869
 
        # NB: show_status depends on being able to pass in non-versioned files
870
 
        # and report them as unknown
871
962
        trees = (self.source,)
872
963
        if extra_trees is not None:
873
964
            trees = trees + tuple(extra_trees)
914
1005
        :param require_versioned: Raise errors.PathsNotVersionedError if a
915
1006
            path in the specific_files list is not versioned in one of
916
1007
            source, target or extra_trees.
 
1008
        :param specific_files: An optional list of file paths to restrict the
 
1009
            comparison to. When mapping filenames to ids, all matches in all
 
1010
            trees (including optional extra_trees) are used, and all children
 
1011
            of matched directories are included. The parents in the target tree
 
1012
            of the specific files up to and including the root of the tree are
 
1013
            always evaluated for changes too.
917
1014
        :param want_unversioned: Should unversioned files be returned in the
918
1015
            output. An unversioned file is defined as one with (False, False)
919
1016
            for the versioned pair.
921
1018
        lookup_trees = [self.source]
922
1019
        if extra_trees:
923
1020
             lookup_trees.extend(extra_trees)
 
1021
        # The ids of items we need to examine to insure delta consistency.
 
1022
        precise_file_ids = set()
 
1023
        changed_file_ids = []
924
1024
        if specific_files == []:
925
1025
            specific_file_ids = []
926
1026
        else:
927
1027
            specific_file_ids = self.target.paths2ids(specific_files,
928
1028
                lookup_trees, require_versioned=require_versioned)
 
1029
        if specific_files is not None:
 
1030
            # reparented or added entries must have their parents included
 
1031
            # so that valid deltas can be created. The seen_parents set
 
1032
            # tracks the parents that we need to have.
 
1033
            # The seen_dirs set tracks directory entries we've yielded.
 
1034
            # After outputting version object in to_entries we set difference
 
1035
            # the two seen sets and start checking parents.
 
1036
            seen_parents = set()
 
1037
            seen_dirs = set()
929
1038
        if want_unversioned:
930
1039
            all_unversioned = sorted([(p.split('/'), p) for p in
931
1040
                                     self.target.extras()
946
1055
        # can be extras. So the fake_entry is solely used to look up
947
1056
        # executable it values when execute is not supported.
948
1057
        fake_entry = InventoryFile('unused', 'unused', 'unused')
949
 
        for to_path, to_entry in to_entries_by_dir:
950
 
            while all_unversioned and all_unversioned[0][0] < to_path.split('/'):
 
1058
        for target_path, target_entry in to_entries_by_dir:
 
1059
            while (all_unversioned and
 
1060
                all_unversioned[0][0] < target_path.split('/')):
951
1061
                unversioned_path = all_unversioned.popleft()
952
 
                to_kind, to_executable, to_stat = \
 
1062
                target_kind, target_executable, target_stat = \
953
1063
                    self.target._comparison_data(fake_entry, unversioned_path[1])
954
1064
                yield (None, (None, unversioned_path[1]), True, (False, False),
955
1065
                    (None, None),
956
1066
                    (None, unversioned_path[0][-1]),
957
 
                    (None, to_kind),
958
 
                    (None, to_executable))
959
 
            file_id = to_entry.file_id
960
 
            to_paths[file_id] = to_path
 
1067
                    (None, target_kind),
 
1068
                    (None, target_executable))
 
1069
            source_path, source_entry = from_data.get(target_entry.file_id,
 
1070
                (None, None))
 
1071
            result, changes = self._changes_from_entries(source_entry,
 
1072
                target_entry, source_path=source_path, target_path=target_path)
 
1073
            to_paths[result[0]] = result[1][1]
961
1074
            entry_count += 1
962
 
            changed_content = False
963
 
            from_path, from_entry = from_data.get(file_id, (None, None))
964
 
            from_versioned = (from_entry is not None)
965
 
            if from_entry is not None:
966
 
                from_versioned = True
967
 
                from_name = from_entry.name
968
 
                from_parent = from_entry.parent_id
969
 
                from_kind, from_executable, from_stat = \
970
 
                    self.source._comparison_data(from_entry, from_path)
 
1075
            if result[3][0]:
971
1076
                entry_count += 1
972
 
            else:
973
 
                from_versioned = False
974
 
                from_kind = None
975
 
                from_parent = None
976
 
                from_name = None
977
 
                from_executable = None
978
 
            versioned = (from_versioned, True)
979
 
            to_kind, to_executable, to_stat = \
980
 
                self.target._comparison_data(to_entry, to_path)
981
 
            kind = (from_kind, to_kind)
982
 
            if kind[0] != kind[1]:
983
 
                changed_content = True
984
 
            elif from_kind == 'file':
985
 
                if (self.source.get_file_sha1(file_id, from_path, from_stat) !=
986
 
                    self.target.get_file_sha1(file_id, to_path, to_stat)):
987
 
                    changed_content = True
988
 
            elif from_kind == 'symlink':
989
 
                if (self.source.get_symlink_target(file_id) !=
990
 
                    self.target.get_symlink_target(file_id)):
991
 
                    changed_content = True
992
 
                # XXX: Yes, the indentation below is wrong. But fixing it broke
993
 
                # test_merge.TestMergerEntriesLCAOnDisk.
994
 
                # test_nested_tree_subtree_renamed_and_modified. We'll wait for
995
 
                # the fix from bzr.dev -- vila 2009026
996
 
                elif from_kind == 'tree-reference':
997
 
                    if (self.source.get_reference_revision(file_id, from_path)
998
 
                        != self.target.get_reference_revision(file_id, to_path)):
999
 
                        changed_content = True
1000
 
            parent = (from_parent, to_entry.parent_id)
1001
 
            name = (from_name, to_entry.name)
1002
 
            executable = (from_executable, to_executable)
1003
1077
            if pb is not None:
1004
1078
                pb.update('comparing files', entry_count, num_entries)
1005
 
            if (changed_content is not False or versioned[0] != versioned[1]
1006
 
                or parent[0] != parent[1] or name[0] != name[1] or
1007
 
                executable[0] != executable[1] or include_unchanged):
1008
 
                yield (file_id, (from_path, to_path), changed_content,
1009
 
                    versioned, parent, name, kind, executable)
1010
 
 
 
1079
            if changes or include_unchanged:
 
1080
                if specific_file_ids is not None:
 
1081
                    new_parent_id = result[4][1]
 
1082
                    precise_file_ids.add(new_parent_id)
 
1083
                    changed_file_ids.append(result[0])
 
1084
                yield result
 
1085
            # Ensure correct behaviour for reparented/added specific files.
 
1086
            if specific_files is not None:
 
1087
                # Record output dirs
 
1088
                if result[6][1] == 'directory':
 
1089
                    seen_dirs.add(result[0])
 
1090
                # Record parents of reparented/added entries.
 
1091
                versioned = result[3]
 
1092
                parents = result[4]
 
1093
                if not versioned[0] or parents[0] != parents[1]:
 
1094
                    seen_parents.add(parents[1])
1011
1095
        while all_unversioned:
1012
1096
            # yield any trailing unversioned paths
1013
1097
            unversioned_path = all_unversioned.popleft()
1018
1102
                (None, unversioned_path[0][-1]),
1019
1103
                (None, to_kind),
1020
1104
                (None, to_executable))
1021
 
 
1022
 
        def get_to_path(to_entry):
1023
 
            if to_entry.parent_id is None:
1024
 
                to_path = '' # the root
1025
 
            else:
1026
 
                if to_entry.parent_id not in to_paths:
1027
 
                    # recurse up
1028
 
                    return get_to_path(self.target.inventory[to_entry.parent_id])
1029
 
                to_path = osutils.pathjoin(to_paths[to_entry.parent_id],
1030
 
                                           to_entry.name)
1031
 
            to_paths[to_entry.file_id] = to_path
1032
 
            return to_path
1033
 
 
 
1105
        # Yield all remaining source paths
1034
1106
        for path, from_entry in from_entries_by_dir:
1035
1107
            file_id = from_entry.file_id
1036
1108
            if file_id in to_paths:
1037
1109
                # already returned
1038
1110
                continue
1039
 
            if not file_id in self.target.all_file_ids():
 
1111
            if file_id not in self.target.all_file_ids():
1040
1112
                # common case - paths we have not emitted are not present in
1041
1113
                # target.
1042
1114
                to_path = None
1043
1115
            else:
1044
 
                to_path = get_to_path(self.target.inventory[file_id])
 
1116
                to_path = self.target.id2path(file_id)
1045
1117
            entry_count += 1
1046
1118
            if pb is not None:
1047
1119
                pb.update('comparing files', entry_count, num_entries)
1054
1126
            executable = (from_executable, None)
1055
1127
            changed_content = from_kind is not None
1056
1128
            # the parent's path is necessarily known at this point.
 
1129
            changed_file_ids.append(file_id)
1057
1130
            yield(file_id, (path, to_path), changed_content, versioned, parent,
1058
1131
                  name, kind, executable)
 
1132
        changed_file_ids = set(changed_file_ids)
 
1133
        if specific_file_ids is not None:
 
1134
            for result in self._handle_precise_ids(precise_file_ids,
 
1135
                changed_file_ids):
 
1136
                yield result
 
1137
 
 
1138
    def _get_entry(self, tree, file_id):
 
1139
        """Get an inventory entry from a tree, with missing entries as None.
 
1140
 
 
1141
        If the tree raises NotImplementedError on accessing .inventory, then
 
1142
        this is worked around using iter_entries_by_dir on just the file id
 
1143
        desired.
 
1144
 
 
1145
        :param tree: The tree to lookup the entry in.
 
1146
        :param file_id: The file_id to lookup.
 
1147
        """
 
1148
        try:
 
1149
            inventory = tree.inventory
 
1150
        except NotImplementedError:
 
1151
            # No inventory available.
 
1152
            try:
 
1153
                iterator = tree.iter_entries_by_dir(specific_file_ids=[file_id])
 
1154
                return iterator.next()[1]
 
1155
            except StopIteration:
 
1156
                return None
 
1157
        else:
 
1158
            try:
 
1159
                return inventory[file_id]
 
1160
            except errors.NoSuchId:
 
1161
                return None
 
1162
 
 
1163
    def _handle_precise_ids(self, precise_file_ids, changed_file_ids,
 
1164
        discarded_changes=None):
 
1165
        """Fill out a partial iter_changes to be consistent.
 
1166
 
 
1167
        :param precise_file_ids: The file ids of parents that were seen during
 
1168
            the iter_changes.
 
1169
        :param changed_file_ids: The file ids of already emitted items.
 
1170
        :param discarded_changes: An optional dict of precalculated
 
1171
            iter_changes items which the partial iter_changes had not output
 
1172
            but had calculated.
 
1173
        :return: A generator of iter_changes items to output.
 
1174
        """
 
1175
        # process parents of things that had changed under the users
 
1176
        # requested paths to prevent incorrect paths or parent ids which
 
1177
        # aren't in the tree.
 
1178
        while precise_file_ids:
 
1179
            precise_file_ids.discard(None)
 
1180
            # Don't emit file_ids twice
 
1181
            precise_file_ids.difference_update(changed_file_ids)
 
1182
            if not precise_file_ids:
 
1183
                break
 
1184
            # If the there was something at a given output path in source, we
 
1185
            # have to include the entry from source in the delta, or we would
 
1186
            # be putting this entry into a used path.
 
1187
            paths = []
 
1188
            for parent_id in precise_file_ids:
 
1189
                try:
 
1190
                    paths.append(self.target.id2path(parent_id))
 
1191
                except errors.NoSuchId:
 
1192
                    # This id has been dragged in from the source by delta
 
1193
                    # expansion and isn't present in target at all: we don't
 
1194
                    # need to check for path collisions on it.
 
1195
                    pass
 
1196
            for path in paths:
 
1197
                old_id = self.source.path2id(path)
 
1198
                precise_file_ids.add(old_id)
 
1199
            precise_file_ids.discard(None)
 
1200
            current_ids = precise_file_ids
 
1201
            precise_file_ids = set()
 
1202
            # We have to emit all of precise_file_ids that have been altered.
 
1203
            # We may have to output the children of some of those ids if any
 
1204
            # directories have stopped being directories.
 
1205
            for file_id in current_ids:
 
1206
                # Examine file_id
 
1207
                if discarded_changes:
 
1208
                    result = discarded_changes.get(file_id)
 
1209
                    old_entry = None
 
1210
                else:
 
1211
                    result = None
 
1212
                if result is None:
 
1213
                    old_entry = self._get_entry(self.source, file_id)
 
1214
                    new_entry = self._get_entry(self.target, file_id)
 
1215
                    result, changes = self._changes_from_entries(
 
1216
                        old_entry, new_entry)
 
1217
                else:
 
1218
                    changes = True
 
1219
                # Get this parents parent to examine.
 
1220
                new_parent_id = result[4][1]
 
1221
                precise_file_ids.add(new_parent_id)
 
1222
                if changes:
 
1223
                    if (result[6][0] == 'directory' and
 
1224
                        result[6][1] != 'directory'):
 
1225
                        # This stopped being a directory, the old children have
 
1226
                        # to be included.
 
1227
                        if old_entry is None:
 
1228
                            # Reusing a discarded change.
 
1229
                            old_entry = self._get_entry(self.source, file_id)
 
1230
                        for child in old_entry.children.values():
 
1231
                            precise_file_ids.add(child.file_id)
 
1232
                    changed_file_ids.add(result[0])
 
1233
                    yield result
1059
1234
 
1060
1235
 
1061
1236
class MultiWalker(object):