← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tree.py

  • Committer: Gordon Tyler
  • Date: 2010-01-14 15:24:04 UTC
  • mto: (5037.3.1 integration)
  • mto: This revision was merged to the branch mainline in revision 5046.
  • Revision ID: gordon@doxxx.net-20100114152404-d64ik2afl96lcml0
Reverted changes to test_rules since the original should work now.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tree.py
19
19
 
20
20
import os
21
21
from collections import deque
22
 
from cStringIO import StringIO
23
22
 
24
23
import bzrlib
25
24
from bzrlib import (
30
29
    osutils,
31
30
    revision as _mod_revision,
32
31
    rules,
33
 
    symbol_versioning,
34
32
    )
35
33
from bzrlib.decorators import needs_read_lock
36
 
from bzrlib.errors import BzrError, BzrCheckError, NoSuchId
 
34
from bzrlib.errors import BzrError, NoSuchId
37
35
from bzrlib import errors
38
 
from bzrlib.inventory import Inventory, InventoryFile
 
36
from bzrlib.inventory import InventoryFile
39
37
from bzrlib.inter import InterObject
40
38
from bzrlib.osutils import fingerprint_file
41
39
import bzrlib.revision
42
40
from bzrlib.symbol_versioning import deprecated_function, deprecated_in
43
 
from bzrlib.trace import mutter, note
 
41
from bzrlib.trace import note
44
42
 
45
43
 
46
44
class Tree(object):
135
133
        return self.has_id(file_id)
136
134
 
137
135
    def has_or_had_id(self, file_id):
138
 
        if file_id == self.inventory.root.file_id:
139
 
            return True
140
136
        return self.inventory.has_id(file_id)
141
137
 
142
138
    def is_ignored(self, filename):
174
170
        return self.bzrdir.is_control_filename(filename)
175
171
 
176
172
    @needs_read_lock
177
 
    def iter_entries_by_dir(self, specific_file_ids=None):
 
173
    def iter_entries_by_dir(self, specific_file_ids=None, yield_parents=False):
178
174
        """Walk the tree in 'by_dir' order.
179
175
 
180
176
        This will yield each entry in the tree as a (path, entry) tuple.
197
193
 
198
194
        The yield order (ignoring root) would be::
199
195
          a, f, a/b, a/d, a/b/c, a/d/e, f/g
 
196
 
 
197
        :param yield_parents: If True, yield the parents from the root leading
 
198
            down to specific_file_ids that have been requested. This has no
 
199
            impact if specific_file_ids is None.
200
200
        """
201
201
        return self.inventory.iter_entries_by_dir(
202
 
            specific_file_ids=specific_file_ids)
 
202
            specific_file_ids=specific_file_ids, yield_parents=yield_parents)
203
203
 
204
204
    def iter_references(self):
205
205
        if self.supports_tree_reference():
222
222
    def path_content_summary(self, path):
223
223
        """Get a summary of the information about path.
224
224
 
 
225
        All the attributes returned are for the canonical form, not the
 
226
        convenient form (if content filters are in use.)
 
227
 
225
228
        :param path: A relative path within the tree.
226
229
        :return: A tuple containing kind, size, exec, sha1-or-link.
227
230
            Kind is always present (see tree.kind()).
228
 
            size is present if kind is file, None otherwise.
 
231
            size is present if kind is file and the size of the 
 
232
                canonical form can be cheaply determined, None otherwise.
229
233
            exec is None unless kind is file and the platform supports the 'x'
230
234
                bit.
231
235
            sha1-or-link is the link target if kind is symlink, or the sha1 if
437
441
        raise NotImplementedError(self.annotate_iter)
438
442
 
439
443
    def _get_plan_merge_data(self, file_id, other, base):
440
 
        from bzrlib import merge, versionedfile
 
444
        from bzrlib import versionedfile
441
445
        vf = versionedfile._PlanMergeVersionedFile(file_id)
442
446
        last_revision_a = self._get_file_revision(file_id, vf, 'this:')
443
447
        last_revision_b = other._get_file_revision(file_id, vf, 'other:')
693
697
                for path in path_names:
694
698
                    yield searcher.get_items(path)
695
699
 
696
 
    @needs_read_lock
697
700
    def _get_rules_searcher(self, default_searcher):
698
701
        """Get the RulesSearcher for this tree given the default one."""
699
702
        searcher = default_searcher
827
830
        new_pending = set()
828
831
        for file_id in pending:
829
832
            for tree in trees:
830
 
                if not tree.has_id(file_id):
 
833
                if not tree.has_or_had_id(file_id):
831
834
                    continue
832
835
                for child_id in tree.iter_children(file_id):
833
836
                    if child_id not in interesting_ids:
848
851
    will pass through to InterTree as appropriate.
849
852
    """
850
853
 
 
854
    # Formats that will be used to test this InterTree. If both are
 
855
    # None, this InterTree will not be tested (e.g. because a complex
 
856
    # setup is required)
 
857
    _matching_from_tree_format = None
 
858
    _matching_to_tree_format = None
 
859
 
851
860
    _optimisers = []
852
861
 
 
862
    def _changes_from_entries(self, source_entry, target_entry,
 
863
        source_path=None, target_path=None):
 
864
        """Generate a iter_changes tuple between source_entry and target_entry.
 
865
 
 
866
        :param source_entry: An inventory entry from self.source, or None.
 
867
        :param target_entry: An inventory entry from self.target, or None.
 
868
        :param source_path: The path of source_entry, if known. If not known
 
869
            it will be looked up.
 
870
        :param target_path: The path of target_entry, if known. If not known
 
871
            it will be looked up.
 
872
        :return: A tuple, item 0 of which is an iter_changes result tuple, and
 
873
            item 1 is True if there are any changes in the result tuple.
 
874
        """
 
875
        if source_entry is None:
 
876
            if target_entry is None:
 
877
                return None
 
878
            file_id = target_entry.file_id
 
879
        else:
 
880
            file_id = source_entry.file_id
 
881
        if source_entry is not None:
 
882
            source_versioned = True
 
883
            source_name = source_entry.name
 
884
            source_parent = source_entry.parent_id
 
885
            if source_path is None:
 
886
                source_path = self.source.id2path(file_id)
 
887
            source_kind, source_executable, source_stat = \
 
888
                self.source._comparison_data(source_entry, source_path)
 
889
        else:
 
890
            source_versioned = False
 
891
            source_name = None
 
892
            source_parent = None
 
893
            source_kind = None
 
894
            source_executable = None
 
895
        if target_entry is not None:
 
896
            target_versioned = True
 
897
            target_name = target_entry.name
 
898
            target_parent = target_entry.parent_id
 
899
            if target_path is None:
 
900
                target_path = self.target.id2path(file_id)
 
901
            target_kind, target_executable, target_stat = \
 
902
                self.target._comparison_data(target_entry, target_path)
 
903
        else:
 
904
            target_versioned = False
 
905
            target_name = None
 
906
            target_parent = None
 
907
            target_kind = None
 
908
            target_executable = None
 
909
        versioned = (source_versioned, target_versioned)
 
910
        kind = (source_kind, target_kind)
 
911
        changed_content = False
 
912
        if source_kind != target_kind:
 
913
            changed_content = True
 
914
        elif source_kind == 'file':
 
915
            if (self.source.get_file_sha1(file_id, source_path, source_stat) !=
 
916
                self.target.get_file_sha1(file_id, target_path, target_stat)):
 
917
                changed_content = True
 
918
        elif source_kind == 'symlink':
 
919
            if (self.source.get_symlink_target(file_id) !=
 
920
                self.target.get_symlink_target(file_id)):
 
921
                changed_content = True
 
922
            # XXX: Yes, the indentation below is wrong. But fixing it broke
 
923
            # test_merge.TestMergerEntriesLCAOnDisk.
 
924
            # test_nested_tree_subtree_renamed_and_modified. We'll wait for
 
925
            # the fix from bzr.dev -- vila 2009026
 
926
            elif source_kind == 'tree-reference':
 
927
                if (self.source.get_reference_revision(file_id, source_path)
 
928
                    != self.target.get_reference_revision(file_id, target_path)):
 
929
                    changed_content = True
 
930
        parent = (source_parent, target_parent)
 
931
        name = (source_name, target_name)
 
932
        executable = (source_executable, target_executable)
 
933
        if (changed_content is not False or versioned[0] != versioned[1]
 
934
            or parent[0] != parent[1] or name[0] != name[1] or
 
935
            executable[0] != executable[1]):
 
936
            changes = True
 
937
        else:
 
938
            changes = False
 
939
        return (file_id, (source_path, target_path), changed_content,
 
940
                versioned, parent, name, kind, executable), changes
 
941
 
853
942
    @needs_read_lock
854
943
    def compare(self, want_unchanged=False, specific_files=None,
855
944
        extra_trees=None, require_versioned=False, include_root=False,
870
959
            a PathsNotVersionedError will be thrown.
871
960
        :param want_unversioned: Scan for unversioned paths.
872
961
        """
873
 
        # NB: show_status depends on being able to pass in non-versioned files
874
 
        # and report them as unknown
875
962
        trees = (self.source,)
876
963
        if extra_trees is not None:
877
964
            trees = trees + tuple(extra_trees)
918
1005
        :param require_versioned: Raise errors.PathsNotVersionedError if a
919
1006
            path in the specific_files list is not versioned in one of
920
1007
            source, target or extra_trees.
 
1008
        :param specific_files: An optional list of file paths to restrict the
 
1009
            comparison to. When mapping filenames to ids, all matches in all
 
1010
            trees (including optional extra_trees) are used, and all children
 
1011
            of matched directories are included. The parents in the target tree
 
1012
            of the specific files up to and including the root of the tree are
 
1013
            always evaluated for changes too.
921
1014
        :param want_unversioned: Should unversioned files be returned in the
922
1015
            output. An unversioned file is defined as one with (False, False)
923
1016
            for the versioned pair.
925
1018
        lookup_trees = [self.source]
926
1019
        if extra_trees:
927
1020
             lookup_trees.extend(extra_trees)
 
1021
        # The ids of items we need to examine to insure delta consistency.
 
1022
        precise_file_ids = set()
 
1023
        changed_file_ids = []
928
1024
        if specific_files == []:
929
1025
            specific_file_ids = []
930
1026
        else:
931
1027
            specific_file_ids = self.target.paths2ids(specific_files,
932
1028
                lookup_trees, require_versioned=require_versioned)
 
1029
        if specific_files is not None:
 
1030
            # reparented or added entries must have their parents included
 
1031
            # so that valid deltas can be created. The seen_parents set
 
1032
            # tracks the parents that we need to have.
 
1033
            # The seen_dirs set tracks directory entries we've yielded.
 
1034
            # After outputting version object in to_entries we set difference
 
1035
            # the two seen sets and start checking parents.
 
1036
            seen_parents = set()
 
1037
            seen_dirs = set()
933
1038
        if want_unversioned:
934
1039
            all_unversioned = sorted([(p.split('/'), p) for p in
935
1040
                                     self.target.extras()
950
1055
        # can be extras. So the fake_entry is solely used to look up
951
1056
        # executable it values when execute is not supported.
952
1057
        fake_entry = InventoryFile('unused', 'unused', 'unused')
953
 
        for to_path, to_entry in to_entries_by_dir:
954
 
            while all_unversioned and all_unversioned[0][0] < to_path.split('/'):
 
1058
        for target_path, target_entry in to_entries_by_dir:
 
1059
            while (all_unversioned and
 
1060
                all_unversioned[0][0] < target_path.split('/')):
955
1061
                unversioned_path = all_unversioned.popleft()
956
 
                to_kind, to_executable, to_stat = \
 
1062
                target_kind, target_executable, target_stat = \
957
1063
                    self.target._comparison_data(fake_entry, unversioned_path[1])
958
1064
                yield (None, (None, unversioned_path[1]), True, (False, False),
959
1065
                    (None, None),
960
1066
                    (None, unversioned_path[0][-1]),
961
 
                    (None, to_kind),
962
 
                    (None, to_executable))
963
 
            file_id = to_entry.file_id
964
 
            to_paths[file_id] = to_path
 
1067
                    (None, target_kind),
 
1068
                    (None, target_executable))
 
1069
            source_path, source_entry = from_data.get(target_entry.file_id,
 
1070
                (None, None))
 
1071
            result, changes = self._changes_from_entries(source_entry,
 
1072
                target_entry, source_path=source_path, target_path=target_path)
 
1073
            to_paths[result[0]] = result[1][1]
965
1074
            entry_count += 1
966
 
            changed_content = False
967
 
            from_path, from_entry = from_data.get(file_id, (None, None))
968
 
            from_versioned = (from_entry is not None)
969
 
            if from_entry is not None:
970
 
                from_versioned = True
971
 
                from_name = from_entry.name
972
 
                from_parent = from_entry.parent_id
973
 
                from_kind, from_executable, from_stat = \
974
 
                    self.source._comparison_data(from_entry, from_path)
 
1075
            if result[3][0]:
975
1076
                entry_count += 1
976
 
            else:
977
 
                from_versioned = False
978
 
                from_kind = None
979
 
                from_parent = None
980
 
                from_name = None
981
 
                from_executable = None
982
 
            versioned = (from_versioned, True)
983
 
            to_kind, to_executable, to_stat = \
984
 
                self.target._comparison_data(to_entry, to_path)
985
 
            kind = (from_kind, to_kind)
986
 
            if kind[0] != kind[1]:
987
 
                changed_content = True
988
 
            elif from_kind == 'file':
989
 
                if (self.source.get_file_sha1(file_id, from_path, from_stat) !=
990
 
                    self.target.get_file_sha1(file_id, to_path, to_stat)):
991
 
                    changed_content = True
992
 
            elif from_kind == 'symlink':
993
 
                if (self.source.get_symlink_target(file_id) !=
994
 
                    self.target.get_symlink_target(file_id)):
995
 
                    changed_content = True
996
 
                # XXX: Yes, the indentation below is wrong. But fixing it broke
997
 
                # test_merge.TestMergerEntriesLCAOnDisk.
998
 
                # test_nested_tree_subtree_renamed_and_modified. We'll wait for
999
 
                # the fix from bzr.dev -- vila 2009026
1000
 
                elif from_kind == 'tree-reference':
1001
 
                    if (self.source.get_reference_revision(file_id, from_path)
1002
 
                        != self.target.get_reference_revision(file_id, to_path)):
1003
 
                        changed_content = True
1004
 
            parent = (from_parent, to_entry.parent_id)
1005
 
            name = (from_name, to_entry.name)
1006
 
            executable = (from_executable, to_executable)
1007
1077
            if pb is not None:
1008
1078
                pb.update('comparing files', entry_count, num_entries)
1009
 
            if (changed_content is not False or versioned[0] != versioned[1]
1010
 
                or parent[0] != parent[1] or name[0] != name[1] or
1011
 
                executable[0] != executable[1] or include_unchanged):
1012
 
                yield (file_id, (from_path, to_path), changed_content,
1013
 
                    versioned, parent, name, kind, executable)
1014
 
 
 
1079
            if changes or include_unchanged:
 
1080
                if specific_file_ids is not None:
 
1081
                    new_parent_id = result[4][1]
 
1082
                    precise_file_ids.add(new_parent_id)
 
1083
                    changed_file_ids.append(result[0])
 
1084
                yield result
 
1085
            # Ensure correct behaviour for reparented/added specific files.
 
1086
            if specific_files is not None:
 
1087
                # Record output dirs
 
1088
                if result[6][1] == 'directory':
 
1089
                    seen_dirs.add(result[0])
 
1090
                # Record parents of reparented/added entries.
 
1091
                versioned = result[3]
 
1092
                parents = result[4]
 
1093
                if not versioned[0] or parents[0] != parents[1]:
 
1094
                    seen_parents.add(parents[1])
1015
1095
        while all_unversioned:
1016
1096
            # yield any trailing unversioned paths
1017
1097
            unversioned_path = all_unversioned.popleft()
1022
1102
                (None, unversioned_path[0][-1]),
1023
1103
                (None, to_kind),
1024
1104
                (None, to_executable))
1025
 
 
1026
 
        def get_to_path(to_entry):
1027
 
            if to_entry.parent_id is None:
1028
 
                to_path = '' # the root
1029
 
            else:
1030
 
                if to_entry.parent_id not in to_paths:
1031
 
                    # recurse up
1032
 
                    return get_to_path(self.target.inventory[to_entry.parent_id])
1033
 
                to_path = osutils.pathjoin(to_paths[to_entry.parent_id],
1034
 
                                           to_entry.name)
1035
 
            to_paths[to_entry.file_id] = to_path
1036
 
            return to_path
1037
 
 
 
1105
        # Yield all remaining source paths
1038
1106
        for path, from_entry in from_entries_by_dir:
1039
1107
            file_id = from_entry.file_id
1040
1108
            if file_id in to_paths:
1041
1109
                # already returned
1042
1110
                continue
1043
 
            if not file_id in self.target.all_file_ids():
 
1111
            if file_id not in self.target.all_file_ids():
1044
1112
                # common case - paths we have not emitted are not present in
1045
1113
                # target.
1046
1114
                to_path = None
1047
1115
            else:
1048
 
                to_path = get_to_path(self.target.inventory[file_id])
 
1116
                to_path = self.target.id2path(file_id)
1049
1117
            entry_count += 1
1050
1118
            if pb is not None:
1051
1119
                pb.update('comparing files', entry_count, num_entries)
1058
1126
            executable = (from_executable, None)
1059
1127
            changed_content = from_kind is not None
1060
1128
            # the parent's path is necessarily known at this point.
 
1129
            changed_file_ids.append(file_id)
1061
1130
            yield(file_id, (path, to_path), changed_content, versioned, parent,
1062
1131
                  name, kind, executable)
 
1132
        changed_file_ids = set(changed_file_ids)
 
1133
        if specific_file_ids is not None:
 
1134
            for result in self._handle_precise_ids(precise_file_ids,
 
1135
                changed_file_ids):
 
1136
                yield result
 
1137
 
 
1138
    def _get_entry(self, tree, file_id):
 
1139
        """Get an inventory entry from a tree, with missing entries as None.
 
1140
 
 
1141
        If the tree raises NotImplementedError on accessing .inventory, then
 
1142
        this is worked around using iter_entries_by_dir on just the file id
 
1143
        desired.
 
1144
 
 
1145
        :param tree: The tree to lookup the entry in.
 
1146
        :param file_id: The file_id to lookup.
 
1147
        """
 
1148
        try:
 
1149
            inventory = tree.inventory
 
1150
        except NotImplementedError:
 
1151
            # No inventory available.
 
1152
            try:
 
1153
                iterator = tree.iter_entries_by_dir(specific_file_ids=[file_id])
 
1154
                return iterator.next()[1]
 
1155
            except StopIteration:
 
1156
                return None
 
1157
        else:
 
1158
            try:
 
1159
                return inventory[file_id]
 
1160
            except errors.NoSuchId:
 
1161
                return None
 
1162
 
 
1163
    def _handle_precise_ids(self, precise_file_ids, changed_file_ids,
 
1164
        discarded_changes=None):
 
1165
        """Fill out a partial iter_changes to be consistent.
 
1166
 
 
1167
        :param precise_file_ids: The file ids of parents that were seen during
 
1168
            the iter_changes.
 
1169
        :param changed_file_ids: The file ids of already emitted items.
 
1170
        :param discarded_changes: An optional dict of precalculated
 
1171
            iter_changes items which the partial iter_changes had not output
 
1172
            but had calculated.
 
1173
        :return: A generator of iter_changes items to output.
 
1174
        """
 
1175
        # process parents of things that had changed under the users
 
1176
        # requested paths to prevent incorrect paths or parent ids which
 
1177
        # aren't in the tree.
 
1178
        while precise_file_ids:
 
1179
            precise_file_ids.discard(None)
 
1180
            # Don't emit file_ids twice
 
1181
            precise_file_ids.difference_update(changed_file_ids)
 
1182
            if not precise_file_ids:
 
1183
                break
 
1184
            # If the there was something at a given output path in source, we
 
1185
            # have to include the entry from source in the delta, or we would
 
1186
            # be putting this entry into a used path.
 
1187
            paths = []
 
1188
            for parent_id in precise_file_ids:
 
1189
                try:
 
1190
                    paths.append(self.target.id2path(parent_id))
 
1191
                except errors.NoSuchId:
 
1192
                    # This id has been dragged in from the source by delta
 
1193
                    # expansion and isn't present in target at all: we don't
 
1194
                    # need to check for path collisions on it.
 
1195
                    pass
 
1196
            for path in paths:
 
1197
                old_id = self.source.path2id(path)
 
1198
                precise_file_ids.add(old_id)
 
1199
            precise_file_ids.discard(None)
 
1200
            current_ids = precise_file_ids
 
1201
            precise_file_ids = set()
 
1202
            # We have to emit all of precise_file_ids that have been altered.
 
1203
            # We may have to output the children of some of those ids if any
 
1204
            # directories have stopped being directories.
 
1205
            for file_id in current_ids:
 
1206
                # Examine file_id
 
1207
                if discarded_changes:
 
1208
                    result = discarded_changes.get(file_id)
 
1209
                    old_entry = None
 
1210
                else:
 
1211
                    result = None
 
1212
                if result is None:
 
1213
                    old_entry = self._get_entry(self.source, file_id)
 
1214
                    new_entry = self._get_entry(self.target, file_id)
 
1215
                    result, changes = self._changes_from_entries(
 
1216
                        old_entry, new_entry)
 
1217
                else:
 
1218
                    changes = True
 
1219
                # Get this parents parent to examine.
 
1220
                new_parent_id = result[4][1]
 
1221
                precise_file_ids.add(new_parent_id)
 
1222
                if changes:
 
1223
                    if (result[6][0] == 'directory' and
 
1224
                        result[6][1] != 'directory'):
 
1225
                        # This stopped being a directory, the old children have
 
1226
                        # to be included.
 
1227
                        if old_entry is None:
 
1228
                            # Reusing a discarded change.
 
1229
                            old_entry = self._get_entry(self.source, file_id)
 
1230
                        for child in old_entry.children.values():
 
1231
                            precise_file_ids.add(child.file_id)
 
1232
                    changed_file_ids.add(result[0])
 
1233
                    yield result
1063
1234
 
1064
1235
 
1065
1236
class MultiWalker(object):