← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tree.py

  • Committer: Gordon Tyler
  • Date: 2010-02-02 06:30:43 UTC
  • mto: (5037.3.1 integration)
  • mto: This revision was merged to the branch mainline in revision 5046.
  • Revision ID: gordon@doxxx.net-20100202063043-3ygr1114d25m3f7m
Added cmdline.split function, which replaces commands.shlex_split_unicode.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tree.py
19
19
 
20
20
import os
21
21
from collections import deque
22
 
from cStringIO import StringIO
23
22
 
24
23
import bzrlib
25
24
from bzrlib import (
30
29
    osutils,
31
30
    revision as _mod_revision,
32
31
    rules,
33
 
    symbol_versioning,
34
32
    )
35
33
from bzrlib.decorators import needs_read_lock
36
 
from bzrlib.errors import BzrError, BzrCheckError, NoSuchId
 
34
from bzrlib.errors import BzrError, NoSuchId
37
35
from bzrlib import errors
38
 
from bzrlib.inventory import Inventory, InventoryFile
 
36
from bzrlib.inventory import InventoryFile
39
37
from bzrlib.inter import InterObject
40
38
from bzrlib.osutils import fingerprint_file
41
39
import bzrlib.revision
42
40
from bzrlib.symbol_versioning import deprecated_function, deprecated_in
43
 
from bzrlib.trace import mutter, note
 
41
from bzrlib.trace import note
44
42
 
45
43
 
46
44
class Tree(object):
135
133
        return self.has_id(file_id)
136
134
 
137
135
    def has_or_had_id(self, file_id):
138
 
        if file_id == self.inventory.root.file_id:
139
 
            return True
140
136
        return self.inventory.has_id(file_id)
141
137
 
142
138
    def is_ignored(self, filename):
174
170
        return self.bzrdir.is_control_filename(filename)
175
171
 
176
172
    @needs_read_lock
177
 
    def iter_entries_by_dir(self, specific_file_ids=None):
 
173
    def iter_entries_by_dir(self, specific_file_ids=None, yield_parents=False):
178
174
        """Walk the tree in 'by_dir' order.
179
175
 
180
176
        This will yield each entry in the tree as a (path, entry) tuple.
197
193
 
198
194
        The yield order (ignoring root) would be::
199
195
          a, f, a/b, a/d, a/b/c, a/d/e, f/g
 
196
 
 
197
        :param yield_parents: If True, yield the parents from the root leading
 
198
            down to specific_file_ids that have been requested. This has no
 
199
            impact if specific_file_ids is None.
200
200
        """
201
201
        return self.inventory.iter_entries_by_dir(
202
 
            specific_file_ids=specific_file_ids)
 
202
            specific_file_ids=specific_file_ids, yield_parents=yield_parents)
203
203
 
204
204
    def iter_references(self):
205
 
        for path, entry in self.iter_entries_by_dir():
206
 
            if entry.kind == 'tree-reference':
207
 
                yield path, entry.file_id
 
205
        if self.supports_tree_reference():
 
206
            for path, entry in self.iter_entries_by_dir():
 
207
                if entry.kind == 'tree-reference':
 
208
                    yield path, entry.file_id
208
209
 
209
210
    def kind(self, file_id):
210
211
        raise NotImplementedError("Tree subclass %s must implement kind"
221
222
    def path_content_summary(self, path):
222
223
        """Get a summary of the information about path.
223
224
 
 
225
        All the attributes returned are for the canonical form, not the
 
226
        convenient form (if content filters are in use.)
 
227
 
224
228
        :param path: A relative path within the tree.
225
229
        :return: A tuple containing kind, size, exec, sha1-or-link.
226
230
            Kind is always present (see tree.kind()).
227
 
            size is present if kind is file, None otherwise.
 
231
            size is present if kind is file and the size of the 
 
232
                canonical form can be cheaply determined, None otherwise.
228
233
            exec is None unless kind is file and the platform supports the 'x'
229
234
                bit.
230
235
            sha1-or-link is the link target if kind is symlink, or the sha1 if
262
267
        """
263
268
        raise NotImplementedError(self.get_file)
264
269
 
 
270
    def get_file_with_stat(self, file_id, path=None):
 
271
        """Get a file handle and stat object for file_id.
 
272
 
 
273
        The default implementation returns (self.get_file, None) for backwards
 
274
        compatibility.
 
275
 
 
276
        :param file_id: The file id to read.
 
277
        :param path: The path of the file, if it is known.
 
278
        :return: A tuple (file_handle, stat_value_or_None). If the tree has
 
279
            no stat facility, or need for a stat cache feedback during commit,
 
280
            it may return None for the second element of the tuple.
 
281
        """
 
282
        return (self.get_file(file_id, path), None)
 
283
 
265
284
    def get_file_text(self, file_id, path=None):
266
285
        """Return the byte content of a file.
267
286
 
422
441
        raise NotImplementedError(self.annotate_iter)
423
442
 
424
443
    def _get_plan_merge_data(self, file_id, other, base):
425
 
        from bzrlib import merge, versionedfile
 
444
        from bzrlib import versionedfile
426
445
        vf = versionedfile._PlanMergeVersionedFile(file_id)
427
446
        last_revision_a = self._get_file_revision(file_id, vf, 'this:')
428
447
        last_revision_b = other._get_file_revision(file_id, vf, 'other:')
657
676
            return None
658
677
 
659
678
    def iter_search_rules(self, path_names, pref_names=None,
660
 
        _default_searcher=rules._per_user_searcher):
 
679
        _default_searcher=None):
661
680
        """Find the preferences for filenames in a tree.
662
681
 
663
682
        :param path_names: an iterable of paths to find attributes for.
667
686
        :return: an iterator of tuple sequences, one per path-name.
668
687
          See _RulesSearcher.get_items for details on the tuple sequence.
669
688
        """
 
689
        if _default_searcher is None:
 
690
            _default_searcher = rules._per_user_searcher
670
691
        searcher = self._get_rules_searcher(_default_searcher)
671
692
        if searcher is not None:
672
693
            if pref_names is not None:
676
697
                for path in path_names:
677
698
                    yield searcher.get_items(path)
678
699
 
679
 
    @needs_read_lock
680
700
    def _get_rules_searcher(self, default_searcher):
681
701
        """Get the RulesSearcher for this tree given the default one."""
682
702
        searcher = default_searcher
810
830
        new_pending = set()
811
831
        for file_id in pending:
812
832
            for tree in trees:
813
 
                if not tree.has_id(file_id):
 
833
                if not tree.has_or_had_id(file_id):
814
834
                    continue
815
835
                for child_id in tree.iter_children(file_id):
816
836
                    if child_id not in interesting_ids:
831
851
    will pass through to InterTree as appropriate.
832
852
    """
833
853
 
 
854
    # Formats that will be used to test this InterTree. If both are
 
855
    # None, this InterTree will not be tested (e.g. because a complex
 
856
    # setup is required)
 
857
    _matching_from_tree_format = None
 
858
    _matching_to_tree_format = None
 
859
 
834
860
    _optimisers = []
835
861
 
 
862
    def _changes_from_entries(self, source_entry, target_entry,
 
863
        source_path=None, target_path=None):
 
864
        """Generate a iter_changes tuple between source_entry and target_entry.
 
865
 
 
866
        :param source_entry: An inventory entry from self.source, or None.
 
867
        :param target_entry: An inventory entry from self.target, or None.
 
868
        :param source_path: The path of source_entry, if known. If not known
 
869
            it will be looked up.
 
870
        :param target_path: The path of target_entry, if known. If not known
 
871
            it will be looked up.
 
872
        :return: A tuple, item 0 of which is an iter_changes result tuple, and
 
873
            item 1 is True if there are any changes in the result tuple.
 
874
        """
 
875
        if source_entry is None:
 
876
            if target_entry is None:
 
877
                return None
 
878
            file_id = target_entry.file_id
 
879
        else:
 
880
            file_id = source_entry.file_id
 
881
        if source_entry is not None:
 
882
            source_versioned = True
 
883
            source_name = source_entry.name
 
884
            source_parent = source_entry.parent_id
 
885
            if source_path is None:
 
886
                source_path = self.source.id2path(file_id)
 
887
            source_kind, source_executable, source_stat = \
 
888
                self.source._comparison_data(source_entry, source_path)
 
889
        else:
 
890
            source_versioned = False
 
891
            source_name = None
 
892
            source_parent = None
 
893
            source_kind = None
 
894
            source_executable = None
 
895
        if target_entry is not None:
 
896
            target_versioned = True
 
897
            target_name = target_entry.name
 
898
            target_parent = target_entry.parent_id
 
899
            if target_path is None:
 
900
                target_path = self.target.id2path(file_id)
 
901
            target_kind, target_executable, target_stat = \
 
902
                self.target._comparison_data(target_entry, target_path)
 
903
        else:
 
904
            target_versioned = False
 
905
            target_name = None
 
906
            target_parent = None
 
907
            target_kind = None
 
908
            target_executable = None
 
909
        versioned = (source_versioned, target_versioned)
 
910
        kind = (source_kind, target_kind)
 
911
        changed_content = False
 
912
        if source_kind != target_kind:
 
913
            changed_content = True
 
914
        elif source_kind == 'file':
 
915
            if (self.source.get_file_sha1(file_id, source_path, source_stat) !=
 
916
                self.target.get_file_sha1(file_id, target_path, target_stat)):
 
917
                changed_content = True
 
918
        elif source_kind == 'symlink':
 
919
            if (self.source.get_symlink_target(file_id) !=
 
920
                self.target.get_symlink_target(file_id)):
 
921
                changed_content = True
 
922
            # XXX: Yes, the indentation below is wrong. But fixing it broke
 
923
            # test_merge.TestMergerEntriesLCAOnDisk.
 
924
            # test_nested_tree_subtree_renamed_and_modified. We'll wait for
 
925
            # the fix from bzr.dev -- vila 2009026
 
926
            elif source_kind == 'tree-reference':
 
927
                if (self.source.get_reference_revision(file_id, source_path)
 
928
                    != self.target.get_reference_revision(file_id, target_path)):
 
929
                    changed_content = True
 
930
        parent = (source_parent, target_parent)
 
931
        name = (source_name, target_name)
 
932
        executable = (source_executable, target_executable)
 
933
        if (changed_content is not False or versioned[0] != versioned[1]
 
934
            or parent[0] != parent[1] or name[0] != name[1] or
 
935
            executable[0] != executable[1]):
 
936
            changes = True
 
937
        else:
 
938
            changes = False
 
939
        return (file_id, (source_path, target_path), changed_content,
 
940
                versioned, parent, name, kind, executable), changes
 
941
 
836
942
    @needs_read_lock
837
943
    def compare(self, want_unchanged=False, specific_files=None,
838
944
        extra_trees=None, require_versioned=False, include_root=False,
853
959
            a PathsNotVersionedError will be thrown.
854
960
        :param want_unversioned: Scan for unversioned paths.
855
961
        """
856
 
        # NB: show_status depends on being able to pass in non-versioned files
857
 
        # and report them as unknown
858
962
        trees = (self.source,)
859
963
        if extra_trees is not None:
860
964
            trees = trees + tuple(extra_trees)
901
1005
        :param require_versioned: Raise errors.PathsNotVersionedError if a
902
1006
            path in the specific_files list is not versioned in one of
903
1007
            source, target or extra_trees.
 
1008
        :param specific_files: An optional list of file paths to restrict the
 
1009
            comparison to. When mapping filenames to ids, all matches in all
 
1010
            trees (including optional extra_trees) are used, and all children
 
1011
            of matched directories are included. The parents in the target tree
 
1012
            of the specific files up to and including the root of the tree are
 
1013
            always evaluated for changes too.
904
1014
        :param want_unversioned: Should unversioned files be returned in the
905
1015
            output. An unversioned file is defined as one with (False, False)
906
1016
            for the versioned pair.
908
1018
        lookup_trees = [self.source]
909
1019
        if extra_trees:
910
1020
             lookup_trees.extend(extra_trees)
 
1021
        # The ids of items we need to examine to insure delta consistency.
 
1022
        precise_file_ids = set()
 
1023
        changed_file_ids = []
911
1024
        if specific_files == []:
912
1025
            specific_file_ids = []
913
1026
        else:
914
1027
            specific_file_ids = self.target.paths2ids(specific_files,
915
1028
                lookup_trees, require_versioned=require_versioned)
 
1029
        if specific_files is not None:
 
1030
            # reparented or added entries must have their parents included
 
1031
            # so that valid deltas can be created. The seen_parents set
 
1032
            # tracks the parents that we need to have.
 
1033
            # The seen_dirs set tracks directory entries we've yielded.
 
1034
            # After outputting version object in to_entries we set difference
 
1035
            # the two seen sets and start checking parents.
 
1036
            seen_parents = set()
 
1037
            seen_dirs = set()
916
1038
        if want_unversioned:
917
1039
            all_unversioned = sorted([(p.split('/'), p) for p in
918
1040
                                     self.target.extras()
933
1055
        # can be extras. So the fake_entry is solely used to look up
934
1056
        # executable it values when execute is not supported.
935
1057
        fake_entry = InventoryFile('unused', 'unused', 'unused')
936
 
        for to_path, to_entry in to_entries_by_dir:
937
 
            while all_unversioned and all_unversioned[0][0] < to_path.split('/'):
 
1058
        for target_path, target_entry in to_entries_by_dir:
 
1059
            while (all_unversioned and
 
1060
                all_unversioned[0][0] < target_path.split('/')):
938
1061
                unversioned_path = all_unversioned.popleft()
939
 
                to_kind, to_executable, to_stat = \
 
1062
                target_kind, target_executable, target_stat = \
940
1063
                    self.target._comparison_data(fake_entry, unversioned_path[1])
941
1064
                yield (None, (None, unversioned_path[1]), True, (False, False),
942
1065
                    (None, None),
943
1066
                    (None, unversioned_path[0][-1]),
944
 
                    (None, to_kind),
945
 
                    (None, to_executable))
946
 
            file_id = to_entry.file_id
947
 
            to_paths[file_id] = to_path
 
1067
                    (None, target_kind),
 
1068
                    (None, target_executable))
 
1069
            source_path, source_entry = from_data.get(target_entry.file_id,
 
1070
                (None, None))
 
1071
            result, changes = self._changes_from_entries(source_entry,
 
1072
                target_entry, source_path=source_path, target_path=target_path)
 
1073
            to_paths[result[0]] = result[1][1]
948
1074
            entry_count += 1
949
 
            changed_content = False
950
 
            from_path, from_entry = from_data.get(file_id, (None, None))
951
 
            from_versioned = (from_entry is not None)
952
 
            if from_entry is not None:
953
 
                from_versioned = True
954
 
                from_name = from_entry.name
955
 
                from_parent = from_entry.parent_id
956
 
                from_kind, from_executable, from_stat = \
957
 
                    self.source._comparison_data(from_entry, from_path)
 
1075
            if result[3][0]:
958
1076
                entry_count += 1
959
 
            else:
960
 
                from_versioned = False
961
 
                from_kind = None
962
 
                from_parent = None
963
 
                from_name = None
964
 
                from_executable = None
965
 
            versioned = (from_versioned, True)
966
 
            to_kind, to_executable, to_stat = \
967
 
                self.target._comparison_data(to_entry, to_path)
968
 
            kind = (from_kind, to_kind)
969
 
            if kind[0] != kind[1]:
970
 
                changed_content = True
971
 
            elif from_kind == 'file':
972
 
                if (self.source.get_file_sha1(file_id, from_path, from_stat) !=
973
 
                    self.target.get_file_sha1(file_id, to_path, to_stat)):
974
 
                    changed_content = True
975
 
            elif from_kind == 'symlink':
976
 
                if (self.source.get_symlink_target(file_id) !=
977
 
                    self.target.get_symlink_target(file_id)):
978
 
                    changed_content = True
979
 
                # XXX: Yes, the indentation below is wrong. But fixing it broke
980
 
                # test_merge.TestMergerEntriesLCAOnDisk.
981
 
                # test_nested_tree_subtree_renamed_and_modified. We'll wait for
982
 
                # the fix from bzr.dev -- vila 2009026
983
 
                elif from_kind == 'tree-reference':
984
 
                    if (self.source.get_reference_revision(file_id, from_path)
985
 
                        != self.target.get_reference_revision(file_id, to_path)):
986
 
                        changed_content = True
987
 
            parent = (from_parent, to_entry.parent_id)
988
 
            name = (from_name, to_entry.name)
989
 
            executable = (from_executable, to_executable)
990
1077
            if pb is not None:
991
1078
                pb.update('comparing files', entry_count, num_entries)
992
 
            if (changed_content is not False or versioned[0] != versioned[1]
993
 
                or parent[0] != parent[1] or name[0] != name[1] or
994
 
                executable[0] != executable[1] or include_unchanged):
995
 
                yield (file_id, (from_path, to_path), changed_content,
996
 
                    versioned, parent, name, kind, executable)
997
 
 
 
1079
            if changes or include_unchanged:
 
1080
                if specific_file_ids is not None:
 
1081
                    new_parent_id = result[4][1]
 
1082
                    precise_file_ids.add(new_parent_id)
 
1083
                    changed_file_ids.append(result[0])
 
1084
                yield result
 
1085
            # Ensure correct behaviour for reparented/added specific files.
 
1086
            if specific_files is not None:
 
1087
                # Record output dirs
 
1088
                if result[6][1] == 'directory':
 
1089
                    seen_dirs.add(result[0])
 
1090
                # Record parents of reparented/added entries.
 
1091
                versioned = result[3]
 
1092
                parents = result[4]
 
1093
                if not versioned[0] or parents[0] != parents[1]:
 
1094
                    seen_parents.add(parents[1])
998
1095
        while all_unversioned:
999
1096
            # yield any trailing unversioned paths
1000
1097
            unversioned_path = all_unversioned.popleft()
1005
1102
                (None, unversioned_path[0][-1]),
1006
1103
                (None, to_kind),
1007
1104
                (None, to_executable))
1008
 
 
1009
 
        def get_to_path(to_entry):
1010
 
            if to_entry.parent_id is None:
1011
 
                to_path = '' # the root
1012
 
            else:
1013
 
                if to_entry.parent_id not in to_paths:
1014
 
                    # recurse up
1015
 
                    return get_to_path(self.target.inventory[to_entry.parent_id])
1016
 
                to_path = osutils.pathjoin(to_paths[to_entry.parent_id],
1017
 
                                           to_entry.name)
1018
 
            to_paths[to_entry.file_id] = to_path
1019
 
            return to_path
1020
 
 
 
1105
        # Yield all remaining source paths
1021
1106
        for path, from_entry in from_entries_by_dir:
1022
1107
            file_id = from_entry.file_id
1023
1108
            if file_id in to_paths:
1024
1109
                # already returned
1025
1110
                continue
1026
 
            if not file_id in self.target.all_file_ids():
 
1111
            if file_id not in self.target.all_file_ids():
1027
1112
                # common case - paths we have not emitted are not present in
1028
1113
                # target.
1029
1114
                to_path = None
1030
1115
            else:
1031
 
                to_path = get_to_path(self.target.inventory[file_id])
 
1116
                to_path = self.target.id2path(file_id)
1032
1117
            entry_count += 1
1033
1118
            if pb is not None:
1034
1119
                pb.update('comparing files', entry_count, num_entries)
1041
1126
            executable = (from_executable, None)
1042
1127
            changed_content = from_kind is not None
1043
1128
            # the parent's path is necessarily known at this point.
 
1129
            changed_file_ids.append(file_id)
1044
1130
            yield(file_id, (path, to_path), changed_content, versioned, parent,
1045
1131
                  name, kind, executable)
 
1132
        changed_file_ids = set(changed_file_ids)
 
1133
        if specific_file_ids is not None:
 
1134
            for result in self._handle_precise_ids(precise_file_ids,
 
1135
                changed_file_ids):
 
1136
                yield result
 
1137
 
 
1138
    def _get_entry(self, tree, file_id):
 
1139
        """Get an inventory entry from a tree, with missing entries as None.
 
1140
 
 
1141
        If the tree raises NotImplementedError on accessing .inventory, then
 
1142
        this is worked around using iter_entries_by_dir on just the file id
 
1143
        desired.
 
1144
 
 
1145
        :param tree: The tree to lookup the entry in.
 
1146
        :param file_id: The file_id to lookup.
 
1147
        """
 
1148
        try:
 
1149
            inventory = tree.inventory
 
1150
        except NotImplementedError:
 
1151
            # No inventory available.
 
1152
            try:
 
1153
                iterator = tree.iter_entries_by_dir(specific_file_ids=[file_id])
 
1154
                return iterator.next()[1]
 
1155
            except StopIteration:
 
1156
                return None
 
1157
        else:
 
1158
            try:
 
1159
                return inventory[file_id]
 
1160
            except errors.NoSuchId:
 
1161
                return None
 
1162
 
 
1163
    def _handle_precise_ids(self, precise_file_ids, changed_file_ids,
 
1164
        discarded_changes=None):
 
1165
        """Fill out a partial iter_changes to be consistent.
 
1166
 
 
1167
        :param precise_file_ids: The file ids of parents that were seen during
 
1168
            the iter_changes.
 
1169
        :param changed_file_ids: The file ids of already emitted items.
 
1170
        :param discarded_changes: An optional dict of precalculated
 
1171
            iter_changes items which the partial iter_changes had not output
 
1172
            but had calculated.
 
1173
        :return: A generator of iter_changes items to output.
 
1174
        """
 
1175
        # process parents of things that had changed under the users
 
1176
        # requested paths to prevent incorrect paths or parent ids which
 
1177
        # aren't in the tree.
 
1178
        while precise_file_ids:
 
1179
            precise_file_ids.discard(None)
 
1180
            # Don't emit file_ids twice
 
1181
            precise_file_ids.difference_update(changed_file_ids)
 
1182
            if not precise_file_ids:
 
1183
                break
 
1184
            # If the there was something at a given output path in source, we
 
1185
            # have to include the entry from source in the delta, or we would
 
1186
            # be putting this entry into a used path.
 
1187
            paths = []
 
1188
            for parent_id in precise_file_ids:
 
1189
                try:
 
1190
                    paths.append(self.target.id2path(parent_id))
 
1191
                except errors.NoSuchId:
 
1192
                    # This id has been dragged in from the source by delta
 
1193
                    # expansion and isn't present in target at all: we don't
 
1194
                    # need to check for path collisions on it.
 
1195
                    pass
 
1196
            for path in paths:
 
1197
                old_id = self.source.path2id(path)
 
1198
                precise_file_ids.add(old_id)
 
1199
            precise_file_ids.discard(None)
 
1200
            current_ids = precise_file_ids
 
1201
            precise_file_ids = set()
 
1202
            # We have to emit all of precise_file_ids that have been altered.
 
1203
            # We may have to output the children of some of those ids if any
 
1204
            # directories have stopped being directories.
 
1205
            for file_id in current_ids:
 
1206
                # Examine file_id
 
1207
                if discarded_changes:
 
1208
                    result = discarded_changes.get(file_id)
 
1209
                    old_entry = None
 
1210
                else:
 
1211
                    result = None
 
1212
                if result is None:
 
1213
                    old_entry = self._get_entry(self.source, file_id)
 
1214
                    new_entry = self._get_entry(self.target, file_id)
 
1215
                    result, changes = self._changes_from_entries(
 
1216
                        old_entry, new_entry)
 
1217
                else:
 
1218
                    changes = True
 
1219
                # Get this parents parent to examine.
 
1220
                new_parent_id = result[4][1]
 
1221
                precise_file_ids.add(new_parent_id)
 
1222
                if changes:
 
1223
                    if (result[6][0] == 'directory' and
 
1224
                        result[6][1] != 'directory'):
 
1225
                        # This stopped being a directory, the old children have
 
1226
                        # to be included.
 
1227
                        if old_entry is None:
 
1228
                            # Reusing a discarded change.
 
1229
                            old_entry = self._get_entry(self.source, file_id)
 
1230
                        for child in old_entry.children.values():
 
1231
                            precise_file_ids.add(child.file_id)
 
1232
                    changed_file_ids.add(result[0])
 
1233
                    yield result
1046
1234
 
1047
1235
 
1048
1236
class MultiWalker(object):