← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tree.py

  • Committer: John Ferlito
  • Date: 2009-05-25 10:59:42 UTC
  • mto: (4665.4.1 ppa-doc)
  • mto: This revision was merged to the branch mainline in revision 4693.
  • Revision ID: johnf@inodes.org-20090525105942-5xkcbe37m1u5lp5z
Update packaging scripts to make deployment a bit easier
Update documentation for deploying to PPA

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tree.py
19
19
 
20
20
import os
21
21
from collections import deque
 
22
from cStringIO import StringIO
22
23
 
23
24
import bzrlib
24
25
from bzrlib import (
29
30
    osutils,
30
31
    revision as _mod_revision,
31
32
    rules,
 
33
    symbol_versioning,
32
34
    )
33
35
from bzrlib.decorators import needs_read_lock
34
 
from bzrlib.errors import BzrError, NoSuchId
 
36
from bzrlib.errors import BzrError, BzrCheckError, NoSuchId
35
37
from bzrlib import errors
36
 
from bzrlib.inventory import InventoryFile
 
38
from bzrlib.inventory import Inventory, InventoryFile
37
39
from bzrlib.inter import InterObject
38
40
from bzrlib.osutils import fingerprint_file
39
41
import bzrlib.revision
40
42
from bzrlib.symbol_versioning import deprecated_function, deprecated_in
41
 
from bzrlib.trace import note
 
43
from bzrlib.trace import mutter, note
42
44
 
43
45
 
44
46
class Tree(object):
133
135
        return self.has_id(file_id)
134
136
 
135
137
    def has_or_had_id(self, file_id):
 
138
        if file_id == self.inventory.root.file_id:
 
139
            return True
136
140
        return self.inventory.has_id(file_id)
137
141
 
138
142
    def is_ignored(self, filename):
170
174
        return self.bzrdir.is_control_filename(filename)
171
175
 
172
176
    @needs_read_lock
173
 
    def iter_entries_by_dir(self, specific_file_ids=None, yield_parents=False):
 
177
    def iter_entries_by_dir(self, specific_file_ids=None):
174
178
        """Walk the tree in 'by_dir' order.
175
179
 
176
180
        This will yield each entry in the tree as a (path, entry) tuple.
193
197
 
194
198
        The yield order (ignoring root) would be::
195
199
          a, f, a/b, a/d, a/b/c, a/d/e, f/g
196
 
 
197
 
        :param yield_parents: If True, yield the parents from the root leading
198
 
            down to specific_file_ids that have been requested. This has no
199
 
            impact if specific_file_ids is None.
200
200
        """
201
201
        return self.inventory.iter_entries_by_dir(
202
 
            specific_file_ids=specific_file_ids, yield_parents=yield_parents)
 
202
            specific_file_ids=specific_file_ids)
203
203
 
204
204
    def iter_references(self):
205
205
        if self.supports_tree_reference():
222
222
    def path_content_summary(self, path):
223
223
        """Get a summary of the information about path.
224
224
 
225
 
        All the attributes returned are for the canonical form, not the
226
 
        convenient form (if content filters are in use.)
227
 
 
228
225
        :param path: A relative path within the tree.
229
226
        :return: A tuple containing kind, size, exec, sha1-or-link.
230
227
            Kind is always present (see tree.kind()).
231
 
            size is present if kind is file and the size of the 
232
 
                canonical form can be cheaply determined, None otherwise.
 
228
            size is present if kind is file, None otherwise.
233
229
            exec is None unless kind is file and the platform supports the 'x'
234
230
                bit.
235
231
            sha1-or-link is the link target if kind is symlink, or the sha1 if
267
263
        """
268
264
        raise NotImplementedError(self.get_file)
269
265
 
270
 
    def get_file_with_stat(self, file_id, path=None):
271
 
        """Get a file handle and stat object for file_id.
272
 
 
273
 
        The default implementation returns (self.get_file, None) for backwards
274
 
        compatibility.
275
 
 
276
 
        :param file_id: The file id to read.
277
 
        :param path: The path of the file, if it is known.
278
 
        :return: A tuple (file_handle, stat_value_or_None). If the tree has
279
 
            no stat facility, or need for a stat cache feedback during commit,
280
 
            it may return None for the second element of the tuple.
281
 
        """
282
 
        return (self.get_file(file_id, path), None)
283
 
 
284
266
    def get_file_text(self, file_id, path=None):
285
267
        """Return the byte content of a file.
286
268
 
441
423
        raise NotImplementedError(self.annotate_iter)
442
424
 
443
425
    def _get_plan_merge_data(self, file_id, other, base):
444
 
        from bzrlib import versionedfile
 
426
        from bzrlib import merge, versionedfile
445
427
        vf = versionedfile._PlanMergeVersionedFile(file_id)
446
428
        last_revision_a = self._get_file_revision(file_id, vf, 'this:')
447
429
        last_revision_b = other._get_file_revision(file_id, vf, 'other:')
697
679
                for path in path_names:
698
680
                    yield searcher.get_items(path)
699
681
 
 
682
    @needs_read_lock
700
683
    def _get_rules_searcher(self, default_searcher):
701
684
        """Get the RulesSearcher for this tree given the default one."""
702
685
        searcher = default_searcher
830
813
        new_pending = set()
831
814
        for file_id in pending:
832
815
            for tree in trees:
833
 
                if not tree.has_or_had_id(file_id):
 
816
                if not tree.has_id(file_id):
834
817
                    continue
835
818
                for child_id in tree.iter_children(file_id):
836
819
                    if child_id not in interesting_ids:
851
834
    will pass through to InterTree as appropriate.
852
835
    """
853
836
 
854
 
    # Formats that will be used to test this InterTree. If both are
855
 
    # None, this InterTree will not be tested (e.g. because a complex
856
 
    # setup is required)
857
 
    _matching_from_tree_format = None
858
 
    _matching_to_tree_format = None
859
 
 
860
837
    _optimisers = []
861
838
 
862
 
    def _changes_from_entries(self, source_entry, target_entry,
863
 
        source_path=None, target_path=None):
864
 
        """Generate a iter_changes tuple between source_entry and target_entry.
865
 
 
866
 
        :param source_entry: An inventory entry from self.source, or None.
867
 
        :param target_entry: An inventory entry from self.target, or None.
868
 
        :param source_path: The path of source_entry, if known. If not known
869
 
            it will be looked up.
870
 
        :param target_path: The path of target_entry, if known. If not known
871
 
            it will be looked up.
872
 
        :return: A tuple, item 0 of which is an iter_changes result tuple, and
873
 
            item 1 is True if there are any changes in the result tuple.
874
 
        """
875
 
        if source_entry is None:
876
 
            if target_entry is None:
877
 
                return None
878
 
            file_id = target_entry.file_id
879
 
        else:
880
 
            file_id = source_entry.file_id
881
 
        if source_entry is not None:
882
 
            source_versioned = True
883
 
            source_name = source_entry.name
884
 
            source_parent = source_entry.parent_id
885
 
            if source_path is None:
886
 
                source_path = self.source.id2path(file_id)
887
 
            source_kind, source_executable, source_stat = \
888
 
                self.source._comparison_data(source_entry, source_path)
889
 
        else:
890
 
            source_versioned = False
891
 
            source_name = None
892
 
            source_parent = None
893
 
            source_kind = None
894
 
            source_executable = None
895
 
        if target_entry is not None:
896
 
            target_versioned = True
897
 
            target_name = target_entry.name
898
 
            target_parent = target_entry.parent_id
899
 
            if target_path is None:
900
 
                target_path = self.target.id2path(file_id)
901
 
            target_kind, target_executable, target_stat = \
902
 
                self.target._comparison_data(target_entry, target_path)
903
 
        else:
904
 
            target_versioned = False
905
 
            target_name = None
906
 
            target_parent = None
907
 
            target_kind = None
908
 
            target_executable = None
909
 
        versioned = (source_versioned, target_versioned)
910
 
        kind = (source_kind, target_kind)
911
 
        changed_content = False
912
 
        if source_kind != target_kind:
913
 
            changed_content = True
914
 
        elif source_kind == 'file':
915
 
            if (self.source.get_file_sha1(file_id, source_path, source_stat) !=
916
 
                self.target.get_file_sha1(file_id, target_path, target_stat)):
917
 
                changed_content = True
918
 
        elif source_kind == 'symlink':
919
 
            if (self.source.get_symlink_target(file_id) !=
920
 
                self.target.get_symlink_target(file_id)):
921
 
                changed_content = True
922
 
            # XXX: Yes, the indentation below is wrong. But fixing it broke
923
 
            # test_merge.TestMergerEntriesLCAOnDisk.
924
 
            # test_nested_tree_subtree_renamed_and_modified. We'll wait for
925
 
            # the fix from bzr.dev -- vila 2009026
926
 
            elif source_kind == 'tree-reference':
927
 
                if (self.source.get_reference_revision(file_id, source_path)
928
 
                    != self.target.get_reference_revision(file_id, target_path)):
929
 
                    changed_content = True
930
 
        parent = (source_parent, target_parent)
931
 
        name = (source_name, target_name)
932
 
        executable = (source_executable, target_executable)
933
 
        if (changed_content is not False or versioned[0] != versioned[1]
934
 
            or parent[0] != parent[1] or name[0] != name[1] or
935
 
            executable[0] != executable[1]):
936
 
            changes = True
937
 
        else:
938
 
            changes = False
939
 
        return (file_id, (source_path, target_path), changed_content,
940
 
                versioned, parent, name, kind, executable), changes
941
 
 
942
839
    @needs_read_lock
943
840
    def compare(self, want_unchanged=False, specific_files=None,
944
841
        extra_trees=None, require_versioned=False, include_root=False,
959
856
            a PathsNotVersionedError will be thrown.
960
857
        :param want_unversioned: Scan for unversioned paths.
961
858
        """
 
859
        # NB: show_status depends on being able to pass in non-versioned files
 
860
        # and report them as unknown
962
861
        trees = (self.source,)
963
862
        if extra_trees is not None:
964
863
            trees = trees + tuple(extra_trees)
1005
904
        :param require_versioned: Raise errors.PathsNotVersionedError if a
1006
905
            path in the specific_files list is not versioned in one of
1007
906
            source, target or extra_trees.
1008
 
        :param specific_files: An optional list of file paths to restrict the
1009
 
            comparison to. When mapping filenames to ids, all matches in all
1010
 
            trees (including optional extra_trees) are used, and all children
1011
 
            of matched directories are included. The parents in the target tree
1012
 
            of the specific files up to and including the root of the tree are
1013
 
            always evaluated for changes too.
1014
907
        :param want_unversioned: Should unversioned files be returned in the
1015
908
            output. An unversioned file is defined as one with (False, False)
1016
909
            for the versioned pair.
1018
911
        lookup_trees = [self.source]
1019
912
        if extra_trees:
1020
913
             lookup_trees.extend(extra_trees)
1021
 
        # The ids of items we need to examine to insure delta consistency.
1022
 
        precise_file_ids = set()
1023
 
        changed_file_ids = []
1024
914
        if specific_files == []:
1025
915
            specific_file_ids = []
1026
916
        else:
1027
917
            specific_file_ids = self.target.paths2ids(specific_files,
1028
918
                lookup_trees, require_versioned=require_versioned)
1029
 
        if specific_files is not None:
1030
 
            # reparented or added entries must have their parents included
1031
 
            # so that valid deltas can be created. The seen_parents set
1032
 
            # tracks the parents that we need to have.
1033
 
            # The seen_dirs set tracks directory entries we've yielded.
1034
 
            # After outputting version object in to_entries we set difference
1035
 
            # the two seen sets and start checking parents.
1036
 
            seen_parents = set()
1037
 
            seen_dirs = set()
1038
919
        if want_unversioned:
1039
920
            all_unversioned = sorted([(p.split('/'), p) for p in
1040
921
                                     self.target.extras()
1055
936
        # can be extras. So the fake_entry is solely used to look up
1056
937
        # executable it values when execute is not supported.
1057
938
        fake_entry = InventoryFile('unused', 'unused', 'unused')
1058
 
        for target_path, target_entry in to_entries_by_dir:
1059
 
            while (all_unversioned and
1060
 
                all_unversioned[0][0] < target_path.split('/')):
 
939
        for to_path, to_entry in to_entries_by_dir:
 
940
            while all_unversioned and all_unversioned[0][0] < to_path.split('/'):
1061
941
                unversioned_path = all_unversioned.popleft()
1062
 
                target_kind, target_executable, target_stat = \
 
942
                to_kind, to_executable, to_stat = \
1063
943
                    self.target._comparison_data(fake_entry, unversioned_path[1])
1064
944
                yield (None, (None, unversioned_path[1]), True, (False, False),
1065
945
                    (None, None),
1066
946
                    (None, unversioned_path[0][-1]),
1067
 
                    (None, target_kind),
1068
 
                    (None, target_executable))
1069
 
            source_path, source_entry = from_data.get(target_entry.file_id,
1070
 
                (None, None))
1071
 
            result, changes = self._changes_from_entries(source_entry,
1072
 
                target_entry, source_path=source_path, target_path=target_path)
1073
 
            to_paths[result[0]] = result[1][1]
 
947
                    (None, to_kind),
 
948
                    (None, to_executable))
 
949
            file_id = to_entry.file_id
 
950
            to_paths[file_id] = to_path
1074
951
            entry_count += 1
1075
 
            if result[3][0]:
 
952
            changed_content = False
 
953
            from_path, from_entry = from_data.get(file_id, (None, None))
 
954
            from_versioned = (from_entry is not None)
 
955
            if from_entry is not None:
 
956
                from_versioned = True
 
957
                from_name = from_entry.name
 
958
                from_parent = from_entry.parent_id
 
959
                from_kind, from_executable, from_stat = \
 
960
                    self.source._comparison_data(from_entry, from_path)
1076
961
                entry_count += 1
 
962
            else:
 
963
                from_versioned = False
 
964
                from_kind = None
 
965
                from_parent = None
 
966
                from_name = None
 
967
                from_executable = None
 
968
            versioned = (from_versioned, True)
 
969
            to_kind, to_executable, to_stat = \
 
970
                self.target._comparison_data(to_entry, to_path)
 
971
            kind = (from_kind, to_kind)
 
972
            if kind[0] != kind[1]:
 
973
                changed_content = True
 
974
            elif from_kind == 'file':
 
975
                if (self.source.get_file_sha1(file_id, from_path, from_stat) !=
 
976
                    self.target.get_file_sha1(file_id, to_path, to_stat)):
 
977
                    changed_content = True
 
978
            elif from_kind == 'symlink':
 
979
                if (self.source.get_symlink_target(file_id) !=
 
980
                    self.target.get_symlink_target(file_id)):
 
981
                    changed_content = True
 
982
                # XXX: Yes, the indentation below is wrong. But fixing it broke
 
983
                # test_merge.TestMergerEntriesLCAOnDisk.
 
984
                # test_nested_tree_subtree_renamed_and_modified. We'll wait for
 
985
                # the fix from bzr.dev -- vila 2009026
 
986
                elif from_kind == 'tree-reference':
 
987
                    if (self.source.get_reference_revision(file_id, from_path)
 
988
                        != self.target.get_reference_revision(file_id, to_path)):
 
989
                        changed_content = True
 
990
            parent = (from_parent, to_entry.parent_id)
 
991
            name = (from_name, to_entry.name)
 
992
            executable = (from_executable, to_executable)
1077
993
            if pb is not None:
1078
994
                pb.update('comparing files', entry_count, num_entries)
1079
 
            if changes or include_unchanged:
1080
 
                if specific_file_ids is not None:
1081
 
                    new_parent_id = result[4][1]
1082
 
                    precise_file_ids.add(new_parent_id)
1083
 
                    changed_file_ids.append(result[0])
1084
 
                yield result
1085
 
            # Ensure correct behaviour for reparented/added specific files.
1086
 
            if specific_files is not None:
1087
 
                # Record output dirs
1088
 
                if result[6][1] == 'directory':
1089
 
                    seen_dirs.add(result[0])
1090
 
                # Record parents of reparented/added entries.
1091
 
                versioned = result[3]
1092
 
                parents = result[4]
1093
 
                if not versioned[0] or parents[0] != parents[1]:
1094
 
                    seen_parents.add(parents[1])
 
995
            if (changed_content is not False or versioned[0] != versioned[1]
 
996
                or parent[0] != parent[1] or name[0] != name[1] or
 
997
                executable[0] != executable[1] or include_unchanged):
 
998
                yield (file_id, (from_path, to_path), changed_content,
 
999
                    versioned, parent, name, kind, executable)
 
1000
 
1095
1001
        while all_unversioned:
1096
1002
            # yield any trailing unversioned paths
1097
1003
            unversioned_path = all_unversioned.popleft()
1102
1008
                (None, unversioned_path[0][-1]),
1103
1009
                (None, to_kind),
1104
1010
                (None, to_executable))
1105
 
        # Yield all remaining source paths
 
1011
 
 
1012
        def get_to_path(to_entry):
 
1013
            if to_entry.parent_id is None:
 
1014
                to_path = '' # the root
 
1015
            else:
 
1016
                if to_entry.parent_id not in to_paths:
 
1017
                    # recurse up
 
1018
                    return get_to_path(self.target.inventory[to_entry.parent_id])
 
1019
                to_path = osutils.pathjoin(to_paths[to_entry.parent_id],
 
1020
                                           to_entry.name)
 
1021
            to_paths[to_entry.file_id] = to_path
 
1022
            return to_path
 
1023
 
1106
1024
        for path, from_entry in from_entries_by_dir:
1107
1025
            file_id = from_entry.file_id
1108
1026
            if file_id in to_paths:
1109
1027
                # already returned
1110
1028
                continue
1111
 
            if file_id not in self.target.all_file_ids():
 
1029
            if not file_id in self.target.all_file_ids():
1112
1030
                # common case - paths we have not emitted are not present in
1113
1031
                # target.
1114
1032
                to_path = None
1115
1033
            else:
1116
 
                to_path = self.target.id2path(file_id)
 
1034
                to_path = get_to_path(self.target.inventory[file_id])
1117
1035
            entry_count += 1
1118
1036
            if pb is not None:
1119
1037
                pb.update('comparing files', entry_count, num_entries)
1126
1044
            executable = (from_executable, None)
1127
1045
            changed_content = from_kind is not None
1128
1046
            # the parent's path is necessarily known at this point.
1129
 
            changed_file_ids.append(file_id)
1130
1047
            yield(file_id, (path, to_path), changed_content, versioned, parent,
1131
1048
                  name, kind, executable)
1132
 
        changed_file_ids = set(changed_file_ids)
1133
 
        if specific_file_ids is not None:
1134
 
            for result in self._handle_precise_ids(precise_file_ids,
1135
 
                changed_file_ids):
1136
 
                yield result
1137
 
 
1138
 
    def _get_entry(self, tree, file_id):
1139
 
        """Get an inventory entry from a tree, with missing entries as None.
1140
 
 
1141
 
        If the tree raises NotImplementedError on accessing .inventory, then
1142
 
        this is worked around using iter_entries_by_dir on just the file id
1143
 
        desired.
1144
 
 
1145
 
        :param tree: The tree to lookup the entry in.
1146
 
        :param file_id: The file_id to lookup.
1147
 
        """
1148
 
        try:
1149
 
            inventory = tree.inventory
1150
 
        except NotImplementedError:
1151
 
            # No inventory available.
1152
 
            try:
1153
 
                iterator = tree.iter_entries_by_dir(specific_file_ids=[file_id])
1154
 
                return iterator.next()[1]
1155
 
            except StopIteration:
1156
 
                return None
1157
 
        else:
1158
 
            try:
1159
 
                return inventory[file_id]
1160
 
            except errors.NoSuchId:
1161
 
                return None
1162
 
 
1163
 
    def _handle_precise_ids(self, precise_file_ids, changed_file_ids,
1164
 
        discarded_changes=None):
1165
 
        """Fill out a partial iter_changes to be consistent.
1166
 
 
1167
 
        :param precise_file_ids: The file ids of parents that were seen during
1168
 
            the iter_changes.
1169
 
        :param changed_file_ids: The file ids of already emitted items.
1170
 
        :param discarded_changes: An optional dict of precalculated
1171
 
            iter_changes items which the partial iter_changes had not output
1172
 
            but had calculated.
1173
 
        :return: A generator of iter_changes items to output.
1174
 
        """
1175
 
        # process parents of things that had changed under the users
1176
 
        # requested paths to prevent incorrect paths or parent ids which
1177
 
        # aren't in the tree.
1178
 
        while precise_file_ids:
1179
 
            precise_file_ids.discard(None)
1180
 
            # Don't emit file_ids twice
1181
 
            precise_file_ids.difference_update(changed_file_ids)
1182
 
            if not precise_file_ids:
1183
 
                break
1184
 
            # If the there was something at a given output path in source, we
1185
 
            # have to include the entry from source in the delta, or we would
1186
 
            # be putting this entry into a used path.
1187
 
            paths = []
1188
 
            for parent_id in precise_file_ids:
1189
 
                try:
1190
 
                    paths.append(self.target.id2path(parent_id))
1191
 
                except errors.NoSuchId:
1192
 
                    # This id has been dragged in from the source by delta
1193
 
                    # expansion and isn't present in target at all: we don't
1194
 
                    # need to check for path collisions on it.
1195
 
                    pass
1196
 
            for path in paths:
1197
 
                old_id = self.source.path2id(path)
1198
 
                precise_file_ids.add(old_id)
1199
 
            precise_file_ids.discard(None)
1200
 
            current_ids = precise_file_ids
1201
 
            precise_file_ids = set()
1202
 
            # We have to emit all of precise_file_ids that have been altered.
1203
 
            # We may have to output the children of some of those ids if any
1204
 
            # directories have stopped being directories.
1205
 
            for file_id in current_ids:
1206
 
                # Examine file_id
1207
 
                if discarded_changes:
1208
 
                    result = discarded_changes.get(file_id)
1209
 
                    old_entry = None
1210
 
                else:
1211
 
                    result = None
1212
 
                if result is None:
1213
 
                    old_entry = self._get_entry(self.source, file_id)
1214
 
                    new_entry = self._get_entry(self.target, file_id)
1215
 
                    result, changes = self._changes_from_entries(
1216
 
                        old_entry, new_entry)
1217
 
                else:
1218
 
                    changes = True
1219
 
                # Get this parents parent to examine.
1220
 
                new_parent_id = result[4][1]
1221
 
                precise_file_ids.add(new_parent_id)
1222
 
                if changes:
1223
 
                    if (result[6][0] == 'directory' and
1224
 
                        result[6][1] != 'directory'):
1225
 
                        # This stopped being a directory, the old children have
1226
 
                        # to be included.
1227
 
                        if old_entry is None:
1228
 
                            # Reusing a discarded change.
1229
 
                            old_entry = self._get_entry(self.source, file_id)
1230
 
                        for child in old_entry.children.values():
1231
 
                            precise_file_ids.add(child.file_id)
1232
 
                    changed_file_ids.add(result[0])
1233
 
                    yield result
1234
1049
 
1235
1050
 
1236
1051
class MultiWalker(object):