~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tree.py

  • Committer: John Arbash Meinel
  • Date: 2007-01-31 17:48:55 UTC
  • mto: This revision was merged to the branch mainline in revision 2249.
  • Revision ID: john@arbash-meinel.com-20070131174855-gxkjd9rvy17uc6ko
Switch from for line in foo: f.write(line) to f.writelines(foo)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
# Copyright (C) 2005 Canonical Ltd
2
 
 
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
21
21
from cStringIO import StringIO
22
22
 
23
23
import bzrlib
24
 
from bzrlib.trace import mutter, note
 
24
from bzrlib import (
 
25
    delta,
 
26
    osutils,
 
27
    symbol_versioning,
 
28
    )
 
29
from bzrlib.decorators import needs_read_lock
25
30
from bzrlib.errors import BzrError, BzrCheckError
 
31
from bzrlib import errors
26
32
from bzrlib.inventory import Inventory
27
 
from bzrlib.osutils import appendpath, fingerprint_file
 
33
from bzrlib.inter import InterObject
 
34
from bzrlib.osutils import fingerprint_file
 
35
import bzrlib.revision
 
36
from bzrlib.trace import mutter, note
 
37
 
28
38
 
29
39
class Tree(object):
30
40
    """Abstract file tree.
35
45
 
36
46
    * `RevisionTree` is a tree as recorded at some point in the past.
37
47
 
38
 
    * `EmptyTree`
39
 
 
40
48
    Trees contain an `Inventory` object, and also know how to retrieve
41
49
    file texts mentioned in the inventory, either from a working
42
50
    directory or from a store.
48
56
    trees or versioned trees.
49
57
    """
50
58
    
 
59
    def changes_from(self, other, want_unchanged=False, specific_files=None,
 
60
        extra_trees=None, require_versioned=False, include_root=False):
 
61
        """Return a TreeDelta of the changes from other to this tree.
 
62
 
 
63
        :param other: A tree to compare with.
 
64
        :param specific_files: An optional list of file paths to restrict the
 
65
            comparison to. When mapping filenames to ids, all matches in all
 
66
            trees (including optional extra_trees) are used, and all children of
 
67
            matched directories are included.
 
68
        :param want_unchanged: An optional boolean requesting the inclusion of
 
69
            unchanged entries in the result.
 
70
        :param extra_trees: An optional list of additional trees to use when
 
71
            mapping the contents of specific_files (paths) to file_ids.
 
72
        :param require_versioned: An optional boolean (defaults to False). When
 
73
            supplied and True all the 'specific_files' must be versioned, or
 
74
            a PathsNotVersionedError will be thrown.
 
75
 
 
76
        The comparison will be performed by an InterTree object looked up on 
 
77
        self and other.
 
78
        """
 
79
        # Martin observes that Tree.changes_from returns a TreeDelta and this
 
80
        # may confuse people, because the class name of the returned object is
 
81
        # a synonym of the object referenced in the method name.
 
82
        return InterTree.get(other, self).compare(
 
83
            want_unchanged=want_unchanged,
 
84
            specific_files=specific_files,
 
85
            extra_trees=extra_trees,
 
86
            require_versioned=require_versioned,
 
87
            include_root=include_root
 
88
            )
 
89
 
 
90
    def _iter_changes(self, from_tree, include_unchanged=False, 
 
91
                     specific_file_ids=None, pb=None):
 
92
        intertree = InterTree.get(from_tree, self)
 
93
        return intertree._iter_changes(from_tree, self, include_unchanged, 
 
94
                                       specific_file_ids, pb)
 
95
    
 
96
    def conflicts(self):
 
97
        """Get a list of the conflicts in the tree.
 
98
 
 
99
        Each conflict is an instance of bzrlib.conflicts.Conflict.
 
100
        """
 
101
        return []
 
102
 
 
103
    def get_parent_ids(self):
 
104
        """Get the parent ids for this tree. 
 
105
 
 
106
        :return: a list of parent ids. [] is returned to indicate
 
107
        a tree with no parents.
 
108
        :raises: BzrError if the parents are not known.
 
109
        """
 
110
        raise NotImplementedError(self.get_parent_ids)
 
111
    
51
112
    def has_filename(self, filename):
52
113
        """True if the tree has given filename."""
53
114
        raise NotImplementedError()
55
116
    def has_id(self, file_id):
56
117
        return self.inventory.has_id(file_id)
57
118
 
 
119
    __contains__ = has_id
 
120
 
58
121
    def has_or_had_id(self, file_id):
59
122
        if file_id == self.inventory.root.file_id:
60
123
            return True
61
124
        return self.inventory.has_id(file_id)
62
125
 
63
 
    __contains__ = has_id
64
 
 
65
126
    def __iter__(self):
66
127
        return iter(self.inventory)
67
128
 
68
129
    def id2path(self, file_id):
69
130
        return self.inventory.id2path(file_id)
70
131
 
 
132
    def is_control_filename(self, filename):
 
133
        """True if filename is the name of a control file in this tree.
 
134
        
 
135
        :param filename: A filename within the tree. This is a relative path
 
136
        from the root of this tree.
 
137
 
 
138
        This is true IF and ONLY IF the filename is part of the meta data
 
139
        that bzr controls in this tree. I.E. a random .bzr directory placed
 
140
        on disk will not be a control file for this tree.
 
141
        """
 
142
        return self.bzrdir.is_control_filename(filename)
 
143
 
 
144
    def iter_entries_by_dir(self, specific_file_ids=None):
 
145
        """Walk the tree in 'by_dir' order.
 
146
 
 
147
        This will yield each entry in the tree as a (path, entry) tuple. The
 
148
        order that they are yielded is: the contents of a directory are 
 
149
        preceeded by the parent of a directory, and all the contents of a 
 
150
        directory are grouped together.
 
151
        """
 
152
        return self.inventory.iter_entries_by_dir(
 
153
            specific_file_ids=specific_file_ids)
 
154
 
71
155
    def kind(self, file_id):
72
156
        raise NotImplementedError("subclasses must implement kind")
73
157
 
 
158
    def _comparison_data(self, entry, path):
 
159
        """Return a tuple of kind, executable, stat_value for a file.
 
160
 
 
161
        entry may be None if there is no inventory entry for the file, but
 
162
        path must always be supplied.
 
163
 
 
164
        kind is None if there is no file present (even if an inventory id is
 
165
        present).  executable is False for non-file entries.
 
166
        """
 
167
        raise NotImplementedError(self._comparison_data)
 
168
 
 
169
    def _file_size(entry, stat_value):
 
170
        raise NotImplementedError(self._file_size)
 
171
 
74
172
    def _get_inventory(self):
75
173
        return self._inventory
76
174
    
 
175
    def get_file(self, file_id):
 
176
        """Return a file object for the file file_id in the tree."""
 
177
        raise NotImplementedError(self.get_file)
 
178
    
77
179
    def get_file_by_path(self, path):
78
180
        return self.get_file(self._inventory.path2id(path))
79
181
 
 
182
    def annotate_iter(self, file_id):
 
183
        """Return an iterator of revision_id, line tuples
 
184
 
 
185
        For working trees (and mutable trees in general), the special
 
186
        revision_id 'current:' will be used for lines that are new in this
 
187
        tree, e.g. uncommitted changes.
 
188
        :param file_id: The file to produce an annotated version from
 
189
        """
 
190
        raise NotImplementedError(self.annotate_iter)
 
191
 
80
192
    inventory = property(_get_inventory,
81
193
                         doc="Inventory of this Tree")
82
194
 
86
198
        fp = fingerprint_file(f)
87
199
        f.seek(0)
88
200
        
89
 
        if ie.text_size != None:
 
201
        if ie.text_size is not None:
90
202
            if ie.text_size != fp['size']:
91
203
                raise BzrError("mismatched size for file %r in %r" % (ie.file_id, self._store),
92
204
                        ["inventory expects %d bytes" % ie.text_size,
99
211
                     "file is actually %s" % fp['sha1'],
100
212
                     "store is probably damaged/corrupt"])
101
213
 
 
214
    def path2id(self, path):
 
215
        """Return the id for path in this tree."""
 
216
        return self._inventory.path2id(path)
102
217
 
103
218
    def print_file(self, file_id):
104
219
        """Print file with id `file_id` to stdout."""
108
223
    def lock_read(self):
109
224
        pass
110
225
 
 
226
    def unknowns(self):
 
227
        """What files are present in this tree and unknown.
 
228
        
 
229
        :return: an iterator over the unknown files.
 
230
        """
 
231
        return iter([])
 
232
 
111
233
    def unlock(self):
112
234
        pass
113
235
 
121
243
        # are not versioned.
122
244
        pred = self.inventory.has_filename
123
245
        return set((p for p in paths if not pred(p)))
124
 
        
125
 
        
126
 
class RevisionTree(Tree):
127
 
    """Tree viewing a previous revision.
128
 
 
129
 
    File text can be retrieved from the text store.
130
 
 
131
 
    TODO: Some kind of `__repr__` method, but a good one
132
 
           probably means knowing the branch and revision number,
133
 
           or at least passing a description to the constructor.
134
 
    """
135
 
    
136
 
    def __init__(self, branch, inv, revision_id):
137
 
        self._branch = branch
138
 
        self._weave_store = branch.weave_store
139
 
        self._inventory = inv
140
 
        self._revision_id = revision_id
141
 
 
142
 
    def get_weave(self, file_id):
143
 
        return self._weave_store.get_weave(file_id,
144
 
                self._branch.get_transaction())
145
 
 
146
 
    def get_file_lines(self, file_id):
147
 
        ie = self._inventory[file_id]
148
 
        weave = self.get_weave(file_id)
149
 
        return weave.get_lines(ie.revision)
150
 
 
151
 
    def get_file_text(self, file_id):
152
 
        return ''.join(self.get_file_lines(file_id))
153
 
 
154
 
    def get_file(self, file_id):
155
 
        return StringIO(self.get_file_text(file_id))
156
 
 
157
 
    def get_file_size(self, file_id):
158
 
        return self._inventory[file_id].text_size
159
 
 
160
 
    def get_file_sha1(self, file_id):
161
 
        ie = self._inventory[file_id]
162
 
        if ie.kind == "file":
163
 
            return ie.text_sha1
164
 
 
165
 
    def is_executable(self, file_id):
166
 
        ie = self._inventory[file_id]
167
 
        if ie.kind != "file":
168
 
            return None 
169
 
        return self._inventory[file_id].executable
170
 
 
171
 
    def has_filename(self, filename):
172
 
        return bool(self.inventory.path2id(filename))
173
 
 
174
 
    def list_files(self):
175
 
        # The only files returned by this are those from the version
176
 
        for path, entry in self.inventory.iter_entries():
177
 
            yield path, 'V', entry.kind, entry.file_id, entry
178
 
 
179
 
    def get_symlink_target(self, file_id):
180
 
        ie = self._inventory[file_id]
181
 
        return ie.symlink_target;
182
 
 
183
 
    def kind(self, file_id):
184
 
        return self._inventory[file_id].kind
185
 
 
186
 
    def lock_read(self):
187
 
        self._branch.lock_read()
188
 
 
189
 
    def unlock(self):
190
 
        self._branch.unlock()
191
246
 
192
247
 
193
248
class EmptyTree(Tree):
 
249
 
194
250
    def __init__(self):
195
 
        self._inventory = Inventory()
 
251
        self._inventory = Inventory(root_id=None)
 
252
        symbol_versioning.warn('EmptyTree is deprecated as of bzr 0.9 please'
 
253
                               ' use repository.revision_tree instead.',
 
254
                               DeprecationWarning, stacklevel=2)
 
255
 
 
256
    def get_parent_ids(self):
 
257
        return []
196
258
 
197
259
    def get_symlink_target(self, file_id):
198
260
        return None
201
263
        return False
202
264
 
203
265
    def kind(self, file_id):
204
 
        assert self._inventory[file_id].kind == "root_directory"
205
 
        return "root_directory"
 
266
        assert self._inventory[file_id].kind == "directory"
 
267
        return "directory"
206
268
 
207
 
    def list_files(self):
 
269
    def list_files(self, include_root=False):
208
270
        return iter([])
209
271
    
210
272
    def __contains__(self, file_id):
211
 
        return file_id in self._inventory
 
273
        return (file_id in self._inventory)
212
274
 
213
 
    def get_file_sha1(self, file_id):
214
 
        assert self._inventory[file_id].kind == "root_directory"
 
275
    def get_file_sha1(self, file_id, path=None, stat_value=None):
215
276
        return None
216
277
 
217
278
 
280
341
            yield (old_name, new_name)
281
342
            
282
343
 
 
344
def find_ids_across_trees(filenames, trees, require_versioned=True):
 
345
    """Find the ids corresponding to specified filenames.
 
346
    
 
347
    All matches in all trees will be used, and all children of matched
 
348
    directories will be used.
 
349
 
 
350
    :param filenames: The filenames to find file_ids for
 
351
    :param trees: The trees to find file_ids within
 
352
    :param require_versioned: if true, all specified filenames must occur in
 
353
    at least one tree.
 
354
    :return: a set of file ids for the specified filenames and their children.
 
355
    """
 
356
    if not filenames:
 
357
        return None
 
358
    specified_ids = _find_filename_ids_across_trees(filenames, trees, 
 
359
                                                    require_versioned)
 
360
    return _find_children_across_trees(specified_ids, trees)
 
361
 
 
362
 
 
363
def _find_filename_ids_across_trees(filenames, trees, require_versioned):
 
364
    """Find the ids corresponding to specified filenames.
 
365
    
 
366
    All matches in all trees will be used.
 
367
 
 
368
    :param filenames: The filenames to find file_ids for
 
369
    :param trees: The trees to find file_ids within
 
370
    :param require_versioned: if true, all specified filenames must occur in
 
371
    at least one tree.
 
372
    :return: a set of file ids for the specified filenames
 
373
    """
 
374
    not_versioned = []
 
375
    interesting_ids = set()
 
376
    for tree_path in filenames:
 
377
        not_found = True
 
378
        for tree in trees:
 
379
            file_id = tree.inventory.path2id(tree_path)
 
380
            if file_id is not None:
 
381
                interesting_ids.add(file_id)
 
382
                not_found = False
 
383
        if not_found:
 
384
            not_versioned.append(tree_path)
 
385
    if len(not_versioned) > 0 and require_versioned:
 
386
        raise errors.PathsNotVersionedError(not_versioned)
 
387
    return interesting_ids
 
388
 
 
389
 
 
390
def _find_children_across_trees(specified_ids, trees):
 
391
    """Return a set including specified ids and their children
 
392
    
 
393
    All matches in all trees will be used.
 
394
 
 
395
    :param trees: The trees to find file_ids within
 
396
    :return: a set containing all specified ids and their children 
 
397
    """
 
398
    interesting_ids = set(specified_ids)
 
399
    pending = interesting_ids
 
400
    # now handle children of interesting ids
 
401
    # we loop so that we handle all children of each id in both trees
 
402
    while len(pending) > 0:
 
403
        new_pending = set()
 
404
        for file_id in pending:
 
405
            for tree in trees:
 
406
                if file_id not in tree:
 
407
                    continue
 
408
                entry = tree.inventory[file_id]
 
409
                for child in getattr(entry, 'children', {}).itervalues():
 
410
                    if child.file_id not in interesting_ids:
 
411
                        new_pending.add(child.file_id)
 
412
        interesting_ids.update(new_pending)
 
413
        pending = new_pending
 
414
    return interesting_ids
 
415
 
 
416
 
 
417
class InterTree(InterObject):
 
418
    """This class represents operations taking place between two Trees.
 
419
 
 
420
    Its instances have methods like 'compare' and contain references to the
 
421
    source and target trees these operations are to be carried out on.
 
422
 
 
423
    clients of bzrlib should not need to use InterTree directly, rather they
 
424
    should use the convenience methods on Tree such as 'Tree.compare()' which
 
425
    will pass through to InterTree as appropriate.
 
426
    """
 
427
 
 
428
    _optimisers = []
 
429
 
 
430
    @needs_read_lock
 
431
    def compare(self, want_unchanged=False, specific_files=None,
 
432
        extra_trees=None, require_versioned=False, include_root=False):
 
433
        """Return the changes from source to target.
 
434
 
 
435
        :return: A TreeDelta.
 
436
        :param specific_files: An optional list of file paths to restrict the
 
437
            comparison to. When mapping filenames to ids, all matches in all
 
438
            trees (including optional extra_trees) are used, and all children of
 
439
            matched directories are included.
 
440
        :param want_unchanged: An optional boolean requesting the inclusion of
 
441
            unchanged entries in the result.
 
442
        :param extra_trees: An optional list of additional trees to use when
 
443
            mapping the contents of specific_files (paths) to file_ids.
 
444
        :param require_versioned: An optional boolean (defaults to False). When
 
445
            supplied and True all the 'specific_files' must be versioned, or
 
446
            a PathsNotVersionedError will be thrown.
 
447
        """
 
448
        # NB: show_status depends on being able to pass in non-versioned files and
 
449
        # report them as unknown
 
450
        trees = (self.source, self.target)
 
451
        if extra_trees is not None:
 
452
            trees = trees + tuple(extra_trees)
 
453
        specific_file_ids = find_ids_across_trees(specific_files,
 
454
            trees, require_versioned=require_versioned)
 
455
        if specific_files and not specific_file_ids:
 
456
            # All files are unversioned, so just return an empty delta
 
457
            # _compare_trees would think we want a complete delta
 
458
            return delta.TreeDelta()
 
459
        return delta._compare_trees(self.source, self.target, want_unchanged,
 
460
            specific_file_ids, include_root)
 
461
 
 
462
    def _iter_changes(self, from_tree, to_tree, include_unchanged, 
 
463
                      specific_file_ids, pb):
 
464
        """Generate an iterator of changes between trees.
 
465
 
 
466
        A tuple is returned:
 
467
        (file_id, path, changed_content, versioned, parent, name, kind,
 
468
         executable)
 
469
 
 
470
        Path is relative to the to_tree.  changed_content is True if the file's
 
471
        content has changed.  This includes changes to its kind, and to
 
472
        a symlink's target.
 
473
 
 
474
        versioned, parent, name, kind, executable are tuples of (from, to).
 
475
        If a file is missing in a tree, its kind is None.
 
476
 
 
477
        Iteration is done in parent-to-child order, relative to the to_tree.
 
478
        """
 
479
        to_paths = {}
 
480
        from_entries_by_dir = list(from_tree.inventory.iter_entries_by_dir(
 
481
            specific_file_ids=specific_file_ids))
 
482
        from_data = dict((e.file_id, (p, e)) for p, e in from_entries_by_dir)
 
483
        to_entries_by_dir = list(to_tree.inventory.iter_entries_by_dir(
 
484
            specific_file_ids=specific_file_ids))
 
485
        num_entries = len(from_entries_by_dir) + len(to_entries_by_dir)
 
486
        entry_count = 0
 
487
        for to_path, to_entry in to_entries_by_dir:
 
488
            file_id = to_entry.file_id
 
489
            to_paths[file_id] = to_path
 
490
            entry_count += 1
 
491
            changed_content = False
 
492
            from_path, from_entry = from_data.get(file_id, (None, None))
 
493
            from_versioned = (from_entry is not None)
 
494
            if from_entry is not None:
 
495
                from_versioned = True
 
496
                from_name = from_entry.name
 
497
                from_parent = from_entry.parent_id
 
498
                from_kind, from_executable, from_stat = \
 
499
                    from_tree._comparison_data(from_entry, from_path)
 
500
                entry_count += 1
 
501
            else:
 
502
                from_versioned = False
 
503
                from_kind = None
 
504
                from_parent = None
 
505
                from_name = None
 
506
                from_executable = None
 
507
            versioned = (from_versioned, True)
 
508
            to_kind, to_executable, to_stat = \
 
509
                to_tree._comparison_data(to_entry, to_path)
 
510
            kind = (from_kind, to_kind)
 
511
            if kind[0] != kind[1]:
 
512
                changed_content = True
 
513
            elif from_kind == 'file':
 
514
                from_size = from_tree._file_size(from_entry, from_stat)
 
515
                to_size = to_tree._file_size(to_entry, to_stat)
 
516
                if from_size != to_size:
 
517
                    changed_content = True
 
518
                elif (from_tree.get_file_sha1(file_id, from_path, from_stat) !=
 
519
                    to_tree.get_file_sha1(file_id, to_path, to_stat)):
 
520
                    changed_content = True
 
521
            elif from_kind == 'symlink':
 
522
                if (from_tree.get_symlink_target(file_id) != 
 
523
                    to_tree.get_symlink_target(file_id)):
 
524
                    changed_content = True
 
525
            parent = (from_parent, to_entry.parent_id)
 
526
            name = (from_name, to_entry.name)
 
527
            executable = (from_executable, to_executable)
 
528
            if pb is not None:
 
529
                pb.update('comparing files', entry_count, num_entries)
 
530
            if (changed_content is not False or versioned[0] != versioned[1] 
 
531
                or parent[0] != parent[1] or name[0] != name[1] or 
 
532
                executable[0] != executable[1] or include_unchanged):
 
533
                yield (file_id, to_path, changed_content, versioned, parent,
 
534
                       name, kind, executable)
 
535
 
 
536
        def get_to_path(from_entry):
 
537
            if from_entry.parent_id is None:
 
538
                to_path = ''
 
539
            else:
 
540
                if from_entry.parent_id not in to_paths:
 
541
                    get_to_path(from_tree.inventory[from_entry.parent_id])
 
542
                to_path = osutils.pathjoin(to_paths[from_entry.parent_id],
 
543
                                           from_entry.name)
 
544
            to_paths[from_entry.file_id] = to_path
 
545
            return to_path
 
546
 
 
547
        for path, from_entry in from_entries_by_dir:
 
548
            file_id = from_entry.file_id
 
549
            if file_id in to_paths:
 
550
                continue
 
551
            to_path = get_to_path(from_entry)
 
552
            entry_count += 1
 
553
            if pb is not None:
 
554
                pb.update('comparing files', entry_count, num_entries)
 
555
            versioned = (True, False)
 
556
            parent = (from_entry.parent_id, None)
 
557
            name = (from_entry.name, None)
 
558
            from_kind, from_executable, stat_value = \
 
559
                from_tree._comparison_data(from_entry, path)
 
560
            kind = (from_kind, None)
 
561
            executable = (from_executable, None)
 
562
            changed_content = True
 
563
            # the parent's path is necessarily known at this point.
 
564
            yield(file_id, to_path, changed_content, versioned, parent,
 
565
                  name, kind, executable)
 
566
 
 
567
 
 
568
# This was deprecated before 0.12, but did not have an official warning
 
569
@symbol_versioning.deprecated_function(symbol_versioning.zero_twelve)
 
570
def RevisionTree(*args, **kwargs):
 
571
    """RevisionTree has moved to bzrlib.revisiontree.RevisionTree()
 
572
 
 
573
    Accessing it as bzrlib.tree.RevisionTree has been deprecated as of
 
574
    bzr 0.12.
 
575
    """
 
576
    from bzrlib.revisiontree import RevisionTree as _RevisionTree
 
577
    return _RevisionTree(*args, **kwargs)
 
578
 
283
579