~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/mutabletree.py

  • Committer: Ian Clatworthy
  • Date: 2009-09-09 11:43:10 UTC
  • mto: (4634.37.2 prepare-2.0)
  • mto: This revision was merged to the branch mainline in revision 4689.
  • Revision ID: ian.clatworthy@canonical.com-20090909114310-glw7tv76i5gnx9pt
put rules back in Makefile supporting plain-style docs

Show diffs side-by-side

added added

removed removed

Lines of Context:
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
"""MutableTree object.
18
18
 
27
27
from bzrlib import (
28
28
    add,
29
29
    bzrdir,
 
30
    hooks,
 
31
    symbol_versioning,
30
32
    )
31
33
from bzrlib.osutils import dirname
 
34
from bzrlib.revisiontree import RevisionTree
32
35
from bzrlib.trace import mutter, warning
33
36
""")
34
37
 
39
42
    )
40
43
from bzrlib.decorators import needs_read_lock, needs_write_lock
41
44
from bzrlib.osutils import splitpath
42
 
from bzrlib.symbol_versioning import DEPRECATED_PARAMETER
43
45
 
44
46
 
45
47
def needs_tree_write_lock(unbound):
67
69
    entirely in memory.
68
70
 
69
71
    For now, we are not treating MutableTree as an interface to provide
70
 
    conformance tests for - rather we are testing MemoryTree specifically, and 
 
72
    conformance tests for - rather we are testing MemoryTree specifically, and
71
73
    interface testing implementations of WorkingTree.
72
74
 
73
75
    A mutable tree always has an associated Branch and BzrDir object - the
74
76
    branch and bzrdir attributes.
75
77
    """
 
78
    def __init__(self, *args, **kw):
 
79
        super(MutableTree, self).__init__(*args, **kw)
 
80
        # Is this tree on a case-insensitive or case-preserving file-system?
 
81
        # Sub-classes may initialize to False if they detect they are being
 
82
        # used on media which doesn't differentiate the case of names.
 
83
        self.case_sensitive = True
76
84
 
77
85
    @needs_tree_write_lock
78
86
    def add(self, files, ids=None, kinds=None):
94
102
        TODO: Perhaps callback with the ids and paths as they're added.
95
103
        """
96
104
        if isinstance(files, basestring):
97
 
            assert(ids is None or isinstance(ids, basestring))
98
 
            assert(kinds is None or isinstance(kinds, basestring))
 
105
            # XXX: Passing a single string is inconsistent and should be
 
106
            # deprecated.
 
107
            if not (ids is None or isinstance(ids, basestring)):
 
108
                raise AssertionError()
 
109
            if not (kinds is None or isinstance(kinds, basestring)):
 
110
                raise AssertionError()
99
111
            files = [files]
100
112
            if ids is not None:
101
113
                ids = [ids]
107
119
        if ids is None:
108
120
            ids = [None] * len(files)
109
121
        else:
110
 
            assert(len(ids) == len(files))
111
 
            ids = [osutils.safe_file_id(file_id) for file_id in ids]
112
 
 
 
122
            if not (len(ids) == len(files)):
 
123
                raise AssertionError()
113
124
        if kinds is None:
114
125
            kinds = [None] * len(files)
115
 
        else:
116
 
            assert(len(kinds) == len(files))
 
126
        elif not len(kinds) == len(files):
 
127
            raise AssertionError()
117
128
        for f in files:
118
129
            # generic constraint checks:
119
130
            if self.is_control_filename(f):
120
131
                raise errors.ForbiddenControlFileError(filename=f)
121
132
            fp = splitpath(f)
122
 
        # fill out file kinds for all files [not needed when we stop 
 
133
        # fill out file kinds for all files [not needed when we stop
123
134
        # caring about the instantaneous file kind within a uncommmitted tree
124
135
        #
125
136
        self._gather_kinds(files, kinds)
159
170
    def apply_inventory_delta(self, changes):
160
171
        """Apply changes to the inventory as an atomic operation.
161
172
 
162
 
        The argument is a set of changes to apply.  It must describe a
163
 
        valid result, but the order is not important.  Specifically,
164
 
        intermediate stages *may* be invalid, such as when two files
165
 
        swap names.
166
 
 
167
 
        The changes should be structured as a list of tuples, of the form
168
 
        (old_path, new_path, file_id, new_entry).  For creation, old_path
169
 
        must be None.  For deletion, new_path and new_entry must be None.
170
 
        file_id is always non-None.  For renames and other mutations, all
171
 
        values must be non-None.
172
 
 
173
 
        If the new_entry is a directory, its children should be an empty
174
 
        dict.  Children are handled by apply_inventory_delta itself.
175
 
 
176
 
        :param changes: A list of tuples for the change to apply:
177
 
            [(old_path, new_path, file_id, new_inventory_entry), ...]
 
173
        :param changes: An inventory delta to apply to the working tree's
 
174
            inventory.
 
175
        :return None:
 
176
        :seealso Inventory.apply_delta: For details on the changes parameter.
178
177
        """
179
178
        self.flush()
180
179
        inv = self.inventory
181
 
        children = {}
182
 
        for old_path, file_id in sorted(((op, f) for op, np, f, e in changes
183
 
                                        if op is not None), reverse=True):
184
 
            if file_id not in inv:
185
 
                continue
186
 
            children[file_id] = getattr(inv[file_id], 'children', {})
187
 
            inv.remove_recursive_id(file_id)
188
 
        for new_path, new_entry in sorted((np, e) for op, np, f, e in
189
 
                                          changes if np is not None):
190
 
            if getattr(new_entry, 'children', None) is not None:
191
 
                new_entry.children = children.get(new_entry.file_id, {})
192
 
            inv.add(new_entry)
 
180
        inv.apply_delta(changes)
193
181
        self._write_inventory(inv)
194
182
 
195
183
    @needs_write_lock
199
187
        from bzrlib import commit
200
188
        if revprops is None:
201
189
            revprops = {}
 
190
        possible_master_transports=[]
202
191
        if not 'branch-nick' in revprops:
203
 
            revprops['branch-nick'] = self.branch.nick
 
192
            revprops['branch-nick'] = self.branch._get_nick(
 
193
                kwargs.get('local', False),
 
194
                possible_master_transports)
 
195
        authors = kwargs.pop('authors', None)
204
196
        author = kwargs.pop('author', None)
 
197
        if authors is not None:
 
198
            if author is not None:
 
199
                raise AssertionError('Specifying both author and authors '
 
200
                        'is not allowed. Specify just authors instead')
 
201
            if 'author' in revprops or 'authors' in revprops:
 
202
                # XXX: maybe we should just accept one of them?
 
203
                raise AssertionError('author property given twice')
 
204
            if authors:
 
205
                for individual in authors:
 
206
                    if '\n' in individual:
 
207
                        raise AssertionError('\\n is not a valid character '
 
208
                                'in an author identity')
 
209
                revprops['authors'] = '\n'.join(authors)
205
210
        if author is not None:
206
 
            assert 'author' not in revprops
207
 
            revprops['author'] = author
 
211
            symbol_versioning.warn('The parameter author was deprecated'
 
212
                   ' in version 1.13. Use authors instead',
 
213
                   DeprecationWarning)
 
214
            if 'author' in revprops or 'authors' in revprops:
 
215
                # XXX: maybe we should just accept one of them?
 
216
                raise AssertionError('author property given twice')
 
217
            if '\n' in author:
 
218
                raise AssertionError('\\n is not a valid character '
 
219
                        'in an author identity')
 
220
            revprops['authors'] = author
208
221
        # args for wt.commit start at message from the Commit.commit method,
209
222
        args = (message, ) + args
 
223
        for hook in MutableTree.hooks['start_commit']:
 
224
            hook(self)
210
225
        committed_id = commit.Commit().commit(working_tree=self,
211
 
            revprops=revprops, *args, **kwargs)
 
226
            revprops=revprops,
 
227
            possible_master_transports=possible_master_transports,
 
228
            *args, **kwargs)
 
229
        post_hook_params = PostCommitHookParams(self)
 
230
        for hook in MutableTree.hooks['post_commit']:
 
231
            hook(post_hook_params)
212
232
        return committed_id
213
233
 
214
234
    def _gather_kinds(self, files, kinds):
216
236
        raise NotImplementedError(self._gather_kinds)
217
237
 
218
238
    @needs_read_lock
 
239
    def has_changes(self, from_tree):
 
240
        """Quickly check that the tree contains at least one change.
 
241
 
 
242
        :return: True if a change is found. False otherwise
 
243
        """
 
244
        changes = self.iter_changes(from_tree)
 
245
        try:
 
246
            change = changes.next()
 
247
            # Exclude root (talk about black magic... --vila 20090629)
 
248
            if change[4] == (None, None):
 
249
                change = changes.next()
 
250
            return True
 
251
        except StopIteration:
 
252
            # No changes
 
253
            return False
 
254
 
 
255
    @needs_read_lock
219
256
    def last_revision(self):
220
257
        """Return the revision id of the last commit performed in this tree.
221
258
 
222
259
        In early tree formats the result of last_revision is the same as the
223
260
        branch last_revision, but that is no longer the case for modern tree
224
261
        formats.
225
 
        
 
262
 
226
263
        last_revision returns the left most parent id, or None if there are no
227
264
        parents.
228
265
 
245
282
    def lock_write(self):
246
283
        """Lock the tree and its branch. This allows mutating calls to be made.
247
284
 
248
 
        Some mutating methods will take out implicit write locks, but in 
 
285
        Some mutating methods will take out implicit write locks, but in
249
286
        general you should always obtain a write lock before calling mutating
250
287
        methods on a tree.
251
288
        """
261
298
        """
262
299
        raise NotImplementedError(self.mkdir)
263
300
 
 
301
    def _observed_sha1(self, file_id, path, (sha1, stat_value)):
 
302
        """Tell the tree we have observed a paths sha1.
 
303
 
 
304
        The intent of this function is to allow trees that have a hashcache to
 
305
        update the hashcache during commit. If the observed file is too new
 
306
        (based on the stat_value) to be safely hash-cached the tree will ignore
 
307
        it.
 
308
 
 
309
        The default implementation does nothing.
 
310
 
 
311
        :param file_id: The file id
 
312
        :param path: The file path
 
313
        :param sha1: The sha 1 that was observed.
 
314
        :param stat_value: A stat result for the file the sha1 was read from.
 
315
        :return: None
 
316
        """
 
317
 
 
318
    def _fix_case_of_inventory_path(self, path):
 
319
        """If our tree isn't case sensitive, return the canonical path"""
 
320
        if not self.case_sensitive:
 
321
            path = self.get_canonical_inventory_path(path)
 
322
        return path
 
323
 
 
324
    @needs_write_lock
 
325
    def put_file_bytes_non_atomic(self, file_id, bytes):
 
326
        """Update the content of a file in the tree.
 
327
 
 
328
        Note that the file is written in-place rather than being
 
329
        written to a temporary location and renamed. As a consequence,
 
330
        readers can potentially see the file half-written.
 
331
 
 
332
        :param file_id: file-id of the file
 
333
        :param bytes: the new file contents
 
334
        """
 
335
        raise NotImplementedError(self.put_file_bytes_non_atomic)
 
336
 
264
337
    def set_parent_ids(self, revision_ids, allow_leftmost_as_ghost=False):
265
338
        """Set the parents ids of the working tree.
266
339
 
271
344
    def set_parent_trees(self, parents_list, allow_leftmost_as_ghost=False):
272
345
        """Set the parents of the working tree.
273
346
 
274
 
        :param parents_list: A list of (revision_id, tree) tuples. 
 
347
        :param parents_list: A list of (revision_id, tree) tuples.
275
348
            If tree is None, then that element is treated as an unreachable
276
349
            parent tree - i.e. a ghost.
277
350
        """
285
358
        For the specific behaviour see the help for cmd_add().
286
359
 
287
360
        :param action: A reporter to be called with the inventory, parent_ie,
288
 
            path and kind of the path being added. It may return a file_id if 
 
361
            path and kind of the path being added. It may return a file_id if
289
362
            a specific one should be used.
290
363
        :param save: Save the inventory after completing the adds. If False
291
364
            this provides dry-run functionality by doing the add and not saving
297
370
        # not in an inner loop; and we want to remove direct use of this,
298
371
        # so here as a reminder for now. RBC 20070703
299
372
        from bzrlib.inventory import InventoryEntry
300
 
        assert isinstance(recurse, bool)
301
373
        if action is None:
302
374
            action = add.AddAction()
303
 
        
 
375
 
304
376
        if not file_list:
305
377
            # no paths supplied: add the entire tree.
306
378
            file_list = [u'.']
311
383
        dirs_to_add = []
312
384
        user_dirs = set()
313
385
 
314
 
        # validate user file paths and convert all paths to tree 
 
386
        # validate user file paths and convert all paths to tree
315
387
        # relative : it's cheaper to make a tree relative path an abspath
316
 
        # than to convert an abspath to tree relative.
317
 
        for filepath in file_list:
318
 
            rf = _FastPath(self.relpath(filepath))
 
388
        # than to convert an abspath to tree relative, and it's cheaper to
 
389
        # perform the canonicalization in bulk.
 
390
        for filepath in osutils.canonical_relpaths(self.basedir, file_list):
 
391
            rf = _FastPath(filepath)
319
392
            # validate user parameters. Our recursive code avoids adding new files
320
 
            # that need such validation 
 
393
            # that need such validation
321
394
            if self.is_control_filename(rf.raw_path):
322
395
                raise errors.ForbiddenControlFileError(filename=rf.raw_path)
323
 
            
 
396
 
324
397
            abspath = self.abspath(rf.raw_path)
325
398
            kind = osutils.file_kind(abspath)
326
399
            if kind == 'directory':
331
404
                    raise errors.BadFileKindError(filename=abspath, kind=kind)
332
405
            # ensure the named path is added, so that ignore rules in the later directory
333
406
            # walk dont skip it.
334
 
            # we dont have a parent ie known yet.: use the relatively slower inventory 
 
407
            # we dont have a parent ie known yet.: use the relatively slower inventory
335
408
            # probing method
336
409
            versioned = inv.has_filename(rf.raw_path)
337
410
            if versioned:
374
447
            if parent_ie is not None:
375
448
                versioned = directory.base_path in parent_ie.children
376
449
            else:
377
 
                # without the parent ie, use the relatively slower inventory 
 
450
                # without the parent ie, use the relatively slower inventory
378
451
                # probing method
379
 
                versioned = inv.has_filename(directory.raw_path)
 
452
                versioned = inv.has_filename(
 
453
                        self._fix_case_of_inventory_path(directory.raw_path))
380
454
 
381
455
            if kind == 'directory':
382
456
                try:
397
471
                # mutter("%r is already versioned", abspath)
398
472
            elif sub_tree:
399
473
                # XXX: This is wrong; people *might* reasonably be trying to add
400
 
                # subtrees as subtrees.  This should probably only be done in formats 
 
474
                # subtrees as subtrees.  This should probably only be done in formats
401
475
                # which can represent subtrees, and even then perhaps only when
402
476
                # the user asked to add subtrees.  At the moment you can add them
403
477
                # specially through 'join --reference', which is perhaps
413
487
                    # must be present:
414
488
                    this_ie = parent_ie.children[directory.base_path]
415
489
                else:
416
 
                    # without the parent ie, use the relatively slower inventory 
 
490
                    # without the parent ie, use the relatively slower inventory
417
491
                    # probing method
418
 
                    this_id = inv.path2id(directory.raw_path)
 
492
                    this_id = inv.path2id(
 
493
                            self._fix_case_of_inventory_path(directory.raw_path))
419
494
                    if this_id is None:
420
495
                        this_ie = None
421
496
                    else:
422
497
                        this_ie = inv[this_id]
423
498
 
424
499
                for subf in sorted(os.listdir(abspath)):
425
 
                    # here we could use TreeDirectory rather than 
 
500
                    # here we could use TreeDirectory rather than
426
501
                    # string concatenation.
427
502
                    subp = osutils.pathjoin(directory.raw_path, subf)
428
 
                    # TODO: is_control_filename is very slow. Make it faster. 
429
 
                    # TreeDirectory.is_control_filename could also make this 
430
 
                    # faster - its impossible for a non root dir to have a 
 
503
                    # TODO: is_control_filename is very slow. Make it faster.
 
504
                    # TreeDirectory.is_control_filename could also make this
 
505
                    # faster - its impossible for a non root dir to have a
431
506
                    # control file.
432
507
                    if self.is_control_filename(subp):
433
508
                        mutter("skip control directory %r", subp)
453
528
                self.read_working_inventory()
454
529
        return added, ignored
455
530
 
 
531
    def update_basis_by_delta(self, new_revid, delta):
 
532
        """Update the parents of this tree after a commit.
 
533
 
 
534
        This gives the tree one parent, with revision id new_revid. The
 
535
        inventory delta is applied to the current basis tree to generate the
 
536
        inventory for the parent new_revid, and all other parent trees are
 
537
        discarded.
 
538
 
 
539
        All the changes in the delta should be changes synchronising the basis
 
540
        tree with some or all of the working tree, with a change to a directory
 
541
        requiring that its contents have been recursively included. That is,
 
542
        this is not a general purpose tree modification routine, but a helper
 
543
        for commit which is not required to handle situations that do not arise
 
544
        outside of commit.
 
545
 
 
546
        See the inventory developers documentation for the theory behind
 
547
        inventory deltas.
 
548
 
 
549
        :param new_revid: The new revision id for the trees parent.
 
550
        :param delta: An inventory delta (see apply_inventory_delta) describing
 
551
            the changes from the current left most parent revision to new_revid.
 
552
        """
 
553
        # if the tree is updated by a pull to the branch, as happens in
 
554
        # WorkingTree2, when there was no separation between branch and tree,
 
555
        # then just clear merges, efficiency is not a concern for now as this
 
556
        # is legacy environments only, and they are slow regardless.
 
557
        if self.last_revision() == new_revid:
 
558
            self.set_parent_ids([new_revid])
 
559
            return
 
560
        # generic implementation based on Inventory manipulation. See
 
561
        # WorkingTree classes for optimised versions for specific format trees.
 
562
        basis = self.basis_tree()
 
563
        basis.lock_read()
 
564
        # TODO: Consider re-evaluating the need for this with CHKInventory
 
565
        # we don't strictly need to mutate an inventory for this
 
566
        # it only makes sense when apply_delta is cheaper than get_inventory()
 
567
        inventory = basis.inventory._get_mutable_inventory()
 
568
        basis.unlock()
 
569
        inventory.apply_delta(delta)
 
570
        rev_tree = RevisionTree(self.branch.repository, inventory, new_revid)
 
571
        self.set_parent_trees([(new_revid, rev_tree)])
 
572
 
 
573
 
 
574
class MutableTreeHooks(hooks.Hooks):
 
575
    """A dictionary mapping a hook name to a list of callables for mutabletree
 
576
    hooks.
 
577
    """
 
578
 
 
579
    def __init__(self):
 
580
        """Create the default hooks.
 
581
 
 
582
        """
 
583
        hooks.Hooks.__init__(self)
 
584
        self.create_hook(hooks.HookPoint('start_commit',
 
585
            "Called before a commit is performed on a tree. The start commit "
 
586
            "hook is able to change the tree before the commit takes place. "
 
587
            "start_commit is called with the bzrlib.mutabletree.MutableTree "
 
588
            "that the commit is being performed on.", (1, 4), None))
 
589
        self.create_hook(hooks.HookPoint('post_commit',
 
590
            "Called after a commit is performed on a tree. The hook is "
 
591
            "called with a bzrlib.mutabletree.PostCommitHookParams object. "
 
592
            "The mutable tree the commit was performed on is available via "
 
593
            "the mutable_tree attribute of that object.", (2, 0), None))
 
594
 
 
595
 
 
596
# install the default hooks into the MutableTree class.
 
597
MutableTree.hooks = MutableTreeHooks()
 
598
 
 
599
 
 
600
class PostCommitHookParams(object):
 
601
    """Parameters for the post_commit hook.
 
602
 
 
603
    To access the parameters, use the following attributes:
 
604
 
 
605
    * mutable_tree - the MutableTree object
 
606
    """
 
607
 
 
608
    def __init__(self, mutable_tree):
 
609
        """Create the parameters for the post_commit hook."""
 
610
        self.mutable_tree = mutable_tree
 
611
 
456
612
 
457
613
class _FastPath(object):
458
614
    """A path object with fast accessors for things like basename."""
493
649
        added = []
494
650
    else:
495
651
        # slower but does not need parent_ie
496
 
        if inv.has_filename(path.raw_path):
 
652
        if inv.has_filename(tree._fix_case_of_inventory_path(path.raw_path)):
497
653
            return []
498
654
        # its really not there : add the parent
499
655
        # note that the dirname use leads to some extra str copying etc but as