~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/mutabletree.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2009-08-14 05:49:27 UTC
  • mfrom: (4476.3.86 inventory-delta)
  • Revision ID: pqm@pqm.ubuntu.com-20090814054927-k0k18dn46ax4b91f
(andrew) Add inventory-delta streaming for cross-format fetch.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
23
23
from bzrlib.lazy_import import lazy_import
24
24
lazy_import(globals(), """
25
25
import os
26
 
import re
27
26
 
28
27
from bzrlib import (
29
28
    add,
30
29
    bzrdir,
 
30
    hooks,
 
31
    symbol_versioning,
 
32
    )
 
33
from bzrlib.osutils import dirname
 
34
from bzrlib.revisiontree import RevisionTree
 
35
from bzrlib.trace import mutter, warning
 
36
""")
 
37
 
 
38
from bzrlib import (
31
39
    errors,
32
 
    hooks,
33
40
    osutils,
34
 
    revisiontree,
35
 
    symbol_versioning,
36
 
    trace,
37
41
    tree,
38
42
    )
39
 
""")
40
 
 
41
43
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
44
from bzrlib.osutils import splitpath
42
45
 
43
46
 
44
47
def needs_tree_write_lock(unbound):
126
129
            # generic constraint checks:
127
130
            if self.is_control_filename(f):
128
131
                raise errors.ForbiddenControlFileError(filename=f)
129
 
            fp = osutils.splitpath(f)
 
132
            fp = splitpath(f)
130
133
        # fill out file kinds for all files [not needed when we stop
131
134
        # caring about the instantaneous file kind within a uncommmitted tree
132
135
        #
182
185
               **kwargs):
183
186
        # avoid circular imports
184
187
        from bzrlib import commit
 
188
        if revprops is None:
 
189
            revprops = {}
185
190
        possible_master_transports=[]
186
 
        revprops = commit.Commit.update_revprops(
187
 
                revprops,
188
 
                self.branch,
189
 
                kwargs.pop('authors', None),
190
 
                kwargs.pop('author', None),
 
191
        if not 'branch-nick' in revprops:
 
192
            revprops['branch-nick'] = self.branch._get_nick(
191
193
                kwargs.get('local', False),
192
194
                possible_master_transports)
 
195
        authors = kwargs.pop('authors', None)
 
196
        author = kwargs.pop('author', None)
 
197
        if authors is not None:
 
198
            if author is not None:
 
199
                raise AssertionError('Specifying both author and authors '
 
200
                        'is not allowed. Specify just authors instead')
 
201
            if 'author' in revprops or 'authors' in revprops:
 
202
                # XXX: maybe we should just accept one of them?
 
203
                raise AssertionError('author property given twice')
 
204
            if authors:
 
205
                for individual in authors:
 
206
                    if '\n' in individual:
 
207
                        raise AssertionError('\\n is not a valid character '
 
208
                                'in an author identity')
 
209
                revprops['authors'] = '\n'.join(authors)
 
210
        if author is not None:
 
211
            symbol_versioning.warn('The parameter author was deprecated'
 
212
                   ' in version 1.13. Use authors instead',
 
213
                   DeprecationWarning)
 
214
            if 'author' in revprops or 'authors' in revprops:
 
215
                # XXX: maybe we should just accept one of them?
 
216
                raise AssertionError('author property given twice')
 
217
            if '\n' in author:
 
218
                raise AssertionError('\\n is not a valid character '
 
219
                        'in an author identity')
 
220
            revprops['authors'] = author
193
221
        # args for wt.commit start at message from the Commit.commit method,
194
222
        args = (message, ) + args
195
223
        for hook in MutableTree.hooks['start_commit']:
198
226
            revprops=revprops,
199
227
            possible_master_transports=possible_master_transports,
200
228
            *args, **kwargs)
201
 
        post_hook_params = PostCommitHookParams(self)
202
 
        for hook in MutableTree.hooks['post_commit']:
203
 
            hook(post_hook_params)
204
229
        return committed_id
205
230
 
206
231
    def _gather_kinds(self, files, kinds):
208
233
        raise NotImplementedError(self._gather_kinds)
209
234
 
210
235
    @needs_read_lock
211
 
    def has_changes(self, _from_tree=None):
212
 
        """Quickly check that the tree contains at least one commitable change.
213
 
 
214
 
        :param _from_tree: tree to compare against to find changes (default to
215
 
            the basis tree and is intended to be used by tests).
 
236
    def has_changes(self, from_tree):
 
237
        """Quickly check that the tree contains at least one change.
216
238
 
217
239
        :return: True if a change is found. False otherwise
218
240
        """
219
 
        # Check pending merges
220
 
        if len(self.get_parent_ids()) > 1:
221
 
            return True
222
 
        if _from_tree is None:
223
 
            _from_tree = self.basis_tree()
224
 
        changes = self.iter_changes(_from_tree)
 
241
        changes = self.iter_changes(from_tree)
225
242
        try:
226
243
            change = changes.next()
227
244
            # Exclude root (talk about black magic... --vila 20090629)
233
250
            return False
234
251
 
235
252
    @needs_read_lock
236
 
    def check_changed_or_out_of_date(self, strict, opt_name,
237
 
                                     more_error, more_warning):
238
 
        """Check the tree for uncommitted changes and branch synchronization.
239
 
 
240
 
        If strict is None and not set in the config files, a warning is issued.
241
 
        If strict is True, an error is raised.
242
 
        If strict is False, no checks are done and no warning is issued.
243
 
 
244
 
        :param strict: True, False or None, searched in branch config if None.
245
 
 
246
 
        :param opt_name: strict option name to search in config file.
247
 
 
248
 
        :param more_error: Details about how to avoid the check.
249
 
 
250
 
        :param more_warning: Details about what is happening.
251
 
        """
252
 
        if strict is None:
253
 
            strict = self.branch.get_config().get_user_option_as_bool(opt_name)
254
 
        if strict is not False:
255
 
            err_class = None
256
 
            if (self.has_changes()):
257
 
                err_class = errors.UncommittedChanges
258
 
            elif self.last_revision() != self.branch.last_revision():
259
 
                # The tree has lost sync with its branch, there is little
260
 
                # chance that the user is aware of it but he can still force
261
 
                # the action with --no-strict
262
 
                err_class = errors.OutOfDateTree
263
 
            if err_class is not None:
264
 
                if strict is None:
265
 
                    err = err_class(self, more=more_warning)
266
 
                    # We don't want to interrupt the user if he expressed no
267
 
                    # preference about strict.
268
 
                    trace.warning('%s', err._format())
269
 
                else:
270
 
                    err = err_class(self, more=more_error)
271
 
                    raise err
272
 
 
273
 
    @needs_read_lock
274
253
    def last_revision(self):
275
254
        """Return the revision id of the last commit performed in this tree.
276
255
 
375
354
        This is designed more towards DWIM for humans than API clarity.
376
355
        For the specific behaviour see the help for cmd_add().
377
356
 
378
 
        :param file_list: List of zero or more paths.  *NB: these are 
379
 
            interpreted relative to the process cwd, not relative to the 
380
 
            tree.*  (Add and most other tree methods use tree-relative
381
 
            paths.)
382
357
        :param action: A reporter to be called with the inventory, parent_ie,
383
358
            path and kind of the path being added. It may return a file_id if
384
359
            a specific one should be used.
397
372
 
398
373
        if not file_list:
399
374
            # no paths supplied: add the entire tree.
400
 
            # FIXME: this assumes we are running in a working tree subdir :-/
401
 
            # -- vila 20100208
402
375
            file_list = [u'.']
403
376
        # mutter("smart add of %r")
404
377
        inv = self.inventory
406
379
        ignored = {}
407
380
        dirs_to_add = []
408
381
        user_dirs = set()
409
 
        conflicts_related = set()
410
 
        # Not all mutable trees can have conflicts
411
 
        if getattr(self, 'conflicts', None) is not None:
412
 
            # Collect all related files without checking whether they exist or
413
 
            # are versioned. It's cheaper to do that once for all conflicts
414
 
            # than trying to find the relevant conflict for each added file.
415
 
            for c in self.conflicts():
416
 
                conflicts_related.update(c.associated_filenames())
417
382
 
418
383
        # validate user file paths and convert all paths to tree
419
384
        # relative : it's cheaper to make a tree relative path an abspath
421
386
        # perform the canonicalization in bulk.
422
387
        for filepath in osutils.canonical_relpaths(self.basedir, file_list):
423
388
            rf = _FastPath(filepath)
424
 
            # validate user parameters. Our recursive code avoids adding new
425
 
            # files that need such validation
 
389
            # validate user parameters. Our recursive code avoids adding new files
 
390
            # that need such validation
426
391
            if self.is_control_filename(rf.raw_path):
427
392
                raise errors.ForbiddenControlFileError(filename=rf.raw_path)
428
393
 
434
399
            else:
435
400
                if not InventoryEntry.versionable_kind(kind):
436
401
                    raise errors.BadFileKindError(filename=abspath, kind=kind)
437
 
            # ensure the named path is added, so that ignore rules in the later
438
 
            # directory walk dont skip it.
439
 
            # we dont have a parent ie known yet.: use the relatively slower
440
 
            # inventory probing method
 
402
            # ensure the named path is added, so that ignore rules in the later directory
 
403
            # walk dont skip it.
 
404
            # we dont have a parent ie known yet.: use the relatively slower inventory
 
405
            # probing method
441
406
            versioned = inv.has_filename(rf.raw_path)
442
407
            if versioned:
443
408
                continue
459
424
                dirs_to_add.append((path, None))
460
425
            prev_dir = path.raw_path
461
426
 
462
 
        illegalpath_re = re.compile(r'[\r\n]')
463
427
        # dirs_to_add is initialised to a list of directories, but as we scan
464
428
        # directories we append files to it.
465
429
        # XXX: We should determine kind of files when we scan them rather than
474
438
            kind = osutils.file_kind(abspath)
475
439
 
476
440
            if not InventoryEntry.versionable_kind(kind):
477
 
                trace.warning("skipping %s (can't add file of kind '%s')",
478
 
                              abspath, kind)
479
 
                continue
480
 
            if illegalpath_re.search(directory.raw_path):
481
 
                trace.warning("skipping %r (contains \\n or \\r)" % abspath)
482
 
                continue
483
 
            if directory.raw_path in conflicts_related:
484
 
                # If the file looks like one generated for a conflict, don't
485
 
                # add it.
486
 
                trace.warning(
487
 
                    'skipping %s (generated to help resolve conflicts)',
488
 
                    abspath)
 
441
                warning("skipping %s (can't add file of kind '%s')", abspath, kind)
489
442
                continue
490
443
 
491
444
            if parent_ie is not None:
514
467
                pass
515
468
                # mutter("%r is already versioned", abspath)
516
469
            elif sub_tree:
517
 
                # XXX: This is wrong; people *might* reasonably be trying to
518
 
                # add subtrees as subtrees.  This should probably only be done
519
 
                # in formats which can represent subtrees, and even then
520
 
                # perhaps only when the user asked to add subtrees.  At the
521
 
                # moment you can add them specially through 'join --reference',
522
 
                # which is perhaps reasonable: adding a new reference is a
523
 
                # special operation and can have a special behaviour.  mbp
524
 
                # 20070306
525
 
                trace.mutter("%r is a nested bzr tree", abspath)
 
470
                # XXX: This is wrong; people *might* reasonably be trying to add
 
471
                # subtrees as subtrees.  This should probably only be done in formats
 
472
                # which can represent subtrees, and even then perhaps only when
 
473
                # the user asked to add subtrees.  At the moment you can add them
 
474
                # specially through 'join --reference', which is perhaps
 
475
                # reasonable: adding a new reference is a special operation and
 
476
                # can have a special behaviour.  mbp 20070306
 
477
                mutter("%r is a nested bzr tree", abspath)
526
478
            else:
527
479
                _add_one(self, inv, parent_ie, directory, kind, action)
528
480
                added.append(directory.raw_path)
535
487
                    # without the parent ie, use the relatively slower inventory
536
488
                    # probing method
537
489
                    this_id = inv.path2id(
538
 
                        self._fix_case_of_inventory_path(directory.raw_path))
 
490
                            self._fix_case_of_inventory_path(directory.raw_path))
539
491
                    if this_id is None:
540
492
                        this_ie = None
541
493
                    else:
550
502
                    # faster - its impossible for a non root dir to have a
551
503
                    # control file.
552
504
                    if self.is_control_filename(subp):
553
 
                        trace.mutter("skip control directory %r", subp)
 
505
                        mutter("skip control directory %r", subp)
554
506
                    elif subf in this_ie.children:
555
507
                        # recurse into this already versioned subdir.
556
508
                        dirs_to_add.append((_FastPath(subp, subf), this_ie))
612
564
        inventory = basis.inventory._get_mutable_inventory()
613
565
        basis.unlock()
614
566
        inventory.apply_delta(delta)
615
 
        rev_tree = revisiontree.RevisionTree(self.branch.repository,
616
 
                                             inventory, new_revid)
 
567
        rev_tree = RevisionTree(self.branch.repository, inventory, new_revid)
617
568
        self.set_parent_trees([(new_revid, rev_tree)])
618
569
 
619
570
 
630
581
        self.create_hook(hooks.HookPoint('start_commit',
631
582
            "Called before a commit is performed on a tree. The start commit "
632
583
            "hook is able to change the tree before the commit takes place. "
633
 
            "start_commit is called with the bzrlib.mutabletree.MutableTree "
634
 
            "that the commit is being performed on.", (1, 4), None))
635
 
        self.create_hook(hooks.HookPoint('post_commit',
636
 
            "Called after a commit is performed on a tree. The hook is "
637
 
            "called with a bzrlib.mutabletree.PostCommitHookParams object. "
638
 
            "The mutable tree the commit was performed on is available via "
639
 
            "the mutable_tree attribute of that object.", (2, 0), None))
 
584
            "start_commit is called with the bzrlib.tree.MutableTree that the "
 
585
            "commit is being performed on.", (1, 4), None))
640
586
 
641
587
 
642
588
# install the default hooks into the MutableTree class.
643
589
MutableTree.hooks = MutableTreeHooks()
644
590
 
645
591
 
646
 
class PostCommitHookParams(object):
647
 
    """Parameters for the post_commit hook.
648
 
 
649
 
    To access the parameters, use the following attributes:
650
 
 
651
 
    * mutable_tree - the MutableTree object
652
 
    """
653
 
 
654
 
    def __init__(self, mutable_tree):
655
 
        """Create the parameters for the post_commit hook."""
656
 
        self.mutable_tree = mutable_tree
657
 
 
658
 
 
659
592
class _FastPath(object):
660
593
    """A path object with fast accessors for things like basename."""
661
594
 
702
635
        # there are a limited number of dirs we can be nested under, it should
703
636
        # generally find it very fast and not recurse after that.
704
637
        added = _add_one_and_parent(tree, inv, None,
705
 
            _FastPath(osutils.dirname(path.raw_path)), 'directory', action)
706
 
        parent_id = inv.path2id(osutils.dirname(path.raw_path))
 
638
            _FastPath(dirname(path.raw_path)), 'directory', action)
 
639
        parent_id = inv.path2id(dirname(path.raw_path))
707
640
        parent_ie = inv[parent_id]
708
641
    _add_one(tree, inv, parent_ie, path, kind, action)
709
642
    return added + [path.raw_path]