~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/mutabletree.py

  • Committer: Andrew Bennetts
  • Date: 2008-10-30 01:05:59 UTC
  • mto: This revision was merged to the branch mainline in revision 3813.
  • Revision ID: andrew.bennetts@canonical.com-20081030010559-tumoefnsmhg4snxo
Add contrib/bzr_ssh_path_limiter.

Show diffs side-by-side

added added

removed removed

Lines of Context:
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""MutableTree object.
18
18
 
23
23
from bzrlib.lazy_import import lazy_import
24
24
lazy_import(globals(), """
25
25
import os
26
 
import re
27
26
 
28
27
from bzrlib import (
29
28
    add,
30
29
    bzrdir,
 
30
    hooks,
 
31
    )
 
32
from bzrlib.osutils import dirname
 
33
from bzrlib.revisiontree import RevisionTree
 
34
from bzrlib.trace import mutter, warning
 
35
""")
 
36
 
 
37
from bzrlib import (
31
38
    errors,
32
 
    hooks,
33
39
    osutils,
34
 
    revisiontree,
35
 
    symbol_versioning,
36
 
    trace,
37
40
    tree,
38
41
    )
39
 
""")
40
 
 
41
42
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
43
from bzrlib.osutils import splitpath
 
44
from bzrlib.symbol_versioning import DEPRECATED_PARAMETER
42
45
 
43
46
 
44
47
def needs_tree_write_lock(unbound):
66
69
    entirely in memory.
67
70
 
68
71
    For now, we are not treating MutableTree as an interface to provide
69
 
    conformance tests for - rather we are testing MemoryTree specifically, and
 
72
    conformance tests for - rather we are testing MemoryTree specifically, and 
70
73
    interface testing implementations of WorkingTree.
71
74
 
72
75
    A mutable tree always has an associated Branch and BzrDir object - the
73
76
    branch and bzrdir attributes.
74
77
    """
75
 
    def __init__(self, *args, **kw):
76
 
        super(MutableTree, self).__init__(*args, **kw)
77
 
        # Is this tree on a case-insensitive or case-preserving file-system?
78
 
        # Sub-classes may initialize to False if they detect they are being
79
 
        # used on media which doesn't differentiate the case of names.
80
 
        self.case_sensitive = True
81
78
 
82
79
    @needs_tree_write_lock
83
80
    def add(self, files, ids=None, kinds=None):
126
123
            # generic constraint checks:
127
124
            if self.is_control_filename(f):
128
125
                raise errors.ForbiddenControlFileError(filename=f)
129
 
            fp = osutils.splitpath(f)
130
 
        # fill out file kinds for all files [not needed when we stop
 
126
            fp = splitpath(f)
 
127
        # fill out file kinds for all files [not needed when we stop 
131
128
        # caring about the instantaneous file kind within a uncommmitted tree
132
129
        #
133
130
        self._gather_kinds(files, kinds)
184
181
        from bzrlib import commit
185
182
        if revprops is None:
186
183
            revprops = {}
187
 
        possible_master_transports=[]
188
184
        if not 'branch-nick' in revprops:
189
 
            revprops['branch-nick'] = self.branch._get_nick(
190
 
                kwargs.get('local', False),
191
 
                possible_master_transports)
192
 
        authors = kwargs.pop('authors', None)
 
185
            revprops['branch-nick'] = self.branch.nick
193
186
        author = kwargs.pop('author', None)
194
 
        if authors is not None:
195
 
            if author is not None:
196
 
                raise AssertionError('Specifying both author and authors '
197
 
                        'is not allowed. Specify just authors instead')
198
 
            if 'author' in revprops or 'authors' in revprops:
199
 
                # XXX: maybe we should just accept one of them?
200
 
                raise AssertionError('author property given twice')
201
 
            if authors:
202
 
                for individual in authors:
203
 
                    if '\n' in individual:
204
 
                        raise AssertionError('\\n is not a valid character '
205
 
                                'in an author identity')
206
 
                revprops['authors'] = '\n'.join(authors)
207
187
        if author is not None:
208
 
            symbol_versioning.warn('The parameter author was deprecated'
209
 
                   ' in version 1.13. Use authors instead',
210
 
                   DeprecationWarning)
211
 
            if 'author' in revprops or 'authors' in revprops:
 
188
            if 'author' in revprops:
212
189
                # XXX: maybe we should just accept one of them?
213
190
                raise AssertionError('author property given twice')
214
 
            if '\n' in author:
215
 
                raise AssertionError('\\n is not a valid character '
216
 
                        'in an author identity')
217
 
            revprops['authors'] = author
 
191
            revprops['author'] = author
218
192
        # args for wt.commit start at message from the Commit.commit method,
219
193
        args = (message, ) + args
220
194
        for hook in MutableTree.hooks['start_commit']:
221
195
            hook(self)
222
196
        committed_id = commit.Commit().commit(working_tree=self,
223
 
            revprops=revprops,
224
 
            possible_master_transports=possible_master_transports,
225
 
            *args, **kwargs)
226
 
        post_hook_params = PostCommitHookParams(self)
227
 
        for hook in MutableTree.hooks['post_commit']:
228
 
            hook(post_hook_params)
 
197
            revprops=revprops, *args, **kwargs)
229
198
        return committed_id
230
199
 
231
200
    def _gather_kinds(self, files, kinds):
232
201
        """Helper function for add - sets the entries of kinds."""
233
202
        raise NotImplementedError(self._gather_kinds)
234
203
 
235
 
    @needs_read_lock
236
 
    def has_changes(self, _from_tree=None):
237
 
        """Quickly check that the tree contains at least one commitable change.
238
 
 
239
 
        :param _from_tree: tree to compare against to find changes (default to
240
 
            the basis tree and is intended to be used by tests).
241
 
 
242
 
        :return: True if a change is found. False otherwise
 
204
    def get_file_with_stat(self, file_id, path=None):
 
205
        """Get a file handle and stat object for file_id.
 
206
 
 
207
        The default implementation returns (self.get_file, None) for backwards
 
208
        compatibility.
 
209
 
 
210
        :param file_id: The file id to read.
 
211
        :param path: The path of the file, if it is known.
 
212
        :return: A tuple (file_handle, stat_value_or_None). If the tree has
 
213
            no stat facility, or need for a stat cache feedback during commit,
 
214
            it may return None for the second element of the tuple.
243
215
        """
244
 
        # Check pending merges
245
 
        if len(self.get_parent_ids()) > 1:
246
 
            return True
247
 
        if _from_tree is None:
248
 
            _from_tree = self.basis_tree()
249
 
        changes = self.iter_changes(_from_tree)
250
 
        try:
251
 
            change = changes.next()
252
 
            # Exclude root (talk about black magic... --vila 20090629)
253
 
            if change[4] == (None, None):
254
 
                change = changes.next()
255
 
            return True
256
 
        except StopIteration:
257
 
            # No changes
258
 
            return False
 
216
        return (self.get_file(file_id, path), None)
259
217
 
260
218
    @needs_read_lock
261
219
    def last_revision(self):
264
222
        In early tree formats the result of last_revision is the same as the
265
223
        branch last_revision, but that is no longer the case for modern tree
266
224
        formats.
267
 
 
 
225
        
268
226
        last_revision returns the left most parent id, or None if there are no
269
227
        parents.
270
228
 
287
245
    def lock_write(self):
288
246
        """Lock the tree and its branch. This allows mutating calls to be made.
289
247
 
290
 
        Some mutating methods will take out implicit write locks, but in
 
248
        Some mutating methods will take out implicit write locks, but in 
291
249
        general you should always obtain a write lock before calling mutating
292
250
        methods on a tree.
293
251
        """
309
267
        The intent of this function is to allow trees that have a hashcache to
310
268
        update the hashcache during commit. If the observed file is too new
311
269
        (based on the stat_value) to be safely hash-cached the tree will ignore
312
 
        it.
 
270
        it. 
313
271
 
314
272
        The default implementation does nothing.
315
273
 
320
278
        :return: None
321
279
        """
322
280
 
323
 
    def _fix_case_of_inventory_path(self, path):
324
 
        """If our tree isn't case sensitive, return the canonical path"""
325
 
        if not self.case_sensitive:
326
 
            path = self.get_canonical_inventory_path(path)
327
 
        return path
328
 
 
329
281
    @needs_write_lock
330
282
    def put_file_bytes_non_atomic(self, file_id, bytes):
331
283
        """Update the content of a file in the tree.
332
 
 
 
284
        
333
285
        Note that the file is written in-place rather than being
334
286
        written to a temporary location and renamed. As a consequence,
335
287
        readers can potentially see the file half-written.
349
301
    def set_parent_trees(self, parents_list, allow_leftmost_as_ghost=False):
350
302
        """Set the parents of the working tree.
351
303
 
352
 
        :param parents_list: A list of (revision_id, tree) tuples.
 
304
        :param parents_list: A list of (revision_id, tree) tuples. 
353
305
            If tree is None, then that element is treated as an unreachable
354
306
            parent tree - i.e. a ghost.
355
307
        """
363
315
        For the specific behaviour see the help for cmd_add().
364
316
 
365
317
        :param action: A reporter to be called with the inventory, parent_ie,
366
 
            path and kind of the path being added. It may return a file_id if
 
318
            path and kind of the path being added. It may return a file_id if 
367
319
            a specific one should be used.
368
320
        :param save: Save the inventory after completing the adds. If False
369
321
            this provides dry-run functionality by doing the add and not saving
377
329
        from bzrlib.inventory import InventoryEntry
378
330
        if action is None:
379
331
            action = add.AddAction()
380
 
 
 
332
        
381
333
        if not file_list:
382
334
            # no paths supplied: add the entire tree.
383
 
            # FIXME: this assumes we are running in a working tree subdir :-/
384
 
            # -- vila 20100208
385
335
            file_list = [u'.']
386
336
        # mutter("smart add of %r")
387
337
        inv = self.inventory
389
339
        ignored = {}
390
340
        dirs_to_add = []
391
341
        user_dirs = set()
392
 
        conflicts_related = set()
393
 
        # Not all mutable trees can have conflicts
394
 
        if getattr(self, 'conflicts', None) is not None:
395
 
            # Collect all related files without checking whether they exist or
396
 
            # are versioned. It's cheaper to do that once for all conflicts
397
 
            # than trying to find the relevant conflict for each added file.
398
 
            for c in self.conflicts():
399
 
                conflicts_related.update(c.associated_filenames())
400
342
 
401
 
        # validate user file paths and convert all paths to tree
 
343
        # validate user file paths and convert all paths to tree 
402
344
        # relative : it's cheaper to make a tree relative path an abspath
403
 
        # than to convert an abspath to tree relative, and it's cheaper to
404
 
        # perform the canonicalization in bulk.
405
 
        for filepath in osutils.canonical_relpaths(self.basedir, file_list):
406
 
            rf = _FastPath(filepath)
407
 
            # validate user parameters. Our recursive code avoids adding new
408
 
            # files that need such validation
 
345
        # than to convert an abspath to tree relative.
 
346
        for filepath in file_list:
 
347
            rf = _FastPath(self.relpath(filepath))
 
348
            # validate user parameters. Our recursive code avoids adding new files
 
349
            # that need such validation 
409
350
            if self.is_control_filename(rf.raw_path):
410
351
                raise errors.ForbiddenControlFileError(filename=rf.raw_path)
411
 
 
 
352
            
412
353
            abspath = self.abspath(rf.raw_path)
413
354
            kind = osutils.file_kind(abspath)
414
355
            if kind == 'directory':
417
358
            else:
418
359
                if not InventoryEntry.versionable_kind(kind):
419
360
                    raise errors.BadFileKindError(filename=abspath, kind=kind)
420
 
            # ensure the named path is added, so that ignore rules in the later
421
 
            # directory walk dont skip it.
422
 
            # we dont have a parent ie known yet.: use the relatively slower
423
 
            # inventory probing method
 
361
            # ensure the named path is added, so that ignore rules in the later directory
 
362
            # walk dont skip it.
 
363
            # we dont have a parent ie known yet.: use the relatively slower inventory 
 
364
            # probing method
424
365
            versioned = inv.has_filename(rf.raw_path)
425
366
            if versioned:
426
367
                continue
442
383
                dirs_to_add.append((path, None))
443
384
            prev_dir = path.raw_path
444
385
 
445
 
        illegalpath_re = re.compile(r'[\r\n]')
446
386
        # dirs_to_add is initialised to a list of directories, but as we scan
447
387
        # directories we append files to it.
448
388
        # XXX: We should determine kind of files when we scan them rather than
457
397
            kind = osutils.file_kind(abspath)
458
398
 
459
399
            if not InventoryEntry.versionable_kind(kind):
460
 
                trace.warning("skipping %s (can't add file of kind '%s')",
461
 
                              abspath, kind)
462
 
                continue
463
 
            if illegalpath_re.search(directory.raw_path):
464
 
                trace.warning("skipping %r (contains \\n or \\r)" % abspath)
465
 
                continue
466
 
            if directory.raw_path in conflicts_related:
467
 
                # If the file looks like one generated for a conflict, don't
468
 
                # add it.
469
 
                trace.warning(
470
 
                    'skipping %s (generated to help resolve conflicts)',
471
 
                    abspath)
 
400
                warning("skipping %s (can't add file of kind '%s')", abspath, kind)
472
401
                continue
473
402
 
474
403
            if parent_ie is not None:
475
404
                versioned = directory.base_path in parent_ie.children
476
405
            else:
477
 
                # without the parent ie, use the relatively slower inventory
 
406
                # without the parent ie, use the relatively slower inventory 
478
407
                # probing method
479
 
                versioned = inv.has_filename(
480
 
                        self._fix_case_of_inventory_path(directory.raw_path))
 
408
                versioned = inv.has_filename(directory.raw_path)
481
409
 
482
410
            if kind == 'directory':
483
411
                try:
497
425
                pass
498
426
                # mutter("%r is already versioned", abspath)
499
427
            elif sub_tree:
500
 
                # XXX: This is wrong; people *might* reasonably be trying to
501
 
                # add subtrees as subtrees.  This should probably only be done
502
 
                # in formats which can represent subtrees, and even then
503
 
                # perhaps only when the user asked to add subtrees.  At the
504
 
                # moment you can add them specially through 'join --reference',
505
 
                # which is perhaps reasonable: adding a new reference is a
506
 
                # special operation and can have a special behaviour.  mbp
507
 
                # 20070306
508
 
                trace.mutter("%r is a nested bzr tree", abspath)
 
428
                # XXX: This is wrong; people *might* reasonably be trying to add
 
429
                # subtrees as subtrees.  This should probably only be done in formats 
 
430
                # which can represent subtrees, and even then perhaps only when
 
431
                # the user asked to add subtrees.  At the moment you can add them
 
432
                # specially through 'join --reference', which is perhaps
 
433
                # reasonable: adding a new reference is a special operation and
 
434
                # can have a special behaviour.  mbp 20070306
 
435
                mutter("%r is a nested bzr tree", abspath)
509
436
            else:
510
437
                _add_one(self, inv, parent_ie, directory, kind, action)
511
438
                added.append(directory.raw_path)
515
442
                    # must be present:
516
443
                    this_ie = parent_ie.children[directory.base_path]
517
444
                else:
518
 
                    # without the parent ie, use the relatively slower inventory
 
445
                    # without the parent ie, use the relatively slower inventory 
519
446
                    # probing method
520
 
                    this_id = inv.path2id(
521
 
                        self._fix_case_of_inventory_path(directory.raw_path))
 
447
                    this_id = inv.path2id(directory.raw_path)
522
448
                    if this_id is None:
523
449
                        this_ie = None
524
450
                    else:
525
451
                        this_ie = inv[this_id]
526
452
 
527
453
                for subf in sorted(os.listdir(abspath)):
528
 
                    # here we could use TreeDirectory rather than
 
454
                    # here we could use TreeDirectory rather than 
529
455
                    # string concatenation.
530
456
                    subp = osutils.pathjoin(directory.raw_path, subf)
531
 
                    # TODO: is_control_filename is very slow. Make it faster.
532
 
                    # TreeDirectory.is_control_filename could also make this
533
 
                    # faster - its impossible for a non root dir to have a
 
457
                    # TODO: is_control_filename is very slow. Make it faster. 
 
458
                    # TreeDirectory.is_control_filename could also make this 
 
459
                    # faster - its impossible for a non root dir to have a 
534
460
                    # control file.
535
461
                    if self.is_control_filename(subp):
536
 
                        trace.mutter("skip control directory %r", subp)
 
462
                        mutter("skip control directory %r", subp)
537
463
                    elif subf in this_ie.children:
538
464
                        # recurse into this already versioned subdir.
539
465
                        dirs_to_add.append((_FastPath(subp, subf), this_ie))
571
497
        for commit which is not required to handle situations that do not arise
572
498
        outside of commit.
573
499
 
574
 
        See the inventory developers documentation for the theory behind
575
 
        inventory deltas.
576
 
 
577
500
        :param new_revid: The new revision id for the trees parent.
578
501
        :param delta: An inventory delta (see apply_inventory_delta) describing
579
502
            the changes from the current left most parent revision to new_revid.
589
512
        # WorkingTree classes for optimised versions for specific format trees.
590
513
        basis = self.basis_tree()
591
514
        basis.lock_read()
592
 
        # TODO: Consider re-evaluating the need for this with CHKInventory
593
 
        # we don't strictly need to mutate an inventory for this
594
 
        # it only makes sense when apply_delta is cheaper than get_inventory()
595
 
        inventory = basis.inventory._get_mutable_inventory()
 
515
        inventory = basis.inventory
596
516
        basis.unlock()
597
517
        inventory.apply_delta(delta)
598
 
        rev_tree = revisiontree.RevisionTree(self.branch.repository,
599
 
                                             inventory, new_revid)
 
518
        rev_tree = RevisionTree(self.branch.repository, inventory, new_revid)
600
519
        self.set_parent_trees([(new_revid, rev_tree)])
601
520
 
602
521
 
603
522
class MutableTreeHooks(hooks.Hooks):
604
 
    """A dictionary mapping a hook name to a list of callables for mutabletree
 
523
    """A dictionary mapping a hook name to a list of callables for mutabletree 
605
524
    hooks.
606
525
    """
607
526
 
610
529
 
611
530
        """
612
531
        hooks.Hooks.__init__(self)
613
 
        self.create_hook(hooks.HookPoint('start_commit',
614
 
            "Called before a commit is performed on a tree. The start commit "
615
 
            "hook is able to change the tree before the commit takes place. "
616
 
            "start_commit is called with the bzrlib.mutabletree.MutableTree "
617
 
            "that the commit is being performed on.", (1, 4), None))
618
 
        self.create_hook(hooks.HookPoint('post_commit',
619
 
            "Called after a commit is performed on a tree. The hook is "
620
 
            "called with a bzrlib.mutabletree.PostCommitHookParams object. "
621
 
            "The mutable tree the commit was performed on is available via "
622
 
            "the mutable_tree attribute of that object.", (2, 0), None))
 
532
        # Invoked before a commit is done in a tree. New in 1.4
 
533
        self['start_commit'] = []
623
534
 
624
535
 
625
536
# install the default hooks into the MutableTree class.
626
537
MutableTree.hooks = MutableTreeHooks()
627
538
 
628
539
 
629
 
class PostCommitHookParams(object):
630
 
    """Parameters for the post_commit hook.
631
 
 
632
 
    To access the parameters, use the following attributes:
633
 
 
634
 
    * mutable_tree - the MutableTree object
635
 
    """
636
 
 
637
 
    def __init__(self, mutable_tree):
638
 
        """Create the parameters for the post_commit hook."""
639
 
        self.mutable_tree = mutable_tree
640
 
 
641
 
 
642
540
class _FastPath(object):
643
541
    """A path object with fast accessors for things like basename."""
644
542
 
678
576
        added = []
679
577
    else:
680
578
        # slower but does not need parent_ie
681
 
        if inv.has_filename(tree._fix_case_of_inventory_path(path.raw_path)):
 
579
        if inv.has_filename(path.raw_path):
682
580
            return []
683
581
        # its really not there : add the parent
684
582
        # note that the dirname use leads to some extra str copying etc but as
685
583
        # there are a limited number of dirs we can be nested under, it should
686
584
        # generally find it very fast and not recurse after that.
687
585
        added = _add_one_and_parent(tree, inv, None,
688
 
            _FastPath(osutils.dirname(path.raw_path)), 'directory', action)
689
 
        parent_id = inv.path2id(osutils.dirname(path.raw_path))
 
586
            _FastPath(dirname(path.raw_path)), 'directory', action)
 
587
        parent_id = inv.path2id(dirname(path.raw_path))
690
588
        parent_ie = inv[parent_id]
691
589
    _add_one(tree, inv, parent_ie, path, kind, action)
692
590
    return added + [path.raw_path]