~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/mutabletree.py

  • Committer: Aaron Bentley
  • Date: 2007-02-06 14:52:16 UTC
  • mfrom: (2266 +trunk)
  • mto: This revision was merged to the branch mainline in revision 2268.
  • Revision ID: abentley@panoramicfeedback.com-20070206145216-fcpi8o3ufvuzwbp9
Merge bzr.dev

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006, 2007 Canonical Ltd
 
1
# Copyright (C) 2006 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
20
20
"""
21
21
 
22
22
 
23
 
from bzrlib.lazy_import import lazy_import
24
 
lazy_import(globals(), """
25
 
import os
26
 
 
27
 
from bzrlib import (
28
 
    add,
29
 
    bzrdir,
30
 
    hooks,
31
 
    )
32
 
from bzrlib.osutils import dirname
33
 
from bzrlib.revisiontree import RevisionTree
34
 
from bzrlib.trace import mutter, warning
35
 
""")
36
 
 
37
 
from bzrlib import (
38
 
    errors,
39
 
    osutils,
40
 
    tree,
41
 
    )
 
23
from bzrlib import tree
42
24
from bzrlib.decorators import needs_read_lock, needs_write_lock
43
25
from bzrlib.osutils import splitpath
44
26
from bzrlib.symbol_versioning import DEPRECATED_PARAMETER
76
58
    branch and bzrdir attributes.
77
59
    """
78
60
 
79
 
    @needs_tree_write_lock
 
61
    @needs_write_lock
80
62
    def add(self, files, ids=None, kinds=None):
81
63
        """Add paths to the set of versioned paths.
82
64
 
96
78
        TODO: Perhaps callback with the ids and paths as they're added.
97
79
        """
98
80
        if isinstance(files, basestring):
99
 
            # XXX: Passing a single string is inconsistent and should be
100
 
            # deprecated.
101
 
            if not (ids is None or isinstance(ids, basestring)):
102
 
                raise AssertionError()
103
 
            if not (kinds is None or isinstance(kinds, basestring)):
104
 
                raise AssertionError()
 
81
            assert(ids is None or isinstance(ids, basestring))
 
82
            assert(kinds is None or isinstance(kinds, basestring))
105
83
            files = [files]
106
84
            if ids is not None:
107
85
                ids = [ids]
108
86
            if kinds is not None:
109
87
                kinds = [kinds]
110
88
 
111
 
        files = [path.strip('/') for path in files]
112
 
 
113
89
        if ids is None:
114
90
            ids = [None] * len(files)
115
91
        else:
116
 
            if not (len(ids) == len(files)):
117
 
                raise AssertionError()
 
92
            assert(len(ids) == len(files))
 
93
 
118
94
        if kinds is None:
119
95
            kinds = [None] * len(files)
120
 
        elif not len(kinds) == len(files):
121
 
            raise AssertionError()
 
96
        else:
 
97
            assert(len(kinds) == len(files))
122
98
        for f in files:
123
99
            # generic constraint checks:
124
100
            if self.is_control_filename(f):
130
106
        self._gather_kinds(files, kinds)
131
107
        self._add(files, ids, kinds)
132
108
 
133
 
    def add_reference(self, sub_tree):
134
 
        """Add a TreeReference to the tree, pointing at sub_tree"""
135
 
        raise errors.UnsupportedOperation(self.add_reference, self)
136
 
 
137
 
    def _add_reference(self, sub_tree):
138
 
        """Standard add_reference implementation, for use by subclasses"""
139
 
        try:
140
 
            sub_tree_path = self.relpath(sub_tree.basedir)
141
 
        except errors.PathNotChild:
142
 
            raise errors.BadReferenceTarget(self, sub_tree,
143
 
                                            'Target not inside tree.')
144
 
        sub_tree_id = sub_tree.get_root_id()
145
 
        if sub_tree_id == self.get_root_id():
146
 
            raise errors.BadReferenceTarget(self, sub_tree,
147
 
                                     'Trees have the same root id.')
148
 
        if sub_tree_id in self.inventory:
149
 
            raise errors.BadReferenceTarget(self, sub_tree,
150
 
                                            'Root id already present in tree')
151
 
        self._add([sub_tree_path], [sub_tree_id], ['tree-reference'])
152
 
 
153
109
    def _add(self, files, ids, kinds):
154
 
        """Helper function for add - updates the inventory.
155
 
 
156
 
        :param files: sequence of pathnames, relative to the tree root
157
 
        :param ids: sequence of suggested ids for the files (may be None)
158
 
        :param kinds: sequence of  inventory kinds of the files (i.e. may
159
 
            contain "tree-reference")
160
 
        """
 
110
        """Helper function for add - updates the inventory."""
161
111
        raise NotImplementedError(self._add)
162
112
 
163
 
    @needs_tree_write_lock
164
 
    def apply_inventory_delta(self, changes):
165
 
        """Apply changes to the inventory as an atomic operation.
166
 
 
167
 
        :param changes: An inventory delta to apply to the working tree's
168
 
            inventory.
169
 
        :return None:
170
 
        :seealso Inventory.apply_delta: For details on the changes parameter.
171
 
        """
172
 
        self.flush()
173
 
        inv = self.inventory
174
 
        inv.apply_delta(changes)
175
 
        self._write_inventory(inv)
176
 
 
177
113
    @needs_write_lock
178
 
    def commit(self, message=None, revprops=None, *args,
179
 
               **kwargs):
 
114
    def commit(self, message=None, revprops=None, *args, **kwargs):
180
115
        # avoid circular imports
181
116
        from bzrlib import commit
182
117
        if revprops is None:
183
118
            revprops = {}
184
119
        if not 'branch-nick' in revprops:
185
120
            revprops['branch-nick'] = self.branch.nick
186
 
        author = kwargs.pop('author', None)
187
 
        if author is not None:
188
 
            if 'author' in revprops:
189
 
                # XXX: maybe we should just accept one of them?
190
 
                raise AssertionError('author property given twice')
191
 
            revprops['author'] = author
192
121
        # args for wt.commit start at message from the Commit.commit method,
193
 
        args = (message, ) + args
194
 
        for hook in MutableTree.hooks['start_commit']:
195
 
            hook(self)
 
122
        # but with branch a kwarg now, passing in args as is results in the
 
123
        #message being used for the branch
 
124
        args = (DEPRECATED_PARAMETER, message, ) + args
196
125
        committed_id = commit.Commit().commit(working_tree=self,
197
126
            revprops=revprops, *args, **kwargs)
198
127
        return committed_id
247
176
        """
248
177
        raise NotImplementedError(self.mkdir)
249
178
 
250
 
    @needs_write_lock
251
 
    def put_file_bytes_non_atomic(self, file_id, bytes):
252
 
        """Update the content of a file in the tree.
253
 
        
254
 
        Note that the file is written in-place rather than being
255
 
        written to a temporary location and renamed. As a consequence,
256
 
        readers can potentially see the file half-written.
257
 
 
258
 
        :param file_id: file-id of the file
259
 
        :param bytes: the new file contents
260
 
        """
261
 
        raise NotImplementedError(self.put_file_bytes_non_atomic)
262
 
 
263
 
    def set_parent_ids(self, revision_ids, allow_leftmost_as_ghost=False):
264
 
        """Set the parents ids of the working tree.
265
 
 
266
 
        :param revision_ids: A list of revision_ids.
267
 
        """
268
 
        raise NotImplementedError(self.set_parent_ids)
269
 
 
270
179
    def set_parent_trees(self, parents_list, allow_leftmost_as_ghost=False):
271
180
        """Set the parents of the working tree.
272
181
 
275
184
            parent tree - i.e. a ghost.
276
185
        """
277
186
        raise NotImplementedError(self.set_parent_trees)
278
 
 
279
 
    @needs_tree_write_lock
280
 
    def smart_add(self, file_list, recurse=True, action=None, save=True):
281
 
        """Version file_list, optionally recursing into directories.
282
 
 
283
 
        This is designed more towards DWIM for humans than API clarity.
284
 
        For the specific behaviour see the help for cmd_add().
285
 
 
286
 
        :param action: A reporter to be called with the inventory, parent_ie,
287
 
            path and kind of the path being added. It may return a file_id if 
288
 
            a specific one should be used.
289
 
        :param save: Save the inventory after completing the adds. If False
290
 
            this provides dry-run functionality by doing the add and not saving
291
 
            the inventory.
292
 
        :return: A tuple - files_added, ignored_files. files_added is the count
293
 
            of added files, and ignored_files is a dict mapping files that were
294
 
            ignored to the rule that caused them to be ignored.
295
 
        """
296
 
        # not in an inner loop; and we want to remove direct use of this,
297
 
        # so here as a reminder for now. RBC 20070703
298
 
        from bzrlib.inventory import InventoryEntry
299
 
        if action is None:
300
 
            action = add.AddAction()
301
 
        
302
 
        if not file_list:
303
 
            # no paths supplied: add the entire tree.
304
 
            file_list = [u'.']
305
 
        # mutter("smart add of %r")
306
 
        inv = self.inventory
307
 
        added = []
308
 
        ignored = {}
309
 
        dirs_to_add = []
310
 
        user_dirs = set()
311
 
 
312
 
        # validate user file paths and convert all paths to tree 
313
 
        # relative : it's cheaper to make a tree relative path an abspath
314
 
        # than to convert an abspath to tree relative.
315
 
        for filepath in file_list:
316
 
            rf = _FastPath(self.relpath(filepath))
317
 
            # validate user parameters. Our recursive code avoids adding new files
318
 
            # that need such validation 
319
 
            if self.is_control_filename(rf.raw_path):
320
 
                raise errors.ForbiddenControlFileError(filename=rf.raw_path)
321
 
            
322
 
            abspath = self.abspath(rf.raw_path)
323
 
            kind = osutils.file_kind(abspath)
324
 
            if kind == 'directory':
325
 
                # schedule the dir for scanning
326
 
                user_dirs.add(rf)
327
 
            else:
328
 
                if not InventoryEntry.versionable_kind(kind):
329
 
                    raise errors.BadFileKindError(filename=abspath, kind=kind)
330
 
            # ensure the named path is added, so that ignore rules in the later directory
331
 
            # walk dont skip it.
332
 
            # we dont have a parent ie known yet.: use the relatively slower inventory 
333
 
            # probing method
334
 
            versioned = inv.has_filename(rf.raw_path)
335
 
            if versioned:
336
 
                continue
337
 
            added.extend(_add_one_and_parent(self, inv, None, rf, kind, action))
338
 
 
339
 
        if not recurse:
340
 
            # no need to walk any directories at all.
341
 
            if len(added) > 0 and save:
342
 
                self._write_inventory(inv)
343
 
            return added, ignored
344
 
 
345
 
        # only walk the minimal parents needed: we have user_dirs to override
346
 
        # ignores.
347
 
        prev_dir = None
348
 
 
349
 
        is_inside = osutils.is_inside_or_parent_of_any
350
 
        for path in sorted(user_dirs):
351
 
            if (prev_dir is None or not is_inside([prev_dir], path.raw_path)):
352
 
                dirs_to_add.append((path, None))
353
 
            prev_dir = path.raw_path
354
 
 
355
 
        # dirs_to_add is initialised to a list of directories, but as we scan
356
 
        # directories we append files to it.
357
 
        # XXX: We should determine kind of files when we scan them rather than
358
 
        # adding to this list. RBC 20070703
359
 
        for directory, parent_ie in dirs_to_add:
360
 
            # directory is tree-relative
361
 
            abspath = self.abspath(directory.raw_path)
362
 
 
363
 
            # get the contents of this directory.
364
 
 
365
 
            # find the kind of the path being added.
366
 
            kind = osutils.file_kind(abspath)
367
 
 
368
 
            if not InventoryEntry.versionable_kind(kind):
369
 
                warning("skipping %s (can't add file of kind '%s')", abspath, kind)
370
 
                continue
371
 
 
372
 
            if parent_ie is not None:
373
 
                versioned = directory.base_path in parent_ie.children
374
 
            else:
375
 
                # without the parent ie, use the relatively slower inventory 
376
 
                # probing method
377
 
                versioned = inv.has_filename(directory.raw_path)
378
 
 
379
 
            if kind == 'directory':
380
 
                try:
381
 
                    sub_branch = bzrdir.BzrDir.open(abspath)
382
 
                    sub_tree = True
383
 
                except errors.NotBranchError:
384
 
                    sub_tree = False
385
 
                except errors.UnsupportedFormatError:
386
 
                    sub_tree = True
387
 
            else:
388
 
                sub_tree = False
389
 
 
390
 
            if directory.raw_path == '':
391
 
                # mutter("tree root doesn't need to be added")
392
 
                sub_tree = False
393
 
            elif versioned:
394
 
                pass
395
 
                # mutter("%r is already versioned", abspath)
396
 
            elif sub_tree:
397
 
                # XXX: This is wrong; people *might* reasonably be trying to add
398
 
                # subtrees as subtrees.  This should probably only be done in formats 
399
 
                # which can represent subtrees, and even then perhaps only when
400
 
                # the user asked to add subtrees.  At the moment you can add them
401
 
                # specially through 'join --reference', which is perhaps
402
 
                # reasonable: adding a new reference is a special operation and
403
 
                # can have a special behaviour.  mbp 20070306
404
 
                mutter("%r is a nested bzr tree", abspath)
405
 
            else:
406
 
                _add_one(self, inv, parent_ie, directory, kind, action)
407
 
                added.append(directory.raw_path)
408
 
 
409
 
            if kind == 'directory' and not sub_tree:
410
 
                if parent_ie is not None:
411
 
                    # must be present:
412
 
                    this_ie = parent_ie.children[directory.base_path]
413
 
                else:
414
 
                    # without the parent ie, use the relatively slower inventory 
415
 
                    # probing method
416
 
                    this_id = inv.path2id(directory.raw_path)
417
 
                    if this_id is None:
418
 
                        this_ie = None
419
 
                    else:
420
 
                        this_ie = inv[this_id]
421
 
 
422
 
                for subf in sorted(os.listdir(abspath)):
423
 
                    # here we could use TreeDirectory rather than 
424
 
                    # string concatenation.
425
 
                    subp = osutils.pathjoin(directory.raw_path, subf)
426
 
                    # TODO: is_control_filename is very slow. Make it faster. 
427
 
                    # TreeDirectory.is_control_filename could also make this 
428
 
                    # faster - its impossible for a non root dir to have a 
429
 
                    # control file.
430
 
                    if self.is_control_filename(subp):
431
 
                        mutter("skip control directory %r", subp)
432
 
                    elif subf in this_ie.children:
433
 
                        # recurse into this already versioned subdir.
434
 
                        dirs_to_add.append((_FastPath(subp, subf), this_ie))
435
 
                    else:
436
 
                        # user selection overrides ignoes
437
 
                        # ignore while selecting files - if we globbed in the
438
 
                        # outer loop we would ignore user files.
439
 
                        ignore_glob = self.is_ignored(subp)
440
 
                        if ignore_glob is not None:
441
 
                            # mutter("skip ignored sub-file %r", subp)
442
 
                            ignored.setdefault(ignore_glob, []).append(subp)
443
 
                        else:
444
 
                            #mutter("queue to add sub-file %r", subp)
445
 
                            dirs_to_add.append((_FastPath(subp, subf), this_ie))
446
 
 
447
 
        if len(added) > 0:
448
 
            if save:
449
 
                self._write_inventory(inv)
450
 
            else:
451
 
                self.read_working_inventory()
452
 
        return added, ignored
453
 
 
454
 
    def update_basis_by_delta(self, new_revid, delta):
455
 
        """Update the parents of this tree after a commit.
456
 
 
457
 
        This gives the tree one parent, with revision id new_revid. The
458
 
        inventory delta is applied to the current basis tree to generate the
459
 
        inventory for the parent new_revid, and all other parent trees are
460
 
        discarded.
461
 
 
462
 
        All the changes in the delta should be changes synchronising the basis
463
 
        tree with some or all of the working tree, with a change to a directory
464
 
        requiring that its contents have been recursively included. That is,
465
 
        this is not a general purpose tree modification routine, but a helper
466
 
        for commit which is not required to handle situations that do not arise
467
 
        outside of commit.
468
 
 
469
 
        :param new_revid: The new revision id for the trees parent.
470
 
        :param delta: An inventory delta (see apply_inventory_delta) describing
471
 
            the changes from the current left most parent revision to new_revid.
472
 
        """
473
 
        # if the tree is updated by a pull to the branch, as happens in
474
 
        # WorkingTree2, when there was no separation between branch and tree,
475
 
        # then just clear merges, efficiency is not a concern for now as this
476
 
        # is legacy environments only, and they are slow regardless.
477
 
        if self.last_revision() == new_revid:
478
 
            self.set_parent_ids([new_revid])
479
 
            return
480
 
        # generic implementation based on Inventory manipulation. See
481
 
        # WorkingTree classes for optimised versions for specific format trees.
482
 
        basis = self.basis_tree()
483
 
        basis.lock_read()
484
 
        inventory = basis.inventory
485
 
        basis.unlock()
486
 
        inventory.apply_delta(delta)
487
 
        rev_tree = RevisionTree(self.branch.repository, inventory, new_revid)
488
 
        self.set_parent_trees([(new_revid, rev_tree)])
489
 
 
490
 
 
491
 
class MutableTreeHooks(hooks.Hooks):
492
 
    """A dictionary mapping a hook name to a list of callables for mutabletree 
493
 
    hooks.
494
 
    """
495
 
 
496
 
    def __init__(self):
497
 
        """Create the default hooks.
498
 
 
499
 
        """
500
 
        hooks.Hooks.__init__(self)
501
 
        # Invoked before a commit is done in a tree. New in 1.4
502
 
        self['start_commit'] = []
503
 
 
504
 
 
505
 
# install the default hooks into the MutableTree class.
506
 
MutableTree.hooks = MutableTreeHooks()
507
 
 
508
 
 
509
 
class _FastPath(object):
510
 
    """A path object with fast accessors for things like basename."""
511
 
 
512
 
    __slots__ = ['raw_path', 'base_path']
513
 
 
514
 
    def __init__(self, path, base_path=None):
515
 
        """Construct a FastPath from path."""
516
 
        if base_path is None:
517
 
            self.base_path = osutils.basename(path)
518
 
        else:
519
 
            self.base_path = base_path
520
 
        self.raw_path = path
521
 
 
522
 
    def __cmp__(self, other):
523
 
        return cmp(self.raw_path, other.raw_path)
524
 
 
525
 
    def __hash__(self):
526
 
        return hash(self.raw_path)
527
 
 
528
 
 
529
 
def _add_one_and_parent(tree, inv, parent_ie, path, kind, action):
530
 
    """Add a new entry to the inventory and automatically add unversioned parents.
531
 
 
532
 
    :param inv: Inventory which will receive the new entry.
533
 
    :param parent_ie: Parent inventory entry if known, or None.  If
534
 
        None, the parent is looked up by name and used if present, otherwise it
535
 
        is recursively added.
536
 
    :param kind: Kind of new entry (file, directory, etc)
537
 
    :param action: callback(inv, parent_ie, path, kind); return ignored.
538
 
    :return: A list of paths which have been added.
539
 
    """
540
 
    # Nothing to do if path is already versioned.
541
 
    # This is safe from infinite recursion because the tree root is
542
 
    # always versioned.
543
 
    if parent_ie is not None:
544
 
        # we have a parent ie already
545
 
        added = []
546
 
    else:
547
 
        # slower but does not need parent_ie
548
 
        if inv.has_filename(path.raw_path):
549
 
            return []
550
 
        # its really not there : add the parent
551
 
        # note that the dirname use leads to some extra str copying etc but as
552
 
        # there are a limited number of dirs we can be nested under, it should
553
 
        # generally find it very fast and not recurse after that.
554
 
        added = _add_one_and_parent(tree, inv, None,
555
 
            _FastPath(dirname(path.raw_path)), 'directory', action)
556
 
        parent_id = inv.path2id(dirname(path.raw_path))
557
 
        parent_ie = inv[parent_id]
558
 
    _add_one(tree, inv, parent_ie, path, kind, action)
559
 
    return added + [path.raw_path]
560
 
 
561
 
 
562
 
def _add_one(tree, inv, parent_ie, path, kind, file_id_callback):
563
 
    """Add a new entry to the inventory.
564
 
 
565
 
    :param inv: Inventory which will receive the new entry.
566
 
    :param parent_ie: Parent inventory entry.
567
 
    :param kind: Kind of new entry (file, directory, etc)
568
 
    :param file_id_callback: callback(inv, parent_ie, path, kind); return a
569
 
        file_id or None to generate a new file id
570
 
    :returns: None
571
 
    """
572
 
    file_id = file_id_callback(inv, parent_ie, path, kind)
573
 
    entry = inv.make_entry(kind, path.base_path, parent_ie.file_id,
574
 
        file_id=file_id)
575
 
    inv.add(entry)