~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/mutabletree.py

  • Committer: John Arbash Meinel
  • Date: 2007-04-28 15:04:17 UTC
  • mfrom: (2466 +trunk)
  • mto: This revision was merged to the branch mainline in revision 2566.
  • Revision ID: john@arbash-meinel.com-20070428150417-trp3pi0pzd411pu4
[merge] bzr.dev 2466

Show diffs side-by-side

added added

removed removed

Lines of Context:
20
20
"""
21
21
 
22
22
 
23
 
from bzrlib.lazy_import import lazy_import
24
 
lazy_import(globals(), """
25
 
import os
26
 
 
27
 
from bzrlib import (
28
 
    add,
29
 
    bzrdir,
30
 
    hooks,
31
 
    )
32
 
from bzrlib.osutils import dirname
33
 
from bzrlib.revisiontree import RevisionTree
34
 
from bzrlib.trace import mutter, warning
35
 
""")
36
 
 
37
23
from bzrlib import (
38
24
    errors,
39
25
    osutils,
96
82
        TODO: Perhaps callback with the ids and paths as they're added.
97
83
        """
98
84
        if isinstance(files, basestring):
99
 
            # XXX: Passing a single string is inconsistent and should be
100
 
            # deprecated.
101
 
            if not (ids is None or isinstance(ids, basestring)):
102
 
                raise AssertionError()
103
 
            if not (kinds is None or isinstance(kinds, basestring)):
104
 
                raise AssertionError()
 
85
            assert(ids is None or isinstance(ids, basestring))
 
86
            assert(kinds is None or isinstance(kinds, basestring))
105
87
            files = [files]
106
88
            if ids is not None:
107
89
                ids = [ids]
113
95
        if ids is None:
114
96
            ids = [None] * len(files)
115
97
        else:
116
 
            if not (len(ids) == len(files)):
117
 
                raise AssertionError()
 
98
            assert(len(ids) == len(files))
 
99
            ids = [osutils.safe_file_id(file_id) for file_id in ids]
 
100
 
118
101
        if kinds is None:
119
102
            kinds = [None] * len(files)
120
 
        elif not len(kinds) == len(files):
121
 
            raise AssertionError()
 
103
        else:
 
104
            assert(len(kinds) == len(files))
122
105
        for f in files:
123
106
            # generic constraint checks:
124
107
            if self.is_control_filename(f):
164
147
    def apply_inventory_delta(self, changes):
165
148
        """Apply changes to the inventory as an atomic operation.
166
149
 
167
 
        :param changes: An inventory delta to apply to the working tree's
168
 
            inventory.
169
 
        :return None:
170
 
        :seealso Inventory.apply_delta: For details on the changes parameter.
 
150
        The argument is a set of changes to apply.  It must describe a
 
151
        valid result, but the order is not important.  Specifically,
 
152
        intermediate stages *may* be invalid, such as when two files
 
153
        swap names.
 
154
 
 
155
        The changes should be structured as a list of tuples, of the form
 
156
        (old_path, new_path, file_id, new_entry).  For creation, old_path
 
157
        must be None.  For deletion, new_path and new_entry must be None.
 
158
        file_id is always non-None.  For renames and other mutations, all
 
159
        values must be non-None.
 
160
 
 
161
        If the new_entry is a directory, its children should be an empty
 
162
        dict.  Children are handled by apply_inventory_delta itself.
 
163
 
 
164
        :param changes: A list of tuples for the change to apply:
 
165
            [(old_path, new_path, file_id, new_inventory_entry), ...]
171
166
        """
172
167
        self.flush()
173
168
        inv = self.inventory
174
 
        inv.apply_delta(changes)
 
169
        children = {}
 
170
        for old_path, file_id in sorted(((op, f) for op, np, f, e in changes
 
171
                                        if op is not None), reverse=True):
 
172
            if file_id not in inv:
 
173
                continue
 
174
            children[file_id] = getattr(inv[file_id], 'children', {})
 
175
            inv.remove_recursive_id(file_id)
 
176
        for new_path, new_entry in sorted((np, e) for op, np, f, e in
 
177
                                          changes if np is not None):
 
178
            if getattr(new_entry, 'children', None) is not None:
 
179
                new_entry.children = children.get(new_entry.file_id, {})
 
180
            inv.add(new_entry)
175
181
        self._write_inventory(inv)
176
182
 
177
183
    @needs_write_lock
183
189
            revprops = {}
184
190
        if not 'branch-nick' in revprops:
185
191
            revprops['branch-nick'] = self.branch.nick
186
 
        author = kwargs.pop('author', None)
187
 
        if author is not None:
188
 
            if 'author' in revprops:
189
 
                # XXX: maybe we should just accept one of them?
190
 
                raise AssertionError('author property given twice')
191
 
            revprops['author'] = author
192
192
        # args for wt.commit start at message from the Commit.commit method,
193
193
        args = (message, ) + args
194
 
        for hook in MutableTree.hooks['start_commit']:
195
 
            hook(self)
196
194
        committed_id = commit.Commit().commit(working_tree=self,
197
195
            revprops=revprops, *args, **kwargs)
198
196
        return committed_id
247
245
        """
248
246
        raise NotImplementedError(self.mkdir)
249
247
 
250
 
    @needs_write_lock
251
 
    def put_file_bytes_non_atomic(self, file_id, bytes):
252
 
        """Update the content of a file in the tree.
253
 
        
254
 
        Note that the file is written in-place rather than being
255
 
        written to a temporary location and renamed. As a consequence,
256
 
        readers can potentially see the file half-written.
257
 
 
258
 
        :param file_id: file-id of the file
259
 
        :param bytes: the new file contents
260
 
        """
261
 
        raise NotImplementedError(self.put_file_bytes_non_atomic)
262
 
 
263
248
    def set_parent_ids(self, revision_ids, allow_leftmost_as_ghost=False):
264
249
        """Set the parents ids of the working tree.
265
250
 
275
260
            parent tree - i.e. a ghost.
276
261
        """
277
262
        raise NotImplementedError(self.set_parent_trees)
278
 
 
279
 
    @needs_tree_write_lock
280
 
    def smart_add(self, file_list, recurse=True, action=None, save=True):
281
 
        """Version file_list, optionally recursing into directories.
282
 
 
283
 
        This is designed more towards DWIM for humans than API clarity.
284
 
        For the specific behaviour see the help for cmd_add().
285
 
 
286
 
        :param action: A reporter to be called with the inventory, parent_ie,
287
 
            path and kind of the path being added. It may return a file_id if 
288
 
            a specific one should be used.
289
 
        :param save: Save the inventory after completing the adds. If False
290
 
            this provides dry-run functionality by doing the add and not saving
291
 
            the inventory.
292
 
        :return: A tuple - files_added, ignored_files. files_added is the count
293
 
            of added files, and ignored_files is a dict mapping files that were
294
 
            ignored to the rule that caused them to be ignored.
295
 
        """
296
 
        # not in an inner loop; and we want to remove direct use of this,
297
 
        # so here as a reminder for now. RBC 20070703
298
 
        from bzrlib.inventory import InventoryEntry
299
 
        if action is None:
300
 
            action = add.AddAction()
301
 
        
302
 
        if not file_list:
303
 
            # no paths supplied: add the entire tree.
304
 
            file_list = [u'.']
305
 
        # mutter("smart add of %r")
306
 
        inv = self.inventory
307
 
        added = []
308
 
        ignored = {}
309
 
        dirs_to_add = []
310
 
        user_dirs = set()
311
 
 
312
 
        # validate user file paths and convert all paths to tree 
313
 
        # relative : it's cheaper to make a tree relative path an abspath
314
 
        # than to convert an abspath to tree relative.
315
 
        for filepath in file_list:
316
 
            rf = _FastPath(self.relpath(filepath))
317
 
            # validate user parameters. Our recursive code avoids adding new files
318
 
            # that need such validation 
319
 
            if self.is_control_filename(rf.raw_path):
320
 
                raise errors.ForbiddenControlFileError(filename=rf.raw_path)
321
 
            
322
 
            abspath = self.abspath(rf.raw_path)
323
 
            kind = osutils.file_kind(abspath)
324
 
            if kind == 'directory':
325
 
                # schedule the dir for scanning
326
 
                user_dirs.add(rf)
327
 
            else:
328
 
                if not InventoryEntry.versionable_kind(kind):
329
 
                    raise errors.BadFileKindError(filename=abspath, kind=kind)
330
 
            # ensure the named path is added, so that ignore rules in the later directory
331
 
            # walk dont skip it.
332
 
            # we dont have a parent ie known yet.: use the relatively slower inventory 
333
 
            # probing method
334
 
            versioned = inv.has_filename(rf.raw_path)
335
 
            if versioned:
336
 
                continue
337
 
            added.extend(_add_one_and_parent(self, inv, None, rf, kind, action))
338
 
 
339
 
        if not recurse:
340
 
            # no need to walk any directories at all.
341
 
            if len(added) > 0 and save:
342
 
                self._write_inventory(inv)
343
 
            return added, ignored
344
 
 
345
 
        # only walk the minimal parents needed: we have user_dirs to override
346
 
        # ignores.
347
 
        prev_dir = None
348
 
 
349
 
        is_inside = osutils.is_inside_or_parent_of_any
350
 
        for path in sorted(user_dirs):
351
 
            if (prev_dir is None or not is_inside([prev_dir], path.raw_path)):
352
 
                dirs_to_add.append((path, None))
353
 
            prev_dir = path.raw_path
354
 
 
355
 
        # dirs_to_add is initialised to a list of directories, but as we scan
356
 
        # directories we append files to it.
357
 
        # XXX: We should determine kind of files when we scan them rather than
358
 
        # adding to this list. RBC 20070703
359
 
        for directory, parent_ie in dirs_to_add:
360
 
            # directory is tree-relative
361
 
            abspath = self.abspath(directory.raw_path)
362
 
 
363
 
            # get the contents of this directory.
364
 
 
365
 
            # find the kind of the path being added.
366
 
            kind = osutils.file_kind(abspath)
367
 
 
368
 
            if not InventoryEntry.versionable_kind(kind):
369
 
                warning("skipping %s (can't add file of kind '%s')", abspath, kind)
370
 
                continue
371
 
 
372
 
            if parent_ie is not None:
373
 
                versioned = directory.base_path in parent_ie.children
374
 
            else:
375
 
                # without the parent ie, use the relatively slower inventory 
376
 
                # probing method
377
 
                versioned = inv.has_filename(directory.raw_path)
378
 
 
379
 
            if kind == 'directory':
380
 
                try:
381
 
                    sub_branch = bzrdir.BzrDir.open(abspath)
382
 
                    sub_tree = True
383
 
                except errors.NotBranchError:
384
 
                    sub_tree = False
385
 
                except errors.UnsupportedFormatError:
386
 
                    sub_tree = True
387
 
            else:
388
 
                sub_tree = False
389
 
 
390
 
            if directory.raw_path == '':
391
 
                # mutter("tree root doesn't need to be added")
392
 
                sub_tree = False
393
 
            elif versioned:
394
 
                pass
395
 
                # mutter("%r is already versioned", abspath)
396
 
            elif sub_tree:
397
 
                # XXX: This is wrong; people *might* reasonably be trying to add
398
 
                # subtrees as subtrees.  This should probably only be done in formats 
399
 
                # which can represent subtrees, and even then perhaps only when
400
 
                # the user asked to add subtrees.  At the moment you can add them
401
 
                # specially through 'join --reference', which is perhaps
402
 
                # reasonable: adding a new reference is a special operation and
403
 
                # can have a special behaviour.  mbp 20070306
404
 
                mutter("%r is a nested bzr tree", abspath)
405
 
            else:
406
 
                _add_one(self, inv, parent_ie, directory, kind, action)
407
 
                added.append(directory.raw_path)
408
 
 
409
 
            if kind == 'directory' and not sub_tree:
410
 
                if parent_ie is not None:
411
 
                    # must be present:
412
 
                    this_ie = parent_ie.children[directory.base_path]
413
 
                else:
414
 
                    # without the parent ie, use the relatively slower inventory 
415
 
                    # probing method
416
 
                    this_id = inv.path2id(directory.raw_path)
417
 
                    if this_id is None:
418
 
                        this_ie = None
419
 
                    else:
420
 
                        this_ie = inv[this_id]
421
 
 
422
 
                for subf in sorted(os.listdir(abspath)):
423
 
                    # here we could use TreeDirectory rather than 
424
 
                    # string concatenation.
425
 
                    subp = osutils.pathjoin(directory.raw_path, subf)
426
 
                    # TODO: is_control_filename is very slow. Make it faster. 
427
 
                    # TreeDirectory.is_control_filename could also make this 
428
 
                    # faster - its impossible for a non root dir to have a 
429
 
                    # control file.
430
 
                    if self.is_control_filename(subp):
431
 
                        mutter("skip control directory %r", subp)
432
 
                    elif subf in this_ie.children:
433
 
                        # recurse into this already versioned subdir.
434
 
                        dirs_to_add.append((_FastPath(subp, subf), this_ie))
435
 
                    else:
436
 
                        # user selection overrides ignoes
437
 
                        # ignore while selecting files - if we globbed in the
438
 
                        # outer loop we would ignore user files.
439
 
                        ignore_glob = self.is_ignored(subp)
440
 
                        if ignore_glob is not None:
441
 
                            # mutter("skip ignored sub-file %r", subp)
442
 
                            ignored.setdefault(ignore_glob, []).append(subp)
443
 
                        else:
444
 
                            #mutter("queue to add sub-file %r", subp)
445
 
                            dirs_to_add.append((_FastPath(subp, subf), this_ie))
446
 
 
447
 
        if len(added) > 0:
448
 
            if save:
449
 
                self._write_inventory(inv)
450
 
            else:
451
 
                self.read_working_inventory()
452
 
        return added, ignored
453
 
 
454
 
    def update_basis_by_delta(self, new_revid, delta):
455
 
        """Update the parents of this tree after a commit.
456
 
 
457
 
        This gives the tree one parent, with revision id new_revid. The
458
 
        inventory delta is applied to the current basis tree to generate the
459
 
        inventory for the parent new_revid, and all other parent trees are
460
 
        discarded.
461
 
 
462
 
        All the changes in the delta should be changes synchronising the basis
463
 
        tree with some or all of the working tree, with a change to a directory
464
 
        requiring that its contents have been recursively included. That is,
465
 
        this is not a general purpose tree modification routine, but a helper
466
 
        for commit which is not required to handle situations that do not arise
467
 
        outside of commit.
468
 
 
469
 
        :param new_revid: The new revision id for the trees parent.
470
 
        :param delta: An inventory delta (see apply_inventory_delta) describing
471
 
            the changes from the current left most parent revision to new_revid.
472
 
        """
473
 
        # if the tree is updated by a pull to the branch, as happens in
474
 
        # WorkingTree2, when there was no separation between branch and tree,
475
 
        # then just clear merges, efficiency is not a concern for now as this
476
 
        # is legacy environments only, and they are slow regardless.
477
 
        if self.last_revision() == new_revid:
478
 
            self.set_parent_ids([new_revid])
479
 
            return
480
 
        # generic implementation based on Inventory manipulation. See
481
 
        # WorkingTree classes for optimised versions for specific format trees.
482
 
        basis = self.basis_tree()
483
 
        basis.lock_read()
484
 
        inventory = basis.inventory
485
 
        basis.unlock()
486
 
        inventory.apply_delta(delta)
487
 
        rev_tree = RevisionTree(self.branch.repository, inventory, new_revid)
488
 
        self.set_parent_trees([(new_revid, rev_tree)])
489
 
 
490
 
 
491
 
class MutableTreeHooks(hooks.Hooks):
492
 
    """A dictionary mapping a hook name to a list of callables for mutabletree 
493
 
    hooks.
494
 
    """
495
 
 
496
 
    def __init__(self):
497
 
        """Create the default hooks.
498
 
 
499
 
        """
500
 
        hooks.Hooks.__init__(self)
501
 
        # Invoked before a commit is done in a tree. New in 1.4
502
 
        self['start_commit'] = []
503
 
 
504
 
 
505
 
# install the default hooks into the MutableTree class.
506
 
MutableTree.hooks = MutableTreeHooks()
507
 
 
508
 
 
509
 
class _FastPath(object):
510
 
    """A path object with fast accessors for things like basename."""
511
 
 
512
 
    __slots__ = ['raw_path', 'base_path']
513
 
 
514
 
    def __init__(self, path, base_path=None):
515
 
        """Construct a FastPath from path."""
516
 
        if base_path is None:
517
 
            self.base_path = osutils.basename(path)
518
 
        else:
519
 
            self.base_path = base_path
520
 
        self.raw_path = path
521
 
 
522
 
    def __cmp__(self, other):
523
 
        return cmp(self.raw_path, other.raw_path)
524
 
 
525
 
    def __hash__(self):
526
 
        return hash(self.raw_path)
527
 
 
528
 
 
529
 
def _add_one_and_parent(tree, inv, parent_ie, path, kind, action):
530
 
    """Add a new entry to the inventory and automatically add unversioned parents.
531
 
 
532
 
    :param inv: Inventory which will receive the new entry.
533
 
    :param parent_ie: Parent inventory entry if known, or None.  If
534
 
        None, the parent is looked up by name and used if present, otherwise it
535
 
        is recursively added.
536
 
    :param kind: Kind of new entry (file, directory, etc)
537
 
    :param action: callback(inv, parent_ie, path, kind); return ignored.
538
 
    :return: A list of paths which have been added.
539
 
    """
540
 
    # Nothing to do if path is already versioned.
541
 
    # This is safe from infinite recursion because the tree root is
542
 
    # always versioned.
543
 
    if parent_ie is not None:
544
 
        # we have a parent ie already
545
 
        added = []
546
 
    else:
547
 
        # slower but does not need parent_ie
548
 
        if inv.has_filename(path.raw_path):
549
 
            return []
550
 
        # its really not there : add the parent
551
 
        # note that the dirname use leads to some extra str copying etc but as
552
 
        # there are a limited number of dirs we can be nested under, it should
553
 
        # generally find it very fast and not recurse after that.
554
 
        added = _add_one_and_parent(tree, inv, None,
555
 
            _FastPath(dirname(path.raw_path)), 'directory', action)
556
 
        parent_id = inv.path2id(dirname(path.raw_path))
557
 
        parent_ie = inv[parent_id]
558
 
    _add_one(tree, inv, parent_ie, path, kind, action)
559
 
    return added + [path.raw_path]
560
 
 
561
 
 
562
 
def _add_one(tree, inv, parent_ie, path, kind, file_id_callback):
563
 
    """Add a new entry to the inventory.
564
 
 
565
 
    :param inv: Inventory which will receive the new entry.
566
 
    :param parent_ie: Parent inventory entry.
567
 
    :param kind: Kind of new entry (file, directory, etc)
568
 
    :param file_id_callback: callback(inv, parent_ie, path, kind); return a
569
 
        file_id or None to generate a new file id
570
 
    :returns: None
571
 
    """
572
 
    file_id = file_id_callback(inv, parent_ie, path, kind)
573
 
    entry = inv.make_entry(kind, path.base_path, parent_ie.file_id,
574
 
        file_id=file_id)
575
 
    inv.add(entry)