~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/mutabletree.py

  • Committer: Martin Pool
  • Date: 2007-04-04 06:17:31 UTC
  • mto: This revision was merged to the branch mainline in revision 2397.
  • Revision ID: mbp@sourcefrog.net-20070404061731-tt2xrzllqhbodn83
Contents of TODO file moved into bug tracker

Show diffs side-by-side

added added

removed removed

Lines of Context:
20
20
"""
21
21
 
22
22
 
23
 
from bzrlib.lazy_import import lazy_import
24
 
lazy_import(globals(), """
25
 
import os
26
 
 
27
 
from bzrlib import (
28
 
    add,
29
 
    bzrdir,
30
 
    hooks,
31
 
    )
32
 
from bzrlib.osutils import dirname
33
 
from bzrlib.revisiontree import RevisionTree
34
 
from bzrlib.trace import mutter, warning
35
 
""")
36
 
 
37
23
from bzrlib import (
38
24
    errors,
39
25
    osutils,
75
61
    A mutable tree always has an associated Branch and BzrDir object - the
76
62
    branch and bzrdir attributes.
77
63
    """
78
 
    def __init__(self, *args, **kw):
79
 
        super(MutableTree, self).__init__(*args, **kw)
80
 
        # Is this tree on a case-insensitive or case-preserving file-system?
81
 
        # Sub-classes may initialize to False if they detect they are being
82
 
        # used on media which doesn't differentiate the case of names.
83
 
        self.case_sensitive = True
84
64
 
85
65
    @needs_tree_write_lock
86
66
    def add(self, files, ids=None, kinds=None):
102
82
        TODO: Perhaps callback with the ids and paths as they're added.
103
83
        """
104
84
        if isinstance(files, basestring):
105
 
            # XXX: Passing a single string is inconsistent and should be
106
 
            # deprecated.
107
 
            if not (ids is None or isinstance(ids, basestring)):
108
 
                raise AssertionError()
109
 
            if not (kinds is None or isinstance(kinds, basestring)):
110
 
                raise AssertionError()
 
85
            assert(ids is None or isinstance(ids, basestring))
 
86
            assert(kinds is None or isinstance(kinds, basestring))
111
87
            files = [files]
112
88
            if ids is not None:
113
89
                ids = [ids]
119
95
        if ids is None:
120
96
            ids = [None] * len(files)
121
97
        else:
122
 
            if not (len(ids) == len(files)):
123
 
                raise AssertionError()
 
98
            assert(len(ids) == len(files))
 
99
            ids = [osutils.safe_file_id(file_id) for file_id in ids]
 
100
 
124
101
        if kinds is None:
125
102
            kinds = [None] * len(files)
126
 
        elif not len(kinds) == len(files):
127
 
            raise AssertionError()
 
103
        else:
 
104
            assert(len(kinds) == len(files))
128
105
        for f in files:
129
106
            # generic constraint checks:
130
107
            if self.is_control_filename(f):
170
147
    def apply_inventory_delta(self, changes):
171
148
        """Apply changes to the inventory as an atomic operation.
172
149
 
173
 
        :param changes: An inventory delta to apply to the working tree's
174
 
            inventory.
175
 
        :return None:
176
 
        :seealso Inventory.apply_delta: For details on the changes parameter.
 
150
        The argument is a set of changes to apply.  It must describe a
 
151
        valid result, but the order is not important.  Specifically,
 
152
        intermediate stages *may* be invalid, such as when two files
 
153
        swap names.
 
154
 
 
155
        The changes should be structured as a list of tuples, of the form
 
156
        (old_path, new_path, file_id, new_entry).  For creation, old_path
 
157
        must be None.  For deletion, new_path and new_entry must be None.
 
158
        file_id is always non-None.  For renames and other mutations, all
 
159
        values must be non-None.
 
160
 
 
161
        If the new_entry is a directory, its children should be an empty
 
162
        dict.  Children are handled by apply_inventory_delta itself.
 
163
 
 
164
        :param changes: A list of tuples for the change to apply:
 
165
            [(old_path, new_path, file_id, new_inventory_entry), ...]
177
166
        """
178
167
        self.flush()
179
168
        inv = self.inventory
180
 
        inv.apply_delta(changes)
 
169
        children = {}
 
170
        for old_path, file_id in sorted(((op, f) for op, np, f, e in changes
 
171
                                        if op is not None), reverse=True):
 
172
            if file_id not in inv:
 
173
                continue
 
174
            children[file_id] = getattr(inv[file_id], 'children', {})
 
175
            inv.remove_recursive_id(file_id)
 
176
        for new_path, new_entry in sorted((np, e) for op, np, f, e in
 
177
                                          changes if np is not None):
 
178
            if getattr(new_entry, 'children', None) is not None:
 
179
                new_entry.children = children.get(new_entry.file_id, {})
 
180
            inv.add(new_entry)
181
181
        self._write_inventory(inv)
182
182
 
183
183
    @needs_write_lock
187
187
        from bzrlib import commit
188
188
        if revprops is None:
189
189
            revprops = {}
190
 
        possible_master_transports=[]
191
190
        if not 'branch-nick' in revprops:
192
 
            revprops['branch-nick'] = self.branch._get_nick(
193
 
                kwargs.get('local', False),
194
 
                possible_master_transports)
195
 
        author = kwargs.pop('author', None)
196
 
        if author is not None:
197
 
            if 'author' in revprops:
198
 
                # XXX: maybe we should just accept one of them?
199
 
                raise AssertionError('author property given twice')
200
 
            revprops['author'] = author
 
191
            revprops['branch-nick'] = self.branch.nick
201
192
        # args for wt.commit start at message from the Commit.commit method,
202
193
        args = (message, ) + args
203
 
        for hook in MutableTree.hooks['start_commit']:
204
 
            hook(self)
205
194
        committed_id = commit.Commit().commit(working_tree=self,
206
 
            revprops=revprops,
207
 
            possible_master_transports=possible_master_transports,
208
 
            *args, **kwargs)
 
195
            revprops=revprops, *args, **kwargs)
209
196
        return committed_id
210
197
 
211
198
    def _gather_kinds(self, files, kinds):
212
199
        """Helper function for add - sets the entries of kinds."""
213
200
        raise NotImplementedError(self._gather_kinds)
214
201
 
215
 
    def get_file_with_stat(self, file_id, path=None):
216
 
        """Get a file handle and stat object for file_id.
217
 
 
218
 
        The default implementation returns (self.get_file, None) for backwards
219
 
        compatibility.
220
 
 
221
 
        :param file_id: The file id to read.
222
 
        :param path: The path of the file, if it is known.
223
 
        :return: A tuple (file_handle, stat_value_or_None). If the tree has
224
 
            no stat facility, or need for a stat cache feedback during commit,
225
 
            it may return None for the second element of the tuple.
226
 
        """
227
 
        return (self.get_file(file_id, path), None)
228
 
 
229
202
    @needs_read_lock
230
203
    def last_revision(self):
231
204
        """Return the revision id of the last commit performed in this tree.
272
245
        """
273
246
        raise NotImplementedError(self.mkdir)
274
247
 
275
 
    def _observed_sha1(self, file_id, path, (sha1, stat_value)):
276
 
        """Tell the tree we have observed a paths sha1.
277
 
 
278
 
        The intent of this function is to allow trees that have a hashcache to
279
 
        update the hashcache during commit. If the observed file is too new
280
 
        (based on the stat_value) to be safely hash-cached the tree will ignore
281
 
        it. 
282
 
 
283
 
        The default implementation does nothing.
284
 
 
285
 
        :param file_id: The file id
286
 
        :param path: The file path
287
 
        :param sha1: The sha 1 that was observed.
288
 
        :param stat_value: A stat result for the file the sha1 was read from.
289
 
        :return: None
290
 
        """
291
 
 
292
 
    def _fix_case_of_inventory_path(self, path):
293
 
        """If our tree isn't case sensitive, return the canonical path"""
294
 
        if not self.case_sensitive:
295
 
            path = self.get_canonical_inventory_path(path)
296
 
        return path
297
 
 
298
 
    @needs_write_lock
299
 
    def put_file_bytes_non_atomic(self, file_id, bytes):
300
 
        """Update the content of a file in the tree.
301
 
        
302
 
        Note that the file is written in-place rather than being
303
 
        written to a temporary location and renamed. As a consequence,
304
 
        readers can potentially see the file half-written.
305
 
 
306
 
        :param file_id: file-id of the file
307
 
        :param bytes: the new file contents
308
 
        """
309
 
        raise NotImplementedError(self.put_file_bytes_non_atomic)
310
 
 
311
 
    def set_parent_ids(self, revision_ids, allow_leftmost_as_ghost=False):
312
 
        """Set the parents ids of the working tree.
313
 
 
314
 
        :param revision_ids: A list of revision_ids.
315
 
        """
316
 
        raise NotImplementedError(self.set_parent_ids)
317
 
 
318
248
    def set_parent_trees(self, parents_list, allow_leftmost_as_ghost=False):
319
249
        """Set the parents of the working tree.
320
250
 
323
253
            parent tree - i.e. a ghost.
324
254
        """
325
255
        raise NotImplementedError(self.set_parent_trees)
326
 
 
327
 
    @needs_tree_write_lock
328
 
    def smart_add(self, file_list, recurse=True, action=None, save=True):
329
 
        """Version file_list, optionally recursing into directories.
330
 
 
331
 
        This is designed more towards DWIM for humans than API clarity.
332
 
        For the specific behaviour see the help for cmd_add().
333
 
 
334
 
        :param action: A reporter to be called with the inventory, parent_ie,
335
 
            path and kind of the path being added. It may return a file_id if 
336
 
            a specific one should be used.
337
 
        :param save: Save the inventory after completing the adds. If False
338
 
            this provides dry-run functionality by doing the add and not saving
339
 
            the inventory.
340
 
        :return: A tuple - files_added, ignored_files. files_added is the count
341
 
            of added files, and ignored_files is a dict mapping files that were
342
 
            ignored to the rule that caused them to be ignored.
343
 
        """
344
 
        # not in an inner loop; and we want to remove direct use of this,
345
 
        # so here as a reminder for now. RBC 20070703
346
 
        from bzrlib.inventory import InventoryEntry
347
 
        if action is None:
348
 
            action = add.AddAction()
349
 
        
350
 
        if not file_list:
351
 
            # no paths supplied: add the entire tree.
352
 
            file_list = [u'.']
353
 
        # mutter("smart add of %r")
354
 
        inv = self.inventory
355
 
        added = []
356
 
        ignored = {}
357
 
        dirs_to_add = []
358
 
        user_dirs = set()
359
 
 
360
 
        # validate user file paths and convert all paths to tree 
361
 
        # relative : it's cheaper to make a tree relative path an abspath
362
 
        # than to convert an abspath to tree relative, and it's cheaper to
363
 
        # perform the canonicalization in bulk.
364
 
        for filepath in osutils.canonical_relpaths(self.basedir, file_list):
365
 
            rf = _FastPath(filepath)
366
 
            # validate user parameters. Our recursive code avoids adding new files
367
 
            # that need such validation 
368
 
            if self.is_control_filename(rf.raw_path):
369
 
                raise errors.ForbiddenControlFileError(filename=rf.raw_path)
370
 
            
371
 
            abspath = self.abspath(rf.raw_path)
372
 
            kind = osutils.file_kind(abspath)
373
 
            if kind == 'directory':
374
 
                # schedule the dir for scanning
375
 
                user_dirs.add(rf)
376
 
            else:
377
 
                if not InventoryEntry.versionable_kind(kind):
378
 
                    raise errors.BadFileKindError(filename=abspath, kind=kind)
379
 
            # ensure the named path is added, so that ignore rules in the later directory
380
 
            # walk dont skip it.
381
 
            # we dont have a parent ie known yet.: use the relatively slower inventory 
382
 
            # probing method
383
 
            versioned = inv.has_filename(rf.raw_path)
384
 
            if versioned:
385
 
                continue
386
 
            added.extend(_add_one_and_parent(self, inv, None, rf, kind, action))
387
 
 
388
 
        if not recurse:
389
 
            # no need to walk any directories at all.
390
 
            if len(added) > 0 and save:
391
 
                self._write_inventory(inv)
392
 
            return added, ignored
393
 
 
394
 
        # only walk the minimal parents needed: we have user_dirs to override
395
 
        # ignores.
396
 
        prev_dir = None
397
 
 
398
 
        is_inside = osutils.is_inside_or_parent_of_any
399
 
        for path in sorted(user_dirs):
400
 
            if (prev_dir is None or not is_inside([prev_dir], path.raw_path)):
401
 
                dirs_to_add.append((path, None))
402
 
            prev_dir = path.raw_path
403
 
 
404
 
        # dirs_to_add is initialised to a list of directories, but as we scan
405
 
        # directories we append files to it.
406
 
        # XXX: We should determine kind of files when we scan them rather than
407
 
        # adding to this list. RBC 20070703
408
 
        for directory, parent_ie in dirs_to_add:
409
 
            # directory is tree-relative
410
 
            abspath = self.abspath(directory.raw_path)
411
 
 
412
 
            # get the contents of this directory.
413
 
 
414
 
            # find the kind of the path being added.
415
 
            kind = osutils.file_kind(abspath)
416
 
 
417
 
            if not InventoryEntry.versionable_kind(kind):
418
 
                warning("skipping %s (can't add file of kind '%s')", abspath, kind)
419
 
                continue
420
 
 
421
 
            if parent_ie is not None:
422
 
                versioned = directory.base_path in parent_ie.children
423
 
            else:
424
 
                # without the parent ie, use the relatively slower inventory 
425
 
                # probing method
426
 
                versioned = inv.has_filename(
427
 
                        self._fix_case_of_inventory_path(directory.raw_path))
428
 
 
429
 
            if kind == 'directory':
430
 
                try:
431
 
                    sub_branch = bzrdir.BzrDir.open(abspath)
432
 
                    sub_tree = True
433
 
                except errors.NotBranchError:
434
 
                    sub_tree = False
435
 
                except errors.UnsupportedFormatError:
436
 
                    sub_tree = True
437
 
            else:
438
 
                sub_tree = False
439
 
 
440
 
            if directory.raw_path == '':
441
 
                # mutter("tree root doesn't need to be added")
442
 
                sub_tree = False
443
 
            elif versioned:
444
 
                pass
445
 
                # mutter("%r is already versioned", abspath)
446
 
            elif sub_tree:
447
 
                # XXX: This is wrong; people *might* reasonably be trying to add
448
 
                # subtrees as subtrees.  This should probably only be done in formats 
449
 
                # which can represent subtrees, and even then perhaps only when
450
 
                # the user asked to add subtrees.  At the moment you can add them
451
 
                # specially through 'join --reference', which is perhaps
452
 
                # reasonable: adding a new reference is a special operation and
453
 
                # can have a special behaviour.  mbp 20070306
454
 
                mutter("%r is a nested bzr tree", abspath)
455
 
            else:
456
 
                _add_one(self, inv, parent_ie, directory, kind, action)
457
 
                added.append(directory.raw_path)
458
 
 
459
 
            if kind == 'directory' and not sub_tree:
460
 
                if parent_ie is not None:
461
 
                    # must be present:
462
 
                    this_ie = parent_ie.children[directory.base_path]
463
 
                else:
464
 
                    # without the parent ie, use the relatively slower inventory 
465
 
                    # probing method
466
 
                    this_id = inv.path2id(
467
 
                            self._fix_case_of_inventory_path(directory.raw_path))
468
 
                    if this_id is None:
469
 
                        this_ie = None
470
 
                    else:
471
 
                        this_ie = inv[this_id]
472
 
 
473
 
                for subf in sorted(os.listdir(abspath)):
474
 
                    # here we could use TreeDirectory rather than 
475
 
                    # string concatenation.
476
 
                    subp = osutils.pathjoin(directory.raw_path, subf)
477
 
                    # TODO: is_control_filename is very slow. Make it faster. 
478
 
                    # TreeDirectory.is_control_filename could also make this 
479
 
                    # faster - its impossible for a non root dir to have a 
480
 
                    # control file.
481
 
                    if self.is_control_filename(subp):
482
 
                        mutter("skip control directory %r", subp)
483
 
                    elif subf in this_ie.children:
484
 
                        # recurse into this already versioned subdir.
485
 
                        dirs_to_add.append((_FastPath(subp, subf), this_ie))
486
 
                    else:
487
 
                        # user selection overrides ignoes
488
 
                        # ignore while selecting files - if we globbed in the
489
 
                        # outer loop we would ignore user files.
490
 
                        ignore_glob = self.is_ignored(subp)
491
 
                        if ignore_glob is not None:
492
 
                            # mutter("skip ignored sub-file %r", subp)
493
 
                            ignored.setdefault(ignore_glob, []).append(subp)
494
 
                        else:
495
 
                            #mutter("queue to add sub-file %r", subp)
496
 
                            dirs_to_add.append((_FastPath(subp, subf), this_ie))
497
 
 
498
 
        if len(added) > 0:
499
 
            if save:
500
 
                self._write_inventory(inv)
501
 
            else:
502
 
                self.read_working_inventory()
503
 
        return added, ignored
504
 
 
505
 
    def update_basis_by_delta(self, new_revid, delta):
506
 
        """Update the parents of this tree after a commit.
507
 
 
508
 
        This gives the tree one parent, with revision id new_revid. The
509
 
        inventory delta is applied to the current basis tree to generate the
510
 
        inventory for the parent new_revid, and all other parent trees are
511
 
        discarded.
512
 
 
513
 
        All the changes in the delta should be changes synchronising the basis
514
 
        tree with some or all of the working tree, with a change to a directory
515
 
        requiring that its contents have been recursively included. That is,
516
 
        this is not a general purpose tree modification routine, but a helper
517
 
        for commit which is not required to handle situations that do not arise
518
 
        outside of commit.
519
 
 
520
 
        :param new_revid: The new revision id for the trees parent.
521
 
        :param delta: An inventory delta (see apply_inventory_delta) describing
522
 
            the changes from the current left most parent revision to new_revid.
523
 
        """
524
 
        # if the tree is updated by a pull to the branch, as happens in
525
 
        # WorkingTree2, when there was no separation between branch and tree,
526
 
        # then just clear merges, efficiency is not a concern for now as this
527
 
        # is legacy environments only, and they are slow regardless.
528
 
        if self.last_revision() == new_revid:
529
 
            self.set_parent_ids([new_revid])
530
 
            return
531
 
        # generic implementation based on Inventory manipulation. See
532
 
        # WorkingTree classes for optimised versions for specific format trees.
533
 
        basis = self.basis_tree()
534
 
        basis.lock_read()
535
 
        inventory = basis.inventory
536
 
        basis.unlock()
537
 
        inventory.apply_delta(delta)
538
 
        rev_tree = RevisionTree(self.branch.repository, inventory, new_revid)
539
 
        self.set_parent_trees([(new_revid, rev_tree)])
540
 
 
541
 
 
542
 
class MutableTreeHooks(hooks.Hooks):
543
 
    """A dictionary mapping a hook name to a list of callables for mutabletree 
544
 
    hooks.
545
 
    """
546
 
 
547
 
    def __init__(self):
548
 
        """Create the default hooks.
549
 
 
550
 
        """
551
 
        hooks.Hooks.__init__(self)
552
 
        # Invoked before a commit is done in a tree. New in 1.4
553
 
        self['start_commit'] = []
554
 
 
555
 
 
556
 
# install the default hooks into the MutableTree class.
557
 
MutableTree.hooks = MutableTreeHooks()
558
 
 
559
 
 
560
 
class _FastPath(object):
561
 
    """A path object with fast accessors for things like basename."""
562
 
 
563
 
    __slots__ = ['raw_path', 'base_path']
564
 
 
565
 
    def __init__(self, path, base_path=None):
566
 
        """Construct a FastPath from path."""
567
 
        if base_path is None:
568
 
            self.base_path = osutils.basename(path)
569
 
        else:
570
 
            self.base_path = base_path
571
 
        self.raw_path = path
572
 
 
573
 
    def __cmp__(self, other):
574
 
        return cmp(self.raw_path, other.raw_path)
575
 
 
576
 
    def __hash__(self):
577
 
        return hash(self.raw_path)
578
 
 
579
 
 
580
 
def _add_one_and_parent(tree, inv, parent_ie, path, kind, action):
581
 
    """Add a new entry to the inventory and automatically add unversioned parents.
582
 
 
583
 
    :param inv: Inventory which will receive the new entry.
584
 
    :param parent_ie: Parent inventory entry if known, or None.  If
585
 
        None, the parent is looked up by name and used if present, otherwise it
586
 
        is recursively added.
587
 
    :param kind: Kind of new entry (file, directory, etc)
588
 
    :param action: callback(inv, parent_ie, path, kind); return ignored.
589
 
    :return: A list of paths which have been added.
590
 
    """
591
 
    # Nothing to do if path is already versioned.
592
 
    # This is safe from infinite recursion because the tree root is
593
 
    # always versioned.
594
 
    if parent_ie is not None:
595
 
        # we have a parent ie already
596
 
        added = []
597
 
    else:
598
 
        # slower but does not need parent_ie
599
 
        if inv.has_filename(tree._fix_case_of_inventory_path(path.raw_path)):
600
 
            return []
601
 
        # its really not there : add the parent
602
 
        # note that the dirname use leads to some extra str copying etc but as
603
 
        # there are a limited number of dirs we can be nested under, it should
604
 
        # generally find it very fast and not recurse after that.
605
 
        added = _add_one_and_parent(tree, inv, None,
606
 
            _FastPath(dirname(path.raw_path)), 'directory', action)
607
 
        parent_id = inv.path2id(dirname(path.raw_path))
608
 
        parent_ie = inv[parent_id]
609
 
    _add_one(tree, inv, parent_ie, path, kind, action)
610
 
    return added + [path.raw_path]
611
 
 
612
 
 
613
 
def _add_one(tree, inv, parent_ie, path, kind, file_id_callback):
614
 
    """Add a new entry to the inventory.
615
 
 
616
 
    :param inv: Inventory which will receive the new entry.
617
 
    :param parent_ie: Parent inventory entry.
618
 
    :param kind: Kind of new entry (file, directory, etc)
619
 
    :param file_id_callback: callback(inv, parent_ie, path, kind); return a
620
 
        file_id or None to generate a new file id
621
 
    :returns: None
622
 
    """
623
 
    file_id = file_id_callback(inv, parent_ie, path, kind)
624
 
    entry = inv.make_entry(kind, path.base_path, parent_ie.file_id,
625
 
        file_id=file_id)
626
 
    inv.add(entry)