~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/mutabletree.py

  • Committer: Robert Collins
  • Date: 2006-05-04 10:36:13 UTC
  • mto: (1697.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 1701.
  • Revision ID: robertc@robertcollins.net-20060504103613-bf4d13f925aa8520
Extend LockableFiles to support break_lock() calls.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2011 Canonical Ltd
2
 
#
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
#
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
#
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
17
 
"""MutableTree object.
18
 
 
19
 
See MutableTree for more details.
20
 
"""
21
 
 
22
 
 
23
 
from bzrlib.lazy_import import lazy_import
24
 
lazy_import(globals(), """
25
 
import operator
26
 
import os
27
 
import re
28
 
 
29
 
from bzrlib import (
30
 
    add,
31
 
    controldir,
32
 
    errors,
33
 
    hooks,
34
 
    inventory as _mod_inventory,
35
 
    osutils,
36
 
    revisiontree,
37
 
    trace,
38
 
    transport as _mod_transport,
39
 
    tree,
40
 
    )
41
 
""")
42
 
 
43
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
44
 
 
45
 
 
46
 
def needs_tree_write_lock(unbound):
47
 
    """Decorate unbound to take out and release a tree_write lock."""
48
 
    def tree_write_locked(self, *args, **kwargs):
49
 
        self.lock_tree_write()
50
 
        try:
51
 
            return unbound(self, *args, **kwargs)
52
 
        finally:
53
 
            self.unlock()
54
 
    tree_write_locked.__doc__ = unbound.__doc__
55
 
    tree_write_locked.__name__ = unbound.__name__
56
 
    return tree_write_locked
57
 
 
58
 
 
59
 
class MutableTree(tree.Tree):
60
 
    """A MutableTree is a specialisation of Tree which is able to be mutated.
61
 
 
62
 
    Generally speaking these mutations are only possible within a lock_write
63
 
    context, and will revert if the lock is broken abnormally - but this cannot
64
 
    be guaranteed - depending on the exact implementation of the mutable state.
65
 
 
66
 
    The most common form of Mutable Tree is WorkingTree, see bzrlib.workingtree.
67
 
    For tests we also have MemoryTree which is a MutableTree whose contents are
68
 
    entirely in memory.
69
 
 
70
 
    For now, we are not treating MutableTree as an interface to provide
71
 
    conformance tests for - rather we are testing MemoryTree specifically, and
72
 
    interface testing implementations of WorkingTree.
73
 
 
74
 
    A mutable tree always has an associated Branch and BzrDir object - the
75
 
    branch and bzrdir attributes.
76
 
    """
77
 
    def __init__(self, *args, **kw):
78
 
        super(MutableTree, self).__init__(*args, **kw)
79
 
        # Is this tree on a case-insensitive or case-preserving file-system?
80
 
        # Sub-classes may initialize to False if they detect they are being
81
 
        # used on media which doesn't differentiate the case of names.
82
 
        self.case_sensitive = True
83
 
 
84
 
    def is_control_filename(self, filename):
85
 
        """True if filename is the name of a control file in this tree.
86
 
 
87
 
        :param filename: A filename within the tree. This is a relative path
88
 
            from the root of this tree.
89
 
 
90
 
        This is true IF and ONLY IF the filename is part of the meta data
91
 
        that bzr controls in this tree. I.E. a random .bzr directory placed
92
 
        on disk will not be a control file for this tree.
93
 
        """
94
 
        raise NotImplementedError(self.is_control_filename)
95
 
 
96
 
    @needs_tree_write_lock
97
 
    def add(self, files, ids=None, kinds=None):
98
 
        """Add paths to the set of versioned paths.
99
 
 
100
 
        Note that the command line normally calls smart_add instead,
101
 
        which can automatically recurse.
102
 
 
103
 
        This adds the files to the inventory, so that they will be
104
 
        recorded by the next commit.
105
 
 
106
 
        :param files: List of paths to add, relative to the base of the tree.
107
 
        :param ids: If set, use these instead of automatically generated ids.
108
 
            Must be the same length as the list of files, but may
109
 
            contain None for ids that are to be autogenerated.
110
 
        :param kinds: Optional parameter to specify the kinds to be used for
111
 
            each file.
112
 
 
113
 
        TODO: Perhaps callback with the ids and paths as they're added.
114
 
        """
115
 
        if isinstance(files, basestring):
116
 
            # XXX: Passing a single string is inconsistent and should be
117
 
            # deprecated.
118
 
            if not (ids is None or isinstance(ids, basestring)):
119
 
                raise AssertionError()
120
 
            if not (kinds is None or isinstance(kinds, basestring)):
121
 
                raise AssertionError()
122
 
            files = [files]
123
 
            if ids is not None:
124
 
                ids = [ids]
125
 
            if kinds is not None:
126
 
                kinds = [kinds]
127
 
 
128
 
        files = [path.strip('/') for path in files]
129
 
 
130
 
        if ids is None:
131
 
            ids = [None] * len(files)
132
 
        else:
133
 
            if not (len(ids) == len(files)):
134
 
                raise AssertionError()
135
 
        if kinds is None:
136
 
            kinds = [None] * len(files)
137
 
        elif not len(kinds) == len(files):
138
 
            raise AssertionError()
139
 
        for f in files:
140
 
            # generic constraint checks:
141
 
            if self.is_control_filename(f):
142
 
                raise errors.ForbiddenControlFileError(filename=f)
143
 
            fp = osutils.splitpath(f)
144
 
        # fill out file kinds for all files [not needed when we stop
145
 
        # caring about the instantaneous file kind within a uncommmitted tree
146
 
        #
147
 
        self._gather_kinds(files, kinds)
148
 
        self._add(files, ids, kinds)
149
 
 
150
 
    def add_reference(self, sub_tree):
151
 
        """Add a TreeReference to the tree, pointing at sub_tree"""
152
 
        raise errors.UnsupportedOperation(self.add_reference, self)
153
 
 
154
 
    def _add_reference(self, sub_tree):
155
 
        """Standard add_reference implementation, for use by subclasses"""
156
 
        try:
157
 
            sub_tree_path = self.relpath(sub_tree.basedir)
158
 
        except errors.PathNotChild:
159
 
            raise errors.BadReferenceTarget(self, sub_tree,
160
 
                                            'Target not inside tree.')
161
 
        sub_tree_id = sub_tree.get_root_id()
162
 
        if sub_tree_id == self.get_root_id():
163
 
            raise errors.BadReferenceTarget(self, sub_tree,
164
 
                                     'Trees have the same root id.')
165
 
        if sub_tree_id in self:
166
 
            raise errors.BadReferenceTarget(self, sub_tree,
167
 
                                            'Root id already present in tree')
168
 
        self._add([sub_tree_path], [sub_tree_id], ['tree-reference'])
169
 
 
170
 
    def _add(self, files, ids, kinds):
171
 
        """Helper function for add - updates the inventory.
172
 
 
173
 
        :param files: sequence of pathnames, relative to the tree root
174
 
        :param ids: sequence of suggested ids for the files (may be None)
175
 
        :param kinds: sequence of  inventory kinds of the files (i.e. may
176
 
            contain "tree-reference")
177
 
        """
178
 
        raise NotImplementedError(self._add)
179
 
 
180
 
    def apply_inventory_delta(self, changes):
181
 
        """Apply changes to the inventory as an atomic operation.
182
 
 
183
 
        :param changes: An inventory delta to apply to the working tree's
184
 
            inventory.
185
 
        :return None:
186
 
        :seealso Inventory.apply_delta: For details on the changes parameter.
187
 
        """
188
 
        raise NotImplementedError(self.apply_inventory_delta)
189
 
 
190
 
    @needs_write_lock
191
 
    def commit(self, message=None, revprops=None, *args,
192
 
               **kwargs):
193
 
        # avoid circular imports
194
 
        from bzrlib import commit
195
 
        possible_master_transports=[]
196
 
        revprops = commit.Commit.update_revprops(
197
 
                revprops,
198
 
                self.branch,
199
 
                kwargs.pop('authors', None),
200
 
                kwargs.pop('author', None),
201
 
                kwargs.get('local', False),
202
 
                possible_master_transports)
203
 
        # args for wt.commit start at message from the Commit.commit method,
204
 
        args = (message, ) + args
205
 
        for hook in MutableTree.hooks['start_commit']:
206
 
            hook(self)
207
 
        committed_id = commit.Commit().commit(working_tree=self,
208
 
            revprops=revprops,
209
 
            possible_master_transports=possible_master_transports,
210
 
            *args, **kwargs)
211
 
        post_hook_params = PostCommitHookParams(self)
212
 
        for hook in MutableTree.hooks['post_commit']:
213
 
            hook(post_hook_params)
214
 
        return committed_id
215
 
 
216
 
    def _gather_kinds(self, files, kinds):
217
 
        """Helper function for add - sets the entries of kinds."""
218
 
        raise NotImplementedError(self._gather_kinds)
219
 
 
220
 
    @needs_read_lock
221
 
    def has_changes(self, _from_tree=None):
222
 
        """Quickly check that the tree contains at least one commitable change.
223
 
 
224
 
        :param _from_tree: tree to compare against to find changes (default to
225
 
            the basis tree and is intended to be used by tests).
226
 
 
227
 
        :return: True if a change is found. False otherwise
228
 
        """
229
 
        # Check pending merges
230
 
        if len(self.get_parent_ids()) > 1:
231
 
            return True
232
 
        if _from_tree is None:
233
 
            _from_tree = self.basis_tree()
234
 
        changes = self.iter_changes(_from_tree)
235
 
        try:
236
 
            change = changes.next()
237
 
            # Exclude root (talk about black magic... --vila 20090629)
238
 
            if change[4] == (None, None):
239
 
                change = changes.next()
240
 
            return True
241
 
        except StopIteration:
242
 
            # No changes
243
 
            return False
244
 
 
245
 
    @needs_read_lock
246
 
    def check_changed_or_out_of_date(self, strict, opt_name,
247
 
                                     more_error, more_warning):
248
 
        """Check the tree for uncommitted changes and branch synchronization.
249
 
 
250
 
        If strict is None and not set in the config files, a warning is issued.
251
 
        If strict is True, an error is raised.
252
 
        If strict is False, no checks are done and no warning is issued.
253
 
 
254
 
        :param strict: True, False or None, searched in branch config if None.
255
 
 
256
 
        :param opt_name: strict option name to search in config file.
257
 
 
258
 
        :param more_error: Details about how to avoid the check.
259
 
 
260
 
        :param more_warning: Details about what is happening.
261
 
        """
262
 
        if strict is None:
263
 
            strict = self.branch.get_config().get_user_option_as_bool(opt_name)
264
 
        if strict is not False:
265
 
            err_class = None
266
 
            if (self.has_changes()):
267
 
                err_class = errors.UncommittedChanges
268
 
            elif self.last_revision() != self.branch.last_revision():
269
 
                # The tree has lost sync with its branch, there is little
270
 
                # chance that the user is aware of it but he can still force
271
 
                # the action with --no-strict
272
 
                err_class = errors.OutOfDateTree
273
 
            if err_class is not None:
274
 
                if strict is None:
275
 
                    err = err_class(self, more=more_warning)
276
 
                    # We don't want to interrupt the user if he expressed no
277
 
                    # preference about strict.
278
 
                    trace.warning('%s', err._format())
279
 
                else:
280
 
                    err = err_class(self, more=more_error)
281
 
                    raise err
282
 
 
283
 
    @needs_read_lock
284
 
    def last_revision(self):
285
 
        """Return the revision id of the last commit performed in this tree.
286
 
 
287
 
        In early tree formats the result of last_revision is the same as the
288
 
        branch last_revision, but that is no longer the case for modern tree
289
 
        formats.
290
 
 
291
 
        last_revision returns the left most parent id, or None if there are no
292
 
        parents.
293
 
 
294
 
        last_revision was deprecated as of 0.11. Please use get_parent_ids
295
 
        instead.
296
 
        """
297
 
        raise NotImplementedError(self.last_revision)
298
 
 
299
 
    def lock_tree_write(self):
300
 
        """Lock the working tree for write, and the branch for read.
301
 
 
302
 
        This is useful for operations which only need to mutate the working
303
 
        tree. Taking out branch write locks is a relatively expensive process
304
 
        and may fail if the branch is on read only media. So branch write locks
305
 
        should only be taken out when we are modifying branch data - such as in
306
 
        operations like commit, pull, uncommit and update.
307
 
        """
308
 
        raise NotImplementedError(self.lock_tree_write)
309
 
 
310
 
    def lock_write(self):
311
 
        """Lock the tree and its branch. This allows mutating calls to be made.
312
 
 
313
 
        Some mutating methods will take out implicit write locks, but in
314
 
        general you should always obtain a write lock before calling mutating
315
 
        methods on a tree.
316
 
        """
317
 
        raise NotImplementedError(self.lock_write)
318
 
 
319
 
    @needs_write_lock
320
 
    def mkdir(self, path, file_id=None):
321
 
        """Create a directory in the tree. if file_id is None, one is assigned.
322
 
 
323
 
        :param path: A unicode file path.
324
 
        :param file_id: An optional file-id.
325
 
        :return: the file id of the new directory.
326
 
        """
327
 
        raise NotImplementedError(self.mkdir)
328
 
 
329
 
    def _observed_sha1(self, file_id, path, (sha1, stat_value)):
330
 
        """Tell the tree we have observed a paths sha1.
331
 
 
332
 
        The intent of this function is to allow trees that have a hashcache to
333
 
        update the hashcache during commit. If the observed file is too new
334
 
        (based on the stat_value) to be safely hash-cached the tree will ignore
335
 
        it.
336
 
 
337
 
        The default implementation does nothing.
338
 
 
339
 
        :param file_id: The file id
340
 
        :param path: The file path
341
 
        :param sha1: The sha 1 that was observed.
342
 
        :param stat_value: A stat result for the file the sha1 was read from.
343
 
        :return: None
344
 
        """
345
 
 
346
 
    @needs_write_lock
347
 
    def put_file_bytes_non_atomic(self, file_id, bytes):
348
 
        """Update the content of a file in the tree.
349
 
 
350
 
        Note that the file is written in-place rather than being
351
 
        written to a temporary location and renamed. As a consequence,
352
 
        readers can potentially see the file half-written.
353
 
 
354
 
        :param file_id: file-id of the file
355
 
        :param bytes: the new file contents
356
 
        """
357
 
        raise NotImplementedError(self.put_file_bytes_non_atomic)
358
 
 
359
 
    def set_parent_ids(self, revision_ids, allow_leftmost_as_ghost=False):
360
 
        """Set the parents ids of the working tree.
361
 
 
362
 
        :param revision_ids: A list of revision_ids.
363
 
        """
364
 
        raise NotImplementedError(self.set_parent_ids)
365
 
 
366
 
    def set_parent_trees(self, parents_list, allow_leftmost_as_ghost=False):
367
 
        """Set the parents of the working tree.
368
 
 
369
 
        :param parents_list: A list of (revision_id, tree) tuples.
370
 
            If tree is None, then that element is treated as an unreachable
371
 
            parent tree - i.e. a ghost.
372
 
        """
373
 
        raise NotImplementedError(self.set_parent_trees)
374
 
 
375
 
    def smart_add(self, file_list, recurse=True, action=None, save=True):
376
 
        """Version file_list, optionally recursing into directories.
377
 
 
378
 
        This is designed more towards DWIM for humans than API clarity.
379
 
        For the specific behaviour see the help for cmd_add().
380
 
 
381
 
        :param file_list: List of zero or more paths.  *NB: these are 
382
 
            interpreted relative to the process cwd, not relative to the 
383
 
            tree.*  (Add and most other tree methods use tree-relative
384
 
            paths.)
385
 
        :param action: A reporter to be called with the inventory, parent_ie,
386
 
            path and kind of the path being added. It may return a file_id if
387
 
            a specific one should be used.
388
 
        :param save: Save the inventory after completing the adds. If False
389
 
            this provides dry-run functionality by doing the add and not saving
390
 
            the inventory.
391
 
        :return: A tuple - files_added, ignored_files. files_added is the count
392
 
            of added files, and ignored_files is a dict mapping files that were
393
 
            ignored to the rule that caused them to be ignored.
394
 
        """
395
 
        raise NotImplementedError(self.smart_add)
396
 
 
397
 
 
398
 
class MutableInventoryTree(MutableTree, tree.InventoryTree):
399
 
 
400
 
    @needs_tree_write_lock
401
 
    def apply_inventory_delta(self, changes):
402
 
        """Apply changes to the inventory as an atomic operation.
403
 
 
404
 
        :param changes: An inventory delta to apply to the working tree's
405
 
            inventory.
406
 
        :return None:
407
 
        :seealso Inventory.apply_delta: For details on the changes parameter.
408
 
        """
409
 
        self.flush()
410
 
        inv = self.inventory
411
 
        inv.apply_delta(changes)
412
 
        self._write_inventory(inv)
413
 
 
414
 
    def _fix_case_of_inventory_path(self, path):
415
 
        """If our tree isn't case sensitive, return the canonical path"""
416
 
        if not self.case_sensitive:
417
 
            path = self.get_canonical_inventory_path(path)
418
 
        return path
419
 
 
420
 
    @needs_tree_write_lock
421
 
    def smart_add(self, file_list, recurse=True, action=None, save=True):
422
 
        """Version file_list, optionally recursing into directories.
423
 
 
424
 
        This is designed more towards DWIM for humans than API clarity.
425
 
        For the specific behaviour see the help for cmd_add().
426
 
 
427
 
        :param file_list: List of zero or more paths.  *NB: these are 
428
 
            interpreted relative to the process cwd, not relative to the 
429
 
            tree.*  (Add and most other tree methods use tree-relative
430
 
            paths.)
431
 
        :param action: A reporter to be called with the inventory, parent_ie,
432
 
            path and kind of the path being added. It may return a file_id if
433
 
            a specific one should be used.
434
 
        :param save: Save the inventory after completing the adds. If False
435
 
            this provides dry-run functionality by doing the add and not saving
436
 
            the inventory.
437
 
        :return: A tuple - files_added, ignored_files. files_added is the count
438
 
            of added files, and ignored_files is a dict mapping files that were
439
 
            ignored to the rule that caused them to be ignored.
440
 
        """
441
 
        # Not all mutable trees can have conflicts
442
 
        if getattr(self, 'conflicts', None) is not None:
443
 
            # Collect all related files without checking whether they exist or
444
 
            # are versioned. It's cheaper to do that once for all conflicts
445
 
            # than trying to find the relevant conflict for each added file.
446
 
            conflicts_related = set()
447
 
            for c in self.conflicts():
448
 
                conflicts_related.update(c.associated_filenames())
449
 
        else:
450
 
            conflicts_related = None
451
 
        adder = _SmartAddHelper(self, action, conflicts_related)
452
 
        adder.add(file_list, recurse=recurse)
453
 
        if save:
454
 
            invdelta = adder.get_inventory_delta()
455
 
            self.apply_inventory_delta(invdelta)
456
 
        return adder.added, adder.ignored
457
 
 
458
 
    def update_basis_by_delta(self, new_revid, delta):
459
 
        """Update the parents of this tree after a commit.
460
 
 
461
 
        This gives the tree one parent, with revision id new_revid. The
462
 
        inventory delta is applied to the current basis tree to generate the
463
 
        inventory for the parent new_revid, and all other parent trees are
464
 
        discarded.
465
 
 
466
 
        All the changes in the delta should be changes synchronising the basis
467
 
        tree with some or all of the working tree, with a change to a directory
468
 
        requiring that its contents have been recursively included. That is,
469
 
        this is not a general purpose tree modification routine, but a helper
470
 
        for commit which is not required to handle situations that do not arise
471
 
        outside of commit.
472
 
 
473
 
        See the inventory developers documentation for the theory behind
474
 
        inventory deltas.
475
 
 
476
 
        :param new_revid: The new revision id for the trees parent.
477
 
        :param delta: An inventory delta (see apply_inventory_delta) describing
478
 
            the changes from the current left most parent revision to new_revid.
479
 
        """
480
 
        # if the tree is updated by a pull to the branch, as happens in
481
 
        # WorkingTree2, when there was no separation between branch and tree,
482
 
        # then just clear merges, efficiency is not a concern for now as this
483
 
        # is legacy environments only, and they are slow regardless.
484
 
        if self.last_revision() == new_revid:
485
 
            self.set_parent_ids([new_revid])
486
 
            return
487
 
        # generic implementation based on Inventory manipulation. See
488
 
        # WorkingTree classes for optimised versions for specific format trees.
489
 
        basis = self.basis_tree()
490
 
        basis.lock_read()
491
 
        # TODO: Consider re-evaluating the need for this with CHKInventory
492
 
        # we don't strictly need to mutate an inventory for this
493
 
        # it only makes sense when apply_delta is cheaper than get_inventory()
494
 
        inventory = _mod_inventory.mutable_inventory_from_tree(basis)
495
 
        basis.unlock()
496
 
        inventory.apply_delta(delta)
497
 
        rev_tree = revisiontree.InventoryRevisionTree(self.branch.repository,
498
 
                                             inventory, new_revid)
499
 
        self.set_parent_trees([(new_revid, rev_tree)])
500
 
 
501
 
 
502
 
class MutableTreeHooks(hooks.Hooks):
503
 
    """A dictionary mapping a hook name to a list of callables for mutabletree
504
 
    hooks.
505
 
    """
506
 
 
507
 
    def __init__(self):
508
 
        """Create the default hooks.
509
 
 
510
 
        """
511
 
        hooks.Hooks.__init__(self, "bzrlib.mutabletree", "MutableTree.hooks")
512
 
        self.add_hook('start_commit',
513
 
            "Called before a commit is performed on a tree. The start commit "
514
 
            "hook is able to change the tree before the commit takes place. "
515
 
            "start_commit is called with the bzrlib.mutabletree.MutableTree "
516
 
            "that the commit is being performed on.", (1, 4))
517
 
        self.add_hook('post_commit',
518
 
            "Called after a commit is performed on a tree. The hook is "
519
 
            "called with a bzrlib.mutabletree.PostCommitHookParams object. "
520
 
            "The mutable tree the commit was performed on is available via "
521
 
            "the mutable_tree attribute of that object.", (2, 0))
522
 
 
523
 
 
524
 
# install the default hooks into the MutableTree class.
525
 
MutableTree.hooks = MutableTreeHooks()
526
 
 
527
 
 
528
 
class PostCommitHookParams(object):
529
 
    """Parameters for the post_commit hook.
530
 
 
531
 
    To access the parameters, use the following attributes:
532
 
 
533
 
    * mutable_tree - the MutableTree object
534
 
    """
535
 
 
536
 
    def __init__(self, mutable_tree):
537
 
        """Create the parameters for the post_commit hook."""
538
 
        self.mutable_tree = mutable_tree
539
 
 
540
 
 
541
 
class _SmartAddHelper(object):
542
 
    """Helper for MutableTree.smart_add."""
543
 
 
544
 
    def get_inventory_delta(self):
545
 
        return self._invdelta.values()
546
 
 
547
 
    def _get_ie(self, inv_path):
548
 
        """Retrieve the most up to date inventory entry for a path.
549
 
 
550
 
        :param inv_path: Normalized inventory path
551
 
        :return: Inventory entry (with possibly invalid .children for
552
 
            directories)
553
 
        """
554
 
        entry = self._invdelta.get(inv_path)
555
 
        if entry is not None:
556
 
            return entry[3]
557
 
        file_id = self.tree.path2id(inv_path)
558
 
        if file_id is not None:
559
 
            return self.tree.iter_entries_by_dir([file_id]).next()[1]
560
 
        return None
561
 
 
562
 
    def _convert_to_directory(self, this_ie, inv_path):
563
 
        """Convert an entry to a directory.
564
 
 
565
 
        :param this_ie: Inventory entry
566
 
        :param inv_path: Normalized path for the inventory entry
567
 
        :return: The new inventory entry
568
 
        """
569
 
        # Same as in _add_one below, if the inventory doesn't
570
 
        # think this is a directory, update the inventory
571
 
        this_ie = _mod_inventory.InventoryDirectory(
572
 
            this_ie.file_id, this_ie.name, this_ie.parent_id)
573
 
        self._invdelta[inv_path] = (inv_path, inv_path, this_ie.file_id,
574
 
            this_ie)
575
 
        return this_ie
576
 
 
577
 
    def _add_one_and_parent(self, parent_ie, path, kind, inv_path):
578
 
        """Add a new entry to the inventory and automatically add unversioned parents.
579
 
 
580
 
        :param parent_ie: Parent inventory entry if known, or None.  If
581
 
            None, the parent is looked up by name and used if present, otherwise it
582
 
            is recursively added.
583
 
        :param kind: Kind of new entry (file, directory, etc)
584
 
        :param action: callback(tree, parent_ie, path, kind); can return file_id
585
 
        :return: Inventory entry for path and a list of paths which have been added.
586
 
        """
587
 
        # Nothing to do if path is already versioned.
588
 
        # This is safe from infinite recursion because the tree root is
589
 
        # always versioned.
590
 
        inv_dirname = osutils.dirname(inv_path)
591
 
        dirname, basename = osutils.split(path)
592
 
        if parent_ie is None:
593
 
            # slower but does not need parent_ie
594
 
            this_ie = self._get_ie(inv_path)
595
 
            if this_ie is not None:
596
 
                return this_ie
597
 
            # its really not there : add the parent
598
 
            # note that the dirname use leads to some extra str copying etc but as
599
 
            # there are a limited number of dirs we can be nested under, it should
600
 
            # generally find it very fast and not recurse after that.
601
 
            parent_ie = self._add_one_and_parent(None,
602
 
                dirname, 'directory', 
603
 
                inv_dirname)
604
 
        # if the parent exists, but isn't a directory, we have to do the
605
 
        # kind change now -- really the inventory shouldn't pretend to know
606
 
        # the kind of wt files, but it does.
607
 
        if parent_ie.kind != 'directory':
608
 
            # nb: this relies on someone else checking that the path we're using
609
 
            # doesn't contain symlinks.
610
 
            parent_ie = self._convert_to_directory(parent_ie, inv_dirname)
611
 
        file_id = self.action(self.tree.inventory, parent_ie, path, kind)
612
 
        entry = _mod_inventory.make_entry(kind, basename, parent_ie.file_id,
613
 
            file_id=file_id)
614
 
        self._invdelta[inv_path] = (None, inv_path, entry.file_id, entry)
615
 
        self.added.append(inv_path)
616
 
        return entry
617
 
 
618
 
    def _gather_dirs_to_add(self, user_dirs):
619
 
        # only walk the minimal parents needed: we have user_dirs to override
620
 
        # ignores.
621
 
        prev_dir = None
622
 
 
623
 
        is_inside = osutils.is_inside_or_parent_of_any
624
 
        for path, (inv_path, this_ie) in sorted(
625
 
                user_dirs.iteritems(), key=operator.itemgetter(0)):
626
 
            if (prev_dir is None or not is_inside([prev_dir], path)):
627
 
                yield (path, inv_path, this_ie, None)
628
 
            prev_dir = path
629
 
 
630
 
    def __init__(self, tree, action, conflicts_related=None):
631
 
        self.tree = tree
632
 
        if action is None:
633
 
            self.action = add.AddAction()
634
 
        else:
635
 
            self.action = action
636
 
        self._invdelta = {}
637
 
        self.added = []
638
 
        self.ignored = {}
639
 
        if conflicts_related is None:
640
 
            self.conflicts_related = frozenset()
641
 
        else:
642
 
            self.conflicts_related = conflicts_related
643
 
 
644
 
    def add(self, file_list, recurse=True):
645
 
        from bzrlib.inventory import InventoryEntry
646
 
        if not file_list:
647
 
            # no paths supplied: add the entire tree.
648
 
            # FIXME: this assumes we are running in a working tree subdir :-/
649
 
            # -- vila 20100208
650
 
            file_list = [u'.']
651
 
 
652
 
        # expand any symlinks in the directory part, while leaving the
653
 
        # filename alone
654
 
        # only expanding if symlinks are supported avoids windows path bugs
655
 
        if osutils.has_symlinks():
656
 
            file_list = map(osutils.normalizepath, file_list)
657
 
 
658
 
        user_dirs = {}
659
 
        # validate user file paths and convert all paths to tree
660
 
        # relative : it's cheaper to make a tree relative path an abspath
661
 
        # than to convert an abspath to tree relative, and it's cheaper to
662
 
        # perform the canonicalization in bulk.
663
 
        for filepath in osutils.canonical_relpaths(self.tree.basedir, file_list):
664
 
            # validate user parameters. Our recursive code avoids adding new
665
 
            # files that need such validation
666
 
            if self.tree.is_control_filename(filepath):
667
 
                raise errors.ForbiddenControlFileError(filename=filepath)
668
 
 
669
 
            abspath = self.tree.abspath(filepath)
670
 
            kind = osutils.file_kind(abspath)
671
 
            # ensure the named path is added, so that ignore rules in the later
672
 
            # directory walk dont skip it.
673
 
            # we dont have a parent ie known yet.: use the relatively slower
674
 
            # inventory probing method
675
 
            inv_path, _ = osutils.normalized_filename(filepath)
676
 
            this_ie = self._get_ie(inv_path)
677
 
            if this_ie is None:
678
 
                this_ie = self._add_one_and_parent(None, filepath, kind, inv_path)
679
 
            if kind == 'directory':
680
 
                # schedule the dir for scanning
681
 
                user_dirs[filepath] = (inv_path, this_ie)
682
 
 
683
 
        if not recurse:
684
 
            # no need to walk any directories at all.
685
 
            return
686
 
 
687
 
        things_to_add = list(self._gather_dirs_to_add(user_dirs))
688
 
 
689
 
        illegalpath_re = re.compile(r'[\r\n]')
690
 
        for directory, inv_path, this_ie, parent_ie in things_to_add:
691
 
            # directory is tree-relative
692
 
            abspath = self.tree.abspath(directory)
693
 
 
694
 
            # get the contents of this directory.
695
 
 
696
 
            # find the kind of the path being added.
697
 
            if this_ie is None:
698
 
                kind = osutils.file_kind(abspath)
699
 
            else:
700
 
                kind = this_ie.kind
701
 
 
702
 
            if not InventoryEntry.versionable_kind(kind):
703
 
                trace.warning("skipping %s (can't add file of kind '%s')",
704
 
                              abspath, kind)
705
 
                continue
706
 
            if illegalpath_re.search(directory):
707
 
                trace.warning("skipping %r (contains \\n or \\r)" % abspath)
708
 
                continue
709
 
            if directory in self.conflicts_related:
710
 
                # If the file looks like one generated for a conflict, don't
711
 
                # add it.
712
 
                trace.warning(
713
 
                    'skipping %s (generated to help resolve conflicts)',
714
 
                    abspath)
715
 
                continue
716
 
 
717
 
            if kind == 'directory' and directory != '':
718
 
                try:
719
 
                    transport = _mod_transport.get_transport(abspath)
720
 
                    controldir.ControlDirFormat.find_format(transport)
721
 
                    sub_tree = True
722
 
                except errors.NotBranchError:
723
 
                    sub_tree = False
724
 
                except errors.UnsupportedFormatError:
725
 
                    sub_tree = True
726
 
            else:
727
 
                sub_tree = False
728
 
 
729
 
            if this_ie is not None:
730
 
                pass
731
 
            elif sub_tree:
732
 
                # XXX: This is wrong; people *might* reasonably be trying to
733
 
                # add subtrees as subtrees.  This should probably only be done
734
 
                # in formats which can represent subtrees, and even then
735
 
                # perhaps only when the user asked to add subtrees.  At the
736
 
                # moment you can add them specially through 'join --reference',
737
 
                # which is perhaps reasonable: adding a new reference is a
738
 
                # special operation and can have a special behaviour.  mbp
739
 
                # 20070306
740
 
                trace.mutter("%r is a nested bzr tree", abspath)
741
 
            else:
742
 
                this_ie = self._add_one_and_parent(parent_ie, directory, kind, inv_path)
743
 
 
744
 
            if kind == 'directory' and not sub_tree:
745
 
                if this_ie.kind != 'directory':
746
 
                    this_ie = self._convert_to_directory(this_ie, inv_path)
747
 
 
748
 
                for subf in sorted(os.listdir(abspath)):
749
 
                    inv_f, _ = osutils.normalized_filename(subf)
750
 
                    # here we could use TreeDirectory rather than
751
 
                    # string concatenation.
752
 
                    subp = osutils.pathjoin(directory, subf)
753
 
                    # TODO: is_control_filename is very slow. Make it faster.
754
 
                    # TreeDirectory.is_control_filename could also make this
755
 
                    # faster - its impossible for a non root dir to have a
756
 
                    # control file.
757
 
                    if self.tree.is_control_filename(subp):
758
 
                        trace.mutter("skip control directory %r", subp)
759
 
                        continue
760
 
                    sub_invp = osutils.pathjoin(inv_path, inv_f)
761
 
                    entry = self._invdelta.get(sub_invp)
762
 
                    if entry is not None:
763
 
                        sub_ie = entry[3]
764
 
                    else:
765
 
                        sub_ie = this_ie.children.get(inv_f)
766
 
                    if sub_ie is not None:
767
 
                        # recurse into this already versioned subdir.
768
 
                        things_to_add.append((subp, sub_invp, sub_ie, this_ie))
769
 
                    else:
770
 
                        # user selection overrides ignoes
771
 
                        # ignore while selecting files - if we globbed in the
772
 
                        # outer loop we would ignore user files.
773
 
                        ignore_glob = self.tree.is_ignored(subp)
774
 
                        if ignore_glob is not None:
775
 
                            self.ignored.setdefault(ignore_glob, []).append(subp)
776
 
                        else:
777
 
                            things_to_add.append((subp, sub_invp, None, this_ie))