~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/workingtree.py

  • Committer: Martin Pool
  • Date: 2005-09-16 08:23:10 UTC
  • Revision ID: mbp@sourcefrog.net-20050916082310-ecb5a25c40253839
- wrap wide strings when showing exceptions

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# Copyright (C) 2005 Canonical Ltd
2
2
 
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
 
"""WorkingTree object and friends.
18
 
 
19
 
A WorkingTree represents the editable working copy of a branch.
20
 
Operations which represent the WorkingTree are also done here, 
21
 
such as renaming or adding files.  The WorkingTree has an inventory 
22
 
which is updated by these operations.  A commit produces a 
23
 
new revision based on the workingtree and its inventory.
24
 
 
25
 
At the moment every WorkingTree has its own branch.  Remote
26
 
WorkingTrees aren't supported.
27
 
 
28
 
To get a WorkingTree, call bzrdir.open_workingtree() or
29
 
WorkingTree.open(dir).
30
 
"""
31
 
 
32
 
MERGE_MODIFIED_HEADER_1 = "BZR merge-modified list format 1"
33
 
CONFLICT_HEADER_1 = "BZR conflict list format 1"
34
 
 
35
 
# TODO: Give the workingtree sole responsibility for the working inventory;
36
 
# remove the variable and references to it from the branch.  This may require
37
 
# updating the commit code so as to update the inventory within the working
38
 
# copy, and making sure there's only one WorkingTree for any directory on disk.
39
 
# At the moment they may alias the inventory and have old copies of it in
40
 
# memory.  (Now done? -- mbp 20060309)
41
 
 
42
 
from binascii import hexlify
43
 
from copy import deepcopy
44
 
from cStringIO import StringIO
45
 
import errno
 
17
# TODO: Don't allow WorkingTrees to be constructed for remote branches.
 
18
 
 
19
# FIXME: I don't know if writing out the cache from the destructor is really a
 
20
# good idea, because destructors are considered poor taste in Python, and
 
21
# it's not predictable when it will be written out.
 
22
 
 
23
import os
46
24
import fnmatch
47
 
import os
48
 
import re
49
 
import stat
50
 
from time import time
51
 
 
52
 
from bzrlib.atomicfile import AtomicFile
53
 
from bzrlib.branch import (Branch,
54
 
                           quotefn)
55
 
from bzrlib.conflicts import Conflict, ConflictList, CONFLICT_SUFFIXES
56
 
import bzrlib.bzrdir as bzrdir
57
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
58
 
import bzrlib.errors as errors
59
 
from bzrlib.errors import (BzrCheckError,
60
 
                           BzrError,
61
 
                           ConflictFormatError,
62
 
                           DivergedBranches,
63
 
                           WeaveRevisionNotPresent,
64
 
                           NotBranchError,
65
 
                           NoSuchFile,
66
 
                           NotVersionedError,
67
 
                           MergeModifiedFormatError,
68
 
                           UnsupportedOperation,
69
 
                           )
70
 
from bzrlib.inventory import InventoryEntry, Inventory
71
 
from bzrlib.lockable_files import LockableFiles, TransportLock
72
 
from bzrlib.lockdir import LockDir
73
 
from bzrlib.merge import merge_inner, transform_tree
74
 
from bzrlib.osutils import (
75
 
                            abspath,
76
 
                            appendpath,
77
 
                            compact_date,
78
 
                            file_kind,
79
 
                            isdir,
80
 
                            getcwd,
81
 
                            pathjoin,
82
 
                            pumpfile,
83
 
                            safe_unicode,
84
 
                            splitpath,
85
 
                            rand_chars,
86
 
                            normpath,
87
 
                            realpath,
88
 
                            relpath,
89
 
                            rename,
90
 
                            supports_executable,
91
 
                            )
92
 
from bzrlib.progress import DummyProgress, ProgressPhase
93
 
from bzrlib.revision import NULL_REVISION
94
 
from bzrlib.rio import RioReader, rio_file, Stanza
95
 
from bzrlib.symbol_versioning import *
96
 
from bzrlib.textui import show_status
 
25
        
97
26
import bzrlib.tree
98
 
from bzrlib.transform import build_tree
99
 
from bzrlib.trace import mutter, note
100
 
from bzrlib.transport import get_transport
101
 
from bzrlib.transport.local import LocalTransport
102
 
import bzrlib.ui
103
 
import bzrlib.xml5
104
 
 
105
 
 
106
 
# the regex here does the following:
107
 
# 1) remove any weird characters; we don't escape them but rather
108
 
# just pull them out
109
 
 # 2) match leading '.'s to make it not hidden
110
 
_gen_file_id_re = re.compile(r'[^\w.]|(^\.*)')
111
 
_gen_id_suffix = None
112
 
_gen_id_serial = 0
113
 
 
114
 
 
115
 
def _next_id_suffix():
116
 
    """Create a new file id suffix that is reasonably unique.
117
 
    
118
 
    On the first call we combine the current time with 64 bits of randomness
119
 
    to give a highly probably globally unique number. Then each call in the same
120
 
    process adds 1 to a serial number we append to that unique value.
121
 
    """
122
 
    # XXX TODO: change bzrlib.add.smart_add to call workingtree.add() rather 
123
 
    # than having to move the id randomness out of the inner loop like this.
124
 
    # XXX TODO: for the global randomness this uses we should add the thread-id
125
 
    # before the serial #.
126
 
    global _gen_id_suffix, _gen_id_serial
127
 
    if _gen_id_suffix is None:
128
 
        _gen_id_suffix = "-%s-%s-" % (compact_date(time()), rand_chars(16))
129
 
    _gen_id_serial += 1
130
 
    return _gen_id_suffix + str(_gen_id_serial)
131
 
 
132
 
 
133
 
def gen_file_id(name):
134
 
    """Return new file id for the basename 'name'.
135
 
 
136
 
    The uniqueness is supplied from _next_id_suffix.
137
 
    """
138
 
    # XXX TODO: squash the filename to lowercase.
139
 
    # XXX TODO: truncate the filename to something like 20 or 30 chars.
140
 
    # XXX TODO: consider what to do with ids that look like illegal filepaths
141
 
    # on platforms we support.
142
 
    return _gen_file_id_re.sub('', name) + _next_id_suffix()
143
 
 
144
 
 
145
 
def gen_root_id():
146
 
    """Return a new tree-root file id."""
147
 
    return gen_file_id('TREE_ROOT')
148
 
 
149
 
 
150
 
class TreeEntry(object):
151
 
    """An entry that implements the minium interface used by commands.
152
 
 
153
 
    This needs further inspection, it may be better to have 
154
 
    InventoryEntries without ids - though that seems wrong. For now,
155
 
    this is a parallel hierarchy to InventoryEntry, and needs to become
156
 
    one of several things: decorates to that hierarchy, children of, or
157
 
    parents of it.
158
 
    Another note is that these objects are currently only used when there is
159
 
    no InventoryEntry available - i.e. for unversioned objects.
160
 
    Perhaps they should be UnversionedEntry et al. ? - RBC 20051003
161
 
    """
162
 
 
163
 
    def __eq__(self, other):
164
 
        # yes, this us ugly, TODO: best practice __eq__ style.
165
 
        return (isinstance(other, TreeEntry)
166
 
                and other.__class__ == self.__class__)
167
 
 
168
 
    def kind_character(self):
169
 
        return "???"
170
 
 
171
 
 
172
 
class TreeDirectory(TreeEntry):
173
 
    """See TreeEntry. This is a directory in a working tree."""
174
 
 
175
 
    def __eq__(self, other):
176
 
        return (isinstance(other, TreeDirectory)
177
 
                and other.__class__ == self.__class__)
178
 
 
179
 
    def kind_character(self):
180
 
        return "/"
181
 
 
182
 
 
183
 
class TreeFile(TreeEntry):
184
 
    """See TreeEntry. This is a regular file in a working tree."""
185
 
 
186
 
    def __eq__(self, other):
187
 
        return (isinstance(other, TreeFile)
188
 
                and other.__class__ == self.__class__)
189
 
 
190
 
    def kind_character(self):
191
 
        return ''
192
 
 
193
 
 
194
 
class TreeLink(TreeEntry):
195
 
    """See TreeEntry. This is a symlink in a working tree."""
196
 
 
197
 
    def __eq__(self, other):
198
 
        return (isinstance(other, TreeLink)
199
 
                and other.__class__ == self.__class__)
200
 
 
201
 
    def kind_character(self):
202
 
        return ''
203
 
 
 
27
from bzrlib.osutils import appendpath, file_kind, isdir, splitpath
 
28
from bzrlib.errors import BzrCheckError
 
29
from bzrlib.trace import mutter
204
30
 
205
31
class WorkingTree(bzrlib.tree.Tree):
206
32
    """Working copy tree.
211
37
    It is possible for a `WorkingTree` to have a filename which is
212
38
    not listed in the Inventory and vice versa.
213
39
    """
214
 
 
215
 
    def __init__(self, basedir='.',
216
 
                 branch=DEPRECATED_PARAMETER,
217
 
                 _inventory=None,
218
 
                 _control_files=None,
219
 
                 _internal=False,
220
 
                 _format=None,
221
 
                 _bzrdir=None):
222
 
        """Construct a WorkingTree for basedir.
223
 
 
224
 
        If the branch is not supplied, it is opened automatically.
225
 
        If the branch is supplied, it must be the branch for this basedir.
226
 
        (branch.base is not cross checked, because for remote branches that
227
 
        would be meaningless).
228
 
        """
229
 
        self._format = _format
230
 
        self.bzrdir = _bzrdir
231
 
        if not _internal:
232
 
            # not created via open etc.
233
 
            warn("WorkingTree() is deprecated as of bzr version 0.8. "
234
 
                 "Please use bzrdir.open_workingtree or WorkingTree.open().",
235
 
                 DeprecationWarning,
236
 
                 stacklevel=2)
237
 
            wt = WorkingTree.open(basedir)
238
 
            self._branch = wt.branch
239
 
            self.basedir = wt.basedir
240
 
            self._control_files = wt._control_files
241
 
            self._hashcache = wt._hashcache
242
 
            self._set_inventory(wt._inventory)
243
 
            self._format = wt._format
244
 
            self.bzrdir = wt.bzrdir
 
40
    def __init__(self, basedir, inv):
245
41
        from bzrlib.hashcache import HashCache
246
42
        from bzrlib.trace import note, mutter
247
 
        assert isinstance(basedir, basestring), \
248
 
            "base directory %r is not a string" % basedir
249
 
        basedir = safe_unicode(basedir)
250
 
        mutter("opening working tree %r", basedir)
251
 
        if deprecated_passed(branch):
252
 
            if not _internal:
253
 
                warn("WorkingTree(..., branch=XXX) is deprecated as of bzr 0.8."
254
 
                     " Please use bzrdir.open_workingtree() or"
255
 
                     " WorkingTree.open().",
256
 
                     DeprecationWarning,
257
 
                     stacklevel=2
258
 
                     )
259
 
            self._branch = branch
260
 
        else:
261
 
            self._branch = self.bzrdir.open_branch()
262
 
        assert isinstance(self.branch, Branch), \
263
 
            "branch %r is not a Branch" % self.branch
264
 
        self.basedir = realpath(basedir)
265
 
        # if branch is at our basedir and is a format 6 or less
266
 
        if isinstance(self._format, WorkingTreeFormat2):
267
 
            # share control object
268
 
            self._control_files = self.branch.control_files
269
 
        else:
270
 
            # only ready for format 3
271
 
            assert isinstance(self._format, WorkingTreeFormat3)
272
 
            assert isinstance(_control_files, LockableFiles), \
273
 
                    "_control_files must be a LockableFiles, not %r" \
274
 
                    % _control_files
275
 
            self._control_files = _control_files
 
43
 
 
44
        self._inventory = inv
 
45
        self.basedir = basedir
 
46
        self.path2id = inv.path2id
 
47
 
276
48
        # update the whole cache up front and write to disk if anything changed;
277
49
        # in the future we might want to do this more selectively
278
 
        # two possible ways offer themselves : in self._unlock, write the cache
279
 
        # if needed, or, when the cache sees a change, append it to the hash
280
 
        # cache file, and have the parser take the most recent entry for a
281
 
        # given path only.
282
 
        cache_filename = self.bzrdir.get_workingtree_transport(None).abspath('stat-cache')
283
 
        hc = self._hashcache = HashCache(basedir, cache_filename, self._control_files._file_mode)
 
50
        hc = self._hashcache = HashCache(basedir)
284
51
        hc.read()
285
 
        # is this scan needed ? it makes things kinda slow.
286
52
        hc.scan()
287
53
 
288
54
        if hc.needs_write:
289
55
            mutter("write hc")
290
56
            hc.write()
291
 
 
292
 
        if _inventory is None:
293
 
            self._set_inventory(self.read_working_inventory())
294
 
        else:
295
 
            self._set_inventory(_inventory)
296
 
 
297
 
    branch = property(
298
 
        fget=lambda self: self._branch,
299
 
        doc="""The branch this WorkingTree is connected to.
300
 
 
301
 
            This cannot be set - it is reflective of the actual disk structure
302
 
            the working tree has been constructed from.
303
 
            """)
304
 
 
305
 
    def break_lock(self):
306
 
        """Break a lock if one is present from another instance.
307
 
 
308
 
        Uses the ui factory to ask for confirmation if the lock may be from
309
 
        an active process.
310
 
 
311
 
        This will probe the repository for its lock as well.
312
 
        """
313
 
        self._control_files.break_lock()
314
 
        self.branch.break_lock()
315
 
 
316
 
    def _set_inventory(self, inv):
317
 
        self._inventory = inv
318
 
        self.path2id = self._inventory.path2id
319
 
 
320
 
    def is_control_filename(self, filename):
321
 
        """True if filename is the name of a control file in this tree.
322
 
        
323
 
        :param filename: A filename within the tree. This is a relative path
324
 
        from the root of this tree.
325
 
 
326
 
        This is true IF and ONLY IF the filename is part of the meta data
327
 
        that bzr controls in this tree. I.E. a random .bzr directory placed
328
 
        on disk will not be a control file for this tree.
329
 
        """
330
 
        return self.bzrdir.is_control_filename(filename)
331
 
 
332
 
    @staticmethod
333
 
    def open(path=None, _unsupported=False):
334
 
        """Open an existing working tree at path.
335
 
 
336
 
        """
337
 
        if path is None:
338
 
            path = os.path.getcwdu()
339
 
        control = bzrdir.BzrDir.open(path, _unsupported)
340
 
        return control.open_workingtree(_unsupported)
341
 
        
342
 
    @staticmethod
343
 
    def open_containing(path=None):
344
 
        """Open an existing working tree which has its root about path.
345
 
        
346
 
        This probes for a working tree at path and searches upwards from there.
347
 
 
348
 
        Basically we keep looking up until we find the control directory or
349
 
        run into /.  If there isn't one, raises NotBranchError.
350
 
        TODO: give this a new exception.
351
 
        If there is one, it is returned, along with the unused portion of path.
352
 
        """
353
 
        if path is None:
354
 
            path = os.getcwdu()
355
 
        control, relpath = bzrdir.BzrDir.open_containing(path)
356
 
        return control.open_workingtree(), relpath
357
 
 
358
 
    @staticmethod
359
 
    def open_downlevel(path=None):
360
 
        """Open an unsupported working tree.
361
 
 
362
 
        Only intended for advanced situations like upgrading part of a bzrdir.
363
 
        """
364
 
        return WorkingTree.open(path, _unsupported=True)
 
57
            
 
58
            
 
59
    def __del__(self):
 
60
        if self._hashcache.needs_write:
 
61
            self._hashcache.write()
 
62
 
365
63
 
366
64
    def __iter__(self):
367
65
        """Iterate through file_ids for this tree.
371
69
        """
372
70
        inv = self._inventory
373
71
        for path, ie in inv.iter_entries():
374
 
            if bzrlib.osutils.lexists(self.abspath(path)):
 
72
            if os.path.exists(self.abspath(path)):
375
73
                yield ie.file_id
376
74
 
 
75
 
377
76
    def __repr__(self):
378
77
        return "<%s of %s>" % (self.__class__.__name__,
379
78
                               getattr(self, 'basedir', None))
380
79
 
 
80
 
 
81
 
381
82
    def abspath(self, filename):
382
 
        return pathjoin(self.basedir, filename)
383
 
    
384
 
    def basis_tree(self):
385
 
        """Return RevisionTree for the current last revision."""
386
 
        revision_id = self.last_revision()
387
 
        if revision_id is not None:
388
 
            try:
389
 
                xml = self.read_basis_inventory()
390
 
                inv = bzrlib.xml5.serializer_v5.read_inventory_from_string(xml)
391
 
            except NoSuchFile:
392
 
                inv = None
393
 
            if inv is not None and inv.revision_id == revision_id:
394
 
                return bzrlib.tree.RevisionTree(self.branch.repository, inv,
395
 
                                                revision_id)
396
 
        # FIXME? RBC 20060403 should we cache the inventory here ?
397
 
        return self.branch.repository.revision_tree(revision_id)
398
 
 
399
 
    @staticmethod
400
 
    @deprecated_method(zero_eight)
401
 
    def create(branch, directory):
402
 
        """Create a workingtree for branch at directory.
403
 
 
404
 
        If existing_directory already exists it must have a .bzr directory.
405
 
        If it does not exist, it will be created.
406
 
 
407
 
        This returns a new WorkingTree object for the new checkout.
408
 
 
409
 
        TODO FIXME RBC 20060124 when we have checkout formats in place this
410
 
        should accept an optional revisionid to checkout [and reject this if
411
 
        checking out into the same dir as a pre-checkout-aware branch format.]
412
 
 
413
 
        XXX: When BzrDir is present, these should be created through that 
414
 
        interface instead.
415
 
        """
416
 
        warn('delete WorkingTree.create', stacklevel=3)
417
 
        transport = get_transport(directory)
418
 
        if branch.bzrdir.root_transport.base == transport.base:
419
 
            # same dir 
420
 
            return branch.bzrdir.create_workingtree()
421
 
        # different directory, 
422
 
        # create a branch reference
423
 
        # and now a working tree.
424
 
        raise NotImplementedError
425
 
 
426
 
    @staticmethod
427
 
    @deprecated_method(zero_eight)
428
 
    def create_standalone(directory):
429
 
        """Create a checkout and a branch and a repo at directory.
430
 
 
431
 
        Directory must exist and be empty.
432
 
 
433
 
        please use BzrDir.create_standalone_workingtree
434
 
        """
435
 
        return bzrdir.BzrDir.create_standalone_workingtree(directory)
436
 
 
437
 
    def relpath(self, path):
438
 
        """Return the local path portion from a given path.
439
 
        
440
 
        The path may be absolute or relative. If its a relative path it is 
441
 
        interpreted relative to the python current working directory.
442
 
        """
443
 
        return relpath(self.basedir, path)
 
83
        return os.path.join(self.basedir, filename)
444
84
 
445
85
    def has_filename(self, filename):
446
 
        return bzrlib.osutils.lexists(self.abspath(filename))
 
86
        return os.path.exists(self.abspath(filename))
447
87
 
448
88
    def get_file(self, file_id):
449
89
        return self.get_file_byname(self.id2path(file_id))
451
91
    def get_file_byname(self, filename):
452
92
        return file(self.abspath(filename), 'rb')
453
93
 
454
 
    def get_root_id(self):
455
 
        """Return the id of this trees root"""
456
 
        inv = self.read_working_inventory()
457
 
        return inv.root.file_id
458
 
        
459
94
    def _get_store_filename(self, file_id):
460
 
        ## XXX: badly named; this is not in the store at all
 
95
        ## XXX: badly named; this isn't in the store at all
461
96
        return self.abspath(self.id2path(file_id))
462
97
 
463
 
    @needs_read_lock
464
 
    def clone(self, to_bzrdir, revision_id=None, basis=None):
465
 
        """Duplicate this working tree into to_bzr, including all state.
466
 
        
467
 
        Specifically modified files are kept as modified, but
468
 
        ignored and unknown files are discarded.
469
 
 
470
 
        If you want to make a new line of development, see bzrdir.sprout()
471
 
 
472
 
        revision
473
 
            If not None, the cloned tree will have its last revision set to 
474
 
            revision, and and difference between the source trees last revision
475
 
            and this one merged in.
476
 
 
477
 
        basis
478
 
            If not None, a closer copy of a tree which may have some files in
479
 
            common, and which file content should be preferentially copied from.
480
 
        """
481
 
        # assumes the target bzr dir format is compatible.
482
 
        result = self._format.initialize(to_bzrdir)
483
 
        self.copy_content_into(result, revision_id)
484
 
        return result
485
 
 
486
 
    @needs_read_lock
487
 
    def copy_content_into(self, tree, revision_id=None):
488
 
        """Copy the current content and user files of this tree into tree."""
489
 
        if revision_id is None:
490
 
            transform_tree(tree, self)
491
 
        else:
492
 
            # TODO now merge from tree.last_revision to revision
493
 
            transform_tree(tree, self)
494
 
            tree.set_last_revision(revision_id)
495
 
 
496
 
    @needs_write_lock
497
 
    def commit(self, message=None, revprops=None, *args, **kwargs):
498
 
        # avoid circular imports
499
 
        from bzrlib.commit import Commit
500
 
        if revprops is None:
501
 
            revprops = {}
502
 
        if not 'branch-nick' in revprops:
503
 
            revprops['branch-nick'] = self.branch.nick
504
 
        # args for wt.commit start at message from the Commit.commit method,
505
 
        # but with branch a kwarg now, passing in args as is results in the
506
 
        #message being used for the branch
507
 
        args = (DEPRECATED_PARAMETER, message, ) + args
508
 
        Commit().commit(working_tree=self, revprops=revprops, *args, **kwargs)
509
 
        self._set_inventory(self.read_working_inventory())
510
98
 
511
99
    def id2abspath(self, file_id):
512
100
        return self.abspath(self.id2path(file_id))
513
101
 
 
102
                
514
103
    def has_id(self, file_id):
515
104
        # files that have been deleted are excluded
516
105
        inv = self._inventory
517
106
        if not inv.has_id(file_id):
518
107
            return False
519
108
        path = inv.id2path(file_id)
520
 
        return bzrlib.osutils.lexists(self.abspath(path))
 
109
        return os.path.exists(self.abspath(path))
521
110
 
522
 
    def has_or_had_id(self, file_id):
523
 
        if file_id == self.inventory.root.file_id:
524
 
            return True
525
 
        return self.inventory.has_id(file_id)
526
111
 
527
112
    __contains__ = has_id
 
113
    
528
114
 
529
115
    def get_file_size(self, file_id):
530
116
        return os.path.getsize(self.id2abspath(file_id))
531
117
 
532
 
    @needs_read_lock
 
118
 
533
119
    def get_file_sha1(self, file_id):
534
120
        path = self._inventory.id2path(file_id)
535
121
        return self._hashcache.get_sha1(path)
536
122
 
537
 
    def is_executable(self, file_id):
538
 
        if not supports_executable():
539
 
            return self._inventory[file_id].executable
540
 
        else:
541
 
            path = self._inventory.id2path(file_id)
542
 
            mode = os.lstat(self.abspath(path)).st_mode
543
 
            return bool(stat.S_ISREG(mode) and stat.S_IEXEC&mode)
544
 
 
545
 
    @needs_write_lock
546
 
    def add(self, files, ids=None):
547
 
        """Make files versioned.
548
 
 
549
 
        Note that the command line normally calls smart_add instead,
550
 
        which can automatically recurse.
551
 
 
552
 
        This adds the files to the inventory, so that they will be
553
 
        recorded by the next commit.
554
 
 
555
 
        files
556
 
            List of paths to add, relative to the base of the tree.
557
 
 
558
 
        ids
559
 
            If set, use these instead of automatically generated ids.
560
 
            Must be the same length as the list of files, but may
561
 
            contain None for ids that are to be autogenerated.
562
 
 
563
 
        TODO: Perhaps have an option to add the ids even if the files do
564
 
              not (yet) exist.
565
 
 
566
 
        TODO: Perhaps callback with the ids and paths as they're added.
567
 
        """
568
 
        # TODO: Re-adding a file that is removed in the working copy
569
 
        # should probably put it back with the previous ID.
570
 
        if isinstance(files, basestring):
571
 
            assert(ids is None or isinstance(ids, basestring))
572
 
            files = [files]
573
 
            if ids is not None:
574
 
                ids = [ids]
575
 
 
576
 
        if ids is None:
577
 
            ids = [None] * len(files)
578
 
        else:
579
 
            assert(len(ids) == len(files))
580
 
 
581
 
        inv = self.read_working_inventory()
582
 
        for f,file_id in zip(files, ids):
583
 
            if self.is_control_filename(f):
584
 
                raise BzrError("cannot add control file %s" % quotefn(f))
585
 
 
586
 
            fp = splitpath(f)
587
 
 
588
 
            if len(fp) == 0:
589
 
                raise BzrError("cannot add top-level %r" % f)
590
 
 
591
 
            fullpath = normpath(self.abspath(f))
592
 
 
593
 
            try:
594
 
                kind = file_kind(fullpath)
595
 
            except OSError, e:
596
 
                if e.errno == errno.ENOENT:
597
 
                    raise NoSuchFile(fullpath)
598
 
                # maybe something better?
599
 
                raise BzrError('cannot add: not a regular file, symlink or directory: %s' % quotefn(f))
600
 
 
601
 
            if not InventoryEntry.versionable_kind(kind):
602
 
                raise BzrError('cannot add: not a versionable file ('
603
 
                               'i.e. regular file, symlink or directory): %s' % quotefn(f))
604
 
 
605
 
            if file_id is None:
606
 
                inv.add_path(f, kind=kind)
607
 
            else:
608
 
                inv.add_path(f, kind=kind, file_id=file_id)
609
 
 
610
 
        self._write_inventory(inv)
611
 
 
612
 
    @needs_write_lock
613
 
    def add_pending_merge(self, *revision_ids):
614
 
        # TODO: Perhaps should check at this point that the
615
 
        # history of the revision is actually present?
616
 
        p = self.pending_merges()
617
 
        updated = False
618
 
        for rev_id in revision_ids:
619
 
            if rev_id in p:
620
 
                continue
621
 
            p.append(rev_id)
622
 
            updated = True
623
 
        if updated:
624
 
            self.set_pending_merges(p)
625
 
 
626
 
    @needs_read_lock
627
 
    def pending_merges(self):
628
 
        """Return a list of pending merges.
629
 
 
630
 
        These are revisions that have been merged into the working
631
 
        directory but not yet committed.
632
 
        """
633
 
        try:
634
 
            merges_file = self._control_files.get_utf8('pending-merges')
635
 
        except OSError, e:
636
 
            if e.errno != errno.ENOENT:
637
 
                raise
638
 
            return []
639
 
        p = []
640
 
        for l in merges_file.readlines():
641
 
            p.append(l.rstrip('\n'))
642
 
        return p
643
 
 
644
 
    @needs_write_lock
645
 
    def set_pending_merges(self, rev_list):
646
 
        self._control_files.put_utf8('pending-merges', '\n'.join(rev_list))
647
 
 
648
 
    @needs_write_lock
649
 
    def set_merge_modified(self, modified_hashes):
650
 
        def iter_stanzas():
651
 
            for file_id, hash in modified_hashes.iteritems():
652
 
                yield Stanza(file_id=file_id, hash=hash)
653
 
        self._put_rio('merge-hashes', iter_stanzas(), MERGE_MODIFIED_HEADER_1)
654
 
 
655
 
    @needs_write_lock
656
 
    def _put_rio(self, filename, stanzas, header):
657
 
        my_file = rio_file(stanzas, header)
658
 
        self._control_files.put(filename, my_file)
659
 
 
660
 
    @needs_read_lock
661
 
    def merge_modified(self):
662
 
        try:
663
 
            hashfile = self._control_files.get('merge-hashes')
664
 
        except NoSuchFile:
665
 
            return {}
666
 
        merge_hashes = {}
667
 
        try:
668
 
            if hashfile.next() != MERGE_MODIFIED_HEADER_1 + '\n':
669
 
                raise MergeModifiedFormatError()
670
 
        except StopIteration:
671
 
            raise MergeModifiedFormatError()
672
 
        for s in RioReader(hashfile):
673
 
            file_id = s.get("file_id")
674
 
            if file_id not in self.inventory:
675
 
                continue
676
 
            hash = s.get("hash")
677
 
            if hash == self.get_file_sha1(file_id):
678
 
                merge_hashes[file_id] = hash
679
 
        return merge_hashes
680
 
 
681
 
    def get_symlink_target(self, file_id):
682
 
        return os.readlink(self.id2abspath(file_id))
683
123
 
684
124
    def file_class(self, filename):
685
125
        if self.path2id(filename):
689
129
        else:
690
130
            return '?'
691
131
 
 
132
 
692
133
    def list_files(self):
693
134
        """Recursively list all files as (path, class, kind, id).
694
135
 
708
149
                ## TODO: If we find a subdirectory with its own .bzr
709
150
                ## directory, then that is a separate tree and we
710
151
                ## should exclude it.
711
 
 
712
 
                # the bzrdir for this tree
713
 
                if self.bzrdir.transport.base.endswith(f + '/'):
 
152
                if bzrlib.BZRDIR == f:
714
153
                    continue
715
154
 
716
155
                # path within tree
735
174
                                            "now of kind %r"
736
175
                                            % (fap, f_ie.kind, f_ie.file_id, fk))
737
176
 
738
 
                # make a last minute entry
739
 
                if f_ie:
740
 
                    entry = f_ie
741
 
                else:
742
 
                    if fk == 'directory':
743
 
                        entry = TreeDirectory()
744
 
                    elif fk == 'file':
745
 
                        entry = TreeFile()
746
 
                    elif fk == 'symlink':
747
 
                        entry = TreeLink()
748
 
                    else:
749
 
                        entry = TreeEntry()
750
 
                
751
 
                yield fp, c, fk, (f_ie and f_ie.file_id), entry
 
177
                yield fp, c, fk, (f_ie and f_ie.file_id)
752
178
 
753
179
                if fk != 'directory':
754
180
                    continue
760
186
                for ff in descend(fp, f_ie.file_id, fap):
761
187
                    yield ff
762
188
 
763
 
        for f in descend(u'', inv.root.file_id, self.basedir):
 
189
        for f in descend('', inv.root.file_id, self.basedir):
764
190
            yield f
765
 
 
766
 
    @needs_write_lock
767
 
    def move(self, from_paths, to_name):
768
 
        """Rename files.
769
 
 
770
 
        to_name must exist in the inventory.
771
 
 
772
 
        If to_name exists and is a directory, the files are moved into
773
 
        it, keeping their old names.  
774
 
 
775
 
        Note that to_name is only the last component of the new name;
776
 
        this doesn't change the directory.
777
 
 
778
 
        This returns a list of (from_path, to_path) pairs for each
779
 
        entry that is moved.
780
 
        """
781
 
        result = []
782
 
        ## TODO: Option to move IDs only
783
 
        assert not isinstance(from_paths, basestring)
784
 
        inv = self.inventory
785
 
        to_abs = self.abspath(to_name)
786
 
        if not isdir(to_abs):
787
 
            raise BzrError("destination %r is not a directory" % to_abs)
788
 
        if not self.has_filename(to_name):
789
 
            raise BzrError("destination %r not in working directory" % to_abs)
790
 
        to_dir_id = inv.path2id(to_name)
791
 
        if to_dir_id == None and to_name != '':
792
 
            raise BzrError("destination %r is not a versioned directory" % to_name)
793
 
        to_dir_ie = inv[to_dir_id]
794
 
        if to_dir_ie.kind not in ('directory', 'root_directory'):
795
 
            raise BzrError("destination %r is not a directory" % to_abs)
796
 
 
797
 
        to_idpath = inv.get_idpath(to_dir_id)
798
 
 
799
 
        for f in from_paths:
800
 
            if not self.has_filename(f):
801
 
                raise BzrError("%r does not exist in working tree" % f)
802
 
            f_id = inv.path2id(f)
803
 
            if f_id == None:
804
 
                raise BzrError("%r is not versioned" % f)
805
 
            name_tail = splitpath(f)[-1]
806
 
            dest_path = appendpath(to_name, name_tail)
807
 
            if self.has_filename(dest_path):
808
 
                raise BzrError("destination %r already exists" % dest_path)
809
 
            if f_id in to_idpath:
810
 
                raise BzrError("can't move %r to a subdirectory of itself" % f)
811
 
 
812
 
        # OK, so there's a race here, it's possible that someone will
813
 
        # create a file in this interval and then the rename might be
814
 
        # left half-done.  But we should have caught most problems.
815
 
        orig_inv = deepcopy(self.inventory)
816
 
        try:
817
 
            for f in from_paths:
818
 
                name_tail = splitpath(f)[-1]
819
 
                dest_path = appendpath(to_name, name_tail)
820
 
                result.append((f, dest_path))
821
 
                inv.rename(inv.path2id(f), to_dir_id, name_tail)
822
 
                try:
823
 
                    rename(self.abspath(f), self.abspath(dest_path))
824
 
                except OSError, e:
825
 
                    raise BzrError("failed to rename %r to %r: %s" %
826
 
                                   (f, dest_path, e[1]),
827
 
                            ["rename rolled back"])
828
 
        except:
829
 
            # restore the inventory on error
830
 
            self._set_inventory(orig_inv)
831
 
            raise
832
 
        self._write_inventory(inv)
833
 
        return result
834
 
 
835
 
    @needs_write_lock
836
 
    def rename_one(self, from_rel, to_rel):
837
 
        """Rename one file.
838
 
 
839
 
        This can change the directory or the filename or both.
840
 
        """
841
 
        inv = self.inventory
842
 
        if not self.has_filename(from_rel):
843
 
            raise BzrError("can't rename: old working file %r does not exist" % from_rel)
844
 
        if self.has_filename(to_rel):
845
 
            raise BzrError("can't rename: new working file %r already exists" % to_rel)
846
 
 
847
 
        file_id = inv.path2id(from_rel)
848
 
        if file_id == None:
849
 
            raise BzrError("can't rename: old name %r is not versioned" % from_rel)
850
 
 
851
 
        entry = inv[file_id]
852
 
        from_parent = entry.parent_id
853
 
        from_name = entry.name
854
 
        
855
 
        if inv.path2id(to_rel):
856
 
            raise BzrError("can't rename: new name %r is already versioned" % to_rel)
857
 
 
858
 
        to_dir, to_tail = os.path.split(to_rel)
859
 
        to_dir_id = inv.path2id(to_dir)
860
 
        if to_dir_id == None and to_dir != '':
861
 
            raise BzrError("can't determine destination directory id for %r" % to_dir)
862
 
 
863
 
        mutter("rename_one:")
864
 
        mutter("  file_id    {%s}" % file_id)
865
 
        mutter("  from_rel   %r" % from_rel)
866
 
        mutter("  to_rel     %r" % to_rel)
867
 
        mutter("  to_dir     %r" % to_dir)
868
 
        mutter("  to_dir_id  {%s}" % to_dir_id)
869
 
 
870
 
        inv.rename(file_id, to_dir_id, to_tail)
871
 
 
872
 
        from_abs = self.abspath(from_rel)
873
 
        to_abs = self.abspath(to_rel)
874
 
        try:
875
 
            rename(from_abs, to_abs)
876
 
        except OSError, e:
877
 
            inv.rename(file_id, from_parent, from_name)
878
 
            raise BzrError("failed to rename %r to %r: %s"
879
 
                    % (from_abs, to_abs, e[1]),
880
 
                    ["rename rolled back"])
881
 
        self._write_inventory(inv)
882
 
 
883
 
    @needs_read_lock
 
191
            
 
192
 
 
193
 
884
194
    def unknowns(self):
885
 
        """Return all unknown files.
886
 
 
887
 
        These are files in the working directory that are not versioned or
888
 
        control files or ignored.
889
 
        
890
 
        >>> from bzrlib.bzrdir import ScratchDir
891
 
        >>> d = ScratchDir(files=['foo', 'foo~'])
892
 
        >>> b = d.open_branch()
893
 
        >>> tree = d.open_workingtree()
894
 
        >>> map(str, tree.unknowns())
895
 
        ['foo']
896
 
        >>> tree.add('foo')
897
 
        >>> list(b.unknowns())
898
 
        []
899
 
        >>> tree.remove('foo')
900
 
        >>> list(b.unknowns())
901
 
        [u'foo']
902
 
        """
903
195
        for subp in self.extras():
904
196
            if not self.is_ignored(subp):
905
197
                yield subp
906
198
 
907
 
    @deprecated_method(zero_eight)
908
 
    def iter_conflicts(self):
909
 
        """List all files in the tree that have text or content conflicts.
910
 
        DEPRECATED.  Use conflicts instead."""
911
 
        return self._iter_conflicts()
912
 
 
913
 
    def _iter_conflicts(self):
914
 
        conflicted = set()
915
 
        for path in (s[0] for s in self.list_files()):
916
 
            stem = get_conflicted_stem(path)
917
 
            if stem is None:
918
 
                continue
919
 
            if stem not in conflicted:
920
 
                conflicted.add(stem)
921
 
                yield stem
922
 
 
923
 
    @needs_write_lock
924
 
    def pull(self, source, overwrite=False, stop_revision=None):
925
 
        top_pb = bzrlib.ui.ui_factory.nested_progress_bar()
926
 
        source.lock_read()
927
 
        try:
928
 
            pp = ProgressPhase("Pull phase", 2, top_pb)
929
 
            pp.next_phase()
930
 
            old_revision_history = self.branch.revision_history()
931
 
            basis_tree = self.basis_tree()
932
 
            count = self.branch.pull(source, overwrite, stop_revision)
933
 
            new_revision_history = self.branch.revision_history()
934
 
            if new_revision_history != old_revision_history:
935
 
                pp.next_phase()
936
 
                if len(old_revision_history):
937
 
                    other_revision = old_revision_history[-1]
938
 
                else:
939
 
                    other_revision = None
940
 
                repository = self.branch.repository
941
 
                pb = bzrlib.ui.ui_factory.nested_progress_bar()
942
 
                try:
943
 
                    merge_inner(self.branch,
944
 
                                self.branch.basis_tree(),
945
 
                                basis_tree, 
946
 
                                this_tree=self, 
947
 
                                pb=pb)
948
 
                finally:
949
 
                    pb.finished()
950
 
                self.set_last_revision(self.branch.last_revision())
951
 
            return count
952
 
        finally:
953
 
            source.unlock()
954
 
            top_pb.finished()
955
199
 
956
200
    def extras(self):
957
201
        """Yield all unknown files in this WorkingTree.
964
208
        """
965
209
        ## TODO: Work from given directory downwards
966
210
        for path, dir_entry in self.inventory.directories():
967
 
            mutter("search for unknowns in %r", path)
 
211
            mutter("search for unknowns in %r" % path)
968
212
            dirabs = self.abspath(path)
969
213
            if not isdir(dirabs):
970
214
                # e.g. directory deleted
981
225
                subp = appendpath(path, subf)
982
226
                yield subp
983
227
 
984
 
    def _translate_ignore_rule(self, rule):
985
 
        """Translate a single ignore rule to a regex.
986
 
 
987
 
        There are two types of ignore rules.  Those that do not contain a / are
988
 
        matched against the tail of the filename (that is, they do not care
989
 
        what directory the file is in.)  Rules which do contain a slash must
990
 
        match the entire path.  As a special case, './' at the start of the
991
 
        string counts as a slash in the string but is removed before matching
992
 
        (e.g. ./foo.c, ./src/foo.c)
993
 
 
994
 
        :return: The translated regex.
995
 
        """
996
 
        if rule[:2] in ('./', '.\\'):
997
 
            # rootdir rule
998
 
            result = fnmatch.translate(rule[2:])
999
 
        elif '/' in rule or '\\' in rule:
1000
 
            # path prefix 
1001
 
            result = fnmatch.translate(rule)
1002
 
        else:
1003
 
            # default rule style.
1004
 
            result = "(?:.*/)?(?!.*/)" + fnmatch.translate(rule)
1005
 
        assert result[-1] == '$', "fnmatch.translate did not add the expected $"
1006
 
        return "(" + result + ")"
1007
 
 
1008
 
    def _combine_ignore_rules(self, rules):
1009
 
        """Combine a list of ignore rules into a single regex object.
1010
 
 
1011
 
        Each individual rule is combined with | to form a big regex, which then
1012
 
        has $ added to it to form something like ()|()|()$. The group index for
1013
 
        each subregex's outermost group is placed in a dictionary mapping back 
1014
 
        to the rule. This allows quick identification of the matching rule that
1015
 
        triggered a match.
1016
 
        :return: a list of the compiled regex and the matching-group index 
1017
 
        dictionaries. We return a list because python complains if you try to 
1018
 
        combine more than 100 regexes.
1019
 
        """
1020
 
        result = []
1021
 
        groups = {}
1022
 
        next_group = 0
1023
 
        translated_rules = []
1024
 
        for rule in rules:
1025
 
            translated_rule = self._translate_ignore_rule(rule)
1026
 
            compiled_rule = re.compile(translated_rule)
1027
 
            groups[next_group] = rule
1028
 
            next_group += compiled_rule.groups
1029
 
            translated_rules.append(translated_rule)
1030
 
            if next_group == 99:
1031
 
                result.append((re.compile("|".join(translated_rules)), groups))
1032
 
                groups = {}
1033
 
                next_group = 0
1034
 
                translated_rules = []
1035
 
        if len(translated_rules):
1036
 
            result.append((re.compile("|".join(translated_rules)), groups))
1037
 
        return result
1038
228
 
1039
229
    def ignored_files(self):
1040
230
        """Yield list of PATH, IGNORE_PATTERN"""
1043
233
            if pat != None:
1044
234
                yield subp, pat
1045
235
 
 
236
 
1046
237
    def get_ignore_list(self):
1047
238
        """Return list of ignore patterns.
1048
239
 
1056
247
            f = self.get_file_byname(bzrlib.IGNORE_FILENAME)
1057
248
            l.extend([line.rstrip("\n\r") for line in f.readlines()])
1058
249
        self._ignorelist = l
1059
 
        self._ignore_regex = self._combine_ignore_rules(l)
1060
250
        return l
1061
251
 
1062
 
    def _get_ignore_rules_as_regex(self):
1063
 
        """Return a regex of the ignore rules and a mapping dict.
1064
 
 
1065
 
        :return: (ignore rules compiled regex, dictionary mapping rule group 
1066
 
        indices to original rule.)
1067
 
        """
1068
 
        if getattr(self, '_ignorelist', None) is None:
1069
 
            self.get_ignore_list()
1070
 
        return self._ignore_regex
1071
252
 
1072
253
    def is_ignored(self, filename):
1073
254
        r"""Check whether the filename matches an ignore pattern.
1087
268
        # treat dotfiles correctly and allows * to match /.
1088
269
        # Eventually it should be replaced with something more
1089
270
        # accurate.
1090
 
    
1091
 
        rules = self._get_ignore_rules_as_regex()
1092
 
        for regex, mapping in rules:
1093
 
            match = regex.match(filename)
1094
 
            if match is not None:
1095
 
                # one or more of the groups in mapping will have a non-None group 
1096
 
                # match.
1097
 
                groups = match.groups()
1098
 
                rules = [mapping[group] for group in 
1099
 
                    mapping if groups[group] is not None]
1100
 
                return rules[0]
1101
 
        return None
1102
 
 
1103
 
    def kind(self, file_id):
1104
 
        return file_kind(self.id2abspath(file_id))
1105
 
 
1106
 
    @needs_read_lock
1107
 
    def last_revision(self):
1108
 
        """Return the last revision id of this working tree.
1109
 
 
1110
 
        In early branch formats this was == the branch last_revision,
1111
 
        but that cannot be relied upon - for working tree operations,
1112
 
        always use tree.last_revision().
1113
 
        """
1114
 
        return self.branch.last_revision()
1115
 
 
1116
 
    def is_locked(self):
1117
 
        return self._control_files.is_locked()
1118
 
 
1119
 
    def lock_read(self):
1120
 
        """See Branch.lock_read, and WorkingTree.unlock."""
1121
 
        self.branch.lock_read()
1122
 
        try:
1123
 
            return self._control_files.lock_read()
1124
 
        except:
1125
 
            self.branch.unlock()
1126
 
            raise
1127
 
 
1128
 
    def lock_write(self):
1129
 
        """See Branch.lock_write, and WorkingTree.unlock."""
1130
 
        self.branch.lock_write()
1131
 
        try:
1132
 
            return self._control_files.lock_write()
1133
 
        except:
1134
 
            self.branch.unlock()
1135
 
            raise
1136
 
 
1137
 
    def get_physical_lock_status(self):
1138
 
        return self._control_files.get_physical_lock_status()
1139
 
 
1140
 
    def _basis_inventory_name(self):
1141
 
        return 'basis-inventory'
1142
 
 
1143
 
    @needs_write_lock
1144
 
    def set_last_revision(self, new_revision):
1145
 
        """Change the last revision in the working tree."""
1146
 
        if self._change_last_revision(new_revision):
1147
 
            self._cache_basis_inventory(new_revision)
1148
 
 
1149
 
    def _change_last_revision(self, new_revision):
1150
 
        """Template method part of set_last_revision to perform the change.
1151
 
        
1152
 
        This is used to allow WorkingTree3 instances to not affect branch
1153
 
        when their last revision is set.
1154
 
        """
1155
 
        if new_revision is None:
1156
 
            self.branch.set_revision_history([])
1157
 
            return False
1158
 
        # current format is locked in with the branch
1159
 
        revision_history = self.branch.revision_history()
1160
 
        try:
1161
 
            position = revision_history.index(new_revision)
1162
 
        except ValueError:
1163
 
            raise errors.NoSuchRevision(self.branch, new_revision)
1164
 
        self.branch.set_revision_history(revision_history[:position + 1])
1165
 
        return True
1166
 
 
1167
 
    def _cache_basis_inventory(self, new_revision):
1168
 
        """Cache new_revision as the basis inventory."""
1169
 
        try:
1170
 
            # this double handles the inventory - unpack and repack - 
1171
 
            # but is easier to understand. We can/should put a conditional
1172
 
            # in here based on whether the inventory is in the latest format
1173
 
            # - perhaps we should repack all inventories on a repository
1174
 
            # upgrade ?
1175
 
            inv = self.branch.repository.get_inventory(new_revision)
1176
 
            inv.revision_id = new_revision
1177
 
            xml = bzrlib.xml5.serializer_v5.write_inventory_to_string(inv)
1178
 
 
1179
 
            path = self._basis_inventory_name()
1180
 
            self._control_files.put_utf8(path, xml)
1181
 
        except WeaveRevisionNotPresent:
1182
 
            pass
1183
 
 
1184
 
    def read_basis_inventory(self):
1185
 
        """Read the cached basis inventory."""
1186
 
        path = self._basis_inventory_name()
1187
 
        return self._control_files.get_utf8(path).read()
1188
 
        
1189
 
    @needs_read_lock
1190
 
    def read_working_inventory(self):
1191
 
        """Read the working inventory."""
1192
 
        # ElementTree does its own conversion from UTF-8, so open in
1193
 
        # binary.
1194
 
        result = bzrlib.xml5.serializer_v5.read_inventory(
1195
 
            self._control_files.get('inventory'))
1196
 
        self._set_inventory(result)
1197
 
        return result
1198
 
 
1199
 
    @needs_write_lock
1200
 
    def remove(self, files, verbose=False):
1201
 
        """Remove nominated files from the working inventory..
1202
 
 
1203
 
        This does not remove their text.  This does not run on XXX on what? RBC
1204
 
 
1205
 
        TODO: Refuse to remove modified files unless --force is given?
1206
 
 
1207
 
        TODO: Do something useful with directories.
1208
 
 
1209
 
        TODO: Should this remove the text or not?  Tough call; not
1210
 
        removing may be useful and the user can just use use rm, and
1211
 
        is the opposite of add.  Removing it is consistent with most
1212
 
        other tools.  Maybe an option.
1213
 
        """
1214
 
        ## TODO: Normalize names
1215
 
        ## TODO: Remove nested loops; better scalability
1216
 
        if isinstance(files, basestring):
1217
 
            files = [files]
1218
 
 
1219
 
        inv = self.inventory
1220
 
 
1221
 
        # do this before any modifications
1222
 
        for f in files:
1223
 
            fid = inv.path2id(f)
1224
 
            if not fid:
1225
 
                # TODO: Perhaps make this just a warning, and continue?
1226
 
                # This tends to happen when 
1227
 
                raise NotVersionedError(path=f)
1228
 
            mutter("remove inventory entry %s {%s}", quotefn(f), fid)
1229
 
            if verbose:
1230
 
                # having remove it, it must be either ignored or unknown
1231
 
                if self.is_ignored(f):
1232
 
                    new_status = 'I'
 
271
        
 
272
        for pat in self.get_ignore_list():
 
273
            if '/' in pat or '\\' in pat:
 
274
                
 
275
                # as a special case, you can put ./ at the start of a
 
276
                # pattern; this is good to match in the top-level
 
277
                # only;
 
278
                
 
279
                if (pat[:2] == './') or (pat[:2] == '.\\'):
 
280
                    newpat = pat[2:]
1233
281
                else:
1234
 
                    new_status = '?'
1235
 
                show_status(new_status, inv[fid].kind, quotefn(f))
1236
 
            del inv[fid]
1237
 
 
1238
 
        self._write_inventory(inv)
1239
 
 
1240
 
    @needs_write_lock
1241
 
    def revert(self, filenames, old_tree=None, backups=True, 
1242
 
               pb=DummyProgress()):
1243
 
        from transform import revert
1244
 
        from conflicts import resolve
1245
 
        if old_tree is None:
1246
 
            old_tree = self.basis_tree()
1247
 
        conflicts = revert(self, old_tree, filenames, backups, pb)
1248
 
        if not len(filenames):
1249
 
            self.set_pending_merges([])
1250
 
            resolve(self)
 
282
                    newpat = pat
 
283
                if fnmatch.fnmatchcase(filename, newpat):
 
284
                    return pat
 
285
            else:
 
286
                if fnmatch.fnmatchcase(splitpath(filename)[-1], pat):
 
287
                    return pat
1251
288
        else:
1252
 
            resolve(self, filenames, ignore_misses=True)
1253
 
        return conflicts
1254
 
 
1255
 
    # XXX: This method should be deprecated in favour of taking in a proper
1256
 
    # new Inventory object.
1257
 
    @needs_write_lock
1258
 
    def set_inventory(self, new_inventory_list):
1259
 
        from bzrlib.inventory import (Inventory,
1260
 
                                      InventoryDirectory,
1261
 
                                      InventoryEntry,
1262
 
                                      InventoryFile,
1263
 
                                      InventoryLink)
1264
 
        inv = Inventory(self.get_root_id())
1265
 
        for path, file_id, parent, kind in new_inventory_list:
1266
 
            name = os.path.basename(path)
1267
 
            if name == "":
1268
 
                continue
1269
 
            # fixme, there should be a factory function inv,add_?? 
1270
 
            if kind == 'directory':
1271
 
                inv.add(InventoryDirectory(file_id, name, parent))
1272
 
            elif kind == 'file':
1273
 
                inv.add(InventoryFile(file_id, name, parent))
1274
 
            elif kind == 'symlink':
1275
 
                inv.add(InventoryLink(file_id, name, parent))
1276
 
            else:
1277
 
                raise BzrError("unknown kind %r" % kind)
1278
 
        self._write_inventory(inv)
1279
 
 
1280
 
    @needs_write_lock
1281
 
    def set_root_id(self, file_id):
1282
 
        """Set the root id for this tree."""
1283
 
        inv = self.read_working_inventory()
1284
 
        orig_root_id = inv.root.file_id
1285
 
        del inv._byid[inv.root.file_id]
1286
 
        inv.root.file_id = file_id
1287
 
        inv._byid[inv.root.file_id] = inv.root
1288
 
        for fid in inv:
1289
 
            entry = inv[fid]
1290
 
            if entry.parent_id == orig_root_id:
1291
 
                entry.parent_id = inv.root.file_id
1292
 
        self._write_inventory(inv)
1293
 
 
1294
 
    def unlock(self):
1295
 
        """See Branch.unlock.
1296
 
        
1297
 
        WorkingTree locking just uses the Branch locking facilities.
1298
 
        This is current because all working trees have an embedded branch
1299
 
        within them. IF in the future, we were to make branch data shareable
1300
 
        between multiple working trees, i.e. via shared storage, then we 
1301
 
        would probably want to lock both the local tree, and the branch.
1302
 
        """
1303
 
        # FIXME: We want to write out the hashcache only when the last lock on
1304
 
        # this working copy is released.  Peeking at the lock count is a bit
1305
 
        # of a nasty hack; probably it's better to have a transaction object,
1306
 
        # which can do some finalization when it's either successfully or
1307
 
        # unsuccessfully completed.  (Denys's original patch did that.)
1308
 
        # RBC 20060206 hookinhg into transaction will couple lock and transaction
1309
 
        # wrongly. Hookinh into unllock on the control files object is fine though.
1310
 
        
1311
 
        # TODO: split this per format so there is no ugly if block
1312
 
        if self._hashcache.needs_write and (
1313
 
            # dedicated lock files
1314
 
            self._control_files._lock_count==1 or 
1315
 
            # shared lock files
1316
 
            (self._control_files is self.branch.control_files and 
1317
 
             self._control_files._lock_count==3)):
1318
 
            self._hashcache.write()
1319
 
        # reverse order of locking.
1320
 
        try:
1321
 
            return self._control_files.unlock()
1322
 
        finally:
1323
 
            self.branch.unlock()
1324
 
 
1325
 
    @needs_write_lock
1326
 
    def update(self):
1327
 
        """Update a working tree along its branch.
1328
 
 
1329
 
        This will update the branch if its bound too, which means we have multiple trees involved:
1330
 
        The new basis tree of the master.
1331
 
        The old basis tree of the branch.
1332
 
        The old basis tree of the working tree.
1333
 
        The current working tree state.
1334
 
        pathologically all three may be different, and non ancestors of each other.
1335
 
        Conceptually we want to:
1336
 
        Preserve the wt.basis->wt.state changes
1337
 
        Transform the wt.basis to the new master basis.
1338
 
        Apply a merge of the old branch basis to get any 'local' changes from it into the tree.
1339
 
        Restore the wt.basis->wt.state changes.
1340
 
 
1341
 
        There isn't a single operation at the moment to do that, so we:
1342
 
        Merge current state -> basis tree of the master w.r.t. the old tree basis.
1343
 
        Do a 'normal' merge of the old branch basis if it is relevant.
1344
 
        """
1345
 
        old_tip = self.branch.update()
1346
 
        if old_tip is not None:
1347
 
            self.add_pending_merge(old_tip)
1348
 
        self.branch.lock_read()
1349
 
        try:
1350
 
            result = 0
1351
 
            if self.last_revision() != self.branch.last_revision():
1352
 
                # merge tree state up to new branch tip.
1353
 
                basis = self.basis_tree()
1354
 
                to_tree = self.branch.basis_tree()
1355
 
                result += merge_inner(self.branch,
1356
 
                                      to_tree,
1357
 
                                      basis,
1358
 
                                      this_tree=self)
1359
 
                self.set_last_revision(self.branch.last_revision())
1360
 
            if old_tip and old_tip != self.last_revision():
1361
 
                # our last revision was not the prior branch last reivison
1362
 
                # and we have converted that last revision to a pending merge.
1363
 
                # base is somewhere between the branch tip now
1364
 
                # and the now pending merge
1365
 
                from bzrlib.revision import common_ancestor
1366
 
                try:
1367
 
                    base_rev_id = common_ancestor(self.branch.last_revision(),
1368
 
                                                  old_tip,
1369
 
                                                  self.branch.repository)
1370
 
                except errors.NoCommonAncestor:
1371
 
                    base_rev_id = None
1372
 
                base_tree = self.branch.repository.revision_tree(base_rev_id)
1373
 
                other_tree = self.branch.repository.revision_tree(old_tip)
1374
 
                result += merge_inner(self.branch,
1375
 
                                      other_tree,
1376
 
                                      base_tree,
1377
 
                                      this_tree=self)
1378
 
            return result
1379
 
        finally:
1380
 
            self.branch.unlock()
1381
 
 
1382
 
    @needs_write_lock
1383
 
    def _write_inventory(self, inv):
1384
 
        """Write inventory as the current inventory."""
1385
 
        sio = StringIO()
1386
 
        bzrlib.xml5.serializer_v5.write_inventory(inv, sio)
1387
 
        sio.seek(0)
1388
 
        self._control_files.put('inventory', sio)
1389
 
        self._set_inventory(inv)
1390
 
        mutter('wrote working inventory')
1391
 
 
1392
 
    def set_conflicts(self, arg):
1393
 
        raise UnsupportedOperation(self.set_conflicts, self)
1394
 
 
1395
 
    @needs_read_lock
1396
 
    def conflicts(self):
1397
 
        conflicts = ConflictList()
1398
 
        for conflicted in self._iter_conflicts():
1399
 
            text = True
1400
 
            try:
1401
 
                if file_kind(self.abspath(conflicted)) != "file":
1402
 
                    text = False
1403
 
            except OSError, e:
1404
 
                if e.errno == errno.ENOENT:
1405
 
                    text = False
1406
 
                else:
1407
 
                    raise
1408
 
            if text is True:
1409
 
                for suffix in ('.THIS', '.OTHER'):
1410
 
                    try:
1411
 
                        kind = file_kind(self.abspath(conflicted+suffix))
1412
 
                    except OSError, e:
1413
 
                        if e.errno == errno.ENOENT:
1414
 
                            text = False
1415
 
                            break
1416
 
                        else:
1417
 
                            raise
1418
 
                    if kind != "file":
1419
 
                        text = False
1420
 
                        break
1421
 
            ctype = {True: 'text conflict', False: 'contents conflict'}[text]
1422
 
            conflicts.append(Conflict.factory(ctype, path=conflicted,
1423
 
                             file_id=self.path2id(conflicted)))
1424
 
        return conflicts
1425
 
 
1426
 
 
1427
 
class WorkingTree3(WorkingTree):
1428
 
    """This is the Format 3 working tree.
1429
 
 
1430
 
    This differs from the base WorkingTree by:
1431
 
     - having its own file lock
1432
 
     - having its own last-revision property.
1433
 
 
1434
 
    This is new in bzr 0.8
1435
 
    """
1436
 
 
1437
 
    @needs_read_lock
1438
 
    def last_revision(self):
1439
 
        """See WorkingTree.last_revision."""
1440
 
        try:
1441
 
            return self._control_files.get_utf8('last-revision').read()
1442
 
        except NoSuchFile:
1443
289
            return None
1444
 
 
1445
 
    def _change_last_revision(self, revision_id):
1446
 
        """See WorkingTree._change_last_revision."""
1447
 
        if revision_id is None or revision_id == NULL_REVISION:
1448
 
            try:
1449
 
                self._control_files._transport.delete('last-revision')
1450
 
            except errors.NoSuchFile:
1451
 
                pass
1452
 
            return False
1453
 
        else:
1454
 
            try:
1455
 
                self.branch.revision_history().index(revision_id)
1456
 
            except ValueError:
1457
 
                raise errors.NoSuchRevision(self.branch, revision_id)
1458
 
            self._control_files.put_utf8('last-revision', revision_id)
1459
 
            return True
1460
 
 
1461
 
    @needs_write_lock
1462
 
    def set_conflicts(self, conflicts):
1463
 
        self._put_rio('conflicts', conflicts.to_stanzas(), 
1464
 
                      CONFLICT_HEADER_1)
1465
 
 
1466
 
    @needs_read_lock
1467
 
    def conflicts(self):
1468
 
        try:
1469
 
            confile = self._control_files.get('conflicts')
1470
 
        except NoSuchFile:
1471
 
            return ConflictList()
1472
 
        try:
1473
 
            if confile.next() != CONFLICT_HEADER_1 + '\n':
1474
 
                raise ConflictFormatError()
1475
 
        except StopIteration:
1476
 
            raise ConflictFormatError()
1477
 
        return ConflictList.from_stanzas(RioReader(confile))
1478
 
 
1479
 
 
1480
 
def get_conflicted_stem(path):
1481
 
    for suffix in CONFLICT_SUFFIXES:
1482
 
        if path.endswith(suffix):
1483
 
            return path[:-len(suffix)]
1484
 
 
1485
 
@deprecated_function(zero_eight)
1486
 
def is_control_file(filename):
1487
 
    """See WorkingTree.is_control_filename(filename)."""
1488
 
    ## FIXME: better check
1489
 
    filename = normpath(filename)
1490
 
    while filename != '':
1491
 
        head, tail = os.path.split(filename)
1492
 
        ## mutter('check %r for control file' % ((head, tail),))
1493
 
        if tail == '.bzr':
1494
 
            return True
1495
 
        if filename == head:
1496
 
            break
1497
 
        filename = head
1498
 
    return False
1499
 
 
1500
 
 
1501
 
class WorkingTreeFormat(object):
1502
 
    """An encapsulation of the initialization and open routines for a format.
1503
 
 
1504
 
    Formats provide three things:
1505
 
     * An initialization routine,
1506
 
     * a format string,
1507
 
     * an open routine.
1508
 
 
1509
 
    Formats are placed in an dict by their format string for reference 
1510
 
    during workingtree opening. Its not required that these be instances, they
1511
 
    can be classes themselves with class methods - it simply depends on 
1512
 
    whether state is needed for a given format or not.
1513
 
 
1514
 
    Once a format is deprecated, just deprecate the initialize and open
1515
 
    methods on the format class. Do not deprecate the object, as the 
1516
 
    object will be created every time regardless.
1517
 
    """
1518
 
 
1519
 
    _default_format = None
1520
 
    """The default format used for new trees."""
1521
 
 
1522
 
    _formats = {}
1523
 
    """The known formats."""
1524
 
 
1525
 
    @classmethod
1526
 
    def find_format(klass, a_bzrdir):
1527
 
        """Return the format for the working tree object in a_bzrdir."""
1528
 
        try:
1529
 
            transport = a_bzrdir.get_workingtree_transport(None)
1530
 
            format_string = transport.get("format").read()
1531
 
            return klass._formats[format_string]
1532
 
        except NoSuchFile:
1533
 
            raise errors.NoWorkingTree(base=transport.base)
1534
 
        except KeyError:
1535
 
            raise errors.UnknownFormatError(format_string)
1536
 
 
1537
 
    @classmethod
1538
 
    def get_default_format(klass):
1539
 
        """Return the current default format."""
1540
 
        return klass._default_format
1541
 
 
1542
 
    def get_format_string(self):
1543
 
        """Return the ASCII format string that identifies this format."""
1544
 
        raise NotImplementedError(self.get_format_string)
1545
 
 
1546
 
    def get_format_description(self):
1547
 
        """Return the short description for this format."""
1548
 
        raise NotImplementedError(self.get_format_description)
1549
 
 
1550
 
    def is_supported(self):
1551
 
        """Is this format supported?
1552
 
 
1553
 
        Supported formats can be initialized and opened.
1554
 
        Unsupported formats may not support initialization or committing or 
1555
 
        some other features depending on the reason for not being supported.
1556
 
        """
1557
 
        return True
1558
 
 
1559
 
    @classmethod
1560
 
    def register_format(klass, format):
1561
 
        klass._formats[format.get_format_string()] = format
1562
 
 
1563
 
    @classmethod
1564
 
    def set_default_format(klass, format):
1565
 
        klass._default_format = format
1566
 
 
1567
 
    @classmethod
1568
 
    def unregister_format(klass, format):
1569
 
        assert klass._formats[format.get_format_string()] is format
1570
 
        del klass._formats[format.get_format_string()]
1571
 
 
1572
 
 
1573
 
 
1574
 
class WorkingTreeFormat2(WorkingTreeFormat):
1575
 
    """The second working tree format. 
1576
 
 
1577
 
    This format modified the hash cache from the format 1 hash cache.
1578
 
    """
1579
 
 
1580
 
    def get_format_description(self):
1581
 
        """See WorkingTreeFormat.get_format_description()."""
1582
 
        return "Working tree format 2"
1583
 
 
1584
 
    def stub_initialize_remote(self, control_files):
1585
 
        """As a special workaround create critical control files for a remote working tree
1586
 
        
1587
 
        This ensures that it can later be updated and dealt with locally,
1588
 
        since BzrDirFormat6 and BzrDirFormat5 cannot represent dirs with 
1589
 
        no working tree.  (See bug #43064).
1590
 
        """
1591
 
        sio = StringIO()
1592
 
        inv = Inventory()
1593
 
        bzrlib.xml5.serializer_v5.write_inventory(inv, sio)
1594
 
        sio.seek(0)
1595
 
        control_files.put('inventory', sio)
1596
 
 
1597
 
        control_files.put_utf8('pending-merges', '')
1598
 
        
1599
 
 
1600
 
    def initialize(self, a_bzrdir, revision_id=None):
1601
 
        """See WorkingTreeFormat.initialize()."""
1602
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
1603
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
1604
 
        branch = a_bzrdir.open_branch()
1605
 
        if revision_id is not None:
1606
 
            branch.lock_write()
1607
 
            try:
1608
 
                revision_history = branch.revision_history()
1609
 
                try:
1610
 
                    position = revision_history.index(revision_id)
1611
 
                except ValueError:
1612
 
                    raise errors.NoSuchRevision(branch, revision_id)
1613
 
                branch.set_revision_history(revision_history[:position + 1])
1614
 
            finally:
1615
 
                branch.unlock()
1616
 
        revision = branch.last_revision()
1617
 
        inv = Inventory() 
1618
 
        wt = WorkingTree(a_bzrdir.root_transport.base,
1619
 
                         branch,
1620
 
                         inv,
1621
 
                         _internal=True,
1622
 
                         _format=self,
1623
 
                         _bzrdir=a_bzrdir)
1624
 
        wt._write_inventory(inv)
1625
 
        wt.set_root_id(inv.root.file_id)
1626
 
        wt.set_last_revision(revision)
1627
 
        wt.set_pending_merges([])
1628
 
        build_tree(wt.basis_tree(), wt)
1629
 
        return wt
1630
 
 
1631
 
    def __init__(self):
1632
 
        super(WorkingTreeFormat2, self).__init__()
1633
 
        self._matchingbzrdir = bzrdir.BzrDirFormat6()
1634
 
 
1635
 
    def open(self, a_bzrdir, _found=False):
1636
 
        """Return the WorkingTree object for a_bzrdir
1637
 
 
1638
 
        _found is a private parameter, do not use it. It is used to indicate
1639
 
               if format probing has already been done.
1640
 
        """
1641
 
        if not _found:
1642
 
            # we are being called directly and must probe.
1643
 
            raise NotImplementedError
1644
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
1645
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
1646
 
        return WorkingTree(a_bzrdir.root_transport.base,
1647
 
                           _internal=True,
1648
 
                           _format=self,
1649
 
                           _bzrdir=a_bzrdir)
1650
 
 
1651
 
 
1652
 
class WorkingTreeFormat3(WorkingTreeFormat):
1653
 
    """The second working tree format updated to record a format marker.
1654
 
 
1655
 
    This format:
1656
 
        - exists within a metadir controlling .bzr
1657
 
        - includes an explicit version marker for the workingtree control
1658
 
          files, separate from the BzrDir format
1659
 
        - modifies the hash cache format
1660
 
        - is new in bzr 0.8
1661
 
        - uses a LockDir to guard access to the repository
1662
 
    """
1663
 
 
1664
 
    def get_format_string(self):
1665
 
        """See WorkingTreeFormat.get_format_string()."""
1666
 
        return "Bazaar-NG Working Tree format 3"
1667
 
 
1668
 
    def get_format_description(self):
1669
 
        """See WorkingTreeFormat.get_format_description()."""
1670
 
        return "Working tree format 3"
1671
 
 
1672
 
    _lock_file_name = 'lock'
1673
 
    _lock_class = LockDir
1674
 
 
1675
 
    def _open_control_files(self, a_bzrdir):
1676
 
        transport = a_bzrdir.get_workingtree_transport(None)
1677
 
        return LockableFiles(transport, self._lock_file_name, 
1678
 
                             self._lock_class)
1679
 
 
1680
 
    def initialize(self, a_bzrdir, revision_id=None):
1681
 
        """See WorkingTreeFormat.initialize().
1682
 
        
1683
 
        revision_id allows creating a working tree at a differnet
1684
 
        revision than the branch is at.
1685
 
        """
1686
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
1687
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
1688
 
        transport = a_bzrdir.get_workingtree_transport(self)
1689
 
        control_files = self._open_control_files(a_bzrdir)
1690
 
        control_files.create_lock()
1691
 
        control_files.lock_write()
1692
 
        control_files.put_utf8('format', self.get_format_string())
1693
 
        branch = a_bzrdir.open_branch()
1694
 
        if revision_id is None:
1695
 
            revision_id = branch.last_revision()
1696
 
        inv = Inventory() 
1697
 
        wt = WorkingTree3(a_bzrdir.root_transport.base,
1698
 
                         branch,
1699
 
                         inv,
1700
 
                         _internal=True,
1701
 
                         _format=self,
1702
 
                         _bzrdir=a_bzrdir,
1703
 
                         _control_files=control_files)
1704
 
        wt.lock_write()
1705
 
        try:
1706
 
            wt._write_inventory(inv)
1707
 
            wt.set_root_id(inv.root.file_id)
1708
 
            wt.set_last_revision(revision_id)
1709
 
            wt.set_pending_merges([])
1710
 
            build_tree(wt.basis_tree(), wt)
1711
 
        finally:
1712
 
            wt.unlock()
1713
 
            control_files.unlock()
1714
 
        return wt
1715
 
 
1716
 
    def __init__(self):
1717
 
        super(WorkingTreeFormat3, self).__init__()
1718
 
        self._matchingbzrdir = bzrdir.BzrDirMetaFormat1()
1719
 
 
1720
 
    def open(self, a_bzrdir, _found=False):
1721
 
        """Return the WorkingTree object for a_bzrdir
1722
 
 
1723
 
        _found is a private parameter, do not use it. It is used to indicate
1724
 
               if format probing has already been done.
1725
 
        """
1726
 
        if not _found:
1727
 
            # we are being called directly and must probe.
1728
 
            raise NotImplementedError
1729
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
1730
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
1731
 
        control_files = self._open_control_files(a_bzrdir)
1732
 
        return WorkingTree3(a_bzrdir.root_transport.base,
1733
 
                           _internal=True,
1734
 
                           _format=self,
1735
 
                           _bzrdir=a_bzrdir,
1736
 
                           _control_files=control_files)
1737
 
 
1738
 
    def __str__(self):
1739
 
        return self.get_format_string()
1740
 
 
1741
 
 
1742
 
# formats which have no format string are not discoverable
1743
 
# and not independently creatable, so are not registered.
1744
 
__default_format = WorkingTreeFormat3()
1745
 
WorkingTreeFormat.register_format(__default_format)
1746
 
WorkingTreeFormat.set_default_format(__default_format)
1747
 
_legacy_formats = [WorkingTreeFormat2(),
1748
 
                   ]
1749
 
 
1750
 
 
1751
 
class WorkingTreeTestProviderAdapter(object):
1752
 
    """A tool to generate a suite testing multiple workingtree formats at once.
1753
 
 
1754
 
    This is done by copying the test once for each transport and injecting
1755
 
    the transport_server, transport_readonly_server, and workingtree_format
1756
 
    classes into each copy. Each copy is also given a new id() to make it
1757
 
    easy to identify.
1758
 
    """
1759
 
 
1760
 
    def __init__(self, transport_server, transport_readonly_server, formats):
1761
 
        self._transport_server = transport_server
1762
 
        self._transport_readonly_server = transport_readonly_server
1763
 
        self._formats = formats
1764
 
    
1765
 
    def adapt(self, test):
1766
 
        from bzrlib.tests import TestSuite
1767
 
        result = TestSuite()
1768
 
        for workingtree_format, bzrdir_format in self._formats:
1769
 
            new_test = deepcopy(test)
1770
 
            new_test.transport_server = self._transport_server
1771
 
            new_test.transport_readonly_server = self._transport_readonly_server
1772
 
            new_test.bzrdir_format = bzrdir_format
1773
 
            new_test.workingtree_format = workingtree_format
1774
 
            def make_new_test_id():
1775
 
                new_id = "%s(%s)" % (new_test.id(), workingtree_format.__class__.__name__)
1776
 
                return lambda: new_id
1777
 
            new_test.id = make_new_test_id()
1778
 
            result.addTest(new_test)
1779
 
        return result
 
290