~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/workingtree.py

first cut at merge from integration.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# Copyright (C) 2005 Canonical Ltd
2
2
 
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
25
25
At the moment every WorkingTree has its own branch.  Remote
26
26
WorkingTrees aren't supported.
27
27
 
28
 
To get a WorkingTree, call bzrdir.open_workingtree() or
29
 
WorkingTree.open(dir).
 
28
To get a WorkingTree, call WorkingTree(dir[, branch])
30
29
"""
31
30
 
32
 
MERGE_MODIFIED_HEADER_1 = "BZR merge-modified list format 1"
33
 
CONFLICT_HEADER_1 = "BZR conflict list format 1"
 
31
 
 
32
# FIXME: I don't know if writing out the cache from the destructor is really a
 
33
# good idea, because destructors are considered poor taste in Python, and it's
 
34
# not predictable when it will be written out.
34
35
 
35
36
# TODO: Give the workingtree sole responsibility for the working inventory;
36
37
# remove the variable and references to it from the branch.  This may require
37
38
# updating the commit code so as to update the inventory within the working
38
39
# copy, and making sure there's only one WorkingTree for any directory on disk.
39
 
# At the moment they may alias the inventory and have old copies of it in
40
 
# memory.  (Now done? -- mbp 20060309)
 
40
# At the momenthey may alias the inventory and have old copies of it in memory.
41
41
 
42
 
from binascii import hexlify
43
 
import collections
44
42
from copy import deepcopy
45
43
from cStringIO import StringIO
46
44
import errno
47
45
import fnmatch
48
46
import os
49
 
import re
50
47
import stat
51
 
from time import time
 
48
 
52
49
 
53
50
from bzrlib.atomicfile import AtomicFile
54
51
from bzrlib.branch import (Branch,
 
52
                           BzrBranchFormat4,
 
53
                           BzrBranchFormat5,
 
54
                           BzrBranchFormat6,
 
55
                           is_control_file,
55
56
                           quotefn)
56
 
from bzrlib.conflicts import Conflict, ConflictList, CONFLICT_SUFFIXES
57
 
import bzrlib.bzrdir as bzrdir
58
57
from bzrlib.decorators import needs_read_lock, needs_write_lock
59
 
import bzrlib.errors as errors
60
58
from bzrlib.errors import (BzrCheckError,
61
59
                           BzrError,
62
 
                           ConflictFormatError,
63
60
                           DivergedBranches,
64
61
                           WeaveRevisionNotPresent,
65
62
                           NotBranchError,
66
63
                           NoSuchFile,
67
 
                           NotVersionedError,
68
 
                           MergeModifiedFormatError,
69
 
                           UnsupportedOperation,
70
 
                           )
71
 
from bzrlib.inventory import InventoryEntry, Inventory
72
 
from bzrlib.lockable_files import LockableFiles, TransportLock
73
 
from bzrlib.lockdir import LockDir
74
 
from bzrlib.merge import merge_inner, transform_tree
75
 
from bzrlib.osutils import (
76
 
                            abspath,
 
64
                           NotVersionedError)
 
65
from bzrlib.inventory import InventoryEntry
 
66
from bzrlib.lockable_files import LockableFiles
 
67
from bzrlib.osutils import (appendpath,
77
68
                            compact_date,
78
69
                            file_kind,
79
70
                            isdir,
82
73
                            pumpfile,
83
74
                            safe_unicode,
84
75
                            splitpath,
85
 
                            rand_chars,
 
76
                            rand_bytes,
 
77
                            abspath,
86
78
                            normpath,
87
79
                            realpath,
88
80
                            relpath,
89
 
                            rename,
90
 
                            supports_executable,
91
 
                            )
92
 
from bzrlib.progress import DummyProgress, ProgressPhase
93
 
from bzrlib.revision import NULL_REVISION
94
 
from bzrlib.rio import RioReader, rio_file, Stanza
 
81
                            rename)
95
82
from bzrlib.symbol_versioning import *
96
83
from bzrlib.textui import show_status
97
84
import bzrlib.tree
98
 
from bzrlib.transform import build_tree
99
 
from bzrlib.trace import mutter, note
 
85
from bzrlib.trace import mutter
100
86
from bzrlib.transport import get_transport
101
 
from bzrlib.transport.local import LocalTransport
102
 
import bzrlib.urlutils as urlutils
103
 
import bzrlib.ui
104
87
import bzrlib.xml5
105
88
 
106
89
 
107
 
# the regex here does the following:
108
 
# 1) remove any weird characters; we don't escape them but rather
109
 
# just pull them out
110
 
 # 2) match leading '.'s to make it not hidden
111
 
_gen_file_id_re = re.compile(r'[^\w.]|(^\.*)')
112
 
_gen_id_suffix = None
113
 
_gen_id_serial = 0
114
 
 
115
 
 
116
 
def _next_id_suffix():
117
 
    """Create a new file id suffix that is reasonably unique.
118
 
    
119
 
    On the first call we combine the current time with 64 bits of randomness
120
 
    to give a highly probably globally unique number. Then each call in the same
121
 
    process adds 1 to a serial number we append to that unique value.
122
 
    """
123
 
    # XXX TODO: change bzrlib.add.smart_add to call workingtree.add() rather 
124
 
    # than having to move the id randomness out of the inner loop like this.
125
 
    # XXX TODO: for the global randomness this uses we should add the thread-id
126
 
    # before the serial #.
127
 
    global _gen_id_suffix, _gen_id_serial
128
 
    if _gen_id_suffix is None:
129
 
        _gen_id_suffix = "-%s-%s-" % (compact_date(time()), rand_chars(16))
130
 
    _gen_id_serial += 1
131
 
    return _gen_id_suffix + str(_gen_id_serial)
132
 
 
133
 
 
134
90
def gen_file_id(name):
135
 
    """Return new file id for the basename 'name'.
136
 
 
137
 
    The uniqueness is supplied from _next_id_suffix.
138
 
    """
139
 
    # XXX TODO: squash the filename to lowercase.
140
 
    # XXX TODO: truncate the filename to something like 20 or 30 chars.
141
 
    # XXX TODO: consider what to do with ids that look like illegal filepaths
142
 
    # on platforms we support.
143
 
    return _gen_file_id_re.sub('', name) + _next_id_suffix()
 
91
    """Return new file id.
 
92
 
 
93
    This should probably generate proper UUIDs, but for the moment we
 
94
    cope with just randomness because running uuidgen every time is
 
95
    slow."""
 
96
    import re
 
97
    from binascii import hexlify
 
98
    from time import time
 
99
 
 
100
    # get last component
 
101
    idx = name.rfind('/')
 
102
    if idx != -1:
 
103
        name = name[idx+1 : ]
 
104
    idx = name.rfind('\\')
 
105
    if idx != -1:
 
106
        name = name[idx+1 : ]
 
107
 
 
108
    # make it not a hidden file
 
109
    name = name.lstrip('.')
 
110
 
 
111
    # remove any wierd characters; we don't escape them but rather
 
112
    # just pull them out
 
113
    name = re.sub(r'[^\w.]', '', name)
 
114
 
 
115
    s = hexlify(rand_bytes(8))
 
116
    return '-'.join((name, compact_date(time()), s))
144
117
 
145
118
 
146
119
def gen_root_id():
149
122
 
150
123
 
151
124
class TreeEntry(object):
152
 
    """An entry that implements the minimum interface used by commands.
 
125
    """An entry that implements the minium interface used by commands.
153
126
 
154
127
    This needs further inspection, it may be better to have 
155
128
    InventoryEntries without ids - though that seems wrong. For now,
213
186
    not listed in the Inventory and vice versa.
214
187
    """
215
188
 
216
 
    def __init__(self, basedir='.',
217
 
                 branch=DEPRECATED_PARAMETER,
218
 
                 _inventory=None,
219
 
                 _control_files=None,
220
 
                 _internal=False,
221
 
                 _format=None,
222
 
                 _bzrdir=None):
 
189
    def __init__(self, basedir='.', branch=None, _inventory=None, _control_files=None):
223
190
        """Construct a WorkingTree for basedir.
224
191
 
225
192
        If the branch is not supplied, it is opened automatically.
227
194
        (branch.base is not cross checked, because for remote branches that
228
195
        would be meaningless).
229
196
        """
230
 
        self._format = _format
231
 
        self.bzrdir = _bzrdir
232
 
        if not _internal:
233
 
            # not created via open etc.
234
 
            warn("WorkingTree() is deprecated as of bzr version 0.8. "
235
 
                 "Please use bzrdir.open_workingtree or WorkingTree.open().",
236
 
                 DeprecationWarning,
237
 
                 stacklevel=2)
238
 
            wt = WorkingTree.open(basedir)
239
 
            self._branch = wt.branch
240
 
            self.basedir = wt.basedir
241
 
            self._control_files = wt._control_files
242
 
            self._hashcache = wt._hashcache
243
 
            self._set_inventory(wt._inventory)
244
 
            self._format = wt._format
245
 
            self.bzrdir = wt.bzrdir
246
197
        from bzrlib.hashcache import HashCache
247
198
        from bzrlib.trace import note, mutter
248
199
        assert isinstance(basedir, basestring), \
249
200
            "base directory %r is not a string" % basedir
250
201
        basedir = safe_unicode(basedir)
251
 
        mutter("opening working tree %r", basedir)
252
 
        if deprecated_passed(branch):
253
 
            if not _internal:
254
 
                warn("WorkingTree(..., branch=XXX) is deprecated as of bzr 0.8."
255
 
                     " Please use bzrdir.open_workingtree() or"
256
 
                     " WorkingTree.open().",
257
 
                     DeprecationWarning,
258
 
                     stacklevel=2
259
 
                     )
260
 
            self._branch = branch
261
 
        else:
262
 
            self._branch = self.bzrdir.open_branch()
263
 
        assert isinstance(self.branch, Branch), \
264
 
            "branch %r is not a Branch" % self.branch
 
202
        mutter("openeing working tree %r", basedir)
 
203
        if branch is None:
 
204
            branch = Branch.open(basedir)
 
205
        assert isinstance(branch, Branch), \
 
206
            "branch %r is not a Branch" % branch
 
207
        self.branch = branch
265
208
        self.basedir = realpath(basedir)
266
209
        # if branch is at our basedir and is a format 6 or less
267
 
        if isinstance(self._format, WorkingTreeFormat2):
268
 
            # share control object
 
210
        if (isinstance(self.branch._branch_format,
 
211
                       (BzrBranchFormat4, BzrBranchFormat5, BzrBranchFormat6))
 
212
            # might be able to share control object
 
213
            and self.branch.base.split('/')[-2] == self.basedir.split('/')[-1]):
269
214
            self._control_files = self.branch.control_files
 
215
        elif _control_files is not None:
 
216
            assert False, "not done yet"
 
217
#            self._control_files = _control_files
270
218
        else:
271
 
            # only ready for format 3
272
 
            assert isinstance(self._format, WorkingTreeFormat3)
273
 
            assert isinstance(_control_files, LockableFiles), \
274
 
                    "_control_files must be a LockableFiles, not %r" \
275
 
                    % _control_files
276
 
            self._control_files = _control_files
 
219
            self._control_files = LockableFiles(
 
220
                get_transport(self.basedir).clone(bzrlib.BZRDIR), 'branch-lock')
 
221
 
277
222
        # update the whole cache up front and write to disk if anything changed;
278
223
        # in the future we might want to do this more selectively
279
224
        # two possible ways offer themselves : in self._unlock, write the cache
280
225
        # if needed, or, when the cache sees a change, append it to the hash
281
226
        # cache file, and have the parser take the most recent entry for a
282
227
        # given path only.
283
 
        cache_filename = self.bzrdir.get_workingtree_transport(None).local_abspath('stat-cache')
284
 
        hc = self._hashcache = HashCache(basedir, cache_filename, self._control_files._file_mode)
 
228
        hc = self._hashcache = HashCache(basedir)
285
229
        hc.read()
286
 
        # is this scan needed ? it makes things kinda slow.
287
 
        #hc.scan()
 
230
        hc.scan()
288
231
 
289
232
        if hc.needs_write:
290
233
            mutter("write hc")
295
238
        else:
296
239
            self._set_inventory(_inventory)
297
240
 
298
 
    branch = property(
299
 
        fget=lambda self: self._branch,
300
 
        doc="""The branch this WorkingTree is connected to.
301
 
 
302
 
            This cannot be set - it is reflective of the actual disk structure
303
 
            the working tree has been constructed from.
304
 
            """)
305
 
 
306
 
    def break_lock(self):
307
 
        """Break a lock if one is present from another instance.
308
 
 
309
 
        Uses the ui factory to ask for confirmation if the lock may be from
310
 
        an active process.
311
 
 
312
 
        This will probe the repository for its lock as well.
313
 
        """
314
 
        self._control_files.break_lock()
315
 
        self.branch.break_lock()
316
 
 
317
241
    def _set_inventory(self, inv):
318
242
        self._inventory = inv
319
243
        self.path2id = self._inventory.path2id
320
244
 
321
 
    def is_control_filename(self, filename):
322
 
        """True if filename is the name of a control file in this tree.
323
 
        
324
 
        :param filename: A filename within the tree. This is a relative path
325
 
        from the root of this tree.
326
 
 
327
 
        This is true IF and ONLY IF the filename is part of the meta data
328
 
        that bzr controls in this tree. I.E. a random .bzr directory placed
329
 
        on disk will not be a control file for this tree.
330
 
        """
331
 
        return self.bzrdir.is_control_filename(filename)
332
 
 
333
 
    @staticmethod
334
 
    def open(path=None, _unsupported=False):
335
 
        """Open an existing working tree at path.
336
 
 
337
 
        """
338
 
        if path is None:
339
 
            path = os.path.getcwdu()
340
 
        control = bzrdir.BzrDir.open(path, _unsupported)
341
 
        return control.open_workingtree(_unsupported)
342
 
        
343
245
    @staticmethod
344
246
    def open_containing(path=None):
345
247
        """Open an existing working tree which has its root about path.
350
252
        run into /.  If there isn't one, raises NotBranchError.
351
253
        TODO: give this a new exception.
352
254
        If there is one, it is returned, along with the unused portion of path.
353
 
 
354
 
        :return: The WorkingTree that contains 'path', and the rest of path
355
255
        """
356
256
        if path is None:
357
 
            path = os.getcwdu()
358
 
        control, relpath = bzrdir.BzrDir.open_containing(path)
359
 
 
360
 
        return control.open_workingtree(), relpath
361
 
 
362
 
    @staticmethod
363
 
    def open_downlevel(path=None):
364
 
        """Open an unsupported working tree.
365
 
 
366
 
        Only intended for advanced situations like upgrading part of a bzrdir.
367
 
        """
368
 
        return WorkingTree.open(path, _unsupported=True)
 
257
            path = getcwd()
 
258
        else:
 
259
            # sanity check.
 
260
            if path.find('://') != -1:
 
261
                raise NotBranchError(path=path)
 
262
        path = abspath(path)
 
263
        orig_path = path[:]
 
264
        tail = u''
 
265
        while True:
 
266
            try:
 
267
                return WorkingTree(path), tail
 
268
            except NotBranchError:
 
269
                pass
 
270
            if tail:
 
271
                tail = pathjoin(os.path.basename(path), tail)
 
272
            else:
 
273
                tail = os.path.basename(path)
 
274
            lastpath = path
 
275
            path = os.path.dirname(path)
 
276
            if lastpath == path:
 
277
                # reached the root, whatever that may be
 
278
                raise NotBranchError(path=orig_path)
369
279
 
370
280
    def __iter__(self):
371
281
        """Iterate through file_ids for this tree.
384
294
 
385
295
    def abspath(self, filename):
386
296
        return pathjoin(self.basedir, filename)
387
 
    
388
 
    def basis_tree(self):
389
 
        """Return RevisionTree for the current last revision."""
390
 
        revision_id = self.last_revision()
391
 
        if revision_id is not None:
392
 
            try:
393
 
                xml = self.read_basis_inventory()
394
 
                inv = bzrlib.xml5.serializer_v5.read_inventory_from_string(xml)
395
 
            except NoSuchFile:
396
 
                inv = None
397
 
            if inv is not None and inv.revision_id == revision_id:
398
 
                return bzrlib.tree.RevisionTree(self.branch.repository, inv,
399
 
                                                revision_id)
400
 
        # FIXME? RBC 20060403 should we cache the inventory here ?
401
 
        return self.branch.repository.revision_tree(revision_id)
402
297
 
403
298
    @staticmethod
404
 
    @deprecated_method(zero_eight)
405
299
    def create(branch, directory):
406
300
        """Create a workingtree for branch at directory.
407
301
 
413
307
        TODO FIXME RBC 20060124 when we have checkout formats in place this
414
308
        should accept an optional revisionid to checkout [and reject this if
415
309
        checking out into the same dir as a pre-checkout-aware branch format.]
416
 
 
417
 
        XXX: When BzrDir is present, these should be created through that 
418
 
        interface instead.
419
310
        """
420
 
        warn('delete WorkingTree.create', stacklevel=3)
421
 
        transport = get_transport(directory)
422
 
        if branch.bzrdir.root_transport.base == transport.base:
423
 
            # same dir 
424
 
            return branch.bzrdir.create_workingtree()
425
 
        # different directory, 
426
 
        # create a branch reference
427
 
        # and now a working tree.
428
 
        raise NotImplementedError
 
311
        try:
 
312
            os.mkdir(directory)
 
313
        except OSError, e:
 
314
            if e.errno != errno.EEXIST:
 
315
                raise
 
316
        try:
 
317
            os.mkdir(pathjoin(directory, '.bzr'))
 
318
        except OSError, e:
 
319
            if e.errno != errno.EEXIST:
 
320
                raise
 
321
        inv = branch.repository.revision_tree(branch.last_revision()).inventory
 
322
        wt = WorkingTree(directory, branch, inv)
 
323
        wt._write_inventory(inv)
 
324
        if branch.last_revision() is not None:
 
325
            wt.set_last_revision(branch.last_revision())
 
326
        wt.set_pending_merges([])
 
327
        wt.revert([])
 
328
        return wt
429
329
 
430
330
    @staticmethod
431
 
    @deprecated_method(zero_eight)
432
331
    def create_standalone(directory):
433
 
        """Create a checkout and a branch and a repo at directory.
 
332
        """Create a checkout and a branch at directory.
434
333
 
435
334
        Directory must exist and be empty.
436
 
 
437
 
        please use BzrDir.create_standalone_workingtree
438
 
        """
439
 
        return bzrdir.BzrDir.create_standalone_workingtree(directory)
440
 
 
441
 
    def relpath(self, path):
442
 
        """Return the local path portion from a given path.
443
 
        
444
 
        The path may be absolute or relative. If its a relative path it is 
445
 
        interpreted relative to the python current working directory.
446
 
        """
447
 
        return relpath(self.basedir, path)
 
335
        """
 
336
        directory = safe_unicode(directory)
 
337
        b = Branch.create(directory)
 
338
        return WorkingTree.create(b, directory)
 
339
 
 
340
    def relpath(self, abs):
 
341
        """Return the local path portion from a given absolute path."""
 
342
        return relpath(self.basedir, abs)
448
343
 
449
344
    def has_filename(self, filename):
450
345
        return bzrlib.osutils.lexists(self.abspath(filename))
464
359
        ## XXX: badly named; this is not in the store at all
465
360
        return self.abspath(self.id2path(file_id))
466
361
 
467
 
    @needs_read_lock
468
 
    def clone(self, to_bzrdir, revision_id=None, basis=None):
469
 
        """Duplicate this working tree into to_bzr, including all state.
470
 
        
471
 
        Specifically modified files are kept as modified, but
472
 
        ignored and unknown files are discarded.
473
 
 
474
 
        If you want to make a new line of development, see bzrdir.sprout()
475
 
 
476
 
        revision
477
 
            If not None, the cloned tree will have its last revision set to 
478
 
            revision, and and difference between the source trees last revision
479
 
            and this one merged in.
480
 
 
481
 
        basis
482
 
            If not None, a closer copy of a tree which may have some files in
483
 
            common, and which file content should be preferentially copied from.
484
 
        """
485
 
        # assumes the target bzr dir format is compatible.
486
 
        result = self._format.initialize(to_bzrdir)
487
 
        self.copy_content_into(result, revision_id)
488
 
        return result
489
 
 
490
 
    @needs_read_lock
491
 
    def copy_content_into(self, tree, revision_id=None):
492
 
        """Copy the current content and user files of this tree into tree."""
493
 
        if revision_id is None:
494
 
            transform_tree(tree, self)
495
 
        else:
496
 
            # TODO now merge from tree.last_revision to revision
497
 
            transform_tree(tree, self)
498
 
            tree.set_last_revision(revision_id)
499
 
 
500
362
    @needs_write_lock
501
 
    def commit(self, message=None, revprops=None, *args, **kwargs):
502
 
        # avoid circular imports
 
363
    def commit(self, *args, **kwargs):
503
364
        from bzrlib.commit import Commit
504
 
        if revprops is None:
505
 
            revprops = {}
506
 
        if not 'branch-nick' in revprops:
507
 
            revprops['branch-nick'] = self.branch.nick
508
365
        # args for wt.commit start at message from the Commit.commit method,
509
366
        # but with branch a kwarg now, passing in args as is results in the
510
367
        #message being used for the branch
511
 
        args = (DEPRECATED_PARAMETER, message, ) + args
512
 
        Commit().commit(working_tree=self, revprops=revprops, *args, **kwargs)
 
368
        args = (deprecated_nonce, ) + args
 
369
        Commit().commit(working_tree=self, *args, **kwargs)
513
370
        self._set_inventory(self.read_working_inventory())
514
371
 
515
372
    def id2abspath(self, file_id):
534
391
        return os.path.getsize(self.id2abspath(file_id))
535
392
 
536
393
    @needs_read_lock
537
 
    def get_file_sha1(self, file_id, path=None):
538
 
        if not path:
539
 
            path = self._inventory.id2path(file_id)
 
394
    def get_file_sha1(self, file_id):
 
395
        path = self._inventory.id2path(file_id)
540
396
        return self._hashcache.get_sha1(path)
541
397
 
542
 
    def get_file_mtime(self, file_id, path=None):
543
 
        if not path:
544
 
            path = self._inventory.id2path(file_id)
545
 
        return os.lstat(self.abspath(path)).st_mtime
546
 
 
547
 
    if not supports_executable():
548
 
        def is_executable(self, file_id, path=None):
 
398
    def is_executable(self, file_id):
 
399
        if os.name == "nt":
549
400
            return self._inventory[file_id].executable
550
 
    else:
551
 
        def is_executable(self, file_id, path=None):
552
 
            if not path:
553
 
                path = self._inventory.id2path(file_id)
 
401
        else:
 
402
            path = self._inventory.id2path(file_id)
554
403
            mode = os.lstat(self.abspath(path)).st_mode
555
404
            return bool(stat.S_ISREG(mode) and stat.S_IEXEC&mode)
556
405
 
592
441
 
593
442
        inv = self.read_working_inventory()
594
443
        for f,file_id in zip(files, ids):
595
 
            if self.is_control_filename(f):
 
444
            if is_control_file(f):
596
445
                raise BzrError("cannot add control file %s" % quotefn(f))
597
446
 
598
447
            fp = splitpath(f)
604
453
 
605
454
            try:
606
455
                kind = file_kind(fullpath)
607
 
            except OSError, e:
608
 
                if e.errno == errno.ENOENT:
609
 
                    raise NoSuchFile(fullpath)
 
456
            except OSError:
610
457
                # maybe something better?
611
458
                raise BzrError('cannot add: not a regular file, symlink or directory: %s' % quotefn(f))
612
459
 
615
462
                               'i.e. regular file, symlink or directory): %s' % quotefn(f))
616
463
 
617
464
            if file_id is None:
618
 
                inv.add_path(f, kind=kind)
619
 
            else:
620
 
                inv.add_path(f, kind=kind, file_id=file_id)
 
465
                file_id = gen_file_id(f)
 
466
            inv.add_path(f, kind=kind, file_id=file_id)
621
467
 
 
468
            mutter("add file %s file_id:{%s} kind=%r" % (f, file_id, kind))
622
469
        self._write_inventory(inv)
623
470
 
624
471
    @needs_write_lock
657
504
    def set_pending_merges(self, rev_list):
658
505
        self._control_files.put_utf8('pending-merges', '\n'.join(rev_list))
659
506
 
660
 
    @needs_write_lock
661
 
    def set_merge_modified(self, modified_hashes):
662
 
        def iter_stanzas():
663
 
            for file_id, hash in modified_hashes.iteritems():
664
 
                yield Stanza(file_id=file_id, hash=hash)
665
 
        self._put_rio('merge-hashes', iter_stanzas(), MERGE_MODIFIED_HEADER_1)
666
 
 
667
 
    @needs_write_lock
668
 
    def _put_rio(self, filename, stanzas, header):
669
 
        my_file = rio_file(stanzas, header)
670
 
        self._control_files.put(filename, my_file)
671
 
 
672
 
    @needs_read_lock
673
 
    def merge_modified(self):
674
 
        try:
675
 
            hashfile = self._control_files.get('merge-hashes')
676
 
        except NoSuchFile:
677
 
            return {}
678
 
        merge_hashes = {}
679
 
        try:
680
 
            if hashfile.next() != MERGE_MODIFIED_HEADER_1 + '\n':
681
 
                raise MergeModifiedFormatError()
682
 
        except StopIteration:
683
 
            raise MergeModifiedFormatError()
684
 
        for s in RioReader(hashfile):
685
 
            file_id = s.get("file_id")
686
 
            if file_id not in self.inventory:
687
 
                continue
688
 
            hash = s.get("hash")
689
 
            if hash == self.get_file_sha1(file_id):
690
 
                merge_hashes[file_id] = hash
691
 
        return merge_hashes
692
 
 
693
507
    def get_symlink_target(self, file_id):
694
508
        return os.readlink(self.id2abspath(file_id))
695
509
 
701
515
        else:
702
516
            return '?'
703
517
 
 
518
 
704
519
    def list_files(self):
705
 
        """Recursively list all files as (path, class, kind, id, entry).
 
520
        """Recursively list all files as (path, class, kind, id).
706
521
 
707
522
        Lists, but does not descend into unversioned directories.
708
523
 
712
527
        Skips the control directory.
713
528
        """
714
529
        inv = self._inventory
715
 
        # Convert these into local objects to save lookup times
716
 
        pathjoin = bzrlib.osutils.pathjoin
717
 
        file_kind = bzrlib.osutils.file_kind
718
 
 
719
 
        # transport.base ends in a slash, we want the piece
720
 
        # between the last two slashes
721
 
        transport_base_dir = self.bzrdir.transport.base.rsplit('/', 2)[1]
722
 
 
723
 
        fk_entries = {'directory':TreeDirectory, 'file':TreeFile, 'symlink':TreeLink}
724
 
 
725
 
        # directory file_id, relative path, absolute path, reverse sorted children
726
 
        children = os.listdir(self.basedir)
727
 
        children.sort()
728
 
        # jam 20060527 The kernel sized tree seems equivalent whether we 
729
 
        # use a deque and popleft to keep them sorted, or if we use a plain
730
 
        # list and just reverse() them.
731
 
        children = collections.deque(children)
732
 
        stack = [(inv.root.file_id, u'', self.basedir, children)]
733
 
        while stack:
734
 
            from_dir_id, from_dir_relpath, from_dir_abspath, children = stack[-1]
735
 
 
736
 
            while children:
737
 
                f = children.popleft()
 
530
 
 
531
        def descend(from_dir_relpath, from_dir_id, dp):
 
532
            ls = os.listdir(dp)
 
533
            ls.sort()
 
534
            for f in ls:
738
535
                ## TODO: If we find a subdirectory with its own .bzr
739
536
                ## directory, then that is a separate tree and we
740
537
                ## should exclude it.
741
 
 
742
 
                # the bzrdir for this tree
743
 
                if transport_base_dir == f:
 
538
                if bzrlib.BZRDIR == f:
744
539
                    continue
745
540
 
746
 
                # we know that from_dir_relpath and from_dir_abspath never end in a slash
747
 
                # and 'f' doesn't begin with one, we can do a string op, rather
748
 
                # than the checks of pathjoin(), all relative paths will have an extra slash
749
 
                # at the beginning
750
 
                fp = from_dir_relpath + '/' + f
 
541
                # path within tree
 
542
                fp = appendpath(from_dir_relpath, f)
751
543
 
752
544
                # absolute path
753
 
                fap = from_dir_abspath + '/' + f
 
545
                fap = appendpath(dp, f)
754
546
                
755
547
                f_ie = inv.get_child(from_dir_id, f)
756
548
                if f_ie:
757
549
                    c = 'V'
758
 
                elif self.is_ignored(fp[1:]):
 
550
                elif self.is_ignored(fp):
759
551
                    c = 'I'
760
552
                else:
761
553
                    c = '?'
770
562
 
771
563
                # make a last minute entry
772
564
                if f_ie:
773
 
                    yield fp[1:], c, fk, f_ie.file_id, f_ie
 
565
                    entry = f_ie
774
566
                else:
775
 
                    try:
776
 
                        yield fp[1:], c, fk, None, fk_entries[fk]()
777
 
                    except KeyError:
778
 
                        yield fp[1:], c, fk, None, TreeEntry()
779
 
                    continue
 
567
                    if fk == 'directory':
 
568
                        entry = TreeDirectory()
 
569
                    elif fk == 'file':
 
570
                        entry = TreeFile()
 
571
                    elif fk == 'symlink':
 
572
                        entry = TreeLink()
 
573
                    else:
 
574
                        entry = TreeEntry()
780
575
                
 
576
                yield fp, c, fk, (f_ie and f_ie.file_id), entry
 
577
 
781
578
                if fk != 'directory':
782
579
                    continue
783
580
 
784
 
                # But do this child first
785
 
                new_children = os.listdir(fap)
786
 
                new_children.sort()
787
 
                new_children = collections.deque(new_children)
788
 
                stack.append((f_ie.file_id, fp, fap, new_children))
789
 
                # Break out of inner loop, so that we start outer loop with child
790
 
                break
791
 
            else:
792
 
                # if we finished all children, pop it off the stack
793
 
                stack.pop()
 
581
                if c != 'V':
 
582
                    # don't descend unversioned directories
 
583
                    continue
 
584
                
 
585
                for ff in descend(fp, f_ie.file_id, fap):
 
586
                    yield ff
794
587
 
 
588
        for f in descend(u'', inv.root.file_id, self.basedir):
 
589
            yield f
795
590
 
796
591
    @needs_write_lock
797
592
    def move(self, from_paths, to_name):
833
628
            if f_id == None:
834
629
                raise BzrError("%r is not versioned" % f)
835
630
            name_tail = splitpath(f)[-1]
836
 
            dest_path = pathjoin(to_name, name_tail)
 
631
            dest_path = appendpath(to_name, name_tail)
837
632
            if self.has_filename(dest_path):
838
633
                raise BzrError("destination %r already exists" % dest_path)
839
634
            if f_id in to_idpath:
846
641
        try:
847
642
            for f in from_paths:
848
643
                name_tail = splitpath(f)[-1]
849
 
                dest_path = pathjoin(to_name, name_tail)
 
644
                dest_path = appendpath(to_name, name_tail)
850
645
                result.append((f, dest_path))
851
646
                inv.rename(inv.path2id(f), to_dir_id, name_tail)
852
647
                try:
917
712
        These are files in the working directory that are not versioned or
918
713
        control files or ignored.
919
714
        
920
 
        >>> from bzrlib.bzrdir import ScratchDir
921
 
        >>> d = ScratchDir(files=['foo', 'foo~'])
922
 
        >>> b = d.open_branch()
923
 
        >>> tree = d.open_workingtree()
 
715
        >>> from bzrlib.branch import ScratchBranch
 
716
        >>> b = ScratchBranch(files=['foo', 'foo~'])
 
717
        >>> tree = WorkingTree(b.base, b)
924
718
        >>> map(str, tree.unknowns())
925
719
        ['foo']
926
720
        >>> tree.add('foo')
934
728
            if not self.is_ignored(subp):
935
729
                yield subp
936
730
 
937
 
    @deprecated_method(zero_eight)
938
731
    def iter_conflicts(self):
939
 
        """List all files in the tree that have text or content conflicts.
940
 
        DEPRECATED.  Use conflicts instead."""
941
 
        return self._iter_conflicts()
942
 
 
943
 
    def _iter_conflicts(self):
944
732
        conflicted = set()
945
 
        for info in self.list_files():
946
 
            path = info[0]
 
733
        for path in (s[0] for s in self.list_files()):
947
734
            stem = get_conflicted_stem(path)
948
735
            if stem is None:
949
736
                continue
952
739
                yield stem
953
740
 
954
741
    @needs_write_lock
955
 
    def pull(self, source, overwrite=False, stop_revision=None):
956
 
        top_pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
742
    def pull(self, source, overwrite=False):
 
743
        from bzrlib.merge import merge_inner
957
744
        source.lock_read()
958
745
        try:
959
 
            pp = ProgressPhase("Pull phase", 2, top_pb)
960
 
            pp.next_phase()
961
746
            old_revision_history = self.branch.revision_history()
962
 
            basis_tree = self.basis_tree()
963
 
            count = self.branch.pull(source, overwrite, stop_revision)
 
747
            count = self.branch.pull(source, overwrite)
964
748
            new_revision_history = self.branch.revision_history()
965
749
            if new_revision_history != old_revision_history:
966
 
                pp.next_phase()
967
750
                if len(old_revision_history):
968
751
                    other_revision = old_revision_history[-1]
969
752
                else:
970
753
                    other_revision = None
971
754
                repository = self.branch.repository
972
 
                pb = bzrlib.ui.ui_factory.nested_progress_bar()
973
 
                try:
974
 
                    merge_inner(self.branch,
975
 
                                self.branch.basis_tree(),
976
 
                                basis_tree, 
977
 
                                this_tree=self, 
978
 
                                pb=pb)
979
 
                finally:
980
 
                    pb.finished()
 
755
                merge_inner(self.branch,
 
756
                            self.branch.basis_tree(), 
 
757
                            repository.revision_tree(other_revision),
 
758
                            this_tree=self)
981
759
                self.set_last_revision(self.branch.last_revision())
982
760
            return count
983
761
        finally:
984
762
            source.unlock()
985
 
            top_pb.finished()
986
763
 
987
764
    def extras(self):
988
765
        """Yield all unknown files in this WorkingTree.
1009
786
            
1010
787
            fl.sort()
1011
788
            for subf in fl:
1012
 
                subp = pathjoin(path, subf)
 
789
                subp = appendpath(path, subf)
1013
790
                yield subp
1014
791
 
1015
 
    def _translate_ignore_rule(self, rule):
1016
 
        """Translate a single ignore rule to a regex.
1017
 
 
1018
 
        There are two types of ignore rules.  Those that do not contain a / are
1019
 
        matched against the tail of the filename (that is, they do not care
1020
 
        what directory the file is in.)  Rules which do contain a slash must
1021
 
        match the entire path.  As a special case, './' at the start of the
1022
 
        string counts as a slash in the string but is removed before matching
1023
 
        (e.g. ./foo.c, ./src/foo.c)
1024
 
 
1025
 
        :return: The translated regex.
1026
 
        """
1027
 
        if rule[:2] in ('./', '.\\'):
1028
 
            # rootdir rule
1029
 
            result = fnmatch.translate(rule[2:])
1030
 
        elif '/' in rule or '\\' in rule:
1031
 
            # path prefix 
1032
 
            result = fnmatch.translate(rule)
1033
 
        else:
1034
 
            # default rule style.
1035
 
            result = "(?:.*/)?(?!.*/)" + fnmatch.translate(rule)
1036
 
        assert result[-1] == '$', "fnmatch.translate did not add the expected $"
1037
 
        return "(" + result + ")"
1038
 
 
1039
 
    def _combine_ignore_rules(self, rules):
1040
 
        """Combine a list of ignore rules into a single regex object.
1041
 
 
1042
 
        Each individual rule is combined with | to form a big regex, which then
1043
 
        has $ added to it to form something like ()|()|()$. The group index for
1044
 
        each subregex's outermost group is placed in a dictionary mapping back 
1045
 
        to the rule. This allows quick identification of the matching rule that
1046
 
        triggered a match.
1047
 
        :return: a list of the compiled regex and the matching-group index 
1048
 
        dictionaries. We return a list because python complains if you try to 
1049
 
        combine more than 100 regexes.
1050
 
        """
1051
 
        result = []
1052
 
        groups = {}
1053
 
        next_group = 0
1054
 
        translated_rules = []
1055
 
        for rule in rules:
1056
 
            translated_rule = self._translate_ignore_rule(rule)
1057
 
            compiled_rule = re.compile(translated_rule)
1058
 
            groups[next_group] = rule
1059
 
            next_group += compiled_rule.groups
1060
 
            translated_rules.append(translated_rule)
1061
 
            if next_group == 99:
1062
 
                result.append((re.compile("|".join(translated_rules)), groups))
1063
 
                groups = {}
1064
 
                next_group = 0
1065
 
                translated_rules = []
1066
 
        if len(translated_rules):
1067
 
            result.append((re.compile("|".join(translated_rules)), groups))
1068
 
        return result
1069
792
 
1070
793
    def ignored_files(self):
1071
794
        """Yield list of PATH, IGNORE_PATTERN"""
1074
797
            if pat != None:
1075
798
                yield subp, pat
1076
799
 
 
800
 
1077
801
    def get_ignore_list(self):
1078
802
        """Return list of ignore patterns.
1079
803
 
1085
809
        l = bzrlib.DEFAULT_IGNORE[:]
1086
810
        if self.has_filename(bzrlib.IGNORE_FILENAME):
1087
811
            f = self.get_file_byname(bzrlib.IGNORE_FILENAME)
1088
 
            l.extend([line.rstrip("\n\r").decode('utf-8') 
1089
 
                      for line in f.readlines()])
 
812
            l.extend([line.rstrip("\n\r") for line in f.readlines()])
1090
813
        self._ignorelist = l
1091
 
        self._ignore_regex = self._combine_ignore_rules(l)
1092
814
        return l
1093
815
 
1094
 
    def _get_ignore_rules_as_regex(self):
1095
 
        """Return a regex of the ignore rules and a mapping dict.
1096
 
 
1097
 
        :return: (ignore rules compiled regex, dictionary mapping rule group 
1098
 
        indices to original rule.)
1099
 
        """
1100
 
        if getattr(self, '_ignorelist', None) is None:
1101
 
            self.get_ignore_list()
1102
 
        return self._ignore_regex
1103
816
 
1104
817
    def is_ignored(self, filename):
1105
818
        r"""Check whether the filename matches an ignore pattern.
1119
832
        # treat dotfiles correctly and allows * to match /.
1120
833
        # Eventually it should be replaced with something more
1121
834
        # accurate.
1122
 
    
1123
 
        rules = self._get_ignore_rules_as_regex()
1124
 
        for regex, mapping in rules:
1125
 
            match = regex.match(filename)
1126
 
            if match is not None:
1127
 
                # one or more of the groups in mapping will have a non-None group 
1128
 
                # match.
1129
 
                groups = match.groups()
1130
 
                rules = [mapping[group] for group in 
1131
 
                    mapping if groups[group] is not None]
1132
 
                return rules[0]
1133
 
        return None
 
835
        
 
836
        for pat in self.get_ignore_list():
 
837
            if '/' in pat or '\\' in pat:
 
838
                
 
839
                # as a special case, you can put ./ at the start of a
 
840
                # pattern; this is good to match in the top-level
 
841
                # only;
 
842
                
 
843
                if (pat[:2] == './') or (pat[:2] == '.\\'):
 
844
                    newpat = pat[2:]
 
845
                else:
 
846
                    newpat = pat
 
847
                if fnmatch.fnmatchcase(filename, newpat):
 
848
                    return pat
 
849
            else:
 
850
                if fnmatch.fnmatchcase(splitpath(filename)[-1], pat):
 
851
                    return pat
 
852
        else:
 
853
            return None
1134
854
 
1135
855
    def kind(self, file_id):
1136
856
        return file_kind(self.id2abspath(file_id))
1137
857
 
1138
 
    @needs_read_lock
1139
 
    def last_revision(self):
1140
 
        """Return the last revision id of this working tree.
1141
 
 
1142
 
        In early branch formats this was == the branch last_revision,
1143
 
        but that cannot be relied upon - for working tree operations,
1144
 
        always use tree.last_revision().
1145
 
        """
1146
 
        return self.branch.last_revision()
1147
 
 
1148
 
    def is_locked(self):
1149
 
        return self._control_files.is_locked()
1150
 
 
1151
858
    def lock_read(self):
1152
859
        """See Branch.lock_read, and WorkingTree.unlock."""
1153
 
        self.branch.lock_read()
1154
 
        try:
1155
 
            return self._control_files.lock_read()
1156
 
        except:
1157
 
            self.branch.unlock()
1158
 
            raise
 
860
        return self.branch.lock_read()
1159
861
 
1160
862
    def lock_write(self):
1161
863
        """See Branch.lock_write, and WorkingTree.unlock."""
1162
 
        self.branch.lock_write()
1163
 
        try:
1164
 
            return self._control_files.lock_write()
1165
 
        except:
1166
 
            self.branch.unlock()
1167
 
            raise
1168
 
 
1169
 
    def get_physical_lock_status(self):
1170
 
        return self._control_files.get_physical_lock_status()
1171
 
 
1172
 
    def _basis_inventory_name(self):
1173
 
        return 'basis-inventory'
1174
 
 
1175
 
    @needs_write_lock
1176
 
    def set_last_revision(self, new_revision):
1177
 
        """Change the last revision in the working tree."""
1178
 
        if self._change_last_revision(new_revision):
1179
 
            self._cache_basis_inventory(new_revision)
1180
 
 
1181
 
    def _change_last_revision(self, new_revision):
1182
 
        """Template method part of set_last_revision to perform the change.
1183
 
        
1184
 
        This is used to allow WorkingTree3 instances to not affect branch
1185
 
        when their last revision is set.
1186
 
        """
1187
 
        if new_revision is None:
1188
 
            self.branch.set_revision_history([])
1189
 
            return False
1190
 
        # current format is locked in with the branch
1191
 
        revision_history = self.branch.revision_history()
1192
 
        try:
1193
 
            position = revision_history.index(new_revision)
1194
 
        except ValueError:
1195
 
            raise errors.NoSuchRevision(self.branch, new_revision)
1196
 
        self.branch.set_revision_history(revision_history[:position + 1])
1197
 
        return True
1198
 
 
1199
 
    def _cache_basis_inventory(self, new_revision):
1200
 
        """Cache new_revision as the basis inventory."""
1201
 
        # TODO: this should allow the ready-to-use inventory to be passed in,
1202
 
        # as commit already has that ready-to-use [while the format is the
1203
 
        # same, that is].
1204
 
        try:
1205
 
            # this double handles the inventory - unpack and repack - 
1206
 
            # but is easier to understand. We can/should put a conditional
1207
 
            # in here based on whether the inventory is in the latest format
1208
 
            # - perhaps we should repack all inventories on a repository
1209
 
            # upgrade ?
1210
 
            # the fast path is to copy the raw xml from the repository. If the
1211
 
            # xml contains 'revision_id="', then we assume the right 
1212
 
            # revision_id is set. We must check for this full string, because a
1213
 
            # root node id can legitimately look like 'revision_id' but cannot
1214
 
            # contain a '"'.
 
864
        return self.branch.lock_write()
 
865
 
 
866
    def _basis_inventory_name(self, revision_id):
 
867
        return 'basis-inventory.%s' % revision_id
 
868
 
 
869
    def set_last_revision(self, new_revision, old_revision=None):
 
870
        if old_revision is not None:
 
871
            try:
 
872
                path = self._basis_inventory_name(old_revision)
 
873
                path = self.branch.control_files._escape(path)
 
874
                self.branch.control_files._transport.delete(path)
 
875
            except NoSuchFile:
 
876
                pass
 
877
        try:
1215
878
            xml = self.branch.repository.get_inventory_xml(new_revision)
1216
 
            if not 'revision_id="' in xml.split('\n', 1)[0]:
1217
 
                inv = self.branch.repository.deserialise_inventory(
1218
 
                    new_revision, xml)
1219
 
                inv.revision_id = new_revision
1220
 
                xml = bzrlib.xml5.serializer_v5.write_inventory_to_string(inv)
1221
 
            assert isinstance(xml, str), 'serialised xml must be bytestring.'
1222
 
            path = self._basis_inventory_name()
1223
 
            sio = StringIO(xml)
1224
 
            self._control_files.put(path, sio)
 
879
            path = self._basis_inventory_name(new_revision)
 
880
            self.branch.control_files.put_utf8(path, xml)
1225
881
        except WeaveRevisionNotPresent:
1226
882
            pass
1227
883
 
1228
 
    def read_basis_inventory(self):
 
884
    def read_basis_inventory(self, revision_id):
1229
885
        """Read the cached basis inventory."""
1230
 
        path = self._basis_inventory_name()
1231
 
        return self._control_files.get(path).read()
 
886
        path = self._basis_inventory_name(revision_id)
 
887
        return self.branch.control_files.get_utf8(path).read()
1232
888
        
1233
889
    @needs_read_lock
1234
890
    def read_working_inventory(self):
1235
891
        """Read the working inventory."""
1236
892
        # ElementTree does its own conversion from UTF-8, so open in
1237
893
        # binary.
1238
 
        result = bzrlib.xml5.serializer_v5.read_inventory(
 
894
        return bzrlib.xml5.serializer_v5.read_inventory(
1239
895
            self._control_files.get('inventory'))
1240
 
        self._set_inventory(result)
1241
 
        return result
1242
896
 
1243
897
    @needs_write_lock
1244
 
    def remove(self, files, verbose=False, to_file=None):
 
898
    def remove(self, files, verbose=False):
1245
899
        """Remove nominated files from the working inventory..
1246
900
 
1247
901
        This does not remove their text.  This does not run on XXX on what? RBC
1276
930
                    new_status = 'I'
1277
931
                else:
1278
932
                    new_status = '?'
1279
 
                show_status(new_status, inv[fid].kind, quotefn(f), to_file=to_file)
 
933
                show_status(new_status, inv[fid].kind, quotefn(f))
1280
934
            del inv[fid]
1281
935
 
1282
936
        self._write_inventory(inv)
1283
937
 
1284
938
    @needs_write_lock
1285
 
    def revert(self, filenames, old_tree=None, backups=True, 
1286
 
               pb=DummyProgress()):
1287
 
        from transform import revert
1288
 
        from conflicts import resolve
 
939
    def revert(self, filenames, old_tree=None, backups=True):
 
940
        from bzrlib.merge import merge_inner
1289
941
        if old_tree is None:
1290
 
            old_tree = self.basis_tree()
1291
 
        conflicts = revert(self, old_tree, filenames, backups, pb)
 
942
            old_tree = self.branch.basis_tree()
 
943
        merge_inner(self.branch, old_tree,
 
944
                    self, ignore_zero=True,
 
945
                    backup_files=backups, 
 
946
                    interesting_files=filenames,
 
947
                    this_tree=self)
1292
948
        if not len(filenames):
1293
949
            self.set_pending_merges([])
1294
 
            resolve(self)
1295
 
        else:
1296
 
            resolve(self, filenames, ignore_misses=True)
1297
 
        return conflicts
1298
950
 
1299
 
    # XXX: This method should be deprecated in favour of taking in a proper
1300
 
    # new Inventory object.
1301
951
    @needs_write_lock
1302
952
    def set_inventory(self, new_inventory_list):
1303
953
        from bzrlib.inventory import (Inventory,
1331
981
        inv._byid[inv.root.file_id] = inv.root
1332
982
        for fid in inv:
1333
983
            entry = inv[fid]
1334
 
            if entry.parent_id == orig_root_id:
 
984
            if entry.parent_id in (None, orig_root_id):
1335
985
                entry.parent_id = inv.root.file_id
1336
986
        self._write_inventory(inv)
1337
987
 
1349
999
        # of a nasty hack; probably it's better to have a transaction object,
1350
1000
        # which can do some finalization when it's either successfully or
1351
1001
        # unsuccessfully completed.  (Denys's original patch did that.)
1352
 
        # RBC 20060206 hooking into transaction will couple lock and transaction
1353
 
        # wrongly. Hooking into unlock on the control files object is fine though.
1354
 
        
1355
 
        # TODO: split this per format so there is no ugly if block
1356
 
        if self._hashcache.needs_write and (
1357
 
            # dedicated lock files
1358
 
            self._control_files._lock_count==1 or 
1359
 
            # shared lock files
1360
 
            (self._control_files is self.branch.control_files and 
1361
 
             self._control_files._lock_count==3)):
 
1002
        if self._hashcache.needs_write and self.branch.control_files._lock_count==1:
1362
1003
            self._hashcache.write()
1363
 
        # reverse order of locking.
1364
 
        try:
1365
 
            return self._control_files.unlock()
1366
 
        finally:
1367
 
            self.branch.unlock()
1368
 
 
1369
 
    @needs_write_lock
1370
 
    def update(self):
1371
 
        """Update a working tree along its branch.
1372
 
 
1373
 
        This will update the branch if its bound too, which means we have multiple trees involved:
1374
 
        The new basis tree of the master.
1375
 
        The old basis tree of the branch.
1376
 
        The old basis tree of the working tree.
1377
 
        The current working tree state.
1378
 
        pathologically all three may be different, and non ancestors of each other.
1379
 
        Conceptually we want to:
1380
 
        Preserve the wt.basis->wt.state changes
1381
 
        Transform the wt.basis to the new master basis.
1382
 
        Apply a merge of the old branch basis to get any 'local' changes from it into the tree.
1383
 
        Restore the wt.basis->wt.state changes.
1384
 
 
1385
 
        There isn't a single operation at the moment to do that, so we:
1386
 
        Merge current state -> basis tree of the master w.r.t. the old tree basis.
1387
 
        Do a 'normal' merge of the old branch basis if it is relevant.
1388
 
        """
1389
 
        old_tip = self.branch.update()
1390
 
        if old_tip is not None:
1391
 
            self.add_pending_merge(old_tip)
1392
 
        self.branch.lock_read()
1393
 
        try:
1394
 
            result = 0
1395
 
            if self.last_revision() != self.branch.last_revision():
1396
 
                # merge tree state up to new branch tip.
1397
 
                basis = self.basis_tree()
1398
 
                to_tree = self.branch.basis_tree()
1399
 
                result += merge_inner(self.branch,
1400
 
                                      to_tree,
1401
 
                                      basis,
1402
 
                                      this_tree=self)
1403
 
                self.set_last_revision(self.branch.last_revision())
1404
 
            if old_tip and old_tip != self.last_revision():
1405
 
                # our last revision was not the prior branch last revision
1406
 
                # and we have converted that last revision to a pending merge.
1407
 
                # base is somewhere between the branch tip now
1408
 
                # and the now pending merge
1409
 
                from bzrlib.revision import common_ancestor
1410
 
                try:
1411
 
                    base_rev_id = common_ancestor(self.branch.last_revision(),
1412
 
                                                  old_tip,
1413
 
                                                  self.branch.repository)
1414
 
                except errors.NoCommonAncestor:
1415
 
                    base_rev_id = None
1416
 
                base_tree = self.branch.repository.revision_tree(base_rev_id)
1417
 
                other_tree = self.branch.repository.revision_tree(old_tip)
1418
 
                result += merge_inner(self.branch,
1419
 
                                      other_tree,
1420
 
                                      base_tree,
1421
 
                                      this_tree=self)
1422
 
            return result
1423
 
        finally:
1424
 
            self.branch.unlock()
 
1004
        return self.branch.unlock()
1425
1005
 
1426
1006
    @needs_write_lock
1427
1007
    def _write_inventory(self, inv):
1432
1012
        self._control_files.put('inventory', sio)
1433
1013
        self._set_inventory(inv)
1434
1014
        mutter('wrote working inventory')
1435
 
 
1436
 
    def set_conflicts(self, arg):
1437
 
        raise UnsupportedOperation(self.set_conflicts, self)
1438
 
 
1439
 
    @needs_read_lock
1440
 
    def conflicts(self):
1441
 
        conflicts = ConflictList()
1442
 
        for conflicted in self._iter_conflicts():
1443
 
            text = True
1444
 
            try:
1445
 
                if file_kind(self.abspath(conflicted)) != "file":
1446
 
                    text = False
1447
 
            except errors.NoSuchFile:
1448
 
                text = False
1449
 
            if text is True:
1450
 
                for suffix in ('.THIS', '.OTHER'):
1451
 
                    try:
1452
 
                        kind = file_kind(self.abspath(conflicted+suffix))
1453
 
                        if kind != "file":
1454
 
                            text = False
1455
 
                    except errors.NoSuchFile:
1456
 
                        text = False
1457
 
                    if text == False:
1458
 
                        break
1459
 
            ctype = {True: 'text conflict', False: 'contents conflict'}[text]
1460
 
            conflicts.append(Conflict.factory(ctype, path=conflicted,
1461
 
                             file_id=self.path2id(conflicted)))
1462
 
        return conflicts
1463
 
 
1464
 
 
1465
 
class WorkingTree3(WorkingTree):
1466
 
    """This is the Format 3 working tree.
1467
 
 
1468
 
    This differs from the base WorkingTree by:
1469
 
     - having its own file lock
1470
 
     - having its own last-revision property.
1471
 
 
1472
 
    This is new in bzr 0.8
1473
 
    """
1474
 
 
1475
 
    @needs_read_lock
1476
 
    def last_revision(self):
1477
 
        """See WorkingTree.last_revision."""
1478
 
        try:
1479
 
            return self._control_files.get_utf8('last-revision').read()
1480
 
        except NoSuchFile:
1481
 
            return None
1482
 
 
1483
 
    def _change_last_revision(self, revision_id):
1484
 
        """See WorkingTree._change_last_revision."""
1485
 
        if revision_id is None or revision_id == NULL_REVISION:
1486
 
            try:
1487
 
                self._control_files._transport.delete('last-revision')
1488
 
            except errors.NoSuchFile:
1489
 
                pass
1490
 
            return False
1491
 
        else:
1492
 
            try:
1493
 
                self.branch.revision_history().index(revision_id)
1494
 
            except ValueError:
1495
 
                raise errors.NoSuchRevision(self.branch, revision_id)
1496
 
            self._control_files.put_utf8('last-revision', revision_id)
1497
 
            return True
1498
 
 
1499
 
    @needs_write_lock
1500
 
    def set_conflicts(self, conflicts):
1501
 
        self._put_rio('conflicts', conflicts.to_stanzas(), 
1502
 
                      CONFLICT_HEADER_1)
1503
 
 
1504
 
    @needs_read_lock
1505
 
    def conflicts(self):
1506
 
        try:
1507
 
            confile = self._control_files.get('conflicts')
1508
 
        except NoSuchFile:
1509
 
            return ConflictList()
1510
 
        try:
1511
 
            if confile.next() != CONFLICT_HEADER_1 + '\n':
1512
 
                raise ConflictFormatError()
1513
 
        except StopIteration:
1514
 
            raise ConflictFormatError()
1515
 
        return ConflictList.from_stanzas(RioReader(confile))
1516
 
 
1517
 
 
 
1015
            
 
1016
 
 
1017
CONFLICT_SUFFIXES = ('.THIS', '.BASE', '.OTHER')
1518
1018
def get_conflicted_stem(path):
1519
1019
    for suffix in CONFLICT_SUFFIXES:
1520
1020
        if path.endswith(suffix):
1521
1021
            return path[:-len(suffix)]
1522
 
 
1523
 
@deprecated_function(zero_eight)
1524
 
def is_control_file(filename):
1525
 
    """See WorkingTree.is_control_filename(filename)."""
1526
 
    ## FIXME: better check
1527
 
    filename = normpath(filename)
1528
 
    while filename != '':
1529
 
        head, tail = os.path.split(filename)
1530
 
        ## mutter('check %r for control file' % ((head, tail),))
1531
 
        if tail == '.bzr':
1532
 
            return True
1533
 
        if filename == head:
1534
 
            break
1535
 
        filename = head
1536
 
    return False
1537
 
 
1538
 
 
1539
 
class WorkingTreeFormat(object):
1540
 
    """An encapsulation of the initialization and open routines for a format.
1541
 
 
1542
 
    Formats provide three things:
1543
 
     * An initialization routine,
1544
 
     * a format string,
1545
 
     * an open routine.
1546
 
 
1547
 
    Formats are placed in an dict by their format string for reference 
1548
 
    during workingtree opening. Its not required that these be instances, they
1549
 
    can be classes themselves with class methods - it simply depends on 
1550
 
    whether state is needed for a given format or not.
1551
 
 
1552
 
    Once a format is deprecated, just deprecate the initialize and open
1553
 
    methods on the format class. Do not deprecate the object, as the 
1554
 
    object will be created every time regardless.
1555
 
    """
1556
 
 
1557
 
    _default_format = None
1558
 
    """The default format used for new trees."""
1559
 
 
1560
 
    _formats = {}
1561
 
    """The known formats."""
1562
 
 
1563
 
    @classmethod
1564
 
    def find_format(klass, a_bzrdir):
1565
 
        """Return the format for the working tree object in a_bzrdir."""
1566
 
        try:
1567
 
            transport = a_bzrdir.get_workingtree_transport(None)
1568
 
            format_string = transport.get("format").read()
1569
 
            return klass._formats[format_string]
1570
 
        except NoSuchFile:
1571
 
            raise errors.NoWorkingTree(base=transport.base)
1572
 
        except KeyError:
1573
 
            raise errors.UnknownFormatError(format_string)
1574
 
 
1575
 
    @classmethod
1576
 
    def get_default_format(klass):
1577
 
        """Return the current default format."""
1578
 
        return klass._default_format
1579
 
 
1580
 
    def get_format_string(self):
1581
 
        """Return the ASCII format string that identifies this format."""
1582
 
        raise NotImplementedError(self.get_format_string)
1583
 
 
1584
 
    def get_format_description(self):
1585
 
        """Return the short description for this format."""
1586
 
        raise NotImplementedError(self.get_format_description)
1587
 
 
1588
 
    def is_supported(self):
1589
 
        """Is this format supported?
1590
 
 
1591
 
        Supported formats can be initialized and opened.
1592
 
        Unsupported formats may not support initialization or committing or 
1593
 
        some other features depending on the reason for not being supported.
1594
 
        """
1595
 
        return True
1596
 
 
1597
 
    @classmethod
1598
 
    def register_format(klass, format):
1599
 
        klass._formats[format.get_format_string()] = format
1600
 
 
1601
 
    @classmethod
1602
 
    def set_default_format(klass, format):
1603
 
        klass._default_format = format
1604
 
 
1605
 
    @classmethod
1606
 
    def unregister_format(klass, format):
1607
 
        assert klass._formats[format.get_format_string()] is format
1608
 
        del klass._formats[format.get_format_string()]
1609
 
 
1610
 
 
1611
 
 
1612
 
class WorkingTreeFormat2(WorkingTreeFormat):
1613
 
    """The second working tree format. 
1614
 
 
1615
 
    This format modified the hash cache from the format 1 hash cache.
1616
 
    """
1617
 
 
1618
 
    def get_format_description(self):
1619
 
        """See WorkingTreeFormat.get_format_description()."""
1620
 
        return "Working tree format 2"
1621
 
 
1622
 
    def stub_initialize_remote(self, control_files):
1623
 
        """As a special workaround create critical control files for a remote working tree
1624
 
        
1625
 
        This ensures that it can later be updated and dealt with locally,
1626
 
        since BzrDirFormat6 and BzrDirFormat5 cannot represent dirs with 
1627
 
        no working tree.  (See bug #43064).
1628
 
        """
1629
 
        sio = StringIO()
1630
 
        inv = Inventory()
1631
 
        bzrlib.xml5.serializer_v5.write_inventory(inv, sio)
1632
 
        sio.seek(0)
1633
 
        control_files.put('inventory', sio)
1634
 
 
1635
 
        control_files.put_utf8('pending-merges', '')
1636
 
        
1637
 
 
1638
 
    def initialize(self, a_bzrdir, revision_id=None):
1639
 
        """See WorkingTreeFormat.initialize()."""
1640
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
1641
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
1642
 
        branch = a_bzrdir.open_branch()
1643
 
        if revision_id is not None:
1644
 
            branch.lock_write()
1645
 
            try:
1646
 
                revision_history = branch.revision_history()
1647
 
                try:
1648
 
                    position = revision_history.index(revision_id)
1649
 
                except ValueError:
1650
 
                    raise errors.NoSuchRevision(branch, revision_id)
1651
 
                branch.set_revision_history(revision_history[:position + 1])
1652
 
            finally:
1653
 
                branch.unlock()
1654
 
        revision = branch.last_revision()
1655
 
        inv = Inventory() 
1656
 
        wt = WorkingTree(a_bzrdir.root_transport.local_abspath('.'),
1657
 
                         branch,
1658
 
                         inv,
1659
 
                         _internal=True,
1660
 
                         _format=self,
1661
 
                         _bzrdir=a_bzrdir)
1662
 
        wt._write_inventory(inv)
1663
 
        wt.set_root_id(inv.root.file_id)
1664
 
        wt.set_last_revision(revision)
1665
 
        wt.set_pending_merges([])
1666
 
        build_tree(wt.basis_tree(), wt)
1667
 
        return wt
1668
 
 
1669
 
    def __init__(self):
1670
 
        super(WorkingTreeFormat2, self).__init__()
1671
 
        self._matchingbzrdir = bzrdir.BzrDirFormat6()
1672
 
 
1673
 
    def open(self, a_bzrdir, _found=False):
1674
 
        """Return the WorkingTree object for a_bzrdir
1675
 
 
1676
 
        _found is a private parameter, do not use it. It is used to indicate
1677
 
               if format probing has already been done.
1678
 
        """
1679
 
        if not _found:
1680
 
            # we are being called directly and must probe.
1681
 
            raise NotImplementedError
1682
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
1683
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
1684
 
        return WorkingTree(a_bzrdir.root_transport.local_abspath('.'),
1685
 
                           _internal=True,
1686
 
                           _format=self,
1687
 
                           _bzrdir=a_bzrdir)
1688
 
 
1689
 
 
1690
 
class WorkingTreeFormat3(WorkingTreeFormat):
1691
 
    """The second working tree format updated to record a format marker.
1692
 
 
1693
 
    This format:
1694
 
        - exists within a metadir controlling .bzr
1695
 
        - includes an explicit version marker for the workingtree control
1696
 
          files, separate from the BzrDir format
1697
 
        - modifies the hash cache format
1698
 
        - is new in bzr 0.8
1699
 
        - uses a LockDir to guard access to the repository
1700
 
    """
1701
 
 
1702
 
    def get_format_string(self):
1703
 
        """See WorkingTreeFormat.get_format_string()."""
1704
 
        return "Bazaar-NG Working Tree format 3"
1705
 
 
1706
 
    def get_format_description(self):
1707
 
        """See WorkingTreeFormat.get_format_description()."""
1708
 
        return "Working tree format 3"
1709
 
 
1710
 
    _lock_file_name = 'lock'
1711
 
    _lock_class = LockDir
1712
 
 
1713
 
    def _open_control_files(self, a_bzrdir):
1714
 
        transport = a_bzrdir.get_workingtree_transport(None)
1715
 
        return LockableFiles(transport, self._lock_file_name, 
1716
 
                             self._lock_class)
1717
 
 
1718
 
    def initialize(self, a_bzrdir, revision_id=None):
1719
 
        """See WorkingTreeFormat.initialize().
1720
 
        
1721
 
        revision_id allows creating a working tree at a different
1722
 
        revision than the branch is at.
1723
 
        """
1724
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
1725
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
1726
 
        transport = a_bzrdir.get_workingtree_transport(self)
1727
 
        control_files = self._open_control_files(a_bzrdir)
1728
 
        control_files.create_lock()
1729
 
        control_files.lock_write()
1730
 
        control_files.put_utf8('format', self.get_format_string())
1731
 
        branch = a_bzrdir.open_branch()
1732
 
        if revision_id is None:
1733
 
            revision_id = branch.last_revision()
1734
 
        inv = Inventory() 
1735
 
        wt = WorkingTree3(a_bzrdir.root_transport.local_abspath('.'),
1736
 
                         branch,
1737
 
                         inv,
1738
 
                         _internal=True,
1739
 
                         _format=self,
1740
 
                         _bzrdir=a_bzrdir,
1741
 
                         _control_files=control_files)
1742
 
        wt.lock_write()
1743
 
        try:
1744
 
            wt._write_inventory(inv)
1745
 
            wt.set_root_id(inv.root.file_id)
1746
 
            wt.set_last_revision(revision_id)
1747
 
            wt.set_pending_merges([])
1748
 
            build_tree(wt.basis_tree(), wt)
1749
 
        finally:
1750
 
            wt.unlock()
1751
 
            control_files.unlock()
1752
 
        return wt
1753
 
 
1754
 
    def __init__(self):
1755
 
        super(WorkingTreeFormat3, self).__init__()
1756
 
        self._matchingbzrdir = bzrdir.BzrDirMetaFormat1()
1757
 
 
1758
 
    def open(self, a_bzrdir, _found=False):
1759
 
        """Return the WorkingTree object for a_bzrdir
1760
 
 
1761
 
        _found is a private parameter, do not use it. It is used to indicate
1762
 
               if format probing has already been done.
1763
 
        """
1764
 
        if not _found:
1765
 
            # we are being called directly and must probe.
1766
 
            raise NotImplementedError
1767
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
1768
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
1769
 
        control_files = self._open_control_files(a_bzrdir)
1770
 
        return WorkingTree3(a_bzrdir.root_transport.local_abspath('.'),
1771
 
                           _internal=True,
1772
 
                           _format=self,
1773
 
                           _bzrdir=a_bzrdir,
1774
 
                           _control_files=control_files)
1775
 
 
1776
 
    def __str__(self):
1777
 
        return self.get_format_string()
1778
 
 
1779
 
 
1780
 
# formats which have no format string are not discoverable
1781
 
# and not independently creatable, so are not registered.
1782
 
__default_format = WorkingTreeFormat3()
1783
 
WorkingTreeFormat.register_format(__default_format)
1784
 
WorkingTreeFormat.set_default_format(__default_format)
1785
 
_legacy_formats = [WorkingTreeFormat2(),
1786
 
                   ]
1787
 
 
1788
 
 
1789
 
class WorkingTreeTestProviderAdapter(object):
1790
 
    """A tool to generate a suite testing multiple workingtree formats at once.
1791
 
 
1792
 
    This is done by copying the test once for each transport and injecting
1793
 
    the transport_server, transport_readonly_server, and workingtree_format
1794
 
    classes into each copy. Each copy is also given a new id() to make it
1795
 
    easy to identify.
1796
 
    """
1797
 
 
1798
 
    def __init__(self, transport_server, transport_readonly_server, formats):
1799
 
        self._transport_server = transport_server
1800
 
        self._transport_readonly_server = transport_readonly_server
1801
 
        self._formats = formats
1802
 
    
1803
 
    def adapt(self, test):
1804
 
        from bzrlib.tests import TestSuite
1805
 
        result = TestSuite()
1806
 
        for workingtree_format, bzrdir_format in self._formats:
1807
 
            new_test = deepcopy(test)
1808
 
            new_test.transport_server = self._transport_server
1809
 
            new_test.transport_readonly_server = self._transport_readonly_server
1810
 
            new_test.bzrdir_format = bzrdir_format
1811
 
            new_test.workingtree_format = workingtree_format
1812
 
            def make_new_test_id():
1813
 
                new_id = "%s(%s)" % (new_test.id(), workingtree_format.__class__.__name__)
1814
 
                return lambda: new_id
1815
 
            new_test.id = make_new_test_id()
1816
 
            result.addTest(new_test)
1817
 
        return result