~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/workingtree.py

Refactor status display code.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
2
 
#
 
1
# Copyright (C) 2005 Canonical Ltd
 
2
 
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
#
 
7
 
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
#
 
12
 
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
25
25
At the moment every WorkingTree has its own branch.  Remote
26
26
WorkingTrees aren't supported.
27
27
 
28
 
To get a WorkingTree, call bzrdir.open_workingtree() or
29
 
WorkingTree.open(dir).
 
28
To get a WorkingTree, call Branch.working_tree():
30
29
"""
31
30
 
32
 
MERGE_MODIFIED_HEADER_1 = "BZR merge-modified list format 1"
33
 
CONFLICT_HEADER_1 = "BZR conflict list format 1"
 
31
 
 
32
# TODO: Don't allow WorkingTrees to be constructed for remote branches if 
 
33
# they don't work.
 
34
 
 
35
# FIXME: I don't know if writing out the cache from the destructor is really a
 
36
# good idea, because destructors are considered poor taste in Python, and it's
 
37
# not predictable when it will be written out.
34
38
 
35
39
# TODO: Give the workingtree sole responsibility for the working inventory;
36
40
# remove the variable and references to it from the branch.  This may require
37
41
# updating the commit code so as to update the inventory within the working
38
42
# copy, and making sure there's only one WorkingTree for any directory on disk.
39
 
# At the moment they may alias the inventory and have old copies of it in
40
 
# memory.  (Now done? -- mbp 20060309)
 
43
# At the momenthey may alias the inventory and have old copies of it in memory.
41
44
 
42
 
from binascii import hexlify
43
 
import collections
44
45
from copy import deepcopy
45
 
from cStringIO import StringIO
46
 
import errno
47
 
import fnmatch
48
46
import os
49
 
import re
50
47
import stat
51
 
from time import time
52
 
import warnings
53
 
 
54
 
import bzrlib
55
 
from bzrlib import bzrdir, errors, ignores, osutils, urlutils
56
 
from bzrlib.atomicfile import AtomicFile
57
 
import bzrlib.branch
58
 
from bzrlib.conflicts import Conflict, ConflictList, CONFLICT_SUFFIXES
59
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
48
import fnmatch
 
49
 
 
50
from bzrlib.branch import (Branch,
 
51
                           is_control_file,
 
52
                           needs_read_lock,
 
53
                           needs_write_lock,
 
54
                           quotefn)
60
55
from bzrlib.errors import (BzrCheckError,
61
56
                           BzrError,
62
 
                           ConflictFormatError,
 
57
                           DivergedBranches,
63
58
                           WeaveRevisionNotPresent,
64
59
                           NotBranchError,
65
 
                           NoSuchFile,
66
 
                           NotVersionedError,
67
 
                           MergeModifiedFormatError,
68
 
                           UnsupportedOperation,
69
 
                           )
70
 
from bzrlib.inventory import InventoryEntry, Inventory
71
 
from bzrlib.lockable_files import LockableFiles, TransportLock
72
 
from bzrlib.lockdir import LockDir
73
 
from bzrlib.merge import merge_inner, transform_tree
74
 
import bzrlib.mutabletree
75
 
from bzrlib.mutabletree import needs_tree_write_lock
76
 
from bzrlib.osutils import (
77
 
                            abspath,
 
60
                           NotVersionedError)
 
61
from bzrlib.inventory import InventoryEntry
 
62
from bzrlib.osutils import (appendpath,
78
63
                            compact_date,
79
64
                            file_kind,
80
65
                            isdir,
81
 
                            getcwd,
82
 
                            pathjoin,
83
66
                            pumpfile,
84
 
                            safe_unicode,
85
67
                            splitpath,
86
 
                            rand_chars,
87
 
                            normpath,
 
68
                            rand_bytes,
88
69
                            realpath,
89
70
                            relpath,
90
 
                            rename,
91
 
                            supports_executable,
92
 
                            )
93
 
from bzrlib.progress import DummyProgress, ProgressPhase
94
 
from bzrlib.revision import NULL_REVISION
95
 
import bzrlib.revisiontree
96
 
from bzrlib.rio import RioReader, rio_file, Stanza
97
 
from bzrlib.symbol_versioning import (deprecated_passed,
98
 
        deprecated_method,
99
 
        deprecated_function,
100
 
        DEPRECATED_PARAMETER,
101
 
        zero_eight,
102
 
        zero_eleven,
103
 
        )
104
 
from bzrlib.trace import mutter, note
105
 
from bzrlib.transform import build_tree
106
 
from bzrlib.transport import get_transport
107
 
from bzrlib.transport.local import LocalTransport
108
 
from bzrlib.textui import show_status
109
 
import bzrlib.ui
 
71
                            rename)
 
72
import bzrlib.tree
 
73
from bzrlib.trace import mutter
110
74
import bzrlib.xml5
111
75
 
112
76
 
113
 
# the regex removes any weird characters; we don't escape them 
114
 
# but rather just pull them out
115
 
_gen_file_id_re = re.compile(r'[^\w.]')
116
 
_gen_id_suffix = None
117
 
_gen_id_serial = 0
118
 
 
119
 
 
120
 
def _next_id_suffix():
121
 
    """Create a new file id suffix that is reasonably unique.
122
 
    
123
 
    On the first call we combine the current time with 64 bits of randomness
124
 
    to give a highly probably globally unique number. Then each call in the same
125
 
    process adds 1 to a serial number we append to that unique value.
126
 
    """
127
 
    # XXX TODO: change bzrlib.add.smart_add to call workingtree.add() rather 
128
 
    # than having to move the id randomness out of the inner loop like this.
129
 
    # XXX TODO: for the global randomness this uses we should add the thread-id
130
 
    # before the serial #.
131
 
    global _gen_id_suffix, _gen_id_serial
132
 
    if _gen_id_suffix is None:
133
 
        _gen_id_suffix = "-%s-%s-" % (compact_date(time()), rand_chars(16))
134
 
    _gen_id_serial += 1
135
 
    return _gen_id_suffix + str(_gen_id_serial)
136
 
 
137
 
 
138
77
def gen_file_id(name):
139
 
    """Return new file id for the basename 'name'.
140
 
 
141
 
    The uniqueness is supplied from _next_id_suffix.
142
 
    """
143
 
    # The real randomness is in the _next_id_suffix, the
144
 
    # rest of the identifier is just to be nice.
145
 
    # So we:
146
 
    # 1) Remove non-ascii word characters to keep the ids portable
147
 
    # 2) squash to lowercase, so the file id doesn't have to
148
 
    #    be escaped (case insensitive filesystems would bork for ids
149
 
    #    that only differred in case without escaping).
150
 
    # 3) truncate the filename to 20 chars. Long filenames also bork on some
151
 
    #    filesystems
152
 
    # 4) Removing starting '.' characters to prevent the file ids from
153
 
    #    being considered hidden.
154
 
    ascii_word_only = _gen_file_id_re.sub('', name.lower())
155
 
    short_no_dots = ascii_word_only.lstrip('.')[:20]
156
 
    return short_no_dots + _next_id_suffix()
 
78
    """Return new file id.
 
79
 
 
80
    This should probably generate proper UUIDs, but for the moment we
 
81
    cope with just randomness because running uuidgen every time is
 
82
    slow."""
 
83
    import re
 
84
    from binascii import hexlify
 
85
    from time import time
 
86
 
 
87
    # get last component
 
88
    idx = name.rfind('/')
 
89
    if idx != -1:
 
90
        name = name[idx+1 : ]
 
91
    idx = name.rfind('\\')
 
92
    if idx != -1:
 
93
        name = name[idx+1 : ]
 
94
 
 
95
    # make it not a hidden file
 
96
    name = name.lstrip('.')
 
97
 
 
98
    # remove any wierd characters; we don't escape them but rather
 
99
    # just pull them out
 
100
    name = re.sub(r'[^\w.]', '', name)
 
101
 
 
102
    s = hexlify(rand_bytes(8))
 
103
    return '-'.join((name, compact_date(time()), s))
157
104
 
158
105
 
159
106
def gen_root_id():
162
109
 
163
110
 
164
111
class TreeEntry(object):
165
 
    """An entry that implements the minimum interface used by commands.
 
112
    """An entry that implements the minium interface used by commands.
166
113
 
167
114
    This needs further inspection, it may be better to have 
168
115
    InventoryEntries without ids - though that seems wrong. For now,
216
163
        return ''
217
164
 
218
165
 
219
 
class WorkingTree(bzrlib.mutabletree.MutableTree):
 
166
class WorkingTree(bzrlib.tree.Tree):
220
167
    """Working copy tree.
221
168
 
222
169
    The inventory is held in the `Branch` working-inventory, and the
226
173
    not listed in the Inventory and vice versa.
227
174
    """
228
175
 
229
 
    def __init__(self, basedir='.',
230
 
                 branch=DEPRECATED_PARAMETER,
231
 
                 _inventory=None,
232
 
                 _control_files=None,
233
 
                 _internal=False,
234
 
                 _format=None,
235
 
                 _bzrdir=None):
 
176
    def __init__(self, basedir=u'.', branch=None):
236
177
        """Construct a WorkingTree for basedir.
237
178
 
238
179
        If the branch is not supplied, it is opened automatically.
240
181
        (branch.base is not cross checked, because for remote branches that
241
182
        would be meaningless).
242
183
        """
243
 
        self._format = _format
244
 
        self.bzrdir = _bzrdir
245
 
        if not _internal:
246
 
            # not created via open etc.
247
 
            warnings.warn("WorkingTree() is deprecated as of bzr version 0.8. "
248
 
                 "Please use bzrdir.open_workingtree or WorkingTree.open().",
249
 
                 DeprecationWarning,
250
 
                 stacklevel=2)
251
 
            wt = WorkingTree.open(basedir)
252
 
            self._branch = wt.branch
253
 
            self.basedir = wt.basedir
254
 
            self._control_files = wt._control_files
255
 
            self._hashcache = wt._hashcache
256
 
            self._set_inventory(wt._inventory)
257
 
            self._format = wt._format
258
 
            self.bzrdir = wt.bzrdir
259
184
        from bzrlib.hashcache import HashCache
260
185
        from bzrlib.trace import note, mutter
261
186
        assert isinstance(basedir, basestring), \
262
187
            "base directory %r is not a string" % basedir
263
 
        basedir = safe_unicode(basedir)
264
 
        mutter("opening working tree %r", basedir)
265
 
        if deprecated_passed(branch):
266
 
            if not _internal:
267
 
                warnings.warn("WorkingTree(..., branch=XXX) is deprecated as of bzr 0.8."
268
 
                     " Please use bzrdir.open_workingtree() or"
269
 
                     " WorkingTree.open().",
270
 
                     DeprecationWarning,
271
 
                     stacklevel=2
272
 
                     )
273
 
            self._branch = branch
274
 
        else:
275
 
            self._branch = self.bzrdir.open_branch()
 
188
        if branch is None:
 
189
            branch = Branch.open(basedir)
 
190
        assert isinstance(branch, Branch), \
 
191
            "branch %r is not a Branch" % branch
 
192
        self.branch = branch
276
193
        self.basedir = realpath(basedir)
277
 
        # if branch is at our basedir and is a format 6 or less
278
 
        if isinstance(self._format, WorkingTreeFormat2):
279
 
            # share control object
280
 
            self._control_files = self.branch.control_files
281
 
        else:
282
 
            # assume all other formats have their own control files.
283
 
            assert isinstance(_control_files, LockableFiles), \
284
 
                    "_control_files must be a LockableFiles, not %r" \
285
 
                    % _control_files
286
 
            self._control_files = _control_files
 
194
 
 
195
        self._set_inventory(self.read_working_inventory())
 
196
 
287
197
        # update the whole cache up front and write to disk if anything changed;
288
198
        # in the future we might want to do this more selectively
289
199
        # two possible ways offer themselves : in self._unlock, write the cache
290
200
        # if needed, or, when the cache sees a change, append it to the hash
291
201
        # cache file, and have the parser take the most recent entry for a
292
202
        # given path only.
293
 
        cache_filename = self.bzrdir.get_workingtree_transport(None).local_abspath('stat-cache')
294
 
        hc = self._hashcache = HashCache(basedir, cache_filename, self._control_files._file_mode)
 
203
        hc = self._hashcache = HashCache(basedir)
295
204
        hc.read()
296
 
        # is this scan needed ? it makes things kinda slow.
297
 
        #hc.scan()
 
205
        hc.scan()
298
206
 
299
207
        if hc.needs_write:
300
208
            mutter("write hc")
301
209
            hc.write()
302
210
 
303
 
        if _inventory is None:
304
 
            self._set_inventory(self.read_working_inventory())
305
 
        else:
306
 
            self._set_inventory(_inventory)
307
 
 
308
 
    branch = property(
309
 
        fget=lambda self: self._branch,
310
 
        doc="""The branch this WorkingTree is connected to.
311
 
 
312
 
            This cannot be set - it is reflective of the actual disk structure
313
 
            the working tree has been constructed from.
314
 
            """)
315
 
 
316
 
    def break_lock(self):
317
 
        """Break a lock if one is present from another instance.
318
 
 
319
 
        Uses the ui factory to ask for confirmation if the lock may be from
320
 
        an active process.
321
 
 
322
 
        This will probe the repository for its lock as well.
323
 
        """
324
 
        self._control_files.break_lock()
325
 
        self.branch.break_lock()
326
 
 
327
211
    def _set_inventory(self, inv):
328
 
        assert inv.root is not None
329
212
        self._inventory = inv
330
 
 
331
 
    @staticmethod
332
 
    def open(path=None, _unsupported=False):
333
 
        """Open an existing working tree at path.
334
 
 
335
 
        """
336
 
        if path is None:
337
 
            path = os.path.getcwdu()
338
 
        control = bzrdir.BzrDir.open(path, _unsupported)
339
 
        return control.open_workingtree(_unsupported)
340
 
        
 
213
        self.path2id = self._inventory.path2id
 
214
 
341
215
    @staticmethod
342
216
    def open_containing(path=None):
343
217
        """Open an existing working tree which has its root about path.
348
222
        run into /.  If there isn't one, raises NotBranchError.
349
223
        TODO: give this a new exception.
350
224
        If there is one, it is returned, along with the unused portion of path.
351
 
 
352
 
        :return: The WorkingTree that contains 'path', and the rest of path
353
225
        """
354
226
        if path is None:
355
 
            path = osutils.getcwd()
356
 
        control, relpath = bzrdir.BzrDir.open_containing(path)
357
 
 
358
 
        return control.open_workingtree(), relpath
359
 
 
360
 
    @staticmethod
361
 
    def open_downlevel(path=None):
362
 
        """Open an unsupported working tree.
363
 
 
364
 
        Only intended for advanced situations like upgrading part of a bzrdir.
365
 
        """
366
 
        return WorkingTree.open(path, _unsupported=True)
 
227
            path = os.getcwdu()
 
228
        else:
 
229
            # sanity check.
 
230
            if path.find('://') != -1:
 
231
                raise NotBranchError(path=path)
 
232
        path = os.path.abspath(path)
 
233
        tail = u''
 
234
        while True:
 
235
            try:
 
236
                return WorkingTree(path), tail
 
237
            except NotBranchError:
 
238
                pass
 
239
            if tail:
 
240
                tail = os.path.join(os.path.basename(path), tail)
 
241
            else:
 
242
                tail = os.path.basename(path)
 
243
            path = os.path.dirname(path)
 
244
            # FIXME: top in windows is indicated how ???
 
245
            if path == os.path.sep:
 
246
                # reached the root, whatever that may be
 
247
                raise NotBranchError(path=path)
367
248
 
368
249
    def __iter__(self):
369
250
        """Iterate through file_ids for this tree.
373
254
        """
374
255
        inv = self._inventory
375
256
        for path, ie in inv.iter_entries():
376
 
            if osutils.lexists(self.abspath(path)):
 
257
            if bzrlib.osutils.lexists(self.abspath(path)):
377
258
                yield ie.file_id
378
259
 
379
260
    def __repr__(self):
381
262
                               getattr(self, 'basedir', None))
382
263
 
383
264
    def abspath(self, filename):
384
 
        return pathjoin(self.basedir, filename)
385
 
    
386
 
    def basis_tree(self):
387
 
        """Return RevisionTree for the current last revision.
388
 
        
389
 
        If the left most parent is a ghost then the returned tree will be an
390
 
        empty tree - one obtained by calling repository.revision_tree(None).
391
 
        """
392
 
        try:
393
 
            revision_id = self.get_parent_ids()[0]
394
 
        except IndexError:
395
 
            # no parents, return an empty revision tree.
396
 
            # in the future this should return the tree for
397
 
            # 'empty:' - the implicit root empty tree.
398
 
            return self.branch.repository.revision_tree(None)
399
 
        else:
400
 
            try:
401
 
                xml = self.read_basis_inventory()
402
 
                inv = bzrlib.xml6.serializer_v6.read_inventory_from_string(xml)
403
 
                if inv is not None and inv.revision_id == revision_id:
404
 
                    return bzrlib.tree.RevisionTree(self.branch.repository, 
405
 
                                                    inv, revision_id)
406
 
            except (NoSuchFile, errors.BadInventoryFormat):
407
 
                pass
408
 
        # No cached copy available, retrieve from the repository.
409
 
        # FIXME? RBC 20060403 should we cache the inventory locally
410
 
        # at this point ?
411
 
        try:
412
 
            return self.branch.repository.revision_tree(revision_id)
413
 
        except errors.RevisionNotPresent:
414
 
            # the basis tree *may* be a ghost or a low level error may have
415
 
            # occured. If the revision is present, its a problem, if its not
416
 
            # its a ghost.
417
 
            if self.branch.repository.has_revision(revision_id):
418
 
                raise
419
 
            # the basis tree is a ghost so return an empty tree.
420
 
            return self.branch.repository.revision_tree(None)
421
 
 
422
 
    @staticmethod
423
 
    @deprecated_method(zero_eight)
424
 
    def create(branch, directory):
425
 
        """Create a workingtree for branch at directory.
426
 
 
427
 
        If existing_directory already exists it must have a .bzr directory.
428
 
        If it does not exist, it will be created.
429
 
 
430
 
        This returns a new WorkingTree object for the new checkout.
431
 
 
432
 
        TODO FIXME RBC 20060124 when we have checkout formats in place this
433
 
        should accept an optional revisionid to checkout [and reject this if
434
 
        checking out into the same dir as a pre-checkout-aware branch format.]
435
 
 
436
 
        XXX: When BzrDir is present, these should be created through that 
437
 
        interface instead.
438
 
        """
439
 
        warnings.warn('delete WorkingTree.create', stacklevel=3)
440
 
        transport = get_transport(directory)
441
 
        if branch.bzrdir.root_transport.base == transport.base:
442
 
            # same dir 
443
 
            return branch.bzrdir.create_workingtree()
444
 
        # different directory, 
445
 
        # create a branch reference
446
 
        # and now a working tree.
447
 
        raise NotImplementedError
448
 
 
449
 
    @staticmethod
450
 
    @deprecated_method(zero_eight)
451
 
    def create_standalone(directory):
452
 
        """Create a checkout and a branch and a repo at directory.
453
 
 
454
 
        Directory must exist and be empty.
455
 
 
456
 
        please use BzrDir.create_standalone_workingtree
457
 
        """
458
 
        return bzrdir.BzrDir.create_standalone_workingtree(directory)
459
 
 
460
 
    def relpath(self, path):
461
 
        """Return the local path portion from a given path.
462
 
        
463
 
        The path may be absolute or relative. If its a relative path it is 
464
 
        interpreted relative to the python current working directory.
465
 
        """
466
 
        return relpath(self.basedir, path)
 
265
        return os.path.join(self.basedir, filename)
 
266
 
 
267
    def relpath(self, abspath):
 
268
        """Return the local path portion from a given absolute path."""
 
269
        return relpath(self.basedir, abspath)
467
270
 
468
271
    def has_filename(self, filename):
469
 
        return osutils.lexists(self.abspath(filename))
 
272
        return bzrlib.osutils.lexists(self.abspath(filename))
470
273
 
471
274
    def get_file(self, file_id):
472
275
        return self.get_file_byname(self.id2path(file_id))
473
276
 
474
 
    def get_file_text(self, file_id):
475
 
        return self.get_file(file_id).read()
476
 
 
477
277
    def get_file_byname(self, filename):
478
278
        return file(self.abspath(filename), 'rb')
479
279
 
480
 
    def get_parent_ids(self):
481
 
        """See Tree.get_parent_ids.
482
 
        
483
 
        This implementation reads the pending merges list and last_revision
484
 
        value and uses that to decide what the parents list should be.
485
 
        """
486
 
        last_rev = self._last_revision()
487
 
        if last_rev is None:
488
 
            parents = []
489
 
        else:
490
 
            parents = [last_rev]
491
 
        try:
492
 
            merges_file = self._control_files.get_utf8('pending-merges')
493
 
        except NoSuchFile:
494
 
            pass
495
 
        else:
496
 
            for l in merges_file.readlines():
497
 
                parents.append(l.rstrip('\n'))
498
 
        return parents
499
 
 
500
280
    def get_root_id(self):
501
281
        """Return the id of this trees root"""
502
282
        inv = self.read_working_inventory()
506
286
        ## XXX: badly named; this is not in the store at all
507
287
        return self.abspath(self.id2path(file_id))
508
288
 
509
 
    @needs_read_lock
510
 
    def clone(self, to_bzrdir, revision_id=None, basis=None):
511
 
        """Duplicate this working tree into to_bzr, including all state.
512
 
        
513
 
        Specifically modified files are kept as modified, but
514
 
        ignored and unknown files are discarded.
515
 
 
516
 
        If you want to make a new line of development, see bzrdir.sprout()
517
 
 
518
 
        revision
519
 
            If not None, the cloned tree will have its last revision set to 
520
 
            revision, and and difference between the source trees last revision
521
 
            and this one merged in.
522
 
 
523
 
        basis
524
 
            If not None, a closer copy of a tree which may have some files in
525
 
            common, and which file content should be preferentially copied from.
526
 
        """
527
 
        # assumes the target bzr dir format is compatible.
528
 
        result = self._format.initialize(to_bzrdir)
529
 
        self.copy_content_into(result, revision_id)
530
 
        return result
531
 
 
532
 
    @needs_read_lock
533
 
    def copy_content_into(self, tree, revision_id=None):
534
 
        """Copy the current content and user files of this tree into tree."""
535
 
        if revision_id is None:
536
 
            transform_tree(tree, self)
537
 
        else:
538
 
            # TODO now merge from tree.last_revision to revision (to preserve
539
 
            # user local changes)
540
 
            transform_tree(tree, self)
541
 
            tree.set_parent_ids([revision_id])
 
289
    @needs_write_lock
 
290
    def commit(self, *args, **kw):
 
291
        from bzrlib.commit import Commit
 
292
        Commit().commit(self.branch, *args, **kw)
 
293
        self._set_inventory(self.read_working_inventory())
542
294
 
543
295
    def id2abspath(self, file_id):
544
296
        return self.abspath(self.id2path(file_id))
549
301
        if not inv.has_id(file_id):
550
302
            return False
551
303
        path = inv.id2path(file_id)
552
 
        return osutils.lexists(self.abspath(path))
 
304
        return bzrlib.osutils.lexists(self.abspath(path))
553
305
 
554
306
    def has_or_had_id(self, file_id):
555
307
        if file_id == self.inventory.root.file_id:
561
313
    def get_file_size(self, file_id):
562
314
        return os.path.getsize(self.id2abspath(file_id))
563
315
 
564
 
    @needs_read_lock
565
 
    def get_file_sha1(self, file_id, path=None):
566
 
        if not path:
567
 
            path = self._inventory.id2path(file_id)
 
316
    def get_file_sha1(self, file_id):
 
317
        path = self._inventory.id2path(file_id)
568
318
        return self._hashcache.get_sha1(path)
569
319
 
570
 
    def get_file_mtime(self, file_id, path=None):
571
 
        if not path:
572
 
            path = self._inventory.id2path(file_id)
573
 
        return os.lstat(self.abspath(path)).st_mtime
574
 
 
575
 
    if not supports_executable():
576
 
        def is_executable(self, file_id, path=None):
 
320
    def is_executable(self, file_id):
 
321
        if os.name == "nt":
577
322
            return self._inventory[file_id].executable
578
 
    else:
579
 
        def is_executable(self, file_id, path=None):
580
 
            if not path:
581
 
                path = self._inventory.id2path(file_id)
 
323
        else:
 
324
            path = self._inventory.id2path(file_id)
582
325
            mode = os.lstat(self.abspath(path)).st_mode
583
 
            return bool(stat.S_ISREG(mode) and stat.S_IEXEC & mode)
 
326
            return bool(stat.S_ISREG(mode) and stat.S_IEXEC&mode)
584
327
 
585
328
    @needs_write_lock
586
 
    def _add(self, files, ids, kinds):
587
 
        """See MutableTree._add."""
 
329
    def add(self, files, ids=None):
 
330
        """Make files versioned.
 
331
 
 
332
        Note that the command line normally calls smart_add instead,
 
333
        which can automatically recurse.
 
334
 
 
335
        This adds the files to the inventory, so that they will be
 
336
        recorded by the next commit.
 
337
 
 
338
        files
 
339
            List of paths to add, relative to the base of the tree.
 
340
 
 
341
        ids
 
342
            If set, use these instead of automatically generated ids.
 
343
            Must be the same length as the list of files, but may
 
344
            contain None for ids that are to be autogenerated.
 
345
 
 
346
        TODO: Perhaps have an option to add the ids even if the files do
 
347
              not (yet) exist.
 
348
 
 
349
        TODO: Perhaps callback with the ids and paths as they're added.
 
350
        """
588
351
        # TODO: Re-adding a file that is removed in the working copy
589
352
        # should probably put it back with the previous ID.
590
 
        # the read and write working inventory should not occur in this 
591
 
        # function - they should be part of lock_write and unlock.
 
353
        if isinstance(files, basestring):
 
354
            assert(ids is None or isinstance(ids, basestring))
 
355
            files = [files]
 
356
            if ids is not None:
 
357
                ids = [ids]
 
358
 
 
359
        if ids is None:
 
360
            ids = [None] * len(files)
 
361
        else:
 
362
            assert(len(ids) == len(files))
 
363
 
592
364
        inv = self.read_working_inventory()
593
 
        for f, file_id, kind in zip(files, ids, kinds):
594
 
            assert kind is not None
 
365
        for f,file_id in zip(files, ids):
 
366
            if is_control_file(f):
 
367
                raise BzrError("cannot add control file %s" % quotefn(f))
 
368
 
 
369
            fp = splitpath(f)
 
370
 
 
371
            if len(fp) == 0:
 
372
                raise BzrError("cannot add top-level %r" % f)
 
373
 
 
374
            fullpath = os.path.normpath(self.abspath(f))
 
375
 
 
376
            try:
 
377
                kind = file_kind(fullpath)
 
378
            except OSError:
 
379
                # maybe something better?
 
380
                raise BzrError('cannot add: not a regular file, symlink or directory: %s' % quotefn(f))
 
381
 
 
382
            if not InventoryEntry.versionable_kind(kind):
 
383
                raise BzrError('cannot add: not a versionable file ('
 
384
                               'i.e. regular file, symlink or directory): %s' % quotefn(f))
 
385
 
595
386
            if file_id is None:
596
 
                inv.add_path(f, kind=kind)
597
 
            else:
598
 
                inv.add_path(f, kind=kind, file_id=file_id)
 
387
                file_id = gen_file_id(f)
 
388
            inv.add_path(f, kind=kind, file_id=file_id)
 
389
 
 
390
            mutter("add file %s file_id:{%s} kind=%r" % (f, file_id, kind))
599
391
        self._write_inventory(inv)
600
392
 
601
 
    @needs_tree_write_lock
602
 
    def _gather_kinds(self, files, kinds):
603
 
        """See MutableTree._gather_kinds."""
604
 
        for pos, f in enumerate(files):
605
 
            if kinds[pos] is None:
606
 
                fullpath = normpath(self.abspath(f))
607
 
                try:
608
 
                    kinds[pos] = file_kind(fullpath)
609
 
                except OSError, e:
610
 
                    if e.errno == errno.ENOENT:
611
 
                        raise NoSuchFile(fullpath)
612
 
 
613
393
    @needs_write_lock
614
 
    def add_parent_tree_id(self, revision_id, allow_leftmost_as_ghost=False):
615
 
        """Add revision_id as a parent.
616
 
 
617
 
        This is equivalent to retrieving the current list of parent ids
618
 
        and setting the list to its value plus revision_id.
619
 
 
620
 
        :param revision_id: The revision id to add to the parent list. It may
621
 
        be a ghost revision as long as its not the first parent to be added,
622
 
        or the allow_leftmost_as_ghost parameter is set True.
623
 
        :param allow_leftmost_as_ghost: Allow the first parent to be a ghost.
624
 
        """
625
 
        parents = self.get_parent_ids() + [revision_id]
626
 
        self.set_parent_ids(parents,
627
 
            allow_leftmost_as_ghost=len(parents) > 1 or allow_leftmost_as_ghost)
628
 
 
629
 
    @needs_tree_write_lock
630
 
    def add_parent_tree(self, parent_tuple, allow_leftmost_as_ghost=False):
631
 
        """Add revision_id, tree tuple as a parent.
632
 
 
633
 
        This is equivalent to retrieving the current list of parent trees
634
 
        and setting the list to its value plus parent_tuple. See also
635
 
        add_parent_tree_id - if you only have a parent id available it will be
636
 
        simpler to use that api. If you have the parent already available, using
637
 
        this api is preferred.
638
 
 
639
 
        :param parent_tuple: The (revision id, tree) to add to the parent list.
640
 
            If the revision_id is a ghost, pass None for the tree.
641
 
        :param allow_leftmost_as_ghost: Allow the first parent to be a ghost.
642
 
        """
643
 
        parent_ids = self.get_parent_ids() + [parent_tuple[0]]
644
 
        if len(parent_ids) > 1:
645
 
            # the leftmost may have already been a ghost, preserve that if it
646
 
            # was.
647
 
            allow_leftmost_as_ghost = True
648
 
        self.set_parent_ids(parent_ids,
649
 
            allow_leftmost_as_ghost=allow_leftmost_as_ghost)
650
 
 
651
 
    @needs_tree_write_lock
652
394
    def add_pending_merge(self, *revision_ids):
653
395
        # TODO: Perhaps should check at this point that the
654
396
        # history of the revision is actually present?
655
 
        parents = self.get_parent_ids()
 
397
        p = self.pending_merges()
656
398
        updated = False
657
399
        for rev_id in revision_ids:
658
 
            if rev_id in parents:
 
400
            if rev_id in p:
659
401
                continue
660
 
            parents.append(rev_id)
 
402
            p.append(rev_id)
661
403
            updated = True
662
404
        if updated:
663
 
            self.set_parent_ids(parents, allow_leftmost_as_ghost=True)
 
405
            self.set_pending_merges(p)
664
406
 
665
 
    @deprecated_method(zero_eleven)
666
 
    @needs_read_lock
667
407
    def pending_merges(self):
668
408
        """Return a list of pending merges.
669
409
 
670
410
        These are revisions that have been merged into the working
671
411
        directory but not yet committed.
672
 
 
673
 
        As of 0.11 this is deprecated. Please see WorkingTree.get_parent_ids()
674
 
        instead - which is available on all tree objects.
675
 
        """
676
 
        return self.get_parent_ids()[1:]
677
 
 
678
 
    def _check_parents_for_ghosts(self, revision_ids, allow_leftmost_as_ghost):
679
 
        """Common ghost checking functionality from set_parent_*.
680
 
 
681
 
        This checks that the left hand-parent exists if there are any
682
 
        revisions present.
683
 
        """
684
 
        if len(revision_ids) > 0:
685
 
            leftmost_id = revision_ids[0]
686
 
            if (not allow_leftmost_as_ghost and not
687
 
                self.branch.repository.has_revision(leftmost_id)):
688
 
                raise errors.GhostRevisionUnusableHere(leftmost_id)
689
 
 
690
 
    def _set_merges_from_parent_ids(self, parent_ids):
691
 
        merges = parent_ids[1:]
692
 
        self._control_files.put_utf8('pending-merges', '\n'.join(merges))
693
 
 
694
 
    @needs_tree_write_lock
695
 
    def set_parent_ids(self, revision_ids, allow_leftmost_as_ghost=False):
696
 
        """Set the parent ids to revision_ids.
697
 
        
698
 
        See also set_parent_trees. This api will try to retrieve the tree data
699
 
        for each element of revision_ids from the trees repository. If you have
700
 
        tree data already available, it is more efficient to use
701
 
        set_parent_trees rather than set_parent_ids. set_parent_ids is however
702
 
        an easier API to use.
703
 
 
704
 
        :param revision_ids: The revision_ids to set as the parent ids of this
705
 
            working tree. Any of these may be ghosts.
706
 
        """
707
 
        self._check_parents_for_ghosts(revision_ids,
708
 
            allow_leftmost_as_ghost=allow_leftmost_as_ghost)
709
 
 
710
 
        if len(revision_ids) > 0:
711
 
            self.set_last_revision(revision_ids[0])
712
 
        else:
713
 
            self.set_last_revision(None)
714
 
 
715
 
        self._set_merges_from_parent_ids(revision_ids)
716
 
 
717
 
    @needs_tree_write_lock
718
 
    def set_parent_trees(self, parents_list, allow_leftmost_as_ghost=False):
719
 
        """See MutableTree.set_parent_trees."""
720
 
        parent_ids = [rev for (rev, tree) in parents_list]
721
 
 
722
 
        self._check_parents_for_ghosts(parent_ids,
723
 
            allow_leftmost_as_ghost=allow_leftmost_as_ghost)
724
 
 
725
 
        if len(parent_ids) == 0:
726
 
            leftmost_parent_id = None
727
 
            leftmost_parent_tree = None
728
 
        else:
729
 
            leftmost_parent_id, leftmost_parent_tree = parents_list[0]
730
 
 
731
 
        if self._change_last_revision(leftmost_parent_id):
732
 
            if leftmost_parent_tree is None:
733
 
                # If we don't have a tree, fall back to reading the
734
 
                # parent tree from the repository.
735
 
                self._cache_basis_inventory(leftmost_parent_id)
736
 
            else:
737
 
                inv = leftmost_parent_tree.inventory
738
 
                xml = self._create_basis_xml_from_inventory(
739
 
                                        leftmost_parent_id, inv)
740
 
                self._write_basis_inventory(xml)
741
 
        self._set_merges_from_parent_ids(parent_ids)
742
 
 
743
 
    @needs_tree_write_lock
 
412
        """
 
413
        cfn = self.branch._rel_controlfilename('pending-merges')
 
414
        if not self.branch._transport.has(cfn):
 
415
            return []
 
416
        p = []
 
417
        for l in self.branch.controlfile('pending-merges', 'r').readlines():
 
418
            p.append(l.rstrip('\n'))
 
419
        return p
 
420
 
 
421
    @needs_write_lock
744
422
    def set_pending_merges(self, rev_list):
745
 
        parents = self.get_parent_ids()
746
 
        leftmost = parents[:1]
747
 
        new_parents = leftmost + rev_list
748
 
        self.set_parent_ids(new_parents)
749
 
 
750
 
    @needs_tree_write_lock
751
 
    def set_merge_modified(self, modified_hashes):
752
 
        def iter_stanzas():
753
 
            for file_id, hash in modified_hashes.iteritems():
754
 
                yield Stanza(file_id=file_id, hash=hash)
755
 
        self._put_rio('merge-hashes', iter_stanzas(), MERGE_MODIFIED_HEADER_1)
756
 
 
757
 
    @needs_tree_write_lock
758
 
    def _put_rio(self, filename, stanzas, header):
759
 
        my_file = rio_file(stanzas, header)
760
 
        self._control_files.put(filename, my_file)
761
 
 
762
 
    @needs_write_lock # because merge pulls data into the branch.
763
 
    def merge_from_branch(self, branch, to_revision=None):
764
 
        """Merge from a branch into this working tree.
765
 
 
766
 
        :param branch: The branch to merge from.
767
 
        :param to_revision: If non-None, the merge will merge to to_revision, but 
768
 
            not beyond it. to_revision does not need to be in the history of
769
 
            the branch when it is supplied. If None, to_revision defaults to
770
 
            branch.last_revision().
771
 
        """
772
 
        from bzrlib.merge import Merger, Merge3Merger
773
 
        pb = bzrlib.ui.ui_factory.nested_progress_bar()
774
 
        try:
775
 
            merger = Merger(self.branch, this_tree=self, pb=pb)
776
 
            merger.pp = ProgressPhase("Merge phase", 5, pb)
777
 
            merger.pp.next_phase()
778
 
            # check that there are no
779
 
            # local alterations
780
 
            merger.check_basis(check_clean=True, require_commits=False)
781
 
            if to_revision is None:
782
 
                to_revision = branch.last_revision()
783
 
            merger.other_rev_id = to_revision
784
 
            if merger.other_rev_id is None:
785
 
                raise error.NoCommits(branch)
786
 
            self.branch.fetch(branch, last_revision=merger.other_rev_id)
787
 
            merger.other_basis = merger.other_rev_id
788
 
            merger.other_tree = self.branch.repository.revision_tree(
789
 
                merger.other_rev_id)
790
 
            merger.pp.next_phase()
791
 
            merger.find_base()
792
 
            if merger.base_rev_id == merger.other_rev_id:
793
 
                raise errors.PointlessMerge
794
 
            merger.backup_files = False
795
 
            merger.merge_type = Merge3Merger
796
 
            merger.set_interesting_files(None)
797
 
            merger.show_base = False
798
 
            merger.reprocess = False
799
 
            conflicts = merger.do_merge()
800
 
            merger.set_pending()
801
 
        finally:
802
 
            pb.finished()
803
 
        return conflicts
804
 
 
805
 
    @needs_read_lock
806
 
    def merge_modified(self):
807
 
        try:
808
 
            hashfile = self._control_files.get('merge-hashes')
809
 
        except NoSuchFile:
810
 
            return {}
811
 
        merge_hashes = {}
812
 
        try:
813
 
            if hashfile.next() != MERGE_MODIFIED_HEADER_1 + '\n':
814
 
                raise MergeModifiedFormatError()
815
 
        except StopIteration:
816
 
            raise MergeModifiedFormatError()
817
 
        for s in RioReader(hashfile):
818
 
            file_id = s.get("file_id")
819
 
            if file_id not in self.inventory:
820
 
                continue
821
 
            hash = s.get("hash")
822
 
            if hash == self.get_file_sha1(file_id):
823
 
                merge_hashes[file_id] = hash
824
 
        return merge_hashes
825
 
 
826
 
    @needs_write_lock
827
 
    def mkdir(self, path, file_id=None):
828
 
        """See MutableTree.mkdir()."""
829
 
        if file_id is None:
830
 
            file_id = gen_file_id(os.path.basename(path))
831
 
        os.mkdir(self.abspath(path))
832
 
        self.add(path, file_id, 'directory')
833
 
        return file_id
 
423
        self.branch.put_controlfile('pending-merges', '\n'.join(rev_list))
834
424
 
835
425
    def get_symlink_target(self, file_id):
836
426
        return os.readlink(self.id2abspath(file_id))
843
433
        else:
844
434
            return '?'
845
435
 
846
 
    def list_files(self, include_root=False):
847
 
        """Recursively list all files as (path, class, kind, id, entry).
 
436
 
 
437
    def list_files(self):
 
438
        """Recursively list all files as (path, class, kind, id).
848
439
 
849
440
        Lists, but does not descend into unversioned directories.
850
441
 
854
445
        Skips the control directory.
855
446
        """
856
447
        inv = self._inventory
857
 
        if include_root is True:
858
 
            yield ('', 'V', 'directory', inv.root.file_id, inv.root)
859
 
        # Convert these into local objects to save lookup times
860
 
        pathjoin = osutils.pathjoin
861
 
        file_kind = osutils.file_kind
862
 
 
863
 
        # transport.base ends in a slash, we want the piece
864
 
        # between the last two slashes
865
 
        transport_base_dir = self.bzrdir.transport.base.rsplit('/', 2)[1]
866
 
 
867
 
        fk_entries = {'directory':TreeDirectory, 'file':TreeFile, 'symlink':TreeLink}
868
 
 
869
 
        # directory file_id, relative path, absolute path, reverse sorted children
870
 
        children = os.listdir(self.basedir)
871
 
        children.sort()
872
 
        # jam 20060527 The kernel sized tree seems equivalent whether we 
873
 
        # use a deque and popleft to keep them sorted, or if we use a plain
874
 
        # list and just reverse() them.
875
 
        children = collections.deque(children)
876
 
        stack = [(inv.root.file_id, u'', self.basedir, children)]
877
 
        while stack:
878
 
            from_dir_id, from_dir_relpath, from_dir_abspath, children = stack[-1]
879
 
 
880
 
            while children:
881
 
                f = children.popleft()
 
448
 
 
449
        def descend(from_dir_relpath, from_dir_id, dp):
 
450
            ls = os.listdir(dp)
 
451
            ls.sort()
 
452
            for f in ls:
882
453
                ## TODO: If we find a subdirectory with its own .bzr
883
454
                ## directory, then that is a separate tree and we
884
455
                ## should exclude it.
885
 
 
886
 
                # the bzrdir for this tree
887
 
                if transport_base_dir == f:
 
456
                if bzrlib.BZRDIR == f:
888
457
                    continue
889
458
 
890
 
                # we know that from_dir_relpath and from_dir_abspath never end in a slash
891
 
                # and 'f' doesn't begin with one, we can do a string op, rather
892
 
                # than the checks of pathjoin(), all relative paths will have an extra slash
893
 
                # at the beginning
894
 
                fp = from_dir_relpath + '/' + f
 
459
                # path within tree
 
460
                fp = appendpath(from_dir_relpath, f)
895
461
 
896
462
                # absolute path
897
 
                fap = from_dir_abspath + '/' + f
 
463
                fap = appendpath(dp, f)
898
464
                
899
465
                f_ie = inv.get_child(from_dir_id, f)
900
466
                if f_ie:
901
467
                    c = 'V'
902
 
                elif self.is_ignored(fp[1:]):
 
468
                elif self.is_ignored(fp):
903
469
                    c = 'I'
904
470
                else:
905
 
                    # we may not have found this file, because of a unicode issue
906
 
                    f_norm, can_access = osutils.normalized_filename(f)
907
 
                    if f == f_norm or not can_access:
908
 
                        # No change, so treat this file normally
909
 
                        c = '?'
910
 
                    else:
911
 
                        # this file can be accessed by a normalized path
912
 
                        # check again if it is versioned
913
 
                        # these lines are repeated here for performance
914
 
                        f = f_norm
915
 
                        fp = from_dir_relpath + '/' + f
916
 
                        fap = from_dir_abspath + '/' + f
917
 
                        f_ie = inv.get_child(from_dir_id, f)
918
 
                        if f_ie:
919
 
                            c = 'V'
920
 
                        elif self.is_ignored(fp[1:]):
921
 
                            c = 'I'
922
 
                        else:
923
 
                            c = '?'
 
471
                    c = '?'
924
472
 
925
473
                fk = file_kind(fap)
926
474
 
932
480
 
933
481
                # make a last minute entry
934
482
                if f_ie:
935
 
                    yield fp[1:], c, fk, f_ie.file_id, f_ie
 
483
                    entry = f_ie
936
484
                else:
937
 
                    try:
938
 
                        yield fp[1:], c, fk, None, fk_entries[fk]()
939
 
                    except KeyError:
940
 
                        yield fp[1:], c, fk, None, TreeEntry()
941
 
                    continue
 
485
                    if fk == 'directory':
 
486
                        entry = TreeDirectory()
 
487
                    elif fk == 'file':
 
488
                        entry = TreeFile()
 
489
                    elif fk == 'symlink':
 
490
                        entry = TreeLink()
 
491
                    else:
 
492
                        entry = TreeEntry()
942
493
                
 
494
                yield fp, c, fk, (f_ie and f_ie.file_id), entry
 
495
 
943
496
                if fk != 'directory':
944
497
                    continue
945
498
 
946
 
                # But do this child first
947
 
                new_children = os.listdir(fap)
948
 
                new_children.sort()
949
 
                new_children = collections.deque(new_children)
950
 
                stack.append((f_ie.file_id, fp, fap, new_children))
951
 
                # Break out of inner loop, so that we start outer loop with child
952
 
                break
953
 
            else:
954
 
                # if we finished all children, pop it off the stack
955
 
                stack.pop()
956
 
 
957
 
    @needs_tree_write_lock
 
499
                if c != 'V':
 
500
                    # don't descend unversioned directories
 
501
                    continue
 
502
                
 
503
                for ff in descend(fp, f_ie.file_id, fap):
 
504
                    yield ff
 
505
 
 
506
        for f in descend(u'', inv.root.file_id, self.basedir):
 
507
            yield f
 
508
 
 
509
    @needs_write_lock
958
510
    def move(self, from_paths, to_name):
959
511
        """Rename files.
960
512
 
979
531
        if not self.has_filename(to_name):
980
532
            raise BzrError("destination %r not in working directory" % to_abs)
981
533
        to_dir_id = inv.path2id(to_name)
982
 
        if to_dir_id is None and to_name != '':
 
534
        if to_dir_id == None and to_name != '':
983
535
            raise BzrError("destination %r is not a versioned directory" % to_name)
984
536
        to_dir_ie = inv[to_dir_id]
985
 
        if to_dir_ie.kind != 'directory':
 
537
        if to_dir_ie.kind not in ('directory', 'root_directory'):
986
538
            raise BzrError("destination %r is not a directory" % to_abs)
987
539
 
988
540
        to_idpath = inv.get_idpath(to_dir_id)
991
543
            if not self.has_filename(f):
992
544
                raise BzrError("%r does not exist in working tree" % f)
993
545
            f_id = inv.path2id(f)
994
 
            if f_id is None:
 
546
            if f_id == None:
995
547
                raise BzrError("%r is not versioned" % f)
996
548
            name_tail = splitpath(f)[-1]
997
 
            dest_path = pathjoin(to_name, name_tail)
 
549
            dest_path = appendpath(to_name, name_tail)
998
550
            if self.has_filename(dest_path):
999
551
                raise BzrError("destination %r already exists" % dest_path)
1000
552
            if f_id in to_idpath:
1007
559
        try:
1008
560
            for f in from_paths:
1009
561
                name_tail = splitpath(f)[-1]
1010
 
                dest_path = pathjoin(to_name, name_tail)
 
562
                dest_path = appendpath(to_name, name_tail)
1011
563
                result.append((f, dest_path))
1012
564
                inv.rename(inv.path2id(f), to_dir_id, name_tail)
1013
565
                try:
1023
575
        self._write_inventory(inv)
1024
576
        return result
1025
577
 
1026
 
    @needs_tree_write_lock
 
578
    @needs_write_lock
1027
579
    def rename_one(self, from_rel, to_rel):
1028
580
        """Rename one file.
1029
581
 
1036
588
            raise BzrError("can't rename: new working file %r already exists" % to_rel)
1037
589
 
1038
590
        file_id = inv.path2id(from_rel)
1039
 
        if file_id is None:
 
591
        if file_id == None:
1040
592
            raise BzrError("can't rename: old name %r is not versioned" % from_rel)
1041
593
 
1042
594
        entry = inv[file_id]
1048
600
 
1049
601
        to_dir, to_tail = os.path.split(to_rel)
1050
602
        to_dir_id = inv.path2id(to_dir)
1051
 
        if to_dir_id is None and to_dir != '':
 
603
        if to_dir_id == None and to_dir != '':
1052
604
            raise BzrError("can't determine destination directory id for %r" % to_dir)
1053
605
 
1054
606
        mutter("rename_one:")
1077
629
 
1078
630
        These are files in the working directory that are not versioned or
1079
631
        control files or ignored.
 
632
        
 
633
        >>> from bzrlib.branch import ScratchBranch
 
634
        >>> b = ScratchBranch(files=['foo', 'foo~'])
 
635
        >>> tree = WorkingTree(b.base, b)
 
636
        >>> map(str, tree.unknowns())
 
637
        ['foo']
 
638
        >>> tree.add('foo')
 
639
        >>> list(b.unknowns())
 
640
        []
 
641
        >>> tree.remove('foo')
 
642
        >>> list(b.unknowns())
 
643
        [u'foo']
1080
644
        """
1081
645
        for subp in self.extras():
1082
646
            if not self.is_ignored(subp):
1083
647
                yield subp
1084
 
    
1085
 
    @needs_tree_write_lock
1086
 
    def unversion(self, file_ids):
1087
 
        """Remove the file ids in file_ids from the current versioned set.
1088
 
 
1089
 
        When a file_id is unversioned, all of its children are automatically
1090
 
        unversioned.
1091
 
 
1092
 
        :param file_ids: The file ids to stop versioning.
1093
 
        :raises: NoSuchId if any fileid is not currently versioned.
1094
 
        """
1095
 
        for file_id in file_ids:
1096
 
            if self._inventory.has_id(file_id):
1097
 
                self._inventory.remove_recursive_id(file_id)
1098
 
            else:
1099
 
                raise errors.NoSuchId(self, file_id)
1100
 
        if len(file_ids):
1101
 
            # in the future this should just set a dirty bit to wait for the 
1102
 
            # final unlock. However, until all methods of workingtree start
1103
 
            # with the current in -memory inventory rather than triggering 
1104
 
            # a read, it is more complex - we need to teach read_inventory
1105
 
            # to know when to read, and when to not read first... and possibly
1106
 
            # to save first when the in memory one may be corrupted.
1107
 
            # so for now, we just only write it if it is indeed dirty.
1108
 
            # - RBC 20060907
1109
 
            self._write_inventory(self._inventory)
1110
 
    
1111
 
    @deprecated_method(zero_eight)
 
648
 
1112
649
    def iter_conflicts(self):
1113
 
        """List all files in the tree that have text or content conflicts.
1114
 
        DEPRECATED.  Use conflicts instead."""
1115
 
        return self._iter_conflicts()
1116
 
 
1117
 
    def _iter_conflicts(self):
1118
650
        conflicted = set()
1119
 
        for info in self.list_files():
1120
 
            path = info[0]
 
651
        for path in (s[0] for s in self.list_files()):
1121
652
            stem = get_conflicted_stem(path)
1122
653
            if stem is None:
1123
654
                continue
1126
657
                yield stem
1127
658
 
1128
659
    @needs_write_lock
1129
 
    def pull(self, source, overwrite=False, stop_revision=None):
1130
 
        top_pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
660
    def pull(self, source, overwrite=False):
 
661
        from bzrlib.merge import merge_inner
1131
662
        source.lock_read()
1132
663
        try:
1133
 
            pp = ProgressPhase("Pull phase", 2, top_pb)
1134
 
            pp.next_phase()
1135
664
            old_revision_history = self.branch.revision_history()
1136
 
            basis_tree = self.basis_tree()
1137
 
            count = self.branch.pull(source, overwrite, stop_revision)
 
665
            count = self.branch.pull(source, overwrite)
1138
666
            new_revision_history = self.branch.revision_history()
1139
667
            if new_revision_history != old_revision_history:
1140
 
                pp.next_phase()
1141
668
                if len(old_revision_history):
1142
669
                    other_revision = old_revision_history[-1]
1143
670
                else:
1144
671
                    other_revision = None
1145
 
                repository = self.branch.repository
1146
 
                pb = bzrlib.ui.ui_factory.nested_progress_bar()
1147
 
                try:
1148
 
                    new_basis_tree = self.branch.basis_tree()
1149
 
                    merge_inner(self.branch,
1150
 
                                new_basis_tree,
1151
 
                                basis_tree,
1152
 
                                this_tree=self,
1153
 
                                pb=pb)
1154
 
                finally:
1155
 
                    pb.finished()
1156
 
                # TODO - dedup parents list with things merged by pull ?
1157
 
                # reuse the revisiontree we merged against to set the new
1158
 
                # tree data.
1159
 
                parent_trees = [(self.branch.last_revision(), new_basis_tree)]
1160
 
                # we have to pull the merge trees out again, because 
1161
 
                # merge_inner has set the ids. - this corner is not yet 
1162
 
                # layered well enough to prevent double handling.
1163
 
                merges = self.get_parent_ids()[1:]
1164
 
                parent_trees.extend([
1165
 
                    (parent, repository.revision_tree(parent)) for
1166
 
                     parent in merges])
1167
 
                self.set_parent_trees(parent_trees)
 
672
                merge_inner(self.branch,
 
673
                            self.branch.basis_tree(), 
 
674
                            self.branch.revision_tree(other_revision))
1168
675
            return count
1169
676
        finally:
1170
677
            source.unlock()
1171
 
            top_pb.finished()
1172
 
 
1173
 
    @needs_write_lock
1174
 
    def put_file_bytes_non_atomic(self, file_id, bytes):
1175
 
        """See MutableTree.put_file_bytes_non_atomic."""
1176
 
        stream = file(self.id2abspath(file_id), 'wb')
1177
 
        try:
1178
 
            stream.write(bytes)
1179
 
        finally:
1180
 
            stream.close()
1181
 
        # TODO: update the hashcache here ?
1182
678
 
1183
679
    def extras(self):
1184
680
        """Yield all unknown files in this WorkingTree.
1191
687
        """
1192
688
        ## TODO: Work from given directory downwards
1193
689
        for path, dir_entry in self.inventory.directories():
1194
 
            # mutter("search for unknowns in %r", path)
 
690
            mutter("search for unknowns in %r", path)
1195
691
            dirabs = self.abspath(path)
1196
692
            if not isdir(dirabs):
1197
693
                # e.g. directory deleted
1199
695
 
1200
696
            fl = []
1201
697
            for subf in os.listdir(dirabs):
1202
 
                if subf == '.bzr':
1203
 
                    continue
1204
 
                if subf not in dir_entry.children:
1205
 
                    subf_norm, can_access = osutils.normalized_filename(subf)
1206
 
                    if subf_norm != subf and can_access:
1207
 
                        if subf_norm not in dir_entry.children:
1208
 
                            fl.append(subf_norm)
1209
 
                    else:
1210
 
                        fl.append(subf)
 
698
                if (subf != '.bzr'
 
699
                    and (subf not in dir_entry.children)):
 
700
                    fl.append(subf)
1211
701
            
1212
702
            fl.sort()
1213
703
            for subf in fl:
1214
 
                subp = pathjoin(path, subf)
 
704
                subp = appendpath(path, subf)
1215
705
                yield subp
1216
706
 
1217
 
    def _translate_ignore_rule(self, rule):
1218
 
        """Translate a single ignore rule to a regex.
1219
 
 
1220
 
        There are two types of ignore rules.  Those that do not contain a / are
1221
 
        matched against the tail of the filename (that is, they do not care
1222
 
        what directory the file is in.)  Rules which do contain a slash must
1223
 
        match the entire path.  As a special case, './' at the start of the
1224
 
        string counts as a slash in the string but is removed before matching
1225
 
        (e.g. ./foo.c, ./src/foo.c)
1226
 
 
1227
 
        :return: The translated regex.
1228
 
        """
1229
 
        if rule[:2] in ('./', '.\\'):
1230
 
            # rootdir rule
1231
 
            result = fnmatch.translate(rule[2:])
1232
 
        elif '/' in rule or '\\' in rule:
1233
 
            # path prefix 
1234
 
            result = fnmatch.translate(rule)
1235
 
        else:
1236
 
            # default rule style.
1237
 
            result = "(?:.*/)?(?!.*/)" + fnmatch.translate(rule)
1238
 
        assert result[-1] == '$', "fnmatch.translate did not add the expected $"
1239
 
        return "(" + result + ")"
1240
 
 
1241
 
    def _combine_ignore_rules(self, rules):
1242
 
        """Combine a list of ignore rules into a single regex object.
1243
 
 
1244
 
        Each individual rule is combined with | to form a big regex, which then
1245
 
        has $ added to it to form something like ()|()|()$. The group index for
1246
 
        each subregex's outermost group is placed in a dictionary mapping back 
1247
 
        to the rule. This allows quick identification of the matching rule that
1248
 
        triggered a match.
1249
 
        :return: a list of the compiled regex and the matching-group index 
1250
 
        dictionaries. We return a list because python complains if you try to 
1251
 
        combine more than 100 regexes.
1252
 
        """
1253
 
        result = []
1254
 
        groups = {}
1255
 
        next_group = 0
1256
 
        translated_rules = []
1257
 
        for rule in rules:
1258
 
            translated_rule = self._translate_ignore_rule(rule)
1259
 
            compiled_rule = re.compile(translated_rule)
1260
 
            groups[next_group] = rule
1261
 
            next_group += compiled_rule.groups
1262
 
            translated_rules.append(translated_rule)
1263
 
            if next_group == 99:
1264
 
                result.append((re.compile("|".join(translated_rules)), groups))
1265
 
                groups = {}
1266
 
                next_group = 0
1267
 
                translated_rules = []
1268
 
        if len(translated_rules):
1269
 
            result.append((re.compile("|".join(translated_rules)), groups))
1270
 
        return result
1271
707
 
1272
708
    def ignored_files(self):
1273
709
        """Yield list of PATH, IGNORE_PATTERN"""
1274
710
        for subp in self.extras():
1275
711
            pat = self.is_ignored(subp)
1276
 
            if pat is not None:
 
712
            if pat != None:
1277
713
                yield subp, pat
1278
714
 
 
715
 
1279
716
    def get_ignore_list(self):
1280
717
        """Return list of ignore patterns.
1281
718
 
1282
719
        Cached in the Tree object after the first call.
1283
720
        """
1284
 
        ignoreset = getattr(self, '_ignoreset', None)
1285
 
        if ignoreset is not None:
1286
 
            return ignoreset
1287
 
 
1288
 
        ignore_globs = set(bzrlib.DEFAULT_IGNORE)
1289
 
        ignore_globs.update(ignores.get_runtime_ignores())
1290
 
 
1291
 
        ignore_globs.update(ignores.get_user_ignores())
1292
 
 
 
721
        if hasattr(self, '_ignorelist'):
 
722
            return self._ignorelist
 
723
 
 
724
        l = bzrlib.DEFAULT_IGNORE[:]
1293
725
        if self.has_filename(bzrlib.IGNORE_FILENAME):
1294
726
            f = self.get_file_byname(bzrlib.IGNORE_FILENAME)
1295
 
            try:
1296
 
                ignore_globs.update(ignores.parse_ignore_file(f))
1297
 
            finally:
1298
 
                f.close()
1299
 
 
1300
 
        self._ignoreset = ignore_globs
1301
 
        self._ignore_regex = self._combine_ignore_rules(ignore_globs)
1302
 
        return ignore_globs
1303
 
 
1304
 
    def _get_ignore_rules_as_regex(self):
1305
 
        """Return a regex of the ignore rules and a mapping dict.
1306
 
 
1307
 
        :return: (ignore rules compiled regex, dictionary mapping rule group 
1308
 
        indices to original rule.)
1309
 
        """
1310
 
        if getattr(self, '_ignoreset', None) is None:
1311
 
            self.get_ignore_list()
1312
 
        return self._ignore_regex
 
727
            l.extend([line.rstrip("\n\r") for line in f.readlines()])
 
728
        self._ignorelist = l
 
729
        return l
 
730
 
1313
731
 
1314
732
    def is_ignored(self, filename):
1315
733
        r"""Check whether the filename matches an ignore pattern.
1329
747
        # treat dotfiles correctly and allows * to match /.
1330
748
        # Eventually it should be replaced with something more
1331
749
        # accurate.
1332
 
    
1333
 
        rules = self._get_ignore_rules_as_regex()
1334
 
        for regex, mapping in rules:
1335
 
            match = regex.match(filename)
1336
 
            if match is not None:
1337
 
                # one or more of the groups in mapping will have a non-None
1338
 
                # group match.
1339
 
                groups = match.groups()
1340
 
                rules = [mapping[group] for group in 
1341
 
                    mapping if groups[group] is not None]
1342
 
                return rules[0]
1343
 
        return None
 
750
        
 
751
        for pat in self.get_ignore_list():
 
752
            if '/' in pat or '\\' in pat:
 
753
                
 
754
                # as a special case, you can put ./ at the start of a
 
755
                # pattern; this is good to match in the top-level
 
756
                # only;
 
757
                
 
758
                if (pat[:2] == './') or (pat[:2] == '.\\'):
 
759
                    newpat = pat[2:]
 
760
                else:
 
761
                    newpat = pat
 
762
                if fnmatch.fnmatchcase(filename, newpat):
 
763
                    return pat
 
764
            else:
 
765
                if fnmatch.fnmatchcase(splitpath(filename)[-1], pat):
 
766
                    return pat
 
767
        else:
 
768
            return None
1344
769
 
1345
770
    def kind(self, file_id):
1346
771
        return file_kind(self.id2abspath(file_id))
1347
772
 
1348
 
    def last_revision(self):
1349
 
        """Return the last revision of the branch for this tree.
1350
 
 
1351
 
        This format tree does not support a separate marker for last-revision
1352
 
        compared to the branch.
1353
 
 
1354
 
        See MutableTree.last_revision
1355
 
        """
1356
 
        return self._last_revision()
1357
 
 
1358
 
    @needs_read_lock
1359
 
    def _last_revision(self):
1360
 
        """helper for get_parent_ids."""
1361
 
        return self.branch.last_revision()
1362
 
 
1363
 
    def is_locked(self):
1364
 
        return self._control_files.is_locked()
1365
 
 
1366
773
    def lock_read(self):
1367
774
        """See Branch.lock_read, and WorkingTree.unlock."""
1368
 
        self.branch.lock_read()
1369
 
        try:
1370
 
            return self._control_files.lock_read()
1371
 
        except:
1372
 
            self.branch.unlock()
1373
 
            raise
1374
 
 
1375
 
    def lock_tree_write(self):
1376
 
        """See MutableTree.lock_tree_write, and WorkingTree.unlock."""
1377
 
        self.branch.lock_read()
1378
 
        try:
1379
 
            return self._control_files.lock_write()
1380
 
        except:
1381
 
            self.branch.unlock()
1382
 
            raise
 
775
        return self.branch.lock_read()
1383
776
 
1384
777
    def lock_write(self):
1385
 
        """See MutableTree.lock_write, and WorkingTree.unlock."""
1386
 
        self.branch.lock_write()
1387
 
        try:
1388
 
            return self._control_files.lock_write()
1389
 
        except:
1390
 
            self.branch.unlock()
1391
 
            raise
1392
 
 
1393
 
    def get_physical_lock_status(self):
1394
 
        return self._control_files.get_physical_lock_status()
1395
 
 
1396
 
    def _basis_inventory_name(self):
1397
 
        return 'basis-inventory-cache'
1398
 
 
1399
 
    @needs_tree_write_lock
1400
 
    def set_last_revision(self, new_revision):
1401
 
        """Change the last revision in the working tree."""
1402
 
        if self._change_last_revision(new_revision):
1403
 
            self._cache_basis_inventory(new_revision)
1404
 
 
1405
 
    def _change_last_revision(self, new_revision):
1406
 
        """Template method part of set_last_revision to perform the change.
1407
 
        
1408
 
        This is used to allow WorkingTree3 instances to not affect branch
1409
 
        when their last revision is set.
1410
 
        """
1411
 
        if new_revision is None:
1412
 
            self.branch.set_revision_history([])
1413
 
            return False
1414
 
        try:
1415
 
            self.branch.generate_revision_history(new_revision)
1416
 
        except errors.NoSuchRevision:
1417
 
            # not present in the repo - dont try to set it deeper than the tip
1418
 
            self.branch.set_revision_history([new_revision])
1419
 
        return True
1420
 
 
1421
 
    def _write_basis_inventory(self, xml):
1422
 
        """Write the basis inventory XML to the basis-inventory file"""
1423
 
        assert isinstance(xml, str), 'serialised xml must be bytestring.'
1424
 
        path = self._basis_inventory_name()
1425
 
        sio = StringIO(xml)
1426
 
        self._control_files.put(path, sio)
1427
 
 
1428
 
    def _create_basis_xml_from_inventory(self, revision_id, inventory):
1429
 
        """Create the text that will be saved in basis-inventory"""
1430
 
        inventory.revision_id = revision_id
1431
 
        return bzrlib.xml6.serializer_v6.write_inventory_to_string(inventory)
1432
 
 
1433
 
    def _cache_basis_inventory(self, new_revision):
1434
 
        """Cache new_revision as the basis inventory."""
1435
 
        # TODO: this should allow the ready-to-use inventory to be passed in,
1436
 
        # as commit already has that ready-to-use [while the format is the
1437
 
        # same, that is].
1438
 
        try:
1439
 
            # this double handles the inventory - unpack and repack - 
1440
 
            # but is easier to understand. We can/should put a conditional
1441
 
            # in here based on whether the inventory is in the latest format
1442
 
            # - perhaps we should repack all inventories on a repository
1443
 
            # upgrade ?
1444
 
            # the fast path is to copy the raw xml from the repository. If the
1445
 
            # xml contains 'revision_id="', then we assume the right 
1446
 
            # revision_id is set. We must check for this full string, because a
1447
 
            # root node id can legitimately look like 'revision_id' but cannot
1448
 
            # contain a '"'.
1449
 
            xml = self.branch.repository.get_inventory_xml(new_revision)
1450
 
            firstline = xml.split('\n', 1)[0]
1451
 
            if (not 'revision_id="' in firstline or 
1452
 
                'format="6"' not in firstline):
1453
 
                inv = self.branch.repository.deserialise_inventory(
1454
 
                    new_revision, xml)
1455
 
                xml = self._create_basis_xml_from_inventory(new_revision, inv)
1456
 
            self._write_basis_inventory(xml)
1457
 
        except (errors.NoSuchRevision, errors.RevisionNotPresent):
 
778
        """See Branch.lock_write, and WorkingTree.unlock."""
 
779
        return self.branch.lock_write()
 
780
 
 
781
    def _basis_inventory_name(self, revision_id):
 
782
        return 'basis-inventory.%s' % revision_id
 
783
 
 
784
    def set_last_revision(self, new_revision, old_revision=None):
 
785
        if old_revision:
 
786
            try:
 
787
                path = self._basis_inventory_name(old_revision)
 
788
                path = self.branch._rel_controlfilename(path)
 
789
                self.branch._transport.delete(path)
 
790
            except:
 
791
                pass
 
792
        try:
 
793
            xml = self.branch.get_inventory_xml(new_revision)
 
794
            path = self._basis_inventory_name(new_revision)
 
795
            self.branch.put_controlfile(path, xml)
 
796
        except WeaveRevisionNotPresent:
1458
797
            pass
1459
798
 
1460
 
    def read_basis_inventory(self):
 
799
    def read_basis_inventory(self, revision_id):
1461
800
        """Read the cached basis inventory."""
1462
 
        path = self._basis_inventory_name()
1463
 
        return self._control_files.get(path).read()
 
801
        path = self._basis_inventory_name(revision_id)
 
802
        return self.branch.controlfile(path, 'r').read()
1464
803
        
1465
804
    @needs_read_lock
1466
805
    def read_working_inventory(self):
1467
806
        """Read the working inventory."""
1468
807
        # ElementTree does its own conversion from UTF-8, so open in
1469
808
        # binary.
1470
 
        result = bzrlib.xml5.serializer_v5.read_inventory(
1471
 
            self._control_files.get('inventory'))
1472
 
        self._set_inventory(result)
1473
 
        return result
 
809
        f = self.branch.controlfile('inventory', 'rb')
 
810
        return bzrlib.xml5.serializer_v5.read_inventory(f)
1474
811
 
1475
 
    @needs_tree_write_lock
1476
 
    def remove(self, files, verbose=False, to_file=None):
 
812
    @needs_write_lock
 
813
    def remove(self, files, verbose=False):
1477
814
        """Remove nominated files from the working inventory..
1478
815
 
1479
816
        This does not remove their text.  This does not run on XXX on what? RBC
1501
838
                # TODO: Perhaps make this just a warning, and continue?
1502
839
                # This tends to happen when 
1503
840
                raise NotVersionedError(path=f)
 
841
            mutter("remove inventory entry %s {%s}", quotefn(f), fid)
1504
842
            if verbose:
1505
843
                # having remove it, it must be either ignored or unknown
1506
844
                if self.is_ignored(f):
1507
845
                    new_status = 'I'
1508
846
                else:
1509
847
                    new_status = '?'
1510
 
                show_status(new_status, inv[fid].kind, f, to_file=to_file)
 
848
                show_status(new_status, inv[fid].kind, quotefn(f))
1511
849
            del inv[fid]
1512
850
 
1513
851
        self._write_inventory(inv)
1514
852
 
1515
 
    @needs_tree_write_lock
1516
 
    def revert(self, filenames, old_tree=None, backups=True, 
1517
 
               pb=DummyProgress()):
1518
 
        from transform import revert
1519
 
        from conflicts import resolve
 
853
    @needs_write_lock
 
854
    def revert(self, filenames, old_tree=None, backups=True):
 
855
        from bzrlib.merge import merge_inner
1520
856
        if old_tree is None:
1521
 
            old_tree = self.basis_tree()
1522
 
        conflicts = revert(self, old_tree, filenames, backups, pb)
 
857
            old_tree = self.branch.basis_tree()
 
858
        merge_inner(self.branch, old_tree,
 
859
                    self, ignore_zero=True,
 
860
                    backup_files=backups, 
 
861
                    interesting_files=filenames)
1523
862
        if not len(filenames):
1524
 
            self.set_parent_ids(self.get_parent_ids()[:1])
1525
 
            resolve(self)
1526
 
        else:
1527
 
            resolve(self, filenames, ignore_misses=True)
1528
 
        return conflicts
 
863
            self.set_pending_merges([])
1529
864
 
1530
 
    # XXX: This method should be deprecated in favour of taking in a proper
1531
 
    # new Inventory object.
1532
 
    @needs_tree_write_lock
 
865
    @needs_write_lock
1533
866
    def set_inventory(self, new_inventory_list):
1534
867
        from bzrlib.inventory import (Inventory,
1535
868
                                      InventoryDirectory,
1552
885
                raise BzrError("unknown kind %r" % kind)
1553
886
        self._write_inventory(inv)
1554
887
 
1555
 
    @needs_tree_write_lock
 
888
    @needs_write_lock
1556
889
    def set_root_id(self, file_id):
1557
890
        """Set the root id for this tree."""
1558
891
        inv = self.read_working_inventory()
1562
895
        inv._byid[inv.root.file_id] = inv.root
1563
896
        for fid in inv:
1564
897
            entry = inv[fid]
1565
 
            if entry.parent_id == orig_root_id:
 
898
            if entry.parent_id in (None, orig_root_id):
1566
899
                entry.parent_id = inv.root.file_id
1567
900
        self._write_inventory(inv)
1568
901
 
1575
908
        between multiple working trees, i.e. via shared storage, then we 
1576
909
        would probably want to lock both the local tree, and the branch.
1577
910
        """
1578
 
        raise NotImplementedError(self.unlock)
 
911
        return self.branch.unlock()
1579
912
 
1580
913
    @needs_write_lock
1581
 
    def update(self):
1582
 
        """Update a working tree along its branch.
1583
 
 
1584
 
        This will update the branch if its bound too, which means we have multiple trees involved:
1585
 
        The new basis tree of the master.
1586
 
        The old basis tree of the branch.
1587
 
        The old basis tree of the working tree.
1588
 
        The current working tree state.
1589
 
        pathologically all three may be different, and non ancestors of each other.
1590
 
        Conceptually we want to:
1591
 
        Preserve the wt.basis->wt.state changes
1592
 
        Transform the wt.basis to the new master basis.
1593
 
        Apply a merge of the old branch basis to get any 'local' changes from it into the tree.
1594
 
        Restore the wt.basis->wt.state changes.
1595
 
 
1596
 
        There isn't a single operation at the moment to do that, so we:
1597
 
        Merge current state -> basis tree of the master w.r.t. the old tree basis.
1598
 
        Do a 'normal' merge of the old branch basis if it is relevant.
1599
 
        """
1600
 
        old_tip = self.branch.update()
1601
 
        # here if old_tip is not None, it is the old tip of the branch before
1602
 
        # it was updated from the master branch. This should become a pending
1603
 
        # merge in the working tree to preserve the user existing work.  we
1604
 
        # cant set that until we update the working trees last revision to be
1605
 
        # one from the new branch, because it will just get absorbed by the
1606
 
        # parent de-duplication logic.
1607
 
        # 
1608
 
        # We MUST save it even if an error occurs, because otherwise the users
1609
 
        # local work is unreferenced and will appear to have been lost.
1610
 
        # 
1611
 
        result = 0
1612
 
        try:
1613
 
            last_rev = self.get_parent_ids()[0]
1614
 
        except IndexError:
1615
 
            last_rev = None
1616
 
        if last_rev != self.branch.last_revision():
1617
 
            # merge tree state up to new branch tip.
1618
 
            basis = self.basis_tree()
1619
 
            to_tree = self.branch.basis_tree()
1620
 
            result += merge_inner(self.branch,
1621
 
                                  to_tree,
1622
 
                                  basis,
1623
 
                                  this_tree=self)
1624
 
            # TODO - dedup parents list with things merged by pull ?
1625
 
            # reuse the tree we've updated to to set the basis:
1626
 
            parent_trees = [(self.branch.last_revision(), to_tree)]
1627
 
            merges = self.get_parent_ids()[1:]
1628
 
            # Ideally we ask the tree for the trees here, that way the working
1629
 
            # tree can decide whether to give us teh entire tree or give us a
1630
 
            # lazy initialised tree. dirstate for instance will have the trees
1631
 
            # in ram already, whereas a last-revision + basis-inventory tree
1632
 
            # will not, but also does not need them when setting parents.
1633
 
            for parent in merges:
1634
 
                parent_trees.append(
1635
 
                    (parent, self.branch.repository.revision_tree(parent)))
1636
 
            if old_tip is not None:
1637
 
                parent_trees.append(
1638
 
                    (old_tip, self.branch.repository.revision_tree(old_tip)))
1639
 
            self.set_parent_trees(parent_trees)
1640
 
            last_rev = parent_trees[0][0]
1641
 
        else:
1642
 
            # the working tree had the same last-revision as the master
1643
 
            # branch did. We may still have pivot local work from the local
1644
 
            # branch into old_tip:
1645
 
            if old_tip is not None:
1646
 
                self.add_parent_tree_id(old_tip)
1647
 
        if old_tip and old_tip != last_rev:
1648
 
            # our last revision was not the prior branch last revision
1649
 
            # and we have converted that last revision to a pending merge.
1650
 
            # base is somewhere between the branch tip now
1651
 
            # and the now pending merge
1652
 
            from bzrlib.revision import common_ancestor
1653
 
            try:
1654
 
                base_rev_id = common_ancestor(self.branch.last_revision(),
1655
 
                                              old_tip,
1656
 
                                              self.branch.repository)
1657
 
            except errors.NoCommonAncestor:
1658
 
                base_rev_id = None
1659
 
            base_tree = self.branch.repository.revision_tree(base_rev_id)
1660
 
            other_tree = self.branch.repository.revision_tree(old_tip)
1661
 
            result += merge_inner(self.branch,
1662
 
                                  other_tree,
1663
 
                                  base_tree,
1664
 
                                  this_tree=self)
1665
 
        return result
1666
 
 
1667
 
    @needs_tree_write_lock
1668
914
    def _write_inventory(self, inv):
1669
915
        """Write inventory as the current inventory."""
 
916
        from cStringIO import StringIO
 
917
        from bzrlib.atomicfile import AtomicFile
1670
918
        sio = StringIO()
1671
919
        bzrlib.xml5.serializer_v5.write_inventory(inv, sio)
1672
920
        sio.seek(0)
1673
 
        self._control_files.put('inventory', sio)
 
921
        f = AtomicFile(self.branch.controlfilename('inventory'))
 
922
        try:
 
923
            pumpfile(sio, f)
 
924
            f.commit()
 
925
        finally:
 
926
            f.close()
1674
927
        self._set_inventory(inv)
1675
928
        mutter('wrote working inventory')
1676
 
 
1677
 
    def set_conflicts(self, arg):
1678
 
        raise UnsupportedOperation(self.set_conflicts, self)
1679
 
 
1680
 
    def add_conflicts(self, arg):
1681
 
        raise UnsupportedOperation(self.add_conflicts, self)
1682
 
 
1683
 
    @needs_read_lock
1684
 
    def conflicts(self):
1685
 
        conflicts = ConflictList()
1686
 
        for conflicted in self._iter_conflicts():
1687
 
            text = True
1688
 
            try:
1689
 
                if file_kind(self.abspath(conflicted)) != "file":
1690
 
                    text = False
1691
 
            except errors.NoSuchFile:
1692
 
                text = False
1693
 
            if text is True:
1694
 
                for suffix in ('.THIS', '.OTHER'):
1695
 
                    try:
1696
 
                        kind = file_kind(self.abspath(conflicted+suffix))
1697
 
                        if kind != "file":
1698
 
                            text = False
1699
 
                    except errors.NoSuchFile:
1700
 
                        text = False
1701
 
                    if text == False:
1702
 
                        break
1703
 
            ctype = {True: 'text conflict', False: 'contents conflict'}[text]
1704
 
            conflicts.append(Conflict.factory(ctype, path=conflicted,
1705
 
                             file_id=self.path2id(conflicted)))
1706
 
        return conflicts
1707
 
 
1708
 
 
1709
 
class WorkingTree2(WorkingTree):
1710
 
    """This is the Format 2 working tree.
1711
 
 
1712
 
    This was the first weave based working tree. 
1713
 
     - uses os locks for locking.
1714
 
     - uses the branch last-revision.
1715
 
    """
1716
 
 
1717
 
    def lock_tree_write(self):
1718
 
        """See WorkingTree.lock_tree_write().
1719
 
 
1720
 
        In Format2 WorkingTrees we have a single lock for the branch and tree
1721
 
        so lock_tree_write() degrades to lock_write().
1722
 
        """
1723
 
        self.branch.lock_write()
1724
 
        try:
1725
 
            return self._control_files.lock_write()
1726
 
        except:
1727
 
            self.branch.unlock()
1728
 
            raise
1729
 
 
1730
 
    def unlock(self):
1731
 
        # we share control files:
1732
 
        if self._hashcache.needs_write and self._control_files._lock_count==3:
1733
 
            self._hashcache.write()
1734
 
        # reverse order of locking.
1735
 
        try:
1736
 
            return self._control_files.unlock()
1737
 
        finally:
1738
 
            self.branch.unlock()
1739
 
 
1740
 
 
1741
 
class WorkingTree3(WorkingTree):
1742
 
    """This is the Format 3 working tree.
1743
 
 
1744
 
    This differs from the base WorkingTree by:
1745
 
     - having its own file lock
1746
 
     - having its own last-revision property.
1747
 
 
1748
 
    This is new in bzr 0.8
1749
 
    """
1750
 
 
1751
 
    @needs_read_lock
1752
 
    def _last_revision(self):
1753
 
        """See Mutable.last_revision."""
1754
 
        try:
1755
 
            return self._control_files.get_utf8('last-revision').read()
1756
 
        except NoSuchFile:
1757
 
            return None
1758
 
 
1759
 
    def _change_last_revision(self, revision_id):
1760
 
        """See WorkingTree._change_last_revision."""
1761
 
        if revision_id is None or revision_id == NULL_REVISION:
1762
 
            try:
1763
 
                self._control_files._transport.delete('last-revision')
1764
 
            except errors.NoSuchFile:
1765
 
                pass
1766
 
            return False
1767
 
        else:
1768
 
            self._control_files.put_utf8('last-revision', revision_id)
1769
 
            return True
1770
 
 
1771
 
    @needs_tree_write_lock
1772
 
    def set_conflicts(self, conflicts):
1773
 
        self._put_rio('conflicts', conflicts.to_stanzas(), 
1774
 
                      CONFLICT_HEADER_1)
1775
 
 
1776
 
    @needs_tree_write_lock
1777
 
    def add_conflicts(self, new_conflicts):
1778
 
        conflict_set = set(self.conflicts())
1779
 
        conflict_set.update(set(list(new_conflicts)))
1780
 
        self.set_conflicts(ConflictList(sorted(conflict_set,
1781
 
                                               key=Conflict.sort_key)))
1782
 
 
1783
 
    @needs_read_lock
1784
 
    def conflicts(self):
1785
 
        try:
1786
 
            confile = self._control_files.get('conflicts')
1787
 
        except NoSuchFile:
1788
 
            return ConflictList()
1789
 
        try:
1790
 
            if confile.next() != CONFLICT_HEADER_1 + '\n':
1791
 
                raise ConflictFormatError()
1792
 
        except StopIteration:
1793
 
            raise ConflictFormatError()
1794
 
        return ConflictList.from_stanzas(RioReader(confile))
1795
 
 
1796
 
    def unlock(self):
1797
 
        if self._hashcache.needs_write and self._control_files._lock_count==1:
1798
 
            self._hashcache.write()
1799
 
        # reverse order of locking.
1800
 
        try:
1801
 
            return self._control_files.unlock()
1802
 
        finally:
1803
 
            self.branch.unlock()
1804
 
 
1805
 
 
 
929
            
 
930
 
 
931
CONFLICT_SUFFIXES = ('.THIS', '.BASE', '.OTHER')
1806
932
def get_conflicted_stem(path):
1807
933
    for suffix in CONFLICT_SUFFIXES:
1808
934
        if path.endswith(suffix):
1809
935
            return path[:-len(suffix)]
1810
 
 
1811
 
@deprecated_function(zero_eight)
1812
 
def is_control_file(filename):
1813
 
    """See WorkingTree.is_control_filename(filename)."""
1814
 
    ## FIXME: better check
1815
 
    filename = normpath(filename)
1816
 
    while filename != '':
1817
 
        head, tail = os.path.split(filename)
1818
 
        ## mutter('check %r for control file' % ((head, tail),))
1819
 
        if tail == '.bzr':
1820
 
            return True
1821
 
        if filename == head:
1822
 
            break
1823
 
        filename = head
1824
 
    return False
1825
 
 
1826
 
 
1827
 
class WorkingTreeFormat(object):
1828
 
    """An encapsulation of the initialization and open routines for a format.
1829
 
 
1830
 
    Formats provide three things:
1831
 
     * An initialization routine,
1832
 
     * a format string,
1833
 
     * an open routine.
1834
 
 
1835
 
    Formats are placed in an dict by their format string for reference 
1836
 
    during workingtree opening. Its not required that these be instances, they
1837
 
    can be classes themselves with class methods - it simply depends on 
1838
 
    whether state is needed for a given format or not.
1839
 
 
1840
 
    Once a format is deprecated, just deprecate the initialize and open
1841
 
    methods on the format class. Do not deprecate the object, as the 
1842
 
    object will be created every time regardless.
1843
 
    """
1844
 
 
1845
 
    _default_format = None
1846
 
    """The default format used for new trees."""
1847
 
 
1848
 
    _formats = {}
1849
 
    """The known formats."""
1850
 
 
1851
 
    @classmethod
1852
 
    def find_format(klass, a_bzrdir):
1853
 
        """Return the format for the working tree object in a_bzrdir."""
1854
 
        try:
1855
 
            transport = a_bzrdir.get_workingtree_transport(None)
1856
 
            format_string = transport.get("format").read()
1857
 
            return klass._formats[format_string]
1858
 
        except NoSuchFile:
1859
 
            raise errors.NoWorkingTree(base=transport.base)
1860
 
        except KeyError:
1861
 
            raise errors.UnknownFormatError(format=format_string)
1862
 
 
1863
 
    @classmethod
1864
 
    def get_default_format(klass):
1865
 
        """Return the current default format."""
1866
 
        return klass._default_format
1867
 
 
1868
 
    def get_format_string(self):
1869
 
        """Return the ASCII format string that identifies this format."""
1870
 
        raise NotImplementedError(self.get_format_string)
1871
 
 
1872
 
    def get_format_description(self):
1873
 
        """Return the short description for this format."""
1874
 
        raise NotImplementedError(self.get_format_description)
1875
 
 
1876
 
    def is_supported(self):
1877
 
        """Is this format supported?
1878
 
 
1879
 
        Supported formats can be initialized and opened.
1880
 
        Unsupported formats may not support initialization or committing or 
1881
 
        some other features depending on the reason for not being supported.
1882
 
        """
1883
 
        return True
1884
 
 
1885
 
    @classmethod
1886
 
    def register_format(klass, format):
1887
 
        klass._formats[format.get_format_string()] = format
1888
 
 
1889
 
    @classmethod
1890
 
    def set_default_format(klass, format):
1891
 
        klass._default_format = format
1892
 
 
1893
 
    @classmethod
1894
 
    def unregister_format(klass, format):
1895
 
        assert klass._formats[format.get_format_string()] is format
1896
 
        del klass._formats[format.get_format_string()]
1897
 
 
1898
 
 
1899
 
 
1900
 
class WorkingTreeFormat2(WorkingTreeFormat):
1901
 
    """The second working tree format. 
1902
 
 
1903
 
    This format modified the hash cache from the format 1 hash cache.
1904
 
    """
1905
 
 
1906
 
    def get_format_description(self):
1907
 
        """See WorkingTreeFormat.get_format_description()."""
1908
 
        return "Working tree format 2"
1909
 
 
1910
 
    def stub_initialize_remote(self, control_files):
1911
 
        """As a special workaround create critical control files for a remote working tree
1912
 
        
1913
 
        This ensures that it can later be updated and dealt with locally,
1914
 
        since BzrDirFormat6 and BzrDirFormat5 cannot represent dirs with 
1915
 
        no working tree.  (See bug #43064).
1916
 
        """
1917
 
        sio = StringIO()
1918
 
        inv = Inventory()
1919
 
        bzrlib.xml5.serializer_v5.write_inventory(inv, sio)
1920
 
        sio.seek(0)
1921
 
        control_files.put('inventory', sio)
1922
 
 
1923
 
        control_files.put_utf8('pending-merges', '')
1924
 
        
1925
 
 
1926
 
    def initialize(self, a_bzrdir, revision_id=None):
1927
 
        """See WorkingTreeFormat.initialize()."""
1928
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
1929
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
1930
 
        branch = a_bzrdir.open_branch()
1931
 
        if revision_id is not None:
1932
 
            branch.lock_write()
1933
 
            try:
1934
 
                revision_history = branch.revision_history()
1935
 
                try:
1936
 
                    position = revision_history.index(revision_id)
1937
 
                except ValueError:
1938
 
                    raise errors.NoSuchRevision(branch, revision_id)
1939
 
                branch.set_revision_history(revision_history[:position + 1])
1940
 
            finally:
1941
 
                branch.unlock()
1942
 
        revision = branch.last_revision()
1943
 
        inv = Inventory()
1944
 
        wt = WorkingTree2(a_bzrdir.root_transport.local_abspath('.'),
1945
 
                         branch,
1946
 
                         inv,
1947
 
                         _internal=True,
1948
 
                         _format=self,
1949
 
                         _bzrdir=a_bzrdir)
1950
 
        wt._write_inventory(inv)
1951
 
        wt.set_root_id(inv.root.file_id)
1952
 
        basis_tree = branch.repository.revision_tree(revision)
1953
 
        wt.set_parent_trees([(revision, basis_tree)])
1954
 
        build_tree(basis_tree, wt)
1955
 
        return wt
1956
 
 
1957
 
    def __init__(self):
1958
 
        super(WorkingTreeFormat2, self).__init__()
1959
 
        self._matchingbzrdir = bzrdir.BzrDirFormat6()
1960
 
 
1961
 
    def open(self, a_bzrdir, _found=False):
1962
 
        """Return the WorkingTree object for a_bzrdir
1963
 
 
1964
 
        _found is a private parameter, do not use it. It is used to indicate
1965
 
               if format probing has already been done.
1966
 
        """
1967
 
        if not _found:
1968
 
            # we are being called directly and must probe.
1969
 
            raise NotImplementedError
1970
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
1971
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
1972
 
        return WorkingTree2(a_bzrdir.root_transport.local_abspath('.'),
1973
 
                           _internal=True,
1974
 
                           _format=self,
1975
 
                           _bzrdir=a_bzrdir)
1976
 
 
1977
 
 
1978
 
class WorkingTreeFormat3(WorkingTreeFormat):
1979
 
    """The second working tree format updated to record a format marker.
1980
 
 
1981
 
    This format:
1982
 
        - exists within a metadir controlling .bzr
1983
 
        - includes an explicit version marker for the workingtree control
1984
 
          files, separate from the BzrDir format
1985
 
        - modifies the hash cache format
1986
 
        - is new in bzr 0.8
1987
 
        - uses a LockDir to guard access for writes.
1988
 
    """
1989
 
 
1990
 
    def get_format_string(self):
1991
 
        """See WorkingTreeFormat.get_format_string()."""
1992
 
        return "Bazaar-NG Working Tree format 3"
1993
 
 
1994
 
    def get_format_description(self):
1995
 
        """See WorkingTreeFormat.get_format_description()."""
1996
 
        return "Working tree format 3"
1997
 
 
1998
 
    _lock_file_name = 'lock'
1999
 
    _lock_class = LockDir
2000
 
 
2001
 
    def _open_control_files(self, a_bzrdir):
2002
 
        transport = a_bzrdir.get_workingtree_transport(None)
2003
 
        return LockableFiles(transport, self._lock_file_name, 
2004
 
                             self._lock_class)
2005
 
 
2006
 
    def initialize(self, a_bzrdir, revision_id=None):
2007
 
        """See WorkingTreeFormat.initialize().
2008
 
        
2009
 
        revision_id allows creating a working tree at a different
2010
 
        revision than the branch is at.
2011
 
        """
2012
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
2013
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
2014
 
        transport = a_bzrdir.get_workingtree_transport(self)
2015
 
        control_files = self._open_control_files(a_bzrdir)
2016
 
        control_files.create_lock()
2017
 
        control_files.lock_write()
2018
 
        control_files.put_utf8('format', self.get_format_string())
2019
 
        branch = a_bzrdir.open_branch()
2020
 
        if revision_id is None:
2021
 
            revision_id = branch.last_revision()
2022
 
        inv = Inventory() 
2023
 
        wt = WorkingTree3(a_bzrdir.root_transport.local_abspath('.'),
2024
 
                         branch,
2025
 
                         inv,
2026
 
                         _internal=True,
2027
 
                         _format=self,
2028
 
                         _bzrdir=a_bzrdir,
2029
 
                         _control_files=control_files)
2030
 
        wt.lock_tree_write()
2031
 
        try:
2032
 
            wt._write_inventory(inv)
2033
 
            wt.set_root_id(inv.root.file_id)
2034
 
            basis_tree = branch.repository.revision_tree(revision_id)
2035
 
            if revision_id == bzrlib.revision.NULL_REVISION:
2036
 
                wt.set_parent_trees([])
2037
 
            else:
2038
 
                wt.set_parent_trees([(revision_id, basis_tree)])
2039
 
            build_tree(basis_tree, wt)
2040
 
        finally:
2041
 
            wt.unlock()
2042
 
            control_files.unlock()
2043
 
        return wt
2044
 
 
2045
 
    def __init__(self):
2046
 
        super(WorkingTreeFormat3, self).__init__()
2047
 
        self._matchingbzrdir = bzrdir.BzrDirMetaFormat1()
2048
 
 
2049
 
    def open(self, a_bzrdir, _found=False):
2050
 
        """Return the WorkingTree object for a_bzrdir
2051
 
 
2052
 
        _found is a private parameter, do not use it. It is used to indicate
2053
 
               if format probing has already been done.
2054
 
        """
2055
 
        if not _found:
2056
 
            # we are being called directly and must probe.
2057
 
            raise NotImplementedError
2058
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
2059
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
2060
 
        return self._open(a_bzrdir, self._open_control_files(a_bzrdir))
2061
 
 
2062
 
    def _open(self, a_bzrdir, control_files):
2063
 
        """Open the tree itself.
2064
 
        
2065
 
        :param a_bzrdir: the dir for the tree.
2066
 
        :param control_files: the control files for the tree.
2067
 
        """
2068
 
        return WorkingTree3(a_bzrdir.root_transport.local_abspath('.'),
2069
 
                           _internal=True,
2070
 
                           _format=self,
2071
 
                           _bzrdir=a_bzrdir,
2072
 
                           _control_files=control_files)
2073
 
 
2074
 
    def __str__(self):
2075
 
        return self.get_format_string()
2076
 
 
2077
 
 
2078
 
# formats which have no format string are not discoverable
2079
 
# and not independently creatable, so are not registered.
2080
 
__default_format = WorkingTreeFormat3()
2081
 
WorkingTreeFormat.register_format(__default_format)
2082
 
WorkingTreeFormat.set_default_format(__default_format)
2083
 
_legacy_formats = [WorkingTreeFormat2(),
2084
 
                   ]
2085
 
 
2086
 
 
2087
 
class WorkingTreeTestProviderAdapter(object):
2088
 
    """A tool to generate a suite testing multiple workingtree formats at once.
2089
 
 
2090
 
    This is done by copying the test once for each transport and injecting
2091
 
    the transport_server, transport_readonly_server, and workingtree_format
2092
 
    classes into each copy. Each copy is also given a new id() to make it
2093
 
    easy to identify.
2094
 
    """
2095
 
 
2096
 
    def __init__(self, transport_server, transport_readonly_server, formats):
2097
 
        self._transport_server = transport_server
2098
 
        self._transport_readonly_server = transport_readonly_server
2099
 
        self._formats = formats
2100
 
    
2101
 
    def _clone_test(self, test, bzrdir_format, workingtree_format, variation):
2102
 
        """Clone test for adaption."""
2103
 
        new_test = deepcopy(test)
2104
 
        new_test.transport_server = self._transport_server
2105
 
        new_test.transport_readonly_server = self._transport_readonly_server
2106
 
        new_test.bzrdir_format = bzrdir_format
2107
 
        new_test.workingtree_format = workingtree_format
2108
 
        def make_new_test_id():
2109
 
            new_id = "%s(%s)" % (test.id(), variation)
2110
 
            return lambda: new_id
2111
 
        new_test.id = make_new_test_id()
2112
 
        return new_test
2113
 
    
2114
 
    def adapt(self, test):
2115
 
        from bzrlib.tests import TestSuite
2116
 
        result = TestSuite()
2117
 
        for workingtree_format, bzrdir_format in self._formats:
2118
 
            new_test = self._clone_test(
2119
 
                test,
2120
 
                bzrdir_format,
2121
 
                workingtree_format, workingtree_format.__class__.__name__)
2122
 
            result.addTest(new_test)
2123
 
        return result