~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/workingtree_4.py

  • Committer: Patch Queue Manager
  • Date: 2015-12-17 18:39:00 UTC
  • mfrom: (6606.1.2 fix-float)
  • Revision ID: pqm@pqm.ubuntu.com-20151217183900-0719du2uv1kwu3lc
(vila) Inline testtools private method to fix an issue in xenial (the
 private implementation has changed in an backward incompatible way).
 (Jelmer Vernooij)

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2007-2012 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
"""WorkingTree4 format and implementation.
 
18
 
 
19
WorkingTree4 provides the dirstate based working tree logic.
 
20
 
 
21
To get a WorkingTree, call bzrdir.open_workingtree() or
 
22
WorkingTree.open(dir).
 
23
"""
 
24
 
 
25
from __future__ import absolute_import
 
26
 
 
27
from cStringIO import StringIO
 
28
import os
 
29
import sys
 
30
 
 
31
from bzrlib.lazy_import import lazy_import
 
32
lazy_import(globals(), """
 
33
import errno
 
34
import stat
 
35
 
 
36
from bzrlib import (
 
37
    bzrdir,
 
38
    cache_utf8,
 
39
    config,
 
40
    conflicts as _mod_conflicts,
 
41
    controldir,
 
42
    debug,
 
43
    dirstate,
 
44
    errors,
 
45
    filters as _mod_filters,
 
46
    generate_ids,
 
47
    osutils,
 
48
    revision as _mod_revision,
 
49
    revisiontree,
 
50
    trace,
 
51
    transform,
 
52
    views,
 
53
    )
 
54
""")
 
55
 
 
56
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
57
from bzrlib.inventory import Inventory, ROOT_ID, entry_factory
 
58
from bzrlib.lock import LogicalLockResult
 
59
from bzrlib.lockable_files import LockableFiles
 
60
from bzrlib.lockdir import LockDir
 
61
from bzrlib.mutabletree import (
 
62
    MutableTree,
 
63
    needs_tree_write_lock,
 
64
    )
 
65
from bzrlib.osutils import (
 
66
    file_kind,
 
67
    isdir,
 
68
    pathjoin,
 
69
    realpath,
 
70
    safe_unicode,
 
71
    )
 
72
from bzrlib.symbol_versioning import (
 
73
    deprecated_in,
 
74
    deprecated_method,
 
75
    )
 
76
from bzrlib.transport.local import LocalTransport
 
77
from bzrlib.tree import (
 
78
    InterTree,
 
79
    InventoryTree,
 
80
    )
 
81
from bzrlib.workingtree import (
 
82
    InventoryWorkingTree,
 
83
    WorkingTree,
 
84
    WorkingTreeFormatMetaDir,
 
85
    )
 
86
 
 
87
 
 
88
class DirStateWorkingTree(InventoryWorkingTree):
 
89
 
 
90
    def __init__(self, basedir,
 
91
                 branch,
 
92
                 _control_files=None,
 
93
                 _format=None,
 
94
                 _bzrdir=None):
 
95
        """Construct a WorkingTree for basedir.
 
96
 
 
97
        If the branch is not supplied, it is opened automatically.
 
98
        If the branch is supplied, it must be the branch for this basedir.
 
99
        (branch.base is not cross checked, because for remote branches that
 
100
        would be meaningless).
 
101
        """
 
102
        self._format = _format
 
103
        self.bzrdir = _bzrdir
 
104
        basedir = safe_unicode(basedir)
 
105
        trace.mutter("opening working tree %r", basedir)
 
106
        self._branch = branch
 
107
        self.basedir = realpath(basedir)
 
108
        # if branch is at our basedir and is a format 6 or less
 
109
        # assume all other formats have their own control files.
 
110
        self._control_files = _control_files
 
111
        self._transport = self._control_files._transport
 
112
        self._dirty = None
 
113
        #-------------
 
114
        # during a read or write lock these objects are set, and are
 
115
        # None the rest of the time.
 
116
        self._dirstate = None
 
117
        self._inventory = None
 
118
        #-------------
 
119
        self._setup_directory_is_tree_reference()
 
120
        self._detect_case_handling()
 
121
        self._rules_searcher = None
 
122
        self.views = self._make_views()
 
123
        #--- allow tests to select the dirstate iter_changes implementation
 
124
        self._iter_changes = dirstate._process_entry
 
125
 
 
126
    @needs_tree_write_lock
 
127
    def _add(self, files, ids, kinds):
 
128
        """See MutableTree._add."""
 
129
        state = self.current_dirstate()
 
130
        for f, file_id, kind in zip(files, ids, kinds):
 
131
            f = f.strip('/')
 
132
            if self.path2id(f):
 
133
                # special case tree root handling.
 
134
                if f == '' and self.path2id(f) == ROOT_ID:
 
135
                    state.set_path_id('', generate_ids.gen_file_id(f))
 
136
                continue
 
137
            if file_id is None:
 
138
                file_id = generate_ids.gen_file_id(f)
 
139
            # deliberately add the file with no cached stat or sha1
 
140
            # - on the first access it will be gathered, and we can
 
141
            # always change this once tests are all passing.
 
142
            state.add(f, file_id, kind, None, '')
 
143
        self._make_dirty(reset_inventory=True)
 
144
 
 
145
    def _get_check_refs(self):
 
146
        """Return the references needed to perform a check of this tree."""
 
147
        return [('trees', self.last_revision())]
 
148
 
 
149
    def _make_dirty(self, reset_inventory):
 
150
        """Make the tree state dirty.
 
151
 
 
152
        :param reset_inventory: True if the cached inventory should be removed
 
153
            (presuming there is one).
 
154
        """
 
155
        self._dirty = True
 
156
        if reset_inventory and self._inventory is not None:
 
157
            self._inventory = None
 
158
 
 
159
    @needs_tree_write_lock
 
160
    def add_reference(self, sub_tree):
 
161
        # use standard implementation, which calls back to self._add
 
162
        #
 
163
        # So we don't store the reference_revision in the working dirstate,
 
164
        # it's just recorded at the moment of commit.
 
165
        self._add_reference(sub_tree)
 
166
 
 
167
    def break_lock(self):
 
168
        """Break a lock if one is present from another instance.
 
169
 
 
170
        Uses the ui factory to ask for confirmation if the lock may be from
 
171
        an active process.
 
172
 
 
173
        This will probe the repository for its lock as well.
 
174
        """
 
175
        # if the dirstate is locked by an active process, reject the break lock
 
176
        # call.
 
177
        try:
 
178
            if self._dirstate is None:
 
179
                clear = True
 
180
            else:
 
181
                clear = False
 
182
            state = self._current_dirstate()
 
183
            if state._lock_token is not None:
 
184
                # we already have it locked. sheese, cant break our own lock.
 
185
                raise errors.LockActive(self.basedir)
 
186
            else:
 
187
                try:
 
188
                    # try for a write lock - need permission to get one anyhow
 
189
                    # to break locks.
 
190
                    state.lock_write()
 
191
                except errors.LockContention:
 
192
                    # oslocks fail when a process is still live: fail.
 
193
                    # TODO: get the locked lockdir info and give to the user to
 
194
                    # assist in debugging.
 
195
                    raise errors.LockActive(self.basedir)
 
196
                else:
 
197
                    state.unlock()
 
198
        finally:
 
199
            if clear:
 
200
                self._dirstate = None
 
201
        self._control_files.break_lock()
 
202
        self.branch.break_lock()
 
203
 
 
204
    def _comparison_data(self, entry, path):
 
205
        kind, executable, stat_value = \
 
206
            WorkingTree._comparison_data(self, entry, path)
 
207
        # it looks like a plain directory, but it's really a reference -- see
 
208
        # also kind()
 
209
        if (self._repo_supports_tree_reference and kind == 'directory'
 
210
            and entry is not None and entry.kind == 'tree-reference'):
 
211
            kind = 'tree-reference'
 
212
        return kind, executable, stat_value
 
213
 
 
214
    @needs_write_lock
 
215
    def commit(self, message=None, revprops=None, *args, **kwargs):
 
216
        # mark the tree as dirty post commit - commit
 
217
        # can change the current versioned list by doing deletes.
 
218
        result = WorkingTree.commit(self, message, revprops, *args, **kwargs)
 
219
        self._make_dirty(reset_inventory=True)
 
220
        return result
 
221
 
 
222
    def current_dirstate(self):
 
223
        """Return the current dirstate object.
 
224
 
 
225
        This is not part of the tree interface and only exposed for ease of
 
226
        testing.
 
227
 
 
228
        :raises errors.NotWriteLocked: when not in a lock.
 
229
        """
 
230
        self._must_be_locked()
 
231
        return self._current_dirstate()
 
232
 
 
233
    def _current_dirstate(self):
 
234
        """Internal function that does not check lock status.
 
235
 
 
236
        This is needed for break_lock which also needs the dirstate.
 
237
        """
 
238
        if self._dirstate is not None:
 
239
            return self._dirstate
 
240
        local_path = self.bzrdir.get_workingtree_transport(None
 
241
            ).local_abspath('dirstate')
 
242
        self._dirstate = dirstate.DirState.on_file(local_path,
 
243
            self._sha1_provider(), self._worth_saving_limit())
 
244
        return self._dirstate
 
245
 
 
246
    def _sha1_provider(self):
 
247
        """A function that returns a SHA1Provider suitable for this tree.
 
248
 
 
249
        :return: None if content filtering is not supported by this tree.
 
250
          Otherwise, a SHA1Provider is returned that sha's the canonical
 
251
          form of files, i.e. after read filters are applied.
 
252
        """
 
253
        if self.supports_content_filtering():
 
254
            return ContentFilterAwareSHA1Provider(self)
 
255
        else:
 
256
            return None
 
257
 
 
258
    def _worth_saving_limit(self):
 
259
        """How many hash changes are ok before we must save the dirstate.
 
260
 
 
261
        :return: an integer. -1 means never save.
 
262
        """
 
263
        conf = self.get_config_stack()
 
264
        return conf.get('bzr.workingtree.worth_saving_limit')
 
265
 
 
266
    def filter_unversioned_files(self, paths):
 
267
        """Filter out paths that are versioned.
 
268
 
 
269
        :return: set of paths.
 
270
        """
 
271
        # TODO: make a generic multi-bisect routine roughly that should list
 
272
        # the paths, then process one half at a time recursively, and feed the
 
273
        # results of each bisect in further still
 
274
        paths = sorted(paths)
 
275
        result = set()
 
276
        state = self.current_dirstate()
 
277
        # TODO we want a paths_to_dirblocks helper I think
 
278
        for path in paths:
 
279
            dirname, basename = os.path.split(path.encode('utf8'))
 
280
            _, _, _, path_is_versioned = state._get_block_entry_index(
 
281
                dirname, basename, 0)
 
282
            if not path_is_versioned:
 
283
                result.add(path)
 
284
        return result
 
285
 
 
286
    def flush(self):
 
287
        """Write all cached data to disk."""
 
288
        if self._control_files._lock_mode != 'w':
 
289
            raise errors.NotWriteLocked(self)
 
290
        self.current_dirstate().save()
 
291
        self._inventory = None
 
292
        self._dirty = False
 
293
 
 
294
    @needs_tree_write_lock
 
295
    def _gather_kinds(self, files, kinds):
 
296
        """See MutableTree._gather_kinds."""
 
297
        for pos, f in enumerate(files):
 
298
            if kinds[pos] is None:
 
299
                kinds[pos] = self._kind(f)
 
300
 
 
301
    def _generate_inventory(self):
 
302
        """Create and set self.inventory from the dirstate object.
 
303
 
 
304
        This is relatively expensive: we have to walk the entire dirstate.
 
305
        Ideally we would not, and can deprecate this function.
 
306
        """
 
307
        #: uncomment to trap on inventory requests.
 
308
        # import pdb;pdb.set_trace()
 
309
        state = self.current_dirstate()
 
310
        state._read_dirblocks_if_needed()
 
311
        root_key, current_entry = self._get_entry(path='')
 
312
        current_id = root_key[2]
 
313
        if not (current_entry[0][0] == 'd'): # directory
 
314
            raise AssertionError(current_entry)
 
315
        inv = Inventory(root_id=current_id)
 
316
        # Turn some things into local variables
 
317
        minikind_to_kind = dirstate.DirState._minikind_to_kind
 
318
        factory = entry_factory
 
319
        utf8_decode = cache_utf8._utf8_decode
 
320
        inv_byid = inv._byid
 
321
        # we could do this straight out of the dirstate; it might be fast
 
322
        # and should be profiled - RBC 20070216
 
323
        parent_ies = {'' : inv.root}
 
324
        for block in state._dirblocks[1:]: # skip the root
 
325
            dirname = block[0]
 
326
            try:
 
327
                parent_ie = parent_ies[dirname]
 
328
            except KeyError:
 
329
                # all the paths in this block are not versioned in this tree
 
330
                continue
 
331
            for key, entry in block[1]:
 
332
                minikind, link_or_sha1, size, executable, stat = entry[0]
 
333
                if minikind in ('a', 'r'): # absent, relocated
 
334
                    # a parent tree only entry
 
335
                    continue
 
336
                name = key[1]
 
337
                name_unicode = utf8_decode(name)[0]
 
338
                file_id = key[2]
 
339
                kind = minikind_to_kind[minikind]
 
340
                inv_entry = factory[kind](file_id, name_unicode,
 
341
                                          parent_ie.file_id)
 
342
                if kind == 'file':
 
343
                    # This is only needed on win32, where this is the only way
 
344
                    # we know the executable bit.
 
345
                    inv_entry.executable = executable
 
346
                    # not strictly needed: working tree
 
347
                    #inv_entry.text_size = size
 
348
                    #inv_entry.text_sha1 = sha1
 
349
                elif kind == 'directory':
 
350
                    # add this entry to the parent map.
 
351
                    parent_ies[(dirname + '/' + name).strip('/')] = inv_entry
 
352
                elif kind == 'tree-reference':
 
353
                    if not self._repo_supports_tree_reference:
 
354
                        raise errors.UnsupportedOperation(
 
355
                            self._generate_inventory,
 
356
                            self.branch.repository)
 
357
                    inv_entry.reference_revision = link_or_sha1 or None
 
358
                elif kind != 'symlink':
 
359
                    raise AssertionError("unknown kind %r" % kind)
 
360
                # These checks cost us around 40ms on a 55k entry tree
 
361
                if file_id in inv_byid:
 
362
                    raise AssertionError('file_id %s already in'
 
363
                        ' inventory as %s' % (file_id, inv_byid[file_id]))
 
364
                if name_unicode in parent_ie.children:
 
365
                    raise AssertionError('name %r already in parent'
 
366
                        % (name_unicode,))
 
367
                inv_byid[file_id] = inv_entry
 
368
                parent_ie.children[name_unicode] = inv_entry
 
369
        self._inventory = inv
 
370
 
 
371
    def _get_entry(self, file_id=None, path=None):
 
372
        """Get the dirstate row for file_id or path.
 
373
 
 
374
        If either file_id or path is supplied, it is used as the key to lookup.
 
375
        If both are supplied, the fastest lookup is used, and an error is
 
376
        raised if they do not both point at the same row.
 
377
 
 
378
        :param file_id: An optional unicode file_id to be looked up.
 
379
        :param path: An optional unicode path to be looked up.
 
380
        :return: The dirstate row tuple for path/file_id, or (None, None)
 
381
        """
 
382
        if file_id is None and path is None:
 
383
            raise errors.BzrError('must supply file_id or path')
 
384
        state = self.current_dirstate()
 
385
        if path is not None:
 
386
            path = path.encode('utf8')
 
387
        return state._get_entry(0, fileid_utf8=file_id, path_utf8=path)
 
388
 
 
389
    def get_file_sha1(self, file_id, path=None, stat_value=None):
 
390
        # check file id is valid unconditionally.
 
391
        entry = self._get_entry(file_id=file_id, path=path)
 
392
        if entry[0] is None:
 
393
            raise errors.NoSuchId(self, file_id)
 
394
        if path is None:
 
395
            path = pathjoin(entry[0][0], entry[0][1]).decode('utf8')
 
396
 
 
397
        file_abspath = self.abspath(path)
 
398
        state = self.current_dirstate()
 
399
        if stat_value is None:
 
400
            try:
 
401
                stat_value = osutils.lstat(file_abspath)
 
402
            except OSError, e:
 
403
                if e.errno == errno.ENOENT:
 
404
                    return None
 
405
                else:
 
406
                    raise
 
407
        link_or_sha1 = dirstate.update_entry(state, entry, file_abspath,
 
408
            stat_value=stat_value)
 
409
        if entry[1][0][0] == 'f':
 
410
            if link_or_sha1 is None:
 
411
                file_obj, statvalue = self.get_file_with_stat(file_id, path)
 
412
                try:
 
413
                    sha1 = osutils.sha_file(file_obj)
 
414
                finally:
 
415
                    file_obj.close()
 
416
                self._observed_sha1(file_id, path, (sha1, statvalue))
 
417
                return sha1
 
418
            else:
 
419
                return link_or_sha1
 
420
        return None
 
421
 
 
422
    def _get_root_inventory(self):
 
423
        """Get the inventory for the tree. This is only valid within a lock."""
 
424
        if 'evil' in debug.debug_flags:
 
425
            trace.mutter_callsite(2,
 
426
                "accessing .inventory forces a size of tree translation.")
 
427
        if self._inventory is not None:
 
428
            return self._inventory
 
429
        self._must_be_locked()
 
430
        self._generate_inventory()
 
431
        return self._inventory
 
432
 
 
433
    @deprecated_method(deprecated_in((2, 5, 0)))
 
434
    def _get_inventory(self):
 
435
        return self.root_inventory
 
436
 
 
437
    inventory = property(_get_inventory,
 
438
                         doc="Inventory of this Tree")
 
439
 
 
440
    root_inventory = property(_get_root_inventory,
 
441
        "Root inventory of this tree")
 
442
 
 
443
    @needs_read_lock
 
444
    def get_parent_ids(self):
 
445
        """See Tree.get_parent_ids.
 
446
 
 
447
        This implementation requests the ids list from the dirstate file.
 
448
        """
 
449
        return self.current_dirstate().get_parent_ids()
 
450
 
 
451
    def get_reference_revision(self, file_id, path=None):
 
452
        # referenced tree's revision is whatever's currently there
 
453
        return self.get_nested_tree(file_id, path).last_revision()
 
454
 
 
455
    def get_nested_tree(self, file_id, path=None):
 
456
        if path is None:
 
457
            path = self.id2path(file_id)
 
458
        # else: check file_id is at path?
 
459
        return WorkingTree.open(self.abspath(path))
 
460
 
 
461
    @needs_read_lock
 
462
    def get_root_id(self):
 
463
        """Return the id of this trees root"""
 
464
        return self._get_entry(path='')[0][2]
 
465
 
 
466
    def has_id(self, file_id):
 
467
        state = self.current_dirstate()
 
468
        row, parents = self._get_entry(file_id=file_id)
 
469
        if row is None:
 
470
            return False
 
471
        return osutils.lexists(pathjoin(
 
472
                    self.basedir, row[0].decode('utf8'), row[1].decode('utf8')))
 
473
 
 
474
    def has_or_had_id(self, file_id):
 
475
        state = self.current_dirstate()
 
476
        row, parents = self._get_entry(file_id=file_id)
 
477
        return row is not None
 
478
 
 
479
    @needs_read_lock
 
480
    def id2path(self, file_id):
 
481
        "Convert a file-id to a path."
 
482
        state = self.current_dirstate()
 
483
        entry = self._get_entry(file_id=file_id)
 
484
        if entry == (None, None):
 
485
            raise errors.NoSuchId(tree=self, file_id=file_id)
 
486
        path_utf8 = osutils.pathjoin(entry[0][0], entry[0][1])
 
487
        return path_utf8.decode('utf8')
 
488
 
 
489
    def _is_executable_from_path_and_stat_from_basis(self, path, stat_result):
 
490
        entry = self._get_entry(path=path)
 
491
        if entry == (None, None):
 
492
            return False # Missing entries are not executable
 
493
        return entry[1][0][3] # Executable?
 
494
 
 
495
    def is_executable(self, file_id, path=None):
 
496
        """Test if a file is executable or not.
 
497
 
 
498
        Note: The caller is expected to take a read-lock before calling this.
 
499
        """
 
500
        if not self._supports_executable():
 
501
            entry = self._get_entry(file_id=file_id, path=path)
 
502
            if entry == (None, None):
 
503
                return False
 
504
            return entry[1][0][3]
 
505
        else:
 
506
            self._must_be_locked()
 
507
            if not path:
 
508
                path = self.id2path(file_id)
 
509
            mode = osutils.lstat(self.abspath(path)).st_mode
 
510
            return bool(stat.S_ISREG(mode) and stat.S_IEXEC & mode)
 
511
 
 
512
    def all_file_ids(self):
 
513
        """See Tree.iter_all_file_ids"""
 
514
        self._must_be_locked()
 
515
        result = set()
 
516
        for key, tree_details in self.current_dirstate()._iter_entries():
 
517
            if tree_details[0][0] in ('a', 'r'): # relocated
 
518
                continue
 
519
            result.add(key[2])
 
520
        return result
 
521
 
 
522
    @needs_read_lock
 
523
    def __iter__(self):
 
524
        """Iterate through file_ids for this tree.
 
525
 
 
526
        file_ids are in a WorkingTree if they are in the working inventory
 
527
        and the working file exists.
 
528
        """
 
529
        result = []
 
530
        for key, tree_details in self.current_dirstate()._iter_entries():
 
531
            if tree_details[0][0] in ('a', 'r'): # absent, relocated
 
532
                # not relevant to the working tree
 
533
                continue
 
534
            path = pathjoin(self.basedir, key[0].decode('utf8'), key[1].decode('utf8'))
 
535
            if osutils.lexists(path):
 
536
                result.append(key[2])
 
537
        return iter(result)
 
538
 
 
539
    def iter_references(self):
 
540
        if not self._repo_supports_tree_reference:
 
541
            # When the repo doesn't support references, we will have nothing to
 
542
            # return
 
543
            return
 
544
        for key, tree_details in self.current_dirstate()._iter_entries():
 
545
            if tree_details[0][0] in ('a', 'r'): # absent, relocated
 
546
                # not relevant to the working tree
 
547
                continue
 
548
            if not key[1]:
 
549
                # the root is not a reference.
 
550
                continue
 
551
            relpath = pathjoin(key[0].decode('utf8'), key[1].decode('utf8'))
 
552
            try:
 
553
                if self._kind(relpath) == 'tree-reference':
 
554
                    yield relpath, key[2]
 
555
            except errors.NoSuchFile:
 
556
                # path is missing on disk.
 
557
                continue
 
558
 
 
559
    def _observed_sha1(self, file_id, path, (sha1, statvalue)):
 
560
        """See MutableTree._observed_sha1."""
 
561
        state = self.current_dirstate()
 
562
        entry = self._get_entry(file_id=file_id, path=path)
 
563
        state._observed_sha1(entry, sha1, statvalue)
 
564
 
 
565
    def kind(self, file_id):
 
566
        """Return the kind of a file.
 
567
 
 
568
        This is always the actual kind that's on disk, regardless of what it
 
569
        was added as.
 
570
 
 
571
        Note: The caller is expected to take a read-lock before calling this.
 
572
        """
 
573
        relpath = self.id2path(file_id)
 
574
        if relpath is None:
 
575
            raise AssertionError(
 
576
                "path for id {%s} is None!" % file_id)
 
577
        return self._kind(relpath)
 
578
 
 
579
    def _kind(self, relpath):
 
580
        abspath = self.abspath(relpath)
 
581
        kind = file_kind(abspath)
 
582
        if (self._repo_supports_tree_reference and kind == 'directory'):
 
583
            entry = self._get_entry(path=relpath)
 
584
            if entry[1] is not None:
 
585
                if entry[1][0][0] == 't':
 
586
                    kind = 'tree-reference'
 
587
        return kind
 
588
 
 
589
    @needs_read_lock
 
590
    def _last_revision(self):
 
591
        """See Mutable.last_revision."""
 
592
        parent_ids = self.current_dirstate().get_parent_ids()
 
593
        if parent_ids:
 
594
            return parent_ids[0]
 
595
        else:
 
596
            return _mod_revision.NULL_REVISION
 
597
 
 
598
    def lock_read(self):
 
599
        """See Branch.lock_read, and WorkingTree.unlock.
 
600
 
 
601
        :return: A bzrlib.lock.LogicalLockResult.
 
602
        """
 
603
        self.branch.lock_read()
 
604
        try:
 
605
            self._control_files.lock_read()
 
606
            try:
 
607
                state = self.current_dirstate()
 
608
                if not state._lock_token:
 
609
                    state.lock_read()
 
610
                # set our support for tree references from the repository in
 
611
                # use.
 
612
                self._repo_supports_tree_reference = getattr(
 
613
                    self.branch.repository._format, "supports_tree_reference",
 
614
                    False)
 
615
            except:
 
616
                self._control_files.unlock()
 
617
                raise
 
618
        except:
 
619
            self.branch.unlock()
 
620
            raise
 
621
        return LogicalLockResult(self.unlock)
 
622
 
 
623
    def _lock_self_write(self):
 
624
        """This should be called after the branch is locked."""
 
625
        try:
 
626
            self._control_files.lock_write()
 
627
            try:
 
628
                state = self.current_dirstate()
 
629
                if not state._lock_token:
 
630
                    state.lock_write()
 
631
                # set our support for tree references from the repository in
 
632
                # use.
 
633
                self._repo_supports_tree_reference = getattr(
 
634
                    self.branch.repository._format, "supports_tree_reference",
 
635
                    False)
 
636
            except:
 
637
                self._control_files.unlock()
 
638
                raise
 
639
        except:
 
640
            self.branch.unlock()
 
641
            raise
 
642
        return LogicalLockResult(self.unlock)
 
643
 
 
644
    def lock_tree_write(self):
 
645
        """See MutableTree.lock_tree_write, and WorkingTree.unlock.
 
646
 
 
647
        :return: A bzrlib.lock.LogicalLockResult.
 
648
        """
 
649
        self.branch.lock_read()
 
650
        return self._lock_self_write()
 
651
 
 
652
    def lock_write(self):
 
653
        """See MutableTree.lock_write, and WorkingTree.unlock.
 
654
 
 
655
        :return: A bzrlib.lock.LogicalLockResult.
 
656
        """
 
657
        self.branch.lock_write()
 
658
        return self._lock_self_write()
 
659
 
 
660
    @needs_tree_write_lock
 
661
    def move(self, from_paths, to_dir, after=False):
 
662
        """See WorkingTree.move()."""
 
663
        result = []
 
664
        if not from_paths:
 
665
            return result
 
666
        state = self.current_dirstate()
 
667
        if isinstance(from_paths, basestring):
 
668
            raise ValueError()
 
669
        to_dir_utf8 = to_dir.encode('utf8')
 
670
        to_entry_dirname, to_basename = os.path.split(to_dir_utf8)
 
671
        id_index = state._get_id_index()
 
672
        # check destination directory
 
673
        # get the details for it
 
674
        to_entry_block_index, to_entry_entry_index, dir_present, entry_present = \
 
675
            state._get_block_entry_index(to_entry_dirname, to_basename, 0)
 
676
        if not entry_present:
 
677
            raise errors.BzrMoveFailedError('', to_dir,
 
678
                errors.NotVersionedError(to_dir))
 
679
        to_entry = state._dirblocks[to_entry_block_index][1][to_entry_entry_index]
 
680
        # get a handle on the block itself.
 
681
        to_block_index = state._ensure_block(
 
682
            to_entry_block_index, to_entry_entry_index, to_dir_utf8)
 
683
        to_block = state._dirblocks[to_block_index]
 
684
        to_abs = self.abspath(to_dir)
 
685
        if not isdir(to_abs):
 
686
            raise errors.BzrMoveFailedError('',to_dir,
 
687
                errors.NotADirectory(to_abs))
 
688
 
 
689
        if to_entry[1][0][0] != 'd':
 
690
            raise errors.BzrMoveFailedError('',to_dir,
 
691
                errors.NotADirectory(to_abs))
 
692
 
 
693
        if self._inventory is not None:
 
694
            update_inventory = True
 
695
            inv = self.root_inventory
 
696
            to_dir_id = to_entry[0][2]
 
697
            to_dir_ie = inv[to_dir_id]
 
698
        else:
 
699
            update_inventory = False
 
700
 
 
701
        rollbacks = []
 
702
        def move_one(old_entry, from_path_utf8, minikind, executable,
 
703
                     fingerprint, packed_stat, size,
 
704
                     to_block, to_key, to_path_utf8):
 
705
            state._make_absent(old_entry)
 
706
            from_key = old_entry[0]
 
707
            rollbacks.append(
 
708
                lambda:state.update_minimal(from_key,
 
709
                    minikind,
 
710
                    executable=executable,
 
711
                    fingerprint=fingerprint,
 
712
                    packed_stat=packed_stat,
 
713
                    size=size,
 
714
                    path_utf8=from_path_utf8))
 
715
            state.update_minimal(to_key,
 
716
                    minikind,
 
717
                    executable=executable,
 
718
                    fingerprint=fingerprint,
 
719
                    packed_stat=packed_stat,
 
720
                    size=size,
 
721
                    path_utf8=to_path_utf8)
 
722
            added_entry_index, _ = state._find_entry_index(to_key, to_block[1])
 
723
            new_entry = to_block[1][added_entry_index]
 
724
            rollbacks.append(lambda:state._make_absent(new_entry))
 
725
 
 
726
        for from_rel in from_paths:
 
727
            # from_rel is 'pathinroot/foo/bar'
 
728
            from_rel_utf8 = from_rel.encode('utf8')
 
729
            from_dirname, from_tail = osutils.split(from_rel)
 
730
            from_dirname, from_tail_utf8 = osutils.split(from_rel_utf8)
 
731
            from_entry = self._get_entry(path=from_rel)
 
732
            if from_entry == (None, None):
 
733
                raise errors.BzrMoveFailedError(from_rel,to_dir,
 
734
                    errors.NotVersionedError(path=from_rel))
 
735
 
 
736
            from_id = from_entry[0][2]
 
737
            to_rel = pathjoin(to_dir, from_tail)
 
738
            to_rel_utf8 = pathjoin(to_dir_utf8, from_tail_utf8)
 
739
            item_to_entry = self._get_entry(path=to_rel)
 
740
            if item_to_entry != (None, None):
 
741
                raise errors.BzrMoveFailedError(from_rel, to_rel,
 
742
                    "Target is already versioned.")
 
743
 
 
744
            if from_rel == to_rel:
 
745
                raise errors.BzrMoveFailedError(from_rel, to_rel,
 
746
                    "Source and target are identical.")
 
747
 
 
748
            from_missing = not self.has_filename(from_rel)
 
749
            to_missing = not self.has_filename(to_rel)
 
750
            if after:
 
751
                move_file = False
 
752
            else:
 
753
                move_file = True
 
754
            if to_missing:
 
755
                if not move_file:
 
756
                    raise errors.BzrMoveFailedError(from_rel, to_rel,
 
757
                        errors.NoSuchFile(path=to_rel,
 
758
                        extra="New file has not been created yet"))
 
759
                elif from_missing:
 
760
                    # neither path exists
 
761
                    raise errors.BzrRenameFailedError(from_rel, to_rel,
 
762
                        errors.PathsDoNotExist(paths=(from_rel, to_rel)))
 
763
            else:
 
764
                if from_missing: # implicitly just update our path mapping
 
765
                    move_file = False
 
766
                elif not after:
 
767
                    raise errors.RenameFailedFilesExist(from_rel, to_rel)
 
768
 
 
769
            rollbacks = []
 
770
            def rollback_rename():
 
771
                """A single rename has failed, roll it back."""
 
772
                # roll back everything, even if we encounter trouble doing one
 
773
                # of them.
 
774
                #
 
775
                # TODO: at least log the other exceptions rather than just
 
776
                # losing them mbp 20070307
 
777
                exc_info = None
 
778
                for rollback in reversed(rollbacks):
 
779
                    try:
 
780
                        rollback()
 
781
                    except Exception, e:
 
782
                        exc_info = sys.exc_info()
 
783
                if exc_info:
 
784
                    raise exc_info[0], exc_info[1], exc_info[2]
 
785
 
 
786
            # perform the disk move first - its the most likely failure point.
 
787
            if move_file:
 
788
                from_rel_abs = self.abspath(from_rel)
 
789
                to_rel_abs = self.abspath(to_rel)
 
790
                try:
 
791
                    osutils.rename(from_rel_abs, to_rel_abs)
 
792
                except OSError, e:
 
793
                    raise errors.BzrMoveFailedError(from_rel, to_rel, e[1])
 
794
                rollbacks.append(lambda: osutils.rename(to_rel_abs, from_rel_abs))
 
795
            try:
 
796
                # perform the rename in the inventory next if needed: its easy
 
797
                # to rollback
 
798
                if update_inventory:
 
799
                    # rename the entry
 
800
                    from_entry = inv[from_id]
 
801
                    current_parent = from_entry.parent_id
 
802
                    inv.rename(from_id, to_dir_id, from_tail)
 
803
                    rollbacks.append(
 
804
                        lambda: inv.rename(from_id, current_parent, from_tail))
 
805
                # finally do the rename in the dirstate, which is a little
 
806
                # tricky to rollback, but least likely to need it.
 
807
                old_block_index, old_entry_index, dir_present, file_present = \
 
808
                    state._get_block_entry_index(from_dirname, from_tail_utf8, 0)
 
809
                old_block = state._dirblocks[old_block_index][1]
 
810
                old_entry = old_block[old_entry_index]
 
811
                from_key, old_entry_details = old_entry
 
812
                cur_details = old_entry_details[0]
 
813
                # remove the old row
 
814
                to_key = ((to_block[0],) + from_key[1:3])
 
815
                minikind = cur_details[0]
 
816
                move_one(old_entry, from_path_utf8=from_rel_utf8,
 
817
                         minikind=minikind,
 
818
                         executable=cur_details[3],
 
819
                         fingerprint=cur_details[1],
 
820
                         packed_stat=cur_details[4],
 
821
                         size=cur_details[2],
 
822
                         to_block=to_block,
 
823
                         to_key=to_key,
 
824
                         to_path_utf8=to_rel_utf8)
 
825
 
 
826
                if minikind == 'd':
 
827
                    def update_dirblock(from_dir, to_key, to_dir_utf8):
 
828
                        """Recursively update all entries in this dirblock."""
 
829
                        if from_dir == '':
 
830
                            raise AssertionError("renaming root not supported")
 
831
                        from_key = (from_dir, '')
 
832
                        from_block_idx, present = \
 
833
                            state._find_block_index_from_key(from_key)
 
834
                        if not present:
 
835
                            # This is the old record, if it isn't present, then
 
836
                            # there is theoretically nothing to update.
 
837
                            # (Unless it isn't present because of lazy loading,
 
838
                            # but we don't do that yet)
 
839
                            return
 
840
                        from_block = state._dirblocks[from_block_idx]
 
841
                        to_block_index, to_entry_index, _, _ = \
 
842
                            state._get_block_entry_index(to_key[0], to_key[1], 0)
 
843
                        to_block_index = state._ensure_block(
 
844
                            to_block_index, to_entry_index, to_dir_utf8)
 
845
                        to_block = state._dirblocks[to_block_index]
 
846
 
 
847
                        # Grab a copy since move_one may update the list.
 
848
                        for entry in from_block[1][:]:
 
849
                            if not (entry[0][0] == from_dir):
 
850
                                raise AssertionError()
 
851
                            cur_details = entry[1][0]
 
852
                            to_key = (to_dir_utf8, entry[0][1], entry[0][2])
 
853
                            from_path_utf8 = osutils.pathjoin(entry[0][0], entry[0][1])
 
854
                            to_path_utf8 = osutils.pathjoin(to_dir_utf8, entry[0][1])
 
855
                            minikind = cur_details[0]
 
856
                            if minikind in 'ar':
 
857
                                # Deleted children of a renamed directory
 
858
                                # Do not need to be updated.
 
859
                                # Children that have been renamed out of this
 
860
                                # directory should also not be updated
 
861
                                continue
 
862
                            move_one(entry, from_path_utf8=from_path_utf8,
 
863
                                     minikind=minikind,
 
864
                                     executable=cur_details[3],
 
865
                                     fingerprint=cur_details[1],
 
866
                                     packed_stat=cur_details[4],
 
867
                                     size=cur_details[2],
 
868
                                     to_block=to_block,
 
869
                                     to_key=to_key,
 
870
                                     to_path_utf8=to_path_utf8)
 
871
                            if minikind == 'd':
 
872
                                # We need to move all the children of this
 
873
                                # entry
 
874
                                update_dirblock(from_path_utf8, to_key,
 
875
                                                to_path_utf8)
 
876
                    update_dirblock(from_rel_utf8, to_key, to_rel_utf8)
 
877
            except:
 
878
                rollback_rename()
 
879
                raise
 
880
            result.append((from_rel, to_rel))
 
881
            state._mark_modified()
 
882
            self._make_dirty(reset_inventory=False)
 
883
 
 
884
        return result
 
885
 
 
886
    def _must_be_locked(self):
 
887
        if not self._control_files._lock_count:
 
888
            raise errors.ObjectNotLocked(self)
 
889
 
 
890
    def _new_tree(self):
 
891
        """Initialize the state in this tree to be a new tree."""
 
892
        self._dirty = True
 
893
 
 
894
    @needs_read_lock
 
895
    def path2id(self, path):
 
896
        """Return the id for path in this tree."""
 
897
        if isinstance(path, list):
 
898
            if path == []:
 
899
                path = [""]
 
900
            path = osutils.pathjoin(*path)
 
901
        path = path.strip('/')
 
902
        entry = self._get_entry(path=path)
 
903
        if entry == (None, None):
 
904
            return None
 
905
        return entry[0][2]
 
906
 
 
907
    def paths2ids(self, paths, trees=[], require_versioned=True):
 
908
        """See Tree.paths2ids().
 
909
 
 
910
        This specialisation fast-paths the case where all the trees are in the
 
911
        dirstate.
 
912
        """
 
913
        if paths is None:
 
914
            return None
 
915
        parents = self.get_parent_ids()
 
916
        for tree in trees:
 
917
            if not (isinstance(tree, DirStateRevisionTree) and tree._revision_id in
 
918
                parents):
 
919
                return super(DirStateWorkingTree, self).paths2ids(paths,
 
920
                    trees, require_versioned)
 
921
        search_indexes = [0] + [1 + parents.index(tree._revision_id) for tree in trees]
 
922
        # -- make all paths utf8 --
 
923
        paths_utf8 = set()
 
924
        for path in paths:
 
925
            paths_utf8.add(path.encode('utf8'))
 
926
        paths = paths_utf8
 
927
        # -- paths is now a utf8 path set --
 
928
        # -- get the state object and prepare it.
 
929
        state = self.current_dirstate()
 
930
        if False and (state._dirblock_state == dirstate.DirState.NOT_IN_MEMORY
 
931
            and '' not in paths):
 
932
            paths2ids = self._paths2ids_using_bisect
 
933
        else:
 
934
            paths2ids = self._paths2ids_in_memory
 
935
        return paths2ids(paths, search_indexes,
 
936
                         require_versioned=require_versioned)
 
937
 
 
938
    def _paths2ids_in_memory(self, paths, search_indexes,
 
939
                             require_versioned=True):
 
940
        state = self.current_dirstate()
 
941
        state._read_dirblocks_if_needed()
 
942
        def _entries_for_path(path):
 
943
            """Return a list with all the entries that match path for all ids.
 
944
            """
 
945
            dirname, basename = os.path.split(path)
 
946
            key = (dirname, basename, '')
 
947
            block_index, present = state._find_block_index_from_key(key)
 
948
            if not present:
 
949
                # the block which should contain path is absent.
 
950
                return []
 
951
            result = []
 
952
            block = state._dirblocks[block_index][1]
 
953
            entry_index, _ = state._find_entry_index(key, block)
 
954
            # we may need to look at multiple entries at this path: walk while the paths match.
 
955
            while (entry_index < len(block) and
 
956
                block[entry_index][0][0:2] == key[0:2]):
 
957
                result.append(block[entry_index])
 
958
                entry_index += 1
 
959
            return result
 
960
        if require_versioned:
 
961
            # -- check all supplied paths are versioned in a search tree. --
 
962
            all_versioned = True
 
963
            for path in paths:
 
964
                path_entries = _entries_for_path(path)
 
965
                if not path_entries:
 
966
                    # this specified path is not present at all: error
 
967
                    all_versioned = False
 
968
                    break
 
969
                found_versioned = False
 
970
                # for each id at this path
 
971
                for entry in path_entries:
 
972
                    # for each tree.
 
973
                    for index in search_indexes:
 
974
                        if entry[1][index][0] != 'a': # absent
 
975
                            found_versioned = True
 
976
                            # all good: found a versioned cell
 
977
                            break
 
978
                if not found_versioned:
 
979
                    # none of the indexes was not 'absent' at all ids for this
 
980
                    # path.
 
981
                    all_versioned = False
 
982
                    break
 
983
            if not all_versioned:
 
984
                raise errors.PathsNotVersionedError(
 
985
                    [p.decode('utf-8') for p in paths])
 
986
        # -- remove redundancy in supplied paths to prevent over-scanning --
 
987
        search_paths = osutils.minimum_path_selection(paths)
 
988
        # sketch:
 
989
        # for all search_indexs in each path at or under each element of
 
990
        # search_paths, if the detail is relocated: add the id, and add the
 
991
        # relocated path as one to search if its not searched already. If the
 
992
        # detail is not relocated, add the id.
 
993
        searched_paths = set()
 
994
        found_ids = set()
 
995
        def _process_entry(entry):
 
996
            """Look at search_indexes within entry.
 
997
 
 
998
            If a specific tree's details are relocated, add the relocation
 
999
            target to search_paths if not searched already. If it is absent, do
 
1000
            nothing. Otherwise add the id to found_ids.
 
1001
            """
 
1002
            for index in search_indexes:
 
1003
                if entry[1][index][0] == 'r': # relocated
 
1004
                    if not osutils.is_inside_any(searched_paths, entry[1][index][1]):
 
1005
                        search_paths.add(entry[1][index][1])
 
1006
                elif entry[1][index][0] != 'a': # absent
 
1007
                    found_ids.add(entry[0][2])
 
1008
        while search_paths:
 
1009
            current_root = search_paths.pop()
 
1010
            searched_paths.add(current_root)
 
1011
            # process the entries for this containing directory: the rest will be
 
1012
            # found by their parents recursively.
 
1013
            root_entries = _entries_for_path(current_root)
 
1014
            if not root_entries:
 
1015
                # this specified path is not present at all, skip it.
 
1016
                continue
 
1017
            for entry in root_entries:
 
1018
                _process_entry(entry)
 
1019
            initial_key = (current_root, '', '')
 
1020
            block_index, _ = state._find_block_index_from_key(initial_key)
 
1021
            while (block_index < len(state._dirblocks) and
 
1022
                osutils.is_inside(current_root, state._dirblocks[block_index][0])):
 
1023
                for entry in state._dirblocks[block_index][1]:
 
1024
                    _process_entry(entry)
 
1025
                block_index += 1
 
1026
        return found_ids
 
1027
 
 
1028
    def _paths2ids_using_bisect(self, paths, search_indexes,
 
1029
                                require_versioned=True):
 
1030
        state = self.current_dirstate()
 
1031
        found_ids = set()
 
1032
 
 
1033
        split_paths = sorted(osutils.split(p) for p in paths)
 
1034
        found = state._bisect_recursive(split_paths)
 
1035
 
 
1036
        if require_versioned:
 
1037
            found_dir_names = set(dir_name_id[:2] for dir_name_id in found)
 
1038
            for dir_name in split_paths:
 
1039
                if dir_name not in found_dir_names:
 
1040
                    raise errors.PathsNotVersionedError(
 
1041
                        [p.decode('utf-8') for p in paths])
 
1042
 
 
1043
        for dir_name_id, trees_info in found.iteritems():
 
1044
            for index in search_indexes:
 
1045
                if trees_info[index][0] not in ('r', 'a'):
 
1046
                    found_ids.add(dir_name_id[2])
 
1047
        return found_ids
 
1048
 
 
1049
    def read_working_inventory(self):
 
1050
        """Read the working inventory.
 
1051
 
 
1052
        This is a meaningless operation for dirstate, but we obey it anyhow.
 
1053
        """
 
1054
        return self.root_inventory
 
1055
 
 
1056
    @needs_read_lock
 
1057
    def revision_tree(self, revision_id):
 
1058
        """See Tree.revision_tree.
 
1059
 
 
1060
        WorkingTree4 supplies revision_trees for any basis tree.
 
1061
        """
 
1062
        dirstate = self.current_dirstate()
 
1063
        parent_ids = dirstate.get_parent_ids()
 
1064
        if revision_id not in parent_ids:
 
1065
            raise errors.NoSuchRevisionInTree(self, revision_id)
 
1066
        if revision_id in dirstate.get_ghosts():
 
1067
            raise errors.NoSuchRevisionInTree(self, revision_id)
 
1068
        return DirStateRevisionTree(dirstate, revision_id,
 
1069
            self.branch.repository)
 
1070
 
 
1071
    @needs_tree_write_lock
 
1072
    def set_last_revision(self, new_revision):
 
1073
        """Change the last revision in the working tree."""
 
1074
        parents = self.get_parent_ids()
 
1075
        if new_revision in (_mod_revision.NULL_REVISION, None):
 
1076
            if len(parents) >= 2:
 
1077
                raise AssertionError(
 
1078
                    "setting the last parent to none with a pending merge is "
 
1079
                    "unsupported.")
 
1080
            self.set_parent_ids([])
 
1081
        else:
 
1082
            self.set_parent_ids([new_revision] + parents[1:],
 
1083
                allow_leftmost_as_ghost=True)
 
1084
 
 
1085
    @needs_tree_write_lock
 
1086
    def set_parent_ids(self, revision_ids, allow_leftmost_as_ghost=False):
 
1087
        """Set the parent ids to revision_ids.
 
1088
 
 
1089
        See also set_parent_trees. This api will try to retrieve the tree data
 
1090
        for each element of revision_ids from the trees repository. If you have
 
1091
        tree data already available, it is more efficient to use
 
1092
        set_parent_trees rather than set_parent_ids. set_parent_ids is however
 
1093
        an easier API to use.
 
1094
 
 
1095
        :param revision_ids: The revision_ids to set as the parent ids of this
 
1096
            working tree. Any of these may be ghosts.
 
1097
        """
 
1098
        trees = []
 
1099
        for revision_id in revision_ids:
 
1100
            try:
 
1101
                revtree = self.branch.repository.revision_tree(revision_id)
 
1102
                # TODO: jam 20070213 KnitVersionedFile raises
 
1103
                #       RevisionNotPresent rather than NoSuchRevision if a
 
1104
                #       given revision_id is not present. Should Repository be
 
1105
                #       catching it and re-raising NoSuchRevision?
 
1106
            except (errors.NoSuchRevision, errors.RevisionNotPresent):
 
1107
                revtree = None
 
1108
            trees.append((revision_id, revtree))
 
1109
        self.set_parent_trees(trees,
 
1110
            allow_leftmost_as_ghost=allow_leftmost_as_ghost)
 
1111
 
 
1112
    @needs_tree_write_lock
 
1113
    def set_parent_trees(self, parents_list, allow_leftmost_as_ghost=False):
 
1114
        """Set the parents of the working tree.
 
1115
 
 
1116
        :param parents_list: A list of (revision_id, tree) tuples.
 
1117
            If tree is None, then that element is treated as an unreachable
 
1118
            parent tree - i.e. a ghost.
 
1119
        """
 
1120
        dirstate = self.current_dirstate()
 
1121
        if len(parents_list) > 0:
 
1122
            if not allow_leftmost_as_ghost and parents_list[0][1] is None:
 
1123
                raise errors.GhostRevisionUnusableHere(parents_list[0][0])
 
1124
        real_trees = []
 
1125
        ghosts = []
 
1126
 
 
1127
        parent_ids = [rev_id for rev_id, tree in parents_list]
 
1128
        graph = self.branch.repository.get_graph()
 
1129
        heads = graph.heads(parent_ids)
 
1130
        accepted_revisions = set()
 
1131
 
 
1132
        # convert absent trees to the null tree, which we convert back to
 
1133
        # missing on access.
 
1134
        for rev_id, tree in parents_list:
 
1135
            if len(accepted_revisions) > 0:
 
1136
                # we always accept the first tree
 
1137
                if rev_id in accepted_revisions or rev_id not in heads:
 
1138
                    # We have already included either this tree, or its
 
1139
                    # descendent, so we skip it.
 
1140
                    continue
 
1141
            _mod_revision.check_not_reserved_id(rev_id)
 
1142
            if tree is not None:
 
1143
                real_trees.append((rev_id, tree))
 
1144
            else:
 
1145
                real_trees.append((rev_id,
 
1146
                    self.branch.repository.revision_tree(
 
1147
                        _mod_revision.NULL_REVISION)))
 
1148
                ghosts.append(rev_id)
 
1149
            accepted_revisions.add(rev_id)
 
1150
        updated = False
 
1151
        if (len(real_trees) == 1
 
1152
            and not ghosts
 
1153
            and self.branch.repository._format.fast_deltas
 
1154
            and isinstance(real_trees[0][1],
 
1155
                revisiontree.InventoryRevisionTree)
 
1156
            and self.get_parent_ids()):
 
1157
            rev_id, rev_tree = real_trees[0]
 
1158
            basis_id = self.get_parent_ids()[0]
 
1159
            # There are times when basis_tree won't be in
 
1160
            # self.branch.repository, (switch, for example)
 
1161
            try:
 
1162
                basis_tree = self.branch.repository.revision_tree(basis_id)
 
1163
            except errors.NoSuchRevision:
 
1164
                # Fall back to the set_parent_trees(), since we can't use
 
1165
                # _make_delta if we can't get the RevisionTree
 
1166
                pass
 
1167
            else:
 
1168
                delta = rev_tree.root_inventory._make_delta(
 
1169
                    basis_tree.root_inventory)
 
1170
                dirstate.update_basis_by_delta(delta, rev_id)
 
1171
                updated = True
 
1172
        if not updated:
 
1173
            dirstate.set_parent_trees(real_trees, ghosts=ghosts)
 
1174
        self._make_dirty(reset_inventory=False)
 
1175
 
 
1176
    def _set_root_id(self, file_id):
 
1177
        """See WorkingTree.set_root_id."""
 
1178
        state = self.current_dirstate()
 
1179
        state.set_path_id('', file_id)
 
1180
        if state._dirblock_state == dirstate.DirState.IN_MEMORY_MODIFIED:
 
1181
            self._make_dirty(reset_inventory=True)
 
1182
 
 
1183
    def _sha_from_stat(self, path, stat_result):
 
1184
        """Get a sha digest from the tree's stat cache.
 
1185
 
 
1186
        The default implementation assumes no stat cache is present.
 
1187
 
 
1188
        :param path: The path.
 
1189
        :param stat_result: The stat result being looked up.
 
1190
        """
 
1191
        return self.current_dirstate().sha1_from_stat(path, stat_result)
 
1192
 
 
1193
    @needs_read_lock
 
1194
    def supports_tree_reference(self):
 
1195
        return self._repo_supports_tree_reference
 
1196
 
 
1197
    def unlock(self):
 
1198
        """Unlock in format 4 trees needs to write the entire dirstate."""
 
1199
        if self._control_files._lock_count == 1:
 
1200
            # do non-implementation specific cleanup
 
1201
            self._cleanup()
 
1202
 
 
1203
            # eventually we should do signature checking during read locks for
 
1204
            # dirstate updates.
 
1205
            if self._control_files._lock_mode == 'w':
 
1206
                if self._dirty:
 
1207
                    self.flush()
 
1208
            if self._dirstate is not None:
 
1209
                # This is a no-op if there are no modifications.
 
1210
                self._dirstate.save()
 
1211
                self._dirstate.unlock()
 
1212
            # TODO: jam 20070301 We shouldn't have to wipe the dirstate at this
 
1213
            #       point. Instead, it could check if the header has been
 
1214
            #       modified when it is locked, and if not, it can hang on to
 
1215
            #       the data it has in memory.
 
1216
            self._dirstate = None
 
1217
            self._inventory = None
 
1218
        # reverse order of locking.
 
1219
        try:
 
1220
            return self._control_files.unlock()
 
1221
        finally:
 
1222
            self.branch.unlock()
 
1223
 
 
1224
    @needs_tree_write_lock
 
1225
    def unversion(self, file_ids):
 
1226
        """Remove the file ids in file_ids from the current versioned set.
 
1227
 
 
1228
        When a file_id is unversioned, all of its children are automatically
 
1229
        unversioned.
 
1230
 
 
1231
        :param file_ids: The file ids to stop versioning.
 
1232
        :raises: NoSuchId if any fileid is not currently versioned.
 
1233
        """
 
1234
        if not file_ids:
 
1235
            return
 
1236
        state = self.current_dirstate()
 
1237
        state._read_dirblocks_if_needed()
 
1238
        ids_to_unversion = set(file_ids)
 
1239
        paths_to_unversion = set()
 
1240
        # sketch:
 
1241
        # check if the root is to be unversioned, if so, assert for now.
 
1242
        # walk the state marking unversioned things as absent.
 
1243
        # if there are any un-unversioned ids at the end, raise
 
1244
        for key, details in state._dirblocks[0][1]:
 
1245
            if (details[0][0] not in ('a', 'r') and # absent or relocated
 
1246
                key[2] in ids_to_unversion):
 
1247
                # I haven't written the code to unversion / yet - it should be
 
1248
                # supported.
 
1249
                raise errors.BzrError('Unversioning the / is not currently supported')
 
1250
        block_index = 0
 
1251
        while block_index < len(state._dirblocks):
 
1252
            # process one directory at a time.
 
1253
            block = state._dirblocks[block_index]
 
1254
            # first check: is the path one to remove - it or its children
 
1255
            delete_block = False
 
1256
            for path in paths_to_unversion:
 
1257
                if (block[0].startswith(path) and
 
1258
                    (len(block[0]) == len(path) or
 
1259
                     block[0][len(path)] == '/')):
 
1260
                    # this entire block should be deleted - its the block for a
 
1261
                    # path to unversion; or the child of one
 
1262
                    delete_block = True
 
1263
                    break
 
1264
            # TODO: trim paths_to_unversion as we pass by paths
 
1265
            if delete_block:
 
1266
                # this block is to be deleted: process it.
 
1267
                # TODO: we can special case the no-parents case and
 
1268
                # just forget the whole block.
 
1269
                entry_index = 0
 
1270
                while entry_index < len(block[1]):
 
1271
                    entry = block[1][entry_index]
 
1272
                    if entry[1][0][0] in 'ar':
 
1273
                        # don't remove absent or renamed entries
 
1274
                        entry_index += 1
 
1275
                    else:
 
1276
                        # Mark this file id as having been removed
 
1277
                        ids_to_unversion.discard(entry[0][2])
 
1278
                        if not state._make_absent(entry):
 
1279
                            # The block has not shrunk.
 
1280
                            entry_index += 1
 
1281
                # go to the next block. (At the moment we dont delete empty
 
1282
                # dirblocks)
 
1283
                block_index += 1
 
1284
                continue
 
1285
            entry_index = 0
 
1286
            while entry_index < len(block[1]):
 
1287
                entry = block[1][entry_index]
 
1288
                if (entry[1][0][0] in ('a', 'r') or # absent, relocated
 
1289
                    # ^ some parent row.
 
1290
                    entry[0][2] not in ids_to_unversion):
 
1291
                    # ^ not an id to unversion
 
1292
                    entry_index += 1
 
1293
                    continue
 
1294
                if entry[1][0][0] == 'd':
 
1295
                    paths_to_unversion.add(pathjoin(entry[0][0], entry[0][1]))
 
1296
                if not state._make_absent(entry):
 
1297
                    entry_index += 1
 
1298
                # we have unversioned this id
 
1299
                ids_to_unversion.remove(entry[0][2])
 
1300
            block_index += 1
 
1301
        if ids_to_unversion:
 
1302
            raise errors.NoSuchId(self, iter(ids_to_unversion).next())
 
1303
        self._make_dirty(reset_inventory=False)
 
1304
        # have to change the legacy inventory too.
 
1305
        if self._inventory is not None:
 
1306
            for file_id in file_ids:
 
1307
                if self._inventory.has_id(file_id):
 
1308
                    self._inventory.remove_recursive_id(file_id)
 
1309
 
 
1310
    @needs_tree_write_lock
 
1311
    def rename_one(self, from_rel, to_rel, after=False):
 
1312
        """See WorkingTree.rename_one"""
 
1313
        self.flush()
 
1314
        super(DirStateWorkingTree, self).rename_one(from_rel, to_rel, after)
 
1315
 
 
1316
    @needs_tree_write_lock
 
1317
    def apply_inventory_delta(self, changes):
 
1318
        """See MutableTree.apply_inventory_delta"""
 
1319
        state = self.current_dirstate()
 
1320
        state.update_by_delta(changes)
 
1321
        self._make_dirty(reset_inventory=True)
 
1322
 
 
1323
    def update_basis_by_delta(self, new_revid, delta):
 
1324
        """See MutableTree.update_basis_by_delta."""
 
1325
        if self.last_revision() == new_revid:
 
1326
            raise AssertionError()
 
1327
        self.current_dirstate().update_basis_by_delta(delta, new_revid)
 
1328
 
 
1329
    @needs_read_lock
 
1330
    def _validate(self):
 
1331
        self._dirstate._validate()
 
1332
 
 
1333
    @needs_tree_write_lock
 
1334
    def _write_inventory(self, inv):
 
1335
        """Write inventory as the current inventory."""
 
1336
        if self._dirty:
 
1337
            raise AssertionError("attempting to write an inventory when the "
 
1338
                "dirstate is dirty will lose pending changes")
 
1339
        had_inventory = self._inventory is not None
 
1340
        # Setting self._inventory = None forces the dirstate to regenerate the
 
1341
        # working inventory. We do this because self.inventory may be inv, or
 
1342
        # may have been modified, and either case would prevent a clean delta
 
1343
        # being created.
 
1344
        self._inventory = None
 
1345
        # generate a delta,
 
1346
        delta = inv._make_delta(self.root_inventory)
 
1347
        # and apply it.
 
1348
        self.apply_inventory_delta(delta)
 
1349
        if had_inventory:
 
1350
            self._inventory = inv
 
1351
        self.flush()
 
1352
 
 
1353
    @needs_tree_write_lock
 
1354
    def reset_state(self, revision_ids=None):
 
1355
        """Reset the state of the working tree.
 
1356
 
 
1357
        This does a hard-reset to a last-known-good state. This is a way to
 
1358
        fix if something got corrupted (like the .bzr/checkout/dirstate file)
 
1359
        """
 
1360
        if revision_ids is None:
 
1361
            revision_ids = self.get_parent_ids()
 
1362
        if not revision_ids:
 
1363
            base_tree = self.branch.repository.revision_tree(
 
1364
                _mod_revision.NULL_REVISION)
 
1365
            trees = []
 
1366
        else:
 
1367
            trees = zip(revision_ids,
 
1368
                        self.branch.repository.revision_trees(revision_ids))
 
1369
            base_tree = trees[0][1]
 
1370
        state = self.current_dirstate()
 
1371
        # We don't support ghosts yet
 
1372
        state.set_state_from_scratch(base_tree.root_inventory, trees, [])
 
1373
 
 
1374
 
 
1375
class ContentFilterAwareSHA1Provider(dirstate.SHA1Provider):
 
1376
 
 
1377
    def __init__(self, tree):
 
1378
        self.tree = tree
 
1379
 
 
1380
    def sha1(self, abspath):
 
1381
        """See dirstate.SHA1Provider.sha1()."""
 
1382
        filters = self.tree._content_filter_stack(
 
1383
            self.tree.relpath(osutils.safe_unicode(abspath)))
 
1384
        return _mod_filters.internal_size_sha_file_byname(abspath, filters)[1]
 
1385
 
 
1386
    def stat_and_sha1(self, abspath):
 
1387
        """See dirstate.SHA1Provider.stat_and_sha1()."""
 
1388
        filters = self.tree._content_filter_stack(
 
1389
            self.tree.relpath(osutils.safe_unicode(abspath)))
 
1390
        file_obj = file(abspath, 'rb', 65000)
 
1391
        try:
 
1392
            statvalue = os.fstat(file_obj.fileno())
 
1393
            if filters:
 
1394
                file_obj = _mod_filters.filtered_input_file(file_obj, filters)
 
1395
            sha1 = osutils.size_sha_file(file_obj)[1]
 
1396
        finally:
 
1397
            file_obj.close()
 
1398
        return statvalue, sha1
 
1399
 
 
1400
 
 
1401
class ContentFilteringDirStateWorkingTree(DirStateWorkingTree):
 
1402
    """Dirstate working tree that supports content filtering.
 
1403
 
 
1404
    The dirstate holds the hash and size of the canonical form of the file, 
 
1405
    and most methods must return that.
 
1406
    """
 
1407
 
 
1408
    def _file_content_summary(self, path, stat_result):
 
1409
        # This is to support the somewhat obsolete path_content_summary method
 
1410
        # with content filtering: see
 
1411
        # <https://bugs.launchpad.net/bzr/+bug/415508>.
 
1412
        #
 
1413
        # If the dirstate cache is up to date and knows the hash and size,
 
1414
        # return that.
 
1415
        # Otherwise if there are no content filters, return the on-disk size
 
1416
        # and leave the hash blank.
 
1417
        # Otherwise, read and filter the on-disk file and use its size and
 
1418
        # hash.
 
1419
        #
 
1420
        # The dirstate doesn't store the size of the canonical form so we
 
1421
        # can't trust it for content-filtered trees.  We just return None.
 
1422
        dirstate_sha1 = self._dirstate.sha1_from_stat(path, stat_result)
 
1423
        executable = self._is_executable_from_path_and_stat(path, stat_result)
 
1424
        return ('file', None, executable, dirstate_sha1)
 
1425
 
 
1426
 
 
1427
class WorkingTree4(DirStateWorkingTree):
 
1428
    """This is the Format 4 working tree.
 
1429
 
 
1430
    This differs from WorkingTree by:
 
1431
     - Having a consolidated internal dirstate, stored in a
 
1432
       randomly-accessible sorted file on disk.
 
1433
     - Not having a regular inventory attribute.  One can be synthesized
 
1434
       on demand but this is expensive and should be avoided.
 
1435
 
 
1436
    This is new in bzr 0.15.
 
1437
    """
 
1438
 
 
1439
 
 
1440
class WorkingTree5(ContentFilteringDirStateWorkingTree):
 
1441
    """This is the Format 5 working tree.
 
1442
 
 
1443
    This differs from WorkingTree4 by:
 
1444
     - Supporting content filtering.
 
1445
 
 
1446
    This is new in bzr 1.11.
 
1447
    """
 
1448
 
 
1449
 
 
1450
class WorkingTree6(ContentFilteringDirStateWorkingTree):
 
1451
    """This is the Format 6 working tree.
 
1452
 
 
1453
    This differs from WorkingTree5 by:
 
1454
     - Supporting a current view that may mask the set of files in a tree
 
1455
       impacted by most user operations.
 
1456
 
 
1457
    This is new in bzr 1.14.
 
1458
    """
 
1459
 
 
1460
    def _make_views(self):
 
1461
        return views.PathBasedViews(self)
 
1462
 
 
1463
 
 
1464
class DirStateWorkingTreeFormat(WorkingTreeFormatMetaDir):
 
1465
 
 
1466
    missing_parent_conflicts = True
 
1467
 
 
1468
    supports_versioned_directories = True
 
1469
 
 
1470
    _lock_class = LockDir
 
1471
    _lock_file_name = 'lock'
 
1472
 
 
1473
    def _open_control_files(self, a_bzrdir):
 
1474
        transport = a_bzrdir.get_workingtree_transport(None)
 
1475
        return LockableFiles(transport, self._lock_file_name,
 
1476
                             self._lock_class)
 
1477
 
 
1478
    def initialize(self, a_bzrdir, revision_id=None, from_branch=None,
 
1479
                   accelerator_tree=None, hardlink=False):
 
1480
        """See WorkingTreeFormat.initialize().
 
1481
 
 
1482
        :param revision_id: allows creating a working tree at a different
 
1483
            revision than the branch is at.
 
1484
        :param accelerator_tree: A tree which can be used for retrieving file
 
1485
            contents more quickly than the revision tree, i.e. a workingtree.
 
1486
            The revision tree will be used for cases where accelerator_tree's
 
1487
            content is different.
 
1488
        :param hardlink: If true, hard-link files from accelerator_tree,
 
1489
            where possible.
 
1490
 
 
1491
        These trees get an initial random root id, if their repository supports
 
1492
        rich root data, TREE_ROOT otherwise.
 
1493
        """
 
1494
        if not isinstance(a_bzrdir.transport, LocalTransport):
 
1495
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
 
1496
        transport = a_bzrdir.get_workingtree_transport(self)
 
1497
        control_files = self._open_control_files(a_bzrdir)
 
1498
        control_files.create_lock()
 
1499
        control_files.lock_write()
 
1500
        transport.put_bytes('format', self.as_string(),
 
1501
            mode=a_bzrdir._get_file_mode())
 
1502
        if from_branch is not None:
 
1503
            branch = from_branch
 
1504
        else:
 
1505
            branch = a_bzrdir.open_branch()
 
1506
        if revision_id is None:
 
1507
            revision_id = branch.last_revision()
 
1508
        local_path = transport.local_abspath('dirstate')
 
1509
        # write out new dirstate (must exist when we create the tree)
 
1510
        state = dirstate.DirState.initialize(local_path)
 
1511
        state.unlock()
 
1512
        del state
 
1513
        wt = self._tree_class(a_bzrdir.root_transport.local_abspath('.'),
 
1514
                         branch,
 
1515
                         _format=self,
 
1516
                         _bzrdir=a_bzrdir,
 
1517
                         _control_files=control_files)
 
1518
        wt._new_tree()
 
1519
        wt.lock_tree_write()
 
1520
        try:
 
1521
            self._init_custom_control_files(wt)
 
1522
            if revision_id in (None, _mod_revision.NULL_REVISION):
 
1523
                if branch.repository.supports_rich_root():
 
1524
                    wt._set_root_id(generate_ids.gen_root_id())
 
1525
                else:
 
1526
                    wt._set_root_id(ROOT_ID)
 
1527
                wt.flush()
 
1528
            basis = None
 
1529
            # frequently, we will get here due to branching.  The accelerator
 
1530
            # tree will be the tree from the branch, so the desired basis
 
1531
            # tree will often be a parent of the accelerator tree.
 
1532
            if accelerator_tree is not None:
 
1533
                try:
 
1534
                    basis = accelerator_tree.revision_tree(revision_id)
 
1535
                except errors.NoSuchRevision:
 
1536
                    pass
 
1537
            if basis is None:
 
1538
                basis = branch.repository.revision_tree(revision_id)
 
1539
            if revision_id == _mod_revision.NULL_REVISION:
 
1540
                parents_list = []
 
1541
            else:
 
1542
                parents_list = [(revision_id, basis)]
 
1543
            basis.lock_read()
 
1544
            try:
 
1545
                wt.set_parent_trees(parents_list, allow_leftmost_as_ghost=True)
 
1546
                wt.flush()
 
1547
                # if the basis has a root id we have to use that; otherwise we
 
1548
                # use a new random one
 
1549
                basis_root_id = basis.get_root_id()
 
1550
                if basis_root_id is not None:
 
1551
                    wt._set_root_id(basis_root_id)
 
1552
                    wt.flush()
 
1553
                if wt.supports_content_filtering():
 
1554
                    # The original tree may not have the same content filters
 
1555
                    # applied so we can't safely build the inventory delta from
 
1556
                    # the source tree.
 
1557
                    delta_from_tree = False
 
1558
                else:
 
1559
                    delta_from_tree = True
 
1560
                # delta_from_tree is safe even for DirStateRevisionTrees,
 
1561
                # because wt4.apply_inventory_delta does not mutate the input
 
1562
                # inventory entries.
 
1563
                transform.build_tree(basis, wt, accelerator_tree,
 
1564
                                     hardlink=hardlink,
 
1565
                                     delta_from_tree=delta_from_tree)
 
1566
                for hook in MutableTree.hooks['post_build_tree']:
 
1567
                    hook(wt)
 
1568
            finally:
 
1569
                basis.unlock()
 
1570
        finally:
 
1571
            control_files.unlock()
 
1572
            wt.unlock()
 
1573
        return wt
 
1574
 
 
1575
    def _init_custom_control_files(self, wt):
 
1576
        """Subclasses with custom control files should override this method.
 
1577
 
 
1578
        The working tree and control files are locked for writing when this
 
1579
        method is called.
 
1580
 
 
1581
        :param wt: the WorkingTree object
 
1582
        """
 
1583
 
 
1584
    def open(self, a_bzrdir, _found=False):
 
1585
        """Return the WorkingTree object for a_bzrdir
 
1586
 
 
1587
        _found is a private parameter, do not use it. It is used to indicate
 
1588
               if format probing has already been done.
 
1589
        """
 
1590
        if not _found:
 
1591
            # we are being called directly and must probe.
 
1592
            raise NotImplementedError
 
1593
        if not isinstance(a_bzrdir.transport, LocalTransport):
 
1594
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
 
1595
        wt = self._open(a_bzrdir, self._open_control_files(a_bzrdir))
 
1596
        return wt
 
1597
 
 
1598
    def _open(self, a_bzrdir, control_files):
 
1599
        """Open the tree itself.
 
1600
 
 
1601
        :param a_bzrdir: the dir for the tree.
 
1602
        :param control_files: the control files for the tree.
 
1603
        """
 
1604
        return self._tree_class(a_bzrdir.root_transport.local_abspath('.'),
 
1605
                           branch=a_bzrdir.open_branch(),
 
1606
                           _format=self,
 
1607
                           _bzrdir=a_bzrdir,
 
1608
                           _control_files=control_files)
 
1609
 
 
1610
    def __get_matchingbzrdir(self):
 
1611
        return self._get_matchingbzrdir()
 
1612
 
 
1613
    def _get_matchingbzrdir(self):
 
1614
        """Overrideable method to get a bzrdir for testing."""
 
1615
        # please test against something that will let us do tree references
 
1616
        return controldir.format_registry.make_bzrdir(
 
1617
            'development-subtree')
 
1618
 
 
1619
    _matchingbzrdir = property(__get_matchingbzrdir)
 
1620
 
 
1621
 
 
1622
class WorkingTreeFormat4(DirStateWorkingTreeFormat):
 
1623
    """The first consolidated dirstate working tree format.
 
1624
 
 
1625
    This format:
 
1626
        - exists within a metadir controlling .bzr
 
1627
        - includes an explicit version marker for the workingtree control
 
1628
          files, separate from the ControlDir format
 
1629
        - modifies the hash cache format
 
1630
        - is new in bzr 0.15
 
1631
        - uses a LockDir to guard access to it.
 
1632
    """
 
1633
 
 
1634
    upgrade_recommended = False
 
1635
 
 
1636
    _tree_class = WorkingTree4
 
1637
 
 
1638
    @classmethod
 
1639
    def get_format_string(cls):
 
1640
        """See WorkingTreeFormat.get_format_string()."""
 
1641
        return "Bazaar Working Tree Format 4 (bzr 0.15)\n"
 
1642
 
 
1643
    def get_format_description(self):
 
1644
        """See WorkingTreeFormat.get_format_description()."""
 
1645
        return "Working tree format 4"
 
1646
 
 
1647
 
 
1648
class WorkingTreeFormat5(DirStateWorkingTreeFormat):
 
1649
    """WorkingTree format supporting content filtering.
 
1650
    """
 
1651
 
 
1652
    upgrade_recommended = False
 
1653
 
 
1654
    _tree_class = WorkingTree5
 
1655
 
 
1656
    @classmethod
 
1657
    def get_format_string(cls):
 
1658
        """See WorkingTreeFormat.get_format_string()."""
 
1659
        return "Bazaar Working Tree Format 5 (bzr 1.11)\n"
 
1660
 
 
1661
    def get_format_description(self):
 
1662
        """See WorkingTreeFormat.get_format_description()."""
 
1663
        return "Working tree format 5"
 
1664
 
 
1665
    def supports_content_filtering(self):
 
1666
        return True
 
1667
 
 
1668
 
 
1669
class WorkingTreeFormat6(DirStateWorkingTreeFormat):
 
1670
    """WorkingTree format supporting views.
 
1671
    """
 
1672
 
 
1673
    upgrade_recommended = False
 
1674
 
 
1675
    _tree_class = WorkingTree6
 
1676
 
 
1677
    @classmethod
 
1678
    def get_format_string(cls):
 
1679
        """See WorkingTreeFormat.get_format_string()."""
 
1680
        return "Bazaar Working Tree Format 6 (bzr 1.14)\n"
 
1681
 
 
1682
    def get_format_description(self):
 
1683
        """See WorkingTreeFormat.get_format_description()."""
 
1684
        return "Working tree format 6"
 
1685
 
 
1686
    def _init_custom_control_files(self, wt):
 
1687
        """Subclasses with custom control files should override this method."""
 
1688
        wt._transport.put_bytes('views', '', mode=wt.bzrdir._get_file_mode())
 
1689
 
 
1690
    def supports_content_filtering(self):
 
1691
        return True
 
1692
 
 
1693
    def supports_views(self):
 
1694
        return True
 
1695
 
 
1696
    def _get_matchingbzrdir(self):
 
1697
        """Overrideable method to get a bzrdir for testing."""
 
1698
        # We use 'development-subtree' instead of '2a', because we have a
 
1699
        # few tests that want to test tree references
 
1700
        return bzrdir.format_registry.make_bzrdir('development-subtree')
 
1701
 
 
1702
 
 
1703
class DirStateRevisionTree(InventoryTree):
 
1704
    """A revision tree pulling the inventory from a dirstate.
 
1705
    
 
1706
    Note that this is one of the historical (ie revision) trees cached in the
 
1707
    dirstate for easy access, not the workingtree.
 
1708
    """
 
1709
 
 
1710
    def __init__(self, dirstate, revision_id, repository):
 
1711
        self._dirstate = dirstate
 
1712
        self._revision_id = revision_id
 
1713
        self._repository = repository
 
1714
        self._inventory = None
 
1715
        self._locked = 0
 
1716
        self._dirstate_locked = False
 
1717
        self._repo_supports_tree_reference = getattr(
 
1718
            repository._format, "supports_tree_reference",
 
1719
            False)
 
1720
 
 
1721
    def __repr__(self):
 
1722
        return "<%s of %s in %s>" % \
 
1723
            (self.__class__.__name__, self._revision_id, self._dirstate)
 
1724
 
 
1725
    def annotate_iter(self, file_id,
 
1726
                      default_revision=_mod_revision.CURRENT_REVISION):
 
1727
        """See Tree.annotate_iter"""
 
1728
        text_key = (file_id, self.get_file_revision(file_id))
 
1729
        annotations = self._repository.texts.annotate(text_key)
 
1730
        return [(key[-1], line) for (key, line) in annotations]
 
1731
 
 
1732
    def _comparison_data(self, entry, path):
 
1733
        """See Tree._comparison_data."""
 
1734
        if entry is None:
 
1735
            return None, False, None
 
1736
        # trust the entry as RevisionTree does, but this may not be
 
1737
        # sensible: the entry might not have come from us?
 
1738
        return entry.kind, entry.executable, None
 
1739
 
 
1740
    def _file_size(self, entry, stat_value):
 
1741
        return entry.text_size
 
1742
 
 
1743
    def filter_unversioned_files(self, paths):
 
1744
        """Filter out paths that are not versioned.
 
1745
 
 
1746
        :return: set of paths.
 
1747
        """
 
1748
        pred = self.has_filename
 
1749
        return set((p for p in paths if not pred(p)))
 
1750
 
 
1751
    def get_root_id(self):
 
1752
        return self.path2id('')
 
1753
 
 
1754
    def id2path(self, file_id):
 
1755
        "Convert a file-id to a path."
 
1756
        entry = self._get_entry(file_id=file_id)
 
1757
        if entry == (None, None):
 
1758
            raise errors.NoSuchId(tree=self, file_id=file_id)
 
1759
        path_utf8 = osutils.pathjoin(entry[0][0], entry[0][1])
 
1760
        return path_utf8.decode('utf8')
 
1761
 
 
1762
    def iter_references(self):
 
1763
        if not self._repo_supports_tree_reference:
 
1764
            # When the repo doesn't support references, we will have nothing to
 
1765
            # return
 
1766
            return iter([])
 
1767
        # Otherwise, fall back to the default implementation
 
1768
        return super(DirStateRevisionTree, self).iter_references()
 
1769
 
 
1770
    def _get_parent_index(self):
 
1771
        """Return the index in the dirstate referenced by this tree."""
 
1772
        return self._dirstate.get_parent_ids().index(self._revision_id) + 1
 
1773
 
 
1774
    def _get_entry(self, file_id=None, path=None):
 
1775
        """Get the dirstate row for file_id or path.
 
1776
 
 
1777
        If either file_id or path is supplied, it is used as the key to lookup.
 
1778
        If both are supplied, the fastest lookup is used, and an error is
 
1779
        raised if they do not both point at the same row.
 
1780
 
 
1781
        :param file_id: An optional unicode file_id to be looked up.
 
1782
        :param path: An optional unicode path to be looked up.
 
1783
        :return: The dirstate row tuple for path/file_id, or (None, None)
 
1784
        """
 
1785
        if file_id is None and path is None:
 
1786
            raise errors.BzrError('must supply file_id or path')
 
1787
        if path is not None:
 
1788
            path = path.encode('utf8')
 
1789
        parent_index = self._get_parent_index()
 
1790
        return self._dirstate._get_entry(parent_index, fileid_utf8=file_id,
 
1791
            path_utf8=path)
 
1792
 
 
1793
    def _generate_inventory(self):
 
1794
        """Create and set self.inventory from the dirstate object.
 
1795
 
 
1796
        (So this is only called the first time the inventory is requested for
 
1797
        this tree; it then remains in memory until it's out of date.)
 
1798
 
 
1799
        This is relatively expensive: we have to walk the entire dirstate.
 
1800
        """
 
1801
        if not self._locked:
 
1802
            raise AssertionError(
 
1803
                'cannot generate inventory of an unlocked '
 
1804
                'dirstate revision tree')
 
1805
        # separate call for profiling - makes it clear where the costs are.
 
1806
        self._dirstate._read_dirblocks_if_needed()
 
1807
        if self._revision_id not in self._dirstate.get_parent_ids():
 
1808
            raise AssertionError(
 
1809
                'parent %s has disappeared from %s' % (
 
1810
                self._revision_id, self._dirstate.get_parent_ids()))
 
1811
        parent_index = self._dirstate.get_parent_ids().index(self._revision_id) + 1
 
1812
        # This is identical now to the WorkingTree _generate_inventory except
 
1813
        # for the tree index use.
 
1814
        root_key, current_entry = self._dirstate._get_entry(parent_index, path_utf8='')
 
1815
        current_id = root_key[2]
 
1816
        if current_entry[parent_index][0] != 'd':
 
1817
            raise AssertionError()
 
1818
        inv = Inventory(root_id=current_id, revision_id=self._revision_id)
 
1819
        inv.root.revision = current_entry[parent_index][4]
 
1820
        # Turn some things into local variables
 
1821
        minikind_to_kind = dirstate.DirState._minikind_to_kind
 
1822
        factory = entry_factory
 
1823
        utf8_decode = cache_utf8._utf8_decode
 
1824
        inv_byid = inv._byid
 
1825
        # we could do this straight out of the dirstate; it might be fast
 
1826
        # and should be profiled - RBC 20070216
 
1827
        parent_ies = {'' : inv.root}
 
1828
        for block in self._dirstate._dirblocks[1:]: #skip root
 
1829
            dirname = block[0]
 
1830
            try:
 
1831
                parent_ie = parent_ies[dirname]
 
1832
            except KeyError:
 
1833
                # all the paths in this block are not versioned in this tree
 
1834
                continue
 
1835
            for key, entry in block[1]:
 
1836
                minikind, fingerprint, size, executable, revid = entry[parent_index]
 
1837
                if minikind in ('a', 'r'): # absent, relocated
 
1838
                    # not this tree
 
1839
                    continue
 
1840
                name = key[1]
 
1841
                name_unicode = utf8_decode(name)[0]
 
1842
                file_id = key[2]
 
1843
                kind = minikind_to_kind[minikind]
 
1844
                inv_entry = factory[kind](file_id, name_unicode,
 
1845
                                          parent_ie.file_id)
 
1846
                inv_entry.revision = revid
 
1847
                if kind == 'file':
 
1848
                    inv_entry.executable = executable
 
1849
                    inv_entry.text_size = size
 
1850
                    inv_entry.text_sha1 = fingerprint
 
1851
                elif kind == 'directory':
 
1852
                    parent_ies[(dirname + '/' + name).strip('/')] = inv_entry
 
1853
                elif kind == 'symlink':
 
1854
                    inv_entry.symlink_target = utf8_decode(fingerprint)[0]
 
1855
                elif kind == 'tree-reference':
 
1856
                    inv_entry.reference_revision = fingerprint or None
 
1857
                else:
 
1858
                    raise AssertionError("cannot convert entry %r into an InventoryEntry"
 
1859
                            % entry)
 
1860
                # These checks cost us around 40ms on a 55k entry tree
 
1861
                if file_id in inv_byid:
 
1862
                    raise AssertionError('file_id %s already in'
 
1863
                        ' inventory as %s' % (file_id, inv_byid[file_id]))
 
1864
                if name_unicode in parent_ie.children:
 
1865
                    raise AssertionError('name %r already in parent'
 
1866
                        % (name_unicode,))
 
1867
                inv_byid[file_id] = inv_entry
 
1868
                parent_ie.children[name_unicode] = inv_entry
 
1869
        self._inventory = inv
 
1870
 
 
1871
    def get_file_mtime(self, file_id, path=None):
 
1872
        """Return the modification time for this record.
 
1873
 
 
1874
        We return the timestamp of the last-changed revision.
 
1875
        """
 
1876
        # Make sure the file exists
 
1877
        entry = self._get_entry(file_id, path=path)
 
1878
        if entry == (None, None): # do we raise?
 
1879
            raise errors.NoSuchId(self, file_id)
 
1880
        parent_index = self._get_parent_index()
 
1881
        last_changed_revision = entry[1][parent_index][4]
 
1882
        try:
 
1883
            rev = self._repository.get_revision(last_changed_revision)
 
1884
        except errors.NoSuchRevision:
 
1885
            raise errors.FileTimestampUnavailable(self.id2path(file_id))
 
1886
        return rev.timestamp
 
1887
 
 
1888
    def get_file_sha1(self, file_id, path=None, stat_value=None):
 
1889
        entry = self._get_entry(file_id=file_id, path=path)
 
1890
        parent_index = self._get_parent_index()
 
1891
        parent_details = entry[1][parent_index]
 
1892
        if parent_details[0] == 'f':
 
1893
            return parent_details[1]
 
1894
        return None
 
1895
 
 
1896
    @needs_read_lock
 
1897
    def get_file_revision(self, file_id):
 
1898
        inv, inv_file_id = self._unpack_file_id(file_id)
 
1899
        return inv[inv_file_id].revision
 
1900
 
 
1901
    def get_file(self, file_id, path=None):
 
1902
        return StringIO(self.get_file_text(file_id))
 
1903
 
 
1904
    def get_file_size(self, file_id):
 
1905
        """See Tree.get_file_size"""
 
1906
        inv, inv_file_id = self._unpack_file_id(file_id)
 
1907
        return inv[inv_file_id].text_size
 
1908
 
 
1909
    def get_file_text(self, file_id, path=None):
 
1910
        content = None
 
1911
        for _, content_iter in self.iter_files_bytes([(file_id, None)]):
 
1912
            if content is not None:
 
1913
                raise AssertionError('iter_files_bytes returned'
 
1914
                    ' too many entries')
 
1915
            # For each entry returned by iter_files_bytes, we must consume the
 
1916
            # content_iter before we step the files iterator.
 
1917
            content = ''.join(content_iter)
 
1918
        if content is None:
 
1919
            raise AssertionError('iter_files_bytes did not return'
 
1920
                ' the requested data')
 
1921
        return content
 
1922
 
 
1923
    def get_reference_revision(self, file_id, path=None):
 
1924
        inv, inv_file_id = self._unpack_file_id(file_id)
 
1925
        return inv[inv_file_id].reference_revision
 
1926
 
 
1927
    def iter_files_bytes(self, desired_files):
 
1928
        """See Tree.iter_files_bytes.
 
1929
 
 
1930
        This version is implemented on top of Repository.iter_files_bytes"""
 
1931
        parent_index = self._get_parent_index()
 
1932
        repo_desired_files = []
 
1933
        for file_id, identifier in desired_files:
 
1934
            entry = self._get_entry(file_id)
 
1935
            if entry == (None, None):
 
1936
                raise errors.NoSuchId(self, file_id)
 
1937
            repo_desired_files.append((file_id, entry[1][parent_index][4],
 
1938
                                       identifier))
 
1939
        return self._repository.iter_files_bytes(repo_desired_files)
 
1940
 
 
1941
    def get_symlink_target(self, file_id, path=None):
 
1942
        entry = self._get_entry(file_id=file_id)
 
1943
        parent_index = self._get_parent_index()
 
1944
        if entry[1][parent_index][0] != 'l':
 
1945
            return None
 
1946
        else:
 
1947
            target = entry[1][parent_index][1]
 
1948
            target = target.decode('utf8')
 
1949
            return target
 
1950
 
 
1951
    def get_revision_id(self):
 
1952
        """Return the revision id for this tree."""
 
1953
        return self._revision_id
 
1954
 
 
1955
    def _get_root_inventory(self):
 
1956
        if self._inventory is not None:
 
1957
            return self._inventory
 
1958
        self._must_be_locked()
 
1959
        self._generate_inventory()
 
1960
        return self._inventory
 
1961
 
 
1962
    root_inventory = property(_get_root_inventory,
 
1963
                         doc="Inventory of this Tree")
 
1964
 
 
1965
    @deprecated_method(deprecated_in((2, 5, 0)))
 
1966
    def _get_inventory(self):
 
1967
        return self.root_inventory
 
1968
 
 
1969
    inventory = property(_get_inventory,
 
1970
                         doc="Inventory of this Tree")
 
1971
 
 
1972
    def get_parent_ids(self):
 
1973
        """The parents of a tree in the dirstate are not cached."""
 
1974
        return self._repository.get_revision(self._revision_id).parent_ids
 
1975
 
 
1976
    def has_filename(self, filename):
 
1977
        return bool(self.path2id(filename))
 
1978
 
 
1979
    def kind(self, file_id):
 
1980
        entry = self._get_entry(file_id=file_id)[1]
 
1981
        if entry is None:
 
1982
            raise errors.NoSuchId(tree=self, file_id=file_id)
 
1983
        parent_index = self._get_parent_index()
 
1984
        return dirstate.DirState._minikind_to_kind[entry[parent_index][0]]
 
1985
 
 
1986
    def stored_kind(self, file_id):
 
1987
        """See Tree.stored_kind"""
 
1988
        return self.kind(file_id)
 
1989
 
 
1990
    def path_content_summary(self, path):
 
1991
        """See Tree.path_content_summary."""
 
1992
        inv, inv_file_id = self._path2inv_file_id(path)
 
1993
        if inv_file_id is None:
 
1994
            return ('missing', None, None, None)
 
1995
        entry = inv[inv_file_id]
 
1996
        kind = entry.kind
 
1997
        if kind == 'file':
 
1998
            return (kind, entry.text_size, entry.executable, entry.text_sha1)
 
1999
        elif kind == 'symlink':
 
2000
            return (kind, None, None, entry.symlink_target)
 
2001
        else:
 
2002
            return (kind, None, None, None)
 
2003
 
 
2004
    def is_executable(self, file_id, path=None):
 
2005
        inv, inv_file_id = self._unpack_file_id(file_id)
 
2006
        ie = inv[inv_file_id]
 
2007
        if ie.kind != "file":
 
2008
            return False
 
2009
        return ie.executable
 
2010
 
 
2011
    def is_locked(self):
 
2012
        return self._locked
 
2013
 
 
2014
    def list_files(self, include_root=False, from_dir=None, recursive=True):
 
2015
        # We use a standard implementation, because DirStateRevisionTree is
 
2016
        # dealing with one of the parents of the current state
 
2017
        if from_dir is None:
 
2018
            inv = self.root_inventory
 
2019
            from_dir_id = None
 
2020
        else:
 
2021
            inv, from_dir_id = self._path2inv_file_id(from_dir)
 
2022
            if from_dir_id is None:
 
2023
                # Directory not versioned
 
2024
                return
 
2025
        # FIXME: Support nested trees
 
2026
        entries = inv.iter_entries(from_dir=from_dir_id, recursive=recursive)
 
2027
        if inv.root is not None and not include_root and from_dir is None:
 
2028
            entries.next()
 
2029
        for path, entry in entries:
 
2030
            yield path, 'V', entry.kind, entry.file_id, entry
 
2031
 
 
2032
    def lock_read(self):
 
2033
        """Lock the tree for a set of operations.
 
2034
 
 
2035
        :return: A bzrlib.lock.LogicalLockResult.
 
2036
        """
 
2037
        if not self._locked:
 
2038
            self._repository.lock_read()
 
2039
            if self._dirstate._lock_token is None:
 
2040
                self._dirstate.lock_read()
 
2041
                self._dirstate_locked = True
 
2042
        self._locked += 1
 
2043
        return LogicalLockResult(self.unlock)
 
2044
 
 
2045
    def _must_be_locked(self):
 
2046
        if not self._locked:
 
2047
            raise errors.ObjectNotLocked(self)
 
2048
 
 
2049
    @needs_read_lock
 
2050
    def path2id(self, path):
 
2051
        """Return the id for path in this tree."""
 
2052
        # lookup by path: faster than splitting and walking the ivnentory.
 
2053
        if isinstance(path, list):
 
2054
            if path == []:
 
2055
                path = [""]
 
2056
            path = osutils.pathjoin(*path)
 
2057
        entry = self._get_entry(path=path)
 
2058
        if entry == (None, None):
 
2059
            return None
 
2060
        return entry[0][2]
 
2061
 
 
2062
    def unlock(self):
 
2063
        """Unlock, freeing any cache memory used during the lock."""
 
2064
        # outside of a lock, the inventory is suspect: release it.
 
2065
        self._locked -=1
 
2066
        if not self._locked:
 
2067
            self._inventory = None
 
2068
            self._locked = 0
 
2069
            if self._dirstate_locked:
 
2070
                self._dirstate.unlock()
 
2071
                self._dirstate_locked = False
 
2072
            self._repository.unlock()
 
2073
 
 
2074
    @needs_read_lock
 
2075
    def supports_tree_reference(self):
 
2076
        return self._repo_supports_tree_reference
 
2077
 
 
2078
    def walkdirs(self, prefix=""):
 
2079
        # TODO: jam 20070215 This is the lazy way by using the RevisionTree
 
2080
        # implementation based on an inventory.
 
2081
        # This should be cleaned up to use the much faster Dirstate code
 
2082
        # So for now, we just build up the parent inventory, and extract
 
2083
        # it the same way RevisionTree does.
 
2084
        _directory = 'directory'
 
2085
        inv = self._get_root_inventory()
 
2086
        top_id = inv.path2id(prefix)
 
2087
        if top_id is None:
 
2088
            pending = []
 
2089
        else:
 
2090
            pending = [(prefix, top_id)]
 
2091
        while pending:
 
2092
            dirblock = []
 
2093
            relpath, file_id = pending.pop()
 
2094
            # 0 - relpath, 1- file-id
 
2095
            if relpath:
 
2096
                relroot = relpath + '/'
 
2097
            else:
 
2098
                relroot = ""
 
2099
            # FIXME: stash the node in pending
 
2100
            entry = inv[file_id]
 
2101
            for name, child in entry.sorted_children():
 
2102
                toppath = relroot + name
 
2103
                dirblock.append((toppath, name, child.kind, None,
 
2104
                    child.file_id, child.kind
 
2105
                    ))
 
2106
            yield (relpath, entry.file_id), dirblock
 
2107
            # push the user specified dirs from dirblock
 
2108
            for dir in reversed(dirblock):
 
2109
                if dir[2] == _directory:
 
2110
                    pending.append((dir[0], dir[4]))
 
2111
 
 
2112
 
 
2113
class InterDirStateTree(InterTree):
 
2114
    """Fast path optimiser for changes_from with dirstate trees.
 
2115
 
 
2116
    This is used only when both trees are in the dirstate working file, and
 
2117
    the source is any parent within the dirstate, and the destination is
 
2118
    the current working tree of the same dirstate.
 
2119
    """
 
2120
    # this could be generalized to allow comparisons between any trees in the
 
2121
    # dirstate, and possibly between trees stored in different dirstates.
 
2122
 
 
2123
    def __init__(self, source, target):
 
2124
        super(InterDirStateTree, self).__init__(source, target)
 
2125
        if not InterDirStateTree.is_compatible(source, target):
 
2126
            raise Exception, "invalid source %r and target %r" % (source, target)
 
2127
 
 
2128
    @staticmethod
 
2129
    def make_source_parent_tree(source, target):
 
2130
        """Change the source tree into a parent of the target."""
 
2131
        revid = source.commit('record tree')
 
2132
        target.branch.fetch(source.branch, revid)
 
2133
        target.set_parent_ids([revid])
 
2134
        return target.basis_tree(), target
 
2135
 
 
2136
    @classmethod
 
2137
    def make_source_parent_tree_python_dirstate(klass, test_case, source, target):
 
2138
        result = klass.make_source_parent_tree(source, target)
 
2139
        result[1]._iter_changes = dirstate.ProcessEntryPython
 
2140
        return result
 
2141
 
 
2142
    @classmethod
 
2143
    def make_source_parent_tree_compiled_dirstate(klass, test_case, source,
 
2144
                                                  target):
 
2145
        from bzrlib.tests.test__dirstate_helpers import \
 
2146
            compiled_dirstate_helpers_feature
 
2147
        test_case.requireFeature(compiled_dirstate_helpers_feature)
 
2148
        from bzrlib._dirstate_helpers_pyx import ProcessEntryC
 
2149
        result = klass.make_source_parent_tree(source, target)
 
2150
        result[1]._iter_changes = ProcessEntryC
 
2151
        return result
 
2152
 
 
2153
    _matching_from_tree_format = WorkingTreeFormat4()
 
2154
    _matching_to_tree_format = WorkingTreeFormat4()
 
2155
 
 
2156
    @classmethod
 
2157
    def _test_mutable_trees_to_test_trees(klass, test_case, source, target):
 
2158
        # This method shouldn't be called, because we have python and C
 
2159
        # specific flavours.
 
2160
        raise NotImplementedError
 
2161
 
 
2162
    def iter_changes(self, include_unchanged=False,
 
2163
                      specific_files=None, pb=None, extra_trees=[],
 
2164
                      require_versioned=True, want_unversioned=False):
 
2165
        """Return the changes from source to target.
 
2166
 
 
2167
        :return: An iterator that yields tuples. See InterTree.iter_changes
 
2168
            for details.
 
2169
        :param specific_files: An optional list of file paths to restrict the
 
2170
            comparison to. When mapping filenames to ids, all matches in all
 
2171
            trees (including optional extra_trees) are used, and all children of
 
2172
            matched directories are included.
 
2173
        :param include_unchanged: An optional boolean requesting the inclusion of
 
2174
            unchanged entries in the result.
 
2175
        :param extra_trees: An optional list of additional trees to use when
 
2176
            mapping the contents of specific_files (paths) to file_ids.
 
2177
        :param require_versioned: If True, all files in specific_files must be
 
2178
            versioned in one of source, target, extra_trees or
 
2179
            PathsNotVersionedError is raised.
 
2180
        :param want_unversioned: Should unversioned files be returned in the
 
2181
            output. An unversioned file is defined as one with (False, False)
 
2182
            for the versioned pair.
 
2183
        """
 
2184
        # TODO: handle extra trees in the dirstate.
 
2185
        if (extra_trees or specific_files == []):
 
2186
            # we can't fast-path these cases (yet)
 
2187
            return super(InterDirStateTree, self).iter_changes(
 
2188
                include_unchanged, specific_files, pb, extra_trees,
 
2189
                require_versioned, want_unversioned=want_unversioned)
 
2190
        parent_ids = self.target.get_parent_ids()
 
2191
        if not (self.source._revision_id in parent_ids
 
2192
                or self.source._revision_id == _mod_revision.NULL_REVISION):
 
2193
            raise AssertionError(
 
2194
                "revision {%s} is not stored in {%s}, but %s "
 
2195
                "can only be used for trees stored in the dirstate"
 
2196
                % (self.source._revision_id, self.target, self.iter_changes))
 
2197
        target_index = 0
 
2198
        if self.source._revision_id == _mod_revision.NULL_REVISION:
 
2199
            source_index = None
 
2200
            indices = (target_index,)
 
2201
        else:
 
2202
            if not (self.source._revision_id in parent_ids):
 
2203
                raise AssertionError(
 
2204
                    "Failure: source._revision_id: %s not in target.parent_ids(%s)" % (
 
2205
                    self.source._revision_id, parent_ids))
 
2206
            source_index = 1 + parent_ids.index(self.source._revision_id)
 
2207
            indices = (source_index, target_index)
 
2208
        # -- make all specific_files utf8 --
 
2209
        if specific_files:
 
2210
            specific_files_utf8 = set()
 
2211
            for path in specific_files:
 
2212
                # Note, if there are many specific files, using cache_utf8
 
2213
                # would be good here.
 
2214
                specific_files_utf8.add(path.encode('utf8'))
 
2215
            specific_files = specific_files_utf8
 
2216
        else:
 
2217
            specific_files = set([''])
 
2218
        # -- specific_files is now a utf8 path set --
 
2219
 
 
2220
        # -- get the state object and prepare it.
 
2221
        state = self.target.current_dirstate()
 
2222
        state._read_dirblocks_if_needed()
 
2223
        if require_versioned:
 
2224
            # -- check all supplied paths are versioned in a search tree. --
 
2225
            not_versioned = []
 
2226
            for path in specific_files:
 
2227
                path_entries = state._entries_for_path(path)
 
2228
                if not path_entries:
 
2229
                    # this specified path is not present at all: error
 
2230
                    not_versioned.append(path.decode('utf-8'))
 
2231
                    continue
 
2232
                found_versioned = False
 
2233
                # for each id at this path
 
2234
                for entry in path_entries:
 
2235
                    # for each tree.
 
2236
                    for index in indices:
 
2237
                        if entry[1][index][0] != 'a': # absent
 
2238
                            found_versioned = True
 
2239
                            # all good: found a versioned cell
 
2240
                            break
 
2241
                if not found_versioned:
 
2242
                    # none of the indexes was not 'absent' at all ids for this
 
2243
                    # path.
 
2244
                    not_versioned.append(path.decode('utf-8'))
 
2245
            if len(not_versioned) > 0:
 
2246
                raise errors.PathsNotVersionedError(not_versioned)
 
2247
        # -- remove redundancy in supplied specific_files to prevent over-scanning --
 
2248
        search_specific_files = osutils.minimum_path_selection(specific_files)
 
2249
 
 
2250
        use_filesystem_for_exec = (sys.platform != 'win32')
 
2251
        iter_changes = self.target._iter_changes(include_unchanged,
 
2252
            use_filesystem_for_exec, search_specific_files, state,
 
2253
            source_index, target_index, want_unversioned, self.target)
 
2254
        return iter_changes.iter_changes()
 
2255
 
 
2256
    @staticmethod
 
2257
    def is_compatible(source, target):
 
2258
        # the target must be a dirstate working tree
 
2259
        if not isinstance(target, DirStateWorkingTree):
 
2260
            return False
 
2261
        # the source must be a revtree or dirstate rev tree.
 
2262
        if not isinstance(source,
 
2263
            (revisiontree.RevisionTree, DirStateRevisionTree)):
 
2264
            return False
 
2265
        # the source revid must be in the target dirstate
 
2266
        if not (source._revision_id == _mod_revision.NULL_REVISION or
 
2267
            source._revision_id in target.get_parent_ids()):
 
2268
            # TODO: what about ghosts? it may well need to
 
2269
            # check for them explicitly.
 
2270
            return False
 
2271
        return True
 
2272
 
 
2273
InterTree.register_optimiser(InterDirStateTree)
 
2274
 
 
2275
 
 
2276
class Converter3to4(object):
 
2277
    """Perform an in-place upgrade of format 3 to format 4 trees."""
 
2278
 
 
2279
    def __init__(self):
 
2280
        self.target_format = WorkingTreeFormat4()
 
2281
 
 
2282
    def convert(self, tree):
 
2283
        # lock the control files not the tree, so that we dont get tree
 
2284
        # on-unlock behaviours, and so that noone else diddles with the
 
2285
        # tree during upgrade.
 
2286
        tree._control_files.lock_write()
 
2287
        try:
 
2288
            tree.read_working_inventory()
 
2289
            self.create_dirstate_data(tree)
 
2290
            self.update_format(tree)
 
2291
            self.remove_xml_files(tree)
 
2292
        finally:
 
2293
            tree._control_files.unlock()
 
2294
 
 
2295
    def create_dirstate_data(self, tree):
 
2296
        """Create the dirstate based data for tree."""
 
2297
        local_path = tree.bzrdir.get_workingtree_transport(None
 
2298
            ).local_abspath('dirstate')
 
2299
        state = dirstate.DirState.from_tree(tree, local_path)
 
2300
        state.save()
 
2301
        state.unlock()
 
2302
 
 
2303
    def remove_xml_files(self, tree):
 
2304
        """Remove the oldformat 3 data."""
 
2305
        transport = tree.bzrdir.get_workingtree_transport(None)
 
2306
        for path in ['basis-inventory-cache', 'inventory', 'last-revision',
 
2307
            'pending-merges', 'stat-cache']:
 
2308
            try:
 
2309
                transport.delete(path)
 
2310
            except errors.NoSuchFile:
 
2311
                # some files are optional - just deal.
 
2312
                pass
 
2313
 
 
2314
    def update_format(self, tree):
 
2315
        """Change the format marker."""
 
2316
        tree._transport.put_bytes('format',
 
2317
            self.target_format.as_string(),
 
2318
            mode=tree.bzrdir._get_file_mode())
 
2319
 
 
2320
 
 
2321
class Converter4to5(object):
 
2322
    """Perform an in-place upgrade of format 4 to format 5 trees."""
 
2323
 
 
2324
    def __init__(self):
 
2325
        self.target_format = WorkingTreeFormat5()
 
2326
 
 
2327
    def convert(self, tree):
 
2328
        # lock the control files not the tree, so that we don't get tree
 
2329
        # on-unlock behaviours, and so that no-one else diddles with the
 
2330
        # tree during upgrade.
 
2331
        tree._control_files.lock_write()
 
2332
        try:
 
2333
            self.update_format(tree)
 
2334
        finally:
 
2335
            tree._control_files.unlock()
 
2336
 
 
2337
    def update_format(self, tree):
 
2338
        """Change the format marker."""
 
2339
        tree._transport.put_bytes('format',
 
2340
            self.target_format.as_string(),
 
2341
            mode=tree.bzrdir._get_file_mode())
 
2342
 
 
2343
 
 
2344
class Converter4or5to6(object):
 
2345
    """Perform an in-place upgrade of format 4 or 5 to format 6 trees."""
 
2346
 
 
2347
    def __init__(self):
 
2348
        self.target_format = WorkingTreeFormat6()
 
2349
 
 
2350
    def convert(self, tree):
 
2351
        # lock the control files not the tree, so that we don't get tree
 
2352
        # on-unlock behaviours, and so that no-one else diddles with the
 
2353
        # tree during upgrade.
 
2354
        tree._control_files.lock_write()
 
2355
        try:
 
2356
            self.init_custom_control_files(tree)
 
2357
            self.update_format(tree)
 
2358
        finally:
 
2359
            tree._control_files.unlock()
 
2360
 
 
2361
    def init_custom_control_files(self, tree):
 
2362
        """Initialize custom control files."""
 
2363
        tree._transport.put_bytes('views', '',
 
2364
            mode=tree.bzrdir._get_file_mode())
 
2365
 
 
2366
    def update_format(self, tree):
 
2367
        """Change the format marker."""
 
2368
        tree._transport.put_bytes('format',
 
2369
            self.target_format.as_string(),
 
2370
            mode=tree.bzrdir._get_file_mode())