~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/workingtree_4.py

  • Committer: Robert Collins
  • Date: 2005-10-19 11:54:59 UTC
  • mfrom: (1464.1.1)
  • Revision ID: robertc@robertcollins.net-20051019115459-a850274afcf87734
merge from Martin, via newformat, and teach sftp about urlescaped paths

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2007-2011 Canonical Ltd
2
 
#
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
#
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
#
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
17
 
"""WorkingTree4 format and implementation.
18
 
 
19
 
WorkingTree4 provides the dirstate based working tree logic.
20
 
 
21
 
To get a WorkingTree, call bzrdir.open_workingtree() or
22
 
WorkingTree.open(dir).
23
 
"""
24
 
 
25
 
from __future__ import absolute_import
26
 
 
27
 
from cStringIO import StringIO
28
 
import os
29
 
import sys
30
 
 
31
 
from bzrlib.lazy_import import lazy_import
32
 
lazy_import(globals(), """
33
 
import errno
34
 
import stat
35
 
 
36
 
from bzrlib import (
37
 
    bzrdir,
38
 
    cache_utf8,
39
 
    config,
40
 
    conflicts as _mod_conflicts,
41
 
    controldir,
42
 
    debug,
43
 
    dirstate,
44
 
    errors,
45
 
    filters as _mod_filters,
46
 
    generate_ids,
47
 
    osutils,
48
 
    revision as _mod_revision,
49
 
    revisiontree,
50
 
    trace,
51
 
    transform,
52
 
    views,
53
 
    )
54
 
""")
55
 
 
56
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
57
 
from bzrlib.inventory import Inventory, ROOT_ID, entry_factory
58
 
from bzrlib.lock import LogicalLockResult
59
 
from bzrlib.lockable_files import LockableFiles
60
 
from bzrlib.lockdir import LockDir
61
 
from bzrlib.mutabletree import (
62
 
    MutableTree,
63
 
    needs_tree_write_lock,
64
 
    )
65
 
from bzrlib.osutils import (
66
 
    file_kind,
67
 
    isdir,
68
 
    pathjoin,
69
 
    realpath,
70
 
    safe_unicode,
71
 
    )
72
 
from bzrlib.symbol_versioning import (
73
 
    deprecated_in,
74
 
    deprecated_method,
75
 
    )
76
 
from bzrlib.transport.local import LocalTransport
77
 
from bzrlib.tree import (
78
 
    InterTree,
79
 
    InventoryTree,
80
 
    )
81
 
from bzrlib.workingtree import (
82
 
    InventoryWorkingTree,
83
 
    WorkingTree,
84
 
    WorkingTreeFormatMetaDir,
85
 
    )
86
 
 
87
 
 
88
 
class DirStateWorkingTree(InventoryWorkingTree):
89
 
 
90
 
    def __init__(self, basedir,
91
 
                 branch,
92
 
                 _control_files=None,
93
 
                 _format=None,
94
 
                 _bzrdir=None):
95
 
        """Construct a WorkingTree for basedir.
96
 
 
97
 
        If the branch is not supplied, it is opened automatically.
98
 
        If the branch is supplied, it must be the branch for this basedir.
99
 
        (branch.base is not cross checked, because for remote branches that
100
 
        would be meaningless).
101
 
        """
102
 
        self._format = _format
103
 
        self.bzrdir = _bzrdir
104
 
        basedir = safe_unicode(basedir)
105
 
        trace.mutter("opening working tree %r", basedir)
106
 
        self._branch = branch
107
 
        self.basedir = realpath(basedir)
108
 
        # if branch is at our basedir and is a format 6 or less
109
 
        # assume all other formats have their own control files.
110
 
        self._control_files = _control_files
111
 
        self._transport = self._control_files._transport
112
 
        self._dirty = None
113
 
        #-------------
114
 
        # during a read or write lock these objects are set, and are
115
 
        # None the rest of the time.
116
 
        self._dirstate = None
117
 
        self._inventory = None
118
 
        #-------------
119
 
        self._setup_directory_is_tree_reference()
120
 
        self._detect_case_handling()
121
 
        self._rules_searcher = None
122
 
        self.views = self._make_views()
123
 
        #--- allow tests to select the dirstate iter_changes implementation
124
 
        self._iter_changes = dirstate._process_entry
125
 
 
126
 
    @needs_tree_write_lock
127
 
    def _add(self, files, ids, kinds):
128
 
        """See MutableTree._add."""
129
 
        state = self.current_dirstate()
130
 
        for f, file_id, kind in zip(files, ids, kinds):
131
 
            f = f.strip('/')
132
 
            if self.path2id(f):
133
 
                # special case tree root handling.
134
 
                if f == '' and self.path2id(f) == ROOT_ID:
135
 
                    state.set_path_id('', generate_ids.gen_file_id(f))
136
 
                continue
137
 
            if file_id is None:
138
 
                file_id = generate_ids.gen_file_id(f)
139
 
            # deliberately add the file with no cached stat or sha1
140
 
            # - on the first access it will be gathered, and we can
141
 
            # always change this once tests are all passing.
142
 
            state.add(f, file_id, kind, None, '')
143
 
        self._make_dirty(reset_inventory=True)
144
 
 
145
 
    def _get_check_refs(self):
146
 
        """Return the references needed to perform a check of this tree."""
147
 
        return [('trees', self.last_revision())]
148
 
 
149
 
    def _make_dirty(self, reset_inventory):
150
 
        """Make the tree state dirty.
151
 
 
152
 
        :param reset_inventory: True if the cached inventory should be removed
153
 
            (presuming there is one).
154
 
        """
155
 
        self._dirty = True
156
 
        if reset_inventory and self._inventory is not None:
157
 
            self._inventory = None
158
 
 
159
 
    @needs_tree_write_lock
160
 
    def add_reference(self, sub_tree):
161
 
        # use standard implementation, which calls back to self._add
162
 
        #
163
 
        # So we don't store the reference_revision in the working dirstate,
164
 
        # it's just recorded at the moment of commit.
165
 
        self._add_reference(sub_tree)
166
 
 
167
 
    def break_lock(self):
168
 
        """Break a lock if one is present from another instance.
169
 
 
170
 
        Uses the ui factory to ask for confirmation if the lock may be from
171
 
        an active process.
172
 
 
173
 
        This will probe the repository for its lock as well.
174
 
        """
175
 
        # if the dirstate is locked by an active process, reject the break lock
176
 
        # call.
177
 
        try:
178
 
            if self._dirstate is None:
179
 
                clear = True
180
 
            else:
181
 
                clear = False
182
 
            state = self._current_dirstate()
183
 
            if state._lock_token is not None:
184
 
                # we already have it locked. sheese, cant break our own lock.
185
 
                raise errors.LockActive(self.basedir)
186
 
            else:
187
 
                try:
188
 
                    # try for a write lock - need permission to get one anyhow
189
 
                    # to break locks.
190
 
                    state.lock_write()
191
 
                except errors.LockContention:
192
 
                    # oslocks fail when a process is still live: fail.
193
 
                    # TODO: get the locked lockdir info and give to the user to
194
 
                    # assist in debugging.
195
 
                    raise errors.LockActive(self.basedir)
196
 
                else:
197
 
                    state.unlock()
198
 
        finally:
199
 
            if clear:
200
 
                self._dirstate = None
201
 
        self._control_files.break_lock()
202
 
        self.branch.break_lock()
203
 
 
204
 
    def _comparison_data(self, entry, path):
205
 
        kind, executable, stat_value = \
206
 
            WorkingTree._comparison_data(self, entry, path)
207
 
        # it looks like a plain directory, but it's really a reference -- see
208
 
        # also kind()
209
 
        if (self._repo_supports_tree_reference and kind == 'directory'
210
 
            and entry is not None and entry.kind == 'tree-reference'):
211
 
            kind = 'tree-reference'
212
 
        return kind, executable, stat_value
213
 
 
214
 
    @needs_write_lock
215
 
    def commit(self, message=None, revprops=None, *args, **kwargs):
216
 
        # mark the tree as dirty post commit - commit
217
 
        # can change the current versioned list by doing deletes.
218
 
        result = WorkingTree.commit(self, message, revprops, *args, **kwargs)
219
 
        self._make_dirty(reset_inventory=True)
220
 
        return result
221
 
 
222
 
    def current_dirstate(self):
223
 
        """Return the current dirstate object.
224
 
 
225
 
        This is not part of the tree interface and only exposed for ease of
226
 
        testing.
227
 
 
228
 
        :raises errors.NotWriteLocked: when not in a lock.
229
 
        """
230
 
        self._must_be_locked()
231
 
        return self._current_dirstate()
232
 
 
233
 
    def _current_dirstate(self):
234
 
        """Internal function that does not check lock status.
235
 
 
236
 
        This is needed for break_lock which also needs the dirstate.
237
 
        """
238
 
        if self._dirstate is not None:
239
 
            return self._dirstate
240
 
        local_path = self.bzrdir.get_workingtree_transport(None
241
 
            ).local_abspath('dirstate')
242
 
        self._dirstate = dirstate.DirState.on_file(local_path,
243
 
            self._sha1_provider(), self._worth_saving_limit())
244
 
        return self._dirstate
245
 
 
246
 
    def _sha1_provider(self):
247
 
        """A function that returns a SHA1Provider suitable for this tree.
248
 
 
249
 
        :return: None if content filtering is not supported by this tree.
250
 
          Otherwise, a SHA1Provider is returned that sha's the canonical
251
 
          form of files, i.e. after read filters are applied.
252
 
        """
253
 
        if self.supports_content_filtering():
254
 
            return ContentFilterAwareSHA1Provider(self)
255
 
        else:
256
 
            return None
257
 
 
258
 
    def _worth_saving_limit(self):
259
 
        """How many hash changes are ok before we must save the dirstate.
260
 
 
261
 
        :return: an integer. -1 means never save.
262
 
        """
263
 
        conf = self.get_config_stack()
264
 
        return conf.get('bzr.workingtree.worth_saving_limit')
265
 
 
266
 
    def filter_unversioned_files(self, paths):
267
 
        """Filter out paths that are versioned.
268
 
 
269
 
        :return: set of paths.
270
 
        """
271
 
        # TODO: make a generic multi-bisect routine roughly that should list
272
 
        # the paths, then process one half at a time recursively, and feed the
273
 
        # results of each bisect in further still
274
 
        paths = sorted(paths)
275
 
        result = set()
276
 
        state = self.current_dirstate()
277
 
        # TODO we want a paths_to_dirblocks helper I think
278
 
        for path in paths:
279
 
            dirname, basename = os.path.split(path.encode('utf8'))
280
 
            _, _, _, path_is_versioned = state._get_block_entry_index(
281
 
                dirname, basename, 0)
282
 
            if not path_is_versioned:
283
 
                result.add(path)
284
 
        return result
285
 
 
286
 
    def flush(self):
287
 
        """Write all cached data to disk."""
288
 
        if self._control_files._lock_mode != 'w':
289
 
            raise errors.NotWriteLocked(self)
290
 
        self.current_dirstate().save()
291
 
        self._inventory = None
292
 
        self._dirty = False
293
 
 
294
 
    @needs_tree_write_lock
295
 
    def _gather_kinds(self, files, kinds):
296
 
        """See MutableTree._gather_kinds."""
297
 
        for pos, f in enumerate(files):
298
 
            if kinds[pos] is None:
299
 
                kinds[pos] = self._kind(f)
300
 
 
301
 
    def _generate_inventory(self):
302
 
        """Create and set self.inventory from the dirstate object.
303
 
 
304
 
        This is relatively expensive: we have to walk the entire dirstate.
305
 
        Ideally we would not, and can deprecate this function.
306
 
        """
307
 
        #: uncomment to trap on inventory requests.
308
 
        # import pdb;pdb.set_trace()
309
 
        state = self.current_dirstate()
310
 
        state._read_dirblocks_if_needed()
311
 
        root_key, current_entry = self._get_entry(path='')
312
 
        current_id = root_key[2]
313
 
        if not (current_entry[0][0] == 'd'): # directory
314
 
            raise AssertionError(current_entry)
315
 
        inv = Inventory(root_id=current_id)
316
 
        # Turn some things into local variables
317
 
        minikind_to_kind = dirstate.DirState._minikind_to_kind
318
 
        factory = entry_factory
319
 
        utf8_decode = cache_utf8._utf8_decode
320
 
        inv_byid = inv._byid
321
 
        # we could do this straight out of the dirstate; it might be fast
322
 
        # and should be profiled - RBC 20070216
323
 
        parent_ies = {'' : inv.root}
324
 
        for block in state._dirblocks[1:]: # skip the root
325
 
            dirname = block[0]
326
 
            try:
327
 
                parent_ie = parent_ies[dirname]
328
 
            except KeyError:
329
 
                # all the paths in this block are not versioned in this tree
330
 
                continue
331
 
            for key, entry in block[1]:
332
 
                minikind, link_or_sha1, size, executable, stat = entry[0]
333
 
                if minikind in ('a', 'r'): # absent, relocated
334
 
                    # a parent tree only entry
335
 
                    continue
336
 
                name = key[1]
337
 
                name_unicode = utf8_decode(name)[0]
338
 
                file_id = key[2]
339
 
                kind = minikind_to_kind[minikind]
340
 
                inv_entry = factory[kind](file_id, name_unicode,
341
 
                                          parent_ie.file_id)
342
 
                if kind == 'file':
343
 
                    # This is only needed on win32, where this is the only way
344
 
                    # we know the executable bit.
345
 
                    inv_entry.executable = executable
346
 
                    # not strictly needed: working tree
347
 
                    #inv_entry.text_size = size
348
 
                    #inv_entry.text_sha1 = sha1
349
 
                elif kind == 'directory':
350
 
                    # add this entry to the parent map.
351
 
                    parent_ies[(dirname + '/' + name).strip('/')] = inv_entry
352
 
                elif kind == 'tree-reference':
353
 
                    if not self._repo_supports_tree_reference:
354
 
                        raise errors.UnsupportedOperation(
355
 
                            self._generate_inventory,
356
 
                            self.branch.repository)
357
 
                    inv_entry.reference_revision = link_or_sha1 or None
358
 
                elif kind != 'symlink':
359
 
                    raise AssertionError("unknown kind %r" % kind)
360
 
                # These checks cost us around 40ms on a 55k entry tree
361
 
                if file_id in inv_byid:
362
 
                    raise AssertionError('file_id %s already in'
363
 
                        ' inventory as %s' % (file_id, inv_byid[file_id]))
364
 
                if name_unicode in parent_ie.children:
365
 
                    raise AssertionError('name %r already in parent'
366
 
                        % (name_unicode,))
367
 
                inv_byid[file_id] = inv_entry
368
 
                parent_ie.children[name_unicode] = inv_entry
369
 
        self._inventory = inv
370
 
 
371
 
    def _get_entry(self, file_id=None, path=None):
372
 
        """Get the dirstate row for file_id or path.
373
 
 
374
 
        If either file_id or path is supplied, it is used as the key to lookup.
375
 
        If both are supplied, the fastest lookup is used, and an error is
376
 
        raised if they do not both point at the same row.
377
 
 
378
 
        :param file_id: An optional unicode file_id to be looked up.
379
 
        :param path: An optional unicode path to be looked up.
380
 
        :return: The dirstate row tuple for path/file_id, or (None, None)
381
 
        """
382
 
        if file_id is None and path is None:
383
 
            raise errors.BzrError('must supply file_id or path')
384
 
        state = self.current_dirstate()
385
 
        if path is not None:
386
 
            path = path.encode('utf8')
387
 
        return state._get_entry(0, fileid_utf8=file_id, path_utf8=path)
388
 
 
389
 
    def get_file_sha1(self, file_id, path=None, stat_value=None):
390
 
        # check file id is valid unconditionally.
391
 
        entry = self._get_entry(file_id=file_id, path=path)
392
 
        if entry[0] is None:
393
 
            raise errors.NoSuchId(self, file_id)
394
 
        if path is None:
395
 
            path = pathjoin(entry[0][0], entry[0][1]).decode('utf8')
396
 
 
397
 
        file_abspath = self.abspath(path)
398
 
        state = self.current_dirstate()
399
 
        if stat_value is None:
400
 
            try:
401
 
                stat_value = osutils.lstat(file_abspath)
402
 
            except OSError, e:
403
 
                if e.errno == errno.ENOENT:
404
 
                    return None
405
 
                else:
406
 
                    raise
407
 
        link_or_sha1 = dirstate.update_entry(state, entry, file_abspath,
408
 
            stat_value=stat_value)
409
 
        if entry[1][0][0] == 'f':
410
 
            if link_or_sha1 is None:
411
 
                file_obj, statvalue = self.get_file_with_stat(file_id, path)
412
 
                try:
413
 
                    sha1 = osutils.sha_file(file_obj)
414
 
                finally:
415
 
                    file_obj.close()
416
 
                self._observed_sha1(file_id, path, (sha1, statvalue))
417
 
                return sha1
418
 
            else:
419
 
                return link_or_sha1
420
 
        return None
421
 
 
422
 
    def _get_root_inventory(self):
423
 
        """Get the inventory for the tree. This is only valid within a lock."""
424
 
        if 'evil' in debug.debug_flags:
425
 
            trace.mutter_callsite(2,
426
 
                "accessing .inventory forces a size of tree translation.")
427
 
        if self._inventory is not None:
428
 
            return self._inventory
429
 
        self._must_be_locked()
430
 
        self._generate_inventory()
431
 
        return self._inventory
432
 
 
433
 
    @deprecated_method(deprecated_in((2, 5, 0)))
434
 
    def _get_inventory(self):
435
 
        return self.root_inventory
436
 
 
437
 
    inventory = property(_get_inventory,
438
 
                         doc="Inventory of this Tree")
439
 
 
440
 
    root_inventory = property(_get_root_inventory,
441
 
        "Root inventory of this tree")
442
 
 
443
 
    @needs_read_lock
444
 
    def get_parent_ids(self):
445
 
        """See Tree.get_parent_ids.
446
 
 
447
 
        This implementation requests the ids list from the dirstate file.
448
 
        """
449
 
        return self.current_dirstate().get_parent_ids()
450
 
 
451
 
    def get_reference_revision(self, file_id, path=None):
452
 
        # referenced tree's revision is whatever's currently there
453
 
        return self.get_nested_tree(file_id, path).last_revision()
454
 
 
455
 
    def get_nested_tree(self, file_id, path=None):
456
 
        if path is None:
457
 
            path = self.id2path(file_id)
458
 
        # else: check file_id is at path?
459
 
        return WorkingTree.open(self.abspath(path))
460
 
 
461
 
    @needs_read_lock
462
 
    def get_root_id(self):
463
 
        """Return the id of this trees root"""
464
 
        return self._get_entry(path='')[0][2]
465
 
 
466
 
    def has_id(self, file_id):
467
 
        state = self.current_dirstate()
468
 
        row, parents = self._get_entry(file_id=file_id)
469
 
        if row is None:
470
 
            return False
471
 
        return osutils.lexists(pathjoin(
472
 
                    self.basedir, row[0].decode('utf8'), row[1].decode('utf8')))
473
 
 
474
 
    def has_or_had_id(self, file_id):
475
 
        state = self.current_dirstate()
476
 
        row, parents = self._get_entry(file_id=file_id)
477
 
        return row is not None
478
 
 
479
 
    @needs_read_lock
480
 
    def id2path(self, file_id):
481
 
        "Convert a file-id to a path."
482
 
        state = self.current_dirstate()
483
 
        entry = self._get_entry(file_id=file_id)
484
 
        if entry == (None, None):
485
 
            raise errors.NoSuchId(tree=self, file_id=file_id)
486
 
        path_utf8 = osutils.pathjoin(entry[0][0], entry[0][1])
487
 
        return path_utf8.decode('utf8')
488
 
 
489
 
    def _is_executable_from_path_and_stat_from_basis(self, path, stat_result):
490
 
        entry = self._get_entry(path=path)
491
 
        if entry == (None, None):
492
 
            return False # Missing entries are not executable
493
 
        return entry[1][0][3] # Executable?
494
 
 
495
 
    def is_executable(self, file_id, path=None):
496
 
        """Test if a file is executable or not.
497
 
 
498
 
        Note: The caller is expected to take a read-lock before calling this.
499
 
        """
500
 
        if not self._supports_executable():
501
 
            entry = self._get_entry(file_id=file_id, path=path)
502
 
            if entry == (None, None):
503
 
                return False
504
 
            return entry[1][0][3]
505
 
        else:
506
 
            self._must_be_locked()
507
 
            if not path:
508
 
                path = self.id2path(file_id)
509
 
            mode = osutils.lstat(self.abspath(path)).st_mode
510
 
            return bool(stat.S_ISREG(mode) and stat.S_IEXEC & mode)
511
 
 
512
 
    def all_file_ids(self):
513
 
        """See Tree.iter_all_file_ids"""
514
 
        self._must_be_locked()
515
 
        result = set()
516
 
        for key, tree_details in self.current_dirstate()._iter_entries():
517
 
            if tree_details[0][0] in ('a', 'r'): # relocated
518
 
                continue
519
 
            result.add(key[2])
520
 
        return result
521
 
 
522
 
    @needs_read_lock
523
 
    def __iter__(self):
524
 
        """Iterate through file_ids for this tree.
525
 
 
526
 
        file_ids are in a WorkingTree if they are in the working inventory
527
 
        and the working file exists.
528
 
        """
529
 
        result = []
530
 
        for key, tree_details in self.current_dirstate()._iter_entries():
531
 
            if tree_details[0][0] in ('a', 'r'): # absent, relocated
532
 
                # not relevant to the working tree
533
 
                continue
534
 
            path = pathjoin(self.basedir, key[0].decode('utf8'), key[1].decode('utf8'))
535
 
            if osutils.lexists(path):
536
 
                result.append(key[2])
537
 
        return iter(result)
538
 
 
539
 
    def iter_references(self):
540
 
        if not self._repo_supports_tree_reference:
541
 
            # When the repo doesn't support references, we will have nothing to
542
 
            # return
543
 
            return
544
 
        for key, tree_details in self.current_dirstate()._iter_entries():
545
 
            if tree_details[0][0] in ('a', 'r'): # absent, relocated
546
 
                # not relevant to the working tree
547
 
                continue
548
 
            if not key[1]:
549
 
                # the root is not a reference.
550
 
                continue
551
 
            relpath = pathjoin(key[0].decode('utf8'), key[1].decode('utf8'))
552
 
            try:
553
 
                if self._kind(relpath) == 'tree-reference':
554
 
                    yield relpath, key[2]
555
 
            except errors.NoSuchFile:
556
 
                # path is missing on disk.
557
 
                continue
558
 
 
559
 
    def _observed_sha1(self, file_id, path, (sha1, statvalue)):
560
 
        """See MutableTree._observed_sha1."""
561
 
        state = self.current_dirstate()
562
 
        entry = self._get_entry(file_id=file_id, path=path)
563
 
        state._observed_sha1(entry, sha1, statvalue)
564
 
 
565
 
    def kind(self, file_id):
566
 
        """Return the kind of a file.
567
 
 
568
 
        This is always the actual kind that's on disk, regardless of what it
569
 
        was added as.
570
 
 
571
 
        Note: The caller is expected to take a read-lock before calling this.
572
 
        """
573
 
        relpath = self.id2path(file_id)
574
 
        if relpath is None:
575
 
            raise AssertionError(
576
 
                "path for id {%s} is None!" % file_id)
577
 
        return self._kind(relpath)
578
 
 
579
 
    def _kind(self, relpath):
580
 
        abspath = self.abspath(relpath)
581
 
        kind = file_kind(abspath)
582
 
        if (self._repo_supports_tree_reference and kind == 'directory'):
583
 
            entry = self._get_entry(path=relpath)
584
 
            if entry[1] is not None:
585
 
                if entry[1][0][0] == 't':
586
 
                    kind = 'tree-reference'
587
 
        return kind
588
 
 
589
 
    @needs_read_lock
590
 
    def _last_revision(self):
591
 
        """See Mutable.last_revision."""
592
 
        parent_ids = self.current_dirstate().get_parent_ids()
593
 
        if parent_ids:
594
 
            return parent_ids[0]
595
 
        else:
596
 
            return _mod_revision.NULL_REVISION
597
 
 
598
 
    def lock_read(self):
599
 
        """See Branch.lock_read, and WorkingTree.unlock.
600
 
 
601
 
        :return: A bzrlib.lock.LogicalLockResult.
602
 
        """
603
 
        self.branch.lock_read()
604
 
        try:
605
 
            self._control_files.lock_read()
606
 
            try:
607
 
                state = self.current_dirstate()
608
 
                if not state._lock_token:
609
 
                    state.lock_read()
610
 
                # set our support for tree references from the repository in
611
 
                # use.
612
 
                self._repo_supports_tree_reference = getattr(
613
 
                    self.branch.repository._format, "supports_tree_reference",
614
 
                    False)
615
 
            except:
616
 
                self._control_files.unlock()
617
 
                raise
618
 
        except:
619
 
            self.branch.unlock()
620
 
            raise
621
 
        return LogicalLockResult(self.unlock)
622
 
 
623
 
    def _lock_self_write(self):
624
 
        """This should be called after the branch is locked."""
625
 
        try:
626
 
            self._control_files.lock_write()
627
 
            try:
628
 
                state = self.current_dirstate()
629
 
                if not state._lock_token:
630
 
                    state.lock_write()
631
 
                # set our support for tree references from the repository in
632
 
                # use.
633
 
                self._repo_supports_tree_reference = getattr(
634
 
                    self.branch.repository._format, "supports_tree_reference",
635
 
                    False)
636
 
            except:
637
 
                self._control_files.unlock()
638
 
                raise
639
 
        except:
640
 
            self.branch.unlock()
641
 
            raise
642
 
        return LogicalLockResult(self.unlock)
643
 
 
644
 
    def lock_tree_write(self):
645
 
        """See MutableTree.lock_tree_write, and WorkingTree.unlock.
646
 
 
647
 
        :return: A bzrlib.lock.LogicalLockResult.
648
 
        """
649
 
        self.branch.lock_read()
650
 
        return self._lock_self_write()
651
 
 
652
 
    def lock_write(self):
653
 
        """See MutableTree.lock_write, and WorkingTree.unlock.
654
 
 
655
 
        :return: A bzrlib.lock.LogicalLockResult.
656
 
        """
657
 
        self.branch.lock_write()
658
 
        return self._lock_self_write()
659
 
 
660
 
    @needs_tree_write_lock
661
 
    def move(self, from_paths, to_dir, after=False):
662
 
        """See WorkingTree.move()."""
663
 
        result = []
664
 
        if not from_paths:
665
 
            return result
666
 
        state = self.current_dirstate()
667
 
        if isinstance(from_paths, basestring):
668
 
            raise ValueError()
669
 
        to_dir_utf8 = to_dir.encode('utf8')
670
 
        to_entry_dirname, to_basename = os.path.split(to_dir_utf8)
671
 
        id_index = state._get_id_index()
672
 
        # check destination directory
673
 
        # get the details for it
674
 
        to_entry_block_index, to_entry_entry_index, dir_present, entry_present = \
675
 
            state._get_block_entry_index(to_entry_dirname, to_basename, 0)
676
 
        if not entry_present:
677
 
            raise errors.BzrMoveFailedError('', to_dir,
678
 
                errors.NotVersionedError(to_dir))
679
 
        to_entry = state._dirblocks[to_entry_block_index][1][to_entry_entry_index]
680
 
        # get a handle on the block itself.
681
 
        to_block_index = state._ensure_block(
682
 
            to_entry_block_index, to_entry_entry_index, to_dir_utf8)
683
 
        to_block = state._dirblocks[to_block_index]
684
 
        to_abs = self.abspath(to_dir)
685
 
        if not isdir(to_abs):
686
 
            raise errors.BzrMoveFailedError('',to_dir,
687
 
                errors.NotADirectory(to_abs))
688
 
 
689
 
        if to_entry[1][0][0] != 'd':
690
 
            raise errors.BzrMoveFailedError('',to_dir,
691
 
                errors.NotADirectory(to_abs))
692
 
 
693
 
        if self._inventory is not None:
694
 
            update_inventory = True
695
 
            inv = self.root_inventory
696
 
            to_dir_id = to_entry[0][2]
697
 
            to_dir_ie = inv[to_dir_id]
698
 
        else:
699
 
            update_inventory = False
700
 
 
701
 
        rollbacks = []
702
 
        def move_one(old_entry, from_path_utf8, minikind, executable,
703
 
                     fingerprint, packed_stat, size,
704
 
                     to_block, to_key, to_path_utf8):
705
 
            state._make_absent(old_entry)
706
 
            from_key = old_entry[0]
707
 
            rollbacks.append(
708
 
                lambda:state.update_minimal(from_key,
709
 
                    minikind,
710
 
                    executable=executable,
711
 
                    fingerprint=fingerprint,
712
 
                    packed_stat=packed_stat,
713
 
                    size=size,
714
 
                    path_utf8=from_path_utf8))
715
 
            state.update_minimal(to_key,
716
 
                    minikind,
717
 
                    executable=executable,
718
 
                    fingerprint=fingerprint,
719
 
                    packed_stat=packed_stat,
720
 
                    size=size,
721
 
                    path_utf8=to_path_utf8)
722
 
            added_entry_index, _ = state._find_entry_index(to_key, to_block[1])
723
 
            new_entry = to_block[1][added_entry_index]
724
 
            rollbacks.append(lambda:state._make_absent(new_entry))
725
 
 
726
 
        for from_rel in from_paths:
727
 
            # from_rel is 'pathinroot/foo/bar'
728
 
            from_rel_utf8 = from_rel.encode('utf8')
729
 
            from_dirname, from_tail = osutils.split(from_rel)
730
 
            from_dirname, from_tail_utf8 = osutils.split(from_rel_utf8)
731
 
            from_entry = self._get_entry(path=from_rel)
732
 
            if from_entry == (None, None):
733
 
                raise errors.BzrMoveFailedError(from_rel,to_dir,
734
 
                    errors.NotVersionedError(path=from_rel))
735
 
 
736
 
            from_id = from_entry[0][2]
737
 
            to_rel = pathjoin(to_dir, from_tail)
738
 
            to_rel_utf8 = pathjoin(to_dir_utf8, from_tail_utf8)
739
 
            item_to_entry = self._get_entry(path=to_rel)
740
 
            if item_to_entry != (None, None):
741
 
                raise errors.BzrMoveFailedError(from_rel, to_rel,
742
 
                    "Target is already versioned.")
743
 
 
744
 
            if from_rel == to_rel:
745
 
                raise errors.BzrMoveFailedError(from_rel, to_rel,
746
 
                    "Source and target are identical.")
747
 
 
748
 
            from_missing = not self.has_filename(from_rel)
749
 
            to_missing = not self.has_filename(to_rel)
750
 
            if after:
751
 
                move_file = False
752
 
            else:
753
 
                move_file = True
754
 
            if to_missing:
755
 
                if not move_file:
756
 
                    raise errors.BzrMoveFailedError(from_rel, to_rel,
757
 
                        errors.NoSuchFile(path=to_rel,
758
 
                        extra="New file has not been created yet"))
759
 
                elif from_missing:
760
 
                    # neither path exists
761
 
                    raise errors.BzrRenameFailedError(from_rel, to_rel,
762
 
                        errors.PathsDoNotExist(paths=(from_rel, to_rel)))
763
 
            else:
764
 
                if from_missing: # implicitly just update our path mapping
765
 
                    move_file = False
766
 
                elif not after:
767
 
                    raise errors.RenameFailedFilesExist(from_rel, to_rel)
768
 
 
769
 
            rollbacks = []
770
 
            def rollback_rename():
771
 
                """A single rename has failed, roll it back."""
772
 
                # roll back everything, even if we encounter trouble doing one
773
 
                # of them.
774
 
                #
775
 
                # TODO: at least log the other exceptions rather than just
776
 
                # losing them mbp 20070307
777
 
                exc_info = None
778
 
                for rollback in reversed(rollbacks):
779
 
                    try:
780
 
                        rollback()
781
 
                    except Exception, e:
782
 
                        exc_info = sys.exc_info()
783
 
                if exc_info:
784
 
                    raise exc_info[0], exc_info[1], exc_info[2]
785
 
 
786
 
            # perform the disk move first - its the most likely failure point.
787
 
            if move_file:
788
 
                from_rel_abs = self.abspath(from_rel)
789
 
                to_rel_abs = self.abspath(to_rel)
790
 
                try:
791
 
                    osutils.rename(from_rel_abs, to_rel_abs)
792
 
                except OSError, e:
793
 
                    raise errors.BzrMoveFailedError(from_rel, to_rel, e[1])
794
 
                rollbacks.append(lambda: osutils.rename(to_rel_abs, from_rel_abs))
795
 
            try:
796
 
                # perform the rename in the inventory next if needed: its easy
797
 
                # to rollback
798
 
                if update_inventory:
799
 
                    # rename the entry
800
 
                    from_entry = inv[from_id]
801
 
                    current_parent = from_entry.parent_id
802
 
                    inv.rename(from_id, to_dir_id, from_tail)
803
 
                    rollbacks.append(
804
 
                        lambda: inv.rename(from_id, current_parent, from_tail))
805
 
                # finally do the rename in the dirstate, which is a little
806
 
                # tricky to rollback, but least likely to need it.
807
 
                old_block_index, old_entry_index, dir_present, file_present = \
808
 
                    state._get_block_entry_index(from_dirname, from_tail_utf8, 0)
809
 
                old_block = state._dirblocks[old_block_index][1]
810
 
                old_entry = old_block[old_entry_index]
811
 
                from_key, old_entry_details = old_entry
812
 
                cur_details = old_entry_details[0]
813
 
                # remove the old row
814
 
                to_key = ((to_block[0],) + from_key[1:3])
815
 
                minikind = cur_details[0]
816
 
                move_one(old_entry, from_path_utf8=from_rel_utf8,
817
 
                         minikind=minikind,
818
 
                         executable=cur_details[3],
819
 
                         fingerprint=cur_details[1],
820
 
                         packed_stat=cur_details[4],
821
 
                         size=cur_details[2],
822
 
                         to_block=to_block,
823
 
                         to_key=to_key,
824
 
                         to_path_utf8=to_rel_utf8)
825
 
 
826
 
                if minikind == 'd':
827
 
                    def update_dirblock(from_dir, to_key, to_dir_utf8):
828
 
                        """Recursively update all entries in this dirblock."""
829
 
                        if from_dir == '':
830
 
                            raise AssertionError("renaming root not supported")
831
 
                        from_key = (from_dir, '')
832
 
                        from_block_idx, present = \
833
 
                            state._find_block_index_from_key(from_key)
834
 
                        if not present:
835
 
                            # This is the old record, if it isn't present, then
836
 
                            # there is theoretically nothing to update.
837
 
                            # (Unless it isn't present because of lazy loading,
838
 
                            # but we don't do that yet)
839
 
                            return
840
 
                        from_block = state._dirblocks[from_block_idx]
841
 
                        to_block_index, to_entry_index, _, _ = \
842
 
                            state._get_block_entry_index(to_key[0], to_key[1], 0)
843
 
                        to_block_index = state._ensure_block(
844
 
                            to_block_index, to_entry_index, to_dir_utf8)
845
 
                        to_block = state._dirblocks[to_block_index]
846
 
 
847
 
                        # Grab a copy since move_one may update the list.
848
 
                        for entry in from_block[1][:]:
849
 
                            if not (entry[0][0] == from_dir):
850
 
                                raise AssertionError()
851
 
                            cur_details = entry[1][0]
852
 
                            to_key = (to_dir_utf8, entry[0][1], entry[0][2])
853
 
                            from_path_utf8 = osutils.pathjoin(entry[0][0], entry[0][1])
854
 
                            to_path_utf8 = osutils.pathjoin(to_dir_utf8, entry[0][1])
855
 
                            minikind = cur_details[0]
856
 
                            if minikind in 'ar':
857
 
                                # Deleted children of a renamed directory
858
 
                                # Do not need to be updated.
859
 
                                # Children that have been renamed out of this
860
 
                                # directory should also not be updated
861
 
                                continue
862
 
                            move_one(entry, from_path_utf8=from_path_utf8,
863
 
                                     minikind=minikind,
864
 
                                     executable=cur_details[3],
865
 
                                     fingerprint=cur_details[1],
866
 
                                     packed_stat=cur_details[4],
867
 
                                     size=cur_details[2],
868
 
                                     to_block=to_block,
869
 
                                     to_key=to_key,
870
 
                                     to_path_utf8=to_path_utf8)
871
 
                            if minikind == 'd':
872
 
                                # We need to move all the children of this
873
 
                                # entry
874
 
                                update_dirblock(from_path_utf8, to_key,
875
 
                                                to_path_utf8)
876
 
                    update_dirblock(from_rel_utf8, to_key, to_rel_utf8)
877
 
            except:
878
 
                rollback_rename()
879
 
                raise
880
 
            result.append((from_rel, to_rel))
881
 
            state._mark_modified()
882
 
            self._make_dirty(reset_inventory=False)
883
 
 
884
 
        return result
885
 
 
886
 
    def _must_be_locked(self):
887
 
        if not self._control_files._lock_count:
888
 
            raise errors.ObjectNotLocked(self)
889
 
 
890
 
    def _new_tree(self):
891
 
        """Initialize the state in this tree to be a new tree."""
892
 
        self._dirty = True
893
 
 
894
 
    @needs_read_lock
895
 
    def path2id(self, path):
896
 
        """Return the id for path in this tree."""
897
 
        if isinstance(path, list):
898
 
            if path == []:
899
 
                path = [""]
900
 
            path = osutils.pathjoin(*path)
901
 
        path = path.strip('/')
902
 
        entry = self._get_entry(path=path)
903
 
        if entry == (None, None):
904
 
            return None
905
 
        return entry[0][2]
906
 
 
907
 
    def paths2ids(self, paths, trees=[], require_versioned=True):
908
 
        """See Tree.paths2ids().
909
 
 
910
 
        This specialisation fast-paths the case where all the trees are in the
911
 
        dirstate.
912
 
        """
913
 
        if paths is None:
914
 
            return None
915
 
        parents = self.get_parent_ids()
916
 
        for tree in trees:
917
 
            if not (isinstance(tree, DirStateRevisionTree) and tree._revision_id in
918
 
                parents):
919
 
                return super(DirStateWorkingTree, self).paths2ids(paths,
920
 
                    trees, require_versioned)
921
 
        search_indexes = [0] + [1 + parents.index(tree._revision_id) for tree in trees]
922
 
        # -- make all paths utf8 --
923
 
        paths_utf8 = set()
924
 
        for path in paths:
925
 
            paths_utf8.add(path.encode('utf8'))
926
 
        paths = paths_utf8
927
 
        # -- paths is now a utf8 path set --
928
 
        # -- get the state object and prepare it.
929
 
        state = self.current_dirstate()
930
 
        if False and (state._dirblock_state == dirstate.DirState.NOT_IN_MEMORY
931
 
            and '' not in paths):
932
 
            paths2ids = self._paths2ids_using_bisect
933
 
        else:
934
 
            paths2ids = self._paths2ids_in_memory
935
 
        return paths2ids(paths, search_indexes,
936
 
                         require_versioned=require_versioned)
937
 
 
938
 
    def _paths2ids_in_memory(self, paths, search_indexes,
939
 
                             require_versioned=True):
940
 
        state = self.current_dirstate()
941
 
        state._read_dirblocks_if_needed()
942
 
        def _entries_for_path(path):
943
 
            """Return a list with all the entries that match path for all ids.
944
 
            """
945
 
            dirname, basename = os.path.split(path)
946
 
            key = (dirname, basename, '')
947
 
            block_index, present = state._find_block_index_from_key(key)
948
 
            if not present:
949
 
                # the block which should contain path is absent.
950
 
                return []
951
 
            result = []
952
 
            block = state._dirblocks[block_index][1]
953
 
            entry_index, _ = state._find_entry_index(key, block)
954
 
            # we may need to look at multiple entries at this path: walk while the paths match.
955
 
            while (entry_index < len(block) and
956
 
                block[entry_index][0][0:2] == key[0:2]):
957
 
                result.append(block[entry_index])
958
 
                entry_index += 1
959
 
            return result
960
 
        if require_versioned:
961
 
            # -- check all supplied paths are versioned in a search tree. --
962
 
            all_versioned = True
963
 
            for path in paths:
964
 
                path_entries = _entries_for_path(path)
965
 
                if not path_entries:
966
 
                    # this specified path is not present at all: error
967
 
                    all_versioned = False
968
 
                    break
969
 
                found_versioned = False
970
 
                # for each id at this path
971
 
                for entry in path_entries:
972
 
                    # for each tree.
973
 
                    for index in search_indexes:
974
 
                        if entry[1][index][0] != 'a': # absent
975
 
                            found_versioned = True
976
 
                            # all good: found a versioned cell
977
 
                            break
978
 
                if not found_versioned:
979
 
                    # none of the indexes was not 'absent' at all ids for this
980
 
                    # path.
981
 
                    all_versioned = False
982
 
                    break
983
 
            if not all_versioned:
984
 
                raise errors.PathsNotVersionedError(
985
 
                    [p.decode('utf-8') for p in paths])
986
 
        # -- remove redundancy in supplied paths to prevent over-scanning --
987
 
        search_paths = osutils.minimum_path_selection(paths)
988
 
        # sketch:
989
 
        # for all search_indexs in each path at or under each element of
990
 
        # search_paths, if the detail is relocated: add the id, and add the
991
 
        # relocated path as one to search if its not searched already. If the
992
 
        # detail is not relocated, add the id.
993
 
        searched_paths = set()
994
 
        found_ids = set()
995
 
        def _process_entry(entry):
996
 
            """Look at search_indexes within entry.
997
 
 
998
 
            If a specific tree's details are relocated, add the relocation
999
 
            target to search_paths if not searched already. If it is absent, do
1000
 
            nothing. Otherwise add the id to found_ids.
1001
 
            """
1002
 
            for index in search_indexes:
1003
 
                if entry[1][index][0] == 'r': # relocated
1004
 
                    if not osutils.is_inside_any(searched_paths, entry[1][index][1]):
1005
 
                        search_paths.add(entry[1][index][1])
1006
 
                elif entry[1][index][0] != 'a': # absent
1007
 
                    found_ids.add(entry[0][2])
1008
 
        while search_paths:
1009
 
            current_root = search_paths.pop()
1010
 
            searched_paths.add(current_root)
1011
 
            # process the entries for this containing directory: the rest will be
1012
 
            # found by their parents recursively.
1013
 
            root_entries = _entries_for_path(current_root)
1014
 
            if not root_entries:
1015
 
                # this specified path is not present at all, skip it.
1016
 
                continue
1017
 
            for entry in root_entries:
1018
 
                _process_entry(entry)
1019
 
            initial_key = (current_root, '', '')
1020
 
            block_index, _ = state._find_block_index_from_key(initial_key)
1021
 
            while (block_index < len(state._dirblocks) and
1022
 
                osutils.is_inside(current_root, state._dirblocks[block_index][0])):
1023
 
                for entry in state._dirblocks[block_index][1]:
1024
 
                    _process_entry(entry)
1025
 
                block_index += 1
1026
 
        return found_ids
1027
 
 
1028
 
    def _paths2ids_using_bisect(self, paths, search_indexes,
1029
 
                                require_versioned=True):
1030
 
        state = self.current_dirstate()
1031
 
        found_ids = set()
1032
 
 
1033
 
        split_paths = sorted(osutils.split(p) for p in paths)
1034
 
        found = state._bisect_recursive(split_paths)
1035
 
 
1036
 
        if require_versioned:
1037
 
            found_dir_names = set(dir_name_id[:2] for dir_name_id in found)
1038
 
            for dir_name in split_paths:
1039
 
                if dir_name not in found_dir_names:
1040
 
                    raise errors.PathsNotVersionedError(
1041
 
                        [p.decode('utf-8') for p in paths])
1042
 
 
1043
 
        for dir_name_id, trees_info in found.iteritems():
1044
 
            for index in search_indexes:
1045
 
                if trees_info[index][0] not in ('r', 'a'):
1046
 
                    found_ids.add(dir_name_id[2])
1047
 
        return found_ids
1048
 
 
1049
 
    def read_working_inventory(self):
1050
 
        """Read the working inventory.
1051
 
 
1052
 
        This is a meaningless operation for dirstate, but we obey it anyhow.
1053
 
        """
1054
 
        return self.root_inventory
1055
 
 
1056
 
    @needs_read_lock
1057
 
    def revision_tree(self, revision_id):
1058
 
        """See Tree.revision_tree.
1059
 
 
1060
 
        WorkingTree4 supplies revision_trees for any basis tree.
1061
 
        """
1062
 
        dirstate = self.current_dirstate()
1063
 
        parent_ids = dirstate.get_parent_ids()
1064
 
        if revision_id not in parent_ids:
1065
 
            raise errors.NoSuchRevisionInTree(self, revision_id)
1066
 
        if revision_id in dirstate.get_ghosts():
1067
 
            raise errors.NoSuchRevisionInTree(self, revision_id)
1068
 
        return DirStateRevisionTree(dirstate, revision_id,
1069
 
            self.branch.repository)
1070
 
 
1071
 
    @needs_tree_write_lock
1072
 
    def set_last_revision(self, new_revision):
1073
 
        """Change the last revision in the working tree."""
1074
 
        parents = self.get_parent_ids()
1075
 
        if new_revision in (_mod_revision.NULL_REVISION, None):
1076
 
            if len(parents) >= 2:
1077
 
                raise AssertionError(
1078
 
                    "setting the last parent to none with a pending merge is "
1079
 
                    "unsupported.")
1080
 
            self.set_parent_ids([])
1081
 
        else:
1082
 
            self.set_parent_ids([new_revision] + parents[1:],
1083
 
                allow_leftmost_as_ghost=True)
1084
 
 
1085
 
    @needs_tree_write_lock
1086
 
    def set_parent_ids(self, revision_ids, allow_leftmost_as_ghost=False):
1087
 
        """Set the parent ids to revision_ids.
1088
 
 
1089
 
        See also set_parent_trees. This api will try to retrieve the tree data
1090
 
        for each element of revision_ids from the trees repository. If you have
1091
 
        tree data already available, it is more efficient to use
1092
 
        set_parent_trees rather than set_parent_ids. set_parent_ids is however
1093
 
        an easier API to use.
1094
 
 
1095
 
        :param revision_ids: The revision_ids to set as the parent ids of this
1096
 
            working tree. Any of these may be ghosts.
1097
 
        """
1098
 
        trees = []
1099
 
        for revision_id in revision_ids:
1100
 
            try:
1101
 
                revtree = self.branch.repository.revision_tree(revision_id)
1102
 
                # TODO: jam 20070213 KnitVersionedFile raises
1103
 
                #       RevisionNotPresent rather than NoSuchRevision if a
1104
 
                #       given revision_id is not present. Should Repository be
1105
 
                #       catching it and re-raising NoSuchRevision?
1106
 
            except (errors.NoSuchRevision, errors.RevisionNotPresent):
1107
 
                revtree = None
1108
 
            trees.append((revision_id, revtree))
1109
 
        self.set_parent_trees(trees,
1110
 
            allow_leftmost_as_ghost=allow_leftmost_as_ghost)
1111
 
 
1112
 
    @needs_tree_write_lock
1113
 
    def set_parent_trees(self, parents_list, allow_leftmost_as_ghost=False):
1114
 
        """Set the parents of the working tree.
1115
 
 
1116
 
        :param parents_list: A list of (revision_id, tree) tuples.
1117
 
            If tree is None, then that element is treated as an unreachable
1118
 
            parent tree - i.e. a ghost.
1119
 
        """
1120
 
        dirstate = self.current_dirstate()
1121
 
        if len(parents_list) > 0:
1122
 
            if not allow_leftmost_as_ghost and parents_list[0][1] is None:
1123
 
                raise errors.GhostRevisionUnusableHere(parents_list[0][0])
1124
 
        real_trees = []
1125
 
        ghosts = []
1126
 
 
1127
 
        parent_ids = [rev_id for rev_id, tree in parents_list]
1128
 
        graph = self.branch.repository.get_graph()
1129
 
        heads = graph.heads(parent_ids)
1130
 
        accepted_revisions = set()
1131
 
 
1132
 
        # convert absent trees to the null tree, which we convert back to
1133
 
        # missing on access.
1134
 
        for rev_id, tree in parents_list:
1135
 
            if len(accepted_revisions) > 0:
1136
 
                # we always accept the first tree
1137
 
                if rev_id in accepted_revisions or rev_id not in heads:
1138
 
                    # We have already included either this tree, or its
1139
 
                    # descendent, so we skip it.
1140
 
                    continue
1141
 
            _mod_revision.check_not_reserved_id(rev_id)
1142
 
            if tree is not None:
1143
 
                real_trees.append((rev_id, tree))
1144
 
            else:
1145
 
                real_trees.append((rev_id,
1146
 
                    self.branch.repository.revision_tree(
1147
 
                        _mod_revision.NULL_REVISION)))
1148
 
                ghosts.append(rev_id)
1149
 
            accepted_revisions.add(rev_id)
1150
 
        updated = False
1151
 
        if (len(real_trees) == 1
1152
 
            and not ghosts
1153
 
            and self.branch.repository._format.fast_deltas
1154
 
            and isinstance(real_trees[0][1],
1155
 
                revisiontree.InventoryRevisionTree)
1156
 
            and self.get_parent_ids()):
1157
 
            rev_id, rev_tree = real_trees[0]
1158
 
            basis_id = self.get_parent_ids()[0]
1159
 
            # There are times when basis_tree won't be in
1160
 
            # self.branch.repository, (switch, for example)
1161
 
            try:
1162
 
                basis_tree = self.branch.repository.revision_tree(basis_id)
1163
 
            except errors.NoSuchRevision:
1164
 
                # Fall back to the set_parent_trees(), since we can't use
1165
 
                # _make_delta if we can't get the RevisionTree
1166
 
                pass
1167
 
            else:
1168
 
                delta = rev_tree.root_inventory._make_delta(
1169
 
                    basis_tree.root_inventory)
1170
 
                dirstate.update_basis_by_delta(delta, rev_id)
1171
 
                updated = True
1172
 
        if not updated:
1173
 
            dirstate.set_parent_trees(real_trees, ghosts=ghosts)
1174
 
        self._make_dirty(reset_inventory=False)
1175
 
 
1176
 
    def _set_root_id(self, file_id):
1177
 
        """See WorkingTree.set_root_id."""
1178
 
        state = self.current_dirstate()
1179
 
        state.set_path_id('', file_id)
1180
 
        if state._dirblock_state == dirstate.DirState.IN_MEMORY_MODIFIED:
1181
 
            self._make_dirty(reset_inventory=True)
1182
 
 
1183
 
    def _sha_from_stat(self, path, stat_result):
1184
 
        """Get a sha digest from the tree's stat cache.
1185
 
 
1186
 
        The default implementation assumes no stat cache is present.
1187
 
 
1188
 
        :param path: The path.
1189
 
        :param stat_result: The stat result being looked up.
1190
 
        """
1191
 
        return self.current_dirstate().sha1_from_stat(path, stat_result)
1192
 
 
1193
 
    @needs_read_lock
1194
 
    def supports_tree_reference(self):
1195
 
        return self._repo_supports_tree_reference
1196
 
 
1197
 
    def unlock(self):
1198
 
        """Unlock in format 4 trees needs to write the entire dirstate."""
1199
 
        if self._control_files._lock_count == 1:
1200
 
            # do non-implementation specific cleanup
1201
 
            self._cleanup()
1202
 
 
1203
 
            # eventually we should do signature checking during read locks for
1204
 
            # dirstate updates.
1205
 
            if self._control_files._lock_mode == 'w':
1206
 
                if self._dirty:
1207
 
                    self.flush()
1208
 
            if self._dirstate is not None:
1209
 
                # This is a no-op if there are no modifications.
1210
 
                self._dirstate.save()
1211
 
                self._dirstate.unlock()
1212
 
            # TODO: jam 20070301 We shouldn't have to wipe the dirstate at this
1213
 
            #       point. Instead, it could check if the header has been
1214
 
            #       modified when it is locked, and if not, it can hang on to
1215
 
            #       the data it has in memory.
1216
 
            self._dirstate = None
1217
 
            self._inventory = None
1218
 
        # reverse order of locking.
1219
 
        try:
1220
 
            return self._control_files.unlock()
1221
 
        finally:
1222
 
            self.branch.unlock()
1223
 
 
1224
 
    @needs_tree_write_lock
1225
 
    def unversion(self, file_ids):
1226
 
        """Remove the file ids in file_ids from the current versioned set.
1227
 
 
1228
 
        When a file_id is unversioned, all of its children are automatically
1229
 
        unversioned.
1230
 
 
1231
 
        :param file_ids: The file ids to stop versioning.
1232
 
        :raises: NoSuchId if any fileid is not currently versioned.
1233
 
        """
1234
 
        if not file_ids:
1235
 
            return
1236
 
        state = self.current_dirstate()
1237
 
        state._read_dirblocks_if_needed()
1238
 
        ids_to_unversion = set(file_ids)
1239
 
        paths_to_unversion = set()
1240
 
        # sketch:
1241
 
        # check if the root is to be unversioned, if so, assert for now.
1242
 
        # walk the state marking unversioned things as absent.
1243
 
        # if there are any un-unversioned ids at the end, raise
1244
 
        for key, details in state._dirblocks[0][1]:
1245
 
            if (details[0][0] not in ('a', 'r') and # absent or relocated
1246
 
                key[2] in ids_to_unversion):
1247
 
                # I haven't written the code to unversion / yet - it should be
1248
 
                # supported.
1249
 
                raise errors.BzrError('Unversioning the / is not currently supported')
1250
 
        block_index = 0
1251
 
        while block_index < len(state._dirblocks):
1252
 
            # process one directory at a time.
1253
 
            block = state._dirblocks[block_index]
1254
 
            # first check: is the path one to remove - it or its children
1255
 
            delete_block = False
1256
 
            for path in paths_to_unversion:
1257
 
                if (block[0].startswith(path) and
1258
 
                    (len(block[0]) == len(path) or
1259
 
                     block[0][len(path)] == '/')):
1260
 
                    # this entire block should be deleted - its the block for a
1261
 
                    # path to unversion; or the child of one
1262
 
                    delete_block = True
1263
 
                    break
1264
 
            # TODO: trim paths_to_unversion as we pass by paths
1265
 
            if delete_block:
1266
 
                # this block is to be deleted: process it.
1267
 
                # TODO: we can special case the no-parents case and
1268
 
                # just forget the whole block.
1269
 
                entry_index = 0
1270
 
                while entry_index < len(block[1]):
1271
 
                    entry = block[1][entry_index]
1272
 
                    if entry[1][0][0] in 'ar':
1273
 
                        # don't remove absent or renamed entries
1274
 
                        entry_index += 1
1275
 
                    else:
1276
 
                        # Mark this file id as having been removed
1277
 
                        ids_to_unversion.discard(entry[0][2])
1278
 
                        if not state._make_absent(entry):
1279
 
                            # The block has not shrunk.
1280
 
                            entry_index += 1
1281
 
                # go to the next block. (At the moment we dont delete empty
1282
 
                # dirblocks)
1283
 
                block_index += 1
1284
 
                continue
1285
 
            entry_index = 0
1286
 
            while entry_index < len(block[1]):
1287
 
                entry = block[1][entry_index]
1288
 
                if (entry[1][0][0] in ('a', 'r') or # absent, relocated
1289
 
                    # ^ some parent row.
1290
 
                    entry[0][2] not in ids_to_unversion):
1291
 
                    # ^ not an id to unversion
1292
 
                    entry_index += 1
1293
 
                    continue
1294
 
                if entry[1][0][0] == 'd':
1295
 
                    paths_to_unversion.add(pathjoin(entry[0][0], entry[0][1]))
1296
 
                if not state._make_absent(entry):
1297
 
                    entry_index += 1
1298
 
                # we have unversioned this id
1299
 
                ids_to_unversion.remove(entry[0][2])
1300
 
            block_index += 1
1301
 
        if ids_to_unversion:
1302
 
            raise errors.NoSuchId(self, iter(ids_to_unversion).next())
1303
 
        self._make_dirty(reset_inventory=False)
1304
 
        # have to change the legacy inventory too.
1305
 
        if self._inventory is not None:
1306
 
            for file_id in file_ids:
1307
 
                if self._inventory.has_id(file_id):
1308
 
                    self._inventory.remove_recursive_id(file_id)
1309
 
 
1310
 
    @needs_tree_write_lock
1311
 
    def rename_one(self, from_rel, to_rel, after=False):
1312
 
        """See WorkingTree.rename_one"""
1313
 
        self.flush()
1314
 
        super(DirStateWorkingTree, self).rename_one(from_rel, to_rel, after)
1315
 
 
1316
 
    @needs_tree_write_lock
1317
 
    def apply_inventory_delta(self, changes):
1318
 
        """See MutableTree.apply_inventory_delta"""
1319
 
        state = self.current_dirstate()
1320
 
        state.update_by_delta(changes)
1321
 
        self._make_dirty(reset_inventory=True)
1322
 
 
1323
 
    def update_basis_by_delta(self, new_revid, delta):
1324
 
        """See MutableTree.update_basis_by_delta."""
1325
 
        if self.last_revision() == new_revid:
1326
 
            raise AssertionError()
1327
 
        self.current_dirstate().update_basis_by_delta(delta, new_revid)
1328
 
 
1329
 
    @needs_read_lock
1330
 
    def _validate(self):
1331
 
        self._dirstate._validate()
1332
 
 
1333
 
    @needs_tree_write_lock
1334
 
    def _write_inventory(self, inv):
1335
 
        """Write inventory as the current inventory."""
1336
 
        if self._dirty:
1337
 
            raise AssertionError("attempting to write an inventory when the "
1338
 
                "dirstate is dirty will lose pending changes")
1339
 
        had_inventory = self._inventory is not None
1340
 
        # Setting self._inventory = None forces the dirstate to regenerate the
1341
 
        # working inventory. We do this because self.inventory may be inv, or
1342
 
        # may have been modified, and either case would prevent a clean delta
1343
 
        # being created.
1344
 
        self._inventory = None
1345
 
        # generate a delta,
1346
 
        delta = inv._make_delta(self.root_inventory)
1347
 
        # and apply it.
1348
 
        self.apply_inventory_delta(delta)
1349
 
        if had_inventory:
1350
 
            self._inventory = inv
1351
 
        self.flush()
1352
 
 
1353
 
    @needs_tree_write_lock
1354
 
    def reset_state(self, revision_ids=None):
1355
 
        """Reset the state of the working tree.
1356
 
 
1357
 
        This does a hard-reset to a last-known-good state. This is a way to
1358
 
        fix if something got corrupted (like the .bzr/checkout/dirstate file)
1359
 
        """
1360
 
        if revision_ids is None:
1361
 
            revision_ids = self.get_parent_ids()
1362
 
        if not revision_ids:
1363
 
            base_tree = self.branch.repository.revision_tree(
1364
 
                _mod_revision.NULL_REVISION)
1365
 
            trees = []
1366
 
        else:
1367
 
            trees = zip(revision_ids,
1368
 
                        self.branch.repository.revision_trees(revision_ids))
1369
 
            base_tree = trees[0][1]
1370
 
        state = self.current_dirstate()
1371
 
        # We don't support ghosts yet
1372
 
        state.set_state_from_scratch(base_tree.root_inventory, trees, [])
1373
 
 
1374
 
 
1375
 
class ContentFilterAwareSHA1Provider(dirstate.SHA1Provider):
1376
 
 
1377
 
    def __init__(self, tree):
1378
 
        self.tree = tree
1379
 
 
1380
 
    def sha1(self, abspath):
1381
 
        """See dirstate.SHA1Provider.sha1()."""
1382
 
        filters = self.tree._content_filter_stack(
1383
 
            self.tree.relpath(osutils.safe_unicode(abspath)))
1384
 
        return _mod_filters.internal_size_sha_file_byname(abspath, filters)[1]
1385
 
 
1386
 
    def stat_and_sha1(self, abspath):
1387
 
        """See dirstate.SHA1Provider.stat_and_sha1()."""
1388
 
        filters = self.tree._content_filter_stack(
1389
 
            self.tree.relpath(osutils.safe_unicode(abspath)))
1390
 
        file_obj = file(abspath, 'rb', 65000)
1391
 
        try:
1392
 
            statvalue = os.fstat(file_obj.fileno())
1393
 
            if filters:
1394
 
                file_obj = _mod_filters.filtered_input_file(file_obj, filters)
1395
 
            sha1 = osutils.size_sha_file(file_obj)[1]
1396
 
        finally:
1397
 
            file_obj.close()
1398
 
        return statvalue, sha1
1399
 
 
1400
 
 
1401
 
class ContentFilteringDirStateWorkingTree(DirStateWorkingTree):
1402
 
    """Dirstate working tree that supports content filtering.
1403
 
 
1404
 
    The dirstate holds the hash and size of the canonical form of the file, 
1405
 
    and most methods must return that.
1406
 
    """
1407
 
 
1408
 
    def _file_content_summary(self, path, stat_result):
1409
 
        # This is to support the somewhat obsolete path_content_summary method
1410
 
        # with content filtering: see
1411
 
        # <https://bugs.launchpad.net/bzr/+bug/415508>.
1412
 
        #
1413
 
        # If the dirstate cache is up to date and knows the hash and size,
1414
 
        # return that.
1415
 
        # Otherwise if there are no content filters, return the on-disk size
1416
 
        # and leave the hash blank.
1417
 
        # Otherwise, read and filter the on-disk file and use its size and
1418
 
        # hash.
1419
 
        #
1420
 
        # The dirstate doesn't store the size of the canonical form so we
1421
 
        # can't trust it for content-filtered trees.  We just return None.
1422
 
        dirstate_sha1 = self._dirstate.sha1_from_stat(path, stat_result)
1423
 
        executable = self._is_executable_from_path_and_stat(path, stat_result)
1424
 
        return ('file', None, executable, dirstate_sha1)
1425
 
 
1426
 
 
1427
 
class WorkingTree4(DirStateWorkingTree):
1428
 
    """This is the Format 4 working tree.
1429
 
 
1430
 
    This differs from WorkingTree by:
1431
 
     - Having a consolidated internal dirstate, stored in a
1432
 
       randomly-accessible sorted file on disk.
1433
 
     - Not having a regular inventory attribute.  One can be synthesized
1434
 
       on demand but this is expensive and should be avoided.
1435
 
 
1436
 
    This is new in bzr 0.15.
1437
 
    """
1438
 
 
1439
 
 
1440
 
class WorkingTree5(ContentFilteringDirStateWorkingTree):
1441
 
    """This is the Format 5 working tree.
1442
 
 
1443
 
    This differs from WorkingTree4 by:
1444
 
     - Supporting content filtering.
1445
 
 
1446
 
    This is new in bzr 1.11.
1447
 
    """
1448
 
 
1449
 
 
1450
 
class WorkingTree6(ContentFilteringDirStateWorkingTree):
1451
 
    """This is the Format 6 working tree.
1452
 
 
1453
 
    This differs from WorkingTree5 by:
1454
 
     - Supporting a current view that may mask the set of files in a tree
1455
 
       impacted by most user operations.
1456
 
 
1457
 
    This is new in bzr 1.14.
1458
 
    """
1459
 
 
1460
 
    def _make_views(self):
1461
 
        return views.PathBasedViews(self)
1462
 
 
1463
 
 
1464
 
class DirStateWorkingTreeFormat(WorkingTreeFormatMetaDir):
1465
 
 
1466
 
    missing_parent_conflicts = True
1467
 
 
1468
 
    supports_versioned_directories = True
1469
 
 
1470
 
    _lock_class = LockDir
1471
 
    _lock_file_name = 'lock'
1472
 
 
1473
 
    def _open_control_files(self, a_bzrdir):
1474
 
        transport = a_bzrdir.get_workingtree_transport(None)
1475
 
        return LockableFiles(transport, self._lock_file_name,
1476
 
                             self._lock_class)
1477
 
 
1478
 
    def initialize(self, a_bzrdir, revision_id=None, from_branch=None,
1479
 
                   accelerator_tree=None, hardlink=False):
1480
 
        """See WorkingTreeFormat.initialize().
1481
 
 
1482
 
        :param revision_id: allows creating a working tree at a different
1483
 
            revision than the branch is at.
1484
 
        :param accelerator_tree: A tree which can be used for retrieving file
1485
 
            contents more quickly than the revision tree, i.e. a workingtree.
1486
 
            The revision tree will be used for cases where accelerator_tree's
1487
 
            content is different.
1488
 
        :param hardlink: If true, hard-link files from accelerator_tree,
1489
 
            where possible.
1490
 
 
1491
 
        These trees get an initial random root id, if their repository supports
1492
 
        rich root data, TREE_ROOT otherwise.
1493
 
        """
1494
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
1495
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
1496
 
        transport = a_bzrdir.get_workingtree_transport(self)
1497
 
        control_files = self._open_control_files(a_bzrdir)
1498
 
        control_files.create_lock()
1499
 
        control_files.lock_write()
1500
 
        transport.put_bytes('format', self.as_string(),
1501
 
            mode=a_bzrdir._get_file_mode())
1502
 
        if from_branch is not None:
1503
 
            branch = from_branch
1504
 
        else:
1505
 
            branch = a_bzrdir.open_branch()
1506
 
        if revision_id is None:
1507
 
            revision_id = branch.last_revision()
1508
 
        local_path = transport.local_abspath('dirstate')
1509
 
        # write out new dirstate (must exist when we create the tree)
1510
 
        state = dirstate.DirState.initialize(local_path)
1511
 
        state.unlock()
1512
 
        del state
1513
 
        wt = self._tree_class(a_bzrdir.root_transport.local_abspath('.'),
1514
 
                         branch,
1515
 
                         _format=self,
1516
 
                         _bzrdir=a_bzrdir,
1517
 
                         _control_files=control_files)
1518
 
        wt._new_tree()
1519
 
        wt.lock_tree_write()
1520
 
        try:
1521
 
            self._init_custom_control_files(wt)
1522
 
            if revision_id in (None, _mod_revision.NULL_REVISION):
1523
 
                if branch.repository.supports_rich_root():
1524
 
                    wt._set_root_id(generate_ids.gen_root_id())
1525
 
                else:
1526
 
                    wt._set_root_id(ROOT_ID)
1527
 
                wt.flush()
1528
 
            basis = None
1529
 
            # frequently, we will get here due to branching.  The accelerator
1530
 
            # tree will be the tree from the branch, so the desired basis
1531
 
            # tree will often be a parent of the accelerator tree.
1532
 
            if accelerator_tree is not None:
1533
 
                try:
1534
 
                    basis = accelerator_tree.revision_tree(revision_id)
1535
 
                except errors.NoSuchRevision:
1536
 
                    pass
1537
 
            if basis is None:
1538
 
                basis = branch.repository.revision_tree(revision_id)
1539
 
            if revision_id == _mod_revision.NULL_REVISION:
1540
 
                parents_list = []
1541
 
            else:
1542
 
                parents_list = [(revision_id, basis)]
1543
 
            basis.lock_read()
1544
 
            try:
1545
 
                wt.set_parent_trees(parents_list, allow_leftmost_as_ghost=True)
1546
 
                wt.flush()
1547
 
                # if the basis has a root id we have to use that; otherwise we
1548
 
                # use a new random one
1549
 
                basis_root_id = basis.get_root_id()
1550
 
                if basis_root_id is not None:
1551
 
                    wt._set_root_id(basis_root_id)
1552
 
                    wt.flush()
1553
 
                if wt.supports_content_filtering():
1554
 
                    # The original tree may not have the same content filters
1555
 
                    # applied so we can't safely build the inventory delta from
1556
 
                    # the source tree.
1557
 
                    delta_from_tree = False
1558
 
                else:
1559
 
                    delta_from_tree = True
1560
 
                # delta_from_tree is safe even for DirStateRevisionTrees,
1561
 
                # because wt4.apply_inventory_delta does not mutate the input
1562
 
                # inventory entries.
1563
 
                transform.build_tree(basis, wt, accelerator_tree,
1564
 
                                     hardlink=hardlink,
1565
 
                                     delta_from_tree=delta_from_tree)
1566
 
                for hook in MutableTree.hooks['post_build_tree']:
1567
 
                    hook(wt)
1568
 
            finally:
1569
 
                basis.unlock()
1570
 
        finally:
1571
 
            control_files.unlock()
1572
 
            wt.unlock()
1573
 
        return wt
1574
 
 
1575
 
    def _init_custom_control_files(self, wt):
1576
 
        """Subclasses with custom control files should override this method.
1577
 
 
1578
 
        The working tree and control files are locked for writing when this
1579
 
        method is called.
1580
 
 
1581
 
        :param wt: the WorkingTree object
1582
 
        """
1583
 
 
1584
 
    def open(self, a_bzrdir, _found=False):
1585
 
        """Return the WorkingTree object for a_bzrdir
1586
 
 
1587
 
        _found is a private parameter, do not use it. It is used to indicate
1588
 
               if format probing has already been done.
1589
 
        """
1590
 
        if not _found:
1591
 
            # we are being called directly and must probe.
1592
 
            raise NotImplementedError
1593
 
        if not isinstance(a_bzrdir.transport, LocalTransport):
1594
 
            raise errors.NotLocalUrl(a_bzrdir.transport.base)
1595
 
        wt = self._open(a_bzrdir, self._open_control_files(a_bzrdir))
1596
 
        return wt
1597
 
 
1598
 
    def _open(self, a_bzrdir, control_files):
1599
 
        """Open the tree itself.
1600
 
 
1601
 
        :param a_bzrdir: the dir for the tree.
1602
 
        :param control_files: the control files for the tree.
1603
 
        """
1604
 
        return self._tree_class(a_bzrdir.root_transport.local_abspath('.'),
1605
 
                           branch=a_bzrdir.open_branch(),
1606
 
                           _format=self,
1607
 
                           _bzrdir=a_bzrdir,
1608
 
                           _control_files=control_files)
1609
 
 
1610
 
    def __get_matchingbzrdir(self):
1611
 
        return self._get_matchingbzrdir()
1612
 
 
1613
 
    def _get_matchingbzrdir(self):
1614
 
        """Overrideable method to get a bzrdir for testing."""
1615
 
        # please test against something that will let us do tree references
1616
 
        return controldir.format_registry.make_bzrdir(
1617
 
            'development-subtree')
1618
 
 
1619
 
    _matchingbzrdir = property(__get_matchingbzrdir)
1620
 
 
1621
 
 
1622
 
class WorkingTreeFormat4(DirStateWorkingTreeFormat):
1623
 
    """The first consolidated dirstate working tree format.
1624
 
 
1625
 
    This format:
1626
 
        - exists within a metadir controlling .bzr
1627
 
        - includes an explicit version marker for the workingtree control
1628
 
          files, separate from the ControlDir format
1629
 
        - modifies the hash cache format
1630
 
        - is new in bzr 0.15
1631
 
        - uses a LockDir to guard access to it.
1632
 
    """
1633
 
 
1634
 
    upgrade_recommended = False
1635
 
 
1636
 
    _tree_class = WorkingTree4
1637
 
 
1638
 
    @classmethod
1639
 
    def get_format_string(cls):
1640
 
        """See WorkingTreeFormat.get_format_string()."""
1641
 
        return "Bazaar Working Tree Format 4 (bzr 0.15)\n"
1642
 
 
1643
 
    def get_format_description(self):
1644
 
        """See WorkingTreeFormat.get_format_description()."""
1645
 
        return "Working tree format 4"
1646
 
 
1647
 
 
1648
 
class WorkingTreeFormat5(DirStateWorkingTreeFormat):
1649
 
    """WorkingTree format supporting content filtering.
1650
 
    """
1651
 
 
1652
 
    upgrade_recommended = False
1653
 
 
1654
 
    _tree_class = WorkingTree5
1655
 
 
1656
 
    @classmethod
1657
 
    def get_format_string(cls):
1658
 
        """See WorkingTreeFormat.get_format_string()."""
1659
 
        return "Bazaar Working Tree Format 5 (bzr 1.11)\n"
1660
 
 
1661
 
    def get_format_description(self):
1662
 
        """See WorkingTreeFormat.get_format_description()."""
1663
 
        return "Working tree format 5"
1664
 
 
1665
 
    def supports_content_filtering(self):
1666
 
        return True
1667
 
 
1668
 
 
1669
 
class WorkingTreeFormat6(DirStateWorkingTreeFormat):
1670
 
    """WorkingTree format supporting views.
1671
 
    """
1672
 
 
1673
 
    upgrade_recommended = False
1674
 
 
1675
 
    _tree_class = WorkingTree6
1676
 
 
1677
 
    @classmethod
1678
 
    def get_format_string(cls):
1679
 
        """See WorkingTreeFormat.get_format_string()."""
1680
 
        return "Bazaar Working Tree Format 6 (bzr 1.14)\n"
1681
 
 
1682
 
    def get_format_description(self):
1683
 
        """See WorkingTreeFormat.get_format_description()."""
1684
 
        return "Working tree format 6"
1685
 
 
1686
 
    def _init_custom_control_files(self, wt):
1687
 
        """Subclasses with custom control files should override this method."""
1688
 
        wt._transport.put_bytes('views', '', mode=wt.bzrdir._get_file_mode())
1689
 
 
1690
 
    def supports_content_filtering(self):
1691
 
        return True
1692
 
 
1693
 
    def supports_views(self):
1694
 
        return True
1695
 
 
1696
 
 
1697
 
class DirStateRevisionTree(InventoryTree):
1698
 
    """A revision tree pulling the inventory from a dirstate.
1699
 
    
1700
 
    Note that this is one of the historical (ie revision) trees cached in the
1701
 
    dirstate for easy access, not the workingtree.
1702
 
    """
1703
 
 
1704
 
    def __init__(self, dirstate, revision_id, repository):
1705
 
        self._dirstate = dirstate
1706
 
        self._revision_id = revision_id
1707
 
        self._repository = repository
1708
 
        self._inventory = None
1709
 
        self._locked = 0
1710
 
        self._dirstate_locked = False
1711
 
        self._repo_supports_tree_reference = getattr(
1712
 
            repository._format, "supports_tree_reference",
1713
 
            False)
1714
 
 
1715
 
    def __repr__(self):
1716
 
        return "<%s of %s in %s>" % \
1717
 
            (self.__class__.__name__, self._revision_id, self._dirstate)
1718
 
 
1719
 
    def annotate_iter(self, file_id,
1720
 
                      default_revision=_mod_revision.CURRENT_REVISION):
1721
 
        """See Tree.annotate_iter"""
1722
 
        text_key = (file_id, self.get_file_revision(file_id))
1723
 
        annotations = self._repository.texts.annotate(text_key)
1724
 
        return [(key[-1], line) for (key, line) in annotations]
1725
 
 
1726
 
    def _comparison_data(self, entry, path):
1727
 
        """See Tree._comparison_data."""
1728
 
        if entry is None:
1729
 
            return None, False, None
1730
 
        # trust the entry as RevisionTree does, but this may not be
1731
 
        # sensible: the entry might not have come from us?
1732
 
        return entry.kind, entry.executable, None
1733
 
 
1734
 
    def _file_size(self, entry, stat_value):
1735
 
        return entry.text_size
1736
 
 
1737
 
    def filter_unversioned_files(self, paths):
1738
 
        """Filter out paths that are not versioned.
1739
 
 
1740
 
        :return: set of paths.
1741
 
        """
1742
 
        pred = self.has_filename
1743
 
        return set((p for p in paths if not pred(p)))
1744
 
 
1745
 
    def get_root_id(self):
1746
 
        return self.path2id('')
1747
 
 
1748
 
    def id2path(self, file_id):
1749
 
        "Convert a file-id to a path."
1750
 
        entry = self._get_entry(file_id=file_id)
1751
 
        if entry == (None, None):
1752
 
            raise errors.NoSuchId(tree=self, file_id=file_id)
1753
 
        path_utf8 = osutils.pathjoin(entry[0][0], entry[0][1])
1754
 
        return path_utf8.decode('utf8')
1755
 
 
1756
 
    def iter_references(self):
1757
 
        if not self._repo_supports_tree_reference:
1758
 
            # When the repo doesn't support references, we will have nothing to
1759
 
            # return
1760
 
            return iter([])
1761
 
        # Otherwise, fall back to the default implementation
1762
 
        return super(DirStateRevisionTree, self).iter_references()
1763
 
 
1764
 
    def _get_parent_index(self):
1765
 
        """Return the index in the dirstate referenced by this tree."""
1766
 
        return self._dirstate.get_parent_ids().index(self._revision_id) + 1
1767
 
 
1768
 
    def _get_entry(self, file_id=None, path=None):
1769
 
        """Get the dirstate row for file_id or path.
1770
 
 
1771
 
        If either file_id or path is supplied, it is used as the key to lookup.
1772
 
        If both are supplied, the fastest lookup is used, and an error is
1773
 
        raised if they do not both point at the same row.
1774
 
 
1775
 
        :param file_id: An optional unicode file_id to be looked up.
1776
 
        :param path: An optional unicode path to be looked up.
1777
 
        :return: The dirstate row tuple for path/file_id, or (None, None)
1778
 
        """
1779
 
        if file_id is None and path is None:
1780
 
            raise errors.BzrError('must supply file_id or path')
1781
 
        if path is not None:
1782
 
            path = path.encode('utf8')
1783
 
        parent_index = self._get_parent_index()
1784
 
        return self._dirstate._get_entry(parent_index, fileid_utf8=file_id,
1785
 
            path_utf8=path)
1786
 
 
1787
 
    def _generate_inventory(self):
1788
 
        """Create and set self.inventory from the dirstate object.
1789
 
 
1790
 
        (So this is only called the first time the inventory is requested for
1791
 
        this tree; it then remains in memory until it's out of date.)
1792
 
 
1793
 
        This is relatively expensive: we have to walk the entire dirstate.
1794
 
        """
1795
 
        if not self._locked:
1796
 
            raise AssertionError(
1797
 
                'cannot generate inventory of an unlocked '
1798
 
                'dirstate revision tree')
1799
 
        # separate call for profiling - makes it clear where the costs are.
1800
 
        self._dirstate._read_dirblocks_if_needed()
1801
 
        if self._revision_id not in self._dirstate.get_parent_ids():
1802
 
            raise AssertionError(
1803
 
                'parent %s has disappeared from %s' % (
1804
 
                self._revision_id, self._dirstate.get_parent_ids()))
1805
 
        parent_index = self._dirstate.get_parent_ids().index(self._revision_id) + 1
1806
 
        # This is identical now to the WorkingTree _generate_inventory except
1807
 
        # for the tree index use.
1808
 
        root_key, current_entry = self._dirstate._get_entry(parent_index, path_utf8='')
1809
 
        current_id = root_key[2]
1810
 
        if current_entry[parent_index][0] != 'd':
1811
 
            raise AssertionError()
1812
 
        inv = Inventory(root_id=current_id, revision_id=self._revision_id)
1813
 
        inv.root.revision = current_entry[parent_index][4]
1814
 
        # Turn some things into local variables
1815
 
        minikind_to_kind = dirstate.DirState._minikind_to_kind
1816
 
        factory = entry_factory
1817
 
        utf8_decode = cache_utf8._utf8_decode
1818
 
        inv_byid = inv._byid
1819
 
        # we could do this straight out of the dirstate; it might be fast
1820
 
        # and should be profiled - RBC 20070216
1821
 
        parent_ies = {'' : inv.root}
1822
 
        for block in self._dirstate._dirblocks[1:]: #skip root
1823
 
            dirname = block[0]
1824
 
            try:
1825
 
                parent_ie = parent_ies[dirname]
1826
 
            except KeyError:
1827
 
                # all the paths in this block are not versioned in this tree
1828
 
                continue
1829
 
            for key, entry in block[1]:
1830
 
                minikind, fingerprint, size, executable, revid = entry[parent_index]
1831
 
                if minikind in ('a', 'r'): # absent, relocated
1832
 
                    # not this tree
1833
 
                    continue
1834
 
                name = key[1]
1835
 
                name_unicode = utf8_decode(name)[0]
1836
 
                file_id = key[2]
1837
 
                kind = minikind_to_kind[minikind]
1838
 
                inv_entry = factory[kind](file_id, name_unicode,
1839
 
                                          parent_ie.file_id)
1840
 
                inv_entry.revision = revid
1841
 
                if kind == 'file':
1842
 
                    inv_entry.executable = executable
1843
 
                    inv_entry.text_size = size
1844
 
                    inv_entry.text_sha1 = fingerprint
1845
 
                elif kind == 'directory':
1846
 
                    parent_ies[(dirname + '/' + name).strip('/')] = inv_entry
1847
 
                elif kind == 'symlink':
1848
 
                    inv_entry.symlink_target = utf8_decode(fingerprint)[0]
1849
 
                elif kind == 'tree-reference':
1850
 
                    inv_entry.reference_revision = fingerprint or None
1851
 
                else:
1852
 
                    raise AssertionError("cannot convert entry %r into an InventoryEntry"
1853
 
                            % entry)
1854
 
                # These checks cost us around 40ms on a 55k entry tree
1855
 
                if file_id in inv_byid:
1856
 
                    raise AssertionError('file_id %s already in'
1857
 
                        ' inventory as %s' % (file_id, inv_byid[file_id]))
1858
 
                if name_unicode in parent_ie.children:
1859
 
                    raise AssertionError('name %r already in parent'
1860
 
                        % (name_unicode,))
1861
 
                inv_byid[file_id] = inv_entry
1862
 
                parent_ie.children[name_unicode] = inv_entry
1863
 
        self._inventory = inv
1864
 
 
1865
 
    def get_file_mtime(self, file_id, path=None):
1866
 
        """Return the modification time for this record.
1867
 
 
1868
 
        We return the timestamp of the last-changed revision.
1869
 
        """
1870
 
        # Make sure the file exists
1871
 
        entry = self._get_entry(file_id, path=path)
1872
 
        if entry == (None, None): # do we raise?
1873
 
            raise errors.NoSuchId(self, file_id)
1874
 
        parent_index = self._get_parent_index()
1875
 
        last_changed_revision = entry[1][parent_index][4]
1876
 
        try:
1877
 
            rev = self._repository.get_revision(last_changed_revision)
1878
 
        except errors.NoSuchRevision:
1879
 
            raise errors.FileTimestampUnavailable(self.id2path(file_id))
1880
 
        return rev.timestamp
1881
 
 
1882
 
    def get_file_sha1(self, file_id, path=None, stat_value=None):
1883
 
        entry = self._get_entry(file_id=file_id, path=path)
1884
 
        parent_index = self._get_parent_index()
1885
 
        parent_details = entry[1][parent_index]
1886
 
        if parent_details[0] == 'f':
1887
 
            return parent_details[1]
1888
 
        return None
1889
 
 
1890
 
    @needs_read_lock
1891
 
    def get_file_revision(self, file_id):
1892
 
        inv, inv_file_id = self._unpack_file_id(file_id)
1893
 
        return inv[inv_file_id].revision
1894
 
 
1895
 
    def get_file(self, file_id, path=None):
1896
 
        return StringIO(self.get_file_text(file_id))
1897
 
 
1898
 
    def get_file_size(self, file_id):
1899
 
        """See Tree.get_file_size"""
1900
 
        inv, inv_file_id = self._unpack_file_id(file_id)
1901
 
        return inv[inv_file_id].text_size
1902
 
 
1903
 
    def get_file_text(self, file_id, path=None):
1904
 
        _, content = list(self.iter_files_bytes([(file_id, None)]))[0]
1905
 
        return ''.join(content)
1906
 
 
1907
 
    def get_reference_revision(self, file_id, path=None):
1908
 
        inv, inv_file_id = self._unpack_file_id(file_id)
1909
 
        return inv[inv_file_id].reference_revision
1910
 
 
1911
 
    def iter_files_bytes(self, desired_files):
1912
 
        """See Tree.iter_files_bytes.
1913
 
 
1914
 
        This version is implemented on top of Repository.iter_files_bytes"""
1915
 
        parent_index = self._get_parent_index()
1916
 
        repo_desired_files = []
1917
 
        for file_id, identifier in desired_files:
1918
 
            entry = self._get_entry(file_id)
1919
 
            if entry == (None, None):
1920
 
                raise errors.NoSuchId(self, file_id)
1921
 
            repo_desired_files.append((file_id, entry[1][parent_index][4],
1922
 
                                       identifier))
1923
 
        return self._repository.iter_files_bytes(repo_desired_files)
1924
 
 
1925
 
    def get_symlink_target(self, file_id, path=None):
1926
 
        entry = self._get_entry(file_id=file_id)
1927
 
        parent_index = self._get_parent_index()
1928
 
        if entry[1][parent_index][0] != 'l':
1929
 
            return None
1930
 
        else:
1931
 
            target = entry[1][parent_index][1]
1932
 
            target = target.decode('utf8')
1933
 
            return target
1934
 
 
1935
 
    def get_revision_id(self):
1936
 
        """Return the revision id for this tree."""
1937
 
        return self._revision_id
1938
 
 
1939
 
    def _get_root_inventory(self):
1940
 
        if self._inventory is not None:
1941
 
            return self._inventory
1942
 
        self._must_be_locked()
1943
 
        self._generate_inventory()
1944
 
        return self._inventory
1945
 
 
1946
 
    root_inventory = property(_get_root_inventory,
1947
 
                         doc="Inventory of this Tree")
1948
 
 
1949
 
    @deprecated_method(deprecated_in((2, 5, 0)))
1950
 
    def _get_inventory(self):
1951
 
        return self.root_inventory
1952
 
 
1953
 
    inventory = property(_get_inventory,
1954
 
                         doc="Inventory of this Tree")
1955
 
 
1956
 
    def get_parent_ids(self):
1957
 
        """The parents of a tree in the dirstate are not cached."""
1958
 
        return self._repository.get_revision(self._revision_id).parent_ids
1959
 
 
1960
 
    def has_filename(self, filename):
1961
 
        return bool(self.path2id(filename))
1962
 
 
1963
 
    def kind(self, file_id):
1964
 
        entry = self._get_entry(file_id=file_id)[1]
1965
 
        if entry is None:
1966
 
            raise errors.NoSuchId(tree=self, file_id=file_id)
1967
 
        parent_index = self._get_parent_index()
1968
 
        return dirstate.DirState._minikind_to_kind[entry[parent_index][0]]
1969
 
 
1970
 
    def stored_kind(self, file_id):
1971
 
        """See Tree.stored_kind"""
1972
 
        return self.kind(file_id)
1973
 
 
1974
 
    def path_content_summary(self, path):
1975
 
        """See Tree.path_content_summary."""
1976
 
        inv, inv_file_id = self._path2inv_file_id(path)
1977
 
        if inv_file_id is None:
1978
 
            return ('missing', None, None, None)
1979
 
        entry = inv[inv_file_id]
1980
 
        kind = entry.kind
1981
 
        if kind == 'file':
1982
 
            return (kind, entry.text_size, entry.executable, entry.text_sha1)
1983
 
        elif kind == 'symlink':
1984
 
            return (kind, None, None, entry.symlink_target)
1985
 
        else:
1986
 
            return (kind, None, None, None)
1987
 
 
1988
 
    def is_executable(self, file_id, path=None):
1989
 
        inv, inv_file_id = self._unpack_file_id(file_id)
1990
 
        ie = inv[inv_file_id]
1991
 
        if ie.kind != "file":
1992
 
            return False
1993
 
        return ie.executable
1994
 
 
1995
 
    def is_locked(self):
1996
 
        return self._locked
1997
 
 
1998
 
    def list_files(self, include_root=False, from_dir=None, recursive=True):
1999
 
        # We use a standard implementation, because DirStateRevisionTree is
2000
 
        # dealing with one of the parents of the current state
2001
 
        if from_dir is None:
2002
 
            inv = self.root_inventory
2003
 
            from_dir_id = None
2004
 
        else:
2005
 
            inv, from_dir_id = self._path2inv_file_id(from_dir)
2006
 
            if from_dir_id is None:
2007
 
                # Directory not versioned
2008
 
                return
2009
 
        # FIXME: Support nested trees
2010
 
        entries = inv.iter_entries(from_dir=from_dir_id, recursive=recursive)
2011
 
        if inv.root is not None and not include_root and from_dir is None:
2012
 
            entries.next()
2013
 
        for path, entry in entries:
2014
 
            yield path, 'V', entry.kind, entry.file_id, entry
2015
 
 
2016
 
    def lock_read(self):
2017
 
        """Lock the tree for a set of operations.
2018
 
 
2019
 
        :return: A bzrlib.lock.LogicalLockResult.
2020
 
        """
2021
 
        if not self._locked:
2022
 
            self._repository.lock_read()
2023
 
            if self._dirstate._lock_token is None:
2024
 
                self._dirstate.lock_read()
2025
 
                self._dirstate_locked = True
2026
 
        self._locked += 1
2027
 
        return LogicalLockResult(self.unlock)
2028
 
 
2029
 
    def _must_be_locked(self):
2030
 
        if not self._locked:
2031
 
            raise errors.ObjectNotLocked(self)
2032
 
 
2033
 
    @needs_read_lock
2034
 
    def path2id(self, path):
2035
 
        """Return the id for path in this tree."""
2036
 
        # lookup by path: faster than splitting and walking the ivnentory.
2037
 
        if isinstance(path, list):
2038
 
            if path == []:
2039
 
                path = [""]
2040
 
            path = osutils.pathjoin(*path)
2041
 
        entry = self._get_entry(path=path)
2042
 
        if entry == (None, None):
2043
 
            return None
2044
 
        return entry[0][2]
2045
 
 
2046
 
    def unlock(self):
2047
 
        """Unlock, freeing any cache memory used during the lock."""
2048
 
        # outside of a lock, the inventory is suspect: release it.
2049
 
        self._locked -=1
2050
 
        if not self._locked:
2051
 
            self._inventory = None
2052
 
            self._locked = 0
2053
 
            if self._dirstate_locked:
2054
 
                self._dirstate.unlock()
2055
 
                self._dirstate_locked = False
2056
 
            self._repository.unlock()
2057
 
 
2058
 
    @needs_read_lock
2059
 
    def supports_tree_reference(self):
2060
 
        return self._repo_supports_tree_reference
2061
 
 
2062
 
    def walkdirs(self, prefix=""):
2063
 
        # TODO: jam 20070215 This is the lazy way by using the RevisionTree
2064
 
        # implementation based on an inventory.
2065
 
        # This should be cleaned up to use the much faster Dirstate code
2066
 
        # So for now, we just build up the parent inventory, and extract
2067
 
        # it the same way RevisionTree does.
2068
 
        _directory = 'directory'
2069
 
        inv = self._get_root_inventory()
2070
 
        top_id = inv.path2id(prefix)
2071
 
        if top_id is None:
2072
 
            pending = []
2073
 
        else:
2074
 
            pending = [(prefix, top_id)]
2075
 
        while pending:
2076
 
            dirblock = []
2077
 
            relpath, file_id = pending.pop()
2078
 
            # 0 - relpath, 1- file-id
2079
 
            if relpath:
2080
 
                relroot = relpath + '/'
2081
 
            else:
2082
 
                relroot = ""
2083
 
            # FIXME: stash the node in pending
2084
 
            entry = inv[file_id]
2085
 
            for name, child in entry.sorted_children():
2086
 
                toppath = relroot + name
2087
 
                dirblock.append((toppath, name, child.kind, None,
2088
 
                    child.file_id, child.kind
2089
 
                    ))
2090
 
            yield (relpath, entry.file_id), dirblock
2091
 
            # push the user specified dirs from dirblock
2092
 
            for dir in reversed(dirblock):
2093
 
                if dir[2] == _directory:
2094
 
                    pending.append((dir[0], dir[4]))
2095
 
 
2096
 
 
2097
 
class InterDirStateTree(InterTree):
2098
 
    """Fast path optimiser for changes_from with dirstate trees.
2099
 
 
2100
 
    This is used only when both trees are in the dirstate working file, and
2101
 
    the source is any parent within the dirstate, and the destination is
2102
 
    the current working tree of the same dirstate.
2103
 
    """
2104
 
    # this could be generalized to allow comparisons between any trees in the
2105
 
    # dirstate, and possibly between trees stored in different dirstates.
2106
 
 
2107
 
    def __init__(self, source, target):
2108
 
        super(InterDirStateTree, self).__init__(source, target)
2109
 
        if not InterDirStateTree.is_compatible(source, target):
2110
 
            raise Exception, "invalid source %r and target %r" % (source, target)
2111
 
 
2112
 
    @staticmethod
2113
 
    def make_source_parent_tree(source, target):
2114
 
        """Change the source tree into a parent of the target."""
2115
 
        revid = source.commit('record tree')
2116
 
        target.branch.fetch(source.branch, revid)
2117
 
        target.set_parent_ids([revid])
2118
 
        return target.basis_tree(), target
2119
 
 
2120
 
    @classmethod
2121
 
    def make_source_parent_tree_python_dirstate(klass, test_case, source, target):
2122
 
        result = klass.make_source_parent_tree(source, target)
2123
 
        result[1]._iter_changes = dirstate.ProcessEntryPython
2124
 
        return result
2125
 
 
2126
 
    @classmethod
2127
 
    def make_source_parent_tree_compiled_dirstate(klass, test_case, source,
2128
 
                                                  target):
2129
 
        from bzrlib.tests.test__dirstate_helpers import \
2130
 
            compiled_dirstate_helpers_feature
2131
 
        test_case.requireFeature(compiled_dirstate_helpers_feature)
2132
 
        from bzrlib._dirstate_helpers_pyx import ProcessEntryC
2133
 
        result = klass.make_source_parent_tree(source, target)
2134
 
        result[1]._iter_changes = ProcessEntryC
2135
 
        return result
2136
 
 
2137
 
    _matching_from_tree_format = WorkingTreeFormat4()
2138
 
    _matching_to_tree_format = WorkingTreeFormat4()
2139
 
 
2140
 
    @classmethod
2141
 
    def _test_mutable_trees_to_test_trees(klass, test_case, source, target):
2142
 
        # This method shouldn't be called, because we have python and C
2143
 
        # specific flavours.
2144
 
        raise NotImplementedError
2145
 
 
2146
 
    def iter_changes(self, include_unchanged=False,
2147
 
                      specific_files=None, pb=None, extra_trees=[],
2148
 
                      require_versioned=True, want_unversioned=False):
2149
 
        """Return the changes from source to target.
2150
 
 
2151
 
        :return: An iterator that yields tuples. See InterTree.iter_changes
2152
 
            for details.
2153
 
        :param specific_files: An optional list of file paths to restrict the
2154
 
            comparison to. When mapping filenames to ids, all matches in all
2155
 
            trees (including optional extra_trees) are used, and all children of
2156
 
            matched directories are included.
2157
 
        :param include_unchanged: An optional boolean requesting the inclusion of
2158
 
            unchanged entries in the result.
2159
 
        :param extra_trees: An optional list of additional trees to use when
2160
 
            mapping the contents of specific_files (paths) to file_ids.
2161
 
        :param require_versioned: If True, all files in specific_files must be
2162
 
            versioned in one of source, target, extra_trees or
2163
 
            PathsNotVersionedError is raised.
2164
 
        :param want_unversioned: Should unversioned files be returned in the
2165
 
            output. An unversioned file is defined as one with (False, False)
2166
 
            for the versioned pair.
2167
 
        """
2168
 
        # TODO: handle extra trees in the dirstate.
2169
 
        if (extra_trees or specific_files == []):
2170
 
            # we can't fast-path these cases (yet)
2171
 
            return super(InterDirStateTree, self).iter_changes(
2172
 
                include_unchanged, specific_files, pb, extra_trees,
2173
 
                require_versioned, want_unversioned=want_unversioned)
2174
 
        parent_ids = self.target.get_parent_ids()
2175
 
        if not (self.source._revision_id in parent_ids
2176
 
                or self.source._revision_id == _mod_revision.NULL_REVISION):
2177
 
            raise AssertionError(
2178
 
                "revision {%s} is not stored in {%s}, but %s "
2179
 
                "can only be used for trees stored in the dirstate"
2180
 
                % (self.source._revision_id, self.target, self.iter_changes))
2181
 
        target_index = 0
2182
 
        if self.source._revision_id == _mod_revision.NULL_REVISION:
2183
 
            source_index = None
2184
 
            indices = (target_index,)
2185
 
        else:
2186
 
            if not (self.source._revision_id in parent_ids):
2187
 
                raise AssertionError(
2188
 
                    "Failure: source._revision_id: %s not in target.parent_ids(%s)" % (
2189
 
                    self.source._revision_id, parent_ids))
2190
 
            source_index = 1 + parent_ids.index(self.source._revision_id)
2191
 
            indices = (source_index, target_index)
2192
 
        # -- make all specific_files utf8 --
2193
 
        if specific_files:
2194
 
            specific_files_utf8 = set()
2195
 
            for path in specific_files:
2196
 
                # Note, if there are many specific files, using cache_utf8
2197
 
                # would be good here.
2198
 
                specific_files_utf8.add(path.encode('utf8'))
2199
 
            specific_files = specific_files_utf8
2200
 
        else:
2201
 
            specific_files = set([''])
2202
 
        # -- specific_files is now a utf8 path set --
2203
 
 
2204
 
        # -- get the state object and prepare it.
2205
 
        state = self.target.current_dirstate()
2206
 
        state._read_dirblocks_if_needed()
2207
 
        if require_versioned:
2208
 
            # -- check all supplied paths are versioned in a search tree. --
2209
 
            not_versioned = []
2210
 
            for path in specific_files:
2211
 
                path_entries = state._entries_for_path(path)
2212
 
                if not path_entries:
2213
 
                    # this specified path is not present at all: error
2214
 
                    not_versioned.append(path.decode('utf-8'))
2215
 
                    continue
2216
 
                found_versioned = False
2217
 
                # for each id at this path
2218
 
                for entry in path_entries:
2219
 
                    # for each tree.
2220
 
                    for index in indices:
2221
 
                        if entry[1][index][0] != 'a': # absent
2222
 
                            found_versioned = True
2223
 
                            # all good: found a versioned cell
2224
 
                            break
2225
 
                if not found_versioned:
2226
 
                    # none of the indexes was not 'absent' at all ids for this
2227
 
                    # path.
2228
 
                    not_versioned.append(path.decode('utf-8'))
2229
 
            if len(not_versioned) > 0:
2230
 
                raise errors.PathsNotVersionedError(not_versioned)
2231
 
        # -- remove redundancy in supplied specific_files to prevent over-scanning --
2232
 
        search_specific_files = osutils.minimum_path_selection(specific_files)
2233
 
 
2234
 
        use_filesystem_for_exec = (sys.platform != 'win32')
2235
 
        iter_changes = self.target._iter_changes(include_unchanged,
2236
 
            use_filesystem_for_exec, search_specific_files, state,
2237
 
            source_index, target_index, want_unversioned, self.target)
2238
 
        return iter_changes.iter_changes()
2239
 
 
2240
 
    @staticmethod
2241
 
    def is_compatible(source, target):
2242
 
        # the target must be a dirstate working tree
2243
 
        if not isinstance(target, DirStateWorkingTree):
2244
 
            return False
2245
 
        # the source must be a revtree or dirstate rev tree.
2246
 
        if not isinstance(source,
2247
 
            (revisiontree.RevisionTree, DirStateRevisionTree)):
2248
 
            return False
2249
 
        # the source revid must be in the target dirstate
2250
 
        if not (source._revision_id == _mod_revision.NULL_REVISION or
2251
 
            source._revision_id in target.get_parent_ids()):
2252
 
            # TODO: what about ghosts? it may well need to
2253
 
            # check for them explicitly.
2254
 
            return False
2255
 
        return True
2256
 
 
2257
 
InterTree.register_optimiser(InterDirStateTree)
2258
 
 
2259
 
 
2260
 
class Converter3to4(object):
2261
 
    """Perform an in-place upgrade of format 3 to format 4 trees."""
2262
 
 
2263
 
    def __init__(self):
2264
 
        self.target_format = WorkingTreeFormat4()
2265
 
 
2266
 
    def convert(self, tree):
2267
 
        # lock the control files not the tree, so that we dont get tree
2268
 
        # on-unlock behaviours, and so that noone else diddles with the
2269
 
        # tree during upgrade.
2270
 
        tree._control_files.lock_write()
2271
 
        try:
2272
 
            tree.read_working_inventory()
2273
 
            self.create_dirstate_data(tree)
2274
 
            self.update_format(tree)
2275
 
            self.remove_xml_files(tree)
2276
 
        finally:
2277
 
            tree._control_files.unlock()
2278
 
 
2279
 
    def create_dirstate_data(self, tree):
2280
 
        """Create the dirstate based data for tree."""
2281
 
        local_path = tree.bzrdir.get_workingtree_transport(None
2282
 
            ).local_abspath('dirstate')
2283
 
        state = dirstate.DirState.from_tree(tree, local_path)
2284
 
        state.save()
2285
 
        state.unlock()
2286
 
 
2287
 
    def remove_xml_files(self, tree):
2288
 
        """Remove the oldformat 3 data."""
2289
 
        transport = tree.bzrdir.get_workingtree_transport(None)
2290
 
        for path in ['basis-inventory-cache', 'inventory', 'last-revision',
2291
 
            'pending-merges', 'stat-cache']:
2292
 
            try:
2293
 
                transport.delete(path)
2294
 
            except errors.NoSuchFile:
2295
 
                # some files are optional - just deal.
2296
 
                pass
2297
 
 
2298
 
    def update_format(self, tree):
2299
 
        """Change the format marker."""
2300
 
        tree._transport.put_bytes('format',
2301
 
            self.target_format.as_string(),
2302
 
            mode=tree.bzrdir._get_file_mode())
2303
 
 
2304
 
 
2305
 
class Converter4to5(object):
2306
 
    """Perform an in-place upgrade of format 4 to format 5 trees."""
2307
 
 
2308
 
    def __init__(self):
2309
 
        self.target_format = WorkingTreeFormat5()
2310
 
 
2311
 
    def convert(self, tree):
2312
 
        # lock the control files not the tree, so that we don't get tree
2313
 
        # on-unlock behaviours, and so that no-one else diddles with the
2314
 
        # tree during upgrade.
2315
 
        tree._control_files.lock_write()
2316
 
        try:
2317
 
            self.update_format(tree)
2318
 
        finally:
2319
 
            tree._control_files.unlock()
2320
 
 
2321
 
    def update_format(self, tree):
2322
 
        """Change the format marker."""
2323
 
        tree._transport.put_bytes('format',
2324
 
            self.target_format.as_string(),
2325
 
            mode=tree.bzrdir._get_file_mode())
2326
 
 
2327
 
 
2328
 
class Converter4or5to6(object):
2329
 
    """Perform an in-place upgrade of format 4 or 5 to format 6 trees."""
2330
 
 
2331
 
    def __init__(self):
2332
 
        self.target_format = WorkingTreeFormat6()
2333
 
 
2334
 
    def convert(self, tree):
2335
 
        # lock the control files not the tree, so that we don't get tree
2336
 
        # on-unlock behaviours, and so that no-one else diddles with the
2337
 
        # tree during upgrade.
2338
 
        tree._control_files.lock_write()
2339
 
        try:
2340
 
            self.init_custom_control_files(tree)
2341
 
            self.update_format(tree)
2342
 
        finally:
2343
 
            tree._control_files.unlock()
2344
 
 
2345
 
    def init_custom_control_files(self, tree):
2346
 
        """Initialize custom control files."""
2347
 
        tree._transport.put_bytes('views', '',
2348
 
            mode=tree.bzrdir._get_file_mode())
2349
 
 
2350
 
    def update_format(self, tree):
2351
 
        """Change the format marker."""
2352
 
        tree._transport.put_bytes('format',
2353
 
            self.target_format.as_string(),
2354
 
            mode=tree.bzrdir._get_file_mode())