~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/bzrdir.py

  • Committer: Aaron Bentley
  • Date: 2006-06-14 19:45:57 UTC
  • mto: This revision was merged to the branch mainline in revision 1777.
  • Revision ID: abentley@panoramicfeedback.com-20060614194557-6b499aa1cf03f7e6
Use create_signature for signing policy, deprecate check_signatures for this

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
"""BzrDir logic. The BzrDir is the basic control directory used by bzr.
 
18
 
 
19
At format 7 this was split out into Branch, Repository and Checkout control
 
20
directories.
 
21
"""
 
22
 
 
23
from copy import deepcopy
 
24
import os
 
25
from cStringIO import StringIO
 
26
from unittest import TestSuite
 
27
 
 
28
import bzrlib
 
29
import bzrlib.errors as errors
 
30
from bzrlib.lockable_files import LockableFiles, TransportLock
 
31
from bzrlib.lockdir import LockDir
 
32
from bzrlib.osutils import (
 
33
                            abspath,
 
34
                            pathjoin,
 
35
                            safe_unicode,
 
36
                            sha_strings,
 
37
                            sha_string,
 
38
                            )
 
39
from bzrlib.store.revision.text import TextRevisionStore
 
40
from bzrlib.store.text import TextStore
 
41
from bzrlib.store.versioned import WeaveStore
 
42
from bzrlib.symbol_versioning import *
 
43
from bzrlib.trace import mutter
 
44
from bzrlib.transactions import WriteTransaction
 
45
from bzrlib.transport import get_transport
 
46
from bzrlib.transport.local import LocalTransport
 
47
import bzrlib.urlutils as urlutils
 
48
from bzrlib.weave import Weave
 
49
from bzrlib.xml4 import serializer_v4
 
50
import bzrlib.xml5
 
51
 
 
52
 
 
53
class BzrDir(object):
 
54
    """A .bzr control diretory.
 
55
    
 
56
    BzrDir instances let you create or open any of the things that can be
 
57
    found within .bzr - checkouts, branches and repositories.
 
58
    
 
59
    transport
 
60
        the transport which this bzr dir is rooted at (i.e. file:///.../.bzr/)
 
61
    root_transport
 
62
        a transport connected to the directory this bzr was opened from.
 
63
    """
 
64
 
 
65
    def break_lock(self):
 
66
        """Invoke break_lock on the first object in the bzrdir.
 
67
 
 
68
        If there is a tree, the tree is opened and break_lock() called.
 
69
        Otherwise, branch is tried, and finally repository.
 
70
        """
 
71
        try:
 
72
            thing_to_unlock = self.open_workingtree()
 
73
        except (errors.NotLocalUrl, errors.NoWorkingTree):
 
74
            try:
 
75
                thing_to_unlock = self.open_branch()
 
76
            except errors.NotBranchError:
 
77
                try:
 
78
                    thing_to_unlock = self.open_repository()
 
79
                except errors.NoRepositoryPresent:
 
80
                    return
 
81
        thing_to_unlock.break_lock()
 
82
 
 
83
    def can_convert_format(self):
 
84
        """Return true if this bzrdir is one whose format we can convert from."""
 
85
        return True
 
86
 
 
87
    @staticmethod
 
88
    def _check_supported(format, allow_unsupported):
 
89
        """Check whether format is a supported format.
 
90
 
 
91
        If allow_unsupported is True, this is a no-op.
 
92
        """
 
93
        if not allow_unsupported and not format.is_supported():
 
94
            # see open_downlevel to open legacy branches.
 
95
            raise errors.UnsupportedFormatError(
 
96
                    'sorry, format %s not supported' % format,
 
97
                    ['use a different bzr version',
 
98
                     'or remove the .bzr directory'
 
99
                     ' and "bzr init" again'])
 
100
 
 
101
    def clone(self, url, revision_id=None, basis=None, force_new_repo=False):
 
102
        """Clone this bzrdir and its contents to url verbatim.
 
103
 
 
104
        If urls last component does not exist, it will be created.
 
105
 
 
106
        if revision_id is not None, then the clone operation may tune
 
107
            itself to download less data.
 
108
        :param force_new_repo: Do not use a shared repository for the target 
 
109
                               even if one is available.
 
110
        """
 
111
        self._make_tail(url)
 
112
        basis_repo, basis_branch, basis_tree = self._get_basis_components(basis)
 
113
        result = self._format.initialize(url)
 
114
        try:
 
115
            local_repo = self.find_repository()
 
116
        except errors.NoRepositoryPresent:
 
117
            local_repo = None
 
118
        if local_repo:
 
119
            # may need to copy content in
 
120
            if force_new_repo:
 
121
                result_repo = local_repo.clone(
 
122
                    result,
 
123
                    revision_id=revision_id,
 
124
                    basis=basis_repo)
 
125
                result_repo.set_make_working_trees(local_repo.make_working_trees())
 
126
            else:
 
127
                try:
 
128
                    result_repo = result.find_repository()
 
129
                    # fetch content this dir needs.
 
130
                    if basis_repo:
 
131
                        # XXX FIXME RBC 20060214 need tests for this when the basis
 
132
                        # is incomplete
 
133
                        result_repo.fetch(basis_repo, revision_id=revision_id)
 
134
                    result_repo.fetch(local_repo, revision_id=revision_id)
 
135
                except errors.NoRepositoryPresent:
 
136
                    # needed to make one anyway.
 
137
                    result_repo = local_repo.clone(
 
138
                        result,
 
139
                        revision_id=revision_id,
 
140
                        basis=basis_repo)
 
141
                    result_repo.set_make_working_trees(local_repo.make_working_trees())
 
142
        # 1 if there is a branch present
 
143
        #   make sure its content is available in the target repository
 
144
        #   clone it.
 
145
        try:
 
146
            self.open_branch().clone(result, revision_id=revision_id)
 
147
        except errors.NotBranchError:
 
148
            pass
 
149
        try:
 
150
            self.open_workingtree().clone(result, basis=basis_tree)
 
151
        except (errors.NoWorkingTree, errors.NotLocalUrl):
 
152
            pass
 
153
        return result
 
154
 
 
155
    def _get_basis_components(self, basis):
 
156
        """Retrieve the basis components that are available at basis."""
 
157
        if basis is None:
 
158
            return None, None, None
 
159
        try:
 
160
            basis_tree = basis.open_workingtree()
 
161
            basis_branch = basis_tree.branch
 
162
            basis_repo = basis_branch.repository
 
163
        except (errors.NoWorkingTree, errors.NotLocalUrl):
 
164
            basis_tree = None
 
165
            try:
 
166
                basis_branch = basis.open_branch()
 
167
                basis_repo = basis_branch.repository
 
168
            except errors.NotBranchError:
 
169
                basis_branch = None
 
170
                try:
 
171
                    basis_repo = basis.open_repository()
 
172
                except errors.NoRepositoryPresent:
 
173
                    basis_repo = None
 
174
        return basis_repo, basis_branch, basis_tree
 
175
 
 
176
    # TODO: This should be given a Transport, and should chdir up; otherwise
 
177
    # this will open a new connection.
 
178
    def _make_tail(self, url):
 
179
        head, tail = urlutils.split(url)
 
180
        if tail and tail != '.':
 
181
            t = bzrlib.transport.get_transport(head)
 
182
            try:
 
183
                t.mkdir(tail)
 
184
            except errors.FileExists:
 
185
                pass
 
186
 
 
187
    # TODO: Should take a Transport
 
188
    @classmethod
 
189
    def create(cls, base):
 
190
        """Create a new BzrDir at the url 'base'.
 
191
        
 
192
        This will call the current default formats initialize with base
 
193
        as the only parameter.
 
194
 
 
195
        If you need a specific format, consider creating an instance
 
196
        of that and calling initialize().
 
197
        """
 
198
        if cls is not BzrDir:
 
199
            raise AssertionError("BzrDir.create always creates the default format, "
 
200
                    "not one of %r" % cls)
 
201
        head, tail = urlutils.split(base)
 
202
        if tail and tail != '.':
 
203
            t = bzrlib.transport.get_transport(head)
 
204
            try:
 
205
                t.mkdir(tail)
 
206
            except errors.FileExists:
 
207
                pass
 
208
        return BzrDirFormat.get_default_format().initialize(safe_unicode(base))
 
209
 
 
210
    def create_branch(self):
 
211
        """Create a branch in this BzrDir.
 
212
 
 
213
        The bzrdirs format will control what branch format is created.
 
214
        For more control see BranchFormatXX.create(a_bzrdir).
 
215
        """
 
216
        raise NotImplementedError(self.create_branch)
 
217
 
 
218
    @staticmethod
 
219
    def create_branch_and_repo(base, force_new_repo=False):
 
220
        """Create a new BzrDir, Branch and Repository at the url 'base'.
 
221
 
 
222
        This will use the current default BzrDirFormat, and use whatever 
 
223
        repository format that that uses via bzrdir.create_branch and
 
224
        create_repository. If a shared repository is available that is used
 
225
        preferentially.
 
226
 
 
227
        The created Branch object is returned.
 
228
 
 
229
        :param base: The URL to create the branch at.
 
230
        :param force_new_repo: If True a new repository is always created.
 
231
        """
 
232
        bzrdir = BzrDir.create(base)
 
233
        bzrdir._find_or_create_repository(force_new_repo)
 
234
        return bzrdir.create_branch()
 
235
 
 
236
    def _find_or_create_repository(self, force_new_repo):
 
237
        """Create a new repository if needed, returning the repository."""
 
238
        if force_new_repo:
 
239
            return self.create_repository()
 
240
        try:
 
241
            return self.find_repository()
 
242
        except errors.NoRepositoryPresent:
 
243
            return self.create_repository()
 
244
        
 
245
    @staticmethod
 
246
    def create_branch_convenience(base, force_new_repo=False,
 
247
                                  force_new_tree=None, format=None):
 
248
        """Create a new BzrDir, Branch and Repository at the url 'base'.
 
249
 
 
250
        This is a convenience function - it will use an existing repository
 
251
        if possible, can be told explicitly whether to create a working tree or
 
252
        not.
 
253
 
 
254
        This will use the current default BzrDirFormat, and use whatever 
 
255
        repository format that that uses via bzrdir.create_branch and
 
256
        create_repository. If a shared repository is available that is used
 
257
        preferentially. Whatever repository is used, its tree creation policy
 
258
        is followed.
 
259
 
 
260
        The created Branch object is returned.
 
261
        If a working tree cannot be made due to base not being a file:// url,
 
262
        no error is raised unless force_new_tree is True, in which case no 
 
263
        data is created on disk and NotLocalUrl is raised.
 
264
 
 
265
        :param base: The URL to create the branch at.
 
266
        :param force_new_repo: If True a new repository is always created.
 
267
        :param force_new_tree: If True or False force creation of a tree or 
 
268
                               prevent such creation respectively.
 
269
        :param format: Override for the for the bzrdir format to create
 
270
        """
 
271
        if force_new_tree:
 
272
            # check for non local urls
 
273
            t = get_transport(safe_unicode(base))
 
274
            if not isinstance(t, LocalTransport):
 
275
                raise errors.NotLocalUrl(base)
 
276
        if format is None:
 
277
            bzrdir = BzrDir.create(base)
 
278
        else:
 
279
            bzrdir = format.initialize(base)
 
280
        repo = bzrdir._find_or_create_repository(force_new_repo)
 
281
        result = bzrdir.create_branch()
 
282
        if force_new_tree or (repo.make_working_trees() and 
 
283
                              force_new_tree is None):
 
284
            try:
 
285
                bzrdir.create_workingtree()
 
286
            except errors.NotLocalUrl:
 
287
                pass
 
288
        return result
 
289
        
 
290
    @staticmethod
 
291
    def create_repository(base, shared=False):
 
292
        """Create a new BzrDir and Repository at the url 'base'.
 
293
 
 
294
        This will use the current default BzrDirFormat, and use whatever 
 
295
        repository format that that uses for bzrdirformat.create_repository.
 
296
 
 
297
        ;param shared: Create a shared repository rather than a standalone
 
298
                       repository.
 
299
        The Repository object is returned.
 
300
 
 
301
        This must be overridden as an instance method in child classes, where
 
302
        it should take no parameters and construct whatever repository format
 
303
        that child class desires.
 
304
        """
 
305
        bzrdir = BzrDir.create(base)
 
306
        return bzrdir.create_repository()
 
307
 
 
308
    @staticmethod
 
309
    def create_standalone_workingtree(base):
 
310
        """Create a new BzrDir, WorkingTree, Branch and Repository at 'base'.
 
311
 
 
312
        'base' must be a local path or a file:// url.
 
313
 
 
314
        This will use the current default BzrDirFormat, and use whatever 
 
315
        repository format that that uses for bzrdirformat.create_workingtree,
 
316
        create_branch and create_repository.
 
317
 
 
318
        The WorkingTree object is returned.
 
319
        """
 
320
        t = get_transport(safe_unicode(base))
 
321
        if not isinstance(t, LocalTransport):
 
322
            raise errors.NotLocalUrl(base)
 
323
        bzrdir = BzrDir.create_branch_and_repo(safe_unicode(base),
 
324
                                               force_new_repo=True).bzrdir
 
325
        return bzrdir.create_workingtree()
 
326
 
 
327
    def create_workingtree(self, revision_id=None):
 
328
        """Create a working tree at this BzrDir.
 
329
        
 
330
        revision_id: create it as of this revision id.
 
331
        """
 
332
        raise NotImplementedError(self.create_workingtree)
 
333
 
 
334
    def find_repository(self):
 
335
        """Find the repository that should be used for a_bzrdir.
 
336
 
 
337
        This does not require a branch as we use it to find the repo for
 
338
        new branches as well as to hook existing branches up to their
 
339
        repository.
 
340
        """
 
341
        try:
 
342
            return self.open_repository()
 
343
        except errors.NoRepositoryPresent:
 
344
            pass
 
345
        next_transport = self.root_transport.clone('..')
 
346
        while True:
 
347
            # find the next containing bzrdir
 
348
            try:
 
349
                found_bzrdir = BzrDir.open_containing_from_transport(
 
350
                    next_transport)[0]
 
351
            except errors.NotBranchError:
 
352
                # none found
 
353
                raise errors.NoRepositoryPresent(self)
 
354
            # does it have a repository ?
 
355
            try:
 
356
                repository = found_bzrdir.open_repository()
 
357
            except errors.NoRepositoryPresent:
 
358
                next_transport = found_bzrdir.root_transport.clone('..')
 
359
                if (found_bzrdir.root_transport.base == next_transport.base):
 
360
                    # top of the file system
 
361
                    break
 
362
                else:
 
363
                    continue
 
364
            if ((found_bzrdir.root_transport.base == 
 
365
                 self.root_transport.base) or repository.is_shared()):
 
366
                return repository
 
367
            else:
 
368
                raise errors.NoRepositoryPresent(self)
 
369
        raise errors.NoRepositoryPresent(self)
 
370
 
 
371
    def get_branch_transport(self, branch_format):
 
372
        """Get the transport for use by branch format in this BzrDir.
 
373
 
 
374
        Note that bzr dirs that do not support format strings will raise
 
375
        IncompatibleFormat if the branch format they are given has
 
376
        a format string, and vice versa.
 
377
 
 
378
        If branch_format is None, the transport is returned with no 
 
379
        checking. if it is not None, then the returned transport is
 
380
        guaranteed to point to an existing directory ready for use.
 
381
        """
 
382
        raise NotImplementedError(self.get_branch_transport)
 
383
        
 
384
    def get_repository_transport(self, repository_format):
 
385
        """Get the transport for use by repository format in this BzrDir.
 
386
 
 
387
        Note that bzr dirs that do not support format strings will raise
 
388
        IncompatibleFormat if the repository format they are given has
 
389
        a format string, and vice versa.
 
390
 
 
391
        If repository_format is None, the transport is returned with no 
 
392
        checking. if it is not None, then the returned transport is
 
393
        guaranteed to point to an existing directory ready for use.
 
394
        """
 
395
        raise NotImplementedError(self.get_repository_transport)
 
396
        
 
397
    def get_workingtree_transport(self, tree_format):
 
398
        """Get the transport for use by workingtree format in this BzrDir.
 
399
 
 
400
        Note that bzr dirs that do not support format strings will raise
 
401
        IncompatibleFormat if the workingtree format they are given has
 
402
        a format string, and vice versa.
 
403
 
 
404
        If workingtree_format is None, the transport is returned with no 
 
405
        checking. if it is not None, then the returned transport is
 
406
        guaranteed to point to an existing directory ready for use.
 
407
        """
 
408
        raise NotImplementedError(self.get_workingtree_transport)
 
409
        
 
410
    def __init__(self, _transport, _format):
 
411
        """Initialize a Bzr control dir object.
 
412
        
 
413
        Only really common logic should reside here, concrete classes should be
 
414
        made with varying behaviours.
 
415
 
 
416
        :param _format: the format that is creating this BzrDir instance.
 
417
        :param _transport: the transport this dir is based at.
 
418
        """
 
419
        self._format = _format
 
420
        self.transport = _transport.clone('.bzr')
 
421
        self.root_transport = _transport
 
422
 
 
423
    def is_control_filename(self, filename):
 
424
        """True if filename is the name of a path which is reserved for bzrdir's.
 
425
        
 
426
        :param filename: A filename within the root transport of this bzrdir.
 
427
 
 
428
        This is true IF and ONLY IF the filename is part of the namespace reserved
 
429
        for bzr control dirs. Currently this is the '.bzr' directory in the root
 
430
        of the root_transport. it is expected that plugins will need to extend
 
431
        this in the future - for instance to make bzr talk with svn working
 
432
        trees.
 
433
        """
 
434
        # this might be better on the BzrDirFormat class because it refers to 
 
435
        # all the possible bzrdir disk formats. 
 
436
        # This method is tested via the workingtree is_control_filename tests- 
 
437
        # it was extracted from WorkingTree.is_control_filename. If the methods
 
438
        # contract is extended beyond the current trivial  implementation please
 
439
        # add new tests for it to the appropriate place.
 
440
        return filename == '.bzr' or filename.startswith('.bzr/')
 
441
 
 
442
    def needs_format_conversion(self, format=None):
 
443
        """Return true if this bzrdir needs convert_format run on it.
 
444
        
 
445
        For instance, if the repository format is out of date but the 
 
446
        branch and working tree are not, this should return True.
 
447
 
 
448
        :param format: Optional parameter indicating a specific desired
 
449
                       format we plan to arrive at.
 
450
        """
 
451
        raise NotImplementedError(self.needs_format_conversion)
 
452
 
 
453
    @staticmethod
 
454
    def open_unsupported(base):
 
455
        """Open a branch which is not supported."""
 
456
        return BzrDir.open(base, _unsupported=True)
 
457
        
 
458
    @staticmethod
 
459
    def open(base, _unsupported=False):
 
460
        """Open an existing bzrdir, rooted at 'base' (url)
 
461
        
 
462
        _unsupported is a private parameter to the BzrDir class.
 
463
        """
 
464
        t = get_transport(base)
 
465
        mutter("trying to open %r with transport %r", base, t)
 
466
        format = BzrDirFormat.find_format(t)
 
467
        BzrDir._check_supported(format, _unsupported)
 
468
        return format.open(t, _found=True)
 
469
 
 
470
    def open_branch(self, unsupported=False):
 
471
        """Open the branch object at this BzrDir if one is present.
 
472
 
 
473
        If unsupported is True, then no longer supported branch formats can
 
474
        still be opened.
 
475
        
 
476
        TODO: static convenience version of this?
 
477
        """
 
478
        raise NotImplementedError(self.open_branch)
 
479
 
 
480
    @staticmethod
 
481
    def open_containing(url):
 
482
        """Open an existing branch which contains url.
 
483
        
 
484
        :param url: url to search from.
 
485
        See open_containing_from_transport for more detail.
 
486
        """
 
487
        return BzrDir.open_containing_from_transport(get_transport(url))
 
488
    
 
489
    @staticmethod
 
490
    def open_containing_from_transport(a_transport):
 
491
        """Open an existing branch which contains a_transport.base
 
492
 
 
493
        This probes for a branch at a_transport, and searches upwards from there.
 
494
 
 
495
        Basically we keep looking up until we find the control directory or
 
496
        run into the root.  If there isn't one, raises NotBranchError.
 
497
        If there is one and it is either an unrecognised format or an unsupported 
 
498
        format, UnknownFormatError or UnsupportedFormatError are raised.
 
499
        If there is one, it is returned, along with the unused portion of url.
 
500
 
 
501
        :return: The BzrDir that contains the path, and a Unicode path 
 
502
                for the rest of the URL.
 
503
        """
 
504
        # this gets the normalised url back. I.e. '.' -> the full path.
 
505
        url = a_transport.base
 
506
        while True:
 
507
            try:
 
508
                format = BzrDirFormat.find_format(a_transport)
 
509
                BzrDir._check_supported(format, False)
 
510
                return format.open(a_transport), urlutils.unescape(a_transport.relpath(url))
 
511
            except errors.NotBranchError, e:
 
512
                ## mutter('not a branch in: %r %s', a_transport.base, e)
 
513
                pass
 
514
            new_t = a_transport.clone('..')
 
515
            if new_t.base == a_transport.base:
 
516
                # reached the root, whatever that may be
 
517
                raise errors.NotBranchError(path=url)
 
518
            a_transport = new_t
 
519
 
 
520
    def open_repository(self, _unsupported=False):
 
521
        """Open the repository object at this BzrDir if one is present.
 
522
 
 
523
        This will not follow the Branch object pointer - its strictly a direct
 
524
        open facility. Most client code should use open_branch().repository to
 
525
        get at a repository.
 
526
 
 
527
        _unsupported is a private parameter, not part of the api.
 
528
        TODO: static convenience version of this?
 
529
        """
 
530
        raise NotImplementedError(self.open_repository)
 
531
 
 
532
    def open_workingtree(self, _unsupported=False):
 
533
        """Open the workingtree object at this BzrDir if one is present.
 
534
        
 
535
        TODO: static convenience version of this?
 
536
        """
 
537
        raise NotImplementedError(self.open_workingtree)
 
538
 
 
539
    def has_branch(self):
 
540
        """Tell if this bzrdir contains a branch.
 
541
        
 
542
        Note: if you're going to open the branch, you should just go ahead
 
543
        and try, and not ask permission first.  (This method just opens the 
 
544
        branch and discards it, and that's somewhat expensive.) 
 
545
        """
 
546
        try:
 
547
            self.open_branch()
 
548
            return True
 
549
        except errors.NotBranchError:
 
550
            return False
 
551
 
 
552
    def has_workingtree(self):
 
553
        """Tell if this bzrdir contains a working tree.
 
554
 
 
555
        This will still raise an exception if the bzrdir has a workingtree that
 
556
        is remote & inaccessible.
 
557
        
 
558
        Note: if you're going to open the working tree, you should just go ahead
 
559
        and try, and not ask permission first.  (This method just opens the 
 
560
        workingtree and discards it, and that's somewhat expensive.) 
 
561
        """
 
562
        try:
 
563
            self.open_workingtree()
 
564
            return True
 
565
        except errors.NoWorkingTree:
 
566
            return False
 
567
 
 
568
    def sprout(self, url, revision_id=None, basis=None, force_new_repo=False):
 
569
        """Create a copy of this bzrdir prepared for use as a new line of
 
570
        development.
 
571
 
 
572
        If urls last component does not exist, it will be created.
 
573
 
 
574
        Attributes related to the identity of the source branch like
 
575
        branch nickname will be cleaned, a working tree is created
 
576
        whether one existed before or not; and a local branch is always
 
577
        created.
 
578
 
 
579
        if revision_id is not None, then the clone operation may tune
 
580
            itself to download less data.
 
581
        """
 
582
        self._make_tail(url)
 
583
        result = self._format.initialize(url)
 
584
        basis_repo, basis_branch, basis_tree = self._get_basis_components(basis)
 
585
        try:
 
586
            source_branch = self.open_branch()
 
587
            source_repository = source_branch.repository
 
588
        except errors.NotBranchError:
 
589
            source_branch = None
 
590
            try:
 
591
                source_repository = self.open_repository()
 
592
            except errors.NoRepositoryPresent:
 
593
                # copy the entire basis one if there is one
 
594
                # but there is no repository.
 
595
                source_repository = basis_repo
 
596
        if force_new_repo:
 
597
            result_repo = None
 
598
        else:
 
599
            try:
 
600
                result_repo = result.find_repository()
 
601
            except errors.NoRepositoryPresent:
 
602
                result_repo = None
 
603
        if source_repository is None and result_repo is not None:
 
604
            pass
 
605
        elif source_repository is None and result_repo is None:
 
606
            # no repo available, make a new one
 
607
            result.create_repository()
 
608
        elif source_repository is not None and result_repo is None:
 
609
            # have source, and want to make a new target repo
 
610
            # we don't clone the repo because that preserves attributes
 
611
            # like is_shared(), and we have not yet implemented a 
 
612
            # repository sprout().
 
613
            result_repo = result.create_repository()
 
614
        if result_repo is not None:
 
615
            # fetch needed content into target.
 
616
            if basis_repo:
 
617
                # XXX FIXME RBC 20060214 need tests for this when the basis
 
618
                # is incomplete
 
619
                result_repo.fetch(basis_repo, revision_id=revision_id)
 
620
            result_repo.fetch(source_repository, revision_id=revision_id)
 
621
        if source_branch is not None:
 
622
            source_branch.sprout(result, revision_id=revision_id)
 
623
        else:
 
624
            result.create_branch()
 
625
        # TODO: jam 20060426 we probably need a test in here in the
 
626
        #       case that the newly sprouted branch is a remote one
 
627
        if result_repo is None or result_repo.make_working_trees():
 
628
            result.create_workingtree()
 
629
        return result
 
630
 
 
631
 
 
632
class BzrDirPreSplitOut(BzrDir):
 
633
    """A common class for the all-in-one formats."""
 
634
 
 
635
    def __init__(self, _transport, _format):
 
636
        """See BzrDir.__init__."""
 
637
        super(BzrDirPreSplitOut, self).__init__(_transport, _format)
 
638
        assert self._format._lock_class == TransportLock
 
639
        assert self._format._lock_file_name == 'branch-lock'
 
640
        self._control_files = LockableFiles(self.get_branch_transport(None),
 
641
                                            self._format._lock_file_name,
 
642
                                            self._format._lock_class)
 
643
 
 
644
    def break_lock(self):
 
645
        """Pre-splitout bzrdirs do not suffer from stale locks."""
 
646
        raise NotImplementedError(self.break_lock)
 
647
 
 
648
    def clone(self, url, revision_id=None, basis=None, force_new_repo=False):
 
649
        """See BzrDir.clone()."""
 
650
        from bzrlib.workingtree import WorkingTreeFormat2
 
651
        self._make_tail(url)
 
652
        result = self._format._initialize_for_clone(url)
 
653
        basis_repo, basis_branch, basis_tree = self._get_basis_components(basis)
 
654
        self.open_repository().clone(result, revision_id=revision_id, basis=basis_repo)
 
655
        from_branch = self.open_branch()
 
656
        from_branch.clone(result, revision_id=revision_id)
 
657
        try:
 
658
            self.open_workingtree().clone(result, basis=basis_tree)
 
659
        except errors.NotLocalUrl:
 
660
            # make a new one, this format always has to have one.
 
661
            try:
 
662
                WorkingTreeFormat2().initialize(result)
 
663
            except errors.NotLocalUrl:
 
664
                # but we cannot do it for remote trees.
 
665
                to_branch = result.open_branch()
 
666
                WorkingTreeFormat2().stub_initialize_remote(to_branch.control_files)
 
667
        return result
 
668
 
 
669
    def create_branch(self):
 
670
        """See BzrDir.create_branch."""
 
671
        return self.open_branch()
 
672
 
 
673
    def create_repository(self, shared=False):
 
674
        """See BzrDir.create_repository."""
 
675
        if shared:
 
676
            raise errors.IncompatibleFormat('shared repository', self._format)
 
677
        return self.open_repository()
 
678
 
 
679
    def create_workingtree(self, revision_id=None):
 
680
        """See BzrDir.create_workingtree."""
 
681
        # this looks buggy but is not -really-
 
682
        # clone and sprout will have set the revision_id
 
683
        # and that will have set it for us, its only
 
684
        # specific uses of create_workingtree in isolation
 
685
        # that can do wonky stuff here, and that only
 
686
        # happens for creating checkouts, which cannot be 
 
687
        # done on this format anyway. So - acceptable wart.
 
688
        result = self.open_workingtree()
 
689
        if revision_id is not None:
 
690
            result.set_last_revision(revision_id)
 
691
        return result
 
692
 
 
693
    def get_branch_transport(self, branch_format):
 
694
        """See BzrDir.get_branch_transport()."""
 
695
        if branch_format is None:
 
696
            return self.transport
 
697
        try:
 
698
            branch_format.get_format_string()
 
699
        except NotImplementedError:
 
700
            return self.transport
 
701
        raise errors.IncompatibleFormat(branch_format, self._format)
 
702
 
 
703
    def get_repository_transport(self, repository_format):
 
704
        """See BzrDir.get_repository_transport()."""
 
705
        if repository_format is None:
 
706
            return self.transport
 
707
        try:
 
708
            repository_format.get_format_string()
 
709
        except NotImplementedError:
 
710
            return self.transport
 
711
        raise errors.IncompatibleFormat(repository_format, self._format)
 
712
 
 
713
    def get_workingtree_transport(self, workingtree_format):
 
714
        """See BzrDir.get_workingtree_transport()."""
 
715
        if workingtree_format is None:
 
716
            return self.transport
 
717
        try:
 
718
            workingtree_format.get_format_string()
 
719
        except NotImplementedError:
 
720
            return self.transport
 
721
        raise errors.IncompatibleFormat(workingtree_format, self._format)
 
722
 
 
723
    def needs_format_conversion(self, format=None):
 
724
        """See BzrDir.needs_format_conversion()."""
 
725
        # if the format is not the same as the system default,
 
726
        # an upgrade is needed.
 
727
        if format is None:
 
728
            format = BzrDirFormat.get_default_format()
 
729
        return not isinstance(self._format, format.__class__)
 
730
 
 
731
    def open_branch(self, unsupported=False):
 
732
        """See BzrDir.open_branch."""
 
733
        from bzrlib.branch import BzrBranchFormat4
 
734
        format = BzrBranchFormat4()
 
735
        self._check_supported(format, unsupported)
 
736
        return format.open(self, _found=True)
 
737
 
 
738
    def sprout(self, url, revision_id=None, basis=None):
 
739
        """See BzrDir.sprout()."""
 
740
        from bzrlib.workingtree import WorkingTreeFormat2
 
741
        self._make_tail(url)
 
742
        result = self._format._initialize_for_clone(url)
 
743
        basis_repo, basis_branch, basis_tree = self._get_basis_components(basis)
 
744
        try:
 
745
            self.open_repository().clone(result, revision_id=revision_id, basis=basis_repo)
 
746
        except errors.NoRepositoryPresent:
 
747
            pass
 
748
        try:
 
749
            self.open_branch().sprout(result, revision_id=revision_id)
 
750
        except errors.NotBranchError:
 
751
            pass
 
752
        # we always want a working tree
 
753
        WorkingTreeFormat2().initialize(result)
 
754
        return result
 
755
 
 
756
 
 
757
class BzrDir4(BzrDirPreSplitOut):
 
758
    """A .bzr version 4 control object.
 
759
    
 
760
    This is a deprecated format and may be removed after sept 2006.
 
761
    """
 
762
 
 
763
    def create_repository(self, shared=False):
 
764
        """See BzrDir.create_repository."""
 
765
        return self._format.repository_format.initialize(self, shared)
 
766
 
 
767
    def needs_format_conversion(self, format=None):
 
768
        """Format 4 dirs are always in need of conversion."""
 
769
        return True
 
770
 
 
771
    def open_repository(self):
 
772
        """See BzrDir.open_repository."""
 
773
        from bzrlib.repository import RepositoryFormat4
 
774
        return RepositoryFormat4().open(self, _found=True)
 
775
 
 
776
 
 
777
class BzrDir5(BzrDirPreSplitOut):
 
778
    """A .bzr version 5 control object.
 
779
 
 
780
    This is a deprecated format and may be removed after sept 2006.
 
781
    """
 
782
 
 
783
    def open_repository(self):
 
784
        """See BzrDir.open_repository."""
 
785
        from bzrlib.repository import RepositoryFormat5
 
786
        return RepositoryFormat5().open(self, _found=True)
 
787
 
 
788
    def open_workingtree(self, _unsupported=False):
 
789
        """See BzrDir.create_workingtree."""
 
790
        from bzrlib.workingtree import WorkingTreeFormat2
 
791
        return WorkingTreeFormat2().open(self, _found=True)
 
792
 
 
793
 
 
794
class BzrDir6(BzrDirPreSplitOut):
 
795
    """A .bzr version 6 control object.
 
796
 
 
797
    This is a deprecated format and may be removed after sept 2006.
 
798
    """
 
799
 
 
800
    def open_repository(self):
 
801
        """See BzrDir.open_repository."""
 
802
        from bzrlib.repository import RepositoryFormat6
 
803
        return RepositoryFormat6().open(self, _found=True)
 
804
 
 
805
    def open_workingtree(self, _unsupported=False):
 
806
        """See BzrDir.create_workingtree."""
 
807
        from bzrlib.workingtree import WorkingTreeFormat2
 
808
        return WorkingTreeFormat2().open(self, _found=True)
 
809
 
 
810
 
 
811
class BzrDirMeta1(BzrDir):
 
812
    """A .bzr meta version 1 control object.
 
813
    
 
814
    This is the first control object where the 
 
815
    individual aspects are really split out: there are separate repository,
 
816
    workingtree and branch subdirectories and any subset of the three can be
 
817
    present within a BzrDir.
 
818
    """
 
819
 
 
820
    def can_convert_format(self):
 
821
        """See BzrDir.can_convert_format()."""
 
822
        return True
 
823
 
 
824
    def create_branch(self):
 
825
        """See BzrDir.create_branch."""
 
826
        from bzrlib.branch import BranchFormat
 
827
        return BranchFormat.get_default_format().initialize(self)
 
828
 
 
829
    def create_repository(self, shared=False):
 
830
        """See BzrDir.create_repository."""
 
831
        return self._format.repository_format.initialize(self, shared)
 
832
 
 
833
    def create_workingtree(self, revision_id=None):
 
834
        """See BzrDir.create_workingtree."""
 
835
        from bzrlib.workingtree import WorkingTreeFormat
 
836
        return WorkingTreeFormat.get_default_format().initialize(self, revision_id)
 
837
 
 
838
    def _get_mkdir_mode(self):
 
839
        """Figure out the mode to use when creating a bzrdir subdir."""
 
840
        temp_control = LockableFiles(self.transport, '', TransportLock)
 
841
        return temp_control._dir_mode
 
842
 
 
843
    def get_branch_transport(self, branch_format):
 
844
        """See BzrDir.get_branch_transport()."""
 
845
        if branch_format is None:
 
846
            return self.transport.clone('branch')
 
847
        try:
 
848
            branch_format.get_format_string()
 
849
        except NotImplementedError:
 
850
            raise errors.IncompatibleFormat(branch_format, self._format)
 
851
        try:
 
852
            self.transport.mkdir('branch', mode=self._get_mkdir_mode())
 
853
        except errors.FileExists:
 
854
            pass
 
855
        return self.transport.clone('branch')
 
856
 
 
857
    def get_repository_transport(self, repository_format):
 
858
        """See BzrDir.get_repository_transport()."""
 
859
        if repository_format is None:
 
860
            return self.transport.clone('repository')
 
861
        try:
 
862
            repository_format.get_format_string()
 
863
        except NotImplementedError:
 
864
            raise errors.IncompatibleFormat(repository_format, self._format)
 
865
        try:
 
866
            self.transport.mkdir('repository', mode=self._get_mkdir_mode())
 
867
        except errors.FileExists:
 
868
            pass
 
869
        return self.transport.clone('repository')
 
870
 
 
871
    def get_workingtree_transport(self, workingtree_format):
 
872
        """See BzrDir.get_workingtree_transport()."""
 
873
        if workingtree_format is None:
 
874
            return self.transport.clone('checkout')
 
875
        try:
 
876
            workingtree_format.get_format_string()
 
877
        except NotImplementedError:
 
878
            raise errors.IncompatibleFormat(workingtree_format, self._format)
 
879
        try:
 
880
            self.transport.mkdir('checkout', mode=self._get_mkdir_mode())
 
881
        except errors.FileExists:
 
882
            pass
 
883
        return self.transport.clone('checkout')
 
884
 
 
885
    def needs_format_conversion(self, format=None):
 
886
        """See BzrDir.needs_format_conversion()."""
 
887
        if format is None:
 
888
            format = BzrDirFormat.get_default_format()
 
889
        if not isinstance(self._format, format.__class__):
 
890
            # it is not a meta dir format, conversion is needed.
 
891
            return True
 
892
        # we might want to push this down to the repository?
 
893
        try:
 
894
            if not isinstance(self.open_repository()._format,
 
895
                              format.repository_format.__class__):
 
896
                # the repository needs an upgrade.
 
897
                return True
 
898
        except errors.NoRepositoryPresent:
 
899
            pass
 
900
        # currently there are no other possible conversions for meta1 formats.
 
901
        return False
 
902
 
 
903
    def open_branch(self, unsupported=False):
 
904
        """See BzrDir.open_branch."""
 
905
        from bzrlib.branch import BranchFormat
 
906
        format = BranchFormat.find_format(self)
 
907
        self._check_supported(format, unsupported)
 
908
        return format.open(self, _found=True)
 
909
 
 
910
    def open_repository(self, unsupported=False):
 
911
        """See BzrDir.open_repository."""
 
912
        from bzrlib.repository import RepositoryFormat
 
913
        format = RepositoryFormat.find_format(self)
 
914
        self._check_supported(format, unsupported)
 
915
        return format.open(self, _found=True)
 
916
 
 
917
    def open_workingtree(self, unsupported=False):
 
918
        """See BzrDir.open_workingtree."""
 
919
        from bzrlib.workingtree import WorkingTreeFormat
 
920
        format = WorkingTreeFormat.find_format(self)
 
921
        self._check_supported(format, unsupported)
 
922
        return format.open(self, _found=True)
 
923
 
 
924
 
 
925
class BzrDirFormat(object):
 
926
    """An encapsulation of the initialization and open routines for a format.
 
927
 
 
928
    Formats provide three things:
 
929
     * An initialization routine,
 
930
     * a format string,
 
931
     * an open routine.
 
932
 
 
933
    Formats are placed in an dict by their format string for reference 
 
934
    during bzrdir opening. These should be subclasses of BzrDirFormat
 
935
    for consistency.
 
936
 
 
937
    Once a format is deprecated, just deprecate the initialize and open
 
938
    methods on the format class. Do not deprecate the object, as the 
 
939
    object will be created every system load.
 
940
    """
 
941
 
 
942
    _default_format = None
 
943
    """The default format used for new .bzr dirs."""
 
944
 
 
945
    _formats = {}
 
946
    """The known formats."""
 
947
 
 
948
    _control_formats = []
 
949
    """The registered control formats - .bzr, ....
 
950
    
 
951
    This is a list of BzrDirFormat objects.
 
952
    """
 
953
 
 
954
    _lock_file_name = 'branch-lock'
 
955
 
 
956
    # _lock_class must be set in subclasses to the lock type, typ.
 
957
    # TransportLock or LockDir
 
958
 
 
959
    @classmethod
 
960
    def find_format(klass, transport):
 
961
        """Return the format present at transport."""
 
962
        for format in klass._control_formats:
 
963
            try:
 
964
                return format.probe_transport(transport)
 
965
            except errors.NotBranchError:
 
966
                # this format does not find a control dir here.
 
967
                pass
 
968
        raise errors.NotBranchError(path=transport.base)
 
969
 
 
970
    @classmethod
 
971
    def probe_transport(klass, transport):
 
972
        """Return the .bzrdir style transport present at URL."""
 
973
        try:
 
974
            format_string = transport.get(".bzr/branch-format").read()
 
975
            return klass._formats[format_string]
 
976
        except errors.NoSuchFile:
 
977
            raise errors.NotBranchError(path=transport.base)
 
978
        except KeyError:
 
979
            raise errors.UnknownFormatError(format_string)
 
980
 
 
981
    @classmethod
 
982
    def get_default_format(klass):
 
983
        """Return the current default format."""
 
984
        return klass._default_format
 
985
 
 
986
    def get_format_string(self):
 
987
        """Return the ASCII format string that identifies this format."""
 
988
        raise NotImplementedError(self.get_format_string)
 
989
 
 
990
    def get_format_description(self):
 
991
        """Return the short description for this format."""
 
992
        raise NotImplementedError(self.get_format_description)
 
993
 
 
994
    def get_converter(self, format=None):
 
995
        """Return the converter to use to convert bzrdirs needing converts.
 
996
 
 
997
        This returns a bzrlib.bzrdir.Converter object.
 
998
 
 
999
        This should return the best upgrader to step this format towards the
 
1000
        current default format. In the case of plugins we can/should provide
 
1001
        some means for them to extend the range of returnable converters.
 
1002
 
 
1003
        :param format: Optional format to override the default format of the 
 
1004
                       library.
 
1005
        """
 
1006
        raise NotImplementedError(self.get_converter)
 
1007
 
 
1008
    def initialize(self, url):
 
1009
        """Create a bzr control dir at this url and return an opened copy.
 
1010
        
 
1011
        Subclasses should typically override initialize_on_transport
 
1012
        instead of this method.
 
1013
        """
 
1014
        return self.initialize_on_transport(get_transport(url))
 
1015
 
 
1016
    def initialize_on_transport(self, transport):
 
1017
        """Initialize a new bzrdir in the base directory of a Transport."""
 
1018
        # Since we don't have a .bzr directory, inherit the
 
1019
        # mode from the root directory
 
1020
        temp_control = LockableFiles(transport, '', TransportLock)
 
1021
        temp_control._transport.mkdir('.bzr',
 
1022
                                      # FIXME: RBC 20060121 don't peek under
 
1023
                                      # the covers
 
1024
                                      mode=temp_control._dir_mode)
 
1025
        file_mode = temp_control._file_mode
 
1026
        del temp_control
 
1027
        mutter('created control directory in ' + transport.base)
 
1028
        control = transport.clone('.bzr')
 
1029
        utf8_files = [('README', 
 
1030
                       "This is a Bazaar-NG control directory.\n"
 
1031
                       "Do not change any files in this directory.\n"),
 
1032
                      ('branch-format', self.get_format_string()),
 
1033
                      ]
 
1034
        # NB: no need to escape relative paths that are url safe.
 
1035
        control_files = LockableFiles(control, self._lock_file_name, 
 
1036
                                      self._lock_class)
 
1037
        control_files.create_lock()
 
1038
        control_files.lock_write()
 
1039
        try:
 
1040
            for file, content in utf8_files:
 
1041
                control_files.put_utf8(file, content)
 
1042
        finally:
 
1043
            control_files.unlock()
 
1044
        return self.open(transport, _found=True)
 
1045
 
 
1046
    def is_supported(self):
 
1047
        """Is this format supported?
 
1048
 
 
1049
        Supported formats must be initializable and openable.
 
1050
        Unsupported formats may not support initialization or committing or 
 
1051
        some other features depending on the reason for not being supported.
 
1052
        """
 
1053
        return True
 
1054
 
 
1055
    @classmethod
 
1056
    def known_formats(klass):
 
1057
        """Return all the known formats.
 
1058
        
 
1059
        Concrete formats should override _known_formats.
 
1060
        """
 
1061
        # There is double indirection here to make sure that control 
 
1062
        # formats used by more than one dir format will only be probed 
 
1063
        # once. This can otherwise be quite expensive for remote connections.
 
1064
        result = set()
 
1065
        for format in klass._control_formats:
 
1066
            result.update(format._known_formats())
 
1067
        return result
 
1068
    
 
1069
    @classmethod
 
1070
    def _known_formats(klass):
 
1071
        """Return the known format instances for this control format."""
 
1072
        return set(klass._formats.values())
 
1073
 
 
1074
    def open(self, transport, _found=False):
 
1075
        """Return an instance of this format for the dir transport points at.
 
1076
        
 
1077
        _found is a private parameter, do not use it.
 
1078
        """
 
1079
        if not _found:
 
1080
            assert isinstance(BzrDirFormat.find_format(transport),
 
1081
                              self.__class__)
 
1082
        return self._open(transport)
 
1083
 
 
1084
    def _open(self, transport):
 
1085
        """Template method helper for opening BzrDirectories.
 
1086
 
 
1087
        This performs the actual open and any additional logic or parameter
 
1088
        passing.
 
1089
        """
 
1090
        raise NotImplementedError(self._open)
 
1091
 
 
1092
    @classmethod
 
1093
    def register_format(klass, format):
 
1094
        klass._formats[format.get_format_string()] = format
 
1095
 
 
1096
    @classmethod
 
1097
    def register_control_format(klass, format):
 
1098
        """Register a format that does not use '.bzrdir' for its control dir.
 
1099
 
 
1100
        TODO: This should be pulled up into a 'ControlDirFormat' base class
 
1101
        which BzrDirFormat can inherit from, and renamed to register_format 
 
1102
        there. It has been done without that for now for simplicity of
 
1103
        implementation.
 
1104
        """
 
1105
        klass._control_formats.append(format)
 
1106
 
 
1107
    @classmethod
 
1108
    def set_default_format(klass, format):
 
1109
        klass._default_format = format
 
1110
 
 
1111
    def __str__(self):
 
1112
        return self.get_format_string()[:-1]
 
1113
 
 
1114
    @classmethod
 
1115
    def unregister_format(klass, format):
 
1116
        assert klass._formats[format.get_format_string()] is format
 
1117
        del klass._formats[format.get_format_string()]
 
1118
 
 
1119
    @classmethod
 
1120
    def unregister_control_format(klass, format):
 
1121
        klass._control_formats.remove(format)
 
1122
 
 
1123
 
 
1124
# register BzrDirFormat as a control format
 
1125
BzrDirFormat.register_control_format(BzrDirFormat)
 
1126
 
 
1127
 
 
1128
class BzrDirFormat4(BzrDirFormat):
 
1129
    """Bzr dir format 4.
 
1130
 
 
1131
    This format is a combined format for working tree, branch and repository.
 
1132
    It has:
 
1133
     - Format 1 working trees [always]
 
1134
     - Format 4 branches [always]
 
1135
     - Format 4 repositories [always]
 
1136
 
 
1137
    This format is deprecated: it indexes texts using a text it which is
 
1138
    removed in format 5; write support for this format has been removed.
 
1139
    """
 
1140
 
 
1141
    _lock_class = TransportLock
 
1142
 
 
1143
    def get_format_string(self):
 
1144
        """See BzrDirFormat.get_format_string()."""
 
1145
        return "Bazaar-NG branch, format 0.0.4\n"
 
1146
 
 
1147
    def get_format_description(self):
 
1148
        """See BzrDirFormat.get_format_description()."""
 
1149
        return "All-in-one format 4"
 
1150
 
 
1151
    def get_converter(self, format=None):
 
1152
        """See BzrDirFormat.get_converter()."""
 
1153
        # there is one and only one upgrade path here.
 
1154
        return ConvertBzrDir4To5()
 
1155
        
 
1156
    def initialize_on_transport(self, transport):
 
1157
        """Format 4 branches cannot be created."""
 
1158
        raise errors.UninitializableFormat(self)
 
1159
 
 
1160
    def is_supported(self):
 
1161
        """Format 4 is not supported.
 
1162
 
 
1163
        It is not supported because the model changed from 4 to 5 and the
 
1164
        conversion logic is expensive - so doing it on the fly was not 
 
1165
        feasible.
 
1166
        """
 
1167
        return False
 
1168
 
 
1169
    def _open(self, transport):
 
1170
        """See BzrDirFormat._open."""
 
1171
        return BzrDir4(transport, self)
 
1172
 
 
1173
    def __return_repository_format(self):
 
1174
        """Circular import protection."""
 
1175
        from bzrlib.repository import RepositoryFormat4
 
1176
        return RepositoryFormat4(self)
 
1177
    repository_format = property(__return_repository_format)
 
1178
 
 
1179
 
 
1180
class BzrDirFormat5(BzrDirFormat):
 
1181
    """Bzr control format 5.
 
1182
 
 
1183
    This format is a combined format for working tree, branch and repository.
 
1184
    It has:
 
1185
     - Format 2 working trees [always] 
 
1186
     - Format 4 branches [always] 
 
1187
     - Format 5 repositories [always]
 
1188
       Unhashed stores in the repository.
 
1189
    """
 
1190
 
 
1191
    _lock_class = TransportLock
 
1192
 
 
1193
    def get_format_string(self):
 
1194
        """See BzrDirFormat.get_format_string()."""
 
1195
        return "Bazaar-NG branch, format 5\n"
 
1196
 
 
1197
    def get_format_description(self):
 
1198
        """See BzrDirFormat.get_format_description()."""
 
1199
        return "All-in-one format 5"
 
1200
 
 
1201
    def get_converter(self, format=None):
 
1202
        """See BzrDirFormat.get_converter()."""
 
1203
        # there is one and only one upgrade path here.
 
1204
        return ConvertBzrDir5To6()
 
1205
 
 
1206
    def _initialize_for_clone(self, url):
 
1207
        return self.initialize_on_transport(get_transport(url), _cloning=True)
 
1208
        
 
1209
    def initialize_on_transport(self, transport, _cloning=False):
 
1210
        """Format 5 dirs always have working tree, branch and repository.
 
1211
        
 
1212
        Except when they are being cloned.
 
1213
        """
 
1214
        from bzrlib.branch import BzrBranchFormat4
 
1215
        from bzrlib.repository import RepositoryFormat5
 
1216
        from bzrlib.workingtree import WorkingTreeFormat2
 
1217
        result = (super(BzrDirFormat5, self).initialize_on_transport(transport))
 
1218
        RepositoryFormat5().initialize(result, _internal=True)
 
1219
        if not _cloning:
 
1220
            BzrBranchFormat4().initialize(result)
 
1221
            WorkingTreeFormat2().initialize(result)
 
1222
        return result
 
1223
 
 
1224
    def _open(self, transport):
 
1225
        """See BzrDirFormat._open."""
 
1226
        return BzrDir5(transport, self)
 
1227
 
 
1228
    def __return_repository_format(self):
 
1229
        """Circular import protection."""
 
1230
        from bzrlib.repository import RepositoryFormat5
 
1231
        return RepositoryFormat5(self)
 
1232
    repository_format = property(__return_repository_format)
 
1233
 
 
1234
 
 
1235
class BzrDirFormat6(BzrDirFormat):
 
1236
    """Bzr control format 6.
 
1237
 
 
1238
    This format is a combined format for working tree, branch and repository.
 
1239
    It has:
 
1240
     - Format 2 working trees [always] 
 
1241
     - Format 4 branches [always] 
 
1242
     - Format 6 repositories [always]
 
1243
    """
 
1244
 
 
1245
    _lock_class = TransportLock
 
1246
 
 
1247
    def get_format_string(self):
 
1248
        """See BzrDirFormat.get_format_string()."""
 
1249
        return "Bazaar-NG branch, format 6\n"
 
1250
 
 
1251
    def get_format_description(self):
 
1252
        """See BzrDirFormat.get_format_description()."""
 
1253
        return "All-in-one format 6"
 
1254
 
 
1255
    def get_converter(self, format=None):
 
1256
        """See BzrDirFormat.get_converter()."""
 
1257
        # there is one and only one upgrade path here.
 
1258
        return ConvertBzrDir6ToMeta()
 
1259
        
 
1260
    def _initialize_for_clone(self, url):
 
1261
        return self.initialize_on_transport(get_transport(url), _cloning=True)
 
1262
 
 
1263
    def initialize_on_transport(self, transport, _cloning=False):
 
1264
        """Format 6 dirs always have working tree, branch and repository.
 
1265
        
 
1266
        Except when they are being cloned.
 
1267
        """
 
1268
        from bzrlib.branch import BzrBranchFormat4
 
1269
        from bzrlib.repository import RepositoryFormat6
 
1270
        from bzrlib.workingtree import WorkingTreeFormat2
 
1271
        result = super(BzrDirFormat6, self).initialize_on_transport(transport)
 
1272
        RepositoryFormat6().initialize(result, _internal=True)
 
1273
        if not _cloning:
 
1274
            BzrBranchFormat4().initialize(result)
 
1275
            try:
 
1276
                WorkingTreeFormat2().initialize(result)
 
1277
            except errors.NotLocalUrl:
 
1278
                # emulate pre-check behaviour for working tree and silently 
 
1279
                # fail.
 
1280
                pass
 
1281
        return result
 
1282
 
 
1283
    def _open(self, transport):
 
1284
        """See BzrDirFormat._open."""
 
1285
        return BzrDir6(transport, self)
 
1286
 
 
1287
    def __return_repository_format(self):
 
1288
        """Circular import protection."""
 
1289
        from bzrlib.repository import RepositoryFormat6
 
1290
        return RepositoryFormat6(self)
 
1291
    repository_format = property(__return_repository_format)
 
1292
 
 
1293
 
 
1294
class BzrDirMetaFormat1(BzrDirFormat):
 
1295
    """Bzr meta control format 1
 
1296
 
 
1297
    This is the first format with split out working tree, branch and repository
 
1298
    disk storage.
 
1299
    It has:
 
1300
     - Format 3 working trees [optional]
 
1301
     - Format 5 branches [optional]
 
1302
     - Format 7 repositories [optional]
 
1303
    """
 
1304
 
 
1305
    _lock_class = LockDir
 
1306
 
 
1307
    def get_converter(self, format=None):
 
1308
        """See BzrDirFormat.get_converter()."""
 
1309
        if format is None:
 
1310
            format = BzrDirFormat.get_default_format()
 
1311
        if not isinstance(self, format.__class__):
 
1312
            # converting away from metadir is not implemented
 
1313
            raise NotImplementedError(self.get_converter)
 
1314
        return ConvertMetaToMeta(format)
 
1315
 
 
1316
    def get_format_string(self):
 
1317
        """See BzrDirFormat.get_format_string()."""
 
1318
        return "Bazaar-NG meta directory, format 1\n"
 
1319
 
 
1320
    def get_format_description(self):
 
1321
        """See BzrDirFormat.get_format_description()."""
 
1322
        return "Meta directory format 1"
 
1323
 
 
1324
    def _open(self, transport):
 
1325
        """See BzrDirFormat._open."""
 
1326
        return BzrDirMeta1(transport, self)
 
1327
 
 
1328
    def __return_repository_format(self):
 
1329
        """Circular import protection."""
 
1330
        if getattr(self, '_repository_format', None):
 
1331
            return self._repository_format
 
1332
        from bzrlib.repository import RepositoryFormat
 
1333
        return RepositoryFormat.get_default_format()
 
1334
 
 
1335
    def __set_repository_format(self, value):
 
1336
        """Allow changint the repository format for metadir formats."""
 
1337
        self._repository_format = value
 
1338
 
 
1339
    repository_format = property(__return_repository_format, __set_repository_format)
 
1340
 
 
1341
 
 
1342
BzrDirFormat.register_format(BzrDirFormat4())
 
1343
BzrDirFormat.register_format(BzrDirFormat5())
 
1344
BzrDirFormat.register_format(BzrDirFormat6())
 
1345
__default_format = BzrDirMetaFormat1()
 
1346
BzrDirFormat.register_format(__default_format)
 
1347
BzrDirFormat.set_default_format(__default_format)
 
1348
 
 
1349
 
 
1350
class BzrDirTestProviderAdapter(object):
 
1351
    """A tool to generate a suite testing multiple bzrdir formats at once.
 
1352
 
 
1353
    This is done by copying the test once for each transport and injecting
 
1354
    the transport_server, transport_readonly_server, and bzrdir_format
 
1355
    classes into each copy. Each copy is also given a new id() to make it
 
1356
    easy to identify.
 
1357
    """
 
1358
 
 
1359
    def __init__(self, transport_server, transport_readonly_server, formats):
 
1360
        self._transport_server = transport_server
 
1361
        self._transport_readonly_server = transport_readonly_server
 
1362
        self._formats = formats
 
1363
    
 
1364
    def adapt(self, test):
 
1365
        result = TestSuite()
 
1366
        for format in self._formats:
 
1367
            new_test = deepcopy(test)
 
1368
            new_test.transport_server = self._transport_server
 
1369
            new_test.transport_readonly_server = self._transport_readonly_server
 
1370
            new_test.bzrdir_format = format
 
1371
            def make_new_test_id():
 
1372
                new_id = "%s(%s)" % (new_test.id(), format.__class__.__name__)
 
1373
                return lambda: new_id
 
1374
            new_test.id = make_new_test_id()
 
1375
            result.addTest(new_test)
 
1376
        return result
 
1377
 
 
1378
 
 
1379
class ScratchDir(BzrDir6):
 
1380
    """Special test class: a bzrdir that cleans up itself..
 
1381
 
 
1382
    >>> d = ScratchDir()
 
1383
    >>> base = d.transport.base
 
1384
    >>> isdir(base)
 
1385
    True
 
1386
    >>> b.transport.__del__()
 
1387
    >>> isdir(base)
 
1388
    False
 
1389
    """
 
1390
 
 
1391
    def __init__(self, files=[], dirs=[], transport=None):
 
1392
        """Make a test branch.
 
1393
 
 
1394
        This creates a temporary directory and runs init-tree in it.
 
1395
 
 
1396
        If any files are listed, they are created in the working copy.
 
1397
        """
 
1398
        if transport is None:
 
1399
            transport = bzrlib.transport.local.ScratchTransport()
 
1400
            # local import for scope restriction
 
1401
            BzrDirFormat6().initialize(transport.base)
 
1402
            super(ScratchDir, self).__init__(transport, BzrDirFormat6())
 
1403
            self.create_repository()
 
1404
            self.create_branch()
 
1405
            self.create_workingtree()
 
1406
        else:
 
1407
            super(ScratchDir, self).__init__(transport, BzrDirFormat6())
 
1408
 
 
1409
        # BzrBranch creates a clone to .bzr and then forgets about the
 
1410
        # original transport. A ScratchTransport() deletes itself and
 
1411
        # everything underneath it when it goes away, so we need to
 
1412
        # grab a local copy to prevent that from happening
 
1413
        self._transport = transport
 
1414
 
 
1415
        for d in dirs:
 
1416
            self._transport.mkdir(d)
 
1417
            
 
1418
        for f in files:
 
1419
            self._transport.put(f, 'content of %s' % f)
 
1420
 
 
1421
    def clone(self):
 
1422
        """
 
1423
        >>> orig = ScratchDir(files=["file1", "file2"])
 
1424
        >>> os.listdir(orig.base)
 
1425
        [u'.bzr', u'file1', u'file2']
 
1426
        >>> clone = orig.clone()
 
1427
        >>> if os.name != 'nt':
 
1428
        ...   os.path.samefile(orig.base, clone.base)
 
1429
        ... else:
 
1430
        ...   orig.base == clone.base
 
1431
        ...
 
1432
        False
 
1433
        >>> os.listdir(clone.base)
 
1434
        [u'.bzr', u'file1', u'file2']
 
1435
        """
 
1436
        from shutil import copytree
 
1437
        from bzrlib.osutils import mkdtemp
 
1438
        base = mkdtemp()
 
1439
        os.rmdir(base)
 
1440
        copytree(self.base, base, symlinks=True)
 
1441
        return ScratchDir(
 
1442
            transport=bzrlib.transport.local.ScratchTransport(base))
 
1443
 
 
1444
 
 
1445
class Converter(object):
 
1446
    """Converts a disk format object from one format to another."""
 
1447
 
 
1448
    def convert(self, to_convert, pb):
 
1449
        """Perform the conversion of to_convert, giving feedback via pb.
 
1450
 
 
1451
        :param to_convert: The disk object to convert.
 
1452
        :param pb: a progress bar to use for progress information.
 
1453
        """
 
1454
 
 
1455
    def step(self, message):
 
1456
        """Update the pb by a step."""
 
1457
        self.count +=1
 
1458
        self.pb.update(message, self.count, self.total)
 
1459
 
 
1460
 
 
1461
class ConvertBzrDir4To5(Converter):
 
1462
    """Converts format 4 bzr dirs to format 5."""
 
1463
 
 
1464
    def __init__(self):
 
1465
        super(ConvertBzrDir4To5, self).__init__()
 
1466
        self.converted_revs = set()
 
1467
        self.absent_revisions = set()
 
1468
        self.text_count = 0
 
1469
        self.revisions = {}
 
1470
        
 
1471
    def convert(self, to_convert, pb):
 
1472
        """See Converter.convert()."""
 
1473
        self.bzrdir = to_convert
 
1474
        self.pb = pb
 
1475
        self.pb.note('starting upgrade from format 4 to 5')
 
1476
        if isinstance(self.bzrdir.transport, LocalTransport):
 
1477
            self.bzrdir.get_workingtree_transport(None).delete('stat-cache')
 
1478
        self._convert_to_weaves()
 
1479
        return BzrDir.open(self.bzrdir.root_transport.base)
 
1480
 
 
1481
    def _convert_to_weaves(self):
 
1482
        self.pb.note('note: upgrade may be faster if all store files are ungzipped first')
 
1483
        try:
 
1484
            # TODO permissions
 
1485
            stat = self.bzrdir.transport.stat('weaves')
 
1486
            if not S_ISDIR(stat.st_mode):
 
1487
                self.bzrdir.transport.delete('weaves')
 
1488
                self.bzrdir.transport.mkdir('weaves')
 
1489
        except errors.NoSuchFile:
 
1490
            self.bzrdir.transport.mkdir('weaves')
 
1491
        # deliberately not a WeaveFile as we want to build it up slowly.
 
1492
        self.inv_weave = Weave('inventory')
 
1493
        # holds in-memory weaves for all files
 
1494
        self.text_weaves = {}
 
1495
        self.bzrdir.transport.delete('branch-format')
 
1496
        self.branch = self.bzrdir.open_branch()
 
1497
        self._convert_working_inv()
 
1498
        rev_history = self.branch.revision_history()
 
1499
        # to_read is a stack holding the revisions we still need to process;
 
1500
        # appending to it adds new highest-priority revisions
 
1501
        self.known_revisions = set(rev_history)
 
1502
        self.to_read = rev_history[-1:]
 
1503
        while self.to_read:
 
1504
            rev_id = self.to_read.pop()
 
1505
            if (rev_id not in self.revisions
 
1506
                and rev_id not in self.absent_revisions):
 
1507
                self._load_one_rev(rev_id)
 
1508
        self.pb.clear()
 
1509
        to_import = self._make_order()
 
1510
        for i, rev_id in enumerate(to_import):
 
1511
            self.pb.update('converting revision', i, len(to_import))
 
1512
            self._convert_one_rev(rev_id)
 
1513
        self.pb.clear()
 
1514
        self._write_all_weaves()
 
1515
        self._write_all_revs()
 
1516
        self.pb.note('upgraded to weaves:')
 
1517
        self.pb.note('  %6d revisions and inventories', len(self.revisions))
 
1518
        self.pb.note('  %6d revisions not present', len(self.absent_revisions))
 
1519
        self.pb.note('  %6d texts', self.text_count)
 
1520
        self._cleanup_spare_files_after_format4()
 
1521
        self.branch.control_files.put_utf8('branch-format', BzrDirFormat5().get_format_string())
 
1522
 
 
1523
    def _cleanup_spare_files_after_format4(self):
 
1524
        # FIXME working tree upgrade foo.
 
1525
        for n in 'merged-patches', 'pending-merged-patches':
 
1526
            try:
 
1527
                ## assert os.path.getsize(p) == 0
 
1528
                self.bzrdir.transport.delete(n)
 
1529
            except errors.NoSuchFile:
 
1530
                pass
 
1531
        self.bzrdir.transport.delete_tree('inventory-store')
 
1532
        self.bzrdir.transport.delete_tree('text-store')
 
1533
 
 
1534
    def _convert_working_inv(self):
 
1535
        inv = serializer_v4.read_inventory(self.branch.control_files.get('inventory'))
 
1536
        new_inv_xml = bzrlib.xml5.serializer_v5.write_inventory_to_string(inv)
 
1537
        # FIXME inventory is a working tree change.
 
1538
        self.branch.control_files.put('inventory', new_inv_xml)
 
1539
 
 
1540
    def _write_all_weaves(self):
 
1541
        controlweaves = WeaveStore(self.bzrdir.transport, prefixed=False)
 
1542
        weave_transport = self.bzrdir.transport.clone('weaves')
 
1543
        weaves = WeaveStore(weave_transport, prefixed=False)
 
1544
        transaction = WriteTransaction()
 
1545
 
 
1546
        try:
 
1547
            i = 0
 
1548
            for file_id, file_weave in self.text_weaves.items():
 
1549
                self.pb.update('writing weave', i, len(self.text_weaves))
 
1550
                weaves._put_weave(file_id, file_weave, transaction)
 
1551
                i += 1
 
1552
            self.pb.update('inventory', 0, 1)
 
1553
            controlweaves._put_weave('inventory', self.inv_weave, transaction)
 
1554
            self.pb.update('inventory', 1, 1)
 
1555
        finally:
 
1556
            self.pb.clear()
 
1557
 
 
1558
    def _write_all_revs(self):
 
1559
        """Write all revisions out in new form."""
 
1560
        self.bzrdir.transport.delete_tree('revision-store')
 
1561
        self.bzrdir.transport.mkdir('revision-store')
 
1562
        revision_transport = self.bzrdir.transport.clone('revision-store')
 
1563
        # TODO permissions
 
1564
        _revision_store = TextRevisionStore(TextStore(revision_transport,
 
1565
                                                      prefixed=False,
 
1566
                                                      compressed=True))
 
1567
        try:
 
1568
            transaction = bzrlib.transactions.WriteTransaction()
 
1569
            for i, rev_id in enumerate(self.converted_revs):
 
1570
                self.pb.update('write revision', i, len(self.converted_revs))
 
1571
                _revision_store.add_revision(self.revisions[rev_id], transaction)
 
1572
        finally:
 
1573
            self.pb.clear()
 
1574
            
 
1575
    def _load_one_rev(self, rev_id):
 
1576
        """Load a revision object into memory.
 
1577
 
 
1578
        Any parents not either loaded or abandoned get queued to be
 
1579
        loaded."""
 
1580
        self.pb.update('loading revision',
 
1581
                       len(self.revisions),
 
1582
                       len(self.known_revisions))
 
1583
        if not self.branch.repository.has_revision(rev_id):
 
1584
            self.pb.clear()
 
1585
            self.pb.note('revision {%s} not present in branch; '
 
1586
                         'will be converted as a ghost',
 
1587
                         rev_id)
 
1588
            self.absent_revisions.add(rev_id)
 
1589
        else:
 
1590
            rev = self.branch.repository._revision_store.get_revision(rev_id,
 
1591
                self.branch.repository.get_transaction())
 
1592
            for parent_id in rev.parent_ids:
 
1593
                self.known_revisions.add(parent_id)
 
1594
                self.to_read.append(parent_id)
 
1595
            self.revisions[rev_id] = rev
 
1596
 
 
1597
    def _load_old_inventory(self, rev_id):
 
1598
        assert rev_id not in self.converted_revs
 
1599
        old_inv_xml = self.branch.repository.inventory_store.get(rev_id).read()
 
1600
        inv = serializer_v4.read_inventory_from_string(old_inv_xml)
 
1601
        rev = self.revisions[rev_id]
 
1602
        if rev.inventory_sha1:
 
1603
            assert rev.inventory_sha1 == sha_string(old_inv_xml), \
 
1604
                'inventory sha mismatch for {%s}' % rev_id
 
1605
        return inv
 
1606
 
 
1607
    def _load_updated_inventory(self, rev_id):
 
1608
        assert rev_id in self.converted_revs
 
1609
        inv_xml = self.inv_weave.get_text(rev_id)
 
1610
        inv = bzrlib.xml5.serializer_v5.read_inventory_from_string(inv_xml)
 
1611
        return inv
 
1612
 
 
1613
    def _convert_one_rev(self, rev_id):
 
1614
        """Convert revision and all referenced objects to new format."""
 
1615
        rev = self.revisions[rev_id]
 
1616
        inv = self._load_old_inventory(rev_id)
 
1617
        present_parents = [p for p in rev.parent_ids
 
1618
                           if p not in self.absent_revisions]
 
1619
        self._convert_revision_contents(rev, inv, present_parents)
 
1620
        self._store_new_weave(rev, inv, present_parents)
 
1621
        self.converted_revs.add(rev_id)
 
1622
 
 
1623
    def _store_new_weave(self, rev, inv, present_parents):
 
1624
        # the XML is now updated with text versions
 
1625
        if __debug__:
 
1626
            for file_id in inv:
 
1627
                ie = inv[file_id]
 
1628
                if ie.kind == 'root_directory':
 
1629
                    continue
 
1630
                assert hasattr(ie, 'revision'), \
 
1631
                    'no revision on {%s} in {%s}' % \
 
1632
                    (file_id, rev.revision_id)
 
1633
        new_inv_xml = bzrlib.xml5.serializer_v5.write_inventory_to_string(inv)
 
1634
        new_inv_sha1 = sha_string(new_inv_xml)
 
1635
        self.inv_weave.add_lines(rev.revision_id, 
 
1636
                                 present_parents,
 
1637
                                 new_inv_xml.splitlines(True))
 
1638
        rev.inventory_sha1 = new_inv_sha1
 
1639
 
 
1640
    def _convert_revision_contents(self, rev, inv, present_parents):
 
1641
        """Convert all the files within a revision.
 
1642
 
 
1643
        Also upgrade the inventory to refer to the text revision ids."""
 
1644
        rev_id = rev.revision_id
 
1645
        mutter('converting texts of revision {%s}',
 
1646
               rev_id)
 
1647
        parent_invs = map(self._load_updated_inventory, present_parents)
 
1648
        for file_id in inv:
 
1649
            ie = inv[file_id]
 
1650
            self._convert_file_version(rev, ie, parent_invs)
 
1651
 
 
1652
    def _convert_file_version(self, rev, ie, parent_invs):
 
1653
        """Convert one version of one file.
 
1654
 
 
1655
        The file needs to be added into the weave if it is a merge
 
1656
        of >=2 parents or if it's changed from its parent.
 
1657
        """
 
1658
        if ie.kind == 'root_directory':
 
1659
            return
 
1660
        file_id = ie.file_id
 
1661
        rev_id = rev.revision_id
 
1662
        w = self.text_weaves.get(file_id)
 
1663
        if w is None:
 
1664
            w = Weave(file_id)
 
1665
            self.text_weaves[file_id] = w
 
1666
        text_changed = False
 
1667
        previous_entries = ie.find_previous_heads(parent_invs,
 
1668
                                                  None,
 
1669
                                                  None,
 
1670
                                                  entry_vf=w)
 
1671
        for old_revision in previous_entries:
 
1672
                # if this fails, its a ghost ?
 
1673
                assert old_revision in self.converted_revs 
 
1674
        self.snapshot_ie(previous_entries, ie, w, rev_id)
 
1675
        del ie.text_id
 
1676
        assert getattr(ie, 'revision', None) is not None
 
1677
 
 
1678
    def snapshot_ie(self, previous_revisions, ie, w, rev_id):
 
1679
        # TODO: convert this logic, which is ~= snapshot to
 
1680
        # a call to:. This needs the path figured out. rather than a work_tree
 
1681
        # a v4 revision_tree can be given, or something that looks enough like
 
1682
        # one to give the file content to the entry if it needs it.
 
1683
        # and we need something that looks like a weave store for snapshot to 
 
1684
        # save against.
 
1685
        #ie.snapshot(rev, PATH, previous_revisions, REVISION_TREE, InMemoryWeaveStore(self.text_weaves))
 
1686
        if len(previous_revisions) == 1:
 
1687
            previous_ie = previous_revisions.values()[0]
 
1688
            if ie._unchanged(previous_ie):
 
1689
                ie.revision = previous_ie.revision
 
1690
                return
 
1691
        if ie.has_text():
 
1692
            text = self.branch.repository.text_store.get(ie.text_id)
 
1693
            file_lines = text.readlines()
 
1694
            assert sha_strings(file_lines) == ie.text_sha1
 
1695
            assert sum(map(len, file_lines)) == ie.text_size
 
1696
            w.add_lines(rev_id, previous_revisions, file_lines)
 
1697
            self.text_count += 1
 
1698
        else:
 
1699
            w.add_lines(rev_id, previous_revisions, [])
 
1700
        ie.revision = rev_id
 
1701
 
 
1702
    def _make_order(self):
 
1703
        """Return a suitable order for importing revisions.
 
1704
 
 
1705
        The order must be such that an revision is imported after all
 
1706
        its (present) parents.
 
1707
        """
 
1708
        todo = set(self.revisions.keys())
 
1709
        done = self.absent_revisions.copy()
 
1710
        order = []
 
1711
        while todo:
 
1712
            # scan through looking for a revision whose parents
 
1713
            # are all done
 
1714
            for rev_id in sorted(list(todo)):
 
1715
                rev = self.revisions[rev_id]
 
1716
                parent_ids = set(rev.parent_ids)
 
1717
                if parent_ids.issubset(done):
 
1718
                    # can take this one now
 
1719
                    order.append(rev_id)
 
1720
                    todo.remove(rev_id)
 
1721
                    done.add(rev_id)
 
1722
        return order
 
1723
 
 
1724
 
 
1725
class ConvertBzrDir5To6(Converter):
 
1726
    """Converts format 5 bzr dirs to format 6."""
 
1727
 
 
1728
    def convert(self, to_convert, pb):
 
1729
        """See Converter.convert()."""
 
1730
        self.bzrdir = to_convert
 
1731
        self.pb = pb
 
1732
        self.pb.note('starting upgrade from format 5 to 6')
 
1733
        self._convert_to_prefixed()
 
1734
        return BzrDir.open(self.bzrdir.root_transport.base)
 
1735
 
 
1736
    def _convert_to_prefixed(self):
 
1737
        from bzrlib.store import TransportStore
 
1738
        self.bzrdir.transport.delete('branch-format')
 
1739
        for store_name in ["weaves", "revision-store"]:
 
1740
            self.pb.note("adding prefixes to %s" % store_name)
 
1741
            store_transport = self.bzrdir.transport.clone(store_name)
 
1742
            store = TransportStore(store_transport, prefixed=True)
 
1743
            for urlfilename in store_transport.list_dir('.'):
 
1744
                filename = urlutils.unescape(urlfilename)
 
1745
                if (filename.endswith(".weave") or
 
1746
                    filename.endswith(".gz") or
 
1747
                    filename.endswith(".sig")):
 
1748
                    file_id = os.path.splitext(filename)[0]
 
1749
                else:
 
1750
                    file_id = filename
 
1751
                prefix_dir = store.hash_prefix(file_id)
 
1752
                # FIXME keep track of the dirs made RBC 20060121
 
1753
                try:
 
1754
                    store_transport.move(filename, prefix_dir + '/' + filename)
 
1755
                except errors.NoSuchFile: # catches missing dirs strangely enough
 
1756
                    store_transport.mkdir(prefix_dir)
 
1757
                    store_transport.move(filename, prefix_dir + '/' + filename)
 
1758
        self.bzrdir._control_files.put_utf8('branch-format', BzrDirFormat6().get_format_string())
 
1759
 
 
1760
 
 
1761
class ConvertBzrDir6ToMeta(Converter):
 
1762
    """Converts format 6 bzr dirs to metadirs."""
 
1763
 
 
1764
    def convert(self, to_convert, pb):
 
1765
        """See Converter.convert()."""
 
1766
        self.bzrdir = to_convert
 
1767
        self.pb = pb
 
1768
        self.count = 0
 
1769
        self.total = 20 # the steps we know about
 
1770
        self.garbage_inventories = []
 
1771
 
 
1772
        self.pb.note('starting upgrade from format 6 to metadir')
 
1773
        self.bzrdir._control_files.put_utf8('branch-format', "Converting to format 6")
 
1774
        # its faster to move specific files around than to open and use the apis...
 
1775
        # first off, nuke ancestry.weave, it was never used.
 
1776
        try:
 
1777
            self.step('Removing ancestry.weave')
 
1778
            self.bzrdir.transport.delete('ancestry.weave')
 
1779
        except errors.NoSuchFile:
 
1780
            pass
 
1781
        # find out whats there
 
1782
        self.step('Finding branch files')
 
1783
        last_revision = self.bzrdir.open_branch().last_revision()
 
1784
        bzrcontents = self.bzrdir.transport.list_dir('.')
 
1785
        for name in bzrcontents:
 
1786
            if name.startswith('basis-inventory.'):
 
1787
                self.garbage_inventories.append(name)
 
1788
        # create new directories for repository, working tree and branch
 
1789
        self.dir_mode = self.bzrdir._control_files._dir_mode
 
1790
        self.file_mode = self.bzrdir._control_files._file_mode
 
1791
        repository_names = [('inventory.weave', True),
 
1792
                            ('revision-store', True),
 
1793
                            ('weaves', True)]
 
1794
        self.step('Upgrading repository  ')
 
1795
        self.bzrdir.transport.mkdir('repository', mode=self.dir_mode)
 
1796
        self.make_lock('repository')
 
1797
        # we hard code the formats here because we are converting into
 
1798
        # the meta format. The meta format upgrader can take this to a 
 
1799
        # future format within each component.
 
1800
        self.put_format('repository', bzrlib.repository.RepositoryFormat7())
 
1801
        for entry in repository_names:
 
1802
            self.move_entry('repository', entry)
 
1803
 
 
1804
        self.step('Upgrading branch      ')
 
1805
        self.bzrdir.transport.mkdir('branch', mode=self.dir_mode)
 
1806
        self.make_lock('branch')
 
1807
        self.put_format('branch', bzrlib.branch.BzrBranchFormat5())
 
1808
        branch_files = [('revision-history', True),
 
1809
                        ('branch-name', True),
 
1810
                        ('parent', False)]
 
1811
        for entry in branch_files:
 
1812
            self.move_entry('branch', entry)
 
1813
 
 
1814
        self.step('Upgrading working tree')
 
1815
        self.bzrdir.transport.mkdir('checkout', mode=self.dir_mode)
 
1816
        self.make_lock('checkout')
 
1817
        self.put_format('checkout', bzrlib.workingtree.WorkingTreeFormat3())
 
1818
        self.bzrdir.transport.delete_multi(self.garbage_inventories, self.pb)
 
1819
        checkout_files = [('pending-merges', True),
 
1820
                          ('inventory', True),
 
1821
                          ('stat-cache', False)]
 
1822
        for entry in checkout_files:
 
1823
            self.move_entry('checkout', entry)
 
1824
        if last_revision is not None:
 
1825
            self.bzrdir._control_files.put_utf8('checkout/last-revision',
 
1826
                                                last_revision)
 
1827
        self.bzrdir._control_files.put_utf8('branch-format', BzrDirMetaFormat1().get_format_string())
 
1828
        return BzrDir.open(self.bzrdir.root_transport.base)
 
1829
 
 
1830
    def make_lock(self, name):
 
1831
        """Make a lock for the new control dir name."""
 
1832
        self.step('Make %s lock' % name)
 
1833
        ld = LockDir(self.bzrdir.transport, 
 
1834
                     '%s/lock' % name,
 
1835
                     file_modebits=self.file_mode,
 
1836
                     dir_modebits=self.dir_mode)
 
1837
        ld.create()
 
1838
 
 
1839
    def move_entry(self, new_dir, entry):
 
1840
        """Move then entry name into new_dir."""
 
1841
        name = entry[0]
 
1842
        mandatory = entry[1]
 
1843
        self.step('Moving %s' % name)
 
1844
        try:
 
1845
            self.bzrdir.transport.move(name, '%s/%s' % (new_dir, name))
 
1846
        except errors.NoSuchFile:
 
1847
            if mandatory:
 
1848
                raise
 
1849
 
 
1850
    def put_format(self, dirname, format):
 
1851
        self.bzrdir._control_files.put_utf8('%s/format' % dirname, format.get_format_string())
 
1852
 
 
1853
 
 
1854
class ConvertMetaToMeta(Converter):
 
1855
    """Converts the components of metadirs."""
 
1856
 
 
1857
    def __init__(self, target_format):
 
1858
        """Create a metadir to metadir converter.
 
1859
 
 
1860
        :param target_format: The final metadir format that is desired.
 
1861
        """
 
1862
        self.target_format = target_format
 
1863
 
 
1864
    def convert(self, to_convert, pb):
 
1865
        """See Converter.convert()."""
 
1866
        self.bzrdir = to_convert
 
1867
        self.pb = pb
 
1868
        self.count = 0
 
1869
        self.total = 1
 
1870
        self.step('checking repository format')
 
1871
        try:
 
1872
            repo = self.bzrdir.open_repository()
 
1873
        except errors.NoRepositoryPresent:
 
1874
            pass
 
1875
        else:
 
1876
            if not isinstance(repo._format, self.target_format.repository_format.__class__):
 
1877
                from bzrlib.repository import CopyConverter
 
1878
                self.pb.note('starting repository conversion')
 
1879
                converter = CopyConverter(self.target_format.repository_format)
 
1880
                converter.convert(repo, pb)
 
1881
        return to_convert