← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/repository.py

- refactor handling of short option names

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/repository.py
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
2
 
 
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
 
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
 
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
from copy import deepcopy
18
 
from cStringIO import StringIO
19
 
from unittest import TestSuite
20
 
 
21
 
import bzrlib.bzrdir as bzrdir
22
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
23
 
import bzrlib.errors as errors
24
 
from bzrlib.errors import InvalidRevisionId
25
 
import bzrlib.gpg as gpg
26
 
from bzrlib.graph import Graph
27
 
from bzrlib.inter import InterObject
28
 
from bzrlib.knit import KnitVersionedFile, KnitPlainFactory
29
 
from bzrlib.lockable_files import LockableFiles, TransportLock
30
 
from bzrlib.lockdir import LockDir
31
 
from bzrlib.osutils import safe_unicode
32
 
from bzrlib.revision import NULL_REVISION
33
 
from bzrlib.store.versioned import VersionedFileStore, WeaveStore
34
 
from bzrlib.store.text import TextStore
35
 
from bzrlib.symbol_versioning import *
36
 
from bzrlib.trace import mutter, note
37
 
from bzrlib.tree import RevisionTree
38
 
from bzrlib.tsort import topo_sort
39
 
from bzrlib.testament import Testament
40
 
from bzrlib.tree import EmptyTree
41
 
import bzrlib.ui
42
 
from bzrlib.weave import WeaveFile
43
 
import bzrlib.xml5
44
 
 
45
 
 
46
 
class Repository(object):
47
 
    """Repository holding history for one or more branches.
48
 
 
49
 
    The repository holds and retrieves historical information including
50
 
    revisions and file history.  It's normally accessed only by the Branch,
51
 
    which views a particular line of development through that history.
52
 
 
53
 
    The Repository builds on top of Stores and a Transport, which respectively 
54
 
    describe the disk data format and the way of accessing the (possibly 
55
 
    remote) disk.
56
 
    """
57
 
 
58
 
    @needs_write_lock
59
 
    def add_inventory(self, revid, inv, parents):
60
 
        """Add the inventory inv to the repository as revid.
61
 
        
62
 
        :param parents: The revision ids of the parents that revid
63
 
                        is known to have and are in the repository already.
64
 
 
65
 
        returns the sha1 of the serialized inventory.
66
 
        """
67
 
        inv_text = bzrlib.xml5.serializer_v5.write_inventory_to_string(inv)
68
 
        inv_sha1 = bzrlib.osutils.sha_string(inv_text)
69
 
        inv_vf = self.control_weaves.get_weave('inventory',
70
 
                                               self.get_transaction())
71
 
        inv_vf.add_lines(revid, parents, bzrlib.osutils.split_lines(inv_text))
72
 
        return inv_sha1
73
 
 
74
 
    @needs_write_lock
75
 
    def add_revision(self, rev_id, rev, inv=None, config=None):
76
 
        """Add rev to the revision store as rev_id.
77
 
 
78
 
        :param rev_id: the revision id to use.
79
 
        :param rev: The revision object.
80
 
        :param inv: The inventory for the revision. if None, it will be looked
81
 
                    up in the inventory storer
82
 
        :param config: If None no digital signature will be created.
83
 
                       If supplied its signature_needed method will be used
84
 
                       to determine if a signature should be made.
85
 
        """
86
 
        if config is not None and config.signature_needed():
87
 
            if inv is None:
88
 
                inv = self.get_inventory(rev_id)
89
 
            plaintext = Testament(rev, inv).as_short_text()
90
 
            self.store_revision_signature(
91
 
                gpg.GPGStrategy(config), plaintext, rev_id)
92
 
        if not rev_id in self.get_inventory_weave():
93
 
            if inv is None:
94
 
                raise errors.WeaveRevisionNotPresent(rev_id,
95
 
                                                     self.get_inventory_weave())
96
 
            else:
97
 
                # yes, this is not suitable for adding with ghosts.
98
 
                self.add_inventory(rev_id, inv, rev.parent_ids)
99
 
        self._revision_store.add_revision(rev, self.get_transaction())
100
 
 
101
 
    @needs_read_lock
102
 
    def _all_possible_ids(self):
103
 
        """Return all the possible revisions that we could find."""
104
 
        return self.get_inventory_weave().versions()
105
 
 
106
 
    @needs_read_lock
107
 
    def all_revision_ids(self):
108
 
        """Returns a list of all the revision ids in the repository. 
109
 
 
110
 
        These are in as much topological order as the underlying store can 
111
 
        present: for weaves ghosts may lead to a lack of correctness until
112
 
        the reweave updates the parents list.
113
 
        """
114
 
        if self._revision_store.text_store.listable():
115
 
            return self._revision_store.all_revision_ids(self.get_transaction())
116
 
        result = self._all_possible_ids()
117
 
        return self._eliminate_revisions_not_present(result)
118
 
 
119
 
    @needs_read_lock
120
 
    def _eliminate_revisions_not_present(self, revision_ids):
121
 
        """Check every revision id in revision_ids to see if we have it.
122
 
 
123
 
        Returns a set of the present revisions.
124
 
        """
125
 
        result = []
126
 
        for id in revision_ids:
127
 
            if self.has_revision(id):
128
 
               result.append(id)
129
 
        return result
130
 
 
131
 
    @staticmethod
132
 
    def create(a_bzrdir):
133
 
        """Construct the current default format repository in a_bzrdir."""
134
 
        return RepositoryFormat.get_default_format().initialize(a_bzrdir)
135
 
 
136
 
    def __init__(self, _format, a_bzrdir, control_files, _revision_store, control_store, text_store):
137
 
        """instantiate a Repository.
138
 
 
139
 
        :param _format: The format of the repository on disk.
140
 
        :param a_bzrdir: The BzrDir of the repository.
141
 
 
142
 
        In the future we will have a single api for all stores for
143
 
        getting file texts, inventories and revisions, then
144
 
        this construct will accept instances of those things.
145
 
        """
146
 
        super(Repository, self).__init__()
147
 
        self._format = _format
148
 
        # the following are part of the public API for Repository:
149
 
        self.bzrdir = a_bzrdir
150
 
        self.control_files = control_files
151
 
        self._revision_store = _revision_store
152
 
        self.text_store = text_store
153
 
        # backwards compatability
154
 
        self.weave_store = text_store
155
 
        # not right yet - should be more semantically clear ? 
156
 
        # 
157
 
        self.control_store = control_store
158
 
        self.control_weaves = control_store
159
 
        # TODO: make sure to construct the right store classes, etc, depending
160
 
        # on whether escaping is required.
161
 
 
162
 
    def is_locked(self):
163
 
        return self.control_files.is_locked()
164
 
 
165
 
    def lock_write(self):
166
 
        self.control_files.lock_write()
167
 
 
168
 
    def lock_read(self):
169
 
        self.control_files.lock_read()
170
 
 
171
 
    def get_physical_lock_status(self):
172
 
        return self.control_files.get_physical_lock_status()
173
 
 
174
 
    @needs_read_lock
175
 
    def missing_revision_ids(self, other, revision_id=None):
176
 
        """Return the revision ids that other has that this does not.
177
 
        
178
 
        These are returned in topological order.
179
 
 
180
 
        revision_id: only return revision ids included by revision_id.
181
 
        """
182
 
        return InterRepository.get(other, self).missing_revision_ids(revision_id)
183
 
 
184
 
    @staticmethod
185
 
    def open(base):
186
 
        """Open the repository rooted at base.
187
 
 
188
 
        For instance, if the repository is at URL/.bzr/repository,
189
 
        Repository.open(URL) -> a Repository instance.
190
 
        """
191
 
        control = bzrlib.bzrdir.BzrDir.open(base)
192
 
        return control.open_repository()
193
 
 
194
 
    def copy_content_into(self, destination, revision_id=None, basis=None):
195
 
        """Make a complete copy of the content in self into destination.
196
 
        
197
 
        This is a destructive operation! Do not use it on existing 
198
 
        repositories.
199
 
        """
200
 
        return InterRepository.get(self, destination).copy_content(revision_id, basis)
201
 
 
202
 
    def fetch(self, source, revision_id=None, pb=None):
203
 
        """Fetch the content required to construct revision_id from source.
204
 
 
205
 
        If revision_id is None all content is copied.
206
 
        """
207
 
        return InterRepository.get(source, self).fetch(revision_id=revision_id,
208
 
                                                       pb=pb)
209
 
 
210
 
    def unlock(self):
211
 
        self.control_files.unlock()
212
 
 
213
 
    @needs_read_lock
214
 
    def clone(self, a_bzrdir, revision_id=None, basis=None):
215
 
        """Clone this repository into a_bzrdir using the current format.
216
 
 
217
 
        Currently no check is made that the format of this repository and
218
 
        the bzrdir format are compatible. FIXME RBC 20060201.
219
 
        """
220
 
        if not isinstance(a_bzrdir._format, self.bzrdir._format.__class__):
221
 
            # use target default format.
222
 
            result = a_bzrdir.create_repository()
223
 
        # FIXME RBC 20060209 split out the repository type to avoid this check ?
224
 
        elif isinstance(a_bzrdir._format,
225
 
                      (bzrlib.bzrdir.BzrDirFormat4,
226
 
                       bzrlib.bzrdir.BzrDirFormat5,
227
 
                       bzrlib.bzrdir.BzrDirFormat6)):
228
 
            result = a_bzrdir.open_repository()
229
 
        else:
230
 
            result = self._format.initialize(a_bzrdir, shared=self.is_shared())
231
 
        self.copy_content_into(result, revision_id, basis)
232
 
        return result
233
 
 
234
 
    @needs_read_lock
235
 
    def has_revision(self, revision_id):
236
 
        """True if this repository has a copy of the revision."""
237
 
        return self._revision_store.has_revision_id(revision_id,
238
 
                                                    self.get_transaction())
239
 
 
240
 
    @needs_read_lock
241
 
    def get_revision_reconcile(self, revision_id):
242
 
        """'reconcile' helper routine that allows access to a revision always.
243
 
        
244
 
        This variant of get_revision does not cross check the weave graph
245
 
        against the revision one as get_revision does: but it should only
246
 
        be used by reconcile, or reconcile-alike commands that are correcting
247
 
        or testing the revision graph.
248
 
        """
249
 
        if not revision_id or not isinstance(revision_id, basestring):
250
 
            raise InvalidRevisionId(revision_id=revision_id, branch=self)
251
 
        return self._revision_store.get_revision(revision_id,
252
 
                                                 self.get_transaction())
253
 
 
254
 
    @needs_read_lock
255
 
    def get_revision_xml(self, revision_id):
256
 
        rev = self.get_revision(revision_id) 
257
 
        rev_tmp = StringIO()
258
 
        # the current serializer..
259
 
        self._revision_store._serializer.write_revision(rev, rev_tmp)
260
 
        rev_tmp.seek(0)
261
 
        return rev_tmp.getvalue()
262
 
 
263
 
    @needs_read_lock
264
 
    def get_revision(self, revision_id):
265
 
        """Return the Revision object for a named revision"""
266
 
        r = self.get_revision_reconcile(revision_id)
267
 
        # weave corruption can lead to absent revision markers that should be
268
 
        # present.
269
 
        # the following test is reasonably cheap (it needs a single weave read)
270
 
        # and the weave is cached in read transactions. In write transactions
271
 
        # it is not cached but typically we only read a small number of
272
 
        # revisions. For knits when they are introduced we will probably want
273
 
        # to ensure that caching write transactions are in use.
274
 
        inv = self.get_inventory_weave()
275
 
        self._check_revision_parents(r, inv)
276
 
        return r
277
 
 
278
 
    def _check_revision_parents(self, revision, inventory):
279
 
        """Private to Repository and Fetch.
280
 
        
281
 
        This checks the parentage of revision in an inventory weave for 
282
 
        consistency and is only applicable to inventory-weave-for-ancestry
283
 
        using repository formats & fetchers.
284
 
        """
285
 
        weave_parents = inventory.get_parents(revision.revision_id)
286
 
        weave_names = inventory.versions()
287
 
        for parent_id in revision.parent_ids:
288
 
            if parent_id in weave_names:
289
 
                # this parent must not be a ghost.
290
 
                if not parent_id in weave_parents:
291
 
                    # but it is a ghost
292
 
                    raise errors.CorruptRepository(self)
293
 
 
294
 
    @needs_write_lock
295
 
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
296
 
        signature = gpg_strategy.sign(plaintext)
297
 
        self._revision_store.add_revision_signature_text(revision_id,
298
 
                                                         signature,
299
 
                                                         self.get_transaction())
300
 
 
301
 
    def fileid_involved_between_revs(self, from_revid, to_revid):
302
 
        """Find file_id(s) which are involved in the changes between revisions.
303
 
 
304
 
        This determines the set of revisions which are involved, and then
305
 
        finds all file ids affected by those revisions.
306
 
        """
307
 
        w = self.get_inventory_weave()
308
 
        from_set = set(w.get_ancestry(from_revid))
309
 
        to_set = set(w.get_ancestry(to_revid))
310
 
        changed = to_set.difference(from_set)
311
 
        return self._fileid_involved_by_set(changed)
312
 
 
313
 
    def fileid_involved(self, last_revid=None):
314
 
        """Find all file_ids modified in the ancestry of last_revid.
315
 
 
316
 
        :param last_revid: If None, last_revision() will be used.
317
 
        """
318
 
        w = self.get_inventory_weave()
319
 
        if not last_revid:
320
 
            changed = set(w.versions())
321
 
        else:
322
 
            changed = set(w.get_ancestry(last_revid))
323
 
        return self._fileid_involved_by_set(changed)
324
 
 
325
 
    def fileid_involved_by_set(self, changes):
326
 
        """Find all file_ids modified by the set of revisions passed in.
327
 
 
328
 
        :param changes: A set() of revision ids
329
 
        """
330
 
        # TODO: jam 20060119 This line does *nothing*, remove it.
331
 
        #       or better yet, change _fileid_involved_by_set so
332
 
        #       that it takes the inventory weave, rather than
333
 
        #       pulling it out by itself.
334
 
        return self._fileid_involved_by_set(changes)
335
 
 
336
 
    def _fileid_involved_by_set(self, changes):
337
 
        """Find the set of file-ids affected by the set of revisions.
338
 
 
339
 
        :param changes: A set() of revision ids.
340
 
        :return: A set() of file ids.
341
 
        
342
 
        This peaks at the Weave, interpreting each line, looking to
343
 
        see if it mentions one of the revisions. And if so, includes
344
 
        the file id mentioned.
345
 
        This expects both the Weave format, and the serialization
346
 
        to have a single line per file/directory, and to have
347
 
        fileid="" and revision="" on that line.
348
 
        """
349
 
        assert isinstance(self._format, (RepositoryFormat5,
350
 
                                         RepositoryFormat6,
351
 
                                         RepositoryFormat7,
352
 
                                         RepositoryFormatKnit1)), \
353
 
            "fileid_involved only supported for branches which store inventory as unnested xml"
354
 
 
355
 
        w = self.get_inventory_weave()
356
 
        file_ids = set()
357
 
 
358
 
        # this code needs to read every line in every inventory for the
359
 
        # inventories [changes]. Seeing a line twice is ok. Seeing a line
360
 
        # not pesent in one of those inventories is unnecessary and not 
361
 
        # harmful because we are filtering by the revision id marker in the
362
 
        # inventory lines to only select file ids altered in one of those  
363
 
        # revisions. We dont need to see all lines in the inventory because
364
 
        # only those added in an inventory in rev X can contain a revision=X
365
 
        # line.
366
 
        for line in w.iter_lines_added_or_present_in_versions(changes):
367
 
            start = line.find('file_id="')+9
368
 
            if start < 9: continue
369
 
            end = line.find('"', start)
370
 
            assert end>= 0
371
 
            file_id = _unescape_xml(line[start:end])
372
 
 
373
 
            # check if file_id is already present
374
 
            if file_id in file_ids: continue
375
 
 
376
 
            start = line.find('revision="')+10
377
 
            if start < 10: continue
378
 
            end = line.find('"', start)
379
 
            assert end>= 0
380
 
            revision_id = _unescape_xml(line[start:end])
381
 
            if revision_id in changes:
382
 
                file_ids.add(file_id)
383
 
        return file_ids
384
 
 
385
 
    @needs_read_lock
386
 
    def get_inventory_weave(self):
387
 
        return self.control_weaves.get_weave('inventory',
388
 
            self.get_transaction())
389
 
 
390
 
    @needs_read_lock
391
 
    def get_inventory(self, revision_id):
392
 
        """Get Inventory object by hash."""
393
 
        xml = self.get_inventory_xml(revision_id)
394
 
        return bzrlib.xml5.serializer_v5.read_inventory_from_string(xml)
395
 
 
396
 
    @needs_read_lock
397
 
    def get_inventory_xml(self, revision_id):
398
 
        """Get inventory XML as a file object."""
399
 
        try:
400
 
            assert isinstance(revision_id, basestring), type(revision_id)
401
 
            iw = self.get_inventory_weave()
402
 
            return iw.get_text(revision_id)
403
 
        except IndexError:
404
 
            raise bzrlib.errors.HistoryMissing(self, 'inventory', revision_id)
405
 
 
406
 
    @needs_read_lock
407
 
    def get_inventory_sha1(self, revision_id):
408
 
        """Return the sha1 hash of the inventory entry
409
 
        """
410
 
        return self.get_revision(revision_id).inventory_sha1
411
 
 
412
 
    @needs_read_lock
413
 
    def get_revision_graph(self, revision_id=None):
414
 
        """Return a dictionary containing the revision graph.
415
 
        
416
 
        :return: a dictionary of revision_id->revision_parents_list.
417
 
        """
418
 
        weave = self.get_inventory_weave()
419
 
        all_revisions = self._eliminate_revisions_not_present(weave.versions())
420
 
        entire_graph = dict([(node, weave.get_parents(node)) for 
421
 
                             node in all_revisions])
422
 
        if revision_id is None:
423
 
            return entire_graph
424
 
        elif revision_id not in entire_graph:
425
 
            raise errors.NoSuchRevision(self, revision_id)
426
 
        else:
427
 
            # add what can be reached from revision_id
428
 
            result = {}
429
 
            pending = set([revision_id])
430
 
            while len(pending) > 0:
431
 
                node = pending.pop()
432
 
                result[node] = entire_graph[node]
433
 
                for revision_id in result[node]:
434
 
                    if revision_id not in result:
435
 
                        pending.add(revision_id)
436
 
            return result
437
 
 
438
 
    @needs_read_lock
439
 
    def get_revision_graph_with_ghosts(self, revision_ids=None):
440
 
        """Return a graph of the revisions with ghosts marked as applicable.
441
 
 
442
 
        :param revision_ids: an iterable of revisions to graph or None for all.
443
 
        :return: a Graph object with the graph reachable from revision_ids.
444
 
        """
445
 
        result = Graph()
446
 
        if not revision_ids:
447
 
            pending = set(self.all_revision_ids())
448
 
            required = set([])
449
 
        else:
450
 
            pending = set(revision_ids)
451
 
            required = set(revision_ids)
452
 
        done = set([])
453
 
        while len(pending):
454
 
            revision_id = pending.pop()
455
 
            try:
456
 
                rev = self.get_revision(revision_id)
457
 
            except errors.NoSuchRevision:
458
 
                if revision_id in required:
459
 
                    raise
460
 
                # a ghost
461
 
                result.add_ghost(revision_id)
462
 
                continue
463
 
            for parent_id in rev.parent_ids:
464
 
                # is this queued or done ?
465
 
                if (parent_id not in pending and
466
 
                    parent_id not in done):
467
 
                    # no, queue it.
468
 
                    pending.add(parent_id)
469
 
            result.add_node(revision_id, rev.parent_ids)
470
 
            done.add(revision_id)
471
 
        return result
472
 
 
473
 
    @needs_read_lock
474
 
    def get_revision_inventory(self, revision_id):
475
 
        """Return inventory of a past revision."""
476
 
        # TODO: Unify this with get_inventory()
477
 
        # bzr 0.0.6 and later imposes the constraint that the inventory_id
478
 
        # must be the same as its revision, so this is trivial.
479
 
        if revision_id is None:
480
 
            # This does not make sense: if there is no revision,
481
 
            # then it is the current tree inventory surely ?!
482
 
            # and thus get_root_id() is something that looks at the last
483
 
            # commit on the branch, and the get_root_id is an inventory check.
484
 
            raise NotImplementedError
485
 
            # return Inventory(self.get_root_id())
486
 
        else:
487
 
            return self.get_inventory(revision_id)
488
 
 
489
 
    @needs_read_lock
490
 
    def is_shared(self):
491
 
        """Return True if this repository is flagged as a shared repository."""
492
 
        raise NotImplementedError(self.is_shared)
493
 
 
494
 
    @needs_write_lock
495
 
    def reconcile(self):
496
 
        """Reconcile this repository."""
497
 
        from bzrlib.reconcile import RepoReconciler
498
 
        reconciler = RepoReconciler(self)
499
 
        reconciler.reconcile()
500
 
        return reconciler
501
 
    
502
 
    @needs_read_lock
503
 
    def revision_tree(self, revision_id):
504
 
        """Return Tree for a revision on this branch.
505
 
 
506
 
        `revision_id` may be None for the null revision, in which case
507
 
        an `EmptyTree` is returned."""
508
 
        # TODO: refactor this to use an existing revision object
509
 
        # so we don't need to read it in twice.
510
 
        if revision_id is None or revision_id == NULL_REVISION:
511
 
            return EmptyTree()
512
 
        else:
513
 
            inv = self.get_revision_inventory(revision_id)
514
 
            return RevisionTree(self, inv, revision_id)
515
 
 
516
 
    @needs_read_lock
517
 
    def get_ancestry(self, revision_id):
518
 
        """Return a list of revision-ids integrated by a revision.
519
 
        
520
 
        This is topologically sorted.
521
 
        """
522
 
        if revision_id is None:
523
 
            return [None]
524
 
        if not self.has_revision(revision_id):
525
 
            raise errors.NoSuchRevision(self, revision_id)
526
 
        w = self.get_inventory_weave()
527
 
        candidates = w.get_ancestry(revision_id)
528
 
        return [None] + candidates # self._eliminate_revisions_not_present(candidates)
529
 
 
530
 
    @needs_read_lock
531
 
    def print_file(self, file, revision_id):
532
 
        """Print `file` to stdout.
533
 
        
534
 
        FIXME RBC 20060125 as John Meinel points out this is a bad api
535
 
        - it writes to stdout, it assumes that that is valid etc. Fix
536
 
        by creating a new more flexible convenience function.
537
 
        """
538
 
        tree = self.revision_tree(revision_id)
539
 
        # use inventory as it was in that revision
540
 
        file_id = tree.inventory.path2id(file)
541
 
        if not file_id:
542
 
            raise BzrError("%r is not present in revision %s" % (file, revno))
543
 
            try:
544
 
                revno = self.revision_id_to_revno(revision_id)
545
 
            except errors.NoSuchRevision:
546
 
                # TODO: This should not be BzrError,
547
 
                # but NoSuchFile doesn't fit either
548
 
                raise BzrError('%r is not present in revision %s' 
549
 
                                % (file, revision_id))
550
 
            else:
551
 
                raise BzrError('%r is not present in revision %s'
552
 
                                % (file, revno))
553
 
        tree.print_file(file_id)
554
 
 
555
 
    def get_transaction(self):
556
 
        return self.control_files.get_transaction()
557
 
 
558
 
    def revision_parents(self, revid):
559
 
        return self.get_inventory_weave().parent_names(revid)
560
 
 
561
 
    @needs_write_lock
562
 
    def set_make_working_trees(self, new_value):
563
 
        """Set the policy flag for making working trees when creating branches.
564
 
 
565
 
        This only applies to branches that use this repository.
566
 
 
567
 
        The default is 'True'.
568
 
        :param new_value: True to restore the default, False to disable making
569
 
                          working trees.
570
 
        """
571
 
        raise NotImplementedError(self.set_make_working_trees)
572
 
    
573
 
    def make_working_trees(self):
574
 
        """Returns the policy for making working trees on new branches."""
575
 
        raise NotImplementedError(self.make_working_trees)
576
 
 
577
 
    @needs_write_lock
578
 
    def sign_revision(self, revision_id, gpg_strategy):
579
 
        plaintext = Testament.from_revision(self, revision_id).as_short_text()
580
 
        self.store_revision_signature(gpg_strategy, plaintext, revision_id)
581
 
 
582
 
    @needs_read_lock
583
 
    def has_signature_for_revision_id(self, revision_id):
584
 
        """Query for a revision signature for revision_id in the repository."""
585
 
        return self._revision_store.has_signature(revision_id,
586
 
                                                  self.get_transaction())
587
 
 
588
 
    @needs_read_lock
589
 
    def get_signature_text(self, revision_id):
590
 
        """Return the text for a signature."""
591
 
        return self._revision_store.get_signature_text(revision_id,
592
 
                                                       self.get_transaction())
593
 
 
594
 
 
595
 
class AllInOneRepository(Repository):
596
 
    """Legacy support - the repository behaviour for all-in-one branches."""
597
 
 
598
 
    def __init__(self, _format, a_bzrdir, _revision_store, control_store, text_store):
599
 
        # we reuse one control files instance.
600
 
        dir_mode = a_bzrdir._control_files._dir_mode
601
 
        file_mode = a_bzrdir._control_files._file_mode
602
 
 
603
 
        def get_store(name, compressed=True, prefixed=False):
604
 
            # FIXME: This approach of assuming stores are all entirely compressed
605
 
            # or entirely uncompressed is tidy, but breaks upgrade from 
606
 
            # some existing branches where there's a mixture; we probably 
607
 
            # still want the option to look for both.
608
 
            relpath = a_bzrdir._control_files._escape(name)
609
 
            store = TextStore(a_bzrdir._control_files._transport.clone(relpath),
610
 
                              prefixed=prefixed, compressed=compressed,
611
 
                              dir_mode=dir_mode,
612
 
                              file_mode=file_mode)
613
 
            #if self._transport.should_cache():
614
 
            #    cache_path = os.path.join(self.cache_root, name)
615
 
            #    os.mkdir(cache_path)
616
 
            #    store = bzrlib.store.CachedStore(store, cache_path)
617
 
            return store
618
 
 
619
 
        # not broken out yet because the controlweaves|inventory_store
620
 
        # and text_store | weave_store bits are still different.
621
 
        if isinstance(_format, RepositoryFormat4):
622
 
            # cannot remove these - there is still no consistent api 
623
 
            # which allows access to this old info.
624
 
            self.inventory_store = get_store('inventory-store')
625
 
            text_store = get_store('text-store')
626
 
        super(AllInOneRepository, self).__init__(_format, a_bzrdir, a_bzrdir._control_files, _revision_store, control_store, text_store)
627
 
 
628
 
    @needs_read_lock
629
 
    def is_shared(self):
630
 
        """AllInOne repositories cannot be shared."""
631
 
        return False
632
 
 
633
 
    @needs_write_lock
634
 
    def set_make_working_trees(self, new_value):
635
 
        """Set the policy flag for making working trees when creating branches.
636
 
 
637
 
        This only applies to branches that use this repository.
638
 
 
639
 
        The default is 'True'.
640
 
        :param new_value: True to restore the default, False to disable making
641
 
                          working trees.
642
 
        """
643
 
        raise NotImplementedError(self.set_make_working_trees)
644
 
    
645
 
    def make_working_trees(self):
646
 
        """Returns the policy for making working trees on new branches."""
647
 
        return True
648
 
 
649
 
 
650
 
class MetaDirRepository(Repository):
651
 
    """Repositories in the new meta-dir layout."""
652
 
 
653
 
    def __init__(self, _format, a_bzrdir, control_files, _revision_store, control_store, text_store):
654
 
        super(MetaDirRepository, self).__init__(_format,
655
 
                                                a_bzrdir,
656
 
                                                control_files,
657
 
                                                _revision_store,
658
 
                                                control_store,
659
 
                                                text_store)
660
 
 
661
 
        dir_mode = self.control_files._dir_mode
662
 
        file_mode = self.control_files._file_mode
663
 
 
664
 
    @needs_read_lock
665
 
    def is_shared(self):
666
 
        """Return True if this repository is flagged as a shared repository."""
667
 
        return self.control_files._transport.has('shared-storage')
668
 
 
669
 
    @needs_write_lock
670
 
    def set_make_working_trees(self, new_value):
671
 
        """Set the policy flag for making working trees when creating branches.
672
 
 
673
 
        This only applies to branches that use this repository.
674
 
 
675
 
        The default is 'True'.
676
 
        :param new_value: True to restore the default, False to disable making
677
 
                          working trees.
678
 
        """
679
 
        if new_value:
680
 
            try:
681
 
                self.control_files._transport.delete('no-working-trees')
682
 
            except errors.NoSuchFile:
683
 
                pass
684
 
        else:
685
 
            self.control_files.put_utf8('no-working-trees', '')
686
 
    
687
 
    def make_working_trees(self):
688
 
        """Returns the policy for making working trees on new branches."""
689
 
        return not self.control_files._transport.has('no-working-trees')
690
 
 
691
 
 
692
 
class KnitRepository(MetaDirRepository):
693
 
    """Knit format repository."""
694
 
 
695
 
    @needs_read_lock
696
 
    def all_revision_ids(self):
697
 
        """See Repository.all_revision_ids()."""
698
 
        return self._revision_store.all_revision_ids(self.get_transaction())
699
 
 
700
 
    def fileid_involved_between_revs(self, from_revid, to_revid):
701
 
        """Find file_id(s) which are involved in the changes between revisions.
702
 
 
703
 
        This determines the set of revisions which are involved, and then
704
 
        finds all file ids affected by those revisions.
705
 
        """
706
 
        vf = self._get_revision_vf()
707
 
        from_set = set(vf.get_ancestry(from_revid))
708
 
        to_set = set(vf.get_ancestry(to_revid))
709
 
        changed = to_set.difference(from_set)
710
 
        return self._fileid_involved_by_set(changed)
711
 
 
712
 
    def fileid_involved(self, last_revid=None):
713
 
        """Find all file_ids modified in the ancestry of last_revid.
714
 
 
715
 
        :param last_revid: If None, last_revision() will be used.
716
 
        """
717
 
        if not last_revid:
718
 
            changed = set(self.all_revision_ids())
719
 
        else:
720
 
            changed = set(self.get_ancestry(last_revid))
721
 
        if None in changed:
722
 
            changed.remove(None)
723
 
        return self._fileid_involved_by_set(changed)
724
 
 
725
 
    @needs_read_lock
726
 
    def get_ancestry(self, revision_id):
727
 
        """Return a list of revision-ids integrated by a revision.
728
 
        
729
 
        This is topologically sorted.
730
 
        """
731
 
        if revision_id is None:
732
 
            return [None]
733
 
        vf = self._get_revision_vf()
734
 
        try:
735
 
            return [None] + vf.get_ancestry(revision_id)
736
 
        except errors.RevisionNotPresent:
737
 
            raise errors.NoSuchRevision(self, revision_id)
738
 
 
739
 
    @needs_read_lock
740
 
    def get_revision(self, revision_id):
741
 
        """Return the Revision object for a named revision"""
742
 
        return self.get_revision_reconcile(revision_id)
743
 
 
744
 
    @needs_read_lock
745
 
    def get_revision_graph(self, revision_id=None):
746
 
        """Return a dictionary containing the revision graph.
747
 
        
748
 
        :return: a dictionary of revision_id->revision_parents_list.
749
 
        """
750
 
        weave = self._get_revision_vf()
751
 
        entire_graph = weave.get_graph()
752
 
        if revision_id is None:
753
 
            return weave.get_graph()
754
 
        elif revision_id not in weave:
755
 
            raise errors.NoSuchRevision(self, revision_id)
756
 
        else:
757
 
            # add what can be reached from revision_id
758
 
            result = {}
759
 
            pending = set([revision_id])
760
 
            while len(pending) > 0:
761
 
                node = pending.pop()
762
 
                result[node] = weave.get_parents(node)
763
 
                for revision_id in result[node]:
764
 
                    if revision_id not in result:
765
 
                        pending.add(revision_id)
766
 
            return result
767
 
 
768
 
    @needs_read_lock
769
 
    def get_revision_graph_with_ghosts(self, revision_ids=None):
770
 
        """Return a graph of the revisions with ghosts marked as applicable.
771
 
 
772
 
        :param revision_ids: an iterable of revisions to graph or None for all.
773
 
        :return: a Graph object with the graph reachable from revision_ids.
774
 
        """
775
 
        result = Graph()
776
 
        vf = self._get_revision_vf()
777
 
        versions = set(vf.versions())
778
 
        if not revision_ids:
779
 
            pending = set(self.all_revision_ids())
780
 
            required = set([])
781
 
        else:
782
 
            pending = set(revision_ids)
783
 
            required = set(revision_ids)
784
 
        done = set([])
785
 
        while len(pending):
786
 
            revision_id = pending.pop()
787
 
            if not revision_id in versions:
788
 
                if revision_id in required:
789
 
                    raise errors.NoSuchRevision(self, revision_id)
790
 
                # a ghost
791
 
                result.add_ghost(revision_id)
792
 
                # mark it as done so we dont try for it again.
793
 
                done.add(revision_id)
794
 
                continue
795
 
            parent_ids = vf.get_parents_with_ghosts(revision_id)
796
 
            for parent_id in parent_ids:
797
 
                # is this queued or done ?
798
 
                if (parent_id not in pending and
799
 
                    parent_id not in done):
800
 
                    # no, queue it.
801
 
                    pending.add(parent_id)
802
 
            result.add_node(revision_id, parent_ids)
803
 
            done.add(revision_id)
804
 
        return result
805
 
 
806
 
    def _get_revision_vf(self):
807
 
        """:return: a versioned file containing the revisions."""
808
 
        vf = self._revision_store.get_revision_file(self.get_transaction())
809
 
        return vf
810
 
 
811
 
    @needs_write_lock
812
 
    def reconcile(self):
813
 
        """Reconcile this repository."""
814
 
        from bzrlib.reconcile import KnitReconciler
815
 
        reconciler = KnitReconciler(self)
816
 
        reconciler.reconcile()
817
 
        return reconciler
818
 
    
819
 
    def revision_parents(self, revid):
820
 
        return self._get_revision_vf().get_parents(rev_id)
821
 
 
822
 
class RepositoryFormat(object):
823
 
    """A repository format.
824
 
 
825
 
    Formats provide three things:
826
 
     * An initialization routine to construct repository data on disk.
827
 
     * a format string which is used when the BzrDir supports versioned
828
 
       children.
829
 
     * an open routine which returns a Repository instance.
830
 
 
831
 
    Formats are placed in an dict by their format string for reference 
832
 
    during opening. These should be subclasses of RepositoryFormat
833
 
    for consistency.
834
 
 
835
 
    Once a format is deprecated, just deprecate the initialize and open
836
 
    methods on the format class. Do not deprecate the object, as the 
837
 
    object will be created every system load.
838
 
 
839
 
    Common instance attributes:
840
 
    _matchingbzrdir - the bzrdir format that the repository format was
841
 
    originally written to work with. This can be used if manually
842
 
    constructing a bzrdir and repository, or more commonly for test suite
843
 
    parameterisation.
844
 
    """
845
 
 
846
 
    _default_format = None
847
 
    """The default format used for new repositories."""
848
 
 
849
 
    _formats = {}
850
 
    """The known formats."""
851
 
 
852
 
    @classmethod
853
 
    def find_format(klass, a_bzrdir):
854
 
        """Return the format for the repository object in a_bzrdir."""
855
 
        try:
856
 
            transport = a_bzrdir.get_repository_transport(None)
857
 
            format_string = transport.get("format").read()
858
 
            return klass._formats[format_string]
859
 
        except errors.NoSuchFile:
860
 
            raise errors.NoRepositoryPresent(a_bzrdir)
861
 
        except KeyError:
862
 
            raise errors.UnknownFormatError(format_string)
863
 
 
864
 
    def _get_control_store(self, repo_transport, control_files):
865
 
        """Return the control store for this repository."""
866
 
        raise NotImplementedError(self._get_control_store)
867
 
    
868
 
    @classmethod
869
 
    def get_default_format(klass):
870
 
        """Return the current default format."""
871
 
        return klass._default_format
872
 
 
873
 
    def get_format_string(self):
874
 
        """Return the ASCII format string that identifies this format.
875
 
        
876
 
        Note that in pre format ?? repositories the format string is 
877
 
        not permitted nor written to disk.
878
 
        """
879
 
        raise NotImplementedError(self.get_format_string)
880
 
 
881
 
    def get_format_description(self):
882
 
        """Return the short desciption for this format."""
883
 
        raise NotImplementedError(self.get_format_description)
884
 
 
885
 
    def _get_revision_store(self, repo_transport, control_files):
886
 
        """Return the revision store object for this a_bzrdir."""
887
 
        raise NotImplementedError(self._get_revision_store)
888
 
 
889
 
    def _get_text_rev_store(self,
890
 
                            transport,
891
 
                            control_files,
892
 
                            name,
893
 
                            compressed=True,
894
 
                            prefixed=False,
895
 
                            serializer=None):
896
 
        """Common logic for getting a revision store for a repository.
897
 
        
898
 
        see self._get_revision_store for the subclass-overridable method to 
899
 
        get the store for a repository.
900
 
        """
901
 
        from bzrlib.store.revision.text import TextRevisionStore
902
 
        dir_mode = control_files._dir_mode
903
 
        file_mode = control_files._file_mode
904
 
        text_store =TextStore(transport.clone(name),
905
 
                              prefixed=prefixed,
906
 
                              compressed=compressed,
907
 
                              dir_mode=dir_mode,
908
 
                              file_mode=file_mode)
909
 
        _revision_store = TextRevisionStore(text_store, serializer)
910
 
        return _revision_store
911
 
 
912
 
    def _get_versioned_file_store(self,
913
 
                                  name,
914
 
                                  transport,
915
 
                                  control_files,
916
 
                                  prefixed=True,
917
 
                                  versionedfile_class=WeaveFile,
918
 
                                  escaped=False):
919
 
        weave_transport = control_files._transport.clone(name)
920
 
        dir_mode = control_files._dir_mode
921
 
        file_mode = control_files._file_mode
922
 
        return VersionedFileStore(weave_transport, prefixed=prefixed,
923
 
                                  dir_mode=dir_mode,
924
 
                                  file_mode=file_mode,
925
 
                                  versionedfile_class=versionedfile_class,
926
 
                                  escaped=escaped)
927
 
 
928
 
    def initialize(self, a_bzrdir, shared=False):
929
 
        """Initialize a repository of this format in a_bzrdir.
930
 
 
931
 
        :param a_bzrdir: The bzrdir to put the new repository in it.
932
 
        :param shared: The repository should be initialized as a sharable one.
933
 
 
934
 
        This may raise UninitializableFormat if shared repository are not
935
 
        compatible the a_bzrdir.
936
 
        """
937
 
 
938
 
    def is_supported(self):
939
 
        """Is this format supported?
940
 
 
941
 
        Supported formats must be initializable and openable.
942
 
        Unsupported formats may not support initialization or committing or 
943
 
        some other features depending on the reason for not being supported.
944
 
        """
945
 
        return True
946
 
 
947
 
    def open(self, a_bzrdir, _found=False):
948
 
        """Return an instance of this format for the bzrdir a_bzrdir.
949
 
        
950
 
        _found is a private parameter, do not use it.
951
 
        """
952
 
        raise NotImplementedError(self.open)
953
 
 
954
 
    @classmethod
955
 
    def register_format(klass, format):
956
 
        klass._formats[format.get_format_string()] = format
957
 
 
958
 
    @classmethod
959
 
    def set_default_format(klass, format):
960
 
        klass._default_format = format
961
 
 
962
 
    @classmethod
963
 
    def unregister_format(klass, format):
964
 
        assert klass._formats[format.get_format_string()] is format
965
 
        del klass._formats[format.get_format_string()]
966
 
 
967
 
 
968
 
class PreSplitOutRepositoryFormat(RepositoryFormat):
969
 
    """Base class for the pre split out repository formats."""
970
 
 
971
 
    def initialize(self, a_bzrdir, shared=False, _internal=False):
972
 
        """Create a weave repository.
973
 
        
974
 
        TODO: when creating split out bzr branch formats, move this to a common
975
 
        base for Format5, Format6. or something like that.
976
 
        """
977
 
        from bzrlib.weavefile import write_weave_v5
978
 
        from bzrlib.weave import Weave
979
 
 
980
 
        if shared:
981
 
            raise errors.IncompatibleFormat(self, a_bzrdir._format)
982
 
 
983
 
        if not _internal:
984
 
            # always initialized when the bzrdir is.
985
 
            return self.open(a_bzrdir, _found=True)
986
 
        
987
 
        # Create an empty weave
988
 
        sio = StringIO()
989
 
        bzrlib.weavefile.write_weave_v5(Weave(), sio)
990
 
        empty_weave = sio.getvalue()
991
 
 
992
 
        mutter('creating repository in %s.', a_bzrdir.transport.base)
993
 
        dirs = ['revision-store', 'weaves']
994
 
        files = [('inventory.weave', StringIO(empty_weave)),
995
 
                 ]
996
 
        
997
 
        # FIXME: RBC 20060125 dont peek under the covers
998
 
        # NB: no need to escape relative paths that are url safe.
999
 
        control_files = LockableFiles(a_bzrdir.transport, 'branch-lock',
1000
 
                                      TransportLock)
1001
 
        control_files.create_lock()
1002
 
        control_files.lock_write()
1003
 
        control_files._transport.mkdir_multi(dirs,
1004
 
                mode=control_files._dir_mode)
1005
 
        try:
1006
 
            for file, content in files:
1007
 
                control_files.put(file, content)
1008
 
        finally:
1009
 
            control_files.unlock()
1010
 
        return self.open(a_bzrdir, _found=True)
1011
 
 
1012
 
    def _get_control_store(self, repo_transport, control_files):
1013
 
        """Return the control store for this repository."""
1014
 
        return self._get_versioned_file_store('',
1015
 
                                              repo_transport,
1016
 
                                              control_files,
1017
 
                                              prefixed=False)
1018
 
 
1019
 
    def _get_text_store(self, transport, control_files):
1020
 
        """Get a store for file texts for this format."""
1021
 
        raise NotImplementedError(self._get_text_store)
1022
 
 
1023
 
    def open(self, a_bzrdir, _found=False):
1024
 
        """See RepositoryFormat.open()."""
1025
 
        if not _found:
1026
 
            # we are being called directly and must probe.
1027
 
            raise NotImplementedError
1028
 
 
1029
 
        repo_transport = a_bzrdir.get_repository_transport(None)
1030
 
        control_files = a_bzrdir._control_files
1031
 
        text_store = self._get_text_store(repo_transport, control_files)
1032
 
        control_store = self._get_control_store(repo_transport, control_files)
1033
 
        _revision_store = self._get_revision_store(repo_transport, control_files)
1034
 
        return AllInOneRepository(_format=self,
1035
 
                                  a_bzrdir=a_bzrdir,
1036
 
                                  _revision_store=_revision_store,
1037
 
                                  control_store=control_store,
1038
 
                                  text_store=text_store)
1039
 
 
1040
 
 
1041
 
class RepositoryFormat4(PreSplitOutRepositoryFormat):
1042
 
    """Bzr repository format 4.
1043
 
 
1044
 
    This repository format has:
1045
 
     - flat stores
1046
 
     - TextStores for texts, inventories,revisions.
1047
 
 
1048
 
    This format is deprecated: it indexes texts using a text id which is
1049
 
    removed in format 5; initializationa and write support for this format
1050
 
    has been removed.
1051
 
    """
1052
 
 
1053
 
    def __init__(self):
1054
 
        super(RepositoryFormat4, self).__init__()
1055
 
        self._matchingbzrdir = bzrlib.bzrdir.BzrDirFormat4()
1056
 
 
1057
 
    def get_format_description(self):
1058
 
        """See RepositoryFormat.get_format_description()."""
1059
 
        return "Repository format 4"
1060
 
 
1061
 
    def initialize(self, url, shared=False, _internal=False):
1062
 
        """Format 4 branches cannot be created."""
1063
 
        raise errors.UninitializableFormat(self)
1064
 
 
1065
 
    def is_supported(self):
1066
 
        """Format 4 is not supported.
1067
 
 
1068
 
        It is not supported because the model changed from 4 to 5 and the
1069
 
        conversion logic is expensive - so doing it on the fly was not 
1070
 
        feasible.
1071
 
        """
1072
 
        return False
1073
 
 
1074
 
    def _get_control_store(self, repo_transport, control_files):
1075
 
        """Format 4 repositories have no formal control store at this point.
1076
 
        
1077
 
        This will cause any control-file-needing apis to fail - this is desired.
1078
 
        """
1079
 
        return None
1080
 
    
1081
 
    def _get_revision_store(self, repo_transport, control_files):
1082
 
        """See RepositoryFormat._get_revision_store()."""
1083
 
        from bzrlib.xml4 import serializer_v4
1084
 
        return self._get_text_rev_store(repo_transport,
1085
 
                                        control_files,
1086
 
                                        'revision-store',
1087
 
                                        serializer=serializer_v4)
1088
 
 
1089
 
    def _get_text_store(self, transport, control_files):
1090
 
        """See RepositoryFormat._get_text_store()."""
1091
 
 
1092
 
 
1093
 
class RepositoryFormat5(PreSplitOutRepositoryFormat):
1094
 
    """Bzr control format 5.
1095
 
 
1096
 
    This repository format has:
1097
 
     - weaves for file texts and inventory
1098
 
     - flat stores
1099
 
     - TextStores for revisions and signatures.
1100
 
    """
1101
 
 
1102
 
    def __init__(self):
1103
 
        super(RepositoryFormat5, self).__init__()
1104
 
        self._matchingbzrdir = bzrlib.bzrdir.BzrDirFormat5()
1105
 
 
1106
 
    def get_format_description(self):
1107
 
        """See RepositoryFormat.get_format_description()."""
1108
 
        return "Weave repository format 5"
1109
 
 
1110
 
    def _get_revision_store(self, repo_transport, control_files):
1111
 
        """See RepositoryFormat._get_revision_store()."""
1112
 
        """Return the revision store object for this a_bzrdir."""
1113
 
        return self._get_text_rev_store(repo_transport,
1114
 
                                        control_files,
1115
 
                                        'revision-store',
1116
 
                                        compressed=False)
1117
 
 
1118
 
    def _get_text_store(self, transport, control_files):
1119
 
        """See RepositoryFormat._get_text_store()."""
1120
 
        return self._get_versioned_file_store('weaves', transport, control_files, prefixed=False)
1121
 
 
1122
 
 
1123
 
class RepositoryFormat6(PreSplitOutRepositoryFormat):
1124
 
    """Bzr control format 6.
1125
 
 
1126
 
    This repository format has:
1127
 
     - weaves for file texts and inventory
1128
 
     - hash subdirectory based stores.
1129
 
     - TextStores for revisions and signatures.
1130
 
    """
1131
 
 
1132
 
    def __init__(self):
1133
 
        super(RepositoryFormat6, self).__init__()
1134
 
        self._matchingbzrdir = bzrlib.bzrdir.BzrDirFormat6()
1135
 
 
1136
 
    def get_format_description(self):
1137
 
        """See RepositoryFormat.get_format_description()."""
1138
 
        return "Weave repository format 6"
1139
 
 
1140
 
    def _get_revision_store(self, repo_transport, control_files):
1141
 
        """See RepositoryFormat._get_revision_store()."""
1142
 
        return self._get_text_rev_store(repo_transport,
1143
 
                                        control_files,
1144
 
                                        'revision-store',
1145
 
                                        compressed=False,
1146
 
                                        prefixed=True)
1147
 
 
1148
 
    def _get_text_store(self, transport, control_files):
1149
 
        """See RepositoryFormat._get_text_store()."""
1150
 
        return self._get_versioned_file_store('weaves', transport, control_files)
1151
 
 
1152
 
 
1153
 
class MetaDirRepositoryFormat(RepositoryFormat):
1154
 
    """Common base class for the new repositories using the metadir layour."""
1155
 
 
1156
 
    def __init__(self):
1157
 
        super(MetaDirRepositoryFormat, self).__init__()
1158
 
        self._matchingbzrdir = bzrlib.bzrdir.BzrDirMetaFormat1()
1159
 
 
1160
 
    def _create_control_files(self, a_bzrdir):
1161
 
        """Create the required files and the initial control_files object."""
1162
 
        # FIXME: RBC 20060125 dont peek under the covers
1163
 
        # NB: no need to escape relative paths that are url safe.
1164
 
        repository_transport = a_bzrdir.get_repository_transport(self)
1165
 
        control_files = LockableFiles(repository_transport, 'lock', LockDir)
1166
 
        control_files.create_lock()
1167
 
        return control_files
1168
 
 
1169
 
    def _upload_blank_content(self, a_bzrdir, dirs, files, utf8_files, shared):
1170
 
        """Upload the initial blank content."""
1171
 
        control_files = self._create_control_files(a_bzrdir)
1172
 
        control_files.lock_write()
1173
 
        try:
1174
 
            control_files._transport.mkdir_multi(dirs,
1175
 
                    mode=control_files._dir_mode)
1176
 
            for file, content in files:
1177
 
                control_files.put(file, content)
1178
 
            for file, content in utf8_files:
1179
 
                control_files.put_utf8(file, content)
1180
 
            if shared == True:
1181
 
                control_files.put_utf8('shared-storage', '')
1182
 
        finally:
1183
 
            control_files.unlock()
1184
 
 
1185
 
 
1186
 
class RepositoryFormat7(MetaDirRepositoryFormat):
1187
 
    """Bzr repository 7.
1188
 
 
1189
 
    This repository format has:
1190
 
     - weaves for file texts and inventory
1191
 
     - hash subdirectory based stores.
1192
 
     - TextStores for revisions and signatures.
1193
 
     - a format marker of its own
1194
 
     - an optional 'shared-storage' flag
1195
 
     - an optional 'no-working-trees' flag
1196
 
    """
1197
 
 
1198
 
    def _get_control_store(self, repo_transport, control_files):
1199
 
        """Return the control store for this repository."""
1200
 
        return self._get_versioned_file_store('',
1201
 
                                              repo_transport,
1202
 
                                              control_files,
1203
 
                                              prefixed=False)
1204
 
 
1205
 
    def get_format_string(self):
1206
 
        """See RepositoryFormat.get_format_string()."""
1207
 
        return "Bazaar-NG Repository format 7"
1208
 
 
1209
 
    def get_format_description(self):
1210
 
        """See RepositoryFormat.get_format_description()."""
1211
 
        return "Weave repository format 7"
1212
 
 
1213
 
    def _get_revision_store(self, repo_transport, control_files):
1214
 
        """See RepositoryFormat._get_revision_store()."""
1215
 
        return self._get_text_rev_store(repo_transport,
1216
 
                                        control_files,
1217
 
                                        'revision-store',
1218
 
                                        compressed=False,
1219
 
                                        prefixed=True,
1220
 
                                        )
1221
 
 
1222
 
    def _get_text_store(self, transport, control_files):
1223
 
        """See RepositoryFormat._get_text_store()."""
1224
 
        return self._get_versioned_file_store('weaves',
1225
 
                                              transport,
1226
 
                                              control_files)
1227
 
 
1228
 
    def initialize(self, a_bzrdir, shared=False):
1229
 
        """Create a weave repository.
1230
 
 
1231
 
        :param shared: If true the repository will be initialized as a shared
1232
 
                       repository.
1233
 
        """
1234
 
        from bzrlib.weavefile import write_weave_v5
1235
 
        from bzrlib.weave import Weave
1236
 
 
1237
 
        # Create an empty weave
1238
 
        sio = StringIO()
1239
 
        bzrlib.weavefile.write_weave_v5(Weave(), sio)
1240
 
        empty_weave = sio.getvalue()
1241
 
 
1242
 
        mutter('creating repository in %s.', a_bzrdir.transport.base)
1243
 
        dirs = ['revision-store', 'weaves']
1244
 
        files = [('inventory.weave', StringIO(empty_weave)), 
1245
 
                 ]
1246
 
        utf8_files = [('format', self.get_format_string())]
1247
 
 
1248
 
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
1249
 
        return self.open(a_bzrdir=a_bzrdir, _found=True)
1250
 
 
1251
 
    def open(self, a_bzrdir, _found=False, _override_transport=None):
1252
 
        """See RepositoryFormat.open().
1253
 
        
1254
 
        :param _override_transport: INTERNAL USE ONLY. Allows opening the
1255
 
                                    repository at a slightly different url
1256
 
                                    than normal. I.e. during 'upgrade'.
1257
 
        """
1258
 
        if not _found:
1259
 
            format = RepositoryFormat.find_format(a_bzrdir)
1260
 
            assert format.__class__ ==  self.__class__
1261
 
        if _override_transport is not None:
1262
 
            repo_transport = _override_transport
1263
 
        else:
1264
 
            repo_transport = a_bzrdir.get_repository_transport(None)
1265
 
        control_files = LockableFiles(repo_transport, 'lock', LockDir)
1266
 
        text_store = self._get_text_store(repo_transport, control_files)
1267
 
        control_store = self._get_control_store(repo_transport, control_files)
1268
 
        _revision_store = self._get_revision_store(repo_transport, control_files)
1269
 
        return MetaDirRepository(_format=self,
1270
 
                                 a_bzrdir=a_bzrdir,
1271
 
                                 control_files=control_files,
1272
 
                                 _revision_store=_revision_store,
1273
 
                                 control_store=control_store,
1274
 
                                 text_store=text_store)
1275
 
 
1276
 
 
1277
 
class RepositoryFormatKnit1(MetaDirRepositoryFormat):
1278
 
    """Bzr repository knit format 1.
1279
 
 
1280
 
    This repository format has:
1281
 
     - knits for file texts and inventory
1282
 
     - hash subdirectory based stores.
1283
 
     - knits for revisions and signatures
1284
 
     - TextStores for revisions and signatures.
1285
 
     - a format marker of its own
1286
 
     - an optional 'shared-storage' flag
1287
 
     - an optional 'no-working-trees' flag
1288
 
     - a LockDir lock
1289
 
 
1290
 
    This format was introduced in bzr 0.8.
1291
 
    """
1292
 
 
1293
 
    def _get_control_store(self, repo_transport, control_files):
1294
 
        """Return the control store for this repository."""
1295
 
        return VersionedFileStore(
1296
 
            repo_transport,
1297
 
            prefixed=False,
1298
 
            file_mode=control_files._file_mode,
1299
 
            versionedfile_class=KnitVersionedFile,
1300
 
            versionedfile_kwargs={'factory':KnitPlainFactory()},
1301
 
            )
1302
 
 
1303
 
    def get_format_string(self):
1304
 
        """See RepositoryFormat.get_format_string()."""
1305
 
        return "Bazaar-NG Knit Repository Format 1"
1306
 
 
1307
 
    def get_format_description(self):
1308
 
        """See RepositoryFormat.get_format_description()."""
1309
 
        return "Knit repository format 1"
1310
 
 
1311
 
    def _get_revision_store(self, repo_transport, control_files):
1312
 
        """See RepositoryFormat._get_revision_store()."""
1313
 
        from bzrlib.store.revision.knit import KnitRevisionStore
1314
 
        versioned_file_store = VersionedFileStore(
1315
 
            repo_transport,
1316
 
            file_mode=control_files._file_mode,
1317
 
            prefixed=False,
1318
 
            precious=True,
1319
 
            versionedfile_class=KnitVersionedFile,
1320
 
            versionedfile_kwargs={'delta':False, 'factory':KnitPlainFactory()},
1321
 
            escaped=True,
1322
 
            )
1323
 
        return KnitRevisionStore(versioned_file_store)
1324
 
 
1325
 
    def _get_text_store(self, transport, control_files):
1326
 
        """See RepositoryFormat._get_text_store()."""
1327
 
        return self._get_versioned_file_store('knits',
1328
 
                                              transport,
1329
 
                                              control_files,
1330
 
                                              versionedfile_class=KnitVersionedFile,
1331
 
                                              escaped=True)
1332
 
 
1333
 
    def initialize(self, a_bzrdir, shared=False):
1334
 
        """Create a knit format 1 repository.
1335
 
 
1336
 
        :param a_bzrdir: bzrdir to contain the new repository; must already
1337
 
            be initialized.
1338
 
        :param shared: If true the repository will be initialized as a shared
1339
 
                       repository.
1340
 
        """
1341
 
        mutter('creating repository in %s.', a_bzrdir.transport.base)
1342
 
        dirs = ['revision-store', 'knits']
1343
 
        files = []
1344
 
        utf8_files = [('format', self.get_format_string())]
1345
 
        
1346
 
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
1347
 
        repo_transport = a_bzrdir.get_repository_transport(None)
1348
 
        control_files = LockableFiles(repo_transport, 'lock', LockDir)
1349
 
        control_store = self._get_control_store(repo_transport, control_files)
1350
 
        transaction = bzrlib.transactions.WriteTransaction()
1351
 
        # trigger a write of the inventory store.
1352
 
        control_store.get_weave_or_empty('inventory', transaction)
1353
 
        _revision_store = self._get_revision_store(repo_transport, control_files)
1354
 
        _revision_store.has_revision_id('A', transaction)
1355
 
        _revision_store.get_signature_file(transaction)
1356
 
        return self.open(a_bzrdir=a_bzrdir, _found=True)
1357
 
 
1358
 
    def open(self, a_bzrdir, _found=False, _override_transport=None):
1359
 
        """See RepositoryFormat.open().
1360
 
        
1361
 
        :param _override_transport: INTERNAL USE ONLY. Allows opening the
1362
 
                                    repository at a slightly different url
1363
 
                                    than normal. I.e. during 'upgrade'.
1364
 
        """
1365
 
        if not _found:
1366
 
            format = RepositoryFormat.find_format(a_bzrdir)
1367
 
            assert format.__class__ ==  self.__class__
1368
 
        if _override_transport is not None:
1369
 
            repo_transport = _override_transport
1370
 
        else:
1371
 
            repo_transport = a_bzrdir.get_repository_transport(None)
1372
 
        control_files = LockableFiles(repo_transport, 'lock', LockDir)
1373
 
        text_store = self._get_text_store(repo_transport, control_files)
1374
 
        control_store = self._get_control_store(repo_transport, control_files)
1375
 
        _revision_store = self._get_revision_store(repo_transport, control_files)
1376
 
        return KnitRepository(_format=self,
1377
 
                              a_bzrdir=a_bzrdir,
1378
 
                              control_files=control_files,
1379
 
                              _revision_store=_revision_store,
1380
 
                              control_store=control_store,
1381
 
                              text_store=text_store)
1382
 
 
1383
 
 
1384
 
# formats which have no format string are not discoverable
1385
 
# and not independently creatable, so are not registered.
1386
 
RepositoryFormat.register_format(RepositoryFormat7())
1387
 
_default_format = RepositoryFormatKnit1()
1388
 
RepositoryFormat.register_format(_default_format)
1389
 
RepositoryFormat.set_default_format(_default_format)
1390
 
_legacy_formats = [RepositoryFormat4(),
1391
 
                   RepositoryFormat5(),
1392
 
                   RepositoryFormat6()]
1393
 
 
1394
 
 
1395
 
class InterRepository(InterObject):
1396
 
    """This class represents operations taking place between two repositories.
1397
 
 
1398
 
    Its instances have methods like copy_content and fetch, and contain
1399
 
    references to the source and target repositories these operations can be 
1400
 
    carried out on.
1401
 
 
1402
 
    Often we will provide convenience methods on 'repository' which carry out
1403
 
    operations with another repository - they will always forward to
1404
 
    InterRepository.get(other).method_name(parameters).
1405
 
    """
1406
 
 
1407
 
    _optimisers = set()
1408
 
    """The available optimised InterRepository types."""
1409
 
 
1410
 
    @needs_write_lock
1411
 
    def copy_content(self, revision_id=None, basis=None):
1412
 
        """Make a complete copy of the content in self into destination.
1413
 
        
1414
 
        This is a destructive operation! Do not use it on existing 
1415
 
        repositories.
1416
 
 
1417
 
        :param revision_id: Only copy the content needed to construct
1418
 
                            revision_id and its parents.
1419
 
        :param basis: Copy the needed data preferentially from basis.
1420
 
        """
1421
 
        try:
1422
 
            self.target.set_make_working_trees(self.source.make_working_trees())
1423
 
        except NotImplementedError:
1424
 
            pass
1425
 
        # grab the basis available data
1426
 
        if basis is not None:
1427
 
            self.target.fetch(basis, revision_id=revision_id)
1428
 
        # but dont bother fetching if we have the needed data now.
1429
 
        if (revision_id not in (None, NULL_REVISION) and 
1430
 
            self.target.has_revision(revision_id)):
1431
 
            return
1432
 
        self.target.fetch(self.source, revision_id=revision_id)
1433
 
 
1434
 
    def _double_lock(self, lock_source, lock_target):
1435
 
        """Take out too locks, rolling back the first if the second throws."""
1436
 
        lock_source()
1437
 
        try:
1438
 
            lock_target()
1439
 
        except Exception:
1440
 
            # we want to ensure that we don't leave source locked by mistake.
1441
 
            # and any error on target should not confuse source.
1442
 
            self.source.unlock()
1443
 
            raise
1444
 
 
1445
 
    @needs_write_lock
1446
 
    def fetch(self, revision_id=None, pb=None):
1447
 
        """Fetch the content required to construct revision_id.
1448
 
 
1449
 
        The content is copied from source to target.
1450
 
 
1451
 
        :param revision_id: if None all content is copied, if NULL_REVISION no
1452
 
                            content is copied.
1453
 
        :param pb: optional progress bar to use for progress reports. If not
1454
 
                   provided a default one will be created.
1455
 
 
1456
 
        Returns the copied revision count and the failed revisions in a tuple:
1457
 
        (copied, failures).
1458
 
        """
1459
 
        from bzrlib.fetch import GenericRepoFetcher
1460
 
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
1461
 
               self.source, self.source._format, self.target, self.target._format)
1462
 
        f = GenericRepoFetcher(to_repository=self.target,
1463
 
                               from_repository=self.source,
1464
 
                               last_revision=revision_id,
1465
 
                               pb=pb)
1466
 
        return f.count_copied, f.failed_revisions
1467
 
 
1468
 
    def lock_read(self):
1469
 
        """Take out a logical read lock.
1470
 
 
1471
 
        This will lock the source branch and the target branch. The source gets
1472
 
        a read lock and the target a read lock.
1473
 
        """
1474
 
        self._double_lock(self.source.lock_read, self.target.lock_read)
1475
 
 
1476
 
    def lock_write(self):
1477
 
        """Take out a logical write lock.
1478
 
 
1479
 
        This will lock the source branch and the target branch. The source gets
1480
 
        a read lock and the target a write lock.
1481
 
        """
1482
 
        self._double_lock(self.source.lock_read, self.target.lock_write)
1483
 
 
1484
 
    @needs_read_lock
1485
 
    def missing_revision_ids(self, revision_id=None):
1486
 
        """Return the revision ids that source has that target does not.
1487
 
        
1488
 
        These are returned in topological order.
1489
 
 
1490
 
        :param revision_id: only return revision ids included by this
1491
 
                            revision_id.
1492
 
        """
1493
 
        # generic, possibly worst case, slow code path.
1494
 
        target_ids = set(self.target.all_revision_ids())
1495
 
        if revision_id is not None:
1496
 
            source_ids = self.source.get_ancestry(revision_id)
1497
 
            assert source_ids.pop(0) == None
1498
 
        else:
1499
 
            source_ids = self.source.all_revision_ids()
1500
 
        result_set = set(source_ids).difference(target_ids)
1501
 
        # this may look like a no-op: its not. It preserves the ordering
1502
 
        # other_ids had while only returning the members from other_ids
1503
 
        # that we've decided we need.
1504
 
        return [rev_id for rev_id in source_ids if rev_id in result_set]
1505
 
 
1506
 
    def unlock(self):
1507
 
        """Release the locks on source and target."""
1508
 
        try:
1509
 
            self.target.unlock()
1510
 
        finally:
1511
 
            self.source.unlock()
1512
 
 
1513
 
 
1514
 
class InterWeaveRepo(InterRepository):
1515
 
    """Optimised code paths between Weave based repositories."""
1516
 
 
1517
 
    _matching_repo_format = RepositoryFormat7()
1518
 
    """Repository format for testing with."""
1519
 
 
1520
 
    @staticmethod
1521
 
    def is_compatible(source, target):
1522
 
        """Be compatible with known Weave formats.
1523
 
        
1524
 
        We dont test for the stores being of specific types becase that
1525
 
        could lead to confusing results, and there is no need to be 
1526
 
        overly general.
1527
 
        """
1528
 
        try:
1529
 
            return (isinstance(source._format, (RepositoryFormat5,
1530
 
                                                RepositoryFormat6,
1531
 
                                                RepositoryFormat7)) and
1532
 
                    isinstance(target._format, (RepositoryFormat5,
1533
 
                                                RepositoryFormat6,
1534
 
                                                RepositoryFormat7)))
1535
 
        except AttributeError:
1536
 
            return False
1537
 
    
1538
 
    @needs_write_lock
1539
 
    def copy_content(self, revision_id=None, basis=None):
1540
 
        """See InterRepository.copy_content()."""
1541
 
        # weave specific optimised path:
1542
 
        if basis is not None:
1543
 
            # copy the basis in, then fetch remaining data.
1544
 
            basis.copy_content_into(self.target, revision_id)
1545
 
            # the basis copy_content_into could misset this.
1546
 
            try:
1547
 
                self.target.set_make_working_trees(self.source.make_working_trees())
1548
 
            except NotImplementedError:
1549
 
                pass
1550
 
            self.target.fetch(self.source, revision_id=revision_id)
1551
 
        else:
1552
 
            try:
1553
 
                self.target.set_make_working_trees(self.source.make_working_trees())
1554
 
            except NotImplementedError:
1555
 
                pass
1556
 
            # FIXME do not peek!
1557
 
            if self.source.control_files._transport.listable():
1558
 
                pb = bzrlib.ui.ui_factory.nested_progress_bar()
1559
 
                try:
1560
 
                    self.target.weave_store.copy_all_ids(
1561
 
                        self.source.weave_store,
1562
 
                        pb=pb,
1563
 
                        from_transaction=self.source.get_transaction(),
1564
 
                        to_transaction=self.target.get_transaction())
1565
 
                    pb.update('copying inventory', 0, 1)
1566
 
                    self.target.control_weaves.copy_multi(
1567
 
                        self.source.control_weaves, ['inventory'],
1568
 
                        from_transaction=self.source.get_transaction(),
1569
 
                        to_transaction=self.target.get_transaction())
1570
 
                    self.target._revision_store.text_store.copy_all_ids(
1571
 
                        self.source._revision_store.text_store,
1572
 
                        pb=pb)
1573
 
                finally:
1574
 
                    pb.finished()
1575
 
            else:
1576
 
                self.target.fetch(self.source, revision_id=revision_id)
1577
 
 
1578
 
    @needs_write_lock
1579
 
    def fetch(self, revision_id=None, pb=None):
1580
 
        """See InterRepository.fetch()."""
1581
 
        from bzrlib.fetch import GenericRepoFetcher
1582
 
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
1583
 
               self.source, self.source._format, self.target, self.target._format)
1584
 
        f = GenericRepoFetcher(to_repository=self.target,
1585
 
                               from_repository=self.source,
1586
 
                               last_revision=revision_id,
1587
 
                               pb=pb)
1588
 
        return f.count_copied, f.failed_revisions
1589
 
 
1590
 
    @needs_read_lock
1591
 
    def missing_revision_ids(self, revision_id=None):
1592
 
        """See InterRepository.missing_revision_ids()."""
1593
 
        # we want all revisions to satisfy revision_id in source.
1594
 
        # but we dont want to stat every file here and there.
1595
 
        # we want then, all revisions other needs to satisfy revision_id 
1596
 
        # checked, but not those that we have locally.
1597
 
        # so the first thing is to get a subset of the revisions to 
1598
 
        # satisfy revision_id in source, and then eliminate those that
1599
 
        # we do already have. 
1600
 
        # this is slow on high latency connection to self, but as as this
1601
 
        # disk format scales terribly for push anyway due to rewriting 
1602
 
        # inventory.weave, this is considered acceptable.
1603
 
        # - RBC 20060209
1604
 
        if revision_id is not None:
1605
 
            source_ids = self.source.get_ancestry(revision_id)
1606
 
            assert source_ids.pop(0) == None
1607
 
        else:
1608
 
            source_ids = self.source._all_possible_ids()
1609
 
        source_ids_set = set(source_ids)
1610
 
        # source_ids is the worst possible case we may need to pull.
1611
 
        # now we want to filter source_ids against what we actually
1612
 
        # have in target, but dont try to check for existence where we know
1613
 
        # we do not have a revision as that would be pointless.
1614
 
        target_ids = set(self.target._all_possible_ids())
1615
 
        possibly_present_revisions = target_ids.intersection(source_ids_set)
1616
 
        actually_present_revisions = set(self.target._eliminate_revisions_not_present(possibly_present_revisions))
1617
 
        required_revisions = source_ids_set.difference(actually_present_revisions)
1618
 
        required_topo_revisions = [rev_id for rev_id in source_ids if rev_id in required_revisions]
1619
 
        if revision_id is not None:
1620
 
            # we used get_ancestry to determine source_ids then we are assured all
1621
 
            # revisions referenced are present as they are installed in topological order.
1622
 
            # and the tip revision was validated by get_ancestry.
1623
 
            return required_topo_revisions
1624
 
        else:
1625
 
            # if we just grabbed the possibly available ids, then 
1626
 
            # we only have an estimate of whats available and need to validate
1627
 
            # that against the revision records.
1628
 
            return self.source._eliminate_revisions_not_present(required_topo_revisions)
1629
 
 
1630
 
 
1631
 
class InterKnitRepo(InterRepository):
1632
 
    """Optimised code paths between Knit based repositories."""
1633
 
 
1634
 
    _matching_repo_format = RepositoryFormatKnit1()
1635
 
    """Repository format for testing with."""
1636
 
 
1637
 
    @staticmethod
1638
 
    def is_compatible(source, target):
1639
 
        """Be compatible with known Knit formats.
1640
 
        
1641
 
        We dont test for the stores being of specific types becase that
1642
 
        could lead to confusing results, and there is no need to be 
1643
 
        overly general.
1644
 
        """
1645
 
        try:
1646
 
            return (isinstance(source._format, (RepositoryFormatKnit1)) and
1647
 
                    isinstance(target._format, (RepositoryFormatKnit1)))
1648
 
        except AttributeError:
1649
 
            return False
1650
 
 
1651
 
    @needs_write_lock
1652
 
    def fetch(self, revision_id=None, pb=None):
1653
 
        """See InterRepository.fetch()."""
1654
 
        from bzrlib.fetch import KnitRepoFetcher
1655
 
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
1656
 
               self.source, self.source._format, self.target, self.target._format)
1657
 
        f = KnitRepoFetcher(to_repository=self.target,
1658
 
                            from_repository=self.source,
1659
 
                            last_revision=revision_id,
1660
 
                            pb=pb)
1661
 
        return f.count_copied, f.failed_revisions
1662
 
 
1663
 
    @needs_read_lock
1664
 
    def missing_revision_ids(self, revision_id=None):
1665
 
        """See InterRepository.missing_revision_ids()."""
1666
 
        if revision_id is not None:
1667
 
            source_ids = self.source.get_ancestry(revision_id)
1668
 
            assert source_ids.pop(0) == None
1669
 
        else:
1670
 
            source_ids = self.source._all_possible_ids()
1671
 
        source_ids_set = set(source_ids)
1672
 
        # source_ids is the worst possible case we may need to pull.
1673
 
        # now we want to filter source_ids against what we actually
1674
 
        # have in target, but dont try to check for existence where we know
1675
 
        # we do not have a revision as that would be pointless.
1676
 
        target_ids = set(self.target._all_possible_ids())
1677
 
        possibly_present_revisions = target_ids.intersection(source_ids_set)
1678
 
        actually_present_revisions = set(self.target._eliminate_revisions_not_present(possibly_present_revisions))
1679
 
        required_revisions = source_ids_set.difference(actually_present_revisions)
1680
 
        required_topo_revisions = [rev_id for rev_id in source_ids if rev_id in required_revisions]
1681
 
        if revision_id is not None:
1682
 
            # we used get_ancestry to determine source_ids then we are assured all
1683
 
            # revisions referenced are present as they are installed in topological order.
1684
 
            # and the tip revision was validated by get_ancestry.
1685
 
            return required_topo_revisions
1686
 
        else:
1687
 
            # if we just grabbed the possibly available ids, then 
1688
 
            # we only have an estimate of whats available and need to validate
1689
 
            # that against the revision records.
1690
 
            return self.source._eliminate_revisions_not_present(required_topo_revisions)
1691
 
 
1692
 
InterRepository.register_optimiser(InterWeaveRepo)
1693
 
InterRepository.register_optimiser(InterKnitRepo)
1694
 
 
1695
 
 
1696
 
class RepositoryTestProviderAdapter(object):
1697
 
    """A tool to generate a suite testing multiple repository formats at once.
1698
 
 
1699
 
    This is done by copying the test once for each transport and injecting
1700
 
    the transport_server, transport_readonly_server, and bzrdir_format and
1701
 
    repository_format classes into each copy. Each copy is also given a new id()
1702
 
    to make it easy to identify.
1703
 
    """
1704
 
 
1705
 
    def __init__(self, transport_server, transport_readonly_server, formats):
1706
 
        self._transport_server = transport_server
1707
 
        self._transport_readonly_server = transport_readonly_server
1708
 
        self._formats = formats
1709
 
    
1710
 
    def adapt(self, test):
1711
 
        result = TestSuite()
1712
 
        for repository_format, bzrdir_format in self._formats:
1713
 
            new_test = deepcopy(test)
1714
 
            new_test.transport_server = self._transport_server
1715
 
            new_test.transport_readonly_server = self._transport_readonly_server
1716
 
            new_test.bzrdir_format = bzrdir_format
1717
 
            new_test.repository_format = repository_format
1718
 
            def make_new_test_id():
1719
 
                new_id = "%s(%s)" % (new_test.id(), repository_format.__class__.__name__)
1720
 
                return lambda: new_id
1721
 
            new_test.id = make_new_test_id()
1722
 
            result.addTest(new_test)
1723
 
        return result
1724
 
 
1725
 
 
1726
 
class InterRepositoryTestProviderAdapter(object):
1727
 
    """A tool to generate a suite testing multiple inter repository formats.
1728
 
 
1729
 
    This is done by copying the test once for each interrepo provider and injecting
1730
 
    the transport_server, transport_readonly_server, repository_format and 
1731
 
    repository_to_format classes into each copy.
1732
 
    Each copy is also given a new id() to make it easy to identify.
1733
 
    """
1734
 
 
1735
 
    def __init__(self, transport_server, transport_readonly_server, formats):
1736
 
        self._transport_server = transport_server
1737
 
        self._transport_readonly_server = transport_readonly_server
1738
 
        self._formats = formats
1739
 
    
1740
 
    def adapt(self, test):
1741
 
        result = TestSuite()
1742
 
        for interrepo_class, repository_format, repository_format_to in self._formats:
1743
 
            new_test = deepcopy(test)
1744
 
            new_test.transport_server = self._transport_server
1745
 
            new_test.transport_readonly_server = self._transport_readonly_server
1746
 
            new_test.interrepo_class = interrepo_class
1747
 
            new_test.repository_format = repository_format
1748
 
            new_test.repository_format_to = repository_format_to
1749
 
            def make_new_test_id():
1750
 
                new_id = "%s(%s)" % (new_test.id(), interrepo_class.__name__)
1751
 
                return lambda: new_id
1752
 
            new_test.id = make_new_test_id()
1753
 
            result.addTest(new_test)
1754
 
        return result
1755
 
 
1756
 
    @staticmethod
1757
 
    def default_test_list():
1758
 
        """Generate the default list of interrepo permutations to test."""
1759
 
        result = []
1760
 
        # test the default InterRepository between format 6 and the current 
1761
 
        # default format.
1762
 
        # XXX: robertc 20060220 reinstate this when there are two supported
1763
 
        # formats which do not have an optimal code path between them.
1764
 
        result.append((InterRepository,
1765
 
                       RepositoryFormat6(),
1766
 
                       RepositoryFormatKnit1()))
1767
 
        for optimiser in InterRepository._optimisers:
1768
 
            result.append((optimiser,
1769
 
                           optimiser._matching_repo_format,
1770
 
                           optimiser._matching_repo_format
1771
 
                           ))
1772
 
        # if there are specific combinations we want to use, we can add them 
1773
 
        # here.
1774
 
        return result
1775
 
 
1776
 
 
1777
 
class CopyConverter(object):
1778
 
    """A repository conversion tool which just performs a copy of the content.
1779
 
    
1780
 
    This is slow but quite reliable.
1781
 
    """
1782
 
 
1783
 
    def __init__(self, target_format):
1784
 
        """Create a CopyConverter.
1785
 
 
1786
 
        :param target_format: The format the resulting repository should be.
1787
 
        """
1788
 
        self.target_format = target_format
1789
 
        
1790
 
    def convert(self, repo, pb):
1791
 
        """Perform the conversion of to_convert, giving feedback via pb.
1792
 
 
1793
 
        :param to_convert: The disk object to convert.
1794
 
        :param pb: a progress bar to use for progress information.
1795
 
        """
1796
 
        self.pb = pb
1797
 
        self.count = 0
1798
 
        self.total = 4
1799
 
        # this is only useful with metadir layouts - separated repo content.
1800
 
        # trigger an assertion if not such
1801
 
        repo._format.get_format_string()
1802
 
        self.repo_dir = repo.bzrdir
1803
 
        self.step('Moving repository to repository.backup')
1804
 
        self.repo_dir.transport.move('repository', 'repository.backup')
1805
 
        backup_transport =  self.repo_dir.transport.clone('repository.backup')
1806
 
        self.source_repo = repo._format.open(self.repo_dir,
1807
 
            _found=True,
1808
 
            _override_transport=backup_transport)
1809
 
        self.step('Creating new repository')
1810
 
        converted = self.target_format.initialize(self.repo_dir,
1811
 
                                                  self.source_repo.is_shared())
1812
 
        converted.lock_write()
1813
 
        try:
1814
 
            self.step('Copying content into repository.')
1815
 
            self.source_repo.copy_content_into(converted)
1816
 
        finally:
1817
 
            converted.unlock()
1818
 
        self.step('Deleting old repository content.')
1819
 
        self.repo_dir.transport.delete_tree('repository.backup')
1820
 
        self.pb.note('repository converted')
1821
 
 
1822
 
    def step(self, message):
1823
 
        """Update the pb by a step."""
1824
 
        self.count +=1
1825
 
        self.pb.update(message, self.count, self.total)
1826
 
 
1827
 
 
1828
 
# Copied from xml.sax.saxutils
1829
 
def _unescape_xml(data):
1830
 
    """Unescape &amp;, &lt;, and &gt; in a string of data.
1831
 
    """
1832
 
    data = data.replace("&lt;", "<")
1833
 
    data = data.replace("&gt;", ">")
1834
 
    # must do ampersand last
1835
 
    return data.replace("&amp;", "&")