← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/repository.py

  • Committer: Martin Pool
  • Date: 2006-05-10 03:49:42 UTC
  • mfrom: (1624.3.47 bzr.olaf.info)
  • mto: This revision was merged to the branch mainline in revision 1707.
  • Revision ID: mbp@sourcefrog.net-20060510034942-d317207825dff3c1
(merge olaf) info test improvements

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/repository.py
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
from copy import deepcopy
 
18
from cStringIO import StringIO
 
19
from unittest import TestSuite
 
20
 
 
21
import bzrlib.bzrdir as bzrdir
 
22
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
23
import bzrlib.errors as errors
 
24
from bzrlib.errors import InvalidRevisionId
 
25
import bzrlib.gpg as gpg
 
26
from bzrlib.graph import Graph
 
27
from bzrlib.inter import InterObject
 
28
from bzrlib.knit import KnitVersionedFile, KnitPlainFactory
 
29
from bzrlib.lockable_files import LockableFiles, TransportLock
 
30
from bzrlib.lockdir import LockDir
 
31
from bzrlib.osutils import safe_unicode
 
32
from bzrlib.revision import NULL_REVISION
 
33
from bzrlib.store.versioned import VersionedFileStore, WeaveStore
 
34
from bzrlib.store.text import TextStore
 
35
from bzrlib.symbol_versioning import *
 
36
from bzrlib.trace import mutter, note
 
37
from bzrlib.tree import RevisionTree
 
38
from bzrlib.tsort import topo_sort
 
39
from bzrlib.testament import Testament
 
40
from bzrlib.tree import EmptyTree
 
41
import bzrlib.ui
 
42
from bzrlib.weave import WeaveFile
 
43
import bzrlib.xml5
 
44
 
 
45
 
 
46
class Repository(object):
 
47
    """Repository holding history for one or more branches.
 
48
 
 
49
    The repository holds and retrieves historical information including
 
50
    revisions and file history.  It's normally accessed only by the Branch,
 
51
    which views a particular line of development through that history.
 
52
 
 
53
    The Repository builds on top of Stores and a Transport, which respectively 
 
54
    describe the disk data format and the way of accessing the (possibly 
 
55
    remote) disk.
 
56
    """
 
57
 
 
58
    @needs_write_lock
 
59
    def add_inventory(self, revid, inv, parents):
 
60
        """Add the inventory inv to the repository as revid.
 
61
        
 
62
        :param parents: The revision ids of the parents that revid
 
63
                        is known to have and are in the repository already.
 
64
 
 
65
        returns the sha1 of the serialized inventory.
 
66
        """
 
67
        inv_text = bzrlib.xml5.serializer_v5.write_inventory_to_string(inv)
 
68
        inv_sha1 = bzrlib.osutils.sha_string(inv_text)
 
69
        inv_vf = self.control_weaves.get_weave('inventory',
 
70
                                               self.get_transaction())
 
71
        inv_vf.add_lines(revid, parents, bzrlib.osutils.split_lines(inv_text))
 
72
        return inv_sha1
 
73
 
 
74
    @needs_write_lock
 
75
    def add_revision(self, rev_id, rev, inv=None, config=None):
 
76
        """Add rev to the revision store as rev_id.
 
77
 
 
78
        :param rev_id: the revision id to use.
 
79
        :param rev: The revision object.
 
80
        :param inv: The inventory for the revision. if None, it will be looked
 
81
                    up in the inventory storer
 
82
        :param config: If None no digital signature will be created.
 
83
                       If supplied its signature_needed method will be used
 
84
                       to determine if a signature should be made.
 
85
        """
 
86
        if config is not None and config.signature_needed():
 
87
            if inv is None:
 
88
                inv = self.get_inventory(rev_id)
 
89
            plaintext = Testament(rev, inv).as_short_text()
 
90
            self.store_revision_signature(
 
91
                gpg.GPGStrategy(config), plaintext, rev_id)
 
92
        if not rev_id in self.get_inventory_weave():
 
93
            if inv is None:
 
94
                raise errors.WeaveRevisionNotPresent(rev_id,
 
95
                                                     self.get_inventory_weave())
 
96
            else:
 
97
                # yes, this is not suitable for adding with ghosts.
 
98
                self.add_inventory(rev_id, inv, rev.parent_ids)
 
99
        self._revision_store.add_revision(rev, self.get_transaction())
 
100
 
 
101
    @needs_read_lock
 
102
    def _all_possible_ids(self):
 
103
        """Return all the possible revisions that we could find."""
 
104
        return self.get_inventory_weave().versions()
 
105
 
 
106
    @needs_read_lock
 
107
    def all_revision_ids(self):
 
108
        """Returns a list of all the revision ids in the repository. 
 
109
 
 
110
        These are in as much topological order as the underlying store can 
 
111
        present: for weaves ghosts may lead to a lack of correctness until
 
112
        the reweave updates the parents list.
 
113
        """
 
114
        if self._revision_store.text_store.listable():
 
115
            return self._revision_store.all_revision_ids(self.get_transaction())
 
116
        result = self._all_possible_ids()
 
117
        return self._eliminate_revisions_not_present(result)
 
118
 
 
119
    def break_lock(self):
 
120
        """Break a lock if one is present from another instance.
 
121
 
 
122
        Uses the ui factory to ask for confirmation if the lock may be from
 
123
        an active process.
 
124
        """
 
125
        self.control_files.break_lock()
 
126
 
 
127
    @needs_read_lock
 
128
    def _eliminate_revisions_not_present(self, revision_ids):
 
129
        """Check every revision id in revision_ids to see if we have it.
 
130
 
 
131
        Returns a set of the present revisions.
 
132
        """
 
133
        result = []
 
134
        for id in revision_ids:
 
135
            if self.has_revision(id):
 
136
               result.append(id)
 
137
        return result
 
138
 
 
139
    @staticmethod
 
140
    def create(a_bzrdir):
 
141
        """Construct the current default format repository in a_bzrdir."""
 
142
        return RepositoryFormat.get_default_format().initialize(a_bzrdir)
 
143
 
 
144
    def __init__(self, _format, a_bzrdir, control_files, _revision_store, control_store, text_store):
 
145
        """instantiate a Repository.
 
146
 
 
147
        :param _format: The format of the repository on disk.
 
148
        :param a_bzrdir: The BzrDir of the repository.
 
149
 
 
150
        In the future we will have a single api for all stores for
 
151
        getting file texts, inventories and revisions, then
 
152
        this construct will accept instances of those things.
 
153
        """
 
154
        super(Repository, self).__init__()
 
155
        self._format = _format
 
156
        # the following are part of the public API for Repository:
 
157
        self.bzrdir = a_bzrdir
 
158
        self.control_files = control_files
 
159
        self._revision_store = _revision_store
 
160
        self.text_store = text_store
 
161
        # backwards compatability
 
162
        self.weave_store = text_store
 
163
        # not right yet - should be more semantically clear ? 
 
164
        # 
 
165
        self.control_store = control_store
 
166
        self.control_weaves = control_store
 
167
        # TODO: make sure to construct the right store classes, etc, depending
 
168
        # on whether escaping is required.
 
169
 
 
170
    def is_locked(self):
 
171
        return self.control_files.is_locked()
 
172
 
 
173
    def lock_write(self):
 
174
        self.control_files.lock_write()
 
175
 
 
176
    def lock_read(self):
 
177
        self.control_files.lock_read()
 
178
 
 
179
    def get_physical_lock_status(self):
 
180
        return self.control_files.get_physical_lock_status()
 
181
 
 
182
    @needs_read_lock
 
183
    def missing_revision_ids(self, other, revision_id=None):
 
184
        """Return the revision ids that other has that this does not.
 
185
        
 
186
        These are returned in topological order.
 
187
 
 
188
        revision_id: only return revision ids included by revision_id.
 
189
        """
 
190
        return InterRepository.get(other, self).missing_revision_ids(revision_id)
 
191
 
 
192
    @staticmethod
 
193
    def open(base):
 
194
        """Open the repository rooted at base.
 
195
 
 
196
        For instance, if the repository is at URL/.bzr/repository,
 
197
        Repository.open(URL) -> a Repository instance.
 
198
        """
 
199
        control = bzrlib.bzrdir.BzrDir.open(base)
 
200
        return control.open_repository()
 
201
 
 
202
    def copy_content_into(self, destination, revision_id=None, basis=None):
 
203
        """Make a complete copy of the content in self into destination.
 
204
        
 
205
        This is a destructive operation! Do not use it on existing 
 
206
        repositories.
 
207
        """
 
208
        return InterRepository.get(self, destination).copy_content(revision_id, basis)
 
209
 
 
210
    def fetch(self, source, revision_id=None, pb=None):
 
211
        """Fetch the content required to construct revision_id from source.
 
212
 
 
213
        If revision_id is None all content is copied.
 
214
        """
 
215
        return InterRepository.get(source, self).fetch(revision_id=revision_id,
 
216
                                                       pb=pb)
 
217
 
 
218
    def unlock(self):
 
219
        self.control_files.unlock()
 
220
 
 
221
    @needs_read_lock
 
222
    def clone(self, a_bzrdir, revision_id=None, basis=None):
 
223
        """Clone this repository into a_bzrdir using the current format.
 
224
 
 
225
        Currently no check is made that the format of this repository and
 
226
        the bzrdir format are compatible. FIXME RBC 20060201.
 
227
        """
 
228
        if not isinstance(a_bzrdir._format, self.bzrdir._format.__class__):
 
229
            # use target default format.
 
230
            result = a_bzrdir.create_repository()
 
231
        # FIXME RBC 20060209 split out the repository type to avoid this check ?
 
232
        elif isinstance(a_bzrdir._format,
 
233
                      (bzrlib.bzrdir.BzrDirFormat4,
 
234
                       bzrlib.bzrdir.BzrDirFormat5,
 
235
                       bzrlib.bzrdir.BzrDirFormat6)):
 
236
            result = a_bzrdir.open_repository()
 
237
        else:
 
238
            result = self._format.initialize(a_bzrdir, shared=self.is_shared())
 
239
        self.copy_content_into(result, revision_id, basis)
 
240
        return result
 
241
 
 
242
    @needs_read_lock
 
243
    def has_revision(self, revision_id):
 
244
        """True if this repository has a copy of the revision."""
 
245
        return self._revision_store.has_revision_id(revision_id,
 
246
                                                    self.get_transaction())
 
247
 
 
248
    @needs_read_lock
 
249
    def get_revision_reconcile(self, revision_id):
 
250
        """'reconcile' helper routine that allows access to a revision always.
 
251
        
 
252
        This variant of get_revision does not cross check the weave graph
 
253
        against the revision one as get_revision does: but it should only
 
254
        be used by reconcile, or reconcile-alike commands that are correcting
 
255
        or testing the revision graph.
 
256
        """
 
257
        if not revision_id or not isinstance(revision_id, basestring):
 
258
            raise InvalidRevisionId(revision_id=revision_id, branch=self)
 
259
        return self._revision_store.get_revision(revision_id,
 
260
                                                 self.get_transaction())
 
261
 
 
262
    @needs_read_lock
 
263
    def get_revision_xml(self, revision_id):
 
264
        rev = self.get_revision(revision_id) 
 
265
        rev_tmp = StringIO()
 
266
        # the current serializer..
 
267
        self._revision_store._serializer.write_revision(rev, rev_tmp)
 
268
        rev_tmp.seek(0)
 
269
        return rev_tmp.getvalue()
 
270
 
 
271
    @needs_read_lock
 
272
    def get_revision(self, revision_id):
 
273
        """Return the Revision object for a named revision"""
 
274
        r = self.get_revision_reconcile(revision_id)
 
275
        # weave corruption can lead to absent revision markers that should be
 
276
        # present.
 
277
        # the following test is reasonably cheap (it needs a single weave read)
 
278
        # and the weave is cached in read transactions. In write transactions
 
279
        # it is not cached but typically we only read a small number of
 
280
        # revisions. For knits when they are introduced we will probably want
 
281
        # to ensure that caching write transactions are in use.
 
282
        inv = self.get_inventory_weave()
 
283
        self._check_revision_parents(r, inv)
 
284
        return r
 
285
 
 
286
    def _check_revision_parents(self, revision, inventory):
 
287
        """Private to Repository and Fetch.
 
288
        
 
289
        This checks the parentage of revision in an inventory weave for 
 
290
        consistency and is only applicable to inventory-weave-for-ancestry
 
291
        using repository formats & fetchers.
 
292
        """
 
293
        weave_parents = inventory.get_parents(revision.revision_id)
 
294
        weave_names = inventory.versions()
 
295
        for parent_id in revision.parent_ids:
 
296
            if parent_id in weave_names:
 
297
                # this parent must not be a ghost.
 
298
                if not parent_id in weave_parents:
 
299
                    # but it is a ghost
 
300
                    raise errors.CorruptRepository(self)
 
301
 
 
302
    @needs_write_lock
 
303
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
 
304
        signature = gpg_strategy.sign(plaintext)
 
305
        self._revision_store.add_revision_signature_text(revision_id,
 
306
                                                         signature,
 
307
                                                         self.get_transaction())
 
308
 
 
309
    def fileids_altered_by_revision_ids(self, revision_ids):
 
310
        """Find the file ids and versions affected by revisions.
 
311
 
 
312
        :param revisions: an iterable containing revision ids.
 
313
        :return: a dictionary mapping altered file-ids to an iterable of
 
314
        revision_ids. Each altered file-ids has the exact revision_ids that
 
315
        altered it listed explicitly.
 
316
        """
 
317
        assert isinstance(self._format, (RepositoryFormat5,
 
318
                                         RepositoryFormat6,
 
319
                                         RepositoryFormat7,
 
320
                                         RepositoryFormatKnit1)), \
 
321
            "fileid_involved only supported for branches which store inventory as unnested xml"
 
322
        selected_revision_ids = set(revision_ids)
 
323
        w = self.get_inventory_weave()
 
324
        result = {}
 
325
 
 
326
        # this code needs to read every new line in every inventory for the
 
327
        # inventories [revision_ids]. Seeing a line twice is ok. Seeing a line
 
328
        # not pesent in one of those inventories is unnecessary but not 
 
329
        # harmful because we are filtering by the revision id marker in the
 
330
        # inventory lines : we only select file ids altered in one of those  
 
331
        # revisions. We dont need to see all lines in the inventory because
 
332
        # only those added in an inventory in rev X can contain a revision=X
 
333
        # line.
 
334
        for line in w.iter_lines_added_or_present_in_versions(selected_revision_ids):
 
335
            start = line.find('file_id="')+9
 
336
            if start < 9: continue
 
337
            end = line.find('"', start)
 
338
            assert end>= 0
 
339
            file_id = _unescape_xml(line[start:end])
 
340
 
 
341
            start = line.find('revision="')+10
 
342
            if start < 10: continue
 
343
            end = line.find('"', start)
 
344
            assert end>= 0
 
345
            revision_id = _unescape_xml(line[start:end])
 
346
            if revision_id in selected_revision_ids:
 
347
                result.setdefault(file_id, set()).add(revision_id)
 
348
        return result
 
349
 
 
350
    @needs_read_lock
 
351
    def get_inventory_weave(self):
 
352
        return self.control_weaves.get_weave('inventory',
 
353
            self.get_transaction())
 
354
 
 
355
    @needs_read_lock
 
356
    def get_inventory(self, revision_id):
 
357
        """Get Inventory object by hash."""
 
358
        xml = self.get_inventory_xml(revision_id)
 
359
        return bzrlib.xml5.serializer_v5.read_inventory_from_string(xml)
 
360
 
 
361
    @needs_read_lock
 
362
    def get_inventory_xml(self, revision_id):
 
363
        """Get inventory XML as a file object."""
 
364
        try:
 
365
            assert isinstance(revision_id, basestring), type(revision_id)
 
366
            iw = self.get_inventory_weave()
 
367
            return iw.get_text(revision_id)
 
368
        except IndexError:
 
369
            raise bzrlib.errors.HistoryMissing(self, 'inventory', revision_id)
 
370
 
 
371
    @needs_read_lock
 
372
    def get_inventory_sha1(self, revision_id):
 
373
        """Return the sha1 hash of the inventory entry
 
374
        """
 
375
        return self.get_revision(revision_id).inventory_sha1
 
376
 
 
377
    @needs_read_lock
 
378
    def get_revision_graph(self, revision_id=None):
 
379
        """Return a dictionary containing the revision graph.
 
380
        
 
381
        :return: a dictionary of revision_id->revision_parents_list.
 
382
        """
 
383
        weave = self.get_inventory_weave()
 
384
        all_revisions = self._eliminate_revisions_not_present(weave.versions())
 
385
        entire_graph = dict([(node, weave.get_parents(node)) for 
 
386
                             node in all_revisions])
 
387
        if revision_id is None:
 
388
            return entire_graph
 
389
        elif revision_id not in entire_graph:
 
390
            raise errors.NoSuchRevision(self, revision_id)
 
391
        else:
 
392
            # add what can be reached from revision_id
 
393
            result = {}
 
394
            pending = set([revision_id])
 
395
            while len(pending) > 0:
 
396
                node = pending.pop()
 
397
                result[node] = entire_graph[node]
 
398
                for revision_id in result[node]:
 
399
                    if revision_id not in result:
 
400
                        pending.add(revision_id)
 
401
            return result
 
402
 
 
403
    @needs_read_lock
 
404
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
405
        """Return a graph of the revisions with ghosts marked as applicable.
 
406
 
 
407
        :param revision_ids: an iterable of revisions to graph or None for all.
 
408
        :return: a Graph object with the graph reachable from revision_ids.
 
409
        """
 
410
        result = Graph()
 
411
        if not revision_ids:
 
412
            pending = set(self.all_revision_ids())
 
413
            required = set([])
 
414
        else:
 
415
            pending = set(revision_ids)
 
416
            required = set(revision_ids)
 
417
        done = set([])
 
418
        while len(pending):
 
419
            revision_id = pending.pop()
 
420
            try:
 
421
                rev = self.get_revision(revision_id)
 
422
            except errors.NoSuchRevision:
 
423
                if revision_id in required:
 
424
                    raise
 
425
                # a ghost
 
426
                result.add_ghost(revision_id)
 
427
                continue
 
428
            for parent_id in rev.parent_ids:
 
429
                # is this queued or done ?
 
430
                if (parent_id not in pending and
 
431
                    parent_id not in done):
 
432
                    # no, queue it.
 
433
                    pending.add(parent_id)
 
434
            result.add_node(revision_id, rev.parent_ids)
 
435
            done.add(revision_id)
 
436
        return result
 
437
 
 
438
    @needs_read_lock
 
439
    def get_revision_inventory(self, revision_id):
 
440
        """Return inventory of a past revision."""
 
441
        # TODO: Unify this with get_inventory()
 
442
        # bzr 0.0.6 and later imposes the constraint that the inventory_id
 
443
        # must be the same as its revision, so this is trivial.
 
444
        if revision_id is None:
 
445
            # This does not make sense: if there is no revision,
 
446
            # then it is the current tree inventory surely ?!
 
447
            # and thus get_root_id() is something that looks at the last
 
448
            # commit on the branch, and the get_root_id is an inventory check.
 
449
            raise NotImplementedError
 
450
            # return Inventory(self.get_root_id())
 
451
        else:
 
452
            return self.get_inventory(revision_id)
 
453
 
 
454
    @needs_read_lock
 
455
    def is_shared(self):
 
456
        """Return True if this repository is flagged as a shared repository."""
 
457
        raise NotImplementedError(self.is_shared)
 
458
 
 
459
    @needs_write_lock
 
460
    def reconcile(self, other=None, thorough=False):
 
461
        """Reconcile this repository."""
 
462
        from bzrlib.reconcile import RepoReconciler
 
463
        reconciler = RepoReconciler(self, thorough=thorough)
 
464
        reconciler.reconcile()
 
465
        return reconciler
 
466
    
 
467
    @needs_read_lock
 
468
    def revision_tree(self, revision_id):
 
469
        """Return Tree for a revision on this branch.
 
470
 
 
471
        `revision_id` may be None for the null revision, in which case
 
472
        an `EmptyTree` is returned."""
 
473
        # TODO: refactor this to use an existing revision object
 
474
        # so we don't need to read it in twice.
 
475
        if revision_id is None or revision_id == NULL_REVISION:
 
476
            return EmptyTree()
 
477
        else:
 
478
            inv = self.get_revision_inventory(revision_id)
 
479
            return RevisionTree(self, inv, revision_id)
 
480
 
 
481
    @needs_read_lock
 
482
    def get_ancestry(self, revision_id):
 
483
        """Return a list of revision-ids integrated by a revision.
 
484
        
 
485
        This is topologically sorted.
 
486
        """
 
487
        if revision_id is None:
 
488
            return [None]
 
489
        if not self.has_revision(revision_id):
 
490
            raise errors.NoSuchRevision(self, revision_id)
 
491
        w = self.get_inventory_weave()
 
492
        candidates = w.get_ancestry(revision_id)
 
493
        return [None] + candidates # self._eliminate_revisions_not_present(candidates)
 
494
 
 
495
    @needs_read_lock
 
496
    def print_file(self, file, revision_id):
 
497
        """Print `file` to stdout.
 
498
        
 
499
        FIXME RBC 20060125 as John Meinel points out this is a bad api
 
500
        - it writes to stdout, it assumes that that is valid etc. Fix
 
501
        by creating a new more flexible convenience function.
 
502
        """
 
503
        tree = self.revision_tree(revision_id)
 
504
        # use inventory as it was in that revision
 
505
        file_id = tree.inventory.path2id(file)
 
506
        if not file_id:
 
507
            raise BzrError("%r is not present in revision %s" % (file, revno))
 
508
            try:
 
509
                revno = self.revision_id_to_revno(revision_id)
 
510
            except errors.NoSuchRevision:
 
511
                # TODO: This should not be BzrError,
 
512
                # but NoSuchFile doesn't fit either
 
513
                raise BzrError('%r is not present in revision %s' 
 
514
                                % (file, revision_id))
 
515
            else:
 
516
                raise BzrError('%r is not present in revision %s'
 
517
                                % (file, revno))
 
518
        tree.print_file(file_id)
 
519
 
 
520
    def get_transaction(self):
 
521
        return self.control_files.get_transaction()
 
522
 
 
523
    def revision_parents(self, revid):
 
524
        return self.get_inventory_weave().parent_names(revid)
 
525
 
 
526
    @needs_write_lock
 
527
    def set_make_working_trees(self, new_value):
 
528
        """Set the policy flag for making working trees when creating branches.
 
529
 
 
530
        This only applies to branches that use this repository.
 
531
 
 
532
        The default is 'True'.
 
533
        :param new_value: True to restore the default, False to disable making
 
534
                          working trees.
 
535
        """
 
536
        raise NotImplementedError(self.set_make_working_trees)
 
537
    
 
538
    def make_working_trees(self):
 
539
        """Returns the policy for making working trees on new branches."""
 
540
        raise NotImplementedError(self.make_working_trees)
 
541
 
 
542
    @needs_write_lock
 
543
    def sign_revision(self, revision_id, gpg_strategy):
 
544
        plaintext = Testament.from_revision(self, revision_id).as_short_text()
 
545
        self.store_revision_signature(gpg_strategy, plaintext, revision_id)
 
546
 
 
547
    @needs_read_lock
 
548
    def has_signature_for_revision_id(self, revision_id):
 
549
        """Query for a revision signature for revision_id in the repository."""
 
550
        return self._revision_store.has_signature(revision_id,
 
551
                                                  self.get_transaction())
 
552
 
 
553
    @needs_read_lock
 
554
    def get_signature_text(self, revision_id):
 
555
        """Return the text for a signature."""
 
556
        return self._revision_store.get_signature_text(revision_id,
 
557
                                                       self.get_transaction())
 
558
 
 
559
 
 
560
class AllInOneRepository(Repository):
 
561
    """Legacy support - the repository behaviour for all-in-one branches."""
 
562
 
 
563
    def __init__(self, _format, a_bzrdir, _revision_store, control_store, text_store):
 
564
        # we reuse one control files instance.
 
565
        dir_mode = a_bzrdir._control_files._dir_mode
 
566
        file_mode = a_bzrdir._control_files._file_mode
 
567
 
 
568
        def get_store(name, compressed=True, prefixed=False):
 
569
            # FIXME: This approach of assuming stores are all entirely compressed
 
570
            # or entirely uncompressed is tidy, but breaks upgrade from 
 
571
            # some existing branches where there's a mixture; we probably 
 
572
            # still want the option to look for both.
 
573
            relpath = a_bzrdir._control_files._escape(name)
 
574
            store = TextStore(a_bzrdir._control_files._transport.clone(relpath),
 
575
                              prefixed=prefixed, compressed=compressed,
 
576
                              dir_mode=dir_mode,
 
577
                              file_mode=file_mode)
 
578
            #if self._transport.should_cache():
 
579
            #    cache_path = os.path.join(self.cache_root, name)
 
580
            #    os.mkdir(cache_path)
 
581
            #    store = bzrlib.store.CachedStore(store, cache_path)
 
582
            return store
 
583
 
 
584
        # not broken out yet because the controlweaves|inventory_store
 
585
        # and text_store | weave_store bits are still different.
 
586
        if isinstance(_format, RepositoryFormat4):
 
587
            # cannot remove these - there is still no consistent api 
 
588
            # which allows access to this old info.
 
589
            self.inventory_store = get_store('inventory-store')
 
590
            text_store = get_store('text-store')
 
591
        super(AllInOneRepository, self).__init__(_format, a_bzrdir, a_bzrdir._control_files, _revision_store, control_store, text_store)
 
592
 
 
593
    @needs_read_lock
 
594
    def is_shared(self):
 
595
        """AllInOne repositories cannot be shared."""
 
596
        return False
 
597
 
 
598
    @needs_write_lock
 
599
    def set_make_working_trees(self, new_value):
 
600
        """Set the policy flag for making working trees when creating branches.
 
601
 
 
602
        This only applies to branches that use this repository.
 
603
 
 
604
        The default is 'True'.
 
605
        :param new_value: True to restore the default, False to disable making
 
606
                          working trees.
 
607
        """
 
608
        raise NotImplementedError(self.set_make_working_trees)
 
609
    
 
610
    def make_working_trees(self):
 
611
        """Returns the policy for making working trees on new branches."""
 
612
        return True
 
613
 
 
614
 
 
615
class MetaDirRepository(Repository):
 
616
    """Repositories in the new meta-dir layout."""
 
617
 
 
618
    def __init__(self, _format, a_bzrdir, control_files, _revision_store, control_store, text_store):
 
619
        super(MetaDirRepository, self).__init__(_format,
 
620
                                                a_bzrdir,
 
621
                                                control_files,
 
622
                                                _revision_store,
 
623
                                                control_store,
 
624
                                                text_store)
 
625
 
 
626
        dir_mode = self.control_files._dir_mode
 
627
        file_mode = self.control_files._file_mode
 
628
 
 
629
    @needs_read_lock
 
630
    def is_shared(self):
 
631
        """Return True if this repository is flagged as a shared repository."""
 
632
        return self.control_files._transport.has('shared-storage')
 
633
 
 
634
    @needs_write_lock
 
635
    def set_make_working_trees(self, new_value):
 
636
        """Set the policy flag for making working trees when creating branches.
 
637
 
 
638
        This only applies to branches that use this repository.
 
639
 
 
640
        The default is 'True'.
 
641
        :param new_value: True to restore the default, False to disable making
 
642
                          working trees.
 
643
        """
 
644
        if new_value:
 
645
            try:
 
646
                self.control_files._transport.delete('no-working-trees')
 
647
            except errors.NoSuchFile:
 
648
                pass
 
649
        else:
 
650
            self.control_files.put_utf8('no-working-trees', '')
 
651
    
 
652
    def make_working_trees(self):
 
653
        """Returns the policy for making working trees on new branches."""
 
654
        return not self.control_files._transport.has('no-working-trees')
 
655
 
 
656
 
 
657
class KnitRepository(MetaDirRepository):
 
658
    """Knit format repository."""
 
659
 
 
660
    @needs_read_lock
 
661
    def all_revision_ids(self):
 
662
        """See Repository.all_revision_ids()."""
 
663
        return self._revision_store.all_revision_ids(self.get_transaction())
 
664
 
 
665
    def fileid_involved_between_revs(self, from_revid, to_revid):
 
666
        """Find file_id(s) which are involved in the changes between revisions.
 
667
 
 
668
        This determines the set of revisions which are involved, and then
 
669
        finds all file ids affected by those revisions.
 
670
        """
 
671
        vf = self._get_revision_vf()
 
672
        from_set = set(vf.get_ancestry(from_revid))
 
673
        to_set = set(vf.get_ancestry(to_revid))
 
674
        changed = to_set.difference(from_set)
 
675
        return self._fileid_involved_by_set(changed)
 
676
 
 
677
    def fileid_involved(self, last_revid=None):
 
678
        """Find all file_ids modified in the ancestry of last_revid.
 
679
 
 
680
        :param last_revid: If None, last_revision() will be used.
 
681
        """
 
682
        if not last_revid:
 
683
            changed = set(self.all_revision_ids())
 
684
        else:
 
685
            changed = set(self.get_ancestry(last_revid))
 
686
        if None in changed:
 
687
            changed.remove(None)
 
688
        return self._fileid_involved_by_set(changed)
 
689
 
 
690
    @needs_read_lock
 
691
    def get_ancestry(self, revision_id):
 
692
        """Return a list of revision-ids integrated by a revision.
 
693
        
 
694
        This is topologically sorted.
 
695
        """
 
696
        if revision_id is None:
 
697
            return [None]
 
698
        vf = self._get_revision_vf()
 
699
        try:
 
700
            return [None] + vf.get_ancestry(revision_id)
 
701
        except errors.RevisionNotPresent:
 
702
            raise errors.NoSuchRevision(self, revision_id)
 
703
 
 
704
    @needs_read_lock
 
705
    def get_revision(self, revision_id):
 
706
        """Return the Revision object for a named revision"""
 
707
        return self.get_revision_reconcile(revision_id)
 
708
 
 
709
    @needs_read_lock
 
710
    def get_revision_graph(self, revision_id=None):
 
711
        """Return a dictionary containing the revision graph.
 
712
        
 
713
        :return: a dictionary of revision_id->revision_parents_list.
 
714
        """
 
715
        weave = self._get_revision_vf()
 
716
        entire_graph = weave.get_graph()
 
717
        if revision_id is None:
 
718
            return weave.get_graph()
 
719
        elif revision_id not in weave:
 
720
            raise errors.NoSuchRevision(self, revision_id)
 
721
        else:
 
722
            # add what can be reached from revision_id
 
723
            result = {}
 
724
            pending = set([revision_id])
 
725
            while len(pending) > 0:
 
726
                node = pending.pop()
 
727
                result[node] = weave.get_parents(node)
 
728
                for revision_id in result[node]:
 
729
                    if revision_id not in result:
 
730
                        pending.add(revision_id)
 
731
            return result
 
732
 
 
733
    @needs_read_lock
 
734
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
735
        """Return a graph of the revisions with ghosts marked as applicable.
 
736
 
 
737
        :param revision_ids: an iterable of revisions to graph or None for all.
 
738
        :return: a Graph object with the graph reachable from revision_ids.
 
739
        """
 
740
        result = Graph()
 
741
        vf = self._get_revision_vf()
 
742
        versions = set(vf.versions())
 
743
        if not revision_ids:
 
744
            pending = set(self.all_revision_ids())
 
745
            required = set([])
 
746
        else:
 
747
            pending = set(revision_ids)
 
748
            required = set(revision_ids)
 
749
        done = set([])
 
750
        while len(pending):
 
751
            revision_id = pending.pop()
 
752
            if not revision_id in versions:
 
753
                if revision_id in required:
 
754
                    raise errors.NoSuchRevision(self, revision_id)
 
755
                # a ghost
 
756
                result.add_ghost(revision_id)
 
757
                # mark it as done so we dont try for it again.
 
758
                done.add(revision_id)
 
759
                continue
 
760
            parent_ids = vf.get_parents_with_ghosts(revision_id)
 
761
            for parent_id in parent_ids:
 
762
                # is this queued or done ?
 
763
                if (parent_id not in pending and
 
764
                    parent_id not in done):
 
765
                    # no, queue it.
 
766
                    pending.add(parent_id)
 
767
            result.add_node(revision_id, parent_ids)
 
768
            done.add(revision_id)
 
769
        return result
 
770
 
 
771
    def _get_revision_vf(self):
 
772
        """:return: a versioned file containing the revisions."""
 
773
        vf = self._revision_store.get_revision_file(self.get_transaction())
 
774
        return vf
 
775
 
 
776
    @needs_write_lock
 
777
    def reconcile(self, other=None, thorough=False):
 
778
        """Reconcile this repository."""
 
779
        from bzrlib.reconcile import KnitReconciler
 
780
        reconciler = KnitReconciler(self, thorough=thorough)
 
781
        reconciler.reconcile()
 
782
        return reconciler
 
783
    
 
784
    def revision_parents(self, revid):
 
785
        return self._get_revision_vf().get_parents(rev_id)
 
786
 
 
787
class RepositoryFormat(object):
 
788
    """A repository format.
 
789
 
 
790
    Formats provide three things:
 
791
     * An initialization routine to construct repository data on disk.
 
792
     * a format string which is used when the BzrDir supports versioned
 
793
       children.
 
794
     * an open routine which returns a Repository instance.
 
795
 
 
796
    Formats are placed in an dict by their format string for reference 
 
797
    during opening. These should be subclasses of RepositoryFormat
 
798
    for consistency.
 
799
 
 
800
    Once a format is deprecated, just deprecate the initialize and open
 
801
    methods on the format class. Do not deprecate the object, as the 
 
802
    object will be created every system load.
 
803
 
 
804
    Common instance attributes:
 
805
    _matchingbzrdir - the bzrdir format that the repository format was
 
806
    originally written to work with. This can be used if manually
 
807
    constructing a bzrdir and repository, or more commonly for test suite
 
808
    parameterisation.
 
809
    """
 
810
 
 
811
    _default_format = None
 
812
    """The default format used for new repositories."""
 
813
 
 
814
    _formats = {}
 
815
    """The known formats."""
 
816
 
 
817
    @classmethod
 
818
    def find_format(klass, a_bzrdir):
 
819
        """Return the format for the repository object in a_bzrdir."""
 
820
        try:
 
821
            transport = a_bzrdir.get_repository_transport(None)
 
822
            format_string = transport.get("format").read()
 
823
            return klass._formats[format_string]
 
824
        except errors.NoSuchFile:
 
825
            raise errors.NoRepositoryPresent(a_bzrdir)
 
826
        except KeyError:
 
827
            raise errors.UnknownFormatError(format_string)
 
828
 
 
829
    def _get_control_store(self, repo_transport, control_files):
 
830
        """Return the control store for this repository."""
 
831
        raise NotImplementedError(self._get_control_store)
 
832
    
 
833
    @classmethod
 
834
    def get_default_format(klass):
 
835
        """Return the current default format."""
 
836
        return klass._default_format
 
837
 
 
838
    def get_format_string(self):
 
839
        """Return the ASCII format string that identifies this format.
 
840
        
 
841
        Note that in pre format ?? repositories the format string is 
 
842
        not permitted nor written to disk.
 
843
        """
 
844
        raise NotImplementedError(self.get_format_string)
 
845
 
 
846
    def get_format_description(self):
 
847
        """Return the short desciption for this format."""
 
848
        raise NotImplementedError(self.get_format_description)
 
849
 
 
850
    def _get_revision_store(self, repo_transport, control_files):
 
851
        """Return the revision store object for this a_bzrdir."""
 
852
        raise NotImplementedError(self._get_revision_store)
 
853
 
 
854
    def _get_text_rev_store(self,
 
855
                            transport,
 
856
                            control_files,
 
857
                            name,
 
858
                            compressed=True,
 
859
                            prefixed=False,
 
860
                            serializer=None):
 
861
        """Common logic for getting a revision store for a repository.
 
862
        
 
863
        see self._get_revision_store for the subclass-overridable method to 
 
864
        get the store for a repository.
 
865
        """
 
866
        from bzrlib.store.revision.text import TextRevisionStore
 
867
        dir_mode = control_files._dir_mode
 
868
        file_mode = control_files._file_mode
 
869
        text_store =TextStore(transport.clone(name),
 
870
                              prefixed=prefixed,
 
871
                              compressed=compressed,
 
872
                              dir_mode=dir_mode,
 
873
                              file_mode=file_mode)
 
874
        _revision_store = TextRevisionStore(text_store, serializer)
 
875
        return _revision_store
 
876
 
 
877
    def _get_versioned_file_store(self,
 
878
                                  name,
 
879
                                  transport,
 
880
                                  control_files,
 
881
                                  prefixed=True,
 
882
                                  versionedfile_class=WeaveFile,
 
883
                                  escaped=False):
 
884
        weave_transport = control_files._transport.clone(name)
 
885
        dir_mode = control_files._dir_mode
 
886
        file_mode = control_files._file_mode
 
887
        return VersionedFileStore(weave_transport, prefixed=prefixed,
 
888
                                  dir_mode=dir_mode,
 
889
                                  file_mode=file_mode,
 
890
                                  versionedfile_class=versionedfile_class,
 
891
                                  escaped=escaped)
 
892
 
 
893
    def initialize(self, a_bzrdir, shared=False):
 
894
        """Initialize a repository of this format in a_bzrdir.
 
895
 
 
896
        :param a_bzrdir: The bzrdir to put the new repository in it.
 
897
        :param shared: The repository should be initialized as a sharable one.
 
898
 
 
899
        This may raise UninitializableFormat if shared repository are not
 
900
        compatible the a_bzrdir.
 
901
        """
 
902
 
 
903
    def is_supported(self):
 
904
        """Is this format supported?
 
905
 
 
906
        Supported formats must be initializable and openable.
 
907
        Unsupported formats may not support initialization or committing or 
 
908
        some other features depending on the reason for not being supported.
 
909
        """
 
910
        return True
 
911
 
 
912
    def open(self, a_bzrdir, _found=False):
 
913
        """Return an instance of this format for the bzrdir a_bzrdir.
 
914
        
 
915
        _found is a private parameter, do not use it.
 
916
        """
 
917
        raise NotImplementedError(self.open)
 
918
 
 
919
    @classmethod
 
920
    def register_format(klass, format):
 
921
        klass._formats[format.get_format_string()] = format
 
922
 
 
923
    @classmethod
 
924
    def set_default_format(klass, format):
 
925
        klass._default_format = format
 
926
 
 
927
    @classmethod
 
928
    def unregister_format(klass, format):
 
929
        assert klass._formats[format.get_format_string()] is format
 
930
        del klass._formats[format.get_format_string()]
 
931
 
 
932
 
 
933
class PreSplitOutRepositoryFormat(RepositoryFormat):
 
934
    """Base class for the pre split out repository formats."""
 
935
 
 
936
    def initialize(self, a_bzrdir, shared=False, _internal=False):
 
937
        """Create a weave repository.
 
938
        
 
939
        TODO: when creating split out bzr branch formats, move this to a common
 
940
        base for Format5, Format6. or something like that.
 
941
        """
 
942
        from bzrlib.weavefile import write_weave_v5
 
943
        from bzrlib.weave import Weave
 
944
 
 
945
        if shared:
 
946
            raise errors.IncompatibleFormat(self, a_bzrdir._format)
 
947
 
 
948
        if not _internal:
 
949
            # always initialized when the bzrdir is.
 
950
            return self.open(a_bzrdir, _found=True)
 
951
        
 
952
        # Create an empty weave
 
953
        sio = StringIO()
 
954
        bzrlib.weavefile.write_weave_v5(Weave(), sio)
 
955
        empty_weave = sio.getvalue()
 
956
 
 
957
        mutter('creating repository in %s.', a_bzrdir.transport.base)
 
958
        dirs = ['revision-store', 'weaves']
 
959
        files = [('inventory.weave', StringIO(empty_weave)),
 
960
                 ]
 
961
        
 
962
        # FIXME: RBC 20060125 dont peek under the covers
 
963
        # NB: no need to escape relative paths that are url safe.
 
964
        control_files = LockableFiles(a_bzrdir.transport, 'branch-lock',
 
965
                                      TransportLock)
 
966
        control_files.create_lock()
 
967
        control_files.lock_write()
 
968
        control_files._transport.mkdir_multi(dirs,
 
969
                mode=control_files._dir_mode)
 
970
        try:
 
971
            for file, content in files:
 
972
                control_files.put(file, content)
 
973
        finally:
 
974
            control_files.unlock()
 
975
        return self.open(a_bzrdir, _found=True)
 
976
 
 
977
    def _get_control_store(self, repo_transport, control_files):
 
978
        """Return the control store for this repository."""
 
979
        return self._get_versioned_file_store('',
 
980
                                              repo_transport,
 
981
                                              control_files,
 
982
                                              prefixed=False)
 
983
 
 
984
    def _get_text_store(self, transport, control_files):
 
985
        """Get a store for file texts for this format."""
 
986
        raise NotImplementedError(self._get_text_store)
 
987
 
 
988
    def open(self, a_bzrdir, _found=False):
 
989
        """See RepositoryFormat.open()."""
 
990
        if not _found:
 
991
            # we are being called directly and must probe.
 
992
            raise NotImplementedError
 
993
 
 
994
        repo_transport = a_bzrdir.get_repository_transport(None)
 
995
        control_files = a_bzrdir._control_files
 
996
        text_store = self._get_text_store(repo_transport, control_files)
 
997
        control_store = self._get_control_store(repo_transport, control_files)
 
998
        _revision_store = self._get_revision_store(repo_transport, control_files)
 
999
        return AllInOneRepository(_format=self,
 
1000
                                  a_bzrdir=a_bzrdir,
 
1001
                                  _revision_store=_revision_store,
 
1002
                                  control_store=control_store,
 
1003
                                  text_store=text_store)
 
1004
 
 
1005
 
 
1006
class RepositoryFormat4(PreSplitOutRepositoryFormat):
 
1007
    """Bzr repository format 4.
 
1008
 
 
1009
    This repository format has:
 
1010
     - flat stores
 
1011
     - TextStores for texts, inventories,revisions.
 
1012
 
 
1013
    This format is deprecated: it indexes texts using a text id which is
 
1014
    removed in format 5; initializationa and write support for this format
 
1015
    has been removed.
 
1016
    """
 
1017
 
 
1018
    def __init__(self):
 
1019
        super(RepositoryFormat4, self).__init__()
 
1020
        self._matchingbzrdir = bzrlib.bzrdir.BzrDirFormat4()
 
1021
 
 
1022
    def get_format_description(self):
 
1023
        """See RepositoryFormat.get_format_description()."""
 
1024
        return "Repository format 4"
 
1025
 
 
1026
    def initialize(self, url, shared=False, _internal=False):
 
1027
        """Format 4 branches cannot be created."""
 
1028
        raise errors.UninitializableFormat(self)
 
1029
 
 
1030
    def is_supported(self):
 
1031
        """Format 4 is not supported.
 
1032
 
 
1033
        It is not supported because the model changed from 4 to 5 and the
 
1034
        conversion logic is expensive - so doing it on the fly was not 
 
1035
        feasible.
 
1036
        """
 
1037
        return False
 
1038
 
 
1039
    def _get_control_store(self, repo_transport, control_files):
 
1040
        """Format 4 repositories have no formal control store at this point.
 
1041
        
 
1042
        This will cause any control-file-needing apis to fail - this is desired.
 
1043
        """
 
1044
        return None
 
1045
    
 
1046
    def _get_revision_store(self, repo_transport, control_files):
 
1047
        """See RepositoryFormat._get_revision_store()."""
 
1048
        from bzrlib.xml4 import serializer_v4
 
1049
        return self._get_text_rev_store(repo_transport,
 
1050
                                        control_files,
 
1051
                                        'revision-store',
 
1052
                                        serializer=serializer_v4)
 
1053
 
 
1054
    def _get_text_store(self, transport, control_files):
 
1055
        """See RepositoryFormat._get_text_store()."""
 
1056
 
 
1057
 
 
1058
class RepositoryFormat5(PreSplitOutRepositoryFormat):
 
1059
    """Bzr control format 5.
 
1060
 
 
1061
    This repository format has:
 
1062
     - weaves for file texts and inventory
 
1063
     - flat stores
 
1064
     - TextStores for revisions and signatures.
 
1065
    """
 
1066
 
 
1067
    def __init__(self):
 
1068
        super(RepositoryFormat5, self).__init__()
 
1069
        self._matchingbzrdir = bzrlib.bzrdir.BzrDirFormat5()
 
1070
 
 
1071
    def get_format_description(self):
 
1072
        """See RepositoryFormat.get_format_description()."""
 
1073
        return "Weave repository format 5"
 
1074
 
 
1075
    def _get_revision_store(self, repo_transport, control_files):
 
1076
        """See RepositoryFormat._get_revision_store()."""
 
1077
        """Return the revision store object for this a_bzrdir."""
 
1078
        return self._get_text_rev_store(repo_transport,
 
1079
                                        control_files,
 
1080
                                        'revision-store',
 
1081
                                        compressed=False)
 
1082
 
 
1083
    def _get_text_store(self, transport, control_files):
 
1084
        """See RepositoryFormat._get_text_store()."""
 
1085
        return self._get_versioned_file_store('weaves', transport, control_files, prefixed=False)
 
1086
 
 
1087
 
 
1088
class RepositoryFormat6(PreSplitOutRepositoryFormat):
 
1089
    """Bzr control format 6.
 
1090
 
 
1091
    This repository format has:
 
1092
     - weaves for file texts and inventory
 
1093
     - hash subdirectory based stores.
 
1094
     - TextStores for revisions and signatures.
 
1095
    """
 
1096
 
 
1097
    def __init__(self):
 
1098
        super(RepositoryFormat6, self).__init__()
 
1099
        self._matchingbzrdir = bzrlib.bzrdir.BzrDirFormat6()
 
1100
 
 
1101
    def get_format_description(self):
 
1102
        """See RepositoryFormat.get_format_description()."""
 
1103
        return "Weave repository format 6"
 
1104
 
 
1105
    def _get_revision_store(self, repo_transport, control_files):
 
1106
        """See RepositoryFormat._get_revision_store()."""
 
1107
        return self._get_text_rev_store(repo_transport,
 
1108
                                        control_files,
 
1109
                                        'revision-store',
 
1110
                                        compressed=False,
 
1111
                                        prefixed=True)
 
1112
 
 
1113
    def _get_text_store(self, transport, control_files):
 
1114
        """See RepositoryFormat._get_text_store()."""
 
1115
        return self._get_versioned_file_store('weaves', transport, control_files)
 
1116
 
 
1117
 
 
1118
class MetaDirRepositoryFormat(RepositoryFormat):
 
1119
    """Common base class for the new repositories using the metadir layour."""
 
1120
 
 
1121
    def __init__(self):
 
1122
        super(MetaDirRepositoryFormat, self).__init__()
 
1123
        self._matchingbzrdir = bzrlib.bzrdir.BzrDirMetaFormat1()
 
1124
 
 
1125
    def _create_control_files(self, a_bzrdir):
 
1126
        """Create the required files and the initial control_files object."""
 
1127
        # FIXME: RBC 20060125 dont peek under the covers
 
1128
        # NB: no need to escape relative paths that are url safe.
 
1129
        repository_transport = a_bzrdir.get_repository_transport(self)
 
1130
        control_files = LockableFiles(repository_transport, 'lock', LockDir)
 
1131
        control_files.create_lock()
 
1132
        return control_files
 
1133
 
 
1134
    def _upload_blank_content(self, a_bzrdir, dirs, files, utf8_files, shared):
 
1135
        """Upload the initial blank content."""
 
1136
        control_files = self._create_control_files(a_bzrdir)
 
1137
        control_files.lock_write()
 
1138
        try:
 
1139
            control_files._transport.mkdir_multi(dirs,
 
1140
                    mode=control_files._dir_mode)
 
1141
            for file, content in files:
 
1142
                control_files.put(file, content)
 
1143
            for file, content in utf8_files:
 
1144
                control_files.put_utf8(file, content)
 
1145
            if shared == True:
 
1146
                control_files.put_utf8('shared-storage', '')
 
1147
        finally:
 
1148
            control_files.unlock()
 
1149
 
 
1150
 
 
1151
class RepositoryFormat7(MetaDirRepositoryFormat):
 
1152
    """Bzr repository 7.
 
1153
 
 
1154
    This repository format has:
 
1155
     - weaves for file texts and inventory
 
1156
     - hash subdirectory based stores.
 
1157
     - TextStores for revisions and signatures.
 
1158
     - a format marker of its own
 
1159
     - an optional 'shared-storage' flag
 
1160
     - an optional 'no-working-trees' flag
 
1161
    """
 
1162
 
 
1163
    def _get_control_store(self, repo_transport, control_files):
 
1164
        """Return the control store for this repository."""
 
1165
        return self._get_versioned_file_store('',
 
1166
                                              repo_transport,
 
1167
                                              control_files,
 
1168
                                              prefixed=False)
 
1169
 
 
1170
    def get_format_string(self):
 
1171
        """See RepositoryFormat.get_format_string()."""
 
1172
        return "Bazaar-NG Repository format 7"
 
1173
 
 
1174
    def get_format_description(self):
 
1175
        """See RepositoryFormat.get_format_description()."""
 
1176
        return "Weave repository format 7"
 
1177
 
 
1178
    def _get_revision_store(self, repo_transport, control_files):
 
1179
        """See RepositoryFormat._get_revision_store()."""
 
1180
        return self._get_text_rev_store(repo_transport,
 
1181
                                        control_files,
 
1182
                                        'revision-store',
 
1183
                                        compressed=False,
 
1184
                                        prefixed=True,
 
1185
                                        )
 
1186
 
 
1187
    def _get_text_store(self, transport, control_files):
 
1188
        """See RepositoryFormat._get_text_store()."""
 
1189
        return self._get_versioned_file_store('weaves',
 
1190
                                              transport,
 
1191
                                              control_files)
 
1192
 
 
1193
    def initialize(self, a_bzrdir, shared=False):
 
1194
        """Create a weave repository.
 
1195
 
 
1196
        :param shared: If true the repository will be initialized as a shared
 
1197
                       repository.
 
1198
        """
 
1199
        from bzrlib.weavefile import write_weave_v5
 
1200
        from bzrlib.weave import Weave
 
1201
 
 
1202
        # Create an empty weave
 
1203
        sio = StringIO()
 
1204
        bzrlib.weavefile.write_weave_v5(Weave(), sio)
 
1205
        empty_weave = sio.getvalue()
 
1206
 
 
1207
        mutter('creating repository in %s.', a_bzrdir.transport.base)
 
1208
        dirs = ['revision-store', 'weaves']
 
1209
        files = [('inventory.weave', StringIO(empty_weave)), 
 
1210
                 ]
 
1211
        utf8_files = [('format', self.get_format_string())]
 
1212
 
 
1213
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
 
1214
        return self.open(a_bzrdir=a_bzrdir, _found=True)
 
1215
 
 
1216
    def open(self, a_bzrdir, _found=False, _override_transport=None):
 
1217
        """See RepositoryFormat.open().
 
1218
        
 
1219
        :param _override_transport: INTERNAL USE ONLY. Allows opening the
 
1220
                                    repository at a slightly different url
 
1221
                                    than normal. I.e. during 'upgrade'.
 
1222
        """
 
1223
        if not _found:
 
1224
            format = RepositoryFormat.find_format(a_bzrdir)
 
1225
            assert format.__class__ ==  self.__class__
 
1226
        if _override_transport is not None:
 
1227
            repo_transport = _override_transport
 
1228
        else:
 
1229
            repo_transport = a_bzrdir.get_repository_transport(None)
 
1230
        control_files = LockableFiles(repo_transport, 'lock', LockDir)
 
1231
        text_store = self._get_text_store(repo_transport, control_files)
 
1232
        control_store = self._get_control_store(repo_transport, control_files)
 
1233
        _revision_store = self._get_revision_store(repo_transport, control_files)
 
1234
        return MetaDirRepository(_format=self,
 
1235
                                 a_bzrdir=a_bzrdir,
 
1236
                                 control_files=control_files,
 
1237
                                 _revision_store=_revision_store,
 
1238
                                 control_store=control_store,
 
1239
                                 text_store=text_store)
 
1240
 
 
1241
 
 
1242
class RepositoryFormatKnit1(MetaDirRepositoryFormat):
 
1243
    """Bzr repository knit format 1.
 
1244
 
 
1245
    This repository format has:
 
1246
     - knits for file texts and inventory
 
1247
     - hash subdirectory based stores.
 
1248
     - knits for revisions and signatures
 
1249
     - TextStores for revisions and signatures.
 
1250
     - a format marker of its own
 
1251
     - an optional 'shared-storage' flag
 
1252
     - an optional 'no-working-trees' flag
 
1253
     - a LockDir lock
 
1254
 
 
1255
    This format was introduced in bzr 0.8.
 
1256
    """
 
1257
 
 
1258
    def _get_control_store(self, repo_transport, control_files):
 
1259
        """Return the control store for this repository."""
 
1260
        return VersionedFileStore(
 
1261
            repo_transport,
 
1262
            prefixed=False,
 
1263
            file_mode=control_files._file_mode,
 
1264
            versionedfile_class=KnitVersionedFile,
 
1265
            versionedfile_kwargs={'factory':KnitPlainFactory()},
 
1266
            )
 
1267
 
 
1268
    def get_format_string(self):
 
1269
        """See RepositoryFormat.get_format_string()."""
 
1270
        return "Bazaar-NG Knit Repository Format 1"
 
1271
 
 
1272
    def get_format_description(self):
 
1273
        """See RepositoryFormat.get_format_description()."""
 
1274
        return "Knit repository format 1"
 
1275
 
 
1276
    def _get_revision_store(self, repo_transport, control_files):
 
1277
        """See RepositoryFormat._get_revision_store()."""
 
1278
        from bzrlib.store.revision.knit import KnitRevisionStore
 
1279
        versioned_file_store = VersionedFileStore(
 
1280
            repo_transport,
 
1281
            file_mode=control_files._file_mode,
 
1282
            prefixed=False,
 
1283
            precious=True,
 
1284
            versionedfile_class=KnitVersionedFile,
 
1285
            versionedfile_kwargs={'delta':False, 'factory':KnitPlainFactory()},
 
1286
            escaped=True,
 
1287
            )
 
1288
        return KnitRevisionStore(versioned_file_store)
 
1289
 
 
1290
    def _get_text_store(self, transport, control_files):
 
1291
        """See RepositoryFormat._get_text_store()."""
 
1292
        return self._get_versioned_file_store('knits',
 
1293
                                              transport,
 
1294
                                              control_files,
 
1295
                                              versionedfile_class=KnitVersionedFile,
 
1296
                                              escaped=True)
 
1297
 
 
1298
    def initialize(self, a_bzrdir, shared=False):
 
1299
        """Create a knit format 1 repository.
 
1300
 
 
1301
        :param a_bzrdir: bzrdir to contain the new repository; must already
 
1302
            be initialized.
 
1303
        :param shared: If true the repository will be initialized as a shared
 
1304
                       repository.
 
1305
        """
 
1306
        mutter('creating repository in %s.', a_bzrdir.transport.base)
 
1307
        dirs = ['revision-store', 'knits']
 
1308
        files = []
 
1309
        utf8_files = [('format', self.get_format_string())]
 
1310
        
 
1311
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
 
1312
        repo_transport = a_bzrdir.get_repository_transport(None)
 
1313
        control_files = LockableFiles(repo_transport, 'lock', LockDir)
 
1314
        control_store = self._get_control_store(repo_transport, control_files)
 
1315
        transaction = bzrlib.transactions.WriteTransaction()
 
1316
        # trigger a write of the inventory store.
 
1317
        control_store.get_weave_or_empty('inventory', transaction)
 
1318
        _revision_store = self._get_revision_store(repo_transport, control_files)
 
1319
        _revision_store.has_revision_id('A', transaction)
 
1320
        _revision_store.get_signature_file(transaction)
 
1321
        return self.open(a_bzrdir=a_bzrdir, _found=True)
 
1322
 
 
1323
    def open(self, a_bzrdir, _found=False, _override_transport=None):
 
1324
        """See RepositoryFormat.open().
 
1325
        
 
1326
        :param _override_transport: INTERNAL USE ONLY. Allows opening the
 
1327
                                    repository at a slightly different url
 
1328
                                    than normal. I.e. during 'upgrade'.
 
1329
        """
 
1330
        if not _found:
 
1331
            format = RepositoryFormat.find_format(a_bzrdir)
 
1332
            assert format.__class__ ==  self.__class__
 
1333
        if _override_transport is not None:
 
1334
            repo_transport = _override_transport
 
1335
        else:
 
1336
            repo_transport = a_bzrdir.get_repository_transport(None)
 
1337
        control_files = LockableFiles(repo_transport, 'lock', LockDir)
 
1338
        text_store = self._get_text_store(repo_transport, control_files)
 
1339
        control_store = self._get_control_store(repo_transport, control_files)
 
1340
        _revision_store = self._get_revision_store(repo_transport, control_files)
 
1341
        return KnitRepository(_format=self,
 
1342
                              a_bzrdir=a_bzrdir,
 
1343
                              control_files=control_files,
 
1344
                              _revision_store=_revision_store,
 
1345
                              control_store=control_store,
 
1346
                              text_store=text_store)
 
1347
 
 
1348
 
 
1349
# formats which have no format string are not discoverable
 
1350
# and not independently creatable, so are not registered.
 
1351
RepositoryFormat.register_format(RepositoryFormat7())
 
1352
_default_format = RepositoryFormatKnit1()
 
1353
RepositoryFormat.register_format(_default_format)
 
1354
RepositoryFormat.set_default_format(_default_format)
 
1355
_legacy_formats = [RepositoryFormat4(),
 
1356
                   RepositoryFormat5(),
 
1357
                   RepositoryFormat6()]
 
1358
 
 
1359
 
 
1360
class InterRepository(InterObject):
 
1361
    """This class represents operations taking place between two repositories.
 
1362
 
 
1363
    Its instances have methods like copy_content and fetch, and contain
 
1364
    references to the source and target repositories these operations can be 
 
1365
    carried out on.
 
1366
 
 
1367
    Often we will provide convenience methods on 'repository' which carry out
 
1368
    operations with another repository - they will always forward to
 
1369
    InterRepository.get(other).method_name(parameters).
 
1370
    """
 
1371
 
 
1372
    _optimisers = set()
 
1373
    """The available optimised InterRepository types."""
 
1374
 
 
1375
    @needs_write_lock
 
1376
    def copy_content(self, revision_id=None, basis=None):
 
1377
        """Make a complete copy of the content in self into destination.
 
1378
        
 
1379
        This is a destructive operation! Do not use it on existing 
 
1380
        repositories.
 
1381
 
 
1382
        :param revision_id: Only copy the content needed to construct
 
1383
                            revision_id and its parents.
 
1384
        :param basis: Copy the needed data preferentially from basis.
 
1385
        """
 
1386
        try:
 
1387
            self.target.set_make_working_trees(self.source.make_working_trees())
 
1388
        except NotImplementedError:
 
1389
            pass
 
1390
        # grab the basis available data
 
1391
        if basis is not None:
 
1392
            self.target.fetch(basis, revision_id=revision_id)
 
1393
        # but dont bother fetching if we have the needed data now.
 
1394
        if (revision_id not in (None, NULL_REVISION) and 
 
1395
            self.target.has_revision(revision_id)):
 
1396
            return
 
1397
        self.target.fetch(self.source, revision_id=revision_id)
 
1398
 
 
1399
    def _double_lock(self, lock_source, lock_target):
 
1400
        """Take out too locks, rolling back the first if the second throws."""
 
1401
        lock_source()
 
1402
        try:
 
1403
            lock_target()
 
1404
        except Exception:
 
1405
            # we want to ensure that we don't leave source locked by mistake.
 
1406
            # and any error on target should not confuse source.
 
1407
            self.source.unlock()
 
1408
            raise
 
1409
 
 
1410
    @needs_write_lock
 
1411
    def fetch(self, revision_id=None, pb=None):
 
1412
        """Fetch the content required to construct revision_id.
 
1413
 
 
1414
        The content is copied from source to target.
 
1415
 
 
1416
        :param revision_id: if None all content is copied, if NULL_REVISION no
 
1417
                            content is copied.
 
1418
        :param pb: optional progress bar to use for progress reports. If not
 
1419
                   provided a default one will be created.
 
1420
 
 
1421
        Returns the copied revision count and the failed revisions in a tuple:
 
1422
        (copied, failures).
 
1423
        """
 
1424
        from bzrlib.fetch import GenericRepoFetcher
 
1425
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
 
1426
               self.source, self.source._format, self.target, self.target._format)
 
1427
        f = GenericRepoFetcher(to_repository=self.target,
 
1428
                               from_repository=self.source,
 
1429
                               last_revision=revision_id,
 
1430
                               pb=pb)
 
1431
        return f.count_copied, f.failed_revisions
 
1432
 
 
1433
    def lock_read(self):
 
1434
        """Take out a logical read lock.
 
1435
 
 
1436
        This will lock the source branch and the target branch. The source gets
 
1437
        a read lock and the target a read lock.
 
1438
        """
 
1439
        self._double_lock(self.source.lock_read, self.target.lock_read)
 
1440
 
 
1441
    def lock_write(self):
 
1442
        """Take out a logical write lock.
 
1443
 
 
1444
        This will lock the source branch and the target branch. The source gets
 
1445
        a read lock and the target a write lock.
 
1446
        """
 
1447
        self._double_lock(self.source.lock_read, self.target.lock_write)
 
1448
 
 
1449
    @needs_read_lock
 
1450
    def missing_revision_ids(self, revision_id=None):
 
1451
        """Return the revision ids that source has that target does not.
 
1452
        
 
1453
        These are returned in topological order.
 
1454
 
 
1455
        :param revision_id: only return revision ids included by this
 
1456
                            revision_id.
 
1457
        """
 
1458
        # generic, possibly worst case, slow code path.
 
1459
        target_ids = set(self.target.all_revision_ids())
 
1460
        if revision_id is not None:
 
1461
            source_ids = self.source.get_ancestry(revision_id)
 
1462
            assert source_ids.pop(0) == None
 
1463
        else:
 
1464
            source_ids = self.source.all_revision_ids()
 
1465
        result_set = set(source_ids).difference(target_ids)
 
1466
        # this may look like a no-op: its not. It preserves the ordering
 
1467
        # other_ids had while only returning the members from other_ids
 
1468
        # that we've decided we need.
 
1469
        return [rev_id for rev_id in source_ids if rev_id in result_set]
 
1470
 
 
1471
    def unlock(self):
 
1472
        """Release the locks on source and target."""
 
1473
        try:
 
1474
            self.target.unlock()
 
1475
        finally:
 
1476
            self.source.unlock()
 
1477
 
 
1478
 
 
1479
class InterWeaveRepo(InterRepository):
 
1480
    """Optimised code paths between Weave based repositories."""
 
1481
 
 
1482
    _matching_repo_format = RepositoryFormat7()
 
1483
    """Repository format for testing with."""
 
1484
 
 
1485
    @staticmethod
 
1486
    def is_compatible(source, target):
 
1487
        """Be compatible with known Weave formats.
 
1488
        
 
1489
        We dont test for the stores being of specific types becase that
 
1490
        could lead to confusing results, and there is no need to be 
 
1491
        overly general.
 
1492
        """
 
1493
        try:
 
1494
            return (isinstance(source._format, (RepositoryFormat5,
 
1495
                                                RepositoryFormat6,
 
1496
                                                RepositoryFormat7)) and
 
1497
                    isinstance(target._format, (RepositoryFormat5,
 
1498
                                                RepositoryFormat6,
 
1499
                                                RepositoryFormat7)))
 
1500
        except AttributeError:
 
1501
            return False
 
1502
    
 
1503
    @needs_write_lock
 
1504
    def copy_content(self, revision_id=None, basis=None):
 
1505
        """See InterRepository.copy_content()."""
 
1506
        # weave specific optimised path:
 
1507
        if basis is not None:
 
1508
            # copy the basis in, then fetch remaining data.
 
1509
            basis.copy_content_into(self.target, revision_id)
 
1510
            # the basis copy_content_into could misset this.
 
1511
            try:
 
1512
                self.target.set_make_working_trees(self.source.make_working_trees())
 
1513
            except NotImplementedError:
 
1514
                pass
 
1515
            self.target.fetch(self.source, revision_id=revision_id)
 
1516
        else:
 
1517
            try:
 
1518
                self.target.set_make_working_trees(self.source.make_working_trees())
 
1519
            except NotImplementedError:
 
1520
                pass
 
1521
            # FIXME do not peek!
 
1522
            if self.source.control_files._transport.listable():
 
1523
                pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
1524
                try:
 
1525
                    self.target.weave_store.copy_all_ids(
 
1526
                        self.source.weave_store,
 
1527
                        pb=pb,
 
1528
                        from_transaction=self.source.get_transaction(),
 
1529
                        to_transaction=self.target.get_transaction())
 
1530
                    pb.update('copying inventory', 0, 1)
 
1531
                    self.target.control_weaves.copy_multi(
 
1532
                        self.source.control_weaves, ['inventory'],
 
1533
                        from_transaction=self.source.get_transaction(),
 
1534
                        to_transaction=self.target.get_transaction())
 
1535
                    self.target._revision_store.text_store.copy_all_ids(
 
1536
                        self.source._revision_store.text_store,
 
1537
                        pb=pb)
 
1538
                finally:
 
1539
                    pb.finished()
 
1540
            else:
 
1541
                self.target.fetch(self.source, revision_id=revision_id)
 
1542
 
 
1543
    @needs_write_lock
 
1544
    def fetch(self, revision_id=None, pb=None):
 
1545
        """See InterRepository.fetch()."""
 
1546
        from bzrlib.fetch import GenericRepoFetcher
 
1547
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
 
1548
               self.source, self.source._format, self.target, self.target._format)
 
1549
        f = GenericRepoFetcher(to_repository=self.target,
 
1550
                               from_repository=self.source,
 
1551
                               last_revision=revision_id,
 
1552
                               pb=pb)
 
1553
        return f.count_copied, f.failed_revisions
 
1554
 
 
1555
    @needs_read_lock
 
1556
    def missing_revision_ids(self, revision_id=None):
 
1557
        """See InterRepository.missing_revision_ids()."""
 
1558
        # we want all revisions to satisfy revision_id in source.
 
1559
        # but we dont want to stat every file here and there.
 
1560
        # we want then, all revisions other needs to satisfy revision_id 
 
1561
        # checked, but not those that we have locally.
 
1562
        # so the first thing is to get a subset of the revisions to 
 
1563
        # satisfy revision_id in source, and then eliminate those that
 
1564
        # we do already have. 
 
1565
        # this is slow on high latency connection to self, but as as this
 
1566
        # disk format scales terribly for push anyway due to rewriting 
 
1567
        # inventory.weave, this is considered acceptable.
 
1568
        # - RBC 20060209
 
1569
        if revision_id is not None:
 
1570
            source_ids = self.source.get_ancestry(revision_id)
 
1571
            assert source_ids.pop(0) == None
 
1572
        else:
 
1573
            source_ids = self.source._all_possible_ids()
 
1574
        source_ids_set = set(source_ids)
 
1575
        # source_ids is the worst possible case we may need to pull.
 
1576
        # now we want to filter source_ids against what we actually
 
1577
        # have in target, but dont try to check for existence where we know
 
1578
        # we do not have a revision as that would be pointless.
 
1579
        target_ids = set(self.target._all_possible_ids())
 
1580
        possibly_present_revisions = target_ids.intersection(source_ids_set)
 
1581
        actually_present_revisions = set(self.target._eliminate_revisions_not_present(possibly_present_revisions))
 
1582
        required_revisions = source_ids_set.difference(actually_present_revisions)
 
1583
        required_topo_revisions = [rev_id for rev_id in source_ids if rev_id in required_revisions]
 
1584
        if revision_id is not None:
 
1585
            # we used get_ancestry to determine source_ids then we are assured all
 
1586
            # revisions referenced are present as they are installed in topological order.
 
1587
            # and the tip revision was validated by get_ancestry.
 
1588
            return required_topo_revisions
 
1589
        else:
 
1590
            # if we just grabbed the possibly available ids, then 
 
1591
            # we only have an estimate of whats available and need to validate
 
1592
            # that against the revision records.
 
1593
            return self.source._eliminate_revisions_not_present(required_topo_revisions)
 
1594
 
 
1595
 
 
1596
class InterKnitRepo(InterRepository):
 
1597
    """Optimised code paths between Knit based repositories."""
 
1598
 
 
1599
    _matching_repo_format = RepositoryFormatKnit1()
 
1600
    """Repository format for testing with."""
 
1601
 
 
1602
    @staticmethod
 
1603
    def is_compatible(source, target):
 
1604
        """Be compatible with known Knit formats.
 
1605
        
 
1606
        We dont test for the stores being of specific types becase that
 
1607
        could lead to confusing results, and there is no need to be 
 
1608
        overly general.
 
1609
        """
 
1610
        try:
 
1611
            return (isinstance(source._format, (RepositoryFormatKnit1)) and
 
1612
                    isinstance(target._format, (RepositoryFormatKnit1)))
 
1613
        except AttributeError:
 
1614
            return False
 
1615
 
 
1616
    @needs_write_lock
 
1617
    def fetch(self, revision_id=None, pb=None):
 
1618
        """See InterRepository.fetch()."""
 
1619
        from bzrlib.fetch import KnitRepoFetcher
 
1620
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
 
1621
               self.source, self.source._format, self.target, self.target._format)
 
1622
        f = KnitRepoFetcher(to_repository=self.target,
 
1623
                            from_repository=self.source,
 
1624
                            last_revision=revision_id,
 
1625
                            pb=pb)
 
1626
        return f.count_copied, f.failed_revisions
 
1627
 
 
1628
    @needs_read_lock
 
1629
    def missing_revision_ids(self, revision_id=None):
 
1630
        """See InterRepository.missing_revision_ids()."""
 
1631
        if revision_id is not None:
 
1632
            source_ids = self.source.get_ancestry(revision_id)
 
1633
            assert source_ids.pop(0) == None
 
1634
        else:
 
1635
            source_ids = self.source._all_possible_ids()
 
1636
        source_ids_set = set(source_ids)
 
1637
        # source_ids is the worst possible case we may need to pull.
 
1638
        # now we want to filter source_ids against what we actually
 
1639
        # have in target, but dont try to check for existence where we know
 
1640
        # we do not have a revision as that would be pointless.
 
1641
        target_ids = set(self.target._all_possible_ids())
 
1642
        possibly_present_revisions = target_ids.intersection(source_ids_set)
 
1643
        actually_present_revisions = set(self.target._eliminate_revisions_not_present(possibly_present_revisions))
 
1644
        required_revisions = source_ids_set.difference(actually_present_revisions)
 
1645
        required_topo_revisions = [rev_id for rev_id in source_ids if rev_id in required_revisions]
 
1646
        if revision_id is not None:
 
1647
            # we used get_ancestry to determine source_ids then we are assured all
 
1648
            # revisions referenced are present as they are installed in topological order.
 
1649
            # and the tip revision was validated by get_ancestry.
 
1650
            return required_topo_revisions
 
1651
        else:
 
1652
            # if we just grabbed the possibly available ids, then 
 
1653
            # we only have an estimate of whats available and need to validate
 
1654
            # that against the revision records.
 
1655
            return self.source._eliminate_revisions_not_present(required_topo_revisions)
 
1656
 
 
1657
InterRepository.register_optimiser(InterWeaveRepo)
 
1658
InterRepository.register_optimiser(InterKnitRepo)
 
1659
 
 
1660
 
 
1661
class RepositoryTestProviderAdapter(object):
 
1662
    """A tool to generate a suite testing multiple repository formats at once.
 
1663
 
 
1664
    This is done by copying the test once for each transport and injecting
 
1665
    the transport_server, transport_readonly_server, and bzrdir_format and
 
1666
    repository_format classes into each copy. Each copy is also given a new id()
 
1667
    to make it easy to identify.
 
1668
    """
 
1669
 
 
1670
    def __init__(self, transport_server, transport_readonly_server, formats):
 
1671
        self._transport_server = transport_server
 
1672
        self._transport_readonly_server = transport_readonly_server
 
1673
        self._formats = formats
 
1674
    
 
1675
    def adapt(self, test):
 
1676
        result = TestSuite()
 
1677
        for repository_format, bzrdir_format in self._formats:
 
1678
            new_test = deepcopy(test)
 
1679
            new_test.transport_server = self._transport_server
 
1680
            new_test.transport_readonly_server = self._transport_readonly_server
 
1681
            new_test.bzrdir_format = bzrdir_format
 
1682
            new_test.repository_format = repository_format
 
1683
            def make_new_test_id():
 
1684
                new_id = "%s(%s)" % (new_test.id(), repository_format.__class__.__name__)
 
1685
                return lambda: new_id
 
1686
            new_test.id = make_new_test_id()
 
1687
            result.addTest(new_test)
 
1688
        return result
 
1689
 
 
1690
 
 
1691
class InterRepositoryTestProviderAdapter(object):
 
1692
    """A tool to generate a suite testing multiple inter repository formats.
 
1693
 
 
1694
    This is done by copying the test once for each interrepo provider and injecting
 
1695
    the transport_server, transport_readonly_server, repository_format and 
 
1696
    repository_to_format classes into each copy.
 
1697
    Each copy is also given a new id() to make it easy to identify.
 
1698
    """
 
1699
 
 
1700
    def __init__(self, transport_server, transport_readonly_server, formats):
 
1701
        self._transport_server = transport_server
 
1702
        self._transport_readonly_server = transport_readonly_server
 
1703
        self._formats = formats
 
1704
    
 
1705
    def adapt(self, test):
 
1706
        result = TestSuite()
 
1707
        for interrepo_class, repository_format, repository_format_to in self._formats:
 
1708
            new_test = deepcopy(test)
 
1709
            new_test.transport_server = self._transport_server
 
1710
            new_test.transport_readonly_server = self._transport_readonly_server
 
1711
            new_test.interrepo_class = interrepo_class
 
1712
            new_test.repository_format = repository_format
 
1713
            new_test.repository_format_to = repository_format_to
 
1714
            def make_new_test_id():
 
1715
                new_id = "%s(%s)" % (new_test.id(), interrepo_class.__name__)
 
1716
                return lambda: new_id
 
1717
            new_test.id = make_new_test_id()
 
1718
            result.addTest(new_test)
 
1719
        return result
 
1720
 
 
1721
    @staticmethod
 
1722
    def default_test_list():
 
1723
        """Generate the default list of interrepo permutations to test."""
 
1724
        result = []
 
1725
        # test the default InterRepository between format 6 and the current 
 
1726
        # default format.
 
1727
        # XXX: robertc 20060220 reinstate this when there are two supported
 
1728
        # formats which do not have an optimal code path between them.
 
1729
        result.append((InterRepository,
 
1730
                       RepositoryFormat6(),
 
1731
                       RepositoryFormatKnit1()))
 
1732
        for optimiser in InterRepository._optimisers:
 
1733
            result.append((optimiser,
 
1734
                           optimiser._matching_repo_format,
 
1735
                           optimiser._matching_repo_format
 
1736
                           ))
 
1737
        # if there are specific combinations we want to use, we can add them 
 
1738
        # here.
 
1739
        return result
 
1740
 
 
1741
 
 
1742
class CopyConverter(object):
 
1743
    """A repository conversion tool which just performs a copy of the content.
 
1744
    
 
1745
    This is slow but quite reliable.
 
1746
    """
 
1747
 
 
1748
    def __init__(self, target_format):
 
1749
        """Create a CopyConverter.
 
1750
 
 
1751
        :param target_format: The format the resulting repository should be.
 
1752
        """
 
1753
        self.target_format = target_format
 
1754
        
 
1755
    def convert(self, repo, pb):
 
1756
        """Perform the conversion of to_convert, giving feedback via pb.
 
1757
 
 
1758
        :param to_convert: The disk object to convert.
 
1759
        :param pb: a progress bar to use for progress information.
 
1760
        """
 
1761
        self.pb = pb
 
1762
        self.count = 0
 
1763
        self.total = 4
 
1764
        # this is only useful with metadir layouts - separated repo content.
 
1765
        # trigger an assertion if not such
 
1766
        repo._format.get_format_string()
 
1767
        self.repo_dir = repo.bzrdir
 
1768
        self.step('Moving repository to repository.backup')
 
1769
        self.repo_dir.transport.move('repository', 'repository.backup')
 
1770
        backup_transport =  self.repo_dir.transport.clone('repository.backup')
 
1771
        self.source_repo = repo._format.open(self.repo_dir,
 
1772
            _found=True,
 
1773
            _override_transport=backup_transport)
 
1774
        self.step('Creating new repository')
 
1775
        converted = self.target_format.initialize(self.repo_dir,
 
1776
                                                  self.source_repo.is_shared())
 
1777
        converted.lock_write()
 
1778
        try:
 
1779
            self.step('Copying content into repository.')
 
1780
            self.source_repo.copy_content_into(converted)
 
1781
        finally:
 
1782
            converted.unlock()
 
1783
        self.step('Deleting old repository content.')
 
1784
        self.repo_dir.transport.delete_tree('repository.backup')
 
1785
        self.pb.note('repository converted')
 
1786
 
 
1787
    def step(self, message):
 
1788
        """Update the pb by a step."""
 
1789
        self.count +=1
 
1790
        self.pb.update(message, self.count, self.total)
 
1791
 
 
1792
 
 
1793
# Copied from xml.sax.saxutils
 
1794
def _unescape_xml(data):
 
1795
    """Unescape &amp;, &lt;, and &gt; in a string of data.
 
1796
    """
 
1797
    data = data.replace("&lt;", "<")
 
1798
    data = data.replace("&gt;", ">")
 
1799
    # must do ampersand last
 
1800
    return data.replace("&amp;", "&")