~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/repofmt/weaverepo.py

  • Committer: Andrew Bennetts
  • Date: 2010-10-08 08:15:14 UTC
  • mto: This revision was merged to the branch mainline in revision 5498.
  • Revision ID: andrew.bennetts@canonical.com-20101008081514-dviqzrdfwyzsqbz2
Split NEWS into per-release doc/en/release-notes/bzr-*.txt

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
1
# Copyright (C) 2007-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
 
18
 
"""Old weave-based repository formats"""
19
 
 
20
 
from StringIO import StringIO
21
 
 
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
"""Deprecated weave-based repository formats.
 
18
 
 
19
Weave based formats scaled linearly with history size and could not represent
 
20
ghosts.
 
21
"""
 
22
 
 
23
import os
 
24
from cStringIO import StringIO
 
25
import urllib
 
26
 
 
27
from bzrlib.lazy_import import lazy_import
 
28
lazy_import(globals(), """
 
29
from bzrlib import (
 
30
    xml5,
 
31
    graph as _mod_graph,
 
32
    )
 
33
""")
22
34
from bzrlib import (
23
35
    bzrdir,
 
36
    debug,
 
37
    errors,
24
38
    lockable_files,
25
39
    lockdir,
 
40
    osutils,
 
41
    revision as _mod_revision,
 
42
    trace,
 
43
    urlutils,
 
44
    versionedfile,
26
45
    weave,
27
46
    weavefile,
28
 
    xml5,
29
47
    )
30
48
from bzrlib.decorators import needs_read_lock, needs_write_lock
31
49
from bzrlib.repository import (
32
 
    MetaDirRepository,
 
50
    CommitBuilder,
 
51
    MetaDirVersionedFileRepository,
33
52
    MetaDirRepositoryFormat,
34
53
    Repository,
35
54
    RepositoryFormat,
36
55
    )
37
56
from bzrlib.store.text import TextStore
38
 
from bzrlib.trace import mutter
 
57
from bzrlib.tuned_gzip import GzipFile, bytes_to_gzip
 
58
from bzrlib.versionedfile import (
 
59
    AbsentContentFactory,
 
60
    FulltextContentFactory,
 
61
    VersionedFiles,
 
62
    )
39
63
 
40
64
 
41
65
class AllInOneRepository(Repository):
42
66
    """Legacy support - the repository behaviour for all-in-one branches."""
43
67
 
44
 
    _serializer = xml5.serializer_v5
45
 
 
46
 
    def __init__(self, _format, a_bzrdir, _revision_store, control_store, text_store):
 
68
    @property
 
69
    def _serializer(self):
 
70
        return xml5.serializer_v5
 
71
 
 
72
    def _escape(self, file_or_path):
 
73
        if not isinstance(file_or_path, basestring):
 
74
            file_or_path = '/'.join(file_or_path)
 
75
        if file_or_path == '':
 
76
            return u''
 
77
        return urlutils.escape(osutils.safe_unicode(file_or_path))
 
78
 
 
79
    def __init__(self, _format, a_bzrdir):
47
80
        # we reuse one control files instance.
48
 
        dir_mode = a_bzrdir._control_files._dir_mode
49
 
        file_mode = a_bzrdir._control_files._file_mode
 
81
        dir_mode = a_bzrdir._get_dir_mode()
 
82
        file_mode = a_bzrdir._get_file_mode()
50
83
 
51
84
        def get_store(name, compressed=True, prefixed=False):
52
85
            # FIXME: This approach of assuming stores are all entirely compressed
53
 
            # or entirely uncompressed is tidy, but breaks upgrade from 
54
 
            # some existing branches where there's a mixture; we probably 
 
86
            # or entirely uncompressed is tidy, but breaks upgrade from
 
87
            # some existing branches where there's a mixture; we probably
55
88
            # still want the option to look for both.
56
 
            relpath = a_bzrdir._control_files._escape(name)
57
 
            store = TextStore(a_bzrdir._control_files._transport.clone(relpath),
 
89
            relpath = self._escape(name)
 
90
            store = TextStore(a_bzrdir.transport.clone(relpath),
58
91
                              prefixed=prefixed, compressed=compressed,
59
92
                              dir_mode=dir_mode,
60
93
                              file_mode=file_mode)
61
94
            return store
62
95
 
63
96
        # not broken out yet because the controlweaves|inventory_store
64
 
        # and text_store | weave_store bits are still different.
 
97
        # and texts bits are still different.
65
98
        if isinstance(_format, RepositoryFormat4):
66
 
            # cannot remove these - there is still no consistent api 
 
99
            # cannot remove these - there is still no consistent api
67
100
            # which allows access to this old info.
68
101
            self.inventory_store = get_store('inventory-store')
69
 
            text_store = get_store('text-store')
70
 
        super(AllInOneRepository, self).__init__(_format, a_bzrdir, a_bzrdir._control_files, _revision_store, control_store, text_store)
 
102
            self._text_store = get_store('text-store')
 
103
        super(AllInOneRepository, self).__init__(_format, a_bzrdir, a_bzrdir._control_files)
 
104
 
 
105
    @needs_read_lock
 
106
    def _all_possible_ids(self):
 
107
        """Return all the possible revisions that we could find."""
 
108
        if 'evil' in debug.debug_flags:
 
109
            trace.mutter_callsite(
 
110
                3, "_all_possible_ids scales with size of history.")
 
111
        return [key[-1] for key in self.inventories.keys()]
 
112
 
 
113
    @needs_read_lock
 
114
    def _all_revision_ids(self):
 
115
        """Returns a list of all the revision ids in the repository.
 
116
 
 
117
        These are in as much topological order as the underlying store can
 
118
        present: for weaves ghosts may lead to a lack of correctness until
 
119
        the reweave updates the parents list.
 
120
        """
 
121
        return [key[-1] for key in self.revisions.keys()]
 
122
 
 
123
    def _activate_new_inventory(self):
 
124
        """Put a replacement inventory.new into use as inventories."""
 
125
        # Copy the content across
 
126
        t = self.bzrdir._control_files._transport
 
127
        t.copy('inventory.new.weave', 'inventory.weave')
 
128
        # delete the temp inventory
 
129
        t.delete('inventory.new.weave')
 
130
        # Check we can parse the new weave properly as a sanity check
 
131
        self.inventories.keys()
 
132
 
 
133
    def _backup_inventory(self):
 
134
        t = self.bzrdir._control_files._transport
 
135
        t.copy('inventory.weave', 'inventory.backup.weave')
 
136
 
 
137
    def _temp_inventories(self):
 
138
        t = self.bzrdir._control_files._transport
 
139
        return self._format._get_inventories(t, self, 'inventory.new')
71
140
 
72
141
    def get_commit_builder(self, branch, parents, config, timestamp=None,
73
142
                           timezone=None, committer=None, revprops=None,
74
143
                           revision_id=None):
75
144
        self._check_ascii_revisionid(revision_id, self.get_commit_builder)
76
 
        return Repository.get_commit_builder(self, branch, parents, config,
77
 
            timestamp, timezone, committer, revprops, revision_id)
 
145
        result = CommitBuilder(self, parents, config, timestamp, timezone,
 
146
                              committer, revprops, revision_id)
 
147
        self.start_write_group()
 
148
        return result
78
149
 
79
150
    @needs_read_lock
 
151
    def get_revisions(self, revision_ids):
 
152
        revs = self._get_revisions(revision_ids)
 
153
        return revs
 
154
 
 
155
    def _inventory_add_lines(self, revision_id, parents, lines,
 
156
        check_content=True):
 
157
        """Store lines in inv_vf and return the sha1 of the inventory."""
 
158
        present_parents = self.get_graph().get_parent_map(parents)
 
159
        final_parents = []
 
160
        for parent in parents:
 
161
            if parent in present_parents:
 
162
                final_parents.append((parent,))
 
163
        return self.inventories.add_lines((revision_id,), final_parents, lines,
 
164
            check_content=check_content)[0]
 
165
 
80
166
    def is_shared(self):
81
167
        """AllInOne repositories cannot be shared."""
82
168
        return False
91
177
        :param new_value: True to restore the default, False to disable making
92
178
                          working trees.
93
179
        """
94
 
        raise NotImplementedError(self.set_make_working_trees)
95
 
    
 
180
        raise errors.RepositoryUpgradeRequired(self.user_url)
 
181
 
96
182
    def make_working_trees(self):
97
183
        """Returns the policy for making working trees on new branches."""
98
184
        return True
99
185
 
100
 
 
101
 
class WeaveMetaDirRepository(MetaDirRepository):
 
186
    def revision_graph_can_have_wrong_parents(self):
 
187
        # XXX: This is an old format that we don't support full checking on, so
 
188
        # just claim that checking for this inconsistency is not required.
 
189
        return False
 
190
 
 
191
 
 
192
class WeaveMetaDirRepository(MetaDirVersionedFileRepository):
102
193
    """A subclass of MetaDirRepository to set weave specific policy."""
103
194
 
104
 
    _serializer = xml5.serializer_v5
 
195
    def __init__(self, _format, a_bzrdir, control_files):
 
196
        super(WeaveMetaDirRepository, self).__init__(_format, a_bzrdir, control_files)
 
197
        self._serializer = _format._serializer
 
198
 
 
199
    @needs_read_lock
 
200
    def _all_possible_ids(self):
 
201
        """Return all the possible revisions that we could find."""
 
202
        if 'evil' in debug.debug_flags:
 
203
            trace.mutter_callsite(
 
204
                3, "_all_possible_ids scales with size of history.")
 
205
        return [key[-1] for key in self.inventories.keys()]
 
206
 
 
207
    @needs_read_lock
 
208
    def _all_revision_ids(self):
 
209
        """Returns a list of all the revision ids in the repository.
 
210
 
 
211
        These are in as much topological order as the underlying store can
 
212
        present: for weaves ghosts may lead to a lack of correctness until
 
213
        the reweave updates the parents list.
 
214
        """
 
215
        return [key[-1] for key in self.revisions.keys()]
 
216
 
 
217
    def _activate_new_inventory(self):
 
218
        """Put a replacement inventory.new into use as inventories."""
 
219
        # Copy the content across
 
220
        t = self._transport
 
221
        t.copy('inventory.new.weave', 'inventory.weave')
 
222
        # delete the temp inventory
 
223
        t.delete('inventory.new.weave')
 
224
        # Check we can parse the new weave properly as a sanity check
 
225
        self.inventories.keys()
 
226
 
 
227
    def _backup_inventory(self):
 
228
        t = self._transport
 
229
        t.copy('inventory.weave', 'inventory.backup.weave')
 
230
 
 
231
    def _temp_inventories(self):
 
232
        t = self._transport
 
233
        return self._format._get_inventories(t, self, 'inventory.new')
105
234
 
106
235
    def get_commit_builder(self, branch, parents, config, timestamp=None,
107
236
                           timezone=None, committer=None, revprops=None,
108
237
                           revision_id=None):
109
238
        self._check_ascii_revisionid(revision_id, self.get_commit_builder)
110
 
        return MetaDirRepository.get_commit_builder(self, branch, parents,
111
 
            config, timestamp, timezone, committer, revprops, revision_id)
 
239
        result = CommitBuilder(self, parents, config, timestamp, timezone,
 
240
                              committer, revprops, revision_id)
 
241
        self.start_write_group()
 
242
        return result
 
243
 
 
244
    @needs_read_lock
 
245
    def get_revision(self, revision_id):
 
246
        """Return the Revision object for a named revision"""
 
247
        r = self.get_revision_reconcile(revision_id)
 
248
        return r
 
249
 
 
250
    def _inventory_add_lines(self, revision_id, parents, lines,
 
251
        check_content=True):
 
252
        """Store lines in inv_vf and return the sha1 of the inventory."""
 
253
        present_parents = self.get_graph().get_parent_map(parents)
 
254
        final_parents = []
 
255
        for parent in parents:
 
256
            if parent in present_parents:
 
257
                final_parents.append((parent,))
 
258
        return self.inventories.add_lines((revision_id,), final_parents, lines,
 
259
            check_content=check_content)[0]
 
260
 
 
261
    def revision_graph_can_have_wrong_parents(self):
 
262
        return False
112
263
 
113
264
 
114
265
class PreSplitOutRepositoryFormat(RepositoryFormat):
116
267
 
117
268
    rich_root_data = False
118
269
    supports_tree_reference = False
 
270
    supports_ghosts = False
 
271
    supports_external_lookups = False
 
272
    supports_chks = False
 
273
    _fetch_order = 'topological'
 
274
    _fetch_reconcile = True
 
275
    fast_deltas = False
119
276
 
120
277
    def initialize(self, a_bzrdir, shared=False, _internal=False):
121
 
        """Create a weave repository.
122
 
        
123
 
        TODO: when creating split out bzr branch formats, move this to a common
124
 
        base for Format5, Format6. or something like that.
125
 
        """
 
278
        """Create a weave repository."""
126
279
        if shared:
127
280
            raise errors.IncompatibleFormat(self, a_bzrdir._format)
128
281
 
129
282
        if not _internal:
130
283
            # always initialized when the bzrdir is.
131
284
            return self.open(a_bzrdir, _found=True)
132
 
        
 
285
 
133
286
        # Create an empty weave
134
287
        sio = StringIO()
135
288
        weavefile.write_weave_v5(weave.Weave(), sio)
136
289
        empty_weave = sio.getvalue()
137
290
 
138
 
        mutter('creating repository in %s.', a_bzrdir.transport.base)
139
 
        dirs = ['revision-store', 'weaves']
140
 
        files = [('inventory.weave', StringIO(empty_weave)),
141
 
                 ]
142
 
        
 
291
        trace.mutter('creating repository in %s.', a_bzrdir.transport.base)
 
292
 
143
293
        # FIXME: RBC 20060125 don't peek under the covers
144
294
        # NB: no need to escape relative paths that are url safe.
145
295
        control_files = lockable_files.LockableFiles(a_bzrdir.transport,
146
 
                                'branch-lock', lockable_files.TransportLock)
 
296
            'branch-lock', lockable_files.TransportLock)
147
297
        control_files.create_lock()
148
298
        control_files.lock_write()
149
 
        control_files._transport.mkdir_multi(dirs,
150
 
                mode=control_files._dir_mode)
 
299
        transport = a_bzrdir.transport
151
300
        try:
152
 
            for file, content in files:
153
 
                control_files.put(file, content)
 
301
            transport.mkdir_multi(['revision-store', 'weaves'],
 
302
                mode=a_bzrdir._get_dir_mode())
 
303
            transport.put_bytes_non_atomic('inventory.weave', empty_weave,
 
304
                mode=a_bzrdir._get_file_mode())
154
305
        finally:
155
306
            control_files.unlock()
156
 
        return self.open(a_bzrdir, _found=True)
157
 
 
158
 
    def _get_control_store(self, repo_transport, control_files):
159
 
        """Return the control store for this repository."""
160
 
        return self._get_versioned_file_store('',
161
 
                                              repo_transport,
162
 
                                              control_files,
163
 
                                              prefixed=False)
164
 
 
165
 
    def _get_text_store(self, transport, control_files):
166
 
        """Get a store for file texts for this format."""
167
 
        raise NotImplementedError(self._get_text_store)
 
307
        repository = self.open(a_bzrdir, _found=True)
 
308
        self._run_post_repo_init_hooks(repository, a_bzrdir, shared)
 
309
        return repository
168
310
 
169
311
    def open(self, a_bzrdir, _found=False):
170
312
        """See RepositoryFormat.open()."""
174
316
 
175
317
        repo_transport = a_bzrdir.get_repository_transport(None)
176
318
        control_files = a_bzrdir._control_files
177
 
        text_store = self._get_text_store(repo_transport, control_files)
178
 
        control_store = self._get_control_store(repo_transport, control_files)
179
 
        _revision_store = self._get_revision_store(repo_transport, control_files)
180
 
        return AllInOneRepository(_format=self,
181
 
                                  a_bzrdir=a_bzrdir,
182
 
                                  _revision_store=_revision_store,
183
 
                                  control_store=control_store,
184
 
                                  text_store=text_store)
185
 
 
186
 
    def check_conversion_target(self, target_format):
187
 
        pass
 
319
        result = AllInOneRepository(_format=self, a_bzrdir=a_bzrdir)
 
320
        result.revisions = self._get_revisions(repo_transport, result)
 
321
        result.signatures = self._get_signatures(repo_transport, result)
 
322
        result.inventories = self._get_inventories(repo_transport, result)
 
323
        result.texts = self._get_texts(repo_transport, result)
 
324
        result.chk_bytes = None
 
325
        return result
188
326
 
189
327
 
190
328
class RepositoryFormat4(PreSplitOutRepositoryFormat):
201
339
 
202
340
    _matchingbzrdir = bzrdir.BzrDirFormat4()
203
341
 
204
 
    def __init__(self):
205
 
        super(RepositoryFormat4, self).__init__()
206
 
 
207
342
    def get_format_description(self):
208
343
        """See RepositoryFormat.get_format_description()."""
209
344
        return "Repository format 4"
216
351
        """Format 4 is not supported.
217
352
 
218
353
        It is not supported because the model changed from 4 to 5 and the
219
 
        conversion logic is expensive - so doing it on the fly was not 
 
354
        conversion logic is expensive - so doing it on the fly was not
220
355
        feasible.
221
356
        """
222
357
        return False
223
358
 
224
 
    def _get_control_store(self, repo_transport, control_files):
225
 
        """Format 4 repositories have no formal control store at this point.
226
 
        
227
 
        This will cause any control-file-needing apis to fail - this is desired.
228
 
        """
 
359
    def _get_inventories(self, repo_transport, repo, name='inventory'):
 
360
        # No inventories store written so far.
229
361
        return None
230
 
    
231
 
    def _get_revision_store(self, repo_transport, control_files):
232
 
        """See RepositoryFormat._get_revision_store()."""
 
362
 
 
363
    def _get_revisions(self, repo_transport, repo):
233
364
        from bzrlib.xml4 import serializer_v4
234
 
        return self._get_text_rev_store(repo_transport,
235
 
                                        control_files,
236
 
                                        'revision-store',
237
 
                                        serializer=serializer_v4)
238
 
 
239
 
    def _get_text_store(self, transport, control_files):
240
 
        """See RepositoryFormat._get_text_store()."""
 
365
        return RevisionTextStore(repo_transport.clone('revision-store'),
 
366
            serializer_v4, True, versionedfile.PrefixMapper(),
 
367
            repo.is_locked, repo.is_write_locked)
 
368
 
 
369
    def _get_signatures(self, repo_transport, repo):
 
370
        return SignatureTextStore(repo_transport.clone('revision-store'),
 
371
            False, versionedfile.PrefixMapper(),
 
372
            repo.is_locked, repo.is_write_locked)
 
373
 
 
374
    def _get_texts(self, repo_transport, repo):
 
375
        return None
241
376
 
242
377
 
243
378
class RepositoryFormat5(PreSplitOutRepositoryFormat):
251
386
 
252
387
    _versionedfile_class = weave.WeaveFile
253
388
    _matchingbzrdir = bzrdir.BzrDirFormat5()
254
 
 
255
 
    def __init__(self):
256
 
        super(RepositoryFormat5, self).__init__()
 
389
    @property
 
390
    def _serializer(self):
 
391
        return xml5.serializer_v5
257
392
 
258
393
    def get_format_description(self):
259
394
        """See RepositoryFormat.get_format_description()."""
260
395
        return "Weave repository format 5"
261
396
 
262
 
    def _get_revision_store(self, repo_transport, control_files):
263
 
        """See RepositoryFormat._get_revision_store()."""
264
 
        """Return the revision store object for this a_bzrdir."""
265
 
        return self._get_text_rev_store(repo_transport,
266
 
                                        control_files,
267
 
                                        'revision-store',
268
 
                                        compressed=False)
269
 
 
270
 
    def _get_text_store(self, transport, control_files):
271
 
        """See RepositoryFormat._get_text_store()."""
272
 
        return self._get_versioned_file_store('weaves', transport, control_files, prefixed=False)
 
397
    def network_name(self):
 
398
        """The network name for this format is the control dirs disk label."""
 
399
        return self._matchingbzrdir.get_format_string()
 
400
 
 
401
    def _get_inventories(self, repo_transport, repo, name='inventory'):
 
402
        mapper = versionedfile.ConstantMapper(name)
 
403
        return versionedfile.ThunkedVersionedFiles(repo_transport,
 
404
            weave.WeaveFile, mapper, repo.is_locked)
 
405
 
 
406
    def _get_revisions(self, repo_transport, repo):
 
407
        return RevisionTextStore(repo_transport.clone('revision-store'),
 
408
            xml5.serializer_v5, False, versionedfile.PrefixMapper(),
 
409
            repo.is_locked, repo.is_write_locked)
 
410
 
 
411
    def _get_signatures(self, repo_transport, repo):
 
412
        return SignatureTextStore(repo_transport.clone('revision-store'),
 
413
            False, versionedfile.PrefixMapper(),
 
414
            repo.is_locked, repo.is_write_locked)
 
415
 
 
416
    def _get_texts(self, repo_transport, repo):
 
417
        mapper = versionedfile.PrefixMapper()
 
418
        base_transport = repo_transport.clone('weaves')
 
419
        return versionedfile.ThunkedVersionedFiles(base_transport,
 
420
            weave.WeaveFile, mapper, repo.is_locked)
273
421
 
274
422
 
275
423
class RepositoryFormat6(PreSplitOutRepositoryFormat):
283
431
 
284
432
    _versionedfile_class = weave.WeaveFile
285
433
    _matchingbzrdir = bzrdir.BzrDirFormat6()
286
 
 
287
 
    def __init__(self):
288
 
        super(RepositoryFormat6, self).__init__()
 
434
    @property
 
435
    def _serializer(self):
 
436
        return xml5.serializer_v5
289
437
 
290
438
    def get_format_description(self):
291
439
        """See RepositoryFormat.get_format_description()."""
292
440
        return "Weave repository format 6"
293
441
 
294
 
    def _get_revision_store(self, repo_transport, control_files):
295
 
        """See RepositoryFormat._get_revision_store()."""
296
 
        return self._get_text_rev_store(repo_transport,
297
 
                                        control_files,
298
 
                                        'revision-store',
299
 
                                        compressed=False,
300
 
                                        prefixed=True)
301
 
 
302
 
    def _get_text_store(self, transport, control_files):
303
 
        """See RepositoryFormat._get_text_store()."""
304
 
        return self._get_versioned_file_store('weaves', transport, control_files)
 
442
    def network_name(self):
 
443
        """The network name for this format is the control dirs disk label."""
 
444
        return self._matchingbzrdir.get_format_string()
 
445
 
 
446
    def _get_inventories(self, repo_transport, repo, name='inventory'):
 
447
        mapper = versionedfile.ConstantMapper(name)
 
448
        return versionedfile.ThunkedVersionedFiles(repo_transport,
 
449
            weave.WeaveFile, mapper, repo.is_locked)
 
450
 
 
451
    def _get_revisions(self, repo_transport, repo):
 
452
        return RevisionTextStore(repo_transport.clone('revision-store'),
 
453
            xml5.serializer_v5, False, versionedfile.HashPrefixMapper(),
 
454
            repo.is_locked, repo.is_write_locked)
 
455
 
 
456
    def _get_signatures(self, repo_transport, repo):
 
457
        return SignatureTextStore(repo_transport.clone('revision-store'),
 
458
            False, versionedfile.HashPrefixMapper(),
 
459
            repo.is_locked, repo.is_write_locked)
 
460
 
 
461
    def _get_texts(self, repo_transport, repo):
 
462
        mapper = versionedfile.HashPrefixMapper()
 
463
        base_transport = repo_transport.clone('weaves')
 
464
        return versionedfile.ThunkedVersionedFiles(base_transport,
 
465
            weave.WeaveFile, mapper, repo.is_locked)
305
466
 
306
467
 
307
468
class RepositoryFormat7(MetaDirRepositoryFormat):
317
478
    """
318
479
 
319
480
    _versionedfile_class = weave.WeaveFile
 
481
    supports_ghosts = False
 
482
    supports_chks = False
320
483
 
321
 
    def _get_control_store(self, repo_transport, control_files):
322
 
        """Return the control store for this repository."""
323
 
        return self._get_versioned_file_store('',
324
 
                                              repo_transport,
325
 
                                              control_files,
326
 
                                              prefixed=False)
 
484
    _fetch_order = 'topological'
 
485
    _fetch_reconcile = True
 
486
    fast_deltas = False
 
487
    @property
 
488
    def _serializer(self):
 
489
        return xml5.serializer_v5
327
490
 
328
491
    def get_format_string(self):
329
492
        """See RepositoryFormat.get_format_string()."""
333
496
        """See RepositoryFormat.get_format_description()."""
334
497
        return "Weave repository format 7"
335
498
 
336
 
    def check_conversion_target(self, target_format):
337
 
        pass
338
 
 
339
 
    def _get_revision_store(self, repo_transport, control_files):
340
 
        """See RepositoryFormat._get_revision_store()."""
341
 
        return self._get_text_rev_store(repo_transport,
342
 
                                        control_files,
343
 
                                        'revision-store',
344
 
                                        compressed=False,
345
 
                                        prefixed=True,
346
 
                                        )
347
 
 
348
 
    def _get_text_store(self, transport, control_files):
349
 
        """See RepositoryFormat._get_text_store()."""
350
 
        return self._get_versioned_file_store('weaves',
351
 
                                              transport,
352
 
                                              control_files)
 
499
    def _get_inventories(self, repo_transport, repo, name='inventory'):
 
500
        mapper = versionedfile.ConstantMapper(name)
 
501
        return versionedfile.ThunkedVersionedFiles(repo_transport,
 
502
            weave.WeaveFile, mapper, repo.is_locked)
 
503
 
 
504
    def _get_revisions(self, repo_transport, repo):
 
505
        return RevisionTextStore(repo_transport.clone('revision-store'),
 
506
            xml5.serializer_v5, True, versionedfile.HashPrefixMapper(),
 
507
            repo.is_locked, repo.is_write_locked)
 
508
 
 
509
    def _get_signatures(self, repo_transport, repo):
 
510
        return SignatureTextStore(repo_transport.clone('revision-store'),
 
511
            True, versionedfile.HashPrefixMapper(),
 
512
            repo.is_locked, repo.is_write_locked)
 
513
 
 
514
    def _get_texts(self, repo_transport, repo):
 
515
        mapper = versionedfile.HashPrefixMapper()
 
516
        base_transport = repo_transport.clone('weaves')
 
517
        return versionedfile.ThunkedVersionedFiles(base_transport,
 
518
            weave.WeaveFile, mapper, repo.is_locked)
353
519
 
354
520
    def initialize(self, a_bzrdir, shared=False):
355
521
        """Create a weave repository.
362
528
        weavefile.write_weave_v5(weave.Weave(), sio)
363
529
        empty_weave = sio.getvalue()
364
530
 
365
 
        mutter('creating repository in %s.', a_bzrdir.transport.base)
 
531
        trace.mutter('creating repository in %s.', a_bzrdir.transport.base)
366
532
        dirs = ['revision-store', 'weaves']
367
 
        files = [('inventory.weave', StringIO(empty_weave)), 
 
533
        files = [('inventory.weave', StringIO(empty_weave)),
368
534
                 ]
369
535
        utf8_files = [('format', self.get_format_string())]
370
 
 
 
536
 
371
537
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
372
538
        return self.open(a_bzrdir=a_bzrdir, _found=True)
373
539
 
374
540
    def open(self, a_bzrdir, _found=False, _override_transport=None):
375
541
        """See RepositoryFormat.open().
376
 
        
 
542
 
377
543
        :param _override_transport: INTERNAL USE ONLY. Allows opening the
378
544
                                    repository at a slightly different url
379
545
                                    than normal. I.e. during 'upgrade'.
380
546
        """
381
547
        if not _found:
382
548
            format = RepositoryFormat.find_format(a_bzrdir)
383
 
            assert format.__class__ ==  self.__class__
384
549
        if _override_transport is not None:
385
550
            repo_transport = _override_transport
386
551
        else:
387
552
            repo_transport = a_bzrdir.get_repository_transport(None)
388
553
        control_files = lockable_files.LockableFiles(repo_transport,
389
554
                                'lock', lockdir.LockDir)
390
 
        text_store = self._get_text_store(repo_transport, control_files)
391
 
        control_store = self._get_control_store(repo_transport, control_files)
392
 
        _revision_store = self._get_revision_store(repo_transport, control_files)
393
 
        return WeaveMetaDirRepository(_format=self,
394
 
            a_bzrdir=a_bzrdir,
395
 
            control_files=control_files,
396
 
            _revision_store=_revision_store,
397
 
            control_store=control_store,
398
 
            text_store=text_store)
399
 
 
 
555
        result = WeaveMetaDirRepository(_format=self, a_bzrdir=a_bzrdir,
 
556
            control_files=control_files)
 
557
        result.revisions = self._get_revisions(repo_transport, result)
 
558
        result.signatures = self._get_signatures(repo_transport, result)
 
559
        result.inventories = self._get_inventories(repo_transport, result)
 
560
        result.texts = self._get_texts(repo_transport, result)
 
561
        result.chk_bytes = None
 
562
        result._transport = repo_transport
 
563
        return result
 
564
 
 
565
 
 
566
class TextVersionedFiles(VersionedFiles):
 
567
    """Just-a-bunch-of-files based VersionedFile stores."""
 
568
 
 
569
    def __init__(self, transport, compressed, mapper, is_locked, can_write):
 
570
        self._compressed = compressed
 
571
        self._transport = transport
 
572
        self._mapper = mapper
 
573
        if self._compressed:
 
574
            self._ext = '.gz'
 
575
        else:
 
576
            self._ext = ''
 
577
        self._is_locked = is_locked
 
578
        self._can_write = can_write
 
579
 
 
580
    def add_lines(self, key, parents, lines):
 
581
        """Add a revision to the store."""
 
582
        if not self._is_locked():
 
583
            raise errors.ObjectNotLocked(self)
 
584
        if not self._can_write():
 
585
            raise errors.ReadOnlyError(self)
 
586
        if '/' in key[-1]:
 
587
            raise ValueError('bad idea to put / in %r' % (key,))
 
588
        text = ''.join(lines)
 
589
        if self._compressed:
 
590
            text = bytes_to_gzip(text)
 
591
        path = self._map(key)
 
592
        self._transport.put_bytes_non_atomic(path, text, create_parent_dir=True)
 
593
 
 
594
    def insert_record_stream(self, stream):
 
595
        adapters = {}
 
596
        for record in stream:
 
597
            # Raise an error when a record is missing.
 
598
            if record.storage_kind == 'absent':
 
599
                raise errors.RevisionNotPresent([record.key[0]], self)
 
600
            # adapt to non-tuple interface
 
601
            if record.storage_kind == 'fulltext':
 
602
                self.add_lines(record.key, None,
 
603
                    osutils.split_lines(record.get_bytes_as('fulltext')))
 
604
            else:
 
605
                adapter_key = record.storage_kind, 'fulltext'
 
606
                try:
 
607
                    adapter = adapters[adapter_key]
 
608
                except KeyError:
 
609
                    adapter_factory = adapter_registry.get(adapter_key)
 
610
                    adapter = adapter_factory(self)
 
611
                    adapters[adapter_key] = adapter
 
612
                lines = osutils.split_lines(adapter.get_bytes(
 
613
                    record, record.get_bytes_as(record.storage_kind)))
 
614
                try:
 
615
                    self.add_lines(record.key, None, lines)
 
616
                except RevisionAlreadyPresent:
 
617
                    pass
 
618
 
 
619
    def _load_text(self, key):
 
620
        if not self._is_locked():
 
621
            raise errors.ObjectNotLocked(self)
 
622
        path = self._map(key)
 
623
        try:
 
624
            text = self._transport.get_bytes(path)
 
625
            compressed = self._compressed
 
626
        except errors.NoSuchFile:
 
627
            if self._compressed:
 
628
                # try without the .gz
 
629
                path = path[:-3]
 
630
                try:
 
631
                    text = self._transport.get_bytes(path)
 
632
                    compressed = False
 
633
                except errors.NoSuchFile:
 
634
                    return None
 
635
            else:
 
636
                return None
 
637
        if compressed:
 
638
            text = GzipFile(mode='rb', fileobj=StringIO(text)).read()
 
639
        return text
 
640
 
 
641
    def _map(self, key):
 
642
        return self._mapper.map(key) + self._ext
 
643
 
 
644
 
 
645
class RevisionTextStore(TextVersionedFiles):
 
646
    """Legacy thunk for format 4 repositories."""
 
647
 
 
648
    def __init__(self, transport, serializer, compressed, mapper, is_locked,
 
649
        can_write):
 
650
        """Create a RevisionTextStore at transport with serializer."""
 
651
        TextVersionedFiles.__init__(self, transport, compressed, mapper,
 
652
            is_locked, can_write)
 
653
        self._serializer = serializer
 
654
 
 
655
    def _load_text_parents(self, key):
 
656
        text = self._load_text(key)
 
657
        if text is None:
 
658
            return None, None
 
659
        parents = self._serializer.read_revision_from_string(text).parent_ids
 
660
        return text, tuple((parent,) for parent in parents)
 
661
 
 
662
    def get_parent_map(self, keys):
 
663
        result = {}
 
664
        for key in keys:
 
665
            parents = self._load_text_parents(key)[1]
 
666
            if parents is None:
 
667
                continue
 
668
            result[key] = parents
 
669
        return result
 
670
 
 
671
    def get_known_graph_ancestry(self, keys):
 
672
        """Get a KnownGraph instance with the ancestry of keys."""
 
673
        keys = self.keys()
 
674
        parent_map = self.get_parent_map(keys)
 
675
        kg = _mod_graph.KnownGraph(parent_map)
 
676
        return kg
 
677
 
 
678
    def get_record_stream(self, keys, sort_order, include_delta_closure):
 
679
        for key in keys:
 
680
            text, parents = self._load_text_parents(key)
 
681
            if text is None:
 
682
                yield AbsentContentFactory(key)
 
683
            else:
 
684
                yield FulltextContentFactory(key, parents, None, text)
 
685
 
 
686
    def keys(self):
 
687
        if not self._is_locked():
 
688
            raise errors.ObjectNotLocked(self)
 
689
        relpaths = set()
 
690
        for quoted_relpath in self._transport.iter_files_recursive():
 
691
            relpath = urllib.unquote(quoted_relpath)
 
692
            path, ext = os.path.splitext(relpath)
 
693
            if ext == '.gz':
 
694
                relpath = path
 
695
            if not relpath.endswith('.sig'):
 
696
                relpaths.add(relpath)
 
697
        paths = list(relpaths)
 
698
        return set([self._mapper.unmap(path) for path in paths])
 
699
 
 
700
 
 
701
class SignatureTextStore(TextVersionedFiles):
 
702
    """Legacy thunk for format 4-7 repositories."""
 
703
 
 
704
    def __init__(self, transport, compressed, mapper, is_locked, can_write):
 
705
        TextVersionedFiles.__init__(self, transport, compressed, mapper,
 
706
            is_locked, can_write)
 
707
        self._ext = '.sig' + self._ext
 
708
 
 
709
    def get_parent_map(self, keys):
 
710
        result = {}
 
711
        for key in keys:
 
712
            text = self._load_text(key)
 
713
            if text is None:
 
714
                continue
 
715
            result[key] = None
 
716
        return result
 
717
 
 
718
    def get_record_stream(self, keys, sort_order, include_delta_closure):
 
719
        for key in keys:
 
720
            text = self._load_text(key)
 
721
            if text is None:
 
722
                yield AbsentContentFactory(key)
 
723
            else:
 
724
                yield FulltextContentFactory(key, None, None, text)
 
725
 
 
726
    def keys(self):
 
727
        if not self._is_locked():
 
728
            raise errors.ObjectNotLocked(self)
 
729
        relpaths = set()
 
730
        for quoted_relpath in self._transport.iter_files_recursive():
 
731
            relpath = urllib.unquote(quoted_relpath)
 
732
            path, ext = os.path.splitext(relpath)
 
733
            if ext == '.gz':
 
734
                relpath = path
 
735
            if not relpath.endswith('.sig'):
 
736
                continue
 
737
            relpaths.add(relpath[:-4])
 
738
        paths = list(relpaths)
 
739
        return set([self._mapper.unmap(path) for path in paths])
400
740
 
401
741
_legacy_formats = [RepositoryFormat4(),
402
742
                   RepositoryFormat5(),