~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/repofmt/weaverepo.py

NEWS section template into a separate file

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
 
18
 
"""Old weave-based repository formats"""
19
 
 
20
 
from StringIO import StringIO
21
 
 
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
"""Deprecated weave-based repository formats.
 
18
 
 
19
Weave based formats scaled linearly with history size and could not represent
 
20
ghosts.
 
21
"""
 
22
 
 
23
import os
 
24
from cStringIO import StringIO
 
25
import urllib
 
26
 
 
27
from bzrlib.lazy_import import lazy_import
 
28
lazy_import(globals(), """
 
29
from bzrlib import (
 
30
    xml5,
 
31
    graph as _mod_graph,
 
32
    )
 
33
""")
22
34
from bzrlib import (
23
35
    bzrdir,
 
36
    debug,
 
37
    errors,
24
38
    lockable_files,
25
39
    lockdir,
 
40
    osutils,
 
41
    revision as _mod_revision,
 
42
    urlutils,
 
43
    versionedfile,
26
44
    weave,
27
45
    weavefile,
28
 
    xml5,
29
46
    )
30
47
from bzrlib.decorators import needs_read_lock, needs_write_lock
31
48
from bzrlib.repository import (
32
 
    MetaDirRepository,
 
49
    CommitBuilder,
 
50
    MetaDirVersionedFileRepository,
33
51
    MetaDirRepositoryFormat,
34
52
    Repository,
35
53
    RepositoryFormat,
36
54
    )
37
55
from bzrlib.store.text import TextStore
38
56
from bzrlib.trace import mutter
 
57
from bzrlib.tuned_gzip import GzipFile, bytes_to_gzip
 
58
from bzrlib.versionedfile import (
 
59
    AbsentContentFactory,
 
60
    FulltextContentFactory,
 
61
    VersionedFiles,
 
62
    )
39
63
 
40
64
 
41
65
class AllInOneRepository(Repository):
42
66
    """Legacy support - the repository behaviour for all-in-one branches."""
43
67
 
44
 
    _serializer = xml5.serializer_v5
45
 
 
46
 
    def __init__(self, _format, a_bzrdir, _revision_store, control_store, text_store):
 
68
    @property
 
69
    def _serializer(self):
 
70
        return xml5.serializer_v5
 
71
 
 
72
    def _escape(self, file_or_path):
 
73
        if not isinstance(file_or_path, basestring):
 
74
            file_or_path = '/'.join(file_or_path)
 
75
        if file_or_path == '':
 
76
            return u''
 
77
        return urlutils.escape(osutils.safe_unicode(file_or_path))
 
78
 
 
79
    def __init__(self, _format, a_bzrdir):
47
80
        # we reuse one control files instance.
48
 
        dir_mode = a_bzrdir._control_files._dir_mode
49
 
        file_mode = a_bzrdir._control_files._file_mode
 
81
        dir_mode = a_bzrdir._get_dir_mode()
 
82
        file_mode = a_bzrdir._get_file_mode()
50
83
 
51
84
        def get_store(name, compressed=True, prefixed=False):
52
85
            # FIXME: This approach of assuming stores are all entirely compressed
53
 
            # or entirely uncompressed is tidy, but breaks upgrade from 
54
 
            # some existing branches where there's a mixture; we probably 
 
86
            # or entirely uncompressed is tidy, but breaks upgrade from
 
87
            # some existing branches where there's a mixture; we probably
55
88
            # still want the option to look for both.
56
 
            relpath = a_bzrdir._control_files._escape(name)
57
 
            store = TextStore(a_bzrdir._control_files._transport.clone(relpath),
 
89
            relpath = self._escape(name)
 
90
            store = TextStore(a_bzrdir.transport.clone(relpath),
58
91
                              prefixed=prefixed, compressed=compressed,
59
92
                              dir_mode=dir_mode,
60
93
                              file_mode=file_mode)
61
94
            return store
62
95
 
63
96
        # not broken out yet because the controlweaves|inventory_store
64
 
        # and text_store | weave_store bits are still different.
 
97
        # and texts bits are still different.
65
98
        if isinstance(_format, RepositoryFormat4):
66
 
            # cannot remove these - there is still no consistent api 
 
99
            # cannot remove these - there is still no consistent api
67
100
            # which allows access to this old info.
68
101
            self.inventory_store = get_store('inventory-store')
69
 
            text_store = get_store('text-store')
70
 
        super(AllInOneRepository, self).__init__(_format, a_bzrdir, a_bzrdir._control_files, _revision_store, control_store, text_store)
 
102
            self._text_store = get_store('text-store')
 
103
        super(AllInOneRepository, self).__init__(_format, a_bzrdir, a_bzrdir._control_files)
 
104
 
 
105
    @needs_read_lock
 
106
    def _all_possible_ids(self):
 
107
        """Return all the possible revisions that we could find."""
 
108
        if 'evil' in debug.debug_flags:
 
109
            mutter_callsite(3, "_all_possible_ids scales with size of history.")
 
110
        return [key[-1] for key in self.inventories.keys()]
 
111
 
 
112
    @needs_read_lock
 
113
    def _all_revision_ids(self):
 
114
        """Returns a list of all the revision ids in the repository.
 
115
 
 
116
        These are in as much topological order as the underlying store can
 
117
        present: for weaves ghosts may lead to a lack of correctness until
 
118
        the reweave updates the parents list.
 
119
        """
 
120
        return [key[-1] for key in self.revisions.keys()]
 
121
 
 
122
    def _activate_new_inventory(self):
 
123
        """Put a replacement inventory.new into use as inventories."""
 
124
        # Copy the content across
 
125
        t = self.bzrdir._control_files._transport
 
126
        t.copy('inventory.new.weave', 'inventory.weave')
 
127
        # delete the temp inventory
 
128
        t.delete('inventory.new.weave')
 
129
        # Check we can parse the new weave properly as a sanity check
 
130
        self.inventories.keys()
 
131
 
 
132
    def _backup_inventory(self):
 
133
        t = self.bzrdir._control_files._transport
 
134
        t.copy('inventory.weave', 'inventory.backup.weave')
 
135
 
 
136
    def _temp_inventories(self):
 
137
        t = self.bzrdir._control_files._transport
 
138
        return self._format._get_inventories(t, self, 'inventory.new')
71
139
 
72
140
    def get_commit_builder(self, branch, parents, config, timestamp=None,
73
141
                           timezone=None, committer=None, revprops=None,
74
142
                           revision_id=None):
75
143
        self._check_ascii_revisionid(revision_id, self.get_commit_builder)
76
 
        return Repository.get_commit_builder(self, branch, parents, config,
77
 
            timestamp, timezone, committer, revprops, revision_id)
 
144
        result = CommitBuilder(self, parents, config, timestamp, timezone,
 
145
                              committer, revprops, revision_id)
 
146
        self.start_write_group()
 
147
        return result
78
148
 
79
149
    @needs_read_lock
 
150
    def get_revisions(self, revision_ids):
 
151
        revs = self._get_revisions(revision_ids)
 
152
        return revs
 
153
 
 
154
    def _inventory_add_lines(self, revision_id, parents, lines,
 
155
        check_content=True):
 
156
        """Store lines in inv_vf and return the sha1 of the inventory."""
 
157
        present_parents = self.get_graph().get_parent_map(parents)
 
158
        final_parents = []
 
159
        for parent in parents:
 
160
            if parent in present_parents:
 
161
                final_parents.append((parent,))
 
162
        return self.inventories.add_lines((revision_id,), final_parents, lines,
 
163
            check_content=check_content)[0]
 
164
 
80
165
    def is_shared(self):
81
166
        """AllInOne repositories cannot be shared."""
82
167
        return False
91
176
        :param new_value: True to restore the default, False to disable making
92
177
                          working trees.
93
178
        """
94
 
        raise NotImplementedError(self.set_make_working_trees)
95
 
    
 
179
        raise errors.RepositoryUpgradeRequired(self.bzrdir.root_transport.base)
 
180
 
96
181
    def make_working_trees(self):
97
182
        """Returns the policy for making working trees on new branches."""
98
183
        return True
99
184
 
100
 
 
101
 
class WeaveMetaDirRepository(MetaDirRepository):
 
185
    def revision_graph_can_have_wrong_parents(self):
 
186
        # XXX: This is an old format that we don't support full checking on, so
 
187
        # just claim that checking for this inconsistency is not required.
 
188
        return False
 
189
 
 
190
 
 
191
class WeaveMetaDirRepository(MetaDirVersionedFileRepository):
102
192
    """A subclass of MetaDirRepository to set weave specific policy."""
103
193
 
104
 
    _serializer = xml5.serializer_v5
 
194
    def __init__(self, _format, a_bzrdir, control_files):
 
195
        super(WeaveMetaDirRepository, self).__init__(_format, a_bzrdir, control_files)
 
196
        self._serializer = _format._serializer
 
197
 
 
198
    @needs_read_lock
 
199
    def _all_possible_ids(self):
 
200
        """Return all the possible revisions that we could find."""
 
201
        if 'evil' in debug.debug_flags:
 
202
            mutter_callsite(3, "_all_possible_ids scales with size of history.")
 
203
        return [key[-1] for key in self.inventories.keys()]
 
204
 
 
205
    @needs_read_lock
 
206
    def _all_revision_ids(self):
 
207
        """Returns a list of all the revision ids in the repository.
 
208
 
 
209
        These are in as much topological order as the underlying store can
 
210
        present: for weaves ghosts may lead to a lack of correctness until
 
211
        the reweave updates the parents list.
 
212
        """
 
213
        return [key[-1] for key in self.revisions.keys()]
 
214
 
 
215
    def _activate_new_inventory(self):
 
216
        """Put a replacement inventory.new into use as inventories."""
 
217
        # Copy the content across
 
218
        t = self._transport
 
219
        t.copy('inventory.new.weave', 'inventory.weave')
 
220
        # delete the temp inventory
 
221
        t.delete('inventory.new.weave')
 
222
        # Check we can parse the new weave properly as a sanity check
 
223
        self.inventories.keys()
 
224
 
 
225
    def _backup_inventory(self):
 
226
        t = self._transport
 
227
        t.copy('inventory.weave', 'inventory.backup.weave')
 
228
 
 
229
    def _temp_inventories(self):
 
230
        t = self._transport
 
231
        return self._format._get_inventories(t, self, 'inventory.new')
105
232
 
106
233
    def get_commit_builder(self, branch, parents, config, timestamp=None,
107
234
                           timezone=None, committer=None, revprops=None,
108
235
                           revision_id=None):
109
236
        self._check_ascii_revisionid(revision_id, self.get_commit_builder)
110
 
        return MetaDirRepository.get_commit_builder(self, branch, parents,
111
 
            config, timestamp, timezone, committer, revprops, revision_id)
 
237
        result = CommitBuilder(self, parents, config, timestamp, timezone,
 
238
                              committer, revprops, revision_id)
 
239
        self.start_write_group()
 
240
        return result
 
241
 
 
242
    @needs_read_lock
 
243
    def get_revision(self, revision_id):
 
244
        """Return the Revision object for a named revision"""
 
245
        r = self.get_revision_reconcile(revision_id)
 
246
        return r
 
247
 
 
248
    def _inventory_add_lines(self, revision_id, parents, lines,
 
249
        check_content=True):
 
250
        """Store lines in inv_vf and return the sha1 of the inventory."""
 
251
        present_parents = self.get_graph().get_parent_map(parents)
 
252
        final_parents = []
 
253
        for parent in parents:
 
254
            if parent in present_parents:
 
255
                final_parents.append((parent,))
 
256
        return self.inventories.add_lines((revision_id,), final_parents, lines,
 
257
            check_content=check_content)[0]
 
258
 
 
259
    def revision_graph_can_have_wrong_parents(self):
 
260
        return False
112
261
 
113
262
 
114
263
class PreSplitOutRepositoryFormat(RepositoryFormat):
116
265
 
117
266
    rich_root_data = False
118
267
    supports_tree_reference = False
 
268
    supports_ghosts = False
 
269
    supports_external_lookups = False
 
270
    supports_chks = False
 
271
    _fetch_order = 'topological'
 
272
    _fetch_reconcile = True
 
273
    fast_deltas = False
119
274
 
120
275
    def initialize(self, a_bzrdir, shared=False, _internal=False):
121
 
        """Create a weave repository.
122
 
        
123
 
        TODO: when creating split out bzr branch formats, move this to a common
124
 
        base for Format5, Format6. or something like that.
125
 
        """
 
276
        """Create a weave repository."""
126
277
        if shared:
127
278
            raise errors.IncompatibleFormat(self, a_bzrdir._format)
128
279
 
129
280
        if not _internal:
130
281
            # always initialized when the bzrdir is.
131
282
            return self.open(a_bzrdir, _found=True)
132
 
        
 
283
 
133
284
        # Create an empty weave
134
285
        sio = StringIO()
135
286
        weavefile.write_weave_v5(weave.Weave(), sio)
136
287
        empty_weave = sio.getvalue()
137
288
 
138
289
        mutter('creating repository in %s.', a_bzrdir.transport.base)
139
 
        dirs = ['revision-store', 'weaves']
140
 
        files = [('inventory.weave', StringIO(empty_weave)),
141
 
                 ]
142
 
        
 
290
 
143
291
        # FIXME: RBC 20060125 don't peek under the covers
144
292
        # NB: no need to escape relative paths that are url safe.
145
293
        control_files = lockable_files.LockableFiles(a_bzrdir.transport,
146
 
                                'branch-lock', lockable_files.TransportLock)
 
294
            'branch-lock', lockable_files.TransportLock)
147
295
        control_files.create_lock()
148
296
        control_files.lock_write()
149
 
        control_files._transport.mkdir_multi(dirs,
150
 
                mode=control_files._dir_mode)
 
297
        transport = a_bzrdir.transport
151
298
        try:
152
 
            for file, content in files:
153
 
                control_files.put(file, content)
 
299
            transport.mkdir_multi(['revision-store', 'weaves'],
 
300
                mode=a_bzrdir._get_dir_mode())
 
301
            transport.put_bytes_non_atomic('inventory.weave', empty_weave,
 
302
                mode=a_bzrdir._get_file_mode())
154
303
        finally:
155
304
            control_files.unlock()
156
305
        return self.open(a_bzrdir, _found=True)
157
306
 
158
 
    def _get_control_store(self, repo_transport, control_files):
159
 
        """Return the control store for this repository."""
160
 
        return self._get_versioned_file_store('',
161
 
                                              repo_transport,
162
 
                                              control_files,
163
 
                                              prefixed=False)
164
 
 
165
 
    def _get_text_store(self, transport, control_files):
166
 
        """Get a store for file texts for this format."""
167
 
        raise NotImplementedError(self._get_text_store)
168
 
 
169
307
    def open(self, a_bzrdir, _found=False):
170
308
        """See RepositoryFormat.open()."""
171
309
        if not _found:
174
312
 
175
313
        repo_transport = a_bzrdir.get_repository_transport(None)
176
314
        control_files = a_bzrdir._control_files
177
 
        text_store = self._get_text_store(repo_transport, control_files)
178
 
        control_store = self._get_control_store(repo_transport, control_files)
179
 
        _revision_store = self._get_revision_store(repo_transport, control_files)
180
 
        return AllInOneRepository(_format=self,
181
 
                                  a_bzrdir=a_bzrdir,
182
 
                                  _revision_store=_revision_store,
183
 
                                  control_store=control_store,
184
 
                                  text_store=text_store)
185
 
 
186
 
    def check_conversion_target(self, target_format):
187
 
        pass
 
315
        result = AllInOneRepository(_format=self, a_bzrdir=a_bzrdir)
 
316
        result.revisions = self._get_revisions(repo_transport, result)
 
317
        result.signatures = self._get_signatures(repo_transport, result)
 
318
        result.inventories = self._get_inventories(repo_transport, result)
 
319
        result.texts = self._get_texts(repo_transport, result)
 
320
        result.chk_bytes = None
 
321
        return result
188
322
 
189
323
 
190
324
class RepositoryFormat4(PreSplitOutRepositoryFormat):
201
335
 
202
336
    _matchingbzrdir = bzrdir.BzrDirFormat4()
203
337
 
204
 
    def __init__(self):
205
 
        super(RepositoryFormat4, self).__init__()
206
 
 
207
338
    def get_format_description(self):
208
339
        """See RepositoryFormat.get_format_description()."""
209
340
        return "Repository format 4"
216
347
        """Format 4 is not supported.
217
348
 
218
349
        It is not supported because the model changed from 4 to 5 and the
219
 
        conversion logic is expensive - so doing it on the fly was not 
 
350
        conversion logic is expensive - so doing it on the fly was not
220
351
        feasible.
221
352
        """
222
353
        return False
223
354
 
224
 
    def _get_control_store(self, repo_transport, control_files):
225
 
        """Format 4 repositories have no formal control store at this point.
226
 
        
227
 
        This will cause any control-file-needing apis to fail - this is desired.
228
 
        """
 
355
    def _get_inventories(self, repo_transport, repo, name='inventory'):
 
356
        # No inventories store written so far.
229
357
        return None
230
 
    
231
 
    def _get_revision_store(self, repo_transport, control_files):
232
 
        """See RepositoryFormat._get_revision_store()."""
 
358
 
 
359
    def _get_revisions(self, repo_transport, repo):
233
360
        from bzrlib.xml4 import serializer_v4
234
 
        return self._get_text_rev_store(repo_transport,
235
 
                                        control_files,
236
 
                                        'revision-store',
237
 
                                        serializer=serializer_v4)
238
 
 
239
 
    def _get_text_store(self, transport, control_files):
240
 
        """See RepositoryFormat._get_text_store()."""
 
361
        return RevisionTextStore(repo_transport.clone('revision-store'),
 
362
            serializer_v4, True, versionedfile.PrefixMapper(),
 
363
            repo.is_locked, repo.is_write_locked)
 
364
 
 
365
    def _get_signatures(self, repo_transport, repo):
 
366
        return SignatureTextStore(repo_transport.clone('revision-store'),
 
367
            False, versionedfile.PrefixMapper(),
 
368
            repo.is_locked, repo.is_write_locked)
 
369
 
 
370
    def _get_texts(self, repo_transport, repo):
 
371
        return None
241
372
 
242
373
 
243
374
class RepositoryFormat5(PreSplitOutRepositoryFormat):
251
382
 
252
383
    _versionedfile_class = weave.WeaveFile
253
384
    _matchingbzrdir = bzrdir.BzrDirFormat5()
254
 
 
255
 
    def __init__(self):
256
 
        super(RepositoryFormat5, self).__init__()
 
385
    @property
 
386
    def _serializer(self):
 
387
        return xml5.serializer_v5
257
388
 
258
389
    def get_format_description(self):
259
390
        """See RepositoryFormat.get_format_description()."""
260
391
        return "Weave repository format 5"
261
392
 
262
 
    def _get_revision_store(self, repo_transport, control_files):
263
 
        """See RepositoryFormat._get_revision_store()."""
264
 
        """Return the revision store object for this a_bzrdir."""
265
 
        return self._get_text_rev_store(repo_transport,
266
 
                                        control_files,
267
 
                                        'revision-store',
268
 
                                        compressed=False)
269
 
 
270
 
    def _get_text_store(self, transport, control_files):
271
 
        """See RepositoryFormat._get_text_store()."""
272
 
        return self._get_versioned_file_store('weaves', transport, control_files, prefixed=False)
 
393
    def network_name(self):
 
394
        """The network name for this format is the control dirs disk label."""
 
395
        return self._matchingbzrdir.get_format_string()
 
396
 
 
397
    def _get_inventories(self, repo_transport, repo, name='inventory'):
 
398
        mapper = versionedfile.ConstantMapper(name)
 
399
        return versionedfile.ThunkedVersionedFiles(repo_transport,
 
400
            weave.WeaveFile, mapper, repo.is_locked)
 
401
 
 
402
    def _get_revisions(self, repo_transport, repo):
 
403
        return RevisionTextStore(repo_transport.clone('revision-store'),
 
404
            xml5.serializer_v5, False, versionedfile.PrefixMapper(),
 
405
            repo.is_locked, repo.is_write_locked)
 
406
 
 
407
    def _get_signatures(self, repo_transport, repo):
 
408
        return SignatureTextStore(repo_transport.clone('revision-store'),
 
409
            False, versionedfile.PrefixMapper(),
 
410
            repo.is_locked, repo.is_write_locked)
 
411
 
 
412
    def _get_texts(self, repo_transport, repo):
 
413
        mapper = versionedfile.PrefixMapper()
 
414
        base_transport = repo_transport.clone('weaves')
 
415
        return versionedfile.ThunkedVersionedFiles(base_transport,
 
416
            weave.WeaveFile, mapper, repo.is_locked)
273
417
 
274
418
 
275
419
class RepositoryFormat6(PreSplitOutRepositoryFormat):
283
427
 
284
428
    _versionedfile_class = weave.WeaveFile
285
429
    _matchingbzrdir = bzrdir.BzrDirFormat6()
286
 
 
287
 
    def __init__(self):
288
 
        super(RepositoryFormat6, self).__init__()
 
430
    @property
 
431
    def _serializer(self):
 
432
        return xml5.serializer_v5
289
433
 
290
434
    def get_format_description(self):
291
435
        """See RepositoryFormat.get_format_description()."""
292
436
        return "Weave repository format 6"
293
437
 
294
 
    def _get_revision_store(self, repo_transport, control_files):
295
 
        """See RepositoryFormat._get_revision_store()."""
296
 
        return self._get_text_rev_store(repo_transport,
297
 
                                        control_files,
298
 
                                        'revision-store',
299
 
                                        compressed=False,
300
 
                                        prefixed=True)
301
 
 
302
 
    def _get_text_store(self, transport, control_files):
303
 
        """See RepositoryFormat._get_text_store()."""
304
 
        return self._get_versioned_file_store('weaves', transport, control_files)
 
438
    def network_name(self):
 
439
        """The network name for this format is the control dirs disk label."""
 
440
        return self._matchingbzrdir.get_format_string()
 
441
 
 
442
    def _get_inventories(self, repo_transport, repo, name='inventory'):
 
443
        mapper = versionedfile.ConstantMapper(name)
 
444
        return versionedfile.ThunkedVersionedFiles(repo_transport,
 
445
            weave.WeaveFile, mapper, repo.is_locked)
 
446
 
 
447
    def _get_revisions(self, repo_transport, repo):
 
448
        return RevisionTextStore(repo_transport.clone('revision-store'),
 
449
            xml5.serializer_v5, False, versionedfile.HashPrefixMapper(),
 
450
            repo.is_locked, repo.is_write_locked)
 
451
 
 
452
    def _get_signatures(self, repo_transport, repo):
 
453
        return SignatureTextStore(repo_transport.clone('revision-store'),
 
454
            False, versionedfile.HashPrefixMapper(),
 
455
            repo.is_locked, repo.is_write_locked)
 
456
 
 
457
    def _get_texts(self, repo_transport, repo):
 
458
        mapper = versionedfile.HashPrefixMapper()
 
459
        base_transport = repo_transport.clone('weaves')
 
460
        return versionedfile.ThunkedVersionedFiles(base_transport,
 
461
            weave.WeaveFile, mapper, repo.is_locked)
305
462
 
306
463
 
307
464
class RepositoryFormat7(MetaDirRepositoryFormat):
317
474
    """
318
475
 
319
476
    _versionedfile_class = weave.WeaveFile
 
477
    supports_ghosts = False
 
478
    supports_chks = False
320
479
 
321
 
    def _get_control_store(self, repo_transport, control_files):
322
 
        """Return the control store for this repository."""
323
 
        return self._get_versioned_file_store('',
324
 
                                              repo_transport,
325
 
                                              control_files,
326
 
                                              prefixed=False)
 
480
    _fetch_order = 'topological'
 
481
    _fetch_reconcile = True
 
482
    fast_deltas = False
 
483
    @property
 
484
    def _serializer(self):
 
485
        return xml5.serializer_v5
327
486
 
328
487
    def get_format_string(self):
329
488
        """See RepositoryFormat.get_format_string()."""
333
492
        """See RepositoryFormat.get_format_description()."""
334
493
        return "Weave repository format 7"
335
494
 
336
 
    def check_conversion_target(self, target_format):
337
 
        pass
338
 
 
339
 
    def _get_revision_store(self, repo_transport, control_files):
340
 
        """See RepositoryFormat._get_revision_store()."""
341
 
        return self._get_text_rev_store(repo_transport,
342
 
                                        control_files,
343
 
                                        'revision-store',
344
 
                                        compressed=False,
345
 
                                        prefixed=True,
346
 
                                        )
347
 
 
348
 
    def _get_text_store(self, transport, control_files):
349
 
        """See RepositoryFormat._get_text_store()."""
350
 
        return self._get_versioned_file_store('weaves',
351
 
                                              transport,
352
 
                                              control_files)
 
495
    def _get_inventories(self, repo_transport, repo, name='inventory'):
 
496
        mapper = versionedfile.ConstantMapper(name)
 
497
        return versionedfile.ThunkedVersionedFiles(repo_transport,
 
498
            weave.WeaveFile, mapper, repo.is_locked)
 
499
 
 
500
    def _get_revisions(self, repo_transport, repo):
 
501
        return RevisionTextStore(repo_transport.clone('revision-store'),
 
502
            xml5.serializer_v5, True, versionedfile.HashPrefixMapper(),
 
503
            repo.is_locked, repo.is_write_locked)
 
504
 
 
505
    def _get_signatures(self, repo_transport, repo):
 
506
        return SignatureTextStore(repo_transport.clone('revision-store'),
 
507
            True, versionedfile.HashPrefixMapper(),
 
508
            repo.is_locked, repo.is_write_locked)
 
509
 
 
510
    def _get_texts(self, repo_transport, repo):
 
511
        mapper = versionedfile.HashPrefixMapper()
 
512
        base_transport = repo_transport.clone('weaves')
 
513
        return versionedfile.ThunkedVersionedFiles(base_transport,
 
514
            weave.WeaveFile, mapper, repo.is_locked)
353
515
 
354
516
    def initialize(self, a_bzrdir, shared=False):
355
517
        """Create a weave repository.
364
526
 
365
527
        mutter('creating repository in %s.', a_bzrdir.transport.base)
366
528
        dirs = ['revision-store', 'weaves']
367
 
        files = [('inventory.weave', StringIO(empty_weave)), 
 
529
        files = [('inventory.weave', StringIO(empty_weave)),
368
530
                 ]
369
531
        utf8_files = [('format', self.get_format_string())]
370
 
 
 
532
 
371
533
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
372
534
        return self.open(a_bzrdir=a_bzrdir, _found=True)
373
535
 
374
536
    def open(self, a_bzrdir, _found=False, _override_transport=None):
375
537
        """See RepositoryFormat.open().
376
 
        
 
538
 
377
539
        :param _override_transport: INTERNAL USE ONLY. Allows opening the
378
540
                                    repository at a slightly different url
379
541
                                    than normal. I.e. during 'upgrade'.
380
542
        """
381
543
        if not _found:
382
544
            format = RepositoryFormat.find_format(a_bzrdir)
383
 
            assert format.__class__ ==  self.__class__
384
545
        if _override_transport is not None:
385
546
            repo_transport = _override_transport
386
547
        else:
387
548
            repo_transport = a_bzrdir.get_repository_transport(None)
388
549
        control_files = lockable_files.LockableFiles(repo_transport,
389
550
                                'lock', lockdir.LockDir)
390
 
        text_store = self._get_text_store(repo_transport, control_files)
391
 
        control_store = self._get_control_store(repo_transport, control_files)
392
 
        _revision_store = self._get_revision_store(repo_transport, control_files)
393
 
        return WeaveMetaDirRepository(_format=self,
394
 
            a_bzrdir=a_bzrdir,
395
 
            control_files=control_files,
396
 
            _revision_store=_revision_store,
397
 
            control_store=control_store,
398
 
            text_store=text_store)
399
 
 
 
551
        result = WeaveMetaDirRepository(_format=self, a_bzrdir=a_bzrdir,
 
552
            control_files=control_files)
 
553
        result.revisions = self._get_revisions(repo_transport, result)
 
554
        result.signatures = self._get_signatures(repo_transport, result)
 
555
        result.inventories = self._get_inventories(repo_transport, result)
 
556
        result.texts = self._get_texts(repo_transport, result)
 
557
        result.chk_bytes = None
 
558
        result._transport = repo_transport
 
559
        return result
 
560
 
 
561
 
 
562
class TextVersionedFiles(VersionedFiles):
 
563
    """Just-a-bunch-of-files based VersionedFile stores."""
 
564
 
 
565
    def __init__(self, transport, compressed, mapper, is_locked, can_write):
 
566
        self._compressed = compressed
 
567
        self._transport = transport
 
568
        self._mapper = mapper
 
569
        if self._compressed:
 
570
            self._ext = '.gz'
 
571
        else:
 
572
            self._ext = ''
 
573
        self._is_locked = is_locked
 
574
        self._can_write = can_write
 
575
 
 
576
    def add_lines(self, key, parents, lines):
 
577
        """Add a revision to the store."""
 
578
        if not self._is_locked():
 
579
            raise errors.ObjectNotLocked(self)
 
580
        if not self._can_write():
 
581
            raise errors.ReadOnlyError(self)
 
582
        if '/' in key[-1]:
 
583
            raise ValueError('bad idea to put / in %r' % (key,))
 
584
        text = ''.join(lines)
 
585
        if self._compressed:
 
586
            text = bytes_to_gzip(text)
 
587
        path = self._map(key)
 
588
        self._transport.put_bytes_non_atomic(path, text, create_parent_dir=True)
 
589
 
 
590
    def insert_record_stream(self, stream):
 
591
        adapters = {}
 
592
        for record in stream:
 
593
            # Raise an error when a record is missing.
 
594
            if record.storage_kind == 'absent':
 
595
                raise errors.RevisionNotPresent([record.key[0]], self)
 
596
            # adapt to non-tuple interface
 
597
            if record.storage_kind == 'fulltext':
 
598
                self.add_lines(record.key, None,
 
599
                    osutils.split_lines(record.get_bytes_as('fulltext')))
 
600
            else:
 
601
                adapter_key = record.storage_kind, 'fulltext'
 
602
                try:
 
603
                    adapter = adapters[adapter_key]
 
604
                except KeyError:
 
605
                    adapter_factory = adapter_registry.get(adapter_key)
 
606
                    adapter = adapter_factory(self)
 
607
                    adapters[adapter_key] = adapter
 
608
                lines = osutils.split_lines(adapter.get_bytes(
 
609
                    record, record.get_bytes_as(record.storage_kind)))
 
610
                try:
 
611
                    self.add_lines(record.key, None, lines)
 
612
                except RevisionAlreadyPresent:
 
613
                    pass
 
614
 
 
615
    def _load_text(self, key):
 
616
        if not self._is_locked():
 
617
            raise errors.ObjectNotLocked(self)
 
618
        path = self._map(key)
 
619
        try:
 
620
            text = self._transport.get_bytes(path)
 
621
            compressed = self._compressed
 
622
        except errors.NoSuchFile:
 
623
            if self._compressed:
 
624
                # try without the .gz
 
625
                path = path[:-3]
 
626
                try:
 
627
                    text = self._transport.get_bytes(path)
 
628
                    compressed = False
 
629
                except errors.NoSuchFile:
 
630
                    return None
 
631
            else:
 
632
                return None
 
633
        if compressed:
 
634
            text = GzipFile(mode='rb', fileobj=StringIO(text)).read()
 
635
        return text
 
636
 
 
637
    def _map(self, key):
 
638
        return self._mapper.map(key) + self._ext
 
639
 
 
640
 
 
641
class RevisionTextStore(TextVersionedFiles):
 
642
    """Legacy thunk for format 4 repositories."""
 
643
 
 
644
    def __init__(self, transport, serializer, compressed, mapper, is_locked,
 
645
        can_write):
 
646
        """Create a RevisionTextStore at transport with serializer."""
 
647
        TextVersionedFiles.__init__(self, transport, compressed, mapper,
 
648
            is_locked, can_write)
 
649
        self._serializer = serializer
 
650
 
 
651
    def _load_text_parents(self, key):
 
652
        text = self._load_text(key)
 
653
        if text is None:
 
654
            return None, None
 
655
        parents = self._serializer.read_revision_from_string(text).parent_ids
 
656
        return text, tuple((parent,) for parent in parents)
 
657
 
 
658
    def get_parent_map(self, keys):
 
659
        result = {}
 
660
        for key in keys:
 
661
            parents = self._load_text_parents(key)[1]
 
662
            if parents is None:
 
663
                continue
 
664
            result[key] = parents
 
665
        return result
 
666
 
 
667
    def get_known_graph_ancestry(self, keys):
 
668
        """Get a KnownGraph instance with the ancestry of keys."""
 
669
        keys = self.keys()
 
670
        parent_map = self.get_parent_map(keys)
 
671
        kg = _mod_graph.KnownGraph(parent_map)
 
672
        return kg
 
673
 
 
674
    def get_record_stream(self, keys, sort_order, include_delta_closure):
 
675
        for key in keys:
 
676
            text, parents = self._load_text_parents(key)
 
677
            if text is None:
 
678
                yield AbsentContentFactory(key)
 
679
            else:
 
680
                yield FulltextContentFactory(key, parents, None, text)
 
681
 
 
682
    def keys(self):
 
683
        if not self._is_locked():
 
684
            raise errors.ObjectNotLocked(self)
 
685
        relpaths = set()
 
686
        for quoted_relpath in self._transport.iter_files_recursive():
 
687
            relpath = urllib.unquote(quoted_relpath)
 
688
            path, ext = os.path.splitext(relpath)
 
689
            if ext == '.gz':
 
690
                relpath = path
 
691
            if '.sig' not in relpath:
 
692
                relpaths.add(relpath)
 
693
        paths = list(relpaths)
 
694
        return set([self._mapper.unmap(path) for path in paths])
 
695
 
 
696
 
 
697
class SignatureTextStore(TextVersionedFiles):
 
698
    """Legacy thunk for format 4-7 repositories."""
 
699
 
 
700
    def __init__(self, transport, compressed, mapper, is_locked, can_write):
 
701
        TextVersionedFiles.__init__(self, transport, compressed, mapper,
 
702
            is_locked, can_write)
 
703
        self._ext = '.sig' + self._ext
 
704
 
 
705
    def get_parent_map(self, keys):
 
706
        result = {}
 
707
        for key in keys:
 
708
            text = self._load_text(key)
 
709
            if text is None:
 
710
                continue
 
711
            result[key] = None
 
712
        return result
 
713
 
 
714
    def get_record_stream(self, keys, sort_order, include_delta_closure):
 
715
        for key in keys:
 
716
            text = self._load_text(key)
 
717
            if text is None:
 
718
                yield AbsentContentFactory(key)
 
719
            else:
 
720
                yield FulltextContentFactory(key, None, None, text)
 
721
 
 
722
    def keys(self):
 
723
        if not self._is_locked():
 
724
            raise errors.ObjectNotLocked(self)
 
725
        relpaths = set()
 
726
        for quoted_relpath in self._transport.iter_files_recursive():
 
727
            relpath = urllib.unquote(quoted_relpath)
 
728
            path, ext = os.path.splitext(relpath)
 
729
            if ext == '.gz':
 
730
                relpath = path
 
731
            if not relpath.endswith('.sig'):
 
732
                continue
 
733
            relpaths.add(relpath[:-4])
 
734
        paths = list(relpaths)
 
735
        return set([self._mapper.unmap(path) for path in paths])
400
736
 
401
737
_legacy_formats = [RepositoryFormat4(),
402
738
                   RepositoryFormat5(),