~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/repofmt/knitrepo.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2007-10-09 04:44:46 UTC
  • mfrom: (2888.1.3 knits)
  • Revision ID: pqm@pqm.ubuntu.com-20071009044446-uliu5z9a52bzmps8
(robertc) Save time when recording full text plain-knit records by using the already joined textual data in _record_to_data. (Robert Collins)

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
from bzrlib.lazy_import import lazy_import
 
18
lazy_import(globals(), """
 
19
from bzrlib import (
 
20
    debug,
 
21
    )
 
22
from bzrlib.store import revision
 
23
from bzrlib.store.revision.knit import KnitRevisionStore
 
24
""")
 
25
from bzrlib import (
 
26
    bzrdir,
 
27
    deprecated_graph,
 
28
    errors,
 
29
    knit,
 
30
    lockable_files,
 
31
    lockdir,
 
32
    osutils,
 
33
    transactions,
 
34
    xml5,
 
35
    xml7,
 
36
    )
 
37
 
 
38
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
39
from bzrlib.repository import (
 
40
    CommitBuilder,
 
41
    MetaDirRepository,
 
42
    MetaDirRepositoryFormat,
 
43
    RepositoryFormat,
 
44
    RootCommitBuilder,
 
45
    )
 
46
import bzrlib.revision as _mod_revision
 
47
from bzrlib.store.versioned import VersionedFileStore
 
48
from bzrlib.trace import mutter, mutter_callsite
 
49
from bzrlib.util import bencode
 
50
 
 
51
 
 
52
class _KnitParentsProvider(object):
 
53
 
 
54
    def __init__(self, knit):
 
55
        self._knit = knit
 
56
 
 
57
    def __repr__(self):
 
58
        return 'KnitParentsProvider(%r)' % self._knit
 
59
 
 
60
    def get_parents(self, revision_ids):
 
61
        parents_list = []
 
62
        for revision_id in revision_ids:
 
63
            if revision_id == _mod_revision.NULL_REVISION:
 
64
                parents = []
 
65
            else:
 
66
                try:
 
67
                    parents = self._knit.get_parents_with_ghosts(revision_id)
 
68
                except errors.RevisionNotPresent:
 
69
                    parents = None
 
70
                else:
 
71
                    if len(parents) == 0:
 
72
                        parents = [_mod_revision.NULL_REVISION]
 
73
            parents_list.append(parents)
 
74
        return parents_list
 
75
 
 
76
 
 
77
class KnitRepository(MetaDirRepository):
 
78
    """Knit format repository."""
 
79
 
 
80
    # These attributes are inherited from the Repository base class. Setting
 
81
    # them to None ensures that if the constructor is changed to not initialize
 
82
    # them, or a subclass fails to call the constructor, that an error will
 
83
    # occur rather than the system working but generating incorrect data.
 
84
    _commit_builder_class = None
 
85
    _serializer = None
 
86
 
 
87
    def __init__(self, _format, a_bzrdir, control_files, _revision_store,
 
88
        control_store, text_store, _commit_builder_class, _serializer):
 
89
        MetaDirRepository.__init__(self, _format, a_bzrdir, control_files,
 
90
            _revision_store, control_store, text_store)
 
91
        self._commit_builder_class = _commit_builder_class
 
92
        self._serializer = _serializer
 
93
 
 
94
    def _warn_if_deprecated(self):
 
95
        # This class isn't deprecated
 
96
        pass
 
97
 
 
98
    def _inventory_add_lines(self, inv_vf, revid, parents, lines, check_content):
 
99
        return inv_vf.add_lines_with_ghosts(revid, parents, lines,
 
100
            check_content=check_content)[0]
 
101
 
 
102
    @needs_read_lock
 
103
    def _all_revision_ids(self):
 
104
        """See Repository.all_revision_ids()."""
 
105
        # Knits get the revision graph from the index of the revision knit, so
 
106
        # it's always possible even if they're on an unlistable transport.
 
107
        return self._revision_store.all_revision_ids(self.get_transaction())
 
108
 
 
109
    def fileid_involved_between_revs(self, from_revid, to_revid):
 
110
        """Find file_id(s) which are involved in the changes between revisions.
 
111
 
 
112
        This determines the set of revisions which are involved, and then
 
113
        finds all file ids affected by those revisions.
 
114
        """
 
115
        vf = self._get_revision_vf()
 
116
        from_set = set(vf.get_ancestry(from_revid))
 
117
        to_set = set(vf.get_ancestry(to_revid))
 
118
        changed = to_set.difference(from_set)
 
119
        return self._fileid_involved_by_set(changed)
 
120
 
 
121
    def fileid_involved(self, last_revid=None):
 
122
        """Find all file_ids modified in the ancestry of last_revid.
 
123
 
 
124
        :param last_revid: If None, last_revision() will be used.
 
125
        """
 
126
        if not last_revid:
 
127
            changed = set(self.all_revision_ids())
 
128
        else:
 
129
            changed = set(self.get_ancestry(last_revid))
 
130
        if None in changed:
 
131
            changed.remove(None)
 
132
        return self._fileid_involved_by_set(changed)
 
133
 
 
134
    @needs_read_lock
 
135
    def get_ancestry(self, revision_id, topo_sorted=True):
 
136
        """Return a list of revision-ids integrated by a revision.
 
137
        
 
138
        This is topologically sorted, unless 'topo_sorted' is specified as
 
139
        False.
 
140
        """
 
141
        if _mod_revision.is_null(revision_id):
 
142
            return [None]
 
143
        vf = self._get_revision_vf()
 
144
        try:
 
145
            return [None] + vf.get_ancestry(revision_id, topo_sorted)
 
146
        except errors.RevisionNotPresent:
 
147
            raise errors.NoSuchRevision(self, revision_id)
 
148
 
 
149
    @needs_read_lock
 
150
    def get_revision_graph(self, revision_id=None):
 
151
        """Return a dictionary containing the revision graph.
 
152
 
 
153
        :param revision_id: The revision_id to get a graph from. If None, then
 
154
        the entire revision graph is returned. This is a deprecated mode of
 
155
        operation and will be removed in the future.
 
156
        :return: a dictionary of revision_id->revision_parents_list.
 
157
        """
 
158
        if 'evil' in debug.debug_flags:
 
159
            mutter_callsite(3,
 
160
                "get_revision_graph scales with size of history.")
 
161
        # special case NULL_REVISION
 
162
        if revision_id == _mod_revision.NULL_REVISION:
 
163
            return {}
 
164
        a_weave = self._get_revision_vf()
 
165
        if revision_id is None:
 
166
            return a_weave.get_graph()
 
167
        if revision_id not in a_weave:
 
168
            raise errors.NoSuchRevision(self, revision_id)
 
169
        else:
 
170
            # add what can be reached from revision_id
 
171
            return a_weave.get_graph([revision_id])
 
172
 
 
173
    @needs_read_lock
 
174
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
175
        """Return a graph of the revisions with ghosts marked as applicable.
 
176
 
 
177
        :param revision_ids: an iterable of revisions to graph or None for all.
 
178
        :return: a Graph object with the graph reachable from revision_ids.
 
179
        """
 
180
        if 'evil' in debug.debug_flags:
 
181
            mutter_callsite(3,
 
182
                "get_revision_graph_with_ghosts scales with size of history.")
 
183
        result = deprecated_graph.Graph()
 
184
        vf = self._get_revision_vf()
 
185
        versions = set(vf.versions())
 
186
        if not revision_ids:
 
187
            pending = set(self.all_revision_ids())
 
188
            required = set([])
 
189
        else:
 
190
            pending = set(revision_ids)
 
191
            # special case NULL_REVISION
 
192
            if _mod_revision.NULL_REVISION in pending:
 
193
                pending.remove(_mod_revision.NULL_REVISION)
 
194
            required = set(pending)
 
195
        done = set([])
 
196
        while len(pending):
 
197
            revision_id = pending.pop()
 
198
            if not revision_id in versions:
 
199
                if revision_id in required:
 
200
                    raise errors.NoSuchRevision(self, revision_id)
 
201
                # a ghost
 
202
                result.add_ghost(revision_id)
 
203
                # mark it as done so we don't try for it again.
 
204
                done.add(revision_id)
 
205
                continue
 
206
            parent_ids = vf.get_parents_with_ghosts(revision_id)
 
207
            for parent_id in parent_ids:
 
208
                # is this queued or done ?
 
209
                if (parent_id not in pending and
 
210
                    parent_id not in done):
 
211
                    # no, queue it.
 
212
                    pending.add(parent_id)
 
213
            result.add_node(revision_id, parent_ids)
 
214
            done.add(revision_id)
 
215
        return result
 
216
 
 
217
    def _get_revision_vf(self):
 
218
        """:return: a versioned file containing the revisions."""
 
219
        vf = self._revision_store.get_revision_file(self.get_transaction())
 
220
        return vf
 
221
 
 
222
    def _get_history_vf(self):
 
223
        """Get a versionedfile whose history graph reflects all revisions.
 
224
 
 
225
        For knit repositories, this is the revision knit.
 
226
        """
 
227
        return self._get_revision_vf()
 
228
 
 
229
    @needs_write_lock
 
230
    def reconcile(self, other=None, thorough=False):
 
231
        """Reconcile this repository."""
 
232
        from bzrlib.reconcile import KnitReconciler
 
233
        reconciler = KnitReconciler(self, thorough=thorough)
 
234
        reconciler.reconcile()
 
235
        return reconciler
 
236
    
 
237
    def revision_parents(self, revision_id):
 
238
        return self._get_revision_vf().get_parents(revision_id)
 
239
 
 
240
    def _make_parents_provider(self):
 
241
        return _KnitParentsProvider(self._get_revision_vf())
 
242
 
 
243
 
 
244
class RepositoryFormatKnit(MetaDirRepositoryFormat):
 
245
    """Bzr repository knit format (generalized). 
 
246
 
 
247
    This repository format has:
 
248
     - knits for file texts and inventory
 
249
     - hash subdirectory based stores.
 
250
     - knits for revisions and signatures
 
251
     - TextStores for revisions and signatures.
 
252
     - a format marker of its own
 
253
     - an optional 'shared-storage' flag
 
254
     - an optional 'no-working-trees' flag
 
255
     - a LockDir lock
 
256
    """
 
257
 
 
258
    # Set this attribute in derived classes to control the repository class
 
259
    # created by open and initialize.
 
260
    repository_class = None
 
261
    # Set this attribute in derived classes to control the
 
262
    # _commit_builder_class that the repository objects will have passed to
 
263
    # their constructor.
 
264
    _commit_builder_class = None
 
265
    # Set this attribute in derived clases to control the _serializer that the
 
266
    # repository objects will have passed to their constructor.
 
267
    _serializer = xml5.serializer_v5
 
268
 
 
269
    def _get_control_store(self, repo_transport, control_files):
 
270
        """Return the control store for this repository."""
 
271
        return VersionedFileStore(
 
272
            repo_transport,
 
273
            prefixed=False,
 
274
            file_mode=control_files._file_mode,
 
275
            versionedfile_class=knit.KnitVersionedFile,
 
276
            versionedfile_kwargs={'factory':knit.KnitPlainFactory()},
 
277
            )
 
278
 
 
279
    def _get_revision_store(self, repo_transport, control_files):
 
280
        """See RepositoryFormat._get_revision_store()."""
 
281
        versioned_file_store = VersionedFileStore(
 
282
            repo_transport,
 
283
            file_mode=control_files._file_mode,
 
284
            prefixed=False,
 
285
            precious=True,
 
286
            versionedfile_class=knit.KnitVersionedFile,
 
287
            versionedfile_kwargs={'delta':False,
 
288
                                  'factory':knit.KnitPlainFactory(),
 
289
                                 },
 
290
            escaped=True,
 
291
            )
 
292
        return KnitRevisionStore(versioned_file_store)
 
293
 
 
294
    def _get_text_store(self, transport, control_files):
 
295
        """See RepositoryFormat._get_text_store()."""
 
296
        return self._get_versioned_file_store('knits',
 
297
                                  transport,
 
298
                                  control_files,
 
299
                                  versionedfile_class=knit.KnitVersionedFile,
 
300
                                  versionedfile_kwargs={
 
301
                                      'create_parent_dir':True,
 
302
                                      'delay_create':True,
 
303
                                      'dir_mode':control_files._dir_mode,
 
304
                                  },
 
305
                                  escaped=True)
 
306
 
 
307
    def initialize(self, a_bzrdir, shared=False):
 
308
        """Create a knit format 1 repository.
 
309
 
 
310
        :param a_bzrdir: bzrdir to contain the new repository; must already
 
311
            be initialized.
 
312
        :param shared: If true the repository will be initialized as a shared
 
313
                       repository.
 
314
        """
 
315
        mutter('creating repository in %s.', a_bzrdir.transport.base)
 
316
        dirs = ['knits']
 
317
        files = []
 
318
        utf8_files = [('format', self.get_format_string())]
 
319
        
 
320
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
 
321
        repo_transport = a_bzrdir.get_repository_transport(None)
 
322
        control_files = lockable_files.LockableFiles(repo_transport,
 
323
                                'lock', lockdir.LockDir)
 
324
        control_store = self._get_control_store(repo_transport, control_files)
 
325
        transaction = transactions.WriteTransaction()
 
326
        # trigger a write of the inventory store.
 
327
        control_store.get_weave_or_empty('inventory', transaction)
 
328
        _revision_store = self._get_revision_store(repo_transport, control_files)
 
329
        # the revision id here is irrelevant: it will not be stored, and cannot
 
330
        # already exist.
 
331
        _revision_store.has_revision_id('A', transaction)
 
332
        _revision_store.get_signature_file(transaction)
 
333
        return self.open(a_bzrdir=a_bzrdir, _found=True)
 
334
 
 
335
    def open(self, a_bzrdir, _found=False, _override_transport=None):
 
336
        """See RepositoryFormat.open().
 
337
        
 
338
        :param _override_transport: INTERNAL USE ONLY. Allows opening the
 
339
                                    repository at a slightly different url
 
340
                                    than normal. I.e. during 'upgrade'.
 
341
        """
 
342
        if not _found:
 
343
            format = RepositoryFormat.find_format(a_bzrdir)
 
344
            assert format.__class__ ==  self.__class__
 
345
        if _override_transport is not None:
 
346
            repo_transport = _override_transport
 
347
        else:
 
348
            repo_transport = a_bzrdir.get_repository_transport(None)
 
349
        control_files = lockable_files.LockableFiles(repo_transport,
 
350
                                'lock', lockdir.LockDir)
 
351
        text_store = self._get_text_store(repo_transport, control_files)
 
352
        control_store = self._get_control_store(repo_transport, control_files)
 
353
        _revision_store = self._get_revision_store(repo_transport, control_files)
 
354
        return self.repository_class(_format=self,
 
355
                              a_bzrdir=a_bzrdir,
 
356
                              control_files=control_files,
 
357
                              _revision_store=_revision_store,
 
358
                              control_store=control_store,
 
359
                              text_store=text_store,
 
360
                              _commit_builder_class=self._commit_builder_class,
 
361
                              _serializer=self._serializer)
 
362
 
 
363
 
 
364
class RepositoryFormatKnit1(RepositoryFormatKnit):
 
365
    """Bzr repository knit format 1.
 
366
 
 
367
    This repository format has:
 
368
     - knits for file texts and inventory
 
369
     - hash subdirectory based stores.
 
370
     - knits for revisions and signatures
 
371
     - TextStores for revisions and signatures.
 
372
     - a format marker of its own
 
373
     - an optional 'shared-storage' flag
 
374
     - an optional 'no-working-trees' flag
 
375
     - a LockDir lock
 
376
 
 
377
    This format was introduced in bzr 0.8.
 
378
    """
 
379
 
 
380
    repository_class = KnitRepository
 
381
    _commit_builder_class = CommitBuilder
 
382
    _serializer = xml5.serializer_v5
 
383
 
 
384
    def __ne__(self, other):
 
385
        return self.__class__ is not other.__class__
 
386
 
 
387
    def get_format_string(self):
 
388
        """See RepositoryFormat.get_format_string()."""
 
389
        return "Bazaar-NG Knit Repository Format 1"
 
390
 
 
391
    def get_format_description(self):
 
392
        """See RepositoryFormat.get_format_description()."""
 
393
        return "Knit repository format 1"
 
394
 
 
395
    def check_conversion_target(self, target_format):
 
396
        pass
 
397
 
 
398
 
 
399
class RepositoryFormatKnit3(RepositoryFormatKnit):
 
400
    """Bzr repository knit format 2.
 
401
 
 
402
    This repository format has:
 
403
     - knits for file texts and inventory
 
404
     - hash subdirectory based stores.
 
405
     - knits for revisions and signatures
 
406
     - TextStores for revisions and signatures.
 
407
     - a format marker of its own
 
408
     - an optional 'shared-storage' flag
 
409
     - an optional 'no-working-trees' flag
 
410
     - a LockDir lock
 
411
     - support for recording full info about the tree root
 
412
     - support for recording tree-references
 
413
    """
 
414
 
 
415
    repository_class = KnitRepository
 
416
    _commit_builder_class = RootCommitBuilder
 
417
    rich_root_data = True
 
418
    supports_tree_reference = True
 
419
    _serializer = xml7.serializer_v7
 
420
 
 
421
    def _get_matching_bzrdir(self):
 
422
        return bzrdir.format_registry.make_bzrdir('dirstate-with-subtree')
 
423
 
 
424
    def _ignore_setting_bzrdir(self, format):
 
425
        pass
 
426
 
 
427
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
 
428
 
 
429
    def check_conversion_target(self, target_format):
 
430
        if not target_format.rich_root_data:
 
431
            raise errors.BadConversionTarget(
 
432
                'Does not support rich root data.', target_format)
 
433
        if not getattr(target_format, 'supports_tree_reference', False):
 
434
            raise errors.BadConversionTarget(
 
435
                'Does not support nested trees', target_format)
 
436
            
 
437
    def get_format_string(self):
 
438
        """See RepositoryFormat.get_format_string()."""
 
439
        return "Bazaar Knit Repository Format 3 (bzr 0.15)\n"
 
440
 
 
441
    def get_format_description(self):
 
442
        """See RepositoryFormat.get_format_description()."""
 
443
        return "Knit repository format 3"
 
444
 
 
445
 
 
446
def _get_stream_as_bytes(knit, required_versions):
 
447
    """Generate a serialised data stream.
 
448
 
 
449
    The format is a bencoding of a list.  The first element of the list is a
 
450
    string of the format signature, then each subsequent element is a list
 
451
    corresponding to a record.  Those lists contain:
 
452
 
 
453
      * a version id
 
454
      * a list of options
 
455
      * a list of parents
 
456
      * the bytes
 
457
 
 
458
    :returns: a bencoded list.
 
459
    """
 
460
    knit_stream = knit.get_data_stream(required_versions)
 
461
    format_signature, data_list, callable = knit_stream
 
462
    data = []
 
463
    data.append(format_signature)
 
464
    for version, options, length, parents in data_list:
 
465
        data.append([version, options, parents, callable(length)])
 
466
    return bencode.bencode(data)