~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/repofmt/knitrepo.py

(jameinel) Allow 'bzr serve' to interpret SIGHUP as a graceful shutdown.
 (bug #795025) (John A Meinel)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
1
# Copyright (C) 2007-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
from bzrlib.lazy_import import lazy_import
18
18
lazy_import(globals(), """
 
19
import itertools
 
20
 
19
21
from bzrlib import (
20
22
    bzrdir,
21
23
    errors,
24
26
    lockdir,
25
27
    osutils,
26
28
    revision as _mod_revision,
 
29
    trace,
27
30
    transactions,
28
31
    versionedfile,
29
32
    xml5,
31
34
    xml7,
32
35
    )
33
36
""")
34
 
from bzrlib import (
35
 
    symbol_versioning,
36
 
    )
37
37
from bzrlib.decorators import needs_read_lock, needs_write_lock
38
38
from bzrlib.repository import (
39
 
    CommitBuilder,
40
 
    MetaDirRepository,
41
 
    MetaDirRepositoryFormat,
 
39
    InterRepository,
 
40
    IsInWriteGroupError,
42
41
    RepositoryFormat,
43
 
    RootCommitBuilder,
44
 
    )
45
 
from bzrlib.trace import mutter, mutter_callsite
 
42
    )
 
43
from bzrlib.vf_repository import (
 
44
    InterSameDataRepository,
 
45
    MetaDirVersionedFileRepository,
 
46
    MetaDirVersionedFileRepositoryFormat,
 
47
    VersionedFileCommitBuilder,
 
48
    VersionedFileRootCommitBuilder,
 
49
    )
 
50
from bzrlib import symbol_versioning
46
51
 
47
52
 
48
53
class _KnitParentsProvider(object):
53
58
    def __repr__(self):
54
59
        return 'KnitParentsProvider(%r)' % self._knit
55
60
 
56
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_one)
57
 
    def get_parents(self, revision_ids):
58
 
        """See graph._StackedParentsProvider.get_parents"""
59
 
        parent_map = self.get_parent_map(revision_ids)
60
 
        return [parent_map.get(r, None) for r in revision_ids]
61
 
 
62
61
    def get_parent_map(self, keys):
63
 
        """See graph._StackedParentsProvider.get_parent_map"""
 
62
        """See graph.StackedParentsProvider.get_parent_map"""
64
63
        parent_map = {}
65
64
        for revision_id in keys:
66
65
            if revision_id is None:
91
90
        return 'KnitsParentsProvider(%r)' % self._knit
92
91
 
93
92
    def get_parent_map(self, keys):
94
 
        """See graph._StackedParentsProvider.get_parent_map"""
 
93
        """See graph.StackedParentsProvider.get_parent_map"""
95
94
        parent_map = self._knit.get_parent_map(
96
95
            [self._prefix + (key,) for key in keys])
97
96
        result = {}
108
107
        return result
109
108
 
110
109
 
111
 
class KnitRepository(MetaDirRepository):
 
110
class KnitRepository(MetaDirVersionedFileRepository):
112
111
    """Knit format repository."""
113
112
 
114
113
    # These attributes are inherited from the Repository base class. Setting
120
119
 
121
120
    def __init__(self, _format, a_bzrdir, control_files, _commit_builder_class,
122
121
        _serializer):
123
 
        MetaDirRepository.__init__(self, _format, a_bzrdir, control_files)
 
122
        super(KnitRepository, self).__init__(_format, a_bzrdir, control_files)
124
123
        self._commit_builder_class = _commit_builder_class
125
124
        self._serializer = _serializer
126
125
        self._reconcile_fixes_text_parents = True
127
 
        self._fetch_uses_deltas = True
128
 
        self._fetch_order = 'topological'
129
126
 
130
127
    @needs_read_lock
131
128
    def _all_revision_ids(self):
184
181
        result.get_parent_map([('A',)])
185
182
        return result
186
183
 
187
 
    def fileid_involved_between_revs(self, from_revid, to_revid):
188
 
        """Find file_id(s) which are involved in the changes between revisions.
189
 
 
190
 
        This determines the set of revisions which are involved, and then
191
 
        finds all file ids affected by those revisions.
192
 
        """
193
 
        vf = self._get_revision_vf()
194
 
        from_set = set(vf.get_ancestry(from_revid))
195
 
        to_set = set(vf.get_ancestry(to_revid))
196
 
        changed = to_set.difference(from_set)
197
 
        return self._fileid_involved_by_set(changed)
198
 
 
199
 
    def fileid_involved(self, last_revid=None):
200
 
        """Find all file_ids modified in the ancestry of last_revid.
201
 
 
202
 
        :param last_revid: If None, last_revision() will be used.
203
 
        """
204
 
        if not last_revid:
205
 
            changed = set(self.all_revision_ids())
206
 
        else:
207
 
            changed = set(self.get_ancestry(last_revid))
208
 
        if None in changed:
209
 
            changed.remove(None)
210
 
        return self._fileid_involved_by_set(changed)
211
 
 
212
184
    @needs_read_lock
213
185
    def get_revision(self, revision_id):
214
186
        """Return the Revision object for a named revision"""
215
187
        revision_id = osutils.safe_revision_id(revision_id)
216
188
        return self.get_revision_reconcile(revision_id)
217
189
 
 
190
    def _refresh_data(self):
 
191
        if not self.is_locked():
 
192
            return
 
193
        if self.is_in_write_group():
 
194
            raise IsInWriteGroupError(self)
 
195
        # Create a new transaction to force all knits to see the scope change.
 
196
        # This is safe because we're outside a write group.
 
197
        self.control_files._finish_transaction()
 
198
        if self.is_write_locked():
 
199
            self.control_files._set_write_transaction()
 
200
        else:
 
201
            self.control_files._set_read_transaction()
 
202
 
218
203
    @needs_write_lock
219
204
    def reconcile(self, other=None, thorough=False):
220
205
        """Reconcile this repository."""
222
207
        reconciler = KnitReconciler(self, thorough=thorough)
223
208
        reconciler.reconcile()
224
209
        return reconciler
225
 
    
 
210
 
226
211
    def _make_parents_provider(self):
227
212
        return _KnitsParentsProvider(self.revisions)
228
213
 
229
 
    def _find_inconsistent_revision_parents(self):
230
 
        """Find revisions with different parent lists in the revision object
231
 
        and in the index graph.
232
 
 
233
 
        :returns: an iterator yielding tuples of (revison-id, parents-in-index,
234
 
            parents-in-revision).
235
 
        """
236
 
        if not self.is_locked():
237
 
            raise AssertionError()
238
 
        vf = self.revisions
239
 
        for index_version in vf.keys():
240
 
            parent_map = vf.get_parent_map([index_version])
241
 
            parents_according_to_index = tuple(parent[-1] for parent in
242
 
                parent_map[index_version])
243
 
            revision = self.get_revision(index_version[-1])
244
 
            parents_according_to_revision = tuple(revision.parent_ids)
245
 
            if parents_according_to_index != parents_according_to_revision:
246
 
                yield (index_version[-1], parents_according_to_index,
247
 
                    parents_according_to_revision)
248
 
 
249
 
    def _check_for_inconsistent_revision_parents(self):
250
 
        inconsistencies = list(self._find_inconsistent_revision_parents())
251
 
        if inconsistencies:
252
 
            raise errors.BzrCheckError(
253
 
                "Revision knit has inconsistent parents.")
254
 
 
255
 
    def revision_graph_can_have_wrong_parents(self):
256
 
        # The revision.kndx could potentially claim a revision has a different
257
 
        # parent to the revision text.
258
 
        return True
259
 
 
260
 
 
261
 
class RepositoryFormatKnit(MetaDirRepositoryFormat):
262
 
    """Bzr repository knit format (generalized). 
 
214
 
 
215
class RepositoryFormatKnit(MetaDirVersionedFileRepositoryFormat):
 
216
    """Bzr repository knit format (generalized).
263
217
 
264
218
    This repository format has:
265
219
     - knits for file texts and inventory
288
242
    supports_ghosts = True
289
243
    # External lookups are not supported in this format.
290
244
    supports_external_lookups = False
 
245
    # No CHK support.
 
246
    supports_chks = False
 
247
    _fetch_order = 'topological'
 
248
    _fetch_uses_deltas = True
 
249
    fast_deltas = False
 
250
    supports_funky_characters = True
 
251
    # The revision.kndx could potentially claim a revision has a different
 
252
    # parent to the revision text.
 
253
    revision_graph_can_have_wrong_parents = True
291
254
 
292
255
    def _get_inventories(self, repo_transport, repo, name='inventory'):
293
256
        mapper = versionedfile.ConstantMapper(name)
329
292
        :param shared: If true the repository will be initialized as a shared
330
293
                       repository.
331
294
        """
332
 
        mutter('creating repository in %s.', a_bzrdir.transport.base)
 
295
        trace.mutter('creating repository in %s.', a_bzrdir.transport.base)
333
296
        dirs = ['knits']
334
297
        files = []
335
298
        utf8_files = [('format', self.get_format_string())]
336
 
        
 
299
 
337
300
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
338
301
        repo_transport = a_bzrdir.get_repository_transport(None)
339
302
        control_files = lockable_files.LockableFiles(repo_transport,
347
310
        result.revisions.get_parent_map([('A',)])
348
311
        result.signatures.get_parent_map([('A',)])
349
312
        result.unlock()
 
313
        self._run_post_repo_init_hooks(result, a_bzrdir, shared)
350
314
        return result
351
315
 
352
316
    def open(self, a_bzrdir, _found=False, _override_transport=None):
353
317
        """See RepositoryFormat.open().
354
 
        
 
318
 
355
319
        :param _override_transport: INTERNAL USE ONLY. Allows opening the
356
320
                                    repository at a slightly different url
357
321
                                    than normal. I.e. during 'upgrade'.
373
337
        repo.signatures = self._get_signatures(repo_transport, repo)
374
338
        repo.inventories = self._get_inventories(repo_transport, repo)
375
339
        repo.texts = self._get_texts(repo_transport, repo)
 
340
        repo.chk_bytes = None
376
341
        repo._transport = repo_transport
377
342
        return repo
378
343
 
394
359
    """
395
360
 
396
361
    repository_class = KnitRepository
397
 
    _commit_builder_class = CommitBuilder
 
362
    _commit_builder_class = VersionedFileCommitBuilder
398
363
    @property
399
364
    def _serializer(self):
400
365
        return xml5.serializer_v5
410
375
        """See RepositoryFormat.get_format_description()."""
411
376
        return "Knit repository format 1"
412
377
 
413
 
    def check_conversion_target(self, target_format):
414
 
        pass
415
 
 
416
378
 
417
379
class RepositoryFormatKnit3(RepositoryFormatKnit):
418
380
    """Bzr repository knit format 3.
431
393
    """
432
394
 
433
395
    repository_class = KnitRepository
434
 
    _commit_builder_class = RootCommitBuilder
 
396
    _commit_builder_class = VersionedFileRootCommitBuilder
435
397
    rich_root_data = True
 
398
    experimental = True
436
399
    supports_tree_reference = True
437
400
    @property
438
401
    def _serializer(self):
446
409
 
447
410
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
448
411
 
449
 
    def check_conversion_target(self, target_format):
450
 
        if not target_format.rich_root_data:
451
 
            raise errors.BadConversionTarget(
452
 
                'Does not support rich root data.', target_format)
453
 
        if not getattr(target_format, 'supports_tree_reference', False):
454
 
            raise errors.BadConversionTarget(
455
 
                'Does not support nested trees', target_format)
456
 
            
457
412
    def get_format_string(self):
458
413
        """See RepositoryFormat.get_format_string()."""
459
414
        return "Bazaar Knit Repository Format 3 (bzr 0.15)\n"
480
435
    """
481
436
 
482
437
    repository_class = KnitRepository
483
 
    _commit_builder_class = RootCommitBuilder
 
438
    _commit_builder_class = VersionedFileRootCommitBuilder
484
439
    rich_root_data = True
485
440
    supports_tree_reference = False
486
441
    @property
495
450
 
496
451
    _matchingbzrdir = property(_get_matching_bzrdir, _ignore_setting_bzrdir)
497
452
 
498
 
    def check_conversion_target(self, target_format):
499
 
        if not target_format.rich_root_data:
500
 
            raise errors.BadConversionTarget(
501
 
                'Does not support rich root data.', target_format)
502
 
 
503
453
    def get_format_string(self):
504
454
        """See RepositoryFormat.get_format_string()."""
505
455
        return 'Bazaar Knit Repository Format 4 (bzr 1.0)\n'
507
457
    def get_format_description(self):
508
458
        """See RepositoryFormat.get_format_description()."""
509
459
        return "Knit repository format 4"
 
460
 
 
461
 
 
462
class InterKnitRepo(InterSameDataRepository):
 
463
    """Optimised code paths between Knit based repositories."""
 
464
 
 
465
    @classmethod
 
466
    def _get_repo_format_to_test(self):
 
467
        return RepositoryFormatKnit1()
 
468
 
 
469
    @staticmethod
 
470
    def is_compatible(source, target):
 
471
        """Be compatible with known Knit formats.
 
472
 
 
473
        We don't test for the stores being of specific types because that
 
474
        could lead to confusing results, and there is no need to be
 
475
        overly general.
 
476
        """
 
477
        try:
 
478
            are_knits = (isinstance(source._format, RepositoryFormatKnit) and
 
479
                isinstance(target._format, RepositoryFormatKnit))
 
480
        except AttributeError:
 
481
            return False
 
482
        return are_knits and InterRepository._same_model(source, target)
 
483
 
 
484
    @needs_read_lock
 
485
    def search_missing_revision_ids(self,
 
486
            revision_id=symbol_versioning.DEPRECATED_PARAMETER,
 
487
            find_ghosts=True, revision_ids=None, if_present_ids=None,
 
488
            limit=None):
 
489
        """See InterRepository.search_missing_revision_ids()."""
 
490
        if symbol_versioning.deprecated_passed(revision_id):
 
491
            symbol_versioning.warn(
 
492
                'search_missing_revision_ids(revision_id=...) was '
 
493
                'deprecated in 2.4.  Use revision_ids=[...] instead.',
 
494
                DeprecationWarning, stacklevel=2)
 
495
            if revision_ids is not None:
 
496
                raise AssertionError(
 
497
                    'revision_ids is mutually exclusive with revision_id')
 
498
            if revision_id is not None:
 
499
                revision_ids = [revision_id]
 
500
        del revision_id
 
501
        source_ids_set = self._present_source_revisions_for(
 
502
            revision_ids, if_present_ids)
 
503
        # source_ids is the worst possible case we may need to pull.
 
504
        # now we want to filter source_ids against what we actually
 
505
        # have in target, but don't try to check for existence where we know
 
506
        # we do not have a revision as that would be pointless.
 
507
        target_ids = set(self.target.all_revision_ids())
 
508
        possibly_present_revisions = target_ids.intersection(source_ids_set)
 
509
        actually_present_revisions = set(
 
510
            self.target._eliminate_revisions_not_present(possibly_present_revisions))
 
511
        required_revisions = source_ids_set.difference(actually_present_revisions)
 
512
        if revision_ids is not None:
 
513
            # we used get_ancestry to determine source_ids then we are assured all
 
514
            # revisions referenced are present as they are installed in topological order.
 
515
            # and the tip revision was validated by get_ancestry.
 
516
            result_set = required_revisions
 
517
        else:
 
518
            # if we just grabbed the possibly available ids, then
 
519
            # we only have an estimate of whats available and need to validate
 
520
            # that against the revision records.
 
521
            result_set = set(
 
522
                self.source._eliminate_revisions_not_present(required_revisions))
 
523
        if limit is not None:
 
524
            topo_ordered = self.source.get_graph().iter_topo_order(result_set)
 
525
            result_set = set(itertools.islice(topo_ordered, limit))
 
526
        return self.source.revision_ids_to_search_result(result_set)
 
527
 
 
528
 
 
529
InterRepository.register_optimiser(InterKnitRepo)