~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/repository.py

  • Committer: Vincent Ladeuil
  • Date: 2010-02-10 16:41:09 UTC
  • mto: (5029.2.1 integration2)
  • mto: This revision was merged to the branch mainline in revision 5031.
  • Revision ID: v.ladeuil+lp@free.fr-20100210164109-q5wluu91am3vsf6d
Use a set() for conflicts_related to stay O(1).

Show diffs side-by-side

added added

removed removed

Lines of Context:
40
40
    lru_cache,
41
41
    osutils,
42
42
    revision as _mod_revision,
43
 
    static_tuple,
44
43
    symbol_versioning,
45
44
    trace,
46
45
    tsort,
864
863
# Repositories
865
864
 
866
865
 
867
 
class Repository(_RelockDebugMixin, bzrdir.ControlComponent):
 
866
class Repository(_RelockDebugMixin):
868
867
    """Repository holding history for one or more branches.
869
868
 
870
869
    The repository holds and retrieves historical information including
1028
1027
 
1029
1028
        :seealso: add_inventory, for the contract.
1030
1029
        """
1031
 
        inv_lines = self._serializer.write_inventory_to_lines(inv)
 
1030
        inv_lines = self._serialise_inventory_to_lines(inv)
1032
1031
        return self._inventory_add_lines(revision_id, parents,
1033
1032
            inv_lines, check_content=False)
1034
1033
 
1291
1290
 
1292
1291
        :param _format: The format of the repository on disk.
1293
1292
        :param a_bzrdir: The BzrDir of the repository.
 
1293
 
 
1294
        In the future we will have a single api for all stores for
 
1295
        getting file texts, inventories and revisions, then
 
1296
        this construct will accept instances of those things.
1294
1297
        """
1295
 
        # In the future we will have a single api for all stores for
1296
 
        # getting file texts, inventories and revisions, then
1297
 
        # this construct will accept instances of those things.
1298
1298
        super(Repository, self).__init__()
1299
1299
        self._format = _format
1300
1300
        # the following are part of the public API for Repository:
1315
1315
        # rather copying them?
1316
1316
        self._safe_to_return_from_cache = False
1317
1317
 
1318
 
    @property
1319
 
    def user_transport(self):
1320
 
        return self.bzrdir.user_transport
1321
 
 
1322
 
    @property
1323
 
    def control_transport(self):
1324
 
        return self._transport
1325
 
 
1326
1318
    def __repr__(self):
1327
1319
        if self._fallback_repositories:
1328
1320
            return '%s(%r, fallback_repositories=%r)' % (
1476
1468
 
1477
1469
        # now gather global repository information
1478
1470
        # XXX: This is available for many repos regardless of listability.
1479
 
        if self.user_transport.listable():
 
1471
        if self.bzrdir.root_transport.listable():
1480
1472
            # XXX: do we want to __define len__() ?
1481
1473
            # Maybe the versionedfiles object should provide a different
1482
1474
            # method to get the number of keys.
1492
1484
        :param using: If True, list only branches using this repository.
1493
1485
        """
1494
1486
        if using and not self.is_shared():
1495
 
            return self.bzrdir.list_branches()
 
1487
            try:
 
1488
                return [self.bzrdir.open_branch()]
 
1489
            except errors.NotBranchError:
 
1490
                return []
1496
1491
        class Evaluator(object):
1497
1492
 
1498
1493
            def __init__(self):
1507
1502
                    except errors.NoRepositoryPresent:
1508
1503
                        pass
1509
1504
                    else:
1510
 
                        return False, ([], repository)
 
1505
                        return False, (None, repository)
1511
1506
                self.first_call = False
1512
 
                value = (bzrdir.list_branches(), None)
 
1507
                try:
 
1508
                    value = (bzrdir.open_branch(), None)
 
1509
                except errors.NotBranchError:
 
1510
                    value = (None, None)
1513
1511
                return True, value
1514
1512
 
1515
 
        ret = []
1516
 
        for branches, repository in bzrdir.BzrDir.find_bzrdirs(
1517
 
                self.user_transport, evaluate=Evaluator()):
1518
 
            if branches is not None:
1519
 
                ret.extend(branches)
 
1513
        branches = []
 
1514
        for branch, repository in bzrdir.BzrDir.find_bzrdirs(
 
1515
                self.bzrdir.root_transport, evaluate=Evaluator()):
 
1516
            if branch is not None:
 
1517
                branches.append(branch)
1520
1518
            if not using and repository is not None:
1521
 
                ret.extend(repository.find_branches())
1522
 
        return ret
 
1519
                branches.extend(repository.find_branches())
 
1520
        return branches
1523
1521
 
1524
1522
    @needs_read_lock
1525
1523
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
1903
1901
                rev = self._serializer.read_revision_from_string(text)
1904
1902
                yield (revid, rev)
1905
1903
 
 
1904
    @needs_read_lock
 
1905
    def get_revision_xml(self, revision_id):
 
1906
        # TODO: jam 20070210 This shouldn't be necessary since get_revision
 
1907
        #       would have already do it.
 
1908
        # TODO: jam 20070210 Just use _serializer.write_revision_to_string()
 
1909
        # TODO: this can't just be replaced by:
 
1910
        # return self._serializer.write_revision_to_string(
 
1911
        #     self.get_revision(revision_id))
 
1912
        # as cStringIO preservers the encoding unlike write_revision_to_string
 
1913
        # or some other call down the path.
 
1914
        rev = self.get_revision(revision_id)
 
1915
        rev_tmp = cStringIO.StringIO()
 
1916
        # the current serializer..
 
1917
        self._serializer.write_revision(rev, rev_tmp)
 
1918
        rev_tmp.seek(0)
 
1919
        return rev_tmp.getvalue()
 
1920
 
1906
1921
    def get_deltas_for_revisions(self, revisions, specific_fileids=None):
1907
1922
        """Produce a generator of revision deltas.
1908
1923
 
2150
2165
        """
2151
2166
        selected_keys = set((revid,) for revid in revision_ids)
2152
2167
        w = _inv_weave or self.inventories
2153
 
        return self._find_file_ids_from_xml_inventory_lines(
2154
 
            w.iter_lines_added_or_present_in_keys(
2155
 
                selected_keys, pb=None),
2156
 
            selected_keys)
 
2168
        pb = ui.ui_factory.nested_progress_bar()
 
2169
        try:
 
2170
            return self._find_file_ids_from_xml_inventory_lines(
 
2171
                w.iter_lines_added_or_present_in_keys(
 
2172
                    selected_keys, pb=pb),
 
2173
                selected_keys)
 
2174
        finally:
 
2175
            pb.finished()
2157
2176
 
2158
2177
    def iter_files_bytes(self, desired_files):
2159
2178
        """Iterate through file versions.
2421
2440
                result.revision_id, revision_id))
2422
2441
        return result
2423
2442
 
 
2443
    def _serialise_inventory(self, inv):
 
2444
        return self._serializer.write_inventory_to_string(inv)
 
2445
 
 
2446
    def _serialise_inventory_to_lines(self, inv):
 
2447
        return self._serializer.write_inventory_to_lines(inv)
 
2448
 
2424
2449
    def get_serializer_format(self):
2425
2450
        return self._serializer.format_num
2426
2451
 
2490
2515
            else:
2491
2516
                next_id = parents[0]
2492
2517
 
 
2518
    @needs_read_lock
 
2519
    def get_revision_inventory(self, revision_id):
 
2520
        """Return inventory of a past revision."""
 
2521
        # TODO: Unify this with get_inventory()
 
2522
        # bzr 0.0.6 and later imposes the constraint that the inventory_id
 
2523
        # must be the same as its revision, so this is trivial.
 
2524
        if revision_id is None:
 
2525
            # This does not make sense: if there is no revision,
 
2526
            # then it is the current tree inventory surely ?!
 
2527
            # and thus get_root_id() is something that looks at the last
 
2528
            # commit on the branch, and the get_root_id is an inventory check.
 
2529
            raise NotImplementedError
 
2530
            # return Inventory(self.get_root_id())
 
2531
        else:
 
2532
            return self.get_inventory(revision_id)
 
2533
 
2493
2534
    def is_shared(self):
2494
2535
        """Return True if this repository is flagged as a shared repository."""
2495
2536
        raise NotImplementedError(self.is_shared)
2529
2570
            return RevisionTree(self, Inventory(root_id=None),
2530
2571
                                _mod_revision.NULL_REVISION)
2531
2572
        else:
2532
 
            inv = self.get_inventory(revision_id)
 
2573
            inv = self.get_revision_inventory(revision_id)
2533
2574
            return RevisionTree(self, inv, revision_id)
2534
2575
 
2535
2576
    def revision_trees(self, revision_ids):
2588
2629
            keys = tsort.topo_sort(parent_map)
2589
2630
        return [None] + list(keys)
2590
2631
 
2591
 
    def pack(self, hint=None, clean_obsolete_packs=False):
 
2632
    def pack(self, hint=None):
2592
2633
        """Compress the data within the repository.
2593
2634
 
2594
2635
        This operation only makes sense for some repository types. For other
2604
2645
            obtained from the result of commit_write_group(). Out of
2605
2646
            date hints are simply ignored, because concurrent operations
2606
2647
            can obsolete them rapidly.
2607
 
 
2608
 
        :param clean_obsolete_packs: Clean obsolete packs immediately after
2609
 
            the pack operation.
2610
2648
        """
2611
2649
 
2612
2650
    def get_transaction(self):
2637
2675
    def _make_parents_provider(self):
2638
2676
        return self
2639
2677
 
2640
 
    @needs_read_lock
2641
 
    def get_known_graph_ancestry(self, revision_ids):
2642
 
        """Return the known graph for a set of revision ids and their ancestors.
2643
 
        """
2644
 
        st = static_tuple.StaticTuple
2645
 
        revision_keys = [st(r_id).intern() for r_id in revision_ids]
2646
 
        known_graph = self.revisions.get_known_graph_ancestry(revision_keys)
2647
 
        return graph.GraphThunkIdsToKeys(known_graph)
2648
 
 
2649
2678
    def get_graph(self, other_repository=None):
2650
2679
        """Return the graph walker for this repository format"""
2651
2680
        parents_provider = self._make_parents_provider()
3050
3079
    pack_compresses = False
3051
3080
    # Does the repository inventory storage understand references to trees?
3052
3081
    supports_tree_reference = None
3053
 
    # Is the format experimental ?
3054
 
    experimental = False
3055
3082
 
3056
 
    def __repr__(self):
3057
 
        return "%s()" % self.__class__.__name__
 
3083
    def __str__(self):
 
3084
        return "<%s>" % self.__class__.__name__
3058
3085
 
3059
3086
    def __eq__(self, other):
3060
3087
        # format objects are generally stateless
3178
3205
        """
3179
3206
        raise NotImplementedError(self.open)
3180
3207
 
3181
 
    def _run_post_repo_init_hooks(self, repository, a_bzrdir, shared):
3182
 
        from bzrlib.bzrdir import BzrDir, RepoInitHookParams
3183
 
        hooks = BzrDir.hooks['post_repo_init']
3184
 
        if not hooks:
3185
 
            return
3186
 
        params = RepoInitHookParams(repository, self, a_bzrdir, shared)
3187
 
        for hook in hooks:
3188
 
            hook(params)
3189
 
 
3190
3208
 
3191
3209
class MetaDirRepositoryFormat(RepositoryFormat):
3192
3210
    """Common base class for the new repositories using the metadir layout."""
3397
3415
 
3398
3416
        :param revision_id: if None all content is copied, if NULL_REVISION no
3399
3417
                            content is copied.
3400
 
        :param pb: ignored.
 
3418
        :param pb: optional progress bar to use for progress reports. If not
 
3419
                   provided a default one will be created.
3401
3420
        :return: None.
3402
3421
        """
3403
 
        ui.ui_factory.warn_experimental_format_fetch(self)
3404
 
        from bzrlib.fetch import RepoFetcher
3405
 
        # See <https://launchpad.net/bugs/456077> asking for a warning here
3406
 
        if self.source._format.network_name() != self.target._format.network_name():
3407
 
            ui.ui_factory.show_user_warning('cross_format_fetch',
3408
 
                from_format=self.source._format,
3409
 
                to_format=self.target._format)
3410
 
        f = RepoFetcher(to_repository=self.target,
 
3422
        f = _mod_fetch.RepoFetcher(to_repository=self.target,
3411
3423
                               from_repository=self.source,
3412
3424
                               last_revision=revision_id,
3413
3425
                               fetch_spec=fetch_spec,
3414
 
                               find_ghosts=find_ghosts)
 
3426
                               pb=pb, find_ghosts=find_ghosts)
3415
3427
 
3416
3428
    def _walk_to_common_revisions(self, revision_ids):
3417
3429
        """Walk out from revision_ids in source to revisions target has.
3991
4003
        """See InterRepository.fetch()."""
3992
4004
        if fetch_spec is not None:
3993
4005
            raise AssertionError("Not implemented yet...")
3994
 
        ui.ui_factory.warn_experimental_format_fetch(self)
 
4006
        # See <https://launchpad.net/bugs/456077> asking for a warning here
 
4007
        #
 
4008
        # nb this is only active for local-local fetches; other things using
 
4009
        # streaming.
 
4010
        ui.ui_factory.warn_cross_format_fetch(self.source._format,
 
4011
            self.target._format)
3995
4012
        if (not self.source.supports_rich_root()
3996
4013
            and self.target.supports_rich_root()):
3997
4014
            self._converting_to_rich_root = True
3998
4015
            self._revision_id_to_root_id = {}
3999
4016
        else:
4000
4017
            self._converting_to_rich_root = False
4001
 
        # See <https://launchpad.net/bugs/456077> asking for a warning here
4002
 
        if self.source._format.network_name() != self.target._format.network_name():
4003
 
            ui.ui_factory.show_user_warning('cross_format_fetch',
4004
 
                from_format=self.source._format,
4005
 
                to_format=self.target._format)
4006
4018
        revision_ids = self.target.search_missing_revision_ids(self.source,
4007
4019
            revision_id, find_ghosts=find_ghosts).get_keys()
4008
4020
        if not revision_ids:
4077
4089
        :param to_convert: The disk object to convert.
4078
4090
        :param pb: a progress bar to use for progress information.
4079
4091
        """
4080
 
        pb = ui.ui_factory.nested_progress_bar()
 
4092
        self.pb = pb
4081
4093
        self.count = 0
4082
4094
        self.total = 4
4083
4095
        # this is only useful with metadir layouts - separated repo content.
4084
4096
        # trigger an assertion if not such
4085
4097
        repo._format.get_format_string()
4086
4098
        self.repo_dir = repo.bzrdir
4087
 
        pb.update('Moving repository to repository.backup')
 
4099
        self.step('Moving repository to repository.backup')
4088
4100
        self.repo_dir.transport.move('repository', 'repository.backup')
4089
4101
        backup_transport =  self.repo_dir.transport.clone('repository.backup')
4090
4102
        repo._format.check_conversion_target(self.target_format)
4091
4103
        self.source_repo = repo._format.open(self.repo_dir,
4092
4104
            _found=True,
4093
4105
            _override_transport=backup_transport)
4094
 
        pb.update('Creating new repository')
 
4106
        self.step('Creating new repository')
4095
4107
        converted = self.target_format.initialize(self.repo_dir,
4096
4108
                                                  self.source_repo.is_shared())
4097
4109
        converted.lock_write()
4098
4110
        try:
4099
 
            pb.update('Copying content')
 
4111
            self.step('Copying content')
4100
4112
            self.source_repo.copy_content_into(converted)
4101
4113
        finally:
4102
4114
            converted.unlock()
4103
 
        pb.update('Deleting old repository content')
 
4115
        self.step('Deleting old repository content')
4104
4116
        self.repo_dir.transport.delete_tree('repository.backup')
4105
4117
        ui.ui_factory.note('repository converted')
4106
 
        pb.finished()
 
4118
 
 
4119
    def step(self, message):
 
4120
        """Update the pb by a step."""
 
4121
        self.count +=1
 
4122
        self.pb.update(message, self.count, self.total)
4107
4123
 
4108
4124
 
4109
4125
_unescape_map = {
4291
4307
                    self._extract_and_insert_inventories(
4292
4308
                        substream, src_serializer)
4293
4309
            elif substream_type == 'inventory-deltas':
 
4310
                ui.ui_factory.warn_cross_format_fetch(src_format,
 
4311
                    self.target_repo._format)
4294
4312
                self._extract_and_insert_inventory_deltas(
4295
4313
                    substream, src_serializer)
4296
4314
            elif substream_type == 'chk_bytes':