~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/repository.py

  • Committer: John Arbash Meinel
  • Date: 2009-08-26 16:03:59 UTC
  • mto: (4634.6.7 2.0)
  • mto: This revision was merged to the branch mainline in revision 4660.
  • Revision ID: john@arbash-meinel.com-20090826160359-ge4mai928bi3a5g2
Fix bug #419241. If a graph had a mainline ghost
we could get a segfault during KnownGraph.merge_sort().

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
24
24
    bzrdir,
25
25
    check,
26
26
    chk_map,
27
 
    config,
28
27
    debug,
29
28
    errors,
30
 
    fetch as _mod_fetch,
31
29
    fifo_cache,
32
30
    generate_ids,
33
31
    gpg,
40
38
    lru_cache,
41
39
    osutils,
42
40
    revision as _mod_revision,
43
 
    static_tuple,
44
41
    symbol_versioning,
45
 
    trace,
46
42
    tsort,
47
43
    ui,
48
44
    versionedfile,
53
49
from bzrlib.testament import Testament
54
50
""")
55
51
 
56
 
from bzrlib.decorators import needs_read_lock, needs_write_lock, only_raises
 
52
from bzrlib.decorators import needs_read_lock, needs_write_lock
57
53
from bzrlib.inter import InterObject
58
54
from bzrlib.inventory import (
59
55
    Inventory,
61
57
    ROOT_ID,
62
58
    entry_factory,
63
59
    )
64
 
from bzrlib.lock import _RelockDebugMixin
65
60
from bzrlib import registry
66
61
from bzrlib.trace import (
67
62
    log_exception_quietly, note, mutter, mutter_callsite, warning)
210
205
            # an inventory delta was accumulated without creating a new
211
206
            # inventory.
212
207
            basis_id = self.basis_delta_revision
213
 
            # We ignore the 'inventory' returned by add_inventory_by_delta
214
 
            # because self.new_inventory is used to hint to the rest of the
215
 
            # system what code path was taken
216
 
            self.inv_sha1, _ = self.repository.add_inventory_by_delta(
 
208
            self.inv_sha1 = self.repository.add_inventory_by_delta(
217
209
                basis_id, self._basis_delta, self._new_revision_id,
218
210
                self.parents)
219
211
        else:
860
852
        # versioned roots do not change unless the tree found a change.
861
853
 
862
854
 
863
 
class RepositoryWriteLockResult(object):
864
 
    """The result of write locking a repository.
865
 
 
866
 
    :ivar repository_token: The token obtained from the underlying lock, or
867
 
        None.
868
 
    :ivar unlock: A callable which will unlock the lock.
869
 
    """
870
 
 
871
 
    def __init__(self, unlock, repository_token):
872
 
        self.repository_token = repository_token
873
 
        self.unlock = unlock
874
 
 
875
 
    def __str__(self):
876
 
        return "RepositoryWriteLockResult(%s, %s)" % (self.repository_token,
877
 
            self.unlock)
878
 
 
879
 
 
880
855
######################################################################
881
856
# Repositories
882
857
 
883
858
 
884
 
class Repository(_RelockDebugMixin, bzrdir.ControlComponent):
 
859
class Repository(object):
885
860
    """Repository holding history for one or more branches.
886
861
 
887
862
    The repository holds and retrieves historical information including
1045
1020
 
1046
1021
        :seealso: add_inventory, for the contract.
1047
1022
        """
1048
 
        inv_lines = self._serializer.write_inventory_to_lines(inv)
 
1023
        inv_lines = self._serialise_inventory_to_lines(inv)
1049
1024
        return self._inventory_add_lines(revision_id, parents,
1050
1025
            inv_lines, check_content=False)
1051
1026
 
1247
1222
                    for record in getattr(self, kind).check(keys=keys[kind]):
1248
1223
                        if record.storage_kind == 'absent':
1249
1224
                            checker._report_items.append(
1250
 
                                'Missing %s {%s}' % (kind, record.key,))
 
1225
                                'Missing inventory {%s}' % (record.key,))
1251
1226
                        else:
1252
1227
                            last_object = self._check_record(kind, record,
1253
1228
                                checker, last_object, current_keys[(kind,) + record.key])
1258
1233
        """Check a single text from this repository."""
1259
1234
        if kind == 'inventories':
1260
1235
            rev_id = record.key[0]
1261
 
            inv = self._deserialise_inventory(rev_id,
 
1236
            inv = self.deserialise_inventory(rev_id,
1262
1237
                record.get_bytes_as('fulltext'))
1263
1238
            if last_object is not None:
1264
1239
                delta = inv._make_delta(last_object)
1308
1283
 
1309
1284
        :param _format: The format of the repository on disk.
1310
1285
        :param a_bzrdir: The BzrDir of the repository.
 
1286
 
 
1287
        In the future we will have a single api for all stores for
 
1288
        getting file texts, inventories and revisions, then
 
1289
        this construct will accept instances of those things.
1311
1290
        """
1312
 
        # In the future we will have a single api for all stores for
1313
 
        # getting file texts, inventories and revisions, then
1314
 
        # this construct will accept instances of those things.
1315
1291
        super(Repository, self).__init__()
1316
1292
        self._format = _format
1317
1293
        # the following are part of the public API for Repository:
1323
1299
        self._reconcile_does_inventory_gc = True
1324
1300
        self._reconcile_fixes_text_parents = False
1325
1301
        self._reconcile_backsup_inventory = True
 
1302
        # not right yet - should be more semantically clear ?
 
1303
        #
 
1304
        # TODO: make sure to construct the right store classes, etc, depending
 
1305
        # on whether escaping is required.
 
1306
        self._warn_if_deprecated()
1326
1307
        self._write_group = None
1327
1308
        # Additional places to query for data.
1328
1309
        self._fallback_repositories = []
1329
1310
        # An InventoryEntry cache, used during deserialization
1330
1311
        self._inventory_entry_cache = fifo_cache.FIFOCache(10*1024)
1331
 
        # Is it safe to return inventory entries directly from the entry cache,
1332
 
        # rather copying them?
1333
 
        self._safe_to_return_from_cache = False
1334
 
 
1335
 
    @property
1336
 
    def user_transport(self):
1337
 
        return self.bzrdir.user_transport
1338
 
 
1339
 
    @property
1340
 
    def control_transport(self):
1341
 
        return self._transport
1342
1312
 
1343
1313
    def __repr__(self):
1344
1314
        if self._fallback_repositories:
1393
1363
        data during reads, and allows a 'write_group' to be obtained. Write
1394
1364
        groups must be used for actual data insertion.
1395
1365
 
1396
 
        A token should be passed in if you know that you have locked the object
1397
 
        some other way, and need to synchronise this object's state with that
1398
 
        fact.
1399
 
 
1400
 
        XXX: this docstring is duplicated in many places, e.g. lockable_files.py
1401
 
 
1402
1366
        :param token: if this is already locked, then lock_write will fail
1403
1367
            unless the token matches the existing lock.
1404
1368
        :returns: a token if this instance supports tokens, otherwise None.
1407
1371
        :raises MismatchedToken: if the specified token doesn't match the token
1408
1372
            of the existing lock.
1409
1373
        :seealso: start_write_group.
1410
 
        :return: A RepositoryWriteLockResult.
 
1374
 
 
1375
        A token should be passed in if you know that you have locked the object
 
1376
        some other way, and need to synchronise this object's state with that
 
1377
        fact.
 
1378
 
 
1379
        XXX: this docstring is duplicated in many places, e.g. lockable_files.py
1411
1380
        """
1412
1381
        locked = self.is_locked()
1413
 
        token = self.control_files.lock_write(token=token)
 
1382
        result = self.control_files.lock_write(token=token)
1414
1383
        if not locked:
1415
 
            self._warn_if_deprecated()
1416
 
            self._note_lock('w')
1417
1384
            for repo in self._fallback_repositories:
1418
1385
                # Writes don't affect fallback repos
1419
1386
                repo.lock_read()
1420
1387
            self._refresh_data()
1421
 
        return RepositoryWriteLockResult(self.unlock, token)
 
1388
        return result
1422
1389
 
1423
1390
    def lock_read(self):
1424
 
        """Lock the repository for read operations.
1425
 
 
1426
 
        :return: An object with an unlock method which will release the lock
1427
 
            obtained.
1428
 
        """
1429
1391
        locked = self.is_locked()
1430
1392
        self.control_files.lock_read()
1431
1393
        if not locked:
1432
 
            self._warn_if_deprecated()
1433
 
            self._note_lock('r')
1434
1394
            for repo in self._fallback_repositories:
1435
1395
                repo.lock_read()
1436
1396
            self._refresh_data()
1437
 
        return self
1438
1397
 
1439
1398
    def get_physical_lock_status(self):
1440
1399
        return self.control_files.get_physical_lock_status()
1500
1459
 
1501
1460
        # now gather global repository information
1502
1461
        # XXX: This is available for many repos regardless of listability.
1503
 
        if self.user_transport.listable():
 
1462
        if self.bzrdir.root_transport.listable():
1504
1463
            # XXX: do we want to __define len__() ?
1505
1464
            # Maybe the versionedfiles object should provide a different
1506
1465
            # method to get the number of keys.
1516
1475
        :param using: If True, list only branches using this repository.
1517
1476
        """
1518
1477
        if using and not self.is_shared():
1519
 
            return self.bzrdir.list_branches()
 
1478
            try:
 
1479
                return [self.bzrdir.open_branch()]
 
1480
            except errors.NotBranchError:
 
1481
                return []
1520
1482
        class Evaluator(object):
1521
1483
 
1522
1484
            def __init__(self):
1531
1493
                    except errors.NoRepositoryPresent:
1532
1494
                        pass
1533
1495
                    else:
1534
 
                        return False, ([], repository)
 
1496
                        return False, (None, repository)
1535
1497
                self.first_call = False
1536
 
                value = (bzrdir.list_branches(), None)
 
1498
                try:
 
1499
                    value = (bzrdir.open_branch(), None)
 
1500
                except errors.NotBranchError:
 
1501
                    value = (None, None)
1537
1502
                return True, value
1538
1503
 
1539
 
        ret = []
1540
 
        for branches, repository in bzrdir.BzrDir.find_bzrdirs(
1541
 
                self.user_transport, evaluate=Evaluator()):
1542
 
            if branches is not None:
1543
 
                ret.extend(branches)
 
1504
        branches = []
 
1505
        for branch, repository in bzrdir.BzrDir.find_bzrdirs(
 
1506
                self.bzrdir.root_transport, evaluate=Evaluator()):
 
1507
            if branch is not None:
 
1508
                branches.append(branch)
1544
1509
            if not using and repository is not None:
1545
 
                ret.extend(repository.find_branches())
1546
 
        return ret
 
1510
                branches.extend(repository.find_branches())
 
1511
        return branches
1547
1512
 
1548
1513
    @needs_read_lock
1549
1514
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
1639
1604
        # but at the moment we're only checking for texts referenced by
1640
1605
        # inventories at the graph's edge.
1641
1606
        key_deps = self.revisions._index._key_dependencies
1642
 
        key_deps.satisfy_refs_for_keys(present_inventories)
 
1607
        key_deps.add_keys(present_inventories)
1643
1608
        referrers = frozenset(r[0] for r in key_deps.get_referrers())
1644
1609
        file_ids = self.fileids_altered_by_revision_ids(referrers)
1645
1610
        missing_texts = set()
1755
1720
        self.start_write_group()
1756
1721
        return result
1757
1722
 
1758
 
    @only_raises(errors.LockNotHeld, errors.LockBroken)
1759
1723
    def unlock(self):
1760
1724
        if (self.control_files._lock_count == 1 and
1761
1725
            self.control_files._lock_mode == 'w'):
1927
1891
                rev = self._serializer.read_revision_from_string(text)
1928
1892
                yield (revid, rev)
1929
1893
 
 
1894
    @needs_read_lock
 
1895
    def get_revision_xml(self, revision_id):
 
1896
        # TODO: jam 20070210 This shouldn't be necessary since get_revision
 
1897
        #       would have already do it.
 
1898
        # TODO: jam 20070210 Just use _serializer.write_revision_to_string()
 
1899
        # TODO: this can't just be replaced by:
 
1900
        # return self._serializer.write_revision_to_string(
 
1901
        #     self.get_revision(revision_id))
 
1902
        # as cStringIO preservers the encoding unlike write_revision_to_string
 
1903
        # or some other call down the path.
 
1904
        rev = self.get_revision(revision_id)
 
1905
        rev_tmp = cStringIO.StringIO()
 
1906
        # the current serializer..
 
1907
        self._serializer.write_revision(rev, rev_tmp)
 
1908
        rev_tmp.seek(0)
 
1909
        return rev_tmp.getvalue()
 
1910
 
1930
1911
    def get_deltas_for_revisions(self, revisions, specific_fileids=None):
1931
1912
        """Produce a generator of revision deltas.
1932
1913
 
2174
2155
        """
2175
2156
        selected_keys = set((revid,) for revid in revision_ids)
2176
2157
        w = _inv_weave or self.inventories
2177
 
        return self._find_file_ids_from_xml_inventory_lines(
2178
 
            w.iter_lines_added_or_present_in_keys(
2179
 
                selected_keys, pb=None),
2180
 
            selected_keys)
 
2158
        pb = ui.ui_factory.nested_progress_bar()
 
2159
        try:
 
2160
            return self._find_file_ids_from_xml_inventory_lines(
 
2161
                w.iter_lines_added_or_present_in_keys(
 
2162
                    selected_keys, pb=pb),
 
2163
                selected_keys)
 
2164
        finally:
 
2165
            pb.finished()
2181
2166
 
2182
2167
    def iter_files_bytes(self, desired_files):
2183
2168
        """Iterate through file versions.
2344
2329
        num_file_ids = len(file_ids)
2345
2330
        for file_id, altered_versions in file_ids.iteritems():
2346
2331
            if pb is not None:
2347
 
                pb.update("Fetch texts", count, num_file_ids)
 
2332
                pb.update("fetch texts", count, num_file_ids)
2348
2333
            count += 1
2349
2334
            yield ("file", file_id, altered_versions)
2350
2335
 
2393
2378
        """single-document based inventory iteration."""
2394
2379
        inv_xmls = self._iter_inventory_xmls(revision_ids, ordering)
2395
2380
        for text, revision_id in inv_xmls:
2396
 
            yield self._deserialise_inventory(revision_id, text)
 
2381
            yield self.deserialise_inventory(revision_id, text)
2397
2382
 
2398
2383
    def _iter_inventory_xmls(self, revision_ids, ordering):
2399
2384
        if ordering is None:
2431
2416
                        next_key = None
2432
2417
                        break
2433
2418
 
2434
 
    def _deserialise_inventory(self, revision_id, xml):
 
2419
    def deserialise_inventory(self, revision_id, xml):
2435
2420
        """Transform the xml into an inventory object.
2436
2421
 
2437
2422
        :param revision_id: The expected revision id of the inventory.
2438
2423
        :param xml: A serialised inventory.
2439
2424
        """
2440
2425
        result = self._serializer.read_inventory_from_string(xml, revision_id,
2441
 
                    entry_cache=self._inventory_entry_cache,
2442
 
                    return_from_cache=self._safe_to_return_from_cache)
 
2426
                    entry_cache=self._inventory_entry_cache)
2443
2427
        if result.revision_id != revision_id:
2444
2428
            raise AssertionError('revision id mismatch %s != %s' % (
2445
2429
                result.revision_id, revision_id))
2446
2430
        return result
2447
2431
 
 
2432
    def serialise_inventory(self, inv):
 
2433
        return self._serializer.write_inventory_to_string(inv)
 
2434
 
 
2435
    def _serialise_inventory_to_lines(self, inv):
 
2436
        return self._serializer.write_inventory_to_lines(inv)
 
2437
 
2448
2438
    def get_serializer_format(self):
2449
2439
        return self._serializer.format_num
2450
2440
 
2451
2441
    @needs_read_lock
2452
 
    def _get_inventory_xml(self, revision_id):
2453
 
        """Get serialized inventory as a string."""
 
2442
    def get_inventory_xml(self, revision_id):
 
2443
        """Get inventory XML as a file object."""
2454
2444
        texts = self._iter_inventory_xmls([revision_id], 'unordered')
2455
2445
        try:
2456
2446
            text, revision_id = texts.next()
2458
2448
            raise errors.HistoryMissing(self, 'inventory', revision_id)
2459
2449
        return text
2460
2450
 
 
2451
    @needs_read_lock
 
2452
    def get_inventory_sha1(self, revision_id):
 
2453
        """Return the sha1 hash of the inventory entry
 
2454
        """
 
2455
        return self.get_revision(revision_id).inventory_sha1
 
2456
 
2461
2457
    def get_rev_id_for_revno(self, revno, known_pair):
2462
2458
        """Return the revision id of a revno, given a later (revno, revid)
2463
2459
        pair in the same history.
2514
2510
            else:
2515
2511
                next_id = parents[0]
2516
2512
 
 
2513
    @needs_read_lock
 
2514
    def get_revision_inventory(self, revision_id):
 
2515
        """Return inventory of a past revision."""
 
2516
        # TODO: Unify this with get_inventory()
 
2517
        # bzr 0.0.6 and later imposes the constraint that the inventory_id
 
2518
        # must be the same as its revision, so this is trivial.
 
2519
        if revision_id is None:
 
2520
            # This does not make sense: if there is no revision,
 
2521
            # then it is the current tree inventory surely ?!
 
2522
            # and thus get_root_id() is something that looks at the last
 
2523
            # commit on the branch, and the get_root_id is an inventory check.
 
2524
            raise NotImplementedError
 
2525
            # return Inventory(self.get_root_id())
 
2526
        else:
 
2527
            return self.get_inventory(revision_id)
 
2528
 
2517
2529
    def is_shared(self):
2518
2530
        """Return True if this repository is flagged as a shared repository."""
2519
2531
        raise NotImplementedError(self.is_shared)
2553
2565
            return RevisionTree(self, Inventory(root_id=None),
2554
2566
                                _mod_revision.NULL_REVISION)
2555
2567
        else:
2556
 
            inv = self.get_inventory(revision_id)
 
2568
            inv = self.get_revision_inventory(revision_id)
2557
2569
            return RevisionTree(self, inv, revision_id)
2558
2570
 
2559
2571
    def revision_trees(self, revision_ids):
2612
2624
            keys = tsort.topo_sort(parent_map)
2613
2625
        return [None] + list(keys)
2614
2626
 
2615
 
    def pack(self, hint=None, clean_obsolete_packs=False):
 
2627
    def pack(self, hint=None):
2616
2628
        """Compress the data within the repository.
2617
2629
 
2618
2630
        This operation only makes sense for some repository types. For other
2628
2640
            obtained from the result of commit_write_group(). Out of
2629
2641
            date hints are simply ignored, because concurrent operations
2630
2642
            can obsolete them rapidly.
2631
 
 
2632
 
        :param clean_obsolete_packs: Clean obsolete packs immediately after
2633
 
            the pack operation.
2634
2643
        """
2635
2644
 
2636
2645
    def get_transaction(self):
2652
2661
        for ((revision_id,), parent_keys) in \
2653
2662
                self.revisions.get_parent_map(query_keys).iteritems():
2654
2663
            if parent_keys:
2655
 
                result[revision_id] = tuple([parent_revid
2656
 
                    for (parent_revid,) in parent_keys])
 
2664
                result[revision_id] = tuple(parent_revid
 
2665
                    for (parent_revid,) in parent_keys)
2657
2666
            else:
2658
2667
                result[revision_id] = (_mod_revision.NULL_REVISION,)
2659
2668
        return result
2661
2670
    def _make_parents_provider(self):
2662
2671
        return self
2663
2672
 
2664
 
    @needs_read_lock
2665
 
    def get_known_graph_ancestry(self, revision_ids):
2666
 
        """Return the known graph for a set of revision ids and their ancestors.
2667
 
        """
2668
 
        st = static_tuple.StaticTuple
2669
 
        revision_keys = [st(r_id).intern() for r_id in revision_ids]
2670
 
        known_graph = self.revisions.get_known_graph_ancestry(revision_keys)
2671
 
        return graph.GraphThunkIdsToKeys(known_graph)
2672
 
 
2673
2673
    def get_graph(self, other_repository=None):
2674
2674
        """Return the graph walker for this repository format"""
2675
2675
        parents_provider = self._make_parents_provider()
2770
2770
        result.check(callback_refs)
2771
2771
        return result
2772
2772
 
2773
 
    def _warn_if_deprecated(self, branch=None):
 
2773
    def _warn_if_deprecated(self):
2774
2774
        global _deprecation_warning_done
2775
2775
        if _deprecation_warning_done:
2776
2776
            return
2777
 
        try:
2778
 
            if branch is None:
2779
 
                conf = config.GlobalConfig()
2780
 
            else:
2781
 
                conf = branch.get_config()
2782
 
            if conf.suppress_warning('format_deprecation'):
2783
 
                return
2784
 
            warning("Format %s for %s is deprecated -"
2785
 
                    " please use 'bzr upgrade' to get better performance"
2786
 
                    % (self._format, self.bzrdir.transport.base))
2787
 
        finally:
2788
 
            _deprecation_warning_done = True
 
2777
        _deprecation_warning_done = True
 
2778
        warning("Format %s for %s is deprecated - please use 'bzr upgrade' to get better performance"
 
2779
                % (self._format, self.bzrdir.transport.base))
2789
2780
 
2790
2781
    def supports_rich_root(self):
2791
2782
        return self._format.rich_root_data
3074
3065
    pack_compresses = False
3075
3066
    # Does the repository inventory storage understand references to trees?
3076
3067
    supports_tree_reference = None
3077
 
    # Is the format experimental ?
3078
 
    experimental = False
3079
3068
 
3080
 
    def __repr__(self):
3081
 
        return "%s()" % self.__class__.__name__
 
3069
    def __str__(self):
 
3070
        return "<%s>" % self.__class__.__name__
3082
3071
 
3083
3072
    def __eq__(self, other):
3084
3073
        # format objects are generally stateless
3097
3086
        """
3098
3087
        try:
3099
3088
            transport = a_bzrdir.get_repository_transport(None)
3100
 
            format_string = transport.get_bytes("format")
 
3089
            format_string = transport.get("format").read()
3101
3090
            return format_registry.get(format_string)
3102
3091
        except errors.NoSuchFile:
3103
3092
            raise errors.NoRepositoryPresent(a_bzrdir)
3202
3191
        """
3203
3192
        raise NotImplementedError(self.open)
3204
3193
 
3205
 
    def _run_post_repo_init_hooks(self, repository, a_bzrdir, shared):
3206
 
        from bzrlib.bzrdir import BzrDir, RepoInitHookParams
3207
 
        hooks = BzrDir.hooks['post_repo_init']
3208
 
        if not hooks:
3209
 
            return
3210
 
        params = RepoInitHookParams(repository, self, a_bzrdir, shared)
3211
 
        for hook in hooks:
3212
 
            hook(params)
3213
 
 
3214
3194
 
3215
3195
class MetaDirRepositoryFormat(RepositoryFormat):
3216
3196
    """Common base class for the new repositories using the metadir layout."""
3421
3401
 
3422
3402
        :param revision_id: if None all content is copied, if NULL_REVISION no
3423
3403
                            content is copied.
3424
 
        :param pb: ignored.
 
3404
        :param pb: optional progress bar to use for progress reports. If not
 
3405
                   provided a default one will be created.
3425
3406
        :return: None.
3426
3407
        """
3427
 
        ui.ui_factory.warn_experimental_format_fetch(self)
3428
3408
        from bzrlib.fetch import RepoFetcher
3429
 
        # See <https://launchpad.net/bugs/456077> asking for a warning here
3430
 
        if self.source._format.network_name() != self.target._format.network_name():
3431
 
            ui.ui_factory.show_user_warning('cross_format_fetch',
3432
 
                from_format=self.source._format,
3433
 
                to_format=self.target._format)
3434
3409
        f = RepoFetcher(to_repository=self.target,
3435
3410
                               from_repository=self.source,
3436
3411
                               last_revision=revision_id,
3437
3412
                               fetch_spec=fetch_spec,
3438
 
                               find_ghosts=find_ghosts)
 
3413
                               pb=pb, find_ghosts=find_ghosts)
3439
3414
 
3440
3415
    def _walk_to_common_revisions(self, revision_ids):
3441
3416
        """Walk out from revision_ids in source to revisions target has.
3610
3585
                self.target.texts.insert_record_stream(
3611
3586
                    self.source.texts.get_record_stream(
3612
3587
                        self.source.texts.keys(), 'topological', False))
3613
 
                pb.update('Copying inventory', 0, 1)
 
3588
                pb.update('copying inventory', 0, 1)
3614
3589
                self.target.inventories.insert_record_stream(
3615
3590
                    self.source.inventories.get_record_stream(
3616
3591
                        self.source.inventories.keys(), 'topological', False))
3837
3812
                basis_id, delta, current_revision_id, parents_parents)
3838
3813
            cache[current_revision_id] = parent_tree
3839
3814
 
3840
 
    def _fetch_batch(self, revision_ids, basis_id, cache, a_graph=None):
 
3815
    def _fetch_batch(self, revision_ids, basis_id, cache):
3841
3816
        """Fetch across a few revisions.
3842
3817
 
3843
3818
        :param revision_ids: The revisions to copy
3844
3819
        :param basis_id: The revision_id of a tree that must be in cache, used
3845
3820
            as a basis for delta when no other base is available
3846
3821
        :param cache: A cache of RevisionTrees that we can use.
3847
 
        :param a_graph: A Graph object to determine the heads() of the
3848
 
            rich-root data stream.
3849
3822
        :return: The revision_id of the last converted tree. The RevisionTree
3850
3823
            for it will be in cache
3851
3824
        """
3858
3831
        pending_revisions = []
3859
3832
        parent_map = self.source.get_parent_map(revision_ids)
3860
3833
        self._fetch_parent_invs_for_stacking(parent_map, cache)
3861
 
        self.source._safe_to_return_from_cache = True
3862
3834
        for tree in self.source.revision_trees(revision_ids):
3863
3835
            # Find a inventory delta for this revision.
3864
3836
            # Find text entries that need to be copied, too.
3872
3844
                possible_trees.append((basis_id, cache[basis_id]))
3873
3845
            basis_id, delta = self._get_delta_for_revision(tree, parent_ids,
3874
3846
                                                           possible_trees)
3875
 
            revision = self.source.get_revision(current_revision_id)
3876
 
            pending_deltas.append((basis_id, delta,
3877
 
                current_revision_id, revision.parent_ids))
3878
3847
            if self._converting_to_rich_root:
3879
3848
                self._revision_id_to_root_id[current_revision_id] = \
3880
3849
                    tree.get_root_id()
3909
3878
                    if entry.revision == file_revision:
3910
3879
                        texts_possibly_new_in_tree.remove(file_key)
3911
3880
            text_keys.update(texts_possibly_new_in_tree)
 
3881
            revision = self.source.get_revision(current_revision_id)
 
3882
            pending_deltas.append((basis_id, delta,
 
3883
                current_revision_id, revision.parent_ids))
3912
3884
            pending_revisions.append(revision)
3913
3885
            cache[current_revision_id] = tree
3914
3886
            basis_id = current_revision_id
3915
 
        self.source._safe_to_return_from_cache = False
3916
3887
        # Copy file texts
3917
3888
        from_texts = self.source.texts
3918
3889
        to_texts = self.target.texts
3919
3890
        if root_keys_to_create:
3920
 
            root_stream = _mod_fetch._new_root_data_stream(
 
3891
            from bzrlib.fetch import _new_root_data_stream
 
3892
            root_stream = _new_root_data_stream(
3921
3893
                root_keys_to_create, self._revision_id_to_root_id, parent_map,
3922
 
                self.source, graph=a_graph)
 
3894
                self.source)
3923
3895
            to_texts.insert_record_stream(root_stream)
3924
3896
        to_texts.insert_record_stream(from_texts.get_record_stream(
3925
3897
            text_keys, self.target._format._fetch_order,
3982
3954
        cache[basis_id] = basis_tree
3983
3955
        del basis_tree # We don't want to hang on to it here
3984
3956
        hints = []
3985
 
        if self._converting_to_rich_root and len(revision_ids) > 100:
3986
 
            a_graph = _mod_fetch._get_rich_root_heads_graph(self.source,
3987
 
                                                            revision_ids)
3988
 
        else:
3989
 
            a_graph = None
3990
 
 
3991
3957
        for offset in range(0, len(revision_ids), batch_size):
3992
3958
            self.target.start_write_group()
3993
3959
            try:
3994
3960
                pb.update('Transferring revisions', offset,
3995
3961
                          len(revision_ids))
3996
3962
                batch = revision_ids[offset:offset+batch_size]
3997
 
                basis_id = self._fetch_batch(batch, basis_id, cache,
3998
 
                                             a_graph=a_graph)
 
3963
                basis_id = self._fetch_batch(batch, basis_id, cache)
3999
3964
            except:
4000
 
                self.source._safe_to_return_from_cache = False
4001
3965
                self.target.abort_write_group()
4002
3966
                raise
4003
3967
            else:
4015
3979
        """See InterRepository.fetch()."""
4016
3980
        if fetch_spec is not None:
4017
3981
            raise AssertionError("Not implemented yet...")
4018
 
        ui.ui_factory.warn_experimental_format_fetch(self)
4019
3982
        if (not self.source.supports_rich_root()
4020
3983
            and self.target.supports_rich_root()):
4021
3984
            self._converting_to_rich_root = True
4022
3985
            self._revision_id_to_root_id = {}
4023
3986
        else:
4024
3987
            self._converting_to_rich_root = False
4025
 
        # See <https://launchpad.net/bugs/456077> asking for a warning here
4026
 
        if self.source._format.network_name() != self.target._format.network_name():
4027
 
            ui.ui_factory.show_user_warning('cross_format_fetch',
4028
 
                from_format=self.source._format,
4029
 
                to_format=self.target._format)
4030
3988
        revision_ids = self.target.search_missing_revision_ids(self.source,
4031
3989
            revision_id, find_ghosts=find_ghosts).get_keys()
4032
3990
        if not revision_ids:
4101
4059
        :param to_convert: The disk object to convert.
4102
4060
        :param pb: a progress bar to use for progress information.
4103
4061
        """
4104
 
        pb = ui.ui_factory.nested_progress_bar()
 
4062
        self.pb = pb
4105
4063
        self.count = 0
4106
4064
        self.total = 4
4107
4065
        # this is only useful with metadir layouts - separated repo content.
4108
4066
        # trigger an assertion if not such
4109
4067
        repo._format.get_format_string()
4110
4068
        self.repo_dir = repo.bzrdir
4111
 
        pb.update('Moving repository to repository.backup')
 
4069
        self.step('Moving repository to repository.backup')
4112
4070
        self.repo_dir.transport.move('repository', 'repository.backup')
4113
4071
        backup_transport =  self.repo_dir.transport.clone('repository.backup')
4114
4072
        repo._format.check_conversion_target(self.target_format)
4115
4073
        self.source_repo = repo._format.open(self.repo_dir,
4116
4074
            _found=True,
4117
4075
            _override_transport=backup_transport)
4118
 
        pb.update('Creating new repository')
 
4076
        self.step('Creating new repository')
4119
4077
        converted = self.target_format.initialize(self.repo_dir,
4120
4078
                                                  self.source_repo.is_shared())
4121
4079
        converted.lock_write()
4122
4080
        try:
4123
 
            pb.update('Copying content')
 
4081
            self.step('Copying content into repository.')
4124
4082
            self.source_repo.copy_content_into(converted)
4125
4083
        finally:
4126
4084
            converted.unlock()
4127
 
        pb.update('Deleting old repository content')
 
4085
        self.step('Deleting old repository content.')
4128
4086
        self.repo_dir.transport.delete_tree('repository.backup')
4129
 
        ui.ui_factory.note('repository converted')
4130
 
        pb.finished()
 
4087
        self.pb.note('repository converted')
 
4088
 
 
4089
    def step(self, message):
 
4090
        """Update the pb by a step."""
 
4091
        self.count +=1
 
4092
        self.pb.update(message, self.count, self.total)
4131
4093
 
4132
4094
 
4133
4095
_unescape_map = {
4353
4315
                ):
4354
4316
                if versioned_file is None:
4355
4317
                    continue
4356
 
                # TODO: key is often going to be a StaticTuple object
4357
 
                #       I don't believe we can define a method by which
4358
 
                #       (prefix,) + StaticTuple will work, though we could
4359
 
                #       define a StaticTuple.sq_concat that would allow you to
4360
 
                #       pass in either a tuple or a StaticTuple as the second
4361
 
                #       object, so instead we could have:
4362
 
                #       StaticTuple(prefix) + key here...
4363
4318
                missing_keys.update((prefix,) + key for key in
4364
4319
                    versioned_file.get_missing_compression_parent_keys())
4365
4320
        except NotImplementedError:
4477
4432
        fetching the inventory weave.
4478
4433
        """
4479
4434
        if self._rich_root_upgrade():
4480
 
            return _mod_fetch.Inter1and2Helper(
 
4435
            import bzrlib.fetch
 
4436
            return bzrlib.fetch.Inter1and2Helper(
4481
4437
                self.from_repository).generate_root_texts(revs)
4482
4438
        else:
4483
4439
            return []
4625
4581
 
4626
4582
    def _get_convertable_inventory_stream(self, revision_ids,
4627
4583
                                          delta_versus_null=False):
4628
 
        # The two formats are sufficiently different that there is no fast
4629
 
        # path, so we need to send just inventorydeltas, which any
4630
 
        # sufficiently modern client can insert into any repository.
4631
 
        # The StreamSink code expects to be able to
 
4584
        # The source is using CHKs, but the target either doesn't or it has a
 
4585
        # different serializer.  The StreamSink code expects to be able to
4632
4586
        # convert on the target, so we need to put bytes-on-the-wire that can
4633
4587
        # be converted.  That means inventory deltas (if the remote is <1.19,
4634
4588
        # RemoteStreamSink will fallback to VFS to insert the deltas).