~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/repository.py

  • Committer: Vincent Ladeuil
  • Date: 2010-08-30 07:42:12 UTC
  • mfrom: (5247.2.39 catch-them-all)
  • mto: This revision was merged to the branch mainline in revision 5396.
  • Revision ID: v.ladeuil+lp@free.fr-20100830074212-y0vj6t3sm1zr706y
Fix most of the leaking tests

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2007, 2008, 2009 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
24
24
    bzrdir,
25
25
    check,
26
26
    chk_map,
 
27
    config,
 
28
    controldir,
27
29
    debug,
28
 
    errors,
 
30
    fetch as _mod_fetch,
29
31
    fifo_cache,
30
32
    generate_ids,
31
33
    gpg,
32
34
    graph,
33
35
    inventory,
 
36
    inventory_delta,
34
37
    lazy_regex,
35
38
    lockable_files,
36
39
    lockdir,
37
40
    lru_cache,
38
41
    osutils,
39
42
    revision as _mod_revision,
 
43
    static_tuple,
40
44
    symbol_versioning,
 
45
    trace,
41
46
    tsort,
42
 
    ui,
43
47
    versionedfile,
44
48
    )
45
49
from bzrlib.bundle import serializer
48
52
from bzrlib.testament import Testament
49
53
""")
50
54
 
51
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
55
from bzrlib import (
 
56
    errors,
 
57
    registry,
 
58
    ui,
 
59
    )
 
60
from bzrlib.decorators import needs_read_lock, needs_write_lock, only_raises
52
61
from bzrlib.inter import InterObject
53
62
from bzrlib.inventory import (
54
63
    Inventory,
56
65
    ROOT_ID,
57
66
    entry_factory,
58
67
    )
59
 
from bzrlib import registry
 
68
from bzrlib.recordcounter import RecordCounter
 
69
from bzrlib.lock import _RelockDebugMixin, LogicalLockResult
60
70
from bzrlib.trace import (
61
71
    log_exception_quietly, note, mutter, mutter_callsite, warning)
62
72
 
65
75
_deprecation_warning_done = False
66
76
 
67
77
 
 
78
class IsInWriteGroupError(errors.InternalBzrError):
 
79
 
 
80
    _fmt = "May not refresh_data of repo %(repo)s while in a write group."
 
81
 
 
82
    def __init__(self, repo):
 
83
        errors.InternalBzrError.__init__(self, repo=repo)
 
84
 
 
85
 
68
86
class CommitBuilder(object):
69
87
    """Provides an interface to build up a commit.
70
88
 
204
222
            # an inventory delta was accumulated without creating a new
205
223
            # inventory.
206
224
            basis_id = self.basis_delta_revision
207
 
            self.inv_sha1 = self.repository.add_inventory_by_delta(
 
225
            # We ignore the 'inventory' returned by add_inventory_by_delta
 
226
            # because self.new_inventory is used to hint to the rest of the
 
227
            # system what code path was taken
 
228
            self.inv_sha1, _ = self.repository.add_inventory_by_delta(
208
229
                basis_id, self._basis_delta, self._new_revision_id,
209
230
                self.parents)
210
231
        else:
222
243
 
223
244
    def _gen_revision_id(self):
224
245
        """Return new revision-id."""
225
 
        return generate_ids.gen_revision_id(self._config.username(),
226
 
                                            self._timestamp)
 
246
        return generate_ids.gen_revision_id(self._committer, self._timestamp)
227
247
 
228
248
    def _generate_revision_if_needed(self):
229
249
        """Create a revision id if None was supplied.
269
289
 
270
290
        :param tree: The tree which is being committed.
271
291
        """
272
 
        # NB: if there are no parents then this method is not called, so no
273
 
        # need to guard on parents having length.
 
292
        if len(self.parents) == 0:
 
293
            raise errors.RootMissing()
274
294
        entry = entry_factory['directory'](tree.path2id(''), '',
275
295
            None)
276
296
        entry.revision = self._new_revision_id
464
484
            if content_summary[2] is None:
465
485
                raise ValueError("Files must not have executable = None")
466
486
            if not store:
467
 
                if (# if the file length changed we have to store:
468
 
                    parent_entry.text_size != content_summary[1] or
469
 
                    # if the exec bit has changed we have to store:
 
487
                # We can't trust a check of the file length because of content
 
488
                # filtering...
 
489
                if (# if the exec bit has changed we have to store:
470
490
                    parent_entry.executable != content_summary[2]):
471
491
                    store = True
472
492
                elif parent_entry.text_sha1 == content_summary[3]:
539
559
                ie.revision = parent_entry.revision
540
560
                return self._get_delta(ie, basis_inv, path), False, None
541
561
            ie.reference_revision = content_summary[3]
 
562
            if ie.reference_revision is None:
 
563
                raise AssertionError("invalid content_summary for nested tree: %r"
 
564
                    % (content_summary,))
542
565
            self._add_text_to_weave(ie.file_id, '', heads, None)
543
566
        else:
544
567
            raise NotImplementedError('unknown kind')
806
829
                seen_root = True
807
830
        self.new_inventory = None
808
831
        if len(inv_delta):
 
832
            # This should perhaps be guarded by a check that the basis we
 
833
            # commit against is the basis for the commit and if not do a delta
 
834
            # against the basis.
809
835
            self._any_changes = True
810
836
        if not seen_root:
811
837
            # housekeeping root entry changes do not affect no-change commits.
845
871
        # versioned roots do not change unless the tree found a change.
846
872
 
847
873
 
 
874
class RepositoryWriteLockResult(LogicalLockResult):
 
875
    """The result of write locking a repository.
 
876
 
 
877
    :ivar repository_token: The token obtained from the underlying lock, or
 
878
        None.
 
879
    :ivar unlock: A callable which will unlock the lock.
 
880
    """
 
881
 
 
882
    def __init__(self, unlock, repository_token):
 
883
        LogicalLockResult.__init__(self, unlock)
 
884
        self.repository_token = repository_token
 
885
 
 
886
    def __repr__(self):
 
887
        return "RepositoryWriteLockResult(%s, %s)" % (self.repository_token,
 
888
            self.unlock)
 
889
 
 
890
 
848
891
######################################################################
849
892
# Repositories
850
893
 
851
894
 
852
 
class Repository(object):
 
895
class Repository(_RelockDebugMixin, controldir.ControlComponent):
853
896
    """Repository holding history for one or more branches.
854
897
 
855
898
    The repository holds and retrieves historical information including
924
967
        """
925
968
        if self._write_group is not self.get_transaction():
926
969
            # has an unlock or relock occured ?
 
970
            if suppress_errors:
 
971
                mutter(
 
972
                '(suppressed) mismatched lock context and write group. %r, %r',
 
973
                self._write_group, self.get_transaction())
 
974
                return
927
975
            raise errors.BzrError(
928
976
                'mismatched lock context and write group. %r, %r' %
929
977
                (self._write_group, self.get_transaction()))
998
1046
                " id and insertion revid (%r, %r)"
999
1047
                % (inv.revision_id, revision_id))
1000
1048
        if inv.root is None:
1001
 
            raise AssertionError()
 
1049
            raise errors.RootMissing()
1002
1050
        return self._add_inventory_checked(revision_id, inv, parents)
1003
1051
 
1004
1052
    def _add_inventory_checked(self, revision_id, inv, parents):
1008
1056
 
1009
1057
        :seealso: add_inventory, for the contract.
1010
1058
        """
1011
 
        inv_lines = self._serialise_inventory_to_lines(inv)
 
1059
        inv_lines = self._serializer.write_inventory_to_lines(inv)
1012
1060
        return self._inventory_add_lines(revision_id, parents,
1013
1061
            inv_lines, check_content=False)
1014
1062
 
1063
1111
        check_content=True):
1064
1112
        """Store lines in inv_vf and return the sha1 of the inventory."""
1065
1113
        parents = [(parent,) for parent in parents]
1066
 
        return self.inventories.add_lines((revision_id,), parents, lines,
 
1114
        result = self.inventories.add_lines((revision_id,), parents, lines,
1067
1115
            check_content=check_content)[0]
 
1116
        self.inventories._access.flush()
 
1117
        return result
1068
1118
 
1069
1119
    def add_revision(self, revision_id, rev, inv=None, config=None):
1070
1120
        """Add rev to the revision store as revision_id.
1208
1258
                    for record in getattr(self, kind).check(keys=keys[kind]):
1209
1259
                        if record.storage_kind == 'absent':
1210
1260
                            checker._report_items.append(
1211
 
                                'Missing inventory {%s}' % (record.key,))
 
1261
                                'Missing %s {%s}' % (kind, record.key,))
1212
1262
                        else:
1213
1263
                            last_object = self._check_record(kind, record,
1214
1264
                                checker, last_object, current_keys[(kind,) + record.key])
1219
1269
        """Check a single text from this repository."""
1220
1270
        if kind == 'inventories':
1221
1271
            rev_id = record.key[0]
1222
 
            inv = self.deserialise_inventory(rev_id,
 
1272
            inv = self._deserialise_inventory(rev_id,
1223
1273
                record.get_bytes_as('fulltext'))
1224
1274
            if last_object is not None:
1225
1275
                delta = inv._make_delta(last_object)
1269
1319
 
1270
1320
        :param _format: The format of the repository on disk.
1271
1321
        :param a_bzrdir: The BzrDir of the repository.
1272
 
 
1273
 
        In the future we will have a single api for all stores for
1274
 
        getting file texts, inventories and revisions, then
1275
 
        this construct will accept instances of those things.
1276
1322
        """
 
1323
        # In the future we will have a single api for all stores for
 
1324
        # getting file texts, inventories and revisions, then
 
1325
        # this construct will accept instances of those things.
1277
1326
        super(Repository, self).__init__()
1278
1327
        self._format = _format
1279
1328
        # the following are part of the public API for Repository:
1285
1334
        self._reconcile_does_inventory_gc = True
1286
1335
        self._reconcile_fixes_text_parents = False
1287
1336
        self._reconcile_backsup_inventory = True
1288
 
        # not right yet - should be more semantically clear ?
1289
 
        #
1290
 
        # TODO: make sure to construct the right store classes, etc, depending
1291
 
        # on whether escaping is required.
1292
 
        self._warn_if_deprecated()
1293
1337
        self._write_group = None
1294
1338
        # Additional places to query for data.
1295
1339
        self._fallback_repositories = []
1296
1340
        # An InventoryEntry cache, used during deserialization
1297
1341
        self._inventory_entry_cache = fifo_cache.FIFOCache(10*1024)
 
1342
        # Is it safe to return inventory entries directly from the entry cache,
 
1343
        # rather copying them?
 
1344
        self._safe_to_return_from_cache = False
 
1345
 
 
1346
    @property
 
1347
    def user_transport(self):
 
1348
        return self.bzrdir.user_transport
 
1349
 
 
1350
    @property
 
1351
    def control_transport(self):
 
1352
        return self._transport
1298
1353
 
1299
1354
    def __repr__(self):
1300
1355
        if self._fallback_repositories:
1349
1404
        data during reads, and allows a 'write_group' to be obtained. Write
1350
1405
        groups must be used for actual data insertion.
1351
1406
 
 
1407
        A token should be passed in if you know that you have locked the object
 
1408
        some other way, and need to synchronise this object's state with that
 
1409
        fact.
 
1410
 
 
1411
        XXX: this docstring is duplicated in many places, e.g. lockable_files.py
 
1412
 
1352
1413
        :param token: if this is already locked, then lock_write will fail
1353
1414
            unless the token matches the existing lock.
1354
1415
        :returns: a token if this instance supports tokens, otherwise None.
1357
1418
        :raises MismatchedToken: if the specified token doesn't match the token
1358
1419
            of the existing lock.
1359
1420
        :seealso: start_write_group.
1360
 
 
1361
 
        A token should be passed in if you know that you have locked the object
1362
 
        some other way, and need to synchronise this object's state with that
1363
 
        fact.
1364
 
 
1365
 
        XXX: this docstring is duplicated in many places, e.g. lockable_files.py
 
1421
        :return: A RepositoryWriteLockResult.
1366
1422
        """
1367
1423
        locked = self.is_locked()
1368
 
        result = self.control_files.lock_write(token=token)
 
1424
        token = self.control_files.lock_write(token=token)
1369
1425
        if not locked:
 
1426
            self._warn_if_deprecated()
 
1427
            self._note_lock('w')
1370
1428
            for repo in self._fallback_repositories:
1371
1429
                # Writes don't affect fallback repos
1372
1430
                repo.lock_read()
1373
1431
            self._refresh_data()
1374
 
        return result
 
1432
        return RepositoryWriteLockResult(self.unlock, token)
1375
1433
 
1376
1434
    def lock_read(self):
 
1435
        """Lock the repository for read operations.
 
1436
 
 
1437
        :return: An object with an unlock method which will release the lock
 
1438
            obtained.
 
1439
        """
1377
1440
        locked = self.is_locked()
1378
1441
        self.control_files.lock_read()
1379
1442
        if not locked:
 
1443
            self._warn_if_deprecated()
 
1444
            self._note_lock('r')
1380
1445
            for repo in self._fallback_repositories:
1381
1446
                repo.lock_read()
1382
1447
            self._refresh_data()
 
1448
        return LogicalLockResult(self.unlock)
1383
1449
 
1384
1450
    def get_physical_lock_status(self):
1385
1451
        return self.control_files.get_physical_lock_status()
1445
1511
 
1446
1512
        # now gather global repository information
1447
1513
        # XXX: This is available for many repos regardless of listability.
1448
 
        if self.bzrdir.root_transport.listable():
 
1514
        if self.user_transport.listable():
1449
1515
            # XXX: do we want to __define len__() ?
1450
1516
            # Maybe the versionedfiles object should provide a different
1451
1517
            # method to get the number of keys.
1461
1527
        :param using: If True, list only branches using this repository.
1462
1528
        """
1463
1529
        if using and not self.is_shared():
1464
 
            try:
1465
 
                return [self.bzrdir.open_branch()]
1466
 
            except errors.NotBranchError:
1467
 
                return []
 
1530
            return self.bzrdir.list_branches()
1468
1531
        class Evaluator(object):
1469
1532
 
1470
1533
            def __init__(self):
1479
1542
                    except errors.NoRepositoryPresent:
1480
1543
                        pass
1481
1544
                    else:
1482
 
                        return False, (None, repository)
 
1545
                        return False, ([], repository)
1483
1546
                self.first_call = False
1484
 
                try:
1485
 
                    value = (bzrdir.open_branch(), None)
1486
 
                except errors.NotBranchError:
1487
 
                    value = (None, None)
 
1547
                value = (bzrdir.list_branches(), None)
1488
1548
                return True, value
1489
1549
 
1490
 
        branches = []
1491
 
        for branch, repository in bzrdir.BzrDir.find_bzrdirs(
1492
 
                self.bzrdir.root_transport, evaluate=Evaluator()):
1493
 
            if branch is not None:
1494
 
                branches.append(branch)
 
1550
        ret = []
 
1551
        for branches, repository in bzrdir.BzrDir.find_bzrdirs(
 
1552
                self.user_transport, evaluate=Evaluator()):
 
1553
            if branches is not None:
 
1554
                ret.extend(branches)
1495
1555
            if not using and repository is not None:
1496
 
                branches.extend(repository.find_branches())
1497
 
        return branches
 
1556
                ret.extend(repository.find_branches())
 
1557
        return ret
1498
1558
 
1499
1559
    @needs_read_lock
1500
1560
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
1529
1589
        """Commit the contents accrued within the current write group.
1530
1590
 
1531
1591
        :seealso: start_write_group.
 
1592
        
 
1593
        :return: it may return an opaque hint that can be passed to 'pack'.
1532
1594
        """
1533
1595
        if self._write_group is not self.get_transaction():
1534
1596
            # has an unlock or relock occured ?
1588
1650
        # but at the moment we're only checking for texts referenced by
1589
1651
        # inventories at the graph's edge.
1590
1652
        key_deps = self.revisions._index._key_dependencies
1591
 
        key_deps.add_keys(present_inventories)
 
1653
        key_deps.satisfy_refs_for_keys(present_inventories)
1592
1654
        referrers = frozenset(r[0] for r in key_deps.get_referrers())
1593
1655
        file_ids = self.fileids_altered_by_revision_ids(referrers)
1594
1656
        missing_texts = set()
1607
1669
        return missing_keys
1608
1670
 
1609
1671
    def refresh_data(self):
1610
 
        """Re-read any data needed to to synchronise with disk.
 
1672
        """Re-read any data needed to synchronise with disk.
1611
1673
 
1612
1674
        This method is intended to be called after another repository instance
1613
1675
        (such as one used by a smart server) has inserted data into the
1614
 
        repository. It may not be called during a write group, but may be
1615
 
        called at any other time.
 
1676
        repository. On all repositories this will work outside of write groups.
 
1677
        Some repository formats (pack and newer for bzrlib native formats)
 
1678
        support refresh_data inside write groups. If called inside a write
 
1679
        group on a repository that does not support refreshing in a write group
 
1680
        IsInWriteGroupError will be raised.
1616
1681
        """
1617
 
        if self.is_in_write_group():
1618
 
            raise errors.InternalBzrError(
1619
 
                "May not refresh_data while in a write group.")
1620
1682
        self._refresh_data()
1621
1683
 
1622
1684
    def resume_write_group(self, tokens):
1661
1723
                "May not fetch while in a write group.")
1662
1724
        # fast path same-url fetch operations
1663
1725
        # TODO: lift out to somewhere common with RemoteRepository
1664
 
        # <https://bugs.edge.launchpad.net/bzr/+bug/401646>
 
1726
        # <https://bugs.launchpad.net/bzr/+bug/401646>
1665
1727
        if (self.has_same_location(source)
1666
1728
            and fetch_spec is None
1667
1729
            and self._has_same_fallbacks(source)):
1695
1757
        :param revprops: Optional dictionary of revision properties.
1696
1758
        :param revision_id: Optional revision id.
1697
1759
        """
 
1760
        if self._fallback_repositories:
 
1761
            raise errors.BzrError("Cannot commit from a lightweight checkout "
 
1762
                "to a stacked branch. See "
 
1763
                "https://bugs.launchpad.net/bzr/+bug/375013 for details.")
1698
1764
        result = self._commit_builder_class(self, parents, config,
1699
1765
            timestamp, timezone, committer, revprops, revision_id)
1700
1766
        self.start_write_group()
1701
1767
        return result
1702
1768
 
 
1769
    @only_raises(errors.LockNotHeld, errors.LockBroken)
1703
1770
    def unlock(self):
1704
1771
        if (self.control_files._lock_count == 1 and
1705
1772
            self.control_files._lock_mode == 'w'):
1871
1938
                rev = self._serializer.read_revision_from_string(text)
1872
1939
                yield (revid, rev)
1873
1940
 
1874
 
    @needs_read_lock
1875
 
    def get_revision_xml(self, revision_id):
1876
 
        # TODO: jam 20070210 This shouldn't be necessary since get_revision
1877
 
        #       would have already do it.
1878
 
        # TODO: jam 20070210 Just use _serializer.write_revision_to_string()
1879
 
        # TODO: this can't just be replaced by:
1880
 
        # return self._serializer.write_revision_to_string(
1881
 
        #     self.get_revision(revision_id))
1882
 
        # as cStringIO preservers the encoding unlike write_revision_to_string
1883
 
        # or some other call down the path.
1884
 
        rev = self.get_revision(revision_id)
1885
 
        rev_tmp = cStringIO.StringIO()
1886
 
        # the current serializer..
1887
 
        self._serializer.write_revision(rev, rev_tmp)
1888
 
        rev_tmp.seek(0)
1889
 
        return rev_tmp.getvalue()
1890
 
 
1891
1941
    def get_deltas_for_revisions(self, revisions, specific_fileids=None):
1892
1942
        """Produce a generator of revision deltas.
1893
1943
 
2135
2185
        """
2136
2186
        selected_keys = set((revid,) for revid in revision_ids)
2137
2187
        w = _inv_weave or self.inventories
2138
 
        pb = ui.ui_factory.nested_progress_bar()
2139
 
        try:
2140
 
            return self._find_file_ids_from_xml_inventory_lines(
2141
 
                w.iter_lines_added_or_present_in_keys(
2142
 
                    selected_keys, pb=pb),
2143
 
                selected_keys)
2144
 
        finally:
2145
 
            pb.finished()
 
2188
        return self._find_file_ids_from_xml_inventory_lines(
 
2189
            w.iter_lines_added_or_present_in_keys(
 
2190
                selected_keys, pb=None),
 
2191
            selected_keys)
2146
2192
 
2147
2193
    def iter_files_bytes(self, desired_files):
2148
2194
        """Iterate through file versions.
2309
2355
        num_file_ids = len(file_ids)
2310
2356
        for file_id, altered_versions in file_ids.iteritems():
2311
2357
            if pb is not None:
2312
 
                pb.update("fetch texts", count, num_file_ids)
 
2358
                pb.update("Fetch texts", count, num_file_ids)
2313
2359
            count += 1
2314
2360
            yield ("file", file_id, altered_versions)
2315
2361
 
2336
2382
        """Get Inventory object by revision id."""
2337
2383
        return self.iter_inventories([revision_id]).next()
2338
2384
 
2339
 
    def iter_inventories(self, revision_ids):
 
2385
    def iter_inventories(self, revision_ids, ordering=None):
2340
2386
        """Get many inventories by revision_ids.
2341
2387
 
2342
2388
        This will buffer some or all of the texts used in constructing the
2344
2390
        time.
2345
2391
 
2346
2392
        :param revision_ids: The expected revision ids of the inventories.
 
2393
        :param ordering: optional ordering, e.g. 'topological'.  If not
 
2394
            specified, the order of revision_ids will be preserved (by
 
2395
            buffering if necessary).
2347
2396
        :return: An iterator of inventories.
2348
2397
        """
2349
2398
        if ((None in revision_ids)
2350
2399
            or (_mod_revision.NULL_REVISION in revision_ids)):
2351
2400
            raise ValueError('cannot get null revision inventory')
2352
 
        return self._iter_inventories(revision_ids)
 
2401
        return self._iter_inventories(revision_ids, ordering)
2353
2402
 
2354
 
    def _iter_inventories(self, revision_ids):
 
2403
    def _iter_inventories(self, revision_ids, ordering):
2355
2404
        """single-document based inventory iteration."""
2356
 
        for text, revision_id in self._iter_inventory_xmls(revision_ids):
2357
 
            yield self.deserialise_inventory(revision_id, text)
 
2405
        inv_xmls = self._iter_inventory_xmls(revision_ids, ordering)
 
2406
        for text, revision_id in inv_xmls:
 
2407
            yield self._deserialise_inventory(revision_id, text)
2358
2408
 
2359
 
    def _iter_inventory_xmls(self, revision_ids):
 
2409
    def _iter_inventory_xmls(self, revision_ids, ordering):
 
2410
        if ordering is None:
 
2411
            order_as_requested = True
 
2412
            ordering = 'unordered'
 
2413
        else:
 
2414
            order_as_requested = False
2360
2415
        keys = [(revision_id,) for revision_id in revision_ids]
2361
 
        stream = self.inventories.get_record_stream(keys, 'unordered', True)
 
2416
        if not keys:
 
2417
            return
 
2418
        if order_as_requested:
 
2419
            key_iter = iter(keys)
 
2420
            next_key = key_iter.next()
 
2421
        stream = self.inventories.get_record_stream(keys, ordering, True)
2362
2422
        text_chunks = {}
2363
2423
        for record in stream:
2364
2424
            if record.storage_kind != 'absent':
2365
 
                text_chunks[record.key] = record.get_bytes_as('chunked')
 
2425
                chunks = record.get_bytes_as('chunked')
 
2426
                if order_as_requested:
 
2427
                    text_chunks[record.key] = chunks
 
2428
                else:
 
2429
                    yield ''.join(chunks), record.key[-1]
2366
2430
            else:
2367
2431
                raise errors.NoSuchRevision(self, record.key)
2368
 
        for key in keys:
2369
 
            chunks = text_chunks.pop(key)
2370
 
            yield ''.join(chunks), key[-1]
 
2432
            if order_as_requested:
 
2433
                # Yield as many results as we can while preserving order.
 
2434
                while next_key in text_chunks:
 
2435
                    chunks = text_chunks.pop(next_key)
 
2436
                    yield ''.join(chunks), next_key[-1]
 
2437
                    try:
 
2438
                        next_key = key_iter.next()
 
2439
                    except StopIteration:
 
2440
                        # We still want to fully consume the get_record_stream,
 
2441
                        # just in case it is not actually finished at this point
 
2442
                        next_key = None
 
2443
                        break
2371
2444
 
2372
 
    def deserialise_inventory(self, revision_id, xml):
 
2445
    def _deserialise_inventory(self, revision_id, xml):
2373
2446
        """Transform the xml into an inventory object.
2374
2447
 
2375
2448
        :param revision_id: The expected revision id of the inventory.
2376
2449
        :param xml: A serialised inventory.
2377
2450
        """
2378
2451
        result = self._serializer.read_inventory_from_string(xml, revision_id,
2379
 
                    entry_cache=self._inventory_entry_cache)
 
2452
                    entry_cache=self._inventory_entry_cache,
 
2453
                    return_from_cache=self._safe_to_return_from_cache)
2380
2454
        if result.revision_id != revision_id:
2381
2455
            raise AssertionError('revision id mismatch %s != %s' % (
2382
2456
                result.revision_id, revision_id))
2383
2457
        return result
2384
2458
 
2385
 
    def serialise_inventory(self, inv):
2386
 
        return self._serializer.write_inventory_to_string(inv)
2387
 
 
2388
 
    def _serialise_inventory_to_lines(self, inv):
2389
 
        return self._serializer.write_inventory_to_lines(inv)
2390
 
 
2391
2459
    def get_serializer_format(self):
2392
2460
        return self._serializer.format_num
2393
2461
 
2394
2462
    @needs_read_lock
2395
 
    def get_inventory_xml(self, revision_id):
2396
 
        """Get inventory XML as a file object."""
2397
 
        texts = self._iter_inventory_xmls([revision_id])
 
2463
    def _get_inventory_xml(self, revision_id):
 
2464
        """Get serialized inventory as a string."""
 
2465
        texts = self._iter_inventory_xmls([revision_id], 'unordered')
2398
2466
        try:
2399
2467
            text, revision_id = texts.next()
2400
2468
        except StopIteration:
2401
2469
            raise errors.HistoryMissing(self, 'inventory', revision_id)
2402
2470
        return text
2403
2471
 
2404
 
    @needs_read_lock
2405
 
    def get_inventory_sha1(self, revision_id):
2406
 
        """Return the sha1 hash of the inventory entry
2407
 
        """
2408
 
        return self.get_revision(revision_id).inventory_sha1
2409
 
 
2410
2472
    def get_rev_id_for_revno(self, revno, known_pair):
2411
2473
        """Return the revision id of a revno, given a later (revno, revid)
2412
2474
        pair in the same history.
2463
2525
            else:
2464
2526
                next_id = parents[0]
2465
2527
 
2466
 
    @needs_read_lock
2467
 
    def get_revision_inventory(self, revision_id):
2468
 
        """Return inventory of a past revision."""
2469
 
        # TODO: Unify this with get_inventory()
2470
 
        # bzr 0.0.6 and later imposes the constraint that the inventory_id
2471
 
        # must be the same as its revision, so this is trivial.
2472
 
        if revision_id is None:
2473
 
            # This does not make sense: if there is no revision,
2474
 
            # then it is the current tree inventory surely ?!
2475
 
            # and thus get_root_id() is something that looks at the last
2476
 
            # commit on the branch, and the get_root_id is an inventory check.
2477
 
            raise NotImplementedError
2478
 
            # return Inventory(self.get_root_id())
2479
 
        else:
2480
 
            return self.get_inventory(revision_id)
2481
 
 
2482
2528
    def is_shared(self):
2483
2529
        """Return True if this repository is flagged as a shared repository."""
2484
2530
        raise NotImplementedError(self.is_shared)
2518
2564
            return RevisionTree(self, Inventory(root_id=None),
2519
2565
                                _mod_revision.NULL_REVISION)
2520
2566
        else:
2521
 
            inv = self.get_revision_inventory(revision_id)
 
2567
            inv = self.get_inventory(revision_id)
2522
2568
            return RevisionTree(self, inv, revision_id)
2523
2569
 
2524
2570
    def revision_trees(self, revision_ids):
2577
2623
            keys = tsort.topo_sort(parent_map)
2578
2624
        return [None] + list(keys)
2579
2625
 
2580
 
    def pack(self, hint=None):
 
2626
    def pack(self, hint=None, clean_obsolete_packs=False):
2581
2627
        """Compress the data within the repository.
2582
2628
 
2583
2629
        This operation only makes sense for some repository types. For other
2593
2639
            obtained from the result of commit_write_group(). Out of
2594
2640
            date hints are simply ignored, because concurrent operations
2595
2641
            can obsolete them rapidly.
 
2642
 
 
2643
        :param clean_obsolete_packs: Clean obsolete packs immediately after
 
2644
            the pack operation.
2596
2645
        """
2597
2646
 
2598
2647
    def get_transaction(self):
2614
2663
        for ((revision_id,), parent_keys) in \
2615
2664
                self.revisions.get_parent_map(query_keys).iteritems():
2616
2665
            if parent_keys:
2617
 
                result[revision_id] = tuple(parent_revid
2618
 
                    for (parent_revid,) in parent_keys)
 
2666
                result[revision_id] = tuple([parent_revid
 
2667
                    for (parent_revid,) in parent_keys])
2619
2668
            else:
2620
2669
                result[revision_id] = (_mod_revision.NULL_REVISION,)
2621
2670
        return result
2623
2672
    def _make_parents_provider(self):
2624
2673
        return self
2625
2674
 
 
2675
    @needs_read_lock
 
2676
    def get_known_graph_ancestry(self, revision_ids):
 
2677
        """Return the known graph for a set of revision ids and their ancestors.
 
2678
        """
 
2679
        st = static_tuple.StaticTuple
 
2680
        revision_keys = [st(r_id).intern() for r_id in revision_ids]
 
2681
        known_graph = self.revisions.get_known_graph_ancestry(revision_keys)
 
2682
        return graph.GraphThunkIdsToKeys(known_graph)
 
2683
 
2626
2684
    def get_graph(self, other_repository=None):
2627
2685
        """Return the graph walker for this repository format"""
2628
2686
        parents_provider = self._make_parents_provider()
2723
2781
        result.check(callback_refs)
2724
2782
        return result
2725
2783
 
2726
 
    def _warn_if_deprecated(self):
 
2784
    def _warn_if_deprecated(self, branch=None):
2727
2785
        global _deprecation_warning_done
2728
2786
        if _deprecation_warning_done:
2729
2787
            return
2730
 
        _deprecation_warning_done = True
2731
 
        warning("Format %s for %s is deprecated - please use 'bzr upgrade' to get better performance"
2732
 
                % (self._format, self.bzrdir.transport.base))
 
2788
        try:
 
2789
            if branch is None:
 
2790
                conf = config.GlobalConfig()
 
2791
            else:
 
2792
                conf = branch.get_config()
 
2793
            if conf.suppress_warning('format_deprecation'):
 
2794
                return
 
2795
            warning("Format %s for %s is deprecated -"
 
2796
                    " please use 'bzr upgrade' to get better performance"
 
2797
                    % (self._format, self.bzrdir.transport.base))
 
2798
        finally:
 
2799
            _deprecation_warning_done = True
2733
2800
 
2734
2801
    def supports_rich_root(self):
2735
2802
        return self._format.rich_root_data
3016
3083
    # help), and for fetching when data won't have come from the same
3017
3084
    # compressor.
3018
3085
    pack_compresses = False
 
3086
    # Does the repository inventory storage understand references to trees?
 
3087
    supports_tree_reference = None
 
3088
    # Is the format experimental ?
 
3089
    experimental = False
3019
3090
 
3020
 
    def __str__(self):
3021
 
        return "<%s>" % self.__class__.__name__
 
3091
    def __repr__(self):
 
3092
        return "%s()" % self.__class__.__name__
3022
3093
 
3023
3094
    def __eq__(self, other):
3024
3095
        # format objects are generally stateless
3037
3108
        """
3038
3109
        try:
3039
3110
            transport = a_bzrdir.get_repository_transport(None)
3040
 
            format_string = transport.get("format").read()
 
3111
            format_string = transport.get_bytes("format")
3041
3112
            return format_registry.get(format_string)
3042
3113
        except errors.NoSuchFile:
3043
3114
            raise errors.NoRepositoryPresent(a_bzrdir)
3125
3196
        raise NotImplementedError(self.network_name)
3126
3197
 
3127
3198
    def check_conversion_target(self, target_format):
3128
 
        raise NotImplementedError(self.check_conversion_target)
 
3199
        if self.rich_root_data and not target_format.rich_root_data:
 
3200
            raise errors.BadConversionTarget(
 
3201
                'Does not support rich root data.', target_format,
 
3202
                from_format=self)
 
3203
        if (self.supports_tree_reference and 
 
3204
            not getattr(target_format, 'supports_tree_reference', False)):
 
3205
            raise errors.BadConversionTarget(
 
3206
                'Does not support nested trees', target_format,
 
3207
                from_format=self)
3129
3208
 
3130
3209
    def open(self, a_bzrdir, _found=False):
3131
3210
        """Return an instance of this format for the bzrdir a_bzrdir.
3134
3213
        """
3135
3214
        raise NotImplementedError(self.open)
3136
3215
 
 
3216
    def _run_post_repo_init_hooks(self, repository, a_bzrdir, shared):
 
3217
        from bzrlib.bzrdir import BzrDir, RepoInitHookParams
 
3218
        hooks = BzrDir.hooks['post_repo_init']
 
3219
        if not hooks:
 
3220
            return
 
3221
        params = RepoInitHookParams(repository, self, a_bzrdir, shared)
 
3222
        for hook in hooks:
 
3223
            hook(params)
 
3224
 
3137
3225
 
3138
3226
class MetaDirRepositoryFormat(RepositoryFormat):
3139
3227
    """Common base class for the new repositories using the metadir layout."""
3344
3432
 
3345
3433
        :param revision_id: if None all content is copied, if NULL_REVISION no
3346
3434
                            content is copied.
3347
 
        :param pb: optional progress bar to use for progress reports. If not
3348
 
                   provided a default one will be created.
 
3435
        :param pb: ignored.
3349
3436
        :return: None.
3350
3437
        """
 
3438
        ui.ui_factory.warn_experimental_format_fetch(self)
3351
3439
        from bzrlib.fetch import RepoFetcher
 
3440
        # See <https://launchpad.net/bugs/456077> asking for a warning here
 
3441
        if self.source._format.network_name() != self.target._format.network_name():
 
3442
            ui.ui_factory.show_user_warning('cross_format_fetch',
 
3443
                from_format=self.source._format,
 
3444
                to_format=self.target._format)
3352
3445
        f = RepoFetcher(to_repository=self.target,
3353
3446
                               from_repository=self.source,
3354
3447
                               last_revision=revision_id,
3355
3448
                               fetch_spec=fetch_spec,
3356
 
                               pb=pb, find_ghosts=find_ghosts)
 
3449
                               find_ghosts=find_ghosts)
3357
3450
 
3358
3451
    def _walk_to_common_revisions(self, revision_ids):
3359
3452
        """Walk out from revision_ids in source to revisions target has.
3528
3621
                self.target.texts.insert_record_stream(
3529
3622
                    self.source.texts.get_record_stream(
3530
3623
                        self.source.texts.keys(), 'topological', False))
3531
 
                pb.update('copying inventory', 0, 1)
 
3624
                pb.update('Copying inventory', 0, 1)
3532
3625
                self.target.inventories.insert_record_stream(
3533
3626
                    self.source.inventories.get_record_stream(
3534
3627
                        self.source.inventories.keys(), 'topological', False))
3660
3753
        # This is redundant with format.check_conversion_target(), however that
3661
3754
        # raises an exception, and we just want to say "False" as in we won't
3662
3755
        # support converting between these formats.
 
3756
        if 'IDS_never' in debug.debug_flags:
 
3757
            return False
3663
3758
        if source.supports_rich_root() and not target.supports_rich_root():
3664
3759
            return False
3665
3760
        if (source._format.supports_tree_reference
3666
3761
            and not target._format.supports_tree_reference):
3667
3762
            return False
 
3763
        if target._fallback_repositories and target._format.supports_chks:
 
3764
            # IDS doesn't know how to copy CHKs for the parent inventories it
 
3765
            # adds to stacked repos.
 
3766
            return False
 
3767
        if 'IDS_always' in debug.debug_flags:
 
3768
            return True
 
3769
        # Only use this code path for local source and target.  IDS does far
 
3770
        # too much IO (both bandwidth and roundtrips) over a network.
 
3771
        if not source.bzrdir.transport.base.startswith('file:///'):
 
3772
            return False
 
3773
        if not target.bzrdir.transport.base.startswith('file:///'):
 
3774
            return False
3668
3775
        return True
3669
3776
 
3670
 
    def _get_delta_for_revision(self, tree, parent_ids, basis_id, cache):
 
3777
    def _get_trees(self, revision_ids, cache):
 
3778
        possible_trees = []
 
3779
        for rev_id in revision_ids:
 
3780
            if rev_id in cache:
 
3781
                possible_trees.append((rev_id, cache[rev_id]))
 
3782
            else:
 
3783
                # Not cached, but inventory might be present anyway.
 
3784
                try:
 
3785
                    tree = self.source.revision_tree(rev_id)
 
3786
                except errors.NoSuchRevision:
 
3787
                    # Nope, parent is ghost.
 
3788
                    pass
 
3789
                else:
 
3790
                    cache[rev_id] = tree
 
3791
                    possible_trees.append((rev_id, tree))
 
3792
        return possible_trees
 
3793
 
 
3794
    def _get_delta_for_revision(self, tree, parent_ids, possible_trees):
3671
3795
        """Get the best delta and base for this revision.
3672
3796
 
3673
3797
        :return: (basis_id, delta)
3674
3798
        """
3675
 
        possible_trees = [(parent_id, cache[parent_id])
3676
 
                          for parent_id in parent_ids
3677
 
                           if parent_id in cache]
3678
 
        if len(possible_trees) == 0:
3679
 
            # There either aren't any parents, or the parents aren't in the
3680
 
            # cache, so just use the last converted tree
3681
 
            possible_trees.append((basis_id, cache[basis_id]))
3682
3799
        deltas = []
 
3800
        # Generate deltas against each tree, to find the shortest.
 
3801
        texts_possibly_new_in_tree = set()
3683
3802
        for basis_id, basis_tree in possible_trees:
3684
3803
            delta = tree.inventory._make_delta(basis_tree.inventory)
 
3804
            for old_path, new_path, file_id, new_entry in delta:
 
3805
                if new_path is None:
 
3806
                    # This file_id isn't present in the new rev, so we don't
 
3807
                    # care about it.
 
3808
                    continue
 
3809
                if not new_path:
 
3810
                    # Rich roots are handled elsewhere...
 
3811
                    continue
 
3812
                kind = new_entry.kind
 
3813
                if kind != 'directory' and kind != 'file':
 
3814
                    # No text record associated with this inventory entry.
 
3815
                    continue
 
3816
                # This is a directory or file that has changed somehow.
 
3817
                texts_possibly_new_in_tree.add((file_id, new_entry.revision))
3685
3818
            deltas.append((len(delta), basis_id, delta))
3686
3819
        deltas.sort()
3687
3820
        return deltas[0][1:]
3688
3821
 
3689
 
    def _get_parent_keys(self, root_key, parent_map):
3690
 
        """Get the parent keys for a given root id."""
3691
 
        root_id, rev_id = root_key
3692
 
        # Include direct parents of the revision, but only if they used
3693
 
        # the same root_id and are heads.
3694
 
        parent_keys = []
3695
 
        for parent_id in parent_map[rev_id]:
3696
 
            if parent_id == _mod_revision.NULL_REVISION:
3697
 
                continue
3698
 
            if parent_id not in self._revision_id_to_root_id:
3699
 
                # We probably didn't read this revision, go spend the
3700
 
                # extra effort to actually check
3701
 
                try:
3702
 
                    tree = self.source.revision_tree(parent_id)
3703
 
                except errors.NoSuchRevision:
3704
 
                    # Ghost, fill out _revision_id_to_root_id in case we
3705
 
                    # encounter this again.
3706
 
                    # But set parent_root_id to None since we don't really know
3707
 
                    parent_root_id = None
3708
 
                else:
3709
 
                    parent_root_id = tree.get_root_id()
3710
 
                self._revision_id_to_root_id[parent_id] = None
3711
 
            else:
3712
 
                parent_root_id = self._revision_id_to_root_id[parent_id]
3713
 
            if root_id == parent_root_id:
3714
 
                # With stacking we _might_ want to refer to a non-local
3715
 
                # revision, but this code path only applies when we have the
3716
 
                # full content available, so ghosts really are ghosts, not just
3717
 
                # the edge of local data.
3718
 
                parent_keys.append((parent_id,))
3719
 
            else:
3720
 
                # root_id may be in the parent anyway.
3721
 
                try:
3722
 
                    tree = self.source.revision_tree(parent_id)
3723
 
                except errors.NoSuchRevision:
3724
 
                    # ghost, can't refer to it.
3725
 
                    pass
3726
 
                else:
3727
 
                    try:
3728
 
                        parent_keys.append((tree.inventory[root_id].revision,))
3729
 
                    except errors.NoSuchId:
3730
 
                        # not in the tree
3731
 
                        pass
3732
 
        g = graph.Graph(self.source.revisions)
3733
 
        heads = g.heads(parent_keys)
3734
 
        selected_keys = []
3735
 
        for key in parent_keys:
3736
 
            if key in heads and key not in selected_keys:
3737
 
                selected_keys.append(key)
3738
 
        return tuple([(root_id,)+ key for key in selected_keys])
3739
 
 
3740
 
    def _new_root_data_stream(self, root_keys_to_create, parent_map):
3741
 
        for root_key in root_keys_to_create:
3742
 
            parent_keys = self._get_parent_keys(root_key, parent_map)
3743
 
            yield versionedfile.FulltextContentFactory(root_key,
3744
 
                parent_keys, None, '')
3745
 
 
3746
 
    def _fetch_batch(self, revision_ids, basis_id, cache):
 
3822
    def _fetch_parent_invs_for_stacking(self, parent_map, cache):
 
3823
        """Find all parent revisions that are absent, but for which the
 
3824
        inventory is present, and copy those inventories.
 
3825
 
 
3826
        This is necessary to preserve correctness when the source is stacked
 
3827
        without fallbacks configured.  (Note that in cases like upgrade the
 
3828
        source may be not have _fallback_repositories even though it is
 
3829
        stacked.)
 
3830
        """
 
3831
        parent_revs = set()
 
3832
        for parents in parent_map.values():
 
3833
            parent_revs.update(parents)
 
3834
        present_parents = self.source.get_parent_map(parent_revs)
 
3835
        absent_parents = set(parent_revs).difference(present_parents)
 
3836
        parent_invs_keys_for_stacking = self.source.inventories.get_parent_map(
 
3837
            (rev_id,) for rev_id in absent_parents)
 
3838
        parent_inv_ids = [key[-1] for key in parent_invs_keys_for_stacking]
 
3839
        for parent_tree in self.source.revision_trees(parent_inv_ids):
 
3840
            current_revision_id = parent_tree.get_revision_id()
 
3841
            parents_parents_keys = parent_invs_keys_for_stacking[
 
3842
                (current_revision_id,)]
 
3843
            parents_parents = [key[-1] for key in parents_parents_keys]
 
3844
            basis_id = _mod_revision.NULL_REVISION
 
3845
            basis_tree = self.source.revision_tree(basis_id)
 
3846
            delta = parent_tree.inventory._make_delta(basis_tree.inventory)
 
3847
            self.target.add_inventory_by_delta(
 
3848
                basis_id, delta, current_revision_id, parents_parents)
 
3849
            cache[current_revision_id] = parent_tree
 
3850
 
 
3851
    def _fetch_batch(self, revision_ids, basis_id, cache, a_graph=None):
3747
3852
        """Fetch across a few revisions.
3748
3853
 
3749
3854
        :param revision_ids: The revisions to copy
3750
3855
        :param basis_id: The revision_id of a tree that must be in cache, used
3751
3856
            as a basis for delta when no other base is available
3752
3857
        :param cache: A cache of RevisionTrees that we can use.
 
3858
        :param a_graph: A Graph object to determine the heads() of the
 
3859
            rich-root data stream.
3753
3860
        :return: The revision_id of the last converted tree. The RevisionTree
3754
3861
            for it will be in cache
3755
3862
        """
3761
3868
        pending_deltas = []
3762
3869
        pending_revisions = []
3763
3870
        parent_map = self.source.get_parent_map(revision_ids)
 
3871
        self._fetch_parent_invs_for_stacking(parent_map, cache)
 
3872
        self.source._safe_to_return_from_cache = True
3764
3873
        for tree in self.source.revision_trees(revision_ids):
 
3874
            # Find a inventory delta for this revision.
 
3875
            # Find text entries that need to be copied, too.
3765
3876
            current_revision_id = tree.get_revision_id()
3766
3877
            parent_ids = parent_map.get(current_revision_id, ())
 
3878
            parent_trees = self._get_trees(parent_ids, cache)
 
3879
            possible_trees = list(parent_trees)
 
3880
            if len(possible_trees) == 0:
 
3881
                # There either aren't any parents, or the parents are ghosts,
 
3882
                # so just use the last converted tree.
 
3883
                possible_trees.append((basis_id, cache[basis_id]))
3767
3884
            basis_id, delta = self._get_delta_for_revision(tree, parent_ids,
3768
 
                                                           basis_id, cache)
 
3885
                                                           possible_trees)
 
3886
            revision = self.source.get_revision(current_revision_id)
 
3887
            pending_deltas.append((basis_id, delta,
 
3888
                current_revision_id, revision.parent_ids))
3769
3889
            if self._converting_to_rich_root:
3770
3890
                self._revision_id_to_root_id[current_revision_id] = \
3771
3891
                    tree.get_root_id()
3772
 
            # Find text entries that need to be copied
 
3892
            # Determine which texts are in present in this revision but not in
 
3893
            # any of the available parents.
 
3894
            texts_possibly_new_in_tree = set()
3773
3895
            for old_path, new_path, file_id, entry in delta:
3774
 
                if new_path is not None:
3775
 
                    if not new_path:
3776
 
                        # This is the root
3777
 
                        if not self.target.supports_rich_root():
3778
 
                            # The target doesn't support rich root, so we don't
3779
 
                            # copy
3780
 
                            continue
3781
 
                        if self._converting_to_rich_root:
3782
 
                            # This can't be copied normally, we have to insert
3783
 
                            # it specially
3784
 
                            root_keys_to_create.add((file_id, entry.revision))
3785
 
                            continue
3786
 
                    text_keys.add((file_id, entry.revision))
3787
 
            revision = self.source.get_revision(current_revision_id)
3788
 
            pending_deltas.append((basis_id, delta,
3789
 
                current_revision_id, revision.parent_ids))
 
3896
                if new_path is None:
 
3897
                    # This file_id isn't present in the new rev
 
3898
                    continue
 
3899
                if not new_path:
 
3900
                    # This is the root
 
3901
                    if not self.target.supports_rich_root():
 
3902
                        # The target doesn't support rich root, so we don't
 
3903
                        # copy
 
3904
                        continue
 
3905
                    if self._converting_to_rich_root:
 
3906
                        # This can't be copied normally, we have to insert
 
3907
                        # it specially
 
3908
                        root_keys_to_create.add((file_id, entry.revision))
 
3909
                        continue
 
3910
                kind = entry.kind
 
3911
                texts_possibly_new_in_tree.add((file_id, entry.revision))
 
3912
            for basis_id, basis_tree in possible_trees:
 
3913
                basis_inv = basis_tree.inventory
 
3914
                for file_key in list(texts_possibly_new_in_tree):
 
3915
                    file_id, file_revision = file_key
 
3916
                    try:
 
3917
                        entry = basis_inv[file_id]
 
3918
                    except errors.NoSuchId:
 
3919
                        continue
 
3920
                    if entry.revision == file_revision:
 
3921
                        texts_possibly_new_in_tree.remove(file_key)
 
3922
            text_keys.update(texts_possibly_new_in_tree)
3790
3923
            pending_revisions.append(revision)
3791
3924
            cache[current_revision_id] = tree
3792
3925
            basis_id = current_revision_id
 
3926
        self.source._safe_to_return_from_cache = False
3793
3927
        # Copy file texts
3794
3928
        from_texts = self.source.texts
3795
3929
        to_texts = self.target.texts
3796
3930
        if root_keys_to_create:
3797
 
            root_stream = self._new_root_data_stream(root_keys_to_create,
3798
 
                                                     parent_map)
 
3931
            root_stream = _mod_fetch._new_root_data_stream(
 
3932
                root_keys_to_create, self._revision_id_to_root_id, parent_map,
 
3933
                self.source, graph=a_graph)
3799
3934
            to_texts.insert_record_stream(root_stream)
3800
3935
        to_texts.insert_record_stream(from_texts.get_record_stream(
3801
3936
            text_keys, self.target._format._fetch_order,
3808
3943
            # for the new revisions that we are about to insert.  We do this
3809
3944
            # before adding the revisions so that no revision is added until
3810
3945
            # all the inventories it may depend on are added.
 
3946
            # Note that this is overzealous, as we may have fetched these in an
 
3947
            # earlier batch.
3811
3948
            parent_ids = set()
3812
3949
            revision_ids = set()
3813
3950
            for revision in pending_revisions:
3816
3953
            parent_ids.difference_update(revision_ids)
3817
3954
            parent_ids.discard(_mod_revision.NULL_REVISION)
3818
3955
            parent_map = self.source.get_parent_map(parent_ids)
3819
 
            for parent_tree in self.source.revision_trees(parent_ids):
3820
 
                basis_id, delta = self._get_delta_for_revision(tree, parent_ids, basis_id, cache)
 
3956
            # we iterate over parent_map and not parent_ids because we don't
 
3957
            # want to try copying any revision which is a ghost
 
3958
            for parent_tree in self.source.revision_trees(parent_map):
3821
3959
                current_revision_id = parent_tree.get_revision_id()
3822
3960
                parents_parents = parent_map[current_revision_id]
 
3961
                possible_trees = self._get_trees(parents_parents, cache)
 
3962
                if len(possible_trees) == 0:
 
3963
                    # There either aren't any parents, or the parents are
 
3964
                    # ghosts, so just use the last converted tree.
 
3965
                    possible_trees.append((basis_id, cache[basis_id]))
 
3966
                basis_id, delta = self._get_delta_for_revision(parent_tree,
 
3967
                    parents_parents, possible_trees)
3823
3968
                self.target.add_inventory_by_delta(
3824
3969
                    basis_id, delta, current_revision_id, parents_parents)
3825
3970
        # insert signatures and revisions
3848
3993
        cache[basis_id] = basis_tree
3849
3994
        del basis_tree # We don't want to hang on to it here
3850
3995
        hints = []
 
3996
        if self._converting_to_rich_root and len(revision_ids) > 100:
 
3997
            a_graph = _mod_fetch._get_rich_root_heads_graph(self.source,
 
3998
                                                            revision_ids)
 
3999
        else:
 
4000
            a_graph = None
 
4001
 
3851
4002
        for offset in range(0, len(revision_ids), batch_size):
3852
4003
            self.target.start_write_group()
3853
4004
            try:
3854
4005
                pb.update('Transferring revisions', offset,
3855
4006
                          len(revision_ids))
3856
4007
                batch = revision_ids[offset:offset+batch_size]
3857
 
                basis_id = self._fetch_batch(batch, basis_id, cache)
 
4008
                basis_id = self._fetch_batch(batch, basis_id, cache,
 
4009
                                             a_graph=a_graph)
3858
4010
            except:
 
4011
                self.source._safe_to_return_from_cache = False
3859
4012
                self.target.abort_write_group()
3860
4013
                raise
3861
4014
            else:
3873
4026
        """See InterRepository.fetch()."""
3874
4027
        if fetch_spec is not None:
3875
4028
            raise AssertionError("Not implemented yet...")
 
4029
        ui.ui_factory.warn_experimental_format_fetch(self)
3876
4030
        if (not self.source.supports_rich_root()
3877
4031
            and self.target.supports_rich_root()):
3878
4032
            self._converting_to_rich_root = True
3879
4033
            self._revision_id_to_root_id = {}
3880
4034
        else:
3881
4035
            self._converting_to_rich_root = False
 
4036
        # See <https://launchpad.net/bugs/456077> asking for a warning here
 
4037
        if self.source._format.network_name() != self.target._format.network_name():
 
4038
            ui.ui_factory.show_user_warning('cross_format_fetch',
 
4039
                from_format=self.source._format,
 
4040
                to_format=self.target._format)
3882
4041
        revision_ids = self.target.search_missing_revision_ids(self.source,
3883
4042
            revision_id, find_ghosts=find_ghosts).get_keys()
3884
4043
        if not revision_ids:
3890
4049
        # Walk though all revisions; get inventory deltas, copy referenced
3891
4050
        # texts that delta references, insert the delta, revision and
3892
4051
        # signature.
3893
 
        first_rev = self.source.get_revision(revision_ids[0])
3894
4052
        if pb is None:
3895
4053
            my_pb = ui.ui_factory.nested_progress_bar()
3896
4054
            pb = my_pb
3954
4112
        :param to_convert: The disk object to convert.
3955
4113
        :param pb: a progress bar to use for progress information.
3956
4114
        """
3957
 
        self.pb = pb
 
4115
        pb = ui.ui_factory.nested_progress_bar()
3958
4116
        self.count = 0
3959
4117
        self.total = 4
3960
4118
        # this is only useful with metadir layouts - separated repo content.
3961
4119
        # trigger an assertion if not such
3962
4120
        repo._format.get_format_string()
3963
4121
        self.repo_dir = repo.bzrdir
3964
 
        self.step('Moving repository to repository.backup')
 
4122
        pb.update('Moving repository to repository.backup')
3965
4123
        self.repo_dir.transport.move('repository', 'repository.backup')
3966
4124
        backup_transport =  self.repo_dir.transport.clone('repository.backup')
3967
4125
        repo._format.check_conversion_target(self.target_format)
3968
4126
        self.source_repo = repo._format.open(self.repo_dir,
3969
4127
            _found=True,
3970
4128
            _override_transport=backup_transport)
3971
 
        self.step('Creating new repository')
 
4129
        pb.update('Creating new repository')
3972
4130
        converted = self.target_format.initialize(self.repo_dir,
3973
4131
                                                  self.source_repo.is_shared())
3974
4132
        converted.lock_write()
3975
4133
        try:
3976
 
            self.step('Copying content into repository.')
 
4134
            pb.update('Copying content')
3977
4135
            self.source_repo.copy_content_into(converted)
3978
4136
        finally:
3979
4137
            converted.unlock()
3980
 
        self.step('Deleting old repository content.')
 
4138
        pb.update('Deleting old repository content')
3981
4139
        self.repo_dir.transport.delete_tree('repository.backup')
3982
 
        self.pb.note('repository converted')
3983
 
 
3984
 
    def step(self, message):
3985
 
        """Update the pb by a step."""
3986
 
        self.count +=1
3987
 
        self.pb.update(message, self.count, self.total)
 
4140
        ui.ui_factory.note('repository converted')
 
4141
        pb.finished()
3988
4142
 
3989
4143
 
3990
4144
_unescape_map = {
4062
4216
        self.file_ids = set([file_id for file_id, _ in
4063
4217
            self.text_index.iterkeys()])
4064
4218
        # text keys is now grouped by file_id
4065
 
        n_weaves = len(self.file_ids)
4066
 
        files_in_revisions = {}
4067
 
        revisions_of_files = {}
4068
4219
        n_versions = len(self.text_index)
4069
4220
        progress_bar.update('loading text store', 0, n_versions)
4070
4221
        parent_map = self.repository.texts.get_parent_map(self.text_index)
4133
4284
                is_resume = False
4134
4285
            try:
4135
4286
                # locked_insert_stream performs a commit|suspend.
4136
 
                return self._locked_insert_stream(stream, src_format, is_resume)
 
4287
                return self._locked_insert_stream(stream, src_format,
 
4288
                    is_resume)
4137
4289
            except:
4138
4290
                self.target_repo.abort_write_group(suppress_errors=True)
4139
4291
                raise
4163
4315
            else:
4164
4316
                new_pack.set_write_cache_size(1024*1024)
4165
4317
        for substream_type, substream in stream:
 
4318
            if 'stream' in debug.debug_flags:
 
4319
                mutter('inserting substream: %s', substream_type)
4166
4320
            if substream_type == 'texts':
4167
4321
                self.target_repo.texts.insert_record_stream(substream)
4168
4322
            elif substream_type == 'inventories':
4172
4326
                else:
4173
4327
                    self._extract_and_insert_inventories(
4174
4328
                        substream, src_serializer)
 
4329
            elif substream_type == 'inventory-deltas':
 
4330
                self._extract_and_insert_inventory_deltas(
 
4331
                    substream, src_serializer)
4175
4332
            elif substream_type == 'chk_bytes':
4176
4333
                # XXX: This doesn't support conversions, as it assumes the
4177
4334
                #      conversion was done in the fetch code.
4181
4338
                # required if the serializers are different only in terms of
4182
4339
                # the inventory.
4183
4340
                if src_serializer == to_serializer:
4184
 
                    self.target_repo.revisions.insert_record_stream(
4185
 
                        substream)
 
4341
                    self.target_repo.revisions.insert_record_stream(substream)
4186
4342
                else:
4187
4343
                    self._extract_and_insert_revisions(substream,
4188
4344
                        src_serializer)
4208
4364
                ):
4209
4365
                if versioned_file is None:
4210
4366
                    continue
 
4367
                # TODO: key is often going to be a StaticTuple object
 
4368
                #       I don't believe we can define a method by which
 
4369
                #       (prefix,) + StaticTuple will work, though we could
 
4370
                #       define a StaticTuple.sq_concat that would allow you to
 
4371
                #       pass in either a tuple or a StaticTuple as the second
 
4372
                #       object, so instead we could have:
 
4373
                #       StaticTuple(prefix) + key here...
4211
4374
                missing_keys.update((prefix,) + key for key in
4212
4375
                    versioned_file.get_missing_compression_parent_keys())
4213
4376
        except NotImplementedError:
4228
4391
            self.target_repo.pack(hint=hint)
4229
4392
        return [], set()
4230
4393
 
4231
 
    def _extract_and_insert_inventories(self, substream, serializer):
 
4394
    def _extract_and_insert_inventory_deltas(self, substream, serializer):
 
4395
        target_rich_root = self.target_repo._format.rich_root_data
 
4396
        target_tree_refs = self.target_repo._format.supports_tree_reference
 
4397
        for record in substream:
 
4398
            # Insert the delta directly
 
4399
            inventory_delta_bytes = record.get_bytes_as('fulltext')
 
4400
            deserialiser = inventory_delta.InventoryDeltaDeserializer()
 
4401
            try:
 
4402
                parse_result = deserialiser.parse_text_bytes(
 
4403
                    inventory_delta_bytes)
 
4404
            except inventory_delta.IncompatibleInventoryDelta, err:
 
4405
                trace.mutter("Incompatible delta: %s", err.msg)
 
4406
                raise errors.IncompatibleRevision(self.target_repo._format)
 
4407
            basis_id, new_id, rich_root, tree_refs, inv_delta = parse_result
 
4408
            revision_id = new_id
 
4409
            parents = [key[0] for key in record.parents]
 
4410
            self.target_repo.add_inventory_by_delta(
 
4411
                basis_id, inv_delta, revision_id, parents)
 
4412
 
 
4413
    def _extract_and_insert_inventories(self, substream, serializer,
 
4414
            parse_delta=None):
4232
4415
        """Generate a new inventory versionedfile in target, converting data.
4233
4416
 
4234
4417
        The inventory is retrieved from the source, (deserializing it), and
4235
4418
        stored in the target (reserializing it in a different format).
4236
4419
        """
 
4420
        target_rich_root = self.target_repo._format.rich_root_data
 
4421
        target_tree_refs = self.target_repo._format.supports_tree_reference
4237
4422
        for record in substream:
 
4423
            # It's not a delta, so it must be a fulltext in the source
 
4424
            # serializer's format.
4238
4425
            bytes = record.get_bytes_as('fulltext')
4239
4426
            revision_id = record.key[0]
4240
4427
            inv = serializer.read_inventory_from_string(bytes, revision_id)
4241
4428
            parents = [key[0] for key in record.parents]
4242
4429
            self.target_repo.add_inventory(revision_id, inv, parents)
 
4430
            # No need to keep holding this full inv in memory when the rest of
 
4431
            # the substream is likely to be all deltas.
 
4432
            del inv
4243
4433
 
4244
4434
    def _extract_and_insert_revisions(self, substream, serializer):
4245
4435
        for record in substream:
4262
4452
        """Create a StreamSource streaming from from_repository."""
4263
4453
        self.from_repository = from_repository
4264
4454
        self.to_format = to_format
 
4455
        self._record_counter = RecordCounter()
4265
4456
 
4266
4457
    def delta_on_metadata(self):
4267
4458
        """Return True if delta's are permitted on metadata streams.
4294
4485
        return [('signatures', signatures), ('revisions', revisions)]
4295
4486
 
4296
4487
    def _generate_root_texts(self, revs):
4297
 
        """This will be called by __fetch between fetching weave texts and
 
4488
        """This will be called by get_stream between fetching weave texts and
4298
4489
        fetching the inventory weave.
4299
 
 
4300
 
        Subclasses should override this if they need to generate root texts
4301
 
        after fetching weave texts.
4302
4490
        """
4303
4491
        if self._rich_root_upgrade():
4304
 
            import bzrlib.fetch
4305
 
            return bzrlib.fetch.Inter1and2Helper(
 
4492
            return _mod_fetch.Inter1and2Helper(
4306
4493
                self.from_repository).generate_root_texts(revs)
4307
4494
        else:
4308
4495
            return []
4311
4498
        phase = 'file'
4312
4499
        revs = search.get_keys()
4313
4500
        graph = self.from_repository.get_graph()
4314
 
        revs = list(graph.iter_topo_order(revs))
 
4501
        revs = tsort.topo_sort(graph.get_parent_map(revs))
4315
4502
        data_to_fetch = self.from_repository.item_keys_introduced_by(revs)
4316
4503
        text_keys = []
4317
4504
        for knit_kind, file_id, revisions in data_to_fetch:
4336
4523
                # will be valid.
4337
4524
                for _ in self._generate_root_texts(revs):
4338
4525
                    yield _
4339
 
                # NB: This currently reopens the inventory weave in source;
4340
 
                # using a single stream interface instead would avoid this.
4341
 
                from_weave = self.from_repository.inventories
4342
4526
                # we fetch only the referenced inventories because we do not
4343
4527
                # know for unselected inventories whether all their required
4344
4528
                # texts are present in the other repository - it could be
4383
4567
            if not keys:
4384
4568
                # No need to stream something we don't have
4385
4569
                continue
 
4570
            if substream_kind == 'inventories':
 
4571
                # Some missing keys are genuinely ghosts, filter those out.
 
4572
                present = self.from_repository.inventories.get_parent_map(keys)
 
4573
                revs = [key[0] for key in present]
 
4574
                # Get the inventory stream more-or-less as we do for the
 
4575
                # original stream; there's no reason to assume that records
 
4576
                # direct from the source will be suitable for the sink.  (Think
 
4577
                # e.g. 2a -> 1.9-rich-root).
 
4578
                for info in self._get_inventory_stream(revs, missing=True):
 
4579
                    yield info
 
4580
                continue
 
4581
 
4386
4582
            # Ask for full texts always so that we don't need more round trips
4387
4583
            # after this stream.
4388
4584
            # Some of the missing keys are genuinely ghosts, so filter absent
4403
4599
        return (not self.from_repository._format.rich_root_data and
4404
4600
            self.to_format.rich_root_data)
4405
4601
 
4406
 
    def _get_inventory_stream(self, revision_ids):
 
4602
    def _get_inventory_stream(self, revision_ids, missing=False):
4407
4603
        from_format = self.from_repository._format
4408
 
        if (from_format.supports_chks and self.to_format.supports_chks
4409
 
            and (from_format._serializer == self.to_format._serializer)):
4410
 
            # Both sides support chks, and they use the same serializer, so it
4411
 
            # is safe to transmit the chk pages and inventory pages across
4412
 
            # as-is.
4413
 
            return self._get_chk_inventory_stream(revision_ids)
4414
 
        elif (not from_format.supports_chks):
4415
 
            # Source repository doesn't support chks. So we can transmit the
4416
 
            # inventories 'as-is' and either they are just accepted on the
4417
 
            # target, or the Sink will properly convert it.
4418
 
            return self._get_simple_inventory_stream(revision_ids)
 
4604
        if (from_format.supports_chks and self.to_format.supports_chks and
 
4605
            from_format.network_name() == self.to_format.network_name()):
 
4606
            raise AssertionError(
 
4607
                "this case should be handled by GroupCHKStreamSource")
 
4608
        elif 'forceinvdeltas' in debug.debug_flags:
 
4609
            return self._get_convertable_inventory_stream(revision_ids,
 
4610
                    delta_versus_null=missing)
 
4611
        elif from_format.network_name() == self.to_format.network_name():
 
4612
            # Same format.
 
4613
            return self._get_simple_inventory_stream(revision_ids,
 
4614
                    missing=missing)
 
4615
        elif (not from_format.supports_chks and not self.to_format.supports_chks
 
4616
                and from_format._serializer == self.to_format._serializer):
 
4617
            # Essentially the same format.
 
4618
            return self._get_simple_inventory_stream(revision_ids,
 
4619
                    missing=missing)
4419
4620
        else:
4420
 
            # XXX: Hack to make not-chk->chk fetch: copy the inventories as
4421
 
            #      inventories. Note that this should probably be done somehow
4422
 
            #      as part of bzrlib.repository.StreamSink. Except JAM couldn't
4423
 
            #      figure out how a non-chk repository could possibly handle
4424
 
            #      deserializing an inventory stream from a chk repo, as it
4425
 
            #      doesn't have a way to understand individual pages.
4426
 
            return self._get_convertable_inventory_stream(revision_ids)
 
4621
            # Any time we switch serializations, we want to use an
 
4622
            # inventory-delta based approach.
 
4623
            return self._get_convertable_inventory_stream(revision_ids,
 
4624
                    delta_versus_null=missing)
4427
4625
 
4428
 
    def _get_simple_inventory_stream(self, revision_ids):
 
4626
    def _get_simple_inventory_stream(self, revision_ids, missing=False):
 
4627
        # NB: This currently reopens the inventory weave in source;
 
4628
        # using a single stream interface instead would avoid this.
4429
4629
        from_weave = self.from_repository.inventories
 
4630
        if missing:
 
4631
            delta_closure = True
 
4632
        else:
 
4633
            delta_closure = not self.delta_on_metadata()
4430
4634
        yield ('inventories', from_weave.get_record_stream(
4431
4635
            [(rev_id,) for rev_id in revision_ids],
4432
 
            self.inventory_fetch_order(),
4433
 
            not self.delta_on_metadata()))
4434
 
 
4435
 
    def _get_chk_inventory_stream(self, revision_ids):
4436
 
        """Fetch the inventory texts, along with the associated chk maps."""
4437
 
        # We want an inventory outside of the search set, so that we can filter
4438
 
        # out uninteresting chk pages. For now we use
4439
 
        # _find_revision_outside_set, but if we had a Search with cut_revs, we
4440
 
        # could use that instead.
4441
 
        start_rev_id = self.from_repository._find_revision_outside_set(
4442
 
                            revision_ids)
4443
 
        start_rev_key = (start_rev_id,)
4444
 
        inv_keys_to_fetch = [(rev_id,) for rev_id in revision_ids]
4445
 
        if start_rev_id != _mod_revision.NULL_REVISION:
4446
 
            inv_keys_to_fetch.append((start_rev_id,))
4447
 
        # Any repo that supports chk_bytes must also support out-of-order
4448
 
        # insertion. At least, that is how we expect it to work
4449
 
        # We use get_record_stream instead of iter_inventories because we want
4450
 
        # to be able to insert the stream as well. We could instead fetch
4451
 
        # allowing deltas, and then iter_inventories, but we don't know whether
4452
 
        # source or target is more 'local' anway.
4453
 
        inv_stream = self.from_repository.inventories.get_record_stream(
4454
 
            inv_keys_to_fetch, 'unordered',
4455
 
            True) # We need them as full-texts so we can find their references
4456
 
        uninteresting_chk_roots = set()
4457
 
        interesting_chk_roots = set()
4458
 
        def filter_inv_stream(inv_stream):
4459
 
            for idx, record in enumerate(inv_stream):
4460
 
                ### child_pb.update('fetch inv', idx, len(inv_keys_to_fetch))
4461
 
                bytes = record.get_bytes_as('fulltext')
4462
 
                chk_inv = inventory.CHKInventory.deserialise(
4463
 
                    self.from_repository.chk_bytes, bytes, record.key)
4464
 
                if record.key == start_rev_key:
4465
 
                    uninteresting_chk_roots.add(chk_inv.id_to_entry.key())
4466
 
                    p_id_map = chk_inv.parent_id_basename_to_file_id
4467
 
                    if p_id_map is not None:
4468
 
                        uninteresting_chk_roots.add(p_id_map.key())
4469
 
                else:
4470
 
                    yield record
4471
 
                    interesting_chk_roots.add(chk_inv.id_to_entry.key())
4472
 
                    p_id_map = chk_inv.parent_id_basename_to_file_id
4473
 
                    if p_id_map is not None:
4474
 
                        interesting_chk_roots.add(p_id_map.key())
4475
 
        ### pb.update('fetch inventory', 0, 2)
4476
 
        yield ('inventories', filter_inv_stream(inv_stream))
4477
 
        # Now that we have worked out all of the interesting root nodes, grab
4478
 
        # all of the interesting pages and insert them
4479
 
        ### pb.update('fetch inventory', 1, 2)
4480
 
        interesting = chk_map.iter_interesting_nodes(
4481
 
            self.from_repository.chk_bytes, interesting_chk_roots,
4482
 
            uninteresting_chk_roots)
4483
 
        def to_stream_adapter():
4484
 
            """Adapt the iter_interesting_nodes result to a single stream.
4485
 
 
4486
 
            iter_interesting_nodes returns records as it processes them, along
4487
 
            with keys. However, we only want to return the records themselves.
4488
 
            """
4489
 
            for record, items in interesting:
4490
 
                if record is not None:
4491
 
                    yield record
4492
 
        # XXX: We could instead call get_record_stream(records.keys())
4493
 
        #      ATM, this will always insert the records as fulltexts, and
4494
 
        #      requires that you can hang on to records once you have gone
4495
 
        #      on to the next one. Further, it causes the target to
4496
 
        #      recompress the data. Testing shows it to be faster than
4497
 
        #      requesting the records again, though.
4498
 
        yield ('chk_bytes', to_stream_adapter())
4499
 
        ### pb.update('fetch inventory', 2, 2)
4500
 
 
4501
 
    def _get_convertable_inventory_stream(self, revision_ids):
4502
 
        # XXX: One of source or target is using chks, and they don't have
4503
 
        #      compatible serializations. The StreamSink code expects to be
4504
 
        #      able to convert on the target, so we need to put
4505
 
        #      bytes-on-the-wire that can be converted
4506
 
        yield ('inventories', self._stream_invs_as_fulltexts(revision_ids))
4507
 
 
4508
 
    def _stream_invs_as_fulltexts(self, revision_ids):
 
4636
            self.inventory_fetch_order(), delta_closure))
 
4637
 
 
4638
    def _get_convertable_inventory_stream(self, revision_ids,
 
4639
                                          delta_versus_null=False):
 
4640
        # The two formats are sufficiently different that there is no fast
 
4641
        # path, so we need to send just inventorydeltas, which any
 
4642
        # sufficiently modern client can insert into any repository.
 
4643
        # The StreamSink code expects to be able to
 
4644
        # convert on the target, so we need to put bytes-on-the-wire that can
 
4645
        # be converted.  That means inventory deltas (if the remote is <1.19,
 
4646
        # RemoteStreamSink will fallback to VFS to insert the deltas).
 
4647
        yield ('inventory-deltas',
 
4648
           self._stream_invs_as_deltas(revision_ids,
 
4649
                                       delta_versus_null=delta_versus_null))
 
4650
 
 
4651
    def _stream_invs_as_deltas(self, revision_ids, delta_versus_null=False):
 
4652
        """Return a stream of inventory-deltas for the given rev ids.
 
4653
 
 
4654
        :param revision_ids: The list of inventories to transmit
 
4655
        :param delta_versus_null: Don't try to find a minimal delta for this
 
4656
            entry, instead compute the delta versus the NULL_REVISION. This
 
4657
            effectively streams a complete inventory. Used for stuff like
 
4658
            filling in missing parents, etc.
 
4659
        """
4509
4660
        from_repo = self.from_repository
4510
 
        from_serializer = from_repo._format._serializer
4511
4661
        revision_keys = [(rev_id,) for rev_id in revision_ids]
4512
4662
        parent_map = from_repo.inventories.get_parent_map(revision_keys)
4513
 
        for inv in self.from_repository.iter_inventories(revision_ids):
4514
 
            # XXX: This is a bit hackish, but it works. Basically,
4515
 
            #      CHKSerializer 'accidentally' supports
4516
 
            #      read/write_inventory_to_string, even though that is never
4517
 
            #      the format that is stored on disk. It *does* give us a
4518
 
            #      single string representation for an inventory, so live with
4519
 
            #      it for now.
4520
 
            #      This would be far better if we had a 'serialized inventory
4521
 
            #      delta' form. Then we could use 'inventory._make_delta', and
4522
 
            #      transmit that. This would both be faster to generate, and
4523
 
            #      result in fewer bytes-on-the-wire.
4524
 
            as_bytes = from_serializer.write_inventory_to_string(inv)
 
4663
        # XXX: possibly repos could implement a more efficient iter_inv_deltas
 
4664
        # method...
 
4665
        inventories = self.from_repository.iter_inventories(
 
4666
            revision_ids, 'topological')
 
4667
        format = from_repo._format
 
4668
        invs_sent_so_far = set([_mod_revision.NULL_REVISION])
 
4669
        inventory_cache = lru_cache.LRUCache(50)
 
4670
        null_inventory = from_repo.revision_tree(
 
4671
            _mod_revision.NULL_REVISION).inventory
 
4672
        # XXX: ideally the rich-root/tree-refs flags would be per-revision, not
 
4673
        # per-repo (e.g.  streaming a non-rich-root revision out of a rich-root
 
4674
        # repo back into a non-rich-root repo ought to be allowed)
 
4675
        serializer = inventory_delta.InventoryDeltaSerializer(
 
4676
            versioned_root=format.rich_root_data,
 
4677
            tree_references=format.supports_tree_reference)
 
4678
        for inv in inventories:
4525
4679
            key = (inv.revision_id,)
4526
4680
            parent_keys = parent_map.get(key, ())
 
4681
            delta = None
 
4682
            if not delta_versus_null and parent_keys:
 
4683
                # The caller did not ask for complete inventories and we have
 
4684
                # some parents that we can delta against.  Make a delta against
 
4685
                # each parent so that we can find the smallest.
 
4686
                parent_ids = [parent_key[0] for parent_key in parent_keys]
 
4687
                for parent_id in parent_ids:
 
4688
                    if parent_id not in invs_sent_so_far:
 
4689
                        # We don't know that the remote side has this basis, so
 
4690
                        # we can't use it.
 
4691
                        continue
 
4692
                    if parent_id == _mod_revision.NULL_REVISION:
 
4693
                        parent_inv = null_inventory
 
4694
                    else:
 
4695
                        parent_inv = inventory_cache.get(parent_id, None)
 
4696
                        if parent_inv is None:
 
4697
                            parent_inv = from_repo.get_inventory(parent_id)
 
4698
                    candidate_delta = inv._make_delta(parent_inv)
 
4699
                    if (delta is None or
 
4700
                        len(delta) > len(candidate_delta)):
 
4701
                        delta = candidate_delta
 
4702
                        basis_id = parent_id
 
4703
            if delta is None:
 
4704
                # Either none of the parents ended up being suitable, or we
 
4705
                # were asked to delta against NULL
 
4706
                basis_id = _mod_revision.NULL_REVISION
 
4707
                delta = inv._make_delta(null_inventory)
 
4708
            invs_sent_so_far.add(inv.revision_id)
 
4709
            inventory_cache[inv.revision_id] = inv
 
4710
            delta_serialized = ''.join(
 
4711
                serializer.delta_to_lines(basis_id, key[-1], delta))
4527
4712
            yield versionedfile.FulltextContentFactory(
4528
 
                key, parent_keys, None, as_bytes)
 
4713
                key, parent_keys, None, delta_serialized)
4529
4714
 
4530
4715
 
4531
4716
def _iter_for_revno(repo, partial_history_cache, stop_index=None,