~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/repository.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2009-08-13 14:20:03 UTC
  • mfrom: (4599.2.4 windows-installer)
  • Revision ID: pqm@pqm.ubuntu.com-20090813142003-3x748ymw3avzmme7
(jam) Updates to the windows installers.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
24
24
    bzrdir,
25
25
    check,
26
26
    chk_map,
27
 
    config,
28
 
    controldir,
29
27
    debug,
30
 
    fetch as _mod_fetch,
 
28
    errors,
31
29
    fifo_cache,
32
30
    generate_ids,
33
31
    gpg,
34
32
    graph,
35
33
    inventory,
36
 
    inventory_delta,
37
34
    lazy_regex,
38
35
    lockable_files,
39
36
    lockdir,
40
37
    lru_cache,
41
38
    osutils,
42
39
    revision as _mod_revision,
43
 
    static_tuple,
44
40
    symbol_versioning,
45
 
    trace,
46
41
    tsort,
 
42
    ui,
47
43
    versionedfile,
48
44
    )
49
45
from bzrlib.bundle import serializer
52
48
from bzrlib.testament import Testament
53
49
""")
54
50
 
55
 
from bzrlib import (
56
 
    errors,
57
 
    registry,
58
 
    ui,
59
 
    )
60
 
from bzrlib.decorators import needs_read_lock, needs_write_lock, only_raises
 
51
from bzrlib.decorators import needs_read_lock, needs_write_lock
61
52
from bzrlib.inter import InterObject
62
53
from bzrlib.inventory import (
63
54
    Inventory,
65
56
    ROOT_ID,
66
57
    entry_factory,
67
58
    )
68
 
from bzrlib.recordcounter import RecordCounter
69
 
from bzrlib.lock import _RelockDebugMixin, LogicalLockResult
 
59
from bzrlib import registry
70
60
from bzrlib.trace import (
71
61
    log_exception_quietly, note, mutter, mutter_callsite, warning)
72
62
 
75
65
_deprecation_warning_done = False
76
66
 
77
67
 
78
 
class IsInWriteGroupError(errors.InternalBzrError):
79
 
 
80
 
    _fmt = "May not refresh_data of repo %(repo)s while in a write group."
81
 
 
82
 
    def __init__(self, repo):
83
 
        errors.InternalBzrError.__init__(self, repo=repo)
84
 
 
85
 
 
86
68
class CommitBuilder(object):
87
69
    """Provides an interface to build up a commit.
88
70
 
222
204
            # an inventory delta was accumulated without creating a new
223
205
            # inventory.
224
206
            basis_id = self.basis_delta_revision
225
 
            # We ignore the 'inventory' returned by add_inventory_by_delta
226
 
            # because self.new_inventory is used to hint to the rest of the
227
 
            # system what code path was taken
228
 
            self.inv_sha1, _ = self.repository.add_inventory_by_delta(
 
207
            self.inv_sha1 = self.repository.add_inventory_by_delta(
229
208
                basis_id, self._basis_delta, self._new_revision_id,
230
209
                self.parents)
231
210
        else:
243
222
 
244
223
    def _gen_revision_id(self):
245
224
        """Return new revision-id."""
246
 
        return generate_ids.gen_revision_id(self._committer, self._timestamp)
 
225
        return generate_ids.gen_revision_id(self._config.username(),
 
226
                                            self._timestamp)
247
227
 
248
228
    def _generate_revision_if_needed(self):
249
229
        """Create a revision id if None was supplied.
289
269
 
290
270
        :param tree: The tree which is being committed.
291
271
        """
292
 
        if len(self.parents) == 0:
293
 
            raise errors.RootMissing()
 
272
        # NB: if there are no parents then this method is not called, so no
 
273
        # need to guard on parents having length.
294
274
        entry = entry_factory['directory'](tree.path2id(''), '',
295
275
            None)
296
276
        entry.revision = self._new_revision_id
484
464
            if content_summary[2] is None:
485
465
                raise ValueError("Files must not have executable = None")
486
466
            if not store:
487
 
                # We can't trust a check of the file length because of content
488
 
                # filtering...
489
 
                if (# if the exec bit has changed we have to store:
 
467
                if (# if the file length changed we have to store:
 
468
                    parent_entry.text_size != content_summary[1] or
 
469
                    # if the exec bit has changed we have to store:
490
470
                    parent_entry.executable != content_summary[2]):
491
471
                    store = True
492
472
                elif parent_entry.text_sha1 == content_summary[3]:
559
539
                ie.revision = parent_entry.revision
560
540
                return self._get_delta(ie, basis_inv, path), False, None
561
541
            ie.reference_revision = content_summary[3]
562
 
            if ie.reference_revision is None:
563
 
                raise AssertionError("invalid content_summary for nested tree: %r"
564
 
                    % (content_summary,))
565
542
            self._add_text_to_weave(ie.file_id, '', heads, None)
566
543
        else:
567
544
            raise NotImplementedError('unknown kind')
829
806
                seen_root = True
830
807
        self.new_inventory = None
831
808
        if len(inv_delta):
832
 
            # This should perhaps be guarded by a check that the basis we
833
 
            # commit against is the basis for the commit and if not do a delta
834
 
            # against the basis.
835
809
            self._any_changes = True
836
810
        if not seen_root:
837
811
            # housekeeping root entry changes do not affect no-change commits.
871
845
        # versioned roots do not change unless the tree found a change.
872
846
 
873
847
 
874
 
class RepositoryWriteLockResult(LogicalLockResult):
875
 
    """The result of write locking a repository.
876
 
 
877
 
    :ivar repository_token: The token obtained from the underlying lock, or
878
 
        None.
879
 
    :ivar unlock: A callable which will unlock the lock.
880
 
    """
881
 
 
882
 
    def __init__(self, unlock, repository_token):
883
 
        LogicalLockResult.__init__(self, unlock)
884
 
        self.repository_token = repository_token
885
 
 
886
 
    def __repr__(self):
887
 
        return "RepositoryWriteLockResult(%s, %s)" % (self.repository_token,
888
 
            self.unlock)
889
 
 
890
 
 
891
848
######################################################################
892
849
# Repositories
893
850
 
894
851
 
895
 
class Repository(_RelockDebugMixin, controldir.ControlComponent):
 
852
class Repository(object):
896
853
    """Repository holding history for one or more branches.
897
854
 
898
855
    The repository holds and retrieves historical information including
967
924
        """
968
925
        if self._write_group is not self.get_transaction():
969
926
            # has an unlock or relock occured ?
970
 
            if suppress_errors:
971
 
                mutter(
972
 
                '(suppressed) mismatched lock context and write group. %r, %r',
973
 
                self._write_group, self.get_transaction())
974
 
                return
975
927
            raise errors.BzrError(
976
928
                'mismatched lock context and write group. %r, %r' %
977
929
                (self._write_group, self.get_transaction()))
1046
998
                " id and insertion revid (%r, %r)"
1047
999
                % (inv.revision_id, revision_id))
1048
1000
        if inv.root is None:
1049
 
            raise errors.RootMissing()
 
1001
            raise AssertionError()
1050
1002
        return self._add_inventory_checked(revision_id, inv, parents)
1051
1003
 
1052
1004
    def _add_inventory_checked(self, revision_id, inv, parents):
1056
1008
 
1057
1009
        :seealso: add_inventory, for the contract.
1058
1010
        """
1059
 
        inv_lines = self._serializer.write_inventory_to_lines(inv)
 
1011
        inv_lines = self._serialise_inventory_to_lines(inv)
1060
1012
        return self._inventory_add_lines(revision_id, parents,
1061
1013
            inv_lines, check_content=False)
1062
1014
 
1111
1063
        check_content=True):
1112
1064
        """Store lines in inv_vf and return the sha1 of the inventory."""
1113
1065
        parents = [(parent,) for parent in parents]
1114
 
        result = self.inventories.add_lines((revision_id,), parents, lines,
 
1066
        return self.inventories.add_lines((revision_id,), parents, lines,
1115
1067
            check_content=check_content)[0]
1116
 
        self.inventories._access.flush()
1117
 
        return result
1118
1068
 
1119
1069
    def add_revision(self, revision_id, rev, inv=None, config=None):
1120
1070
        """Add rev to the revision store as revision_id.
1258
1208
                    for record in getattr(self, kind).check(keys=keys[kind]):
1259
1209
                        if record.storage_kind == 'absent':
1260
1210
                            checker._report_items.append(
1261
 
                                'Missing %s {%s}' % (kind, record.key,))
 
1211
                                'Missing inventory {%s}' % (record.key,))
1262
1212
                        else:
1263
1213
                            last_object = self._check_record(kind, record,
1264
1214
                                checker, last_object, current_keys[(kind,) + record.key])
1269
1219
        """Check a single text from this repository."""
1270
1220
        if kind == 'inventories':
1271
1221
            rev_id = record.key[0]
1272
 
            inv = self._deserialise_inventory(rev_id,
 
1222
            inv = self.deserialise_inventory(rev_id,
1273
1223
                record.get_bytes_as('fulltext'))
1274
1224
            if last_object is not None:
1275
1225
                delta = inv._make_delta(last_object)
1319
1269
 
1320
1270
        :param _format: The format of the repository on disk.
1321
1271
        :param a_bzrdir: The BzrDir of the repository.
 
1272
 
 
1273
        In the future we will have a single api for all stores for
 
1274
        getting file texts, inventories and revisions, then
 
1275
        this construct will accept instances of those things.
1322
1276
        """
1323
 
        # In the future we will have a single api for all stores for
1324
 
        # getting file texts, inventories and revisions, then
1325
 
        # this construct will accept instances of those things.
1326
1277
        super(Repository, self).__init__()
1327
1278
        self._format = _format
1328
1279
        # the following are part of the public API for Repository:
1334
1285
        self._reconcile_does_inventory_gc = True
1335
1286
        self._reconcile_fixes_text_parents = False
1336
1287
        self._reconcile_backsup_inventory = True
 
1288
        # not right yet - should be more semantically clear ?
 
1289
        #
 
1290
        # TODO: make sure to construct the right store classes, etc, depending
 
1291
        # on whether escaping is required.
 
1292
        self._warn_if_deprecated()
1337
1293
        self._write_group = None
1338
1294
        # Additional places to query for data.
1339
1295
        self._fallback_repositories = []
1340
1296
        # An InventoryEntry cache, used during deserialization
1341
1297
        self._inventory_entry_cache = fifo_cache.FIFOCache(10*1024)
1342
 
        # Is it safe to return inventory entries directly from the entry cache,
1343
 
        # rather copying them?
1344
 
        self._safe_to_return_from_cache = False
1345
 
 
1346
 
    @property
1347
 
    def user_transport(self):
1348
 
        return self.bzrdir.user_transport
1349
 
 
1350
 
    @property
1351
 
    def control_transport(self):
1352
 
        return self._transport
1353
1298
 
1354
1299
    def __repr__(self):
1355
1300
        if self._fallback_repositories:
1404
1349
        data during reads, and allows a 'write_group' to be obtained. Write
1405
1350
        groups must be used for actual data insertion.
1406
1351
 
1407
 
        A token should be passed in if you know that you have locked the object
1408
 
        some other way, and need to synchronise this object's state with that
1409
 
        fact.
1410
 
 
1411
 
        XXX: this docstring is duplicated in many places, e.g. lockable_files.py
1412
 
 
1413
1352
        :param token: if this is already locked, then lock_write will fail
1414
1353
            unless the token matches the existing lock.
1415
1354
        :returns: a token if this instance supports tokens, otherwise None.
1418
1357
        :raises MismatchedToken: if the specified token doesn't match the token
1419
1358
            of the existing lock.
1420
1359
        :seealso: start_write_group.
1421
 
        :return: A RepositoryWriteLockResult.
 
1360
 
 
1361
        A token should be passed in if you know that you have locked the object
 
1362
        some other way, and need to synchronise this object's state with that
 
1363
        fact.
 
1364
 
 
1365
        XXX: this docstring is duplicated in many places, e.g. lockable_files.py
1422
1366
        """
1423
1367
        locked = self.is_locked()
1424
 
        token = self.control_files.lock_write(token=token)
 
1368
        result = self.control_files.lock_write(token=token)
1425
1369
        if not locked:
1426
 
            self._warn_if_deprecated()
1427
 
            self._note_lock('w')
1428
1370
            for repo in self._fallback_repositories:
1429
1371
                # Writes don't affect fallback repos
1430
1372
                repo.lock_read()
1431
1373
            self._refresh_data()
1432
 
        return RepositoryWriteLockResult(self.unlock, token)
 
1374
        return result
1433
1375
 
1434
1376
    def lock_read(self):
1435
 
        """Lock the repository for read operations.
1436
 
 
1437
 
        :return: An object with an unlock method which will release the lock
1438
 
            obtained.
1439
 
        """
1440
1377
        locked = self.is_locked()
1441
1378
        self.control_files.lock_read()
1442
1379
        if not locked:
1443
 
            self._warn_if_deprecated()
1444
 
            self._note_lock('r')
1445
1380
            for repo in self._fallback_repositories:
1446
1381
                repo.lock_read()
1447
1382
            self._refresh_data()
1448
 
        return LogicalLockResult(self.unlock)
1449
1383
 
1450
1384
    def get_physical_lock_status(self):
1451
1385
        return self.control_files.get_physical_lock_status()
1511
1445
 
1512
1446
        # now gather global repository information
1513
1447
        # XXX: This is available for many repos regardless of listability.
1514
 
        if self.user_transport.listable():
 
1448
        if self.bzrdir.root_transport.listable():
1515
1449
            # XXX: do we want to __define len__() ?
1516
1450
            # Maybe the versionedfiles object should provide a different
1517
1451
            # method to get the number of keys.
1527
1461
        :param using: If True, list only branches using this repository.
1528
1462
        """
1529
1463
        if using and not self.is_shared():
1530
 
            return self.bzrdir.list_branches()
 
1464
            try:
 
1465
                return [self.bzrdir.open_branch()]
 
1466
            except errors.NotBranchError:
 
1467
                return []
1531
1468
        class Evaluator(object):
1532
1469
 
1533
1470
            def __init__(self):
1542
1479
                    except errors.NoRepositoryPresent:
1543
1480
                        pass
1544
1481
                    else:
1545
 
                        return False, ([], repository)
 
1482
                        return False, (None, repository)
1546
1483
                self.first_call = False
1547
 
                value = (bzrdir.list_branches(), None)
 
1484
                try:
 
1485
                    value = (bzrdir.open_branch(), None)
 
1486
                except errors.NotBranchError:
 
1487
                    value = (None, None)
1548
1488
                return True, value
1549
1489
 
1550
 
        ret = []
1551
 
        for branches, repository in bzrdir.BzrDir.find_bzrdirs(
1552
 
                self.user_transport, evaluate=Evaluator()):
1553
 
            if branches is not None:
1554
 
                ret.extend(branches)
 
1490
        branches = []
 
1491
        for branch, repository in bzrdir.BzrDir.find_bzrdirs(
 
1492
                self.bzrdir.root_transport, evaluate=Evaluator()):
 
1493
            if branch is not None:
 
1494
                branches.append(branch)
1555
1495
            if not using and repository is not None:
1556
 
                ret.extend(repository.find_branches())
1557
 
        return ret
 
1496
                branches.extend(repository.find_branches())
 
1497
        return branches
1558
1498
 
1559
1499
    @needs_read_lock
1560
1500
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
1589
1529
        """Commit the contents accrued within the current write group.
1590
1530
 
1591
1531
        :seealso: start_write_group.
1592
 
        
1593
 
        :return: it may return an opaque hint that can be passed to 'pack'.
1594
1532
        """
1595
1533
        if self._write_group is not self.get_transaction():
1596
1534
            # has an unlock or relock occured ?
1650
1588
        # but at the moment we're only checking for texts referenced by
1651
1589
        # inventories at the graph's edge.
1652
1590
        key_deps = self.revisions._index._key_dependencies
1653
 
        key_deps.satisfy_refs_for_keys(present_inventories)
 
1591
        key_deps.add_keys(present_inventories)
1654
1592
        referrers = frozenset(r[0] for r in key_deps.get_referrers())
1655
1593
        file_ids = self.fileids_altered_by_revision_ids(referrers)
1656
1594
        missing_texts = set()
1669
1607
        return missing_keys
1670
1608
 
1671
1609
    def refresh_data(self):
1672
 
        """Re-read any data needed to synchronise with disk.
 
1610
        """Re-read any data needed to to synchronise with disk.
1673
1611
 
1674
1612
        This method is intended to be called after another repository instance
1675
1613
        (such as one used by a smart server) has inserted data into the
1676
 
        repository. On all repositories this will work outside of write groups.
1677
 
        Some repository formats (pack and newer for bzrlib native formats)
1678
 
        support refresh_data inside write groups. If called inside a write
1679
 
        group on a repository that does not support refreshing in a write group
1680
 
        IsInWriteGroupError will be raised.
 
1614
        repository. It may not be called during a write group, but may be
 
1615
        called at any other time.
1681
1616
        """
 
1617
        if self.is_in_write_group():
 
1618
            raise errors.InternalBzrError(
 
1619
                "May not refresh_data while in a write group.")
1682
1620
        self._refresh_data()
1683
1621
 
1684
1622
    def resume_write_group(self, tokens):
1723
1661
                "May not fetch while in a write group.")
1724
1662
        # fast path same-url fetch operations
1725
1663
        # TODO: lift out to somewhere common with RemoteRepository
1726
 
        # <https://bugs.launchpad.net/bzr/+bug/401646>
 
1664
        # <https://bugs.edge.launchpad.net/bzr/+bug/401646>
1727
1665
        if (self.has_same_location(source)
1728
1666
            and fetch_spec is None
1729
1667
            and self._has_same_fallbacks(source)):
1766
1704
        self.start_write_group()
1767
1705
        return result
1768
1706
 
1769
 
    @only_raises(errors.LockNotHeld, errors.LockBroken)
1770
1707
    def unlock(self):
1771
1708
        if (self.control_files._lock_count == 1 and
1772
1709
            self.control_files._lock_mode == 'w'):
1938
1875
                rev = self._serializer.read_revision_from_string(text)
1939
1876
                yield (revid, rev)
1940
1877
 
 
1878
    @needs_read_lock
 
1879
    def get_revision_xml(self, revision_id):
 
1880
        # TODO: jam 20070210 This shouldn't be necessary since get_revision
 
1881
        #       would have already do it.
 
1882
        # TODO: jam 20070210 Just use _serializer.write_revision_to_string()
 
1883
        # TODO: this can't just be replaced by:
 
1884
        # return self._serializer.write_revision_to_string(
 
1885
        #     self.get_revision(revision_id))
 
1886
        # as cStringIO preservers the encoding unlike write_revision_to_string
 
1887
        # or some other call down the path.
 
1888
        rev = self.get_revision(revision_id)
 
1889
        rev_tmp = cStringIO.StringIO()
 
1890
        # the current serializer..
 
1891
        self._serializer.write_revision(rev, rev_tmp)
 
1892
        rev_tmp.seek(0)
 
1893
        return rev_tmp.getvalue()
 
1894
 
1941
1895
    def get_deltas_for_revisions(self, revisions, specific_fileids=None):
1942
1896
        """Produce a generator of revision deltas.
1943
1897
 
2185
2139
        """
2186
2140
        selected_keys = set((revid,) for revid in revision_ids)
2187
2141
        w = _inv_weave or self.inventories
2188
 
        return self._find_file_ids_from_xml_inventory_lines(
2189
 
            w.iter_lines_added_or_present_in_keys(
2190
 
                selected_keys, pb=None),
2191
 
            selected_keys)
 
2142
        pb = ui.ui_factory.nested_progress_bar()
 
2143
        try:
 
2144
            return self._find_file_ids_from_xml_inventory_lines(
 
2145
                w.iter_lines_added_or_present_in_keys(
 
2146
                    selected_keys, pb=pb),
 
2147
                selected_keys)
 
2148
        finally:
 
2149
            pb.finished()
2192
2150
 
2193
2151
    def iter_files_bytes(self, desired_files):
2194
2152
        """Iterate through file versions.
2355
2313
        num_file_ids = len(file_ids)
2356
2314
        for file_id, altered_versions in file_ids.iteritems():
2357
2315
            if pb is not None:
2358
 
                pb.update("Fetch texts", count, num_file_ids)
 
2316
                pb.update("fetch texts", count, num_file_ids)
2359
2317
            count += 1
2360
2318
            yield ("file", file_id, altered_versions)
2361
2319
 
2382
2340
        """Get Inventory object by revision id."""
2383
2341
        return self.iter_inventories([revision_id]).next()
2384
2342
 
2385
 
    def iter_inventories(self, revision_ids, ordering=None):
 
2343
    def iter_inventories(self, revision_ids):
2386
2344
        """Get many inventories by revision_ids.
2387
2345
 
2388
2346
        This will buffer some or all of the texts used in constructing the
2390
2348
        time.
2391
2349
 
2392
2350
        :param revision_ids: The expected revision ids of the inventories.
2393
 
        :param ordering: optional ordering, e.g. 'topological'.  If not
2394
 
            specified, the order of revision_ids will be preserved (by
2395
 
            buffering if necessary).
2396
2351
        :return: An iterator of inventories.
2397
2352
        """
2398
2353
        if ((None in revision_ids)
2399
2354
            or (_mod_revision.NULL_REVISION in revision_ids)):
2400
2355
            raise ValueError('cannot get null revision inventory')
2401
 
        return self._iter_inventories(revision_ids, ordering)
 
2356
        return self._iter_inventories(revision_ids)
2402
2357
 
2403
 
    def _iter_inventories(self, revision_ids, ordering):
 
2358
    def _iter_inventories(self, revision_ids):
2404
2359
        """single-document based inventory iteration."""
2405
 
        inv_xmls = self._iter_inventory_xmls(revision_ids, ordering)
2406
 
        for text, revision_id in inv_xmls:
2407
 
            yield self._deserialise_inventory(revision_id, text)
 
2360
        for text, revision_id in self._iter_inventory_xmls(revision_ids):
 
2361
            yield self.deserialise_inventory(revision_id, text)
2408
2362
 
2409
 
    def _iter_inventory_xmls(self, revision_ids, ordering):
2410
 
        if ordering is None:
2411
 
            order_as_requested = True
2412
 
            ordering = 'unordered'
2413
 
        else:
2414
 
            order_as_requested = False
 
2363
    def _iter_inventory_xmls(self, revision_ids):
2415
2364
        keys = [(revision_id,) for revision_id in revision_ids]
2416
 
        if not keys:
2417
 
            return
2418
 
        if order_as_requested:
2419
 
            key_iter = iter(keys)
2420
 
            next_key = key_iter.next()
2421
 
        stream = self.inventories.get_record_stream(keys, ordering, True)
 
2365
        stream = self.inventories.get_record_stream(keys, 'unordered', True)
2422
2366
        text_chunks = {}
2423
2367
        for record in stream:
2424
2368
            if record.storage_kind != 'absent':
2425
 
                chunks = record.get_bytes_as('chunked')
2426
 
                if order_as_requested:
2427
 
                    text_chunks[record.key] = chunks
2428
 
                else:
2429
 
                    yield ''.join(chunks), record.key[-1]
 
2369
                text_chunks[record.key] = record.get_bytes_as('chunked')
2430
2370
            else:
2431
2371
                raise errors.NoSuchRevision(self, record.key)
2432
 
            if order_as_requested:
2433
 
                # Yield as many results as we can while preserving order.
2434
 
                while next_key in text_chunks:
2435
 
                    chunks = text_chunks.pop(next_key)
2436
 
                    yield ''.join(chunks), next_key[-1]
2437
 
                    try:
2438
 
                        next_key = key_iter.next()
2439
 
                    except StopIteration:
2440
 
                        # We still want to fully consume the get_record_stream,
2441
 
                        # just in case it is not actually finished at this point
2442
 
                        next_key = None
2443
 
                        break
 
2372
        for key in keys:
 
2373
            chunks = text_chunks.pop(key)
 
2374
            yield ''.join(chunks), key[-1]
2444
2375
 
2445
 
    def _deserialise_inventory(self, revision_id, xml):
 
2376
    def deserialise_inventory(self, revision_id, xml):
2446
2377
        """Transform the xml into an inventory object.
2447
2378
 
2448
2379
        :param revision_id: The expected revision id of the inventory.
2449
2380
        :param xml: A serialised inventory.
2450
2381
        """
2451
2382
        result = self._serializer.read_inventory_from_string(xml, revision_id,
2452
 
                    entry_cache=self._inventory_entry_cache,
2453
 
                    return_from_cache=self._safe_to_return_from_cache)
 
2383
                    entry_cache=self._inventory_entry_cache)
2454
2384
        if result.revision_id != revision_id:
2455
2385
            raise AssertionError('revision id mismatch %s != %s' % (
2456
2386
                result.revision_id, revision_id))
2457
2387
        return result
2458
2388
 
 
2389
    def serialise_inventory(self, inv):
 
2390
        return self._serializer.write_inventory_to_string(inv)
 
2391
 
 
2392
    def _serialise_inventory_to_lines(self, inv):
 
2393
        return self._serializer.write_inventory_to_lines(inv)
 
2394
 
2459
2395
    def get_serializer_format(self):
2460
2396
        return self._serializer.format_num
2461
2397
 
2462
2398
    @needs_read_lock
2463
 
    def _get_inventory_xml(self, revision_id):
2464
 
        """Get serialized inventory as a string."""
2465
 
        texts = self._iter_inventory_xmls([revision_id], 'unordered')
 
2399
    def get_inventory_xml(self, revision_id):
 
2400
        """Get inventory XML as a file object."""
 
2401
        texts = self._iter_inventory_xmls([revision_id])
2466
2402
        try:
2467
2403
            text, revision_id = texts.next()
2468
2404
        except StopIteration:
2469
2405
            raise errors.HistoryMissing(self, 'inventory', revision_id)
2470
2406
        return text
2471
2407
 
 
2408
    @needs_read_lock
 
2409
    def get_inventory_sha1(self, revision_id):
 
2410
        """Return the sha1 hash of the inventory entry
 
2411
        """
 
2412
        return self.get_revision(revision_id).inventory_sha1
 
2413
 
2472
2414
    def get_rev_id_for_revno(self, revno, known_pair):
2473
2415
        """Return the revision id of a revno, given a later (revno, revid)
2474
2416
        pair in the same history.
2525
2467
            else:
2526
2468
                next_id = parents[0]
2527
2469
 
 
2470
    @needs_read_lock
 
2471
    def get_revision_inventory(self, revision_id):
 
2472
        """Return inventory of a past revision."""
 
2473
        # TODO: Unify this with get_inventory()
 
2474
        # bzr 0.0.6 and later imposes the constraint that the inventory_id
 
2475
        # must be the same as its revision, so this is trivial.
 
2476
        if revision_id is None:
 
2477
            # This does not make sense: if there is no revision,
 
2478
            # then it is the current tree inventory surely ?!
 
2479
            # and thus get_root_id() is something that looks at the last
 
2480
            # commit on the branch, and the get_root_id is an inventory check.
 
2481
            raise NotImplementedError
 
2482
            # return Inventory(self.get_root_id())
 
2483
        else:
 
2484
            return self.get_inventory(revision_id)
 
2485
 
2528
2486
    def is_shared(self):
2529
2487
        """Return True if this repository is flagged as a shared repository."""
2530
2488
        raise NotImplementedError(self.is_shared)
2564
2522
            return RevisionTree(self, Inventory(root_id=None),
2565
2523
                                _mod_revision.NULL_REVISION)
2566
2524
        else:
2567
 
            inv = self.get_inventory(revision_id)
 
2525
            inv = self.get_revision_inventory(revision_id)
2568
2526
            return RevisionTree(self, inv, revision_id)
2569
2527
 
2570
2528
    def revision_trees(self, revision_ids):
2623
2581
            keys = tsort.topo_sort(parent_map)
2624
2582
        return [None] + list(keys)
2625
2583
 
2626
 
    def pack(self, hint=None, clean_obsolete_packs=False):
 
2584
    def pack(self, hint=None):
2627
2585
        """Compress the data within the repository.
2628
2586
 
2629
2587
        This operation only makes sense for some repository types. For other
2639
2597
            obtained from the result of commit_write_group(). Out of
2640
2598
            date hints are simply ignored, because concurrent operations
2641
2599
            can obsolete them rapidly.
2642
 
 
2643
 
        :param clean_obsolete_packs: Clean obsolete packs immediately after
2644
 
            the pack operation.
2645
2600
        """
2646
2601
 
2647
2602
    def get_transaction(self):
2663
2618
        for ((revision_id,), parent_keys) in \
2664
2619
                self.revisions.get_parent_map(query_keys).iteritems():
2665
2620
            if parent_keys:
2666
 
                result[revision_id] = tuple([parent_revid
2667
 
                    for (parent_revid,) in parent_keys])
 
2621
                result[revision_id] = tuple(parent_revid
 
2622
                    for (parent_revid,) in parent_keys)
2668
2623
            else:
2669
2624
                result[revision_id] = (_mod_revision.NULL_REVISION,)
2670
2625
        return result
2672
2627
    def _make_parents_provider(self):
2673
2628
        return self
2674
2629
 
2675
 
    @needs_read_lock
2676
 
    def get_known_graph_ancestry(self, revision_ids):
2677
 
        """Return the known graph for a set of revision ids and their ancestors.
2678
 
        """
2679
 
        st = static_tuple.StaticTuple
2680
 
        revision_keys = [st(r_id).intern() for r_id in revision_ids]
2681
 
        known_graph = self.revisions.get_known_graph_ancestry(revision_keys)
2682
 
        return graph.GraphThunkIdsToKeys(known_graph)
2683
 
 
2684
2630
    def get_graph(self, other_repository=None):
2685
2631
        """Return the graph walker for this repository format"""
2686
2632
        parents_provider = self._make_parents_provider()
2781
2727
        result.check(callback_refs)
2782
2728
        return result
2783
2729
 
2784
 
    def _warn_if_deprecated(self, branch=None):
 
2730
    def _warn_if_deprecated(self):
2785
2731
        global _deprecation_warning_done
2786
2732
        if _deprecation_warning_done:
2787
2733
            return
2788
 
        try:
2789
 
            if branch is None:
2790
 
                conf = config.GlobalConfig()
2791
 
            else:
2792
 
                conf = branch.get_config()
2793
 
            if conf.suppress_warning('format_deprecation'):
2794
 
                return
2795
 
            warning("Format %s for %s is deprecated -"
2796
 
                    " please use 'bzr upgrade' to get better performance"
2797
 
                    % (self._format, self.bzrdir.transport.base))
2798
 
        finally:
2799
 
            _deprecation_warning_done = True
 
2734
        _deprecation_warning_done = True
 
2735
        warning("Format %s for %s is deprecated - please use 'bzr upgrade' to get better performance"
 
2736
                % (self._format, self.bzrdir.transport.base))
2800
2737
 
2801
2738
    def supports_rich_root(self):
2802
2739
        return self._format.rich_root_data
3083
3020
    # help), and for fetching when data won't have come from the same
3084
3021
    # compressor.
3085
3022
    pack_compresses = False
3086
 
    # Does the repository inventory storage understand references to trees?
3087
 
    supports_tree_reference = None
3088
 
    # Is the format experimental ?
3089
 
    experimental = False
3090
3023
 
3091
 
    def __repr__(self):
3092
 
        return "%s()" % self.__class__.__name__
 
3024
    def __str__(self):
 
3025
        return "<%s>" % self.__class__.__name__
3093
3026
 
3094
3027
    def __eq__(self, other):
3095
3028
        # format objects are generally stateless
3108
3041
        """
3109
3042
        try:
3110
3043
            transport = a_bzrdir.get_repository_transport(None)
3111
 
            format_string = transport.get_bytes("format")
 
3044
            format_string = transport.get("format").read()
3112
3045
            return format_registry.get(format_string)
3113
3046
        except errors.NoSuchFile:
3114
3047
            raise errors.NoRepositoryPresent(a_bzrdir)
3196
3129
        raise NotImplementedError(self.network_name)
3197
3130
 
3198
3131
    def check_conversion_target(self, target_format):
3199
 
        if self.rich_root_data and not target_format.rich_root_data:
3200
 
            raise errors.BadConversionTarget(
3201
 
                'Does not support rich root data.', target_format,
3202
 
                from_format=self)
3203
 
        if (self.supports_tree_reference and 
3204
 
            not getattr(target_format, 'supports_tree_reference', False)):
3205
 
            raise errors.BadConversionTarget(
3206
 
                'Does not support nested trees', target_format,
3207
 
                from_format=self)
 
3132
        raise NotImplementedError(self.check_conversion_target)
3208
3133
 
3209
3134
    def open(self, a_bzrdir, _found=False):
3210
3135
        """Return an instance of this format for the bzrdir a_bzrdir.
3213
3138
        """
3214
3139
        raise NotImplementedError(self.open)
3215
3140
 
3216
 
    def _run_post_repo_init_hooks(self, repository, a_bzrdir, shared):
3217
 
        from bzrlib.bzrdir import BzrDir, RepoInitHookParams
3218
 
        hooks = BzrDir.hooks['post_repo_init']
3219
 
        if not hooks:
3220
 
            return
3221
 
        params = RepoInitHookParams(repository, self, a_bzrdir, shared)
3222
 
        for hook in hooks:
3223
 
            hook(params)
3224
 
 
3225
3141
 
3226
3142
class MetaDirRepositoryFormat(RepositoryFormat):
3227
3143
    """Common base class for the new repositories using the metadir layout."""
3432
3348
 
3433
3349
        :param revision_id: if None all content is copied, if NULL_REVISION no
3434
3350
                            content is copied.
3435
 
        :param pb: ignored.
 
3351
        :param pb: optional progress bar to use for progress reports. If not
 
3352
                   provided a default one will be created.
3436
3353
        :return: None.
3437
3354
        """
3438
 
        ui.ui_factory.warn_experimental_format_fetch(self)
3439
3355
        from bzrlib.fetch import RepoFetcher
3440
 
        # See <https://launchpad.net/bugs/456077> asking for a warning here
3441
 
        if self.source._format.network_name() != self.target._format.network_name():
3442
 
            ui.ui_factory.show_user_warning('cross_format_fetch',
3443
 
                from_format=self.source._format,
3444
 
                to_format=self.target._format)
3445
3356
        f = RepoFetcher(to_repository=self.target,
3446
3357
                               from_repository=self.source,
3447
3358
                               last_revision=revision_id,
3448
3359
                               fetch_spec=fetch_spec,
3449
 
                               find_ghosts=find_ghosts)
 
3360
                               pb=pb, find_ghosts=find_ghosts)
3450
3361
 
3451
3362
    def _walk_to_common_revisions(self, revision_ids):
3452
3363
        """Walk out from revision_ids in source to revisions target has.
3621
3532
                self.target.texts.insert_record_stream(
3622
3533
                    self.source.texts.get_record_stream(
3623
3534
                        self.source.texts.keys(), 'topological', False))
3624
 
                pb.update('Copying inventory', 0, 1)
 
3535
                pb.update('copying inventory', 0, 1)
3625
3536
                self.target.inventories.insert_record_stream(
3626
3537
                    self.source.inventories.get_record_stream(
3627
3538
                        self.source.inventories.keys(), 'topological', False))
3753
3664
        # This is redundant with format.check_conversion_target(), however that
3754
3665
        # raises an exception, and we just want to say "False" as in we won't
3755
3666
        # support converting between these formats.
3756
 
        if 'IDS_never' in debug.debug_flags:
3757
 
            return False
3758
3667
        if source.supports_rich_root() and not target.supports_rich_root():
3759
3668
            return False
3760
3669
        if (source._format.supports_tree_reference
3761
3670
            and not target._format.supports_tree_reference):
3762
3671
            return False
3763
 
        if target._fallback_repositories and target._format.supports_chks:
3764
 
            # IDS doesn't know how to copy CHKs for the parent inventories it
3765
 
            # adds to stacked repos.
3766
 
            return False
3767
 
        if 'IDS_always' in debug.debug_flags:
3768
 
            return True
3769
 
        # Only use this code path for local source and target.  IDS does far
3770
 
        # too much IO (both bandwidth and roundtrips) over a network.
3771
 
        if not source.bzrdir.transport.base.startswith('file:///'):
3772
 
            return False
3773
 
        if not target.bzrdir.transport.base.startswith('file:///'):
3774
 
            return False
3775
3672
        return True
3776
3673
 
3777
 
    def _get_trees(self, revision_ids, cache):
3778
 
        possible_trees = []
3779
 
        for rev_id in revision_ids:
3780
 
            if rev_id in cache:
3781
 
                possible_trees.append((rev_id, cache[rev_id]))
3782
 
            else:
3783
 
                # Not cached, but inventory might be present anyway.
3784
 
                try:
3785
 
                    tree = self.source.revision_tree(rev_id)
3786
 
                except errors.NoSuchRevision:
3787
 
                    # Nope, parent is ghost.
3788
 
                    pass
3789
 
                else:
3790
 
                    cache[rev_id] = tree
3791
 
                    possible_trees.append((rev_id, tree))
3792
 
        return possible_trees
3793
 
 
3794
 
    def _get_delta_for_revision(self, tree, parent_ids, possible_trees):
 
3674
    def _get_delta_for_revision(self, tree, parent_ids, basis_id, cache):
3795
3675
        """Get the best delta and base for this revision.
3796
3676
 
3797
3677
        :return: (basis_id, delta)
3798
3678
        """
 
3679
        possible_trees = [(parent_id, cache[parent_id])
 
3680
                          for parent_id in parent_ids
 
3681
                           if parent_id in cache]
 
3682
        if len(possible_trees) == 0:
 
3683
            # There either aren't any parents, or the parents aren't in the
 
3684
            # cache, so just use the last converted tree
 
3685
            possible_trees.append((basis_id, cache[basis_id]))
3799
3686
        deltas = []
3800
 
        # Generate deltas against each tree, to find the shortest.
3801
 
        texts_possibly_new_in_tree = set()
3802
3687
        for basis_id, basis_tree in possible_trees:
3803
3688
            delta = tree.inventory._make_delta(basis_tree.inventory)
3804
 
            for old_path, new_path, file_id, new_entry in delta:
3805
 
                if new_path is None:
3806
 
                    # This file_id isn't present in the new rev, so we don't
3807
 
                    # care about it.
3808
 
                    continue
3809
 
                if not new_path:
3810
 
                    # Rich roots are handled elsewhere...
3811
 
                    continue
3812
 
                kind = new_entry.kind
3813
 
                if kind != 'directory' and kind != 'file':
3814
 
                    # No text record associated with this inventory entry.
3815
 
                    continue
3816
 
                # This is a directory or file that has changed somehow.
3817
 
                texts_possibly_new_in_tree.add((file_id, new_entry.revision))
3818
3689
            deltas.append((len(delta), basis_id, delta))
3819
3690
        deltas.sort()
3820
3691
        return deltas[0][1:]
3821
3692
 
3822
 
    def _fetch_parent_invs_for_stacking(self, parent_map, cache):
3823
 
        """Find all parent revisions that are absent, but for which the
3824
 
        inventory is present, and copy those inventories.
3825
 
 
3826
 
        This is necessary to preserve correctness when the source is stacked
3827
 
        without fallbacks configured.  (Note that in cases like upgrade the
3828
 
        source may be not have _fallback_repositories even though it is
3829
 
        stacked.)
3830
 
        """
3831
 
        parent_revs = set()
3832
 
        for parents in parent_map.values():
3833
 
            parent_revs.update(parents)
3834
 
        present_parents = self.source.get_parent_map(parent_revs)
3835
 
        absent_parents = set(parent_revs).difference(present_parents)
3836
 
        parent_invs_keys_for_stacking = self.source.inventories.get_parent_map(
3837
 
            (rev_id,) for rev_id in absent_parents)
3838
 
        parent_inv_ids = [key[-1] for key in parent_invs_keys_for_stacking]
3839
 
        for parent_tree in self.source.revision_trees(parent_inv_ids):
3840
 
            current_revision_id = parent_tree.get_revision_id()
3841
 
            parents_parents_keys = parent_invs_keys_for_stacking[
3842
 
                (current_revision_id,)]
3843
 
            parents_parents = [key[-1] for key in parents_parents_keys]
3844
 
            basis_id = _mod_revision.NULL_REVISION
3845
 
            basis_tree = self.source.revision_tree(basis_id)
3846
 
            delta = parent_tree.inventory._make_delta(basis_tree.inventory)
3847
 
            self.target.add_inventory_by_delta(
3848
 
                basis_id, delta, current_revision_id, parents_parents)
3849
 
            cache[current_revision_id] = parent_tree
3850
 
 
3851
 
    def _fetch_batch(self, revision_ids, basis_id, cache, a_graph=None):
 
3693
    def _get_parent_keys(self, root_key, parent_map):
 
3694
        """Get the parent keys for a given root id."""
 
3695
        root_id, rev_id = root_key
 
3696
        # Include direct parents of the revision, but only if they used
 
3697
        # the same root_id and are heads.
 
3698
        parent_keys = []
 
3699
        for parent_id in parent_map[rev_id]:
 
3700
            if parent_id == _mod_revision.NULL_REVISION:
 
3701
                continue
 
3702
            if parent_id not in self._revision_id_to_root_id:
 
3703
                # We probably didn't read this revision, go spend the
 
3704
                # extra effort to actually check
 
3705
                try:
 
3706
                    tree = self.source.revision_tree(parent_id)
 
3707
                except errors.NoSuchRevision:
 
3708
                    # Ghost, fill out _revision_id_to_root_id in case we
 
3709
                    # encounter this again.
 
3710
                    # But set parent_root_id to None since we don't really know
 
3711
                    parent_root_id = None
 
3712
                else:
 
3713
                    parent_root_id = tree.get_root_id()
 
3714
                self._revision_id_to_root_id[parent_id] = None
 
3715
            else:
 
3716
                parent_root_id = self._revision_id_to_root_id[parent_id]
 
3717
            if root_id == parent_root_id:
 
3718
                # With stacking we _might_ want to refer to a non-local
 
3719
                # revision, but this code path only applies when we have the
 
3720
                # full content available, so ghosts really are ghosts, not just
 
3721
                # the edge of local data.
 
3722
                parent_keys.append((parent_id,))
 
3723
            else:
 
3724
                # root_id may be in the parent anyway.
 
3725
                try:
 
3726
                    tree = self.source.revision_tree(parent_id)
 
3727
                except errors.NoSuchRevision:
 
3728
                    # ghost, can't refer to it.
 
3729
                    pass
 
3730
                else:
 
3731
                    try:
 
3732
                        parent_keys.append((tree.inventory[root_id].revision,))
 
3733
                    except errors.NoSuchId:
 
3734
                        # not in the tree
 
3735
                        pass
 
3736
        g = graph.Graph(self.source.revisions)
 
3737
        heads = g.heads(parent_keys)
 
3738
        selected_keys = []
 
3739
        for key in parent_keys:
 
3740
            if key in heads and key not in selected_keys:
 
3741
                selected_keys.append(key)
 
3742
        return tuple([(root_id,)+ key for key in selected_keys])
 
3743
 
 
3744
    def _new_root_data_stream(self, root_keys_to_create, parent_map):
 
3745
        for root_key in root_keys_to_create:
 
3746
            parent_keys = self._get_parent_keys(root_key, parent_map)
 
3747
            yield versionedfile.FulltextContentFactory(root_key,
 
3748
                parent_keys, None, '')
 
3749
 
 
3750
    def _fetch_batch(self, revision_ids, basis_id, cache):
3852
3751
        """Fetch across a few revisions.
3853
3752
 
3854
3753
        :param revision_ids: The revisions to copy
3855
3754
        :param basis_id: The revision_id of a tree that must be in cache, used
3856
3755
            as a basis for delta when no other base is available
3857
3756
        :param cache: A cache of RevisionTrees that we can use.
3858
 
        :param a_graph: A Graph object to determine the heads() of the
3859
 
            rich-root data stream.
3860
3757
        :return: The revision_id of the last converted tree. The RevisionTree
3861
3758
            for it will be in cache
3862
3759
        """
3868
3765
        pending_deltas = []
3869
3766
        pending_revisions = []
3870
3767
        parent_map = self.source.get_parent_map(revision_ids)
3871
 
        self._fetch_parent_invs_for_stacking(parent_map, cache)
3872
 
        self.source._safe_to_return_from_cache = True
3873
3768
        for tree in self.source.revision_trees(revision_ids):
3874
 
            # Find a inventory delta for this revision.
3875
 
            # Find text entries that need to be copied, too.
3876
3769
            current_revision_id = tree.get_revision_id()
3877
3770
            parent_ids = parent_map.get(current_revision_id, ())
3878
 
            parent_trees = self._get_trees(parent_ids, cache)
3879
 
            possible_trees = list(parent_trees)
3880
 
            if len(possible_trees) == 0:
3881
 
                # There either aren't any parents, or the parents are ghosts,
3882
 
                # so just use the last converted tree.
3883
 
                possible_trees.append((basis_id, cache[basis_id]))
3884
3771
            basis_id, delta = self._get_delta_for_revision(tree, parent_ids,
3885
 
                                                           possible_trees)
3886
 
            revision = self.source.get_revision(current_revision_id)
3887
 
            pending_deltas.append((basis_id, delta,
3888
 
                current_revision_id, revision.parent_ids))
 
3772
                                                           basis_id, cache)
3889
3773
            if self._converting_to_rich_root:
3890
3774
                self._revision_id_to_root_id[current_revision_id] = \
3891
3775
                    tree.get_root_id()
3892
 
            # Determine which texts are in present in this revision but not in
3893
 
            # any of the available parents.
3894
 
            texts_possibly_new_in_tree = set()
 
3776
            # Find text entries that need to be copied
3895
3777
            for old_path, new_path, file_id, entry in delta:
3896
 
                if new_path is None:
3897
 
                    # This file_id isn't present in the new rev
3898
 
                    continue
3899
 
                if not new_path:
3900
 
                    # This is the root
3901
 
                    if not self.target.supports_rich_root():
3902
 
                        # The target doesn't support rich root, so we don't
3903
 
                        # copy
3904
 
                        continue
3905
 
                    if self._converting_to_rich_root:
3906
 
                        # This can't be copied normally, we have to insert
3907
 
                        # it specially
3908
 
                        root_keys_to_create.add((file_id, entry.revision))
3909
 
                        continue
3910
 
                kind = entry.kind
3911
 
                texts_possibly_new_in_tree.add((file_id, entry.revision))
3912
 
            for basis_id, basis_tree in possible_trees:
3913
 
                basis_inv = basis_tree.inventory
3914
 
                for file_key in list(texts_possibly_new_in_tree):
3915
 
                    file_id, file_revision = file_key
3916
 
                    try:
3917
 
                        entry = basis_inv[file_id]
3918
 
                    except errors.NoSuchId:
3919
 
                        continue
3920
 
                    if entry.revision == file_revision:
3921
 
                        texts_possibly_new_in_tree.remove(file_key)
3922
 
            text_keys.update(texts_possibly_new_in_tree)
 
3778
                if new_path is not None:
 
3779
                    if not new_path:
 
3780
                        # This is the root
 
3781
                        if not self.target.supports_rich_root():
 
3782
                            # The target doesn't support rich root, so we don't
 
3783
                            # copy
 
3784
                            continue
 
3785
                        if self._converting_to_rich_root:
 
3786
                            # This can't be copied normally, we have to insert
 
3787
                            # it specially
 
3788
                            root_keys_to_create.add((file_id, entry.revision))
 
3789
                            continue
 
3790
                    text_keys.add((file_id, entry.revision))
 
3791
            revision = self.source.get_revision(current_revision_id)
 
3792
            pending_deltas.append((basis_id, delta,
 
3793
                current_revision_id, revision.parent_ids))
3923
3794
            pending_revisions.append(revision)
3924
3795
            cache[current_revision_id] = tree
3925
3796
            basis_id = current_revision_id
3926
 
        self.source._safe_to_return_from_cache = False
3927
3797
        # Copy file texts
3928
3798
        from_texts = self.source.texts
3929
3799
        to_texts = self.target.texts
3930
3800
        if root_keys_to_create:
3931
 
            root_stream = _mod_fetch._new_root_data_stream(
3932
 
                root_keys_to_create, self._revision_id_to_root_id, parent_map,
3933
 
                self.source, graph=a_graph)
 
3801
            root_stream = self._new_root_data_stream(root_keys_to_create,
 
3802
                                                     parent_map)
3934
3803
            to_texts.insert_record_stream(root_stream)
3935
3804
        to_texts.insert_record_stream(from_texts.get_record_stream(
3936
3805
            text_keys, self.target._format._fetch_order,
3958
3827
            for parent_tree in self.source.revision_trees(parent_map):
3959
3828
                current_revision_id = parent_tree.get_revision_id()
3960
3829
                parents_parents = parent_map[current_revision_id]
3961
 
                possible_trees = self._get_trees(parents_parents, cache)
3962
 
                if len(possible_trees) == 0:
3963
 
                    # There either aren't any parents, or the parents are
3964
 
                    # ghosts, so just use the last converted tree.
3965
 
                    possible_trees.append((basis_id, cache[basis_id]))
3966
3830
                basis_id, delta = self._get_delta_for_revision(parent_tree,
3967
 
                    parents_parents, possible_trees)
 
3831
                    parents_parents, basis_id, cache)
3968
3832
                self.target.add_inventory_by_delta(
3969
3833
                    basis_id, delta, current_revision_id, parents_parents)
3970
3834
        # insert signatures and revisions
3993
3857
        cache[basis_id] = basis_tree
3994
3858
        del basis_tree # We don't want to hang on to it here
3995
3859
        hints = []
3996
 
        if self._converting_to_rich_root and len(revision_ids) > 100:
3997
 
            a_graph = _mod_fetch._get_rich_root_heads_graph(self.source,
3998
 
                                                            revision_ids)
3999
 
        else:
4000
 
            a_graph = None
4001
 
 
4002
3860
        for offset in range(0, len(revision_ids), batch_size):
4003
3861
            self.target.start_write_group()
4004
3862
            try:
4005
3863
                pb.update('Transferring revisions', offset,
4006
3864
                          len(revision_ids))
4007
3865
                batch = revision_ids[offset:offset+batch_size]
4008
 
                basis_id = self._fetch_batch(batch, basis_id, cache,
4009
 
                                             a_graph=a_graph)
 
3866
                basis_id = self._fetch_batch(batch, basis_id, cache)
4010
3867
            except:
4011
 
                self.source._safe_to_return_from_cache = False
4012
3868
                self.target.abort_write_group()
4013
3869
                raise
4014
3870
            else:
4026
3882
        """See InterRepository.fetch()."""
4027
3883
        if fetch_spec is not None:
4028
3884
            raise AssertionError("Not implemented yet...")
4029
 
        ui.ui_factory.warn_experimental_format_fetch(self)
4030
3885
        if (not self.source.supports_rich_root()
4031
3886
            and self.target.supports_rich_root()):
4032
3887
            self._converting_to_rich_root = True
4033
3888
            self._revision_id_to_root_id = {}
4034
3889
        else:
4035
3890
            self._converting_to_rich_root = False
4036
 
        # See <https://launchpad.net/bugs/456077> asking for a warning here
4037
 
        if self.source._format.network_name() != self.target._format.network_name():
4038
 
            ui.ui_factory.show_user_warning('cross_format_fetch',
4039
 
                from_format=self.source._format,
4040
 
                to_format=self.target._format)
4041
3891
        revision_ids = self.target.search_missing_revision_ids(self.source,
4042
3892
            revision_id, find_ghosts=find_ghosts).get_keys()
4043
3893
        if not revision_ids:
4049
3899
        # Walk though all revisions; get inventory deltas, copy referenced
4050
3900
        # texts that delta references, insert the delta, revision and
4051
3901
        # signature.
 
3902
        first_rev = self.source.get_revision(revision_ids[0])
4052
3903
        if pb is None:
4053
3904
            my_pb = ui.ui_factory.nested_progress_bar()
4054
3905
            pb = my_pb
4112
3963
        :param to_convert: The disk object to convert.
4113
3964
        :param pb: a progress bar to use for progress information.
4114
3965
        """
4115
 
        pb = ui.ui_factory.nested_progress_bar()
 
3966
        self.pb = pb
4116
3967
        self.count = 0
4117
3968
        self.total = 4
4118
3969
        # this is only useful with metadir layouts - separated repo content.
4119
3970
        # trigger an assertion if not such
4120
3971
        repo._format.get_format_string()
4121
3972
        self.repo_dir = repo.bzrdir
4122
 
        pb.update('Moving repository to repository.backup')
 
3973
        self.step('Moving repository to repository.backup')
4123
3974
        self.repo_dir.transport.move('repository', 'repository.backup')
4124
3975
        backup_transport =  self.repo_dir.transport.clone('repository.backup')
4125
3976
        repo._format.check_conversion_target(self.target_format)
4126
3977
        self.source_repo = repo._format.open(self.repo_dir,
4127
3978
            _found=True,
4128
3979
            _override_transport=backup_transport)
4129
 
        pb.update('Creating new repository')
 
3980
        self.step('Creating new repository')
4130
3981
        converted = self.target_format.initialize(self.repo_dir,
4131
3982
                                                  self.source_repo.is_shared())
4132
3983
        converted.lock_write()
4133
3984
        try:
4134
 
            pb.update('Copying content')
 
3985
            self.step('Copying content into repository.')
4135
3986
            self.source_repo.copy_content_into(converted)
4136
3987
        finally:
4137
3988
            converted.unlock()
4138
 
        pb.update('Deleting old repository content')
 
3989
        self.step('Deleting old repository content.')
4139
3990
        self.repo_dir.transport.delete_tree('repository.backup')
4140
 
        ui.ui_factory.note('repository converted')
4141
 
        pb.finished()
 
3991
        self.pb.note('repository converted')
 
3992
 
 
3993
    def step(self, message):
 
3994
        """Update the pb by a step."""
 
3995
        self.count +=1
 
3996
        self.pb.update(message, self.count, self.total)
4142
3997
 
4143
3998
 
4144
3999
_unescape_map = {
4216
4071
        self.file_ids = set([file_id for file_id, _ in
4217
4072
            self.text_index.iterkeys()])
4218
4073
        # text keys is now grouped by file_id
 
4074
        n_weaves = len(self.file_ids)
 
4075
        files_in_revisions = {}
 
4076
        revisions_of_files = {}
4219
4077
        n_versions = len(self.text_index)
4220
4078
        progress_bar.update('loading text store', 0, n_versions)
4221
4079
        parent_map = self.repository.texts.get_parent_map(self.text_index)
4284
4142
                is_resume = False
4285
4143
            try:
4286
4144
                # locked_insert_stream performs a commit|suspend.
4287
 
                return self._locked_insert_stream(stream, src_format,
4288
 
                    is_resume)
 
4145
                return self._locked_insert_stream(stream, src_format, is_resume)
4289
4146
            except:
4290
4147
                self.target_repo.abort_write_group(suppress_errors=True)
4291
4148
                raise
4315
4172
            else:
4316
4173
                new_pack.set_write_cache_size(1024*1024)
4317
4174
        for substream_type, substream in stream:
4318
 
            if 'stream' in debug.debug_flags:
4319
 
                mutter('inserting substream: %s', substream_type)
4320
4175
            if substream_type == 'texts':
4321
4176
                self.target_repo.texts.insert_record_stream(substream)
4322
4177
            elif substream_type == 'inventories':
4326
4181
                else:
4327
4182
                    self._extract_and_insert_inventories(
4328
4183
                        substream, src_serializer)
4329
 
            elif substream_type == 'inventory-deltas':
4330
 
                self._extract_and_insert_inventory_deltas(
4331
 
                    substream, src_serializer)
4332
4184
            elif substream_type == 'chk_bytes':
4333
4185
                # XXX: This doesn't support conversions, as it assumes the
4334
4186
                #      conversion was done in the fetch code.
4338
4190
                # required if the serializers are different only in terms of
4339
4191
                # the inventory.
4340
4192
                if src_serializer == to_serializer:
4341
 
                    self.target_repo.revisions.insert_record_stream(substream)
 
4193
                    self.target_repo.revisions.insert_record_stream(
 
4194
                        substream)
4342
4195
                else:
4343
4196
                    self._extract_and_insert_revisions(substream,
4344
4197
                        src_serializer)
4364
4217
                ):
4365
4218
                if versioned_file is None:
4366
4219
                    continue
4367
 
                # TODO: key is often going to be a StaticTuple object
4368
 
                #       I don't believe we can define a method by which
4369
 
                #       (prefix,) + StaticTuple will work, though we could
4370
 
                #       define a StaticTuple.sq_concat that would allow you to
4371
 
                #       pass in either a tuple or a StaticTuple as the second
4372
 
                #       object, so instead we could have:
4373
 
                #       StaticTuple(prefix) + key here...
4374
4220
                missing_keys.update((prefix,) + key for key in
4375
4221
                    versioned_file.get_missing_compression_parent_keys())
4376
4222
        except NotImplementedError:
4391
4237
            self.target_repo.pack(hint=hint)
4392
4238
        return [], set()
4393
4239
 
4394
 
    def _extract_and_insert_inventory_deltas(self, substream, serializer):
4395
 
        target_rich_root = self.target_repo._format.rich_root_data
4396
 
        target_tree_refs = self.target_repo._format.supports_tree_reference
4397
 
        for record in substream:
4398
 
            # Insert the delta directly
4399
 
            inventory_delta_bytes = record.get_bytes_as('fulltext')
4400
 
            deserialiser = inventory_delta.InventoryDeltaDeserializer()
4401
 
            try:
4402
 
                parse_result = deserialiser.parse_text_bytes(
4403
 
                    inventory_delta_bytes)
4404
 
            except inventory_delta.IncompatibleInventoryDelta, err:
4405
 
                trace.mutter("Incompatible delta: %s", err.msg)
4406
 
                raise errors.IncompatibleRevision(self.target_repo._format)
4407
 
            basis_id, new_id, rich_root, tree_refs, inv_delta = parse_result
4408
 
            revision_id = new_id
4409
 
            parents = [key[0] for key in record.parents]
4410
 
            self.target_repo.add_inventory_by_delta(
4411
 
                basis_id, inv_delta, revision_id, parents)
4412
 
 
4413
 
    def _extract_and_insert_inventories(self, substream, serializer,
4414
 
            parse_delta=None):
 
4240
    def _extract_and_insert_inventories(self, substream, serializer):
4415
4241
        """Generate a new inventory versionedfile in target, converting data.
4416
4242
 
4417
4243
        The inventory is retrieved from the source, (deserializing it), and
4418
4244
        stored in the target (reserializing it in a different format).
4419
4245
        """
4420
 
        target_rich_root = self.target_repo._format.rich_root_data
4421
 
        target_tree_refs = self.target_repo._format.supports_tree_reference
4422
4246
        for record in substream:
4423
 
            # It's not a delta, so it must be a fulltext in the source
4424
 
            # serializer's format.
4425
4247
            bytes = record.get_bytes_as('fulltext')
4426
4248
            revision_id = record.key[0]
4427
4249
            inv = serializer.read_inventory_from_string(bytes, revision_id)
4428
4250
            parents = [key[0] for key in record.parents]
4429
4251
            self.target_repo.add_inventory(revision_id, inv, parents)
4430
 
            # No need to keep holding this full inv in memory when the rest of
4431
 
            # the substream is likely to be all deltas.
4432
 
            del inv
4433
4252
 
4434
4253
    def _extract_and_insert_revisions(self, substream, serializer):
4435
4254
        for record in substream:
4452
4271
        """Create a StreamSource streaming from from_repository."""
4453
4272
        self.from_repository = from_repository
4454
4273
        self.to_format = to_format
4455
 
        self._record_counter = RecordCounter()
4456
4274
 
4457
4275
    def delta_on_metadata(self):
4458
4276
        """Return True if delta's are permitted on metadata streams.
4485
4303
        return [('signatures', signatures), ('revisions', revisions)]
4486
4304
 
4487
4305
    def _generate_root_texts(self, revs):
4488
 
        """This will be called by get_stream between fetching weave texts and
 
4306
        """This will be called by __fetch between fetching weave texts and
4489
4307
        fetching the inventory weave.
 
4308
 
 
4309
        Subclasses should override this if they need to generate root texts
 
4310
        after fetching weave texts.
4490
4311
        """
4491
4312
        if self._rich_root_upgrade():
4492
 
            return _mod_fetch.Inter1and2Helper(
 
4313
            import bzrlib.fetch
 
4314
            return bzrlib.fetch.Inter1and2Helper(
4493
4315
                self.from_repository).generate_root_texts(revs)
4494
4316
        else:
4495
4317
            return []
4498
4320
        phase = 'file'
4499
4321
        revs = search.get_keys()
4500
4322
        graph = self.from_repository.get_graph()
4501
 
        revs = tsort.topo_sort(graph.get_parent_map(revs))
 
4323
        revs = list(graph.iter_topo_order(revs))
4502
4324
        data_to_fetch = self.from_repository.item_keys_introduced_by(revs)
4503
4325
        text_keys = []
4504
4326
        for knit_kind, file_id, revisions in data_to_fetch:
4523
4345
                # will be valid.
4524
4346
                for _ in self._generate_root_texts(revs):
4525
4347
                    yield _
 
4348
                # NB: This currently reopens the inventory weave in source;
 
4349
                # using a single stream interface instead would avoid this.
 
4350
                from_weave = self.from_repository.inventories
4526
4351
                # we fetch only the referenced inventories because we do not
4527
4352
                # know for unselected inventories whether all their required
4528
4353
                # texts are present in the other repository - it could be
4567
4392
            if not keys:
4568
4393
                # No need to stream something we don't have
4569
4394
                continue
4570
 
            if substream_kind == 'inventories':
4571
 
                # Some missing keys are genuinely ghosts, filter those out.
4572
 
                present = self.from_repository.inventories.get_parent_map(keys)
4573
 
                revs = [key[0] for key in present]
4574
 
                # Get the inventory stream more-or-less as we do for the
4575
 
                # original stream; there's no reason to assume that records
4576
 
                # direct from the source will be suitable for the sink.  (Think
4577
 
                # e.g. 2a -> 1.9-rich-root).
4578
 
                for info in self._get_inventory_stream(revs, missing=True):
4579
 
                    yield info
4580
 
                continue
4581
 
 
4582
4395
            # Ask for full texts always so that we don't need more round trips
4583
4396
            # after this stream.
4584
4397
            # Some of the missing keys are genuinely ghosts, so filter absent
4599
4412
        return (not self.from_repository._format.rich_root_data and
4600
4413
            self.to_format.rich_root_data)
4601
4414
 
4602
 
    def _get_inventory_stream(self, revision_ids, missing=False):
 
4415
    def _get_inventory_stream(self, revision_ids):
4603
4416
        from_format = self.from_repository._format
4604
 
        if (from_format.supports_chks and self.to_format.supports_chks and
4605
 
            from_format.network_name() == self.to_format.network_name()):
4606
 
            raise AssertionError(
4607
 
                "this case should be handled by GroupCHKStreamSource")
4608
 
        elif 'forceinvdeltas' in debug.debug_flags:
4609
 
            return self._get_convertable_inventory_stream(revision_ids,
4610
 
                    delta_versus_null=missing)
4611
 
        elif from_format.network_name() == self.to_format.network_name():
4612
 
            # Same format.
4613
 
            return self._get_simple_inventory_stream(revision_ids,
4614
 
                    missing=missing)
4615
 
        elif (not from_format.supports_chks and not self.to_format.supports_chks
4616
 
                and from_format._serializer == self.to_format._serializer):
4617
 
            # Essentially the same format.
4618
 
            return self._get_simple_inventory_stream(revision_ids,
4619
 
                    missing=missing)
 
4417
        if (from_format.supports_chks and self.to_format.supports_chks
 
4418
            and (from_format._serializer == self.to_format._serializer)):
 
4419
            # Both sides support chks, and they use the same serializer, so it
 
4420
            # is safe to transmit the chk pages and inventory pages across
 
4421
            # as-is.
 
4422
            return self._get_chk_inventory_stream(revision_ids)
 
4423
        elif (not from_format.supports_chks):
 
4424
            # Source repository doesn't support chks. So we can transmit the
 
4425
            # inventories 'as-is' and either they are just accepted on the
 
4426
            # target, or the Sink will properly convert it.
 
4427
            return self._get_simple_inventory_stream(revision_ids)
4620
4428
        else:
4621
 
            # Any time we switch serializations, we want to use an
4622
 
            # inventory-delta based approach.
4623
 
            return self._get_convertable_inventory_stream(revision_ids,
4624
 
                    delta_versus_null=missing)
 
4429
            # XXX: Hack to make not-chk->chk fetch: copy the inventories as
 
4430
            #      inventories. Note that this should probably be done somehow
 
4431
            #      as part of bzrlib.repository.StreamSink. Except JAM couldn't
 
4432
            #      figure out how a non-chk repository could possibly handle
 
4433
            #      deserializing an inventory stream from a chk repo, as it
 
4434
            #      doesn't have a way to understand individual pages.
 
4435
            return self._get_convertable_inventory_stream(revision_ids)
4625
4436
 
4626
 
    def _get_simple_inventory_stream(self, revision_ids, missing=False):
4627
 
        # NB: This currently reopens the inventory weave in source;
4628
 
        # using a single stream interface instead would avoid this.
 
4437
    def _get_simple_inventory_stream(self, revision_ids):
4629
4438
        from_weave = self.from_repository.inventories
4630
 
        if missing:
4631
 
            delta_closure = True
4632
 
        else:
4633
 
            delta_closure = not self.delta_on_metadata()
4634
4439
        yield ('inventories', from_weave.get_record_stream(
4635
4440
            [(rev_id,) for rev_id in revision_ids],
4636
 
            self.inventory_fetch_order(), delta_closure))
4637
 
 
4638
 
    def _get_convertable_inventory_stream(self, revision_ids,
4639
 
                                          delta_versus_null=False):
4640
 
        # The two formats are sufficiently different that there is no fast
4641
 
        # path, so we need to send just inventorydeltas, which any
4642
 
        # sufficiently modern client can insert into any repository.
4643
 
        # The StreamSink code expects to be able to
4644
 
        # convert on the target, so we need to put bytes-on-the-wire that can
4645
 
        # be converted.  That means inventory deltas (if the remote is <1.19,
4646
 
        # RemoteStreamSink will fallback to VFS to insert the deltas).
4647
 
        yield ('inventory-deltas',
4648
 
           self._stream_invs_as_deltas(revision_ids,
4649
 
                                       delta_versus_null=delta_versus_null))
4650
 
 
4651
 
    def _stream_invs_as_deltas(self, revision_ids, delta_versus_null=False):
4652
 
        """Return a stream of inventory-deltas for the given rev ids.
4653
 
 
4654
 
        :param revision_ids: The list of inventories to transmit
4655
 
        :param delta_versus_null: Don't try to find a minimal delta for this
4656
 
            entry, instead compute the delta versus the NULL_REVISION. This
4657
 
            effectively streams a complete inventory. Used for stuff like
4658
 
            filling in missing parents, etc.
4659
 
        """
 
4441
            self.inventory_fetch_order(),
 
4442
            not self.delta_on_metadata()))
 
4443
 
 
4444
    def _get_chk_inventory_stream(self, revision_ids):
 
4445
        """Fetch the inventory texts, along with the associated chk maps."""
 
4446
        # We want an inventory outside of the search set, so that we can filter
 
4447
        # out uninteresting chk pages. For now we use
 
4448
        # _find_revision_outside_set, but if we had a Search with cut_revs, we
 
4449
        # could use that instead.
 
4450
        start_rev_id = self.from_repository._find_revision_outside_set(
 
4451
                            revision_ids)
 
4452
        start_rev_key = (start_rev_id,)
 
4453
        inv_keys_to_fetch = [(rev_id,) for rev_id in revision_ids]
 
4454
        if start_rev_id != _mod_revision.NULL_REVISION:
 
4455
            inv_keys_to_fetch.append((start_rev_id,))
 
4456
        # Any repo that supports chk_bytes must also support out-of-order
 
4457
        # insertion. At least, that is how we expect it to work
 
4458
        # We use get_record_stream instead of iter_inventories because we want
 
4459
        # to be able to insert the stream as well. We could instead fetch
 
4460
        # allowing deltas, and then iter_inventories, but we don't know whether
 
4461
        # source or target is more 'local' anway.
 
4462
        inv_stream = self.from_repository.inventories.get_record_stream(
 
4463
            inv_keys_to_fetch, 'unordered',
 
4464
            True) # We need them as full-texts so we can find their references
 
4465
        uninteresting_chk_roots = set()
 
4466
        interesting_chk_roots = set()
 
4467
        def filter_inv_stream(inv_stream):
 
4468
            for idx, record in enumerate(inv_stream):
 
4469
                ### child_pb.update('fetch inv', idx, len(inv_keys_to_fetch))
 
4470
                bytes = record.get_bytes_as('fulltext')
 
4471
                chk_inv = inventory.CHKInventory.deserialise(
 
4472
                    self.from_repository.chk_bytes, bytes, record.key)
 
4473
                if record.key == start_rev_key:
 
4474
                    uninteresting_chk_roots.add(chk_inv.id_to_entry.key())
 
4475
                    p_id_map = chk_inv.parent_id_basename_to_file_id
 
4476
                    if p_id_map is not None:
 
4477
                        uninteresting_chk_roots.add(p_id_map.key())
 
4478
                else:
 
4479
                    yield record
 
4480
                    interesting_chk_roots.add(chk_inv.id_to_entry.key())
 
4481
                    p_id_map = chk_inv.parent_id_basename_to_file_id
 
4482
                    if p_id_map is not None:
 
4483
                        interesting_chk_roots.add(p_id_map.key())
 
4484
        ### pb.update('fetch inventory', 0, 2)
 
4485
        yield ('inventories', filter_inv_stream(inv_stream))
 
4486
        # Now that we have worked out all of the interesting root nodes, grab
 
4487
        # all of the interesting pages and insert them
 
4488
        ### pb.update('fetch inventory', 1, 2)
 
4489
        interesting = chk_map.iter_interesting_nodes(
 
4490
            self.from_repository.chk_bytes, interesting_chk_roots,
 
4491
            uninteresting_chk_roots)
 
4492
        def to_stream_adapter():
 
4493
            """Adapt the iter_interesting_nodes result to a single stream.
 
4494
 
 
4495
            iter_interesting_nodes returns records as it processes them, along
 
4496
            with keys. However, we only want to return the records themselves.
 
4497
            """
 
4498
            for record, items in interesting:
 
4499
                if record is not None:
 
4500
                    yield record
 
4501
        # XXX: We could instead call get_record_stream(records.keys())
 
4502
        #      ATM, this will always insert the records as fulltexts, and
 
4503
        #      requires that you can hang on to records once you have gone
 
4504
        #      on to the next one. Further, it causes the target to
 
4505
        #      recompress the data. Testing shows it to be faster than
 
4506
        #      requesting the records again, though.
 
4507
        yield ('chk_bytes', to_stream_adapter())
 
4508
        ### pb.update('fetch inventory', 2, 2)
 
4509
 
 
4510
    def _get_convertable_inventory_stream(self, revision_ids):
 
4511
        # XXX: One of source or target is using chks, and they don't have
 
4512
        #      compatible serializations. The StreamSink code expects to be
 
4513
        #      able to convert on the target, so we need to put
 
4514
        #      bytes-on-the-wire that can be converted
 
4515
        yield ('inventories', self._stream_invs_as_fulltexts(revision_ids))
 
4516
 
 
4517
    def _stream_invs_as_fulltexts(self, revision_ids):
4660
4518
        from_repo = self.from_repository
 
4519
        from_serializer = from_repo._format._serializer
4661
4520
        revision_keys = [(rev_id,) for rev_id in revision_ids]
4662
4521
        parent_map = from_repo.inventories.get_parent_map(revision_keys)
4663
 
        # XXX: possibly repos could implement a more efficient iter_inv_deltas
4664
 
        # method...
4665
 
        inventories = self.from_repository.iter_inventories(
4666
 
            revision_ids, 'topological')
4667
 
        format = from_repo._format
4668
 
        invs_sent_so_far = set([_mod_revision.NULL_REVISION])
4669
 
        inventory_cache = lru_cache.LRUCache(50)
4670
 
        null_inventory = from_repo.revision_tree(
4671
 
            _mod_revision.NULL_REVISION).inventory
4672
 
        # XXX: ideally the rich-root/tree-refs flags would be per-revision, not
4673
 
        # per-repo (e.g.  streaming a non-rich-root revision out of a rich-root
4674
 
        # repo back into a non-rich-root repo ought to be allowed)
4675
 
        serializer = inventory_delta.InventoryDeltaSerializer(
4676
 
            versioned_root=format.rich_root_data,
4677
 
            tree_references=format.supports_tree_reference)
4678
 
        for inv in inventories:
 
4522
        for inv in self.from_repository.iter_inventories(revision_ids):
 
4523
            # XXX: This is a bit hackish, but it works. Basically,
 
4524
            #      CHKSerializer 'accidentally' supports
 
4525
            #      read/write_inventory_to_string, even though that is never
 
4526
            #      the format that is stored on disk. It *does* give us a
 
4527
            #      single string representation for an inventory, so live with
 
4528
            #      it for now.
 
4529
            #      This would be far better if we had a 'serialized inventory
 
4530
            #      delta' form. Then we could use 'inventory._make_delta', and
 
4531
            #      transmit that. This would both be faster to generate, and
 
4532
            #      result in fewer bytes-on-the-wire.
 
4533
            as_bytes = from_serializer.write_inventory_to_string(inv)
4679
4534
            key = (inv.revision_id,)
4680
4535
            parent_keys = parent_map.get(key, ())
4681
 
            delta = None
4682
 
            if not delta_versus_null and parent_keys:
4683
 
                # The caller did not ask for complete inventories and we have
4684
 
                # some parents that we can delta against.  Make a delta against
4685
 
                # each parent so that we can find the smallest.
4686
 
                parent_ids = [parent_key[0] for parent_key in parent_keys]
4687
 
                for parent_id in parent_ids:
4688
 
                    if parent_id not in invs_sent_so_far:
4689
 
                        # We don't know that the remote side has this basis, so
4690
 
                        # we can't use it.
4691
 
                        continue
4692
 
                    if parent_id == _mod_revision.NULL_REVISION:
4693
 
                        parent_inv = null_inventory
4694
 
                    else:
4695
 
                        parent_inv = inventory_cache.get(parent_id, None)
4696
 
                        if parent_inv is None:
4697
 
                            parent_inv = from_repo.get_inventory(parent_id)
4698
 
                    candidate_delta = inv._make_delta(parent_inv)
4699
 
                    if (delta is None or
4700
 
                        len(delta) > len(candidate_delta)):
4701
 
                        delta = candidate_delta
4702
 
                        basis_id = parent_id
4703
 
            if delta is None:
4704
 
                # Either none of the parents ended up being suitable, or we
4705
 
                # were asked to delta against NULL
4706
 
                basis_id = _mod_revision.NULL_REVISION
4707
 
                delta = inv._make_delta(null_inventory)
4708
 
            invs_sent_so_far.add(inv.revision_id)
4709
 
            inventory_cache[inv.revision_id] = inv
4710
 
            delta_serialized = ''.join(
4711
 
                serializer.delta_to_lines(basis_id, key[-1], delta))
4712
4536
            yield versionedfile.FulltextContentFactory(
4713
 
                key, parent_keys, None, delta_serialized)
 
4537
                key, parent_keys, None, as_bytes)
4714
4538
 
4715
4539
 
4716
4540
def _iter_for_revno(repo, partial_history_cache, stop_index=None,