~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/versionedfile.py

  • Committer: Robert Collins
  • Date: 2009-04-27 03:27:46 UTC
  • mto: This revision was merged to the branch mainline in revision 4304.
  • Revision ID: robertc@robertcollins.net-20090427032746-vqmcsfbsbvbm04sk
Fixup tests broken by cleaning up the layering.

Show diffs side-by-side

added added

removed removed

Lines of Context:
30
30
import urllib
31
31
 
32
32
from bzrlib import (
33
 
    annotate,
34
33
    errors,
35
 
    graph as _mod_graph,
36
34
    groupcompress,
37
35
    index,
38
36
    knit,
42
40
    revision,
43
41
    ui,
44
42
    )
45
 
from bzrlib.graph import DictParentsProvider, Graph, StackedParentsProvider
 
43
from bzrlib.graph import DictParentsProvider, Graph, _StackedParentsProvider
46
44
from bzrlib.transport.memory import MemoryTransport
47
45
""")
48
46
from bzrlib.inter import InterObject
49
47
from bzrlib.registry import Registry
50
48
from bzrlib.symbol_versioning import *
51
49
from bzrlib.textmerge import TextMerge
52
 
from bzrlib import bencode
 
50
from bzrlib.util import bencode
53
51
 
54
52
 
55
53
adapter_registry = Registry()
176
174
        self.key = key
177
175
        self.parents = None
178
176
 
179
 
    def get_bytes_as(self, storage_kind):
180
 
        raise ValueError('A request was made for key: %s, but that'
181
 
                         ' content is not available, and the calling'
182
 
                         ' code does not handle if it is missing.'
183
 
                         % (self.key,))
184
 
 
185
177
 
186
178
class AdapterFactory(ContentFactory):
187
179
    """A content factory to adapt between key prefix's."""
837
829
        """
838
830
        raise NotImplementedError(self.add_lines)
839
831
 
840
 
    def _add_text(self, key, parents, text, nostore_sha=None, random_id=False):
841
 
        """Add a text to the store.
842
 
 
843
 
        This is a private function for use by CommitBuilder.
844
 
 
845
 
        :param key: The key tuple of the text to add. If the last element is
846
 
            None, a CHK string will be generated during the addition.
847
 
        :param parents: The parents key tuples of the text to add.
848
 
        :param text: A string containing the text to be committed.
849
 
        :param nostore_sha: Raise ExistingContent and do not add the lines to
850
 
            the versioned file if the digest of the lines matches this.
851
 
        :param random_id: If True a random id has been selected rather than
852
 
            an id determined by some deterministic process such as a converter
853
 
            from a foreign VCS. When True the backend may choose not to check
854
 
            for uniqueness of the resulting key within the versioned file, so
855
 
            this should only be done when the result is expected to be unique
856
 
            anyway.
857
 
        :param check_content: If True, the lines supplied are verified to be
858
 
            bytestrings that are correctly formed lines.
859
 
        :return: The text sha1, the number of bytes in the text, and an opaque
860
 
                 representation of the inserted version which can be provided
861
 
                 back to future _add_text calls in the parent_texts dictionary.
862
 
        """
863
 
        # The default implementation just thunks over to .add_lines(),
864
 
        # inefficient, but it works.
865
 
        return self.add_lines(key, parents, osutils.split_lines(text),
866
 
                              nostore_sha=nostore_sha,
867
 
                              random_id=random_id,
868
 
                              check_content=True)
869
 
 
870
832
    def add_mpdiffs(self, records):
871
833
        """Add mpdiffs to this VersionedFile.
872
834
 
914
876
        raise NotImplementedError(self.annotate)
915
877
 
916
878
    def check(self, progress_bar=None):
917
 
        """Check this object for integrity.
918
 
        
919
 
        :param progress_bar: A progress bar to output as the check progresses.
920
 
        :param keys: Specific keys within the VersionedFiles to check. When
921
 
            this parameter is not None, check() becomes a generator as per
922
 
            get_record_stream. The difference to get_record_stream is that
923
 
            more or deeper checks will be performed.
924
 
        :return: None, or if keys was supplied a generator as per
925
 
            get_record_stream.
926
 
        """
 
879
        """Check this object for integrity."""
927
880
        raise NotImplementedError(self.check)
928
881
 
929
882
    @staticmethod
930
883
    def check_not_reserved_id(version_id):
931
884
        revision.check_not_reserved_id(version_id)
932
885
 
933
 
    def clear_cache(self):
934
 
        """Clear whatever caches this VersionedFile holds.
935
 
 
936
 
        This is generally called after an operation has been performed, when we
937
 
        don't expect to be using this versioned file again soon.
938
 
        """
939
 
 
940
886
    def _check_lines_not_unicode(self, lines):
941
887
        """Check that lines being added to a versioned file are not unicode."""
942
888
        for line in lines:
949
895
            if '\n' in line[:-1]:
950
896
                raise errors.BzrBadParameterContainsNewline("lines")
951
897
 
952
 
    def get_known_graph_ancestry(self, keys):
953
 
        """Get a KnownGraph instance with the ancestry of keys."""
954
 
        # most basic implementation is a loop around get_parent_map
955
 
        pending = set(keys)
956
 
        parent_map = {}
957
 
        while pending:
958
 
            this_parent_map = self.get_parent_map(pending)
959
 
            parent_map.update(this_parent_map)
960
 
            pending = set()
961
 
            map(pending.update, this_parent_map.itervalues())
962
 
            pending = pending.difference(parent_map)
963
 
        kg = _mod_graph.KnownGraph(parent_map)
964
 
        return kg
965
 
 
966
898
    def get_parent_map(self, keys):
967
899
        """Get a map of the parents of keys.
968
900
 
1160
1092
            result.append((prefix + (origin,), line))
1161
1093
        return result
1162
1094
 
1163
 
    def get_annotator(self):
1164
 
        return annotate.Annotator(self)
1165
 
 
1166
 
    def check(self, progress_bar=None, keys=None):
 
1095
    def check(self, progress_bar=None):
1167
1096
        """See VersionedFiles.check()."""
1168
 
        # XXX: This is over-enthusiastic but as we only thunk for Weaves today
1169
 
        # this is tolerable. Ideally we'd pass keys down to check() and 
1170
 
        # have the older VersiondFile interface updated too.
1171
1097
        for prefix, vf in self._iter_all_components():
1172
1098
            vf.check()
1173
 
        if keys is not None:
1174
 
            return self.get_record_stream(keys, 'unordered', True)
1175
1099
 
1176
1100
    def get_parent_map(self, keys):
1177
1101
        """Get a map of the parents of keys.
1409
1333
            result[revision.NULL_REVISION] = ()
1410
1334
        self._providers = self._providers[:1] + self.fallback_versionedfiles
1411
1335
        result.update(
1412
 
            StackedParentsProvider(self._providers).get_parent_map(keys))
 
1336
            _StackedParentsProvider(self._providers).get_parent_map(keys))
1413
1337
        for key, parents in result.iteritems():
1414
1338
            if parents == ():
1415
1339
                result[key] = (revision.NULL_REVISION,)
1426
1350
    def __init__(self, plan, a_marker=TextMerge.A_MARKER,
1427
1351
                 b_marker=TextMerge.B_MARKER):
1428
1352
        TextMerge.__init__(self, a_marker, b_marker)
1429
 
        self.plan = list(plan)
 
1353
        self.plan = plan
1430
1354
 
1431
1355
    def _merge_struct(self):
1432
1356
        lines_a = []
1479
1403
            elif state == 'conflicted-b':
1480
1404
                ch_b = ch_a = True
1481
1405
                lines_b.append(line)
1482
 
            elif state == 'killed-both':
1483
 
                # This counts as a change, even though there is no associated
1484
 
                # line
1485
 
                ch_b = ch_a = True
1486
1406
            else:
1487
1407
                if state not in ('irrelevant', 'ghost-a', 'ghost-b',
1488
 
                        'killed-base'):
 
1408
                        'killed-base', 'killed-both'):
1489
1409
                    raise AssertionError(state)
1490
1410
        for struct in outstanding_struct():
1491
1411
            yield struct
1492
1412
 
1493
 
    def base_from_plan(self):
1494
 
        """Construct a BASE file from the plan text."""
1495
 
        base_lines = []
1496
 
        for state, line in self.plan:
1497
 
            if state in ('killed-a', 'killed-b', 'killed-both', 'unchanged'):
1498
 
                # If unchanged, then this line is straight from base. If a or b
1499
 
                # or both killed the line, then it *used* to be in base.
1500
 
                base_lines.append(line)
1501
 
            else:
1502
 
                if state not in ('killed-base', 'irrelevant',
1503
 
                                 'ghost-a', 'ghost-b',
1504
 
                                 'new-a', 'new-b',
1505
 
                                 'conflicted-a', 'conflicted-b'):
1506
 
                    # killed-base, irrelevant means it doesn't apply
1507
 
                    # ghost-a/ghost-b are harder to say for sure, but they
1508
 
                    # aren't in the 'inc_c' which means they aren't in the
1509
 
                    # shared base of a & b. So we don't include them.  And
1510
 
                    # obviously if the line is newly inserted, it isn't in base
1511
 
 
1512
 
                    # If 'conflicted-a' or b, then it is new vs one base, but
1513
 
                    # old versus another base. However, if we make it present
1514
 
                    # in the base, it will be deleted from the target, and it
1515
 
                    # seems better to get a line doubled in the merge result,
1516
 
                    # rather than have it deleted entirely.
1517
 
                    # Example, each node is the 'text' at that point:
1518
 
                    #           MN
1519
 
                    #          /   \
1520
 
                    #        MaN   MbN
1521
 
                    #         |  X  |
1522
 
                    #        MabN MbaN
1523
 
                    #          \   /
1524
 
                    #           ???
1525
 
                    # There was a criss-cross conflict merge. Both sides
1526
 
                    # include the other, but put themselves first.
1527
 
                    # Weave marks this as a 'clean' merge, picking OTHER over
1528
 
                    # THIS. (Though the details depend on order inserted into
1529
 
                    # weave, etc.)
1530
 
                    # LCA generates a plan:
1531
 
                    # [('unchanged', M),
1532
 
                    #  ('conflicted-b', b),
1533
 
                    #  ('unchanged', a),
1534
 
                    #  ('conflicted-a', b),
1535
 
                    #  ('unchanged', N)]
1536
 
                    # If you mark 'conflicted-*' as part of BASE, then a 3-way
1537
 
                    # merge tool will cleanly generate "MaN" (as BASE vs THIS
1538
 
                    # removes one 'b', and BASE vs OTHER removes the other)
1539
 
                    # If you include neither, 3-way creates a clean "MbabN" as
1540
 
                    # THIS adds one 'b', and OTHER does too.
1541
 
                    # It seems that having the line 2 times is better than
1542
 
                    # having it omitted. (Easier to manually delete than notice
1543
 
                    # it needs to be added.)
1544
 
                    raise AssertionError('Unknown state: %s' % (state,))
1545
 
        return base_lines
1546
 
 
1547
1413
 
1548
1414
class WeaveMerge(PlanWeaveMerge):
1549
1415
    """Weave merge that takes a VersionedFile and two versions as its input."""
1647
1513
            record.get_bytes_as(record.storage_kind) call.
1648
1514
        """
1649
1515
        self._bytes_iterator = bytes_iterator
1650
 
        self._kind_factory = {
1651
 
            'fulltext': fulltext_network_to_record,
1652
 
            'groupcompress-block': groupcompress.network_block_to_records,
1653
 
            'knit-ft-gz': knit.knit_network_to_record,
1654
 
            'knit-delta-gz': knit.knit_network_to_record,
1655
 
            'knit-annotated-ft-gz': knit.knit_network_to_record,
1656
 
            'knit-annotated-delta-gz': knit.knit_network_to_record,
1657
 
            'knit-delta-closure': knit.knit_delta_closure_to_records,
 
1516
        self._kind_factory = {'knit-ft-gz':knit.knit_network_to_record,
 
1517
            'knit-delta-gz':knit.knit_network_to_record,
 
1518
            'knit-annotated-ft-gz':knit.knit_network_to_record,
 
1519
            'knit-annotated-delta-gz':knit.knit_network_to_record,
 
1520
            'knit-delta-closure':knit.knit_delta_closure_to_records,
 
1521
            'fulltext':fulltext_network_to_record,
 
1522
            'groupcompress-block':groupcompress.network_block_to_records,
1658
1523
            }
1659
1524
 
1660
1525
    def read(self):