~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/weave.py

  • Committer: Martin Pool
  • Date: 2005-07-21 12:01:14 UTC
  • Revision ID: mbp@sourcefrog.net-20050721120114-100fff1ee8c35385
- fix up self reference in msvc lock object

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
#! /usr/bin/python
2
2
 
3
3
# Copyright (C) 2005 Canonical Ltd
4
 
#
 
4
 
5
5
# This program is free software; you can redistribute it and/or modify
6
6
# it under the terms of the GNU General Public License as published by
7
7
# the Free Software Foundation; either version 2 of the License, or
8
8
# (at your option) any later version.
9
 
#
 
9
 
10
10
# This program is distributed in the hope that it will be useful,
11
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
12
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13
13
# GNU General Public License for more details.
14
 
#
 
14
 
15
15
# You should have received a copy of the GNU General Public License
16
16
# along with this program; if not, write to the Free Software
17
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
21
21
 
22
22
"""Weave - storage of related text file versions"""
23
23
 
 
24
# before intset (r923) 2000 versions in 41.5s
 
25
# with intset (r926) 2000 versions in 93s !!!
 
26
# better to just use plain sets.
 
27
 
 
28
# making _extract build and return a list, rather than being a generator
 
29
# takes 37.94s
 
30
 
 
31
# with python -O, r923 does 2000 versions in 36.87s
 
32
 
 
33
# with optimizations to avoid mutating lists - 35.75!  I guess copying
 
34
# all the elements every time costs more than the small manipulations.
 
35
# a surprisingly small change.
 
36
 
 
37
# r931, which avoids using a generator for extract, does 36.98s
 
38
 
 
39
# with memoized inclusions, takes 41.49s; not very good
 
40
 
 
41
# with slots, takes 37.35s; without takes 39.16, a bit surprising
 
42
 
 
43
# with the delta calculation mixed in with the add method, rather than
 
44
# separated, takes 36.78s
 
45
 
 
46
# with delta folded in and mutation of the list, 36.13s
 
47
 
 
48
# with all this and simplification of add code, 33s 
 
49
 
 
50
 
 
51
# TODO: Perhaps have copy method for Weave instances?
24
52
 
25
53
# XXX: If we do weaves this way, will a merge still behave the same
26
54
# way if it's done in a different order?  That's a pretty desirable
27
55
# property.
28
56
 
29
57
# TODO: Nothing here so far assumes the lines are really \n newlines,
30
 
# rather than being split up in some other way.  We could accommodate
 
58
# rather than being split up in some other way.  We could accomodate
31
59
# binaries, perhaps by naively splitting on \n or perhaps using
32
60
# something like a rolling checksum.
33
61
 
 
62
# TODO: Track version names as well as indexes. 
 
63
 
34
64
# TODO: End marker for each version so we can stop reading?
35
65
 
36
66
# TODO: Check that no insertion occurs inside a deletion that was
43
73
 
44
74
# TODO: Parallel-extract that passes back each line along with a
45
75
# description of which revisions include it.  Nice for checking all
46
 
# shas or calculating stats in parallel.
47
 
 
48
 
# TODO: Using a single _extract routine and then processing the output
49
 
# is probably inefficient.  It's simple enough that we can afford to
50
 
# have slight specializations for different ways its used: annotate,
51
 
# basis for add, get, etc.
52
 
 
53
 
# TODO: Probably the API should work only in names to hide the integer
54
 
# indexes from the user.
55
 
 
56
 
# TODO: Is there any potential performance win by having an add()
57
 
# variant that is passed a pre-cooked version of the single basis
58
 
# version?
59
 
 
60
 
# TODO: Reweave can possibly be made faster by remembering diffs
61
 
# where the basis and destination are unchanged.
62
 
 
63
 
# FIXME: Sometimes we will be given a parents list for a revision
64
 
# that includes some redundant parents (i.e. already a parent of 
65
 
# something in the list.)  We should eliminate them.  This can 
66
 
# be done fairly efficiently because the sequence numbers constrain
67
 
# the possible relationships.
68
 
 
69
 
# FIXME: the conflict markers should be *7* characters
70
 
 
71
 
from copy import copy
72
 
from cStringIO import StringIO
73
 
import os
74
 
import time
75
 
import warnings
76
 
 
77
 
from bzrlib.lazy_import import lazy_import
78
 
lazy_import(globals(), """
79
 
from bzrlib import tsort
80
 
""")
81
 
from bzrlib import (
82
 
    errors,
83
 
    osutils,
84
 
    progress,
85
 
    )
86
 
from bzrlib.errors import (WeaveError, WeaveFormatError, WeaveParentMismatch,
87
 
        RevisionAlreadyPresent,
88
 
        RevisionNotPresent,
89
 
        UnavailableRepresentation,
90
 
        WeaveRevisionAlreadyPresent,
91
 
        WeaveRevisionNotPresent,
92
 
        )
93
 
from bzrlib.osutils import dirname, sha, sha_strings, split_lines
94
 
import bzrlib.patiencediff
95
 
from bzrlib.revision import NULL_REVISION
96
 
from bzrlib.symbol_versioning import *
97
 
from bzrlib.trace import mutter
98
 
from bzrlib.versionedfile import (
99
 
    AbsentContentFactory,
100
 
    adapter_registry,
101
 
    ContentFactory,
102
 
    VersionedFile,
103
 
    )
104
 
from bzrlib.weavefile import _read_weave_v5, write_weave_v5
105
 
 
106
 
 
107
 
class WeaveContentFactory(ContentFactory):
108
 
    """Content factory for streaming from weaves.
109
 
 
110
 
    :seealso ContentFactory:
111
 
    """
112
 
 
113
 
    def __init__(self, version, weave):
114
 
        """Create a WeaveContentFactory for version from weave."""
115
 
        ContentFactory.__init__(self)
116
 
        self.sha1 = weave.get_sha1s([version])[version]
117
 
        self.key = (version,)
118
 
        parents = weave.get_parent_map([version])[version]
119
 
        self.parents = tuple((parent,) for parent in parents)
120
 
        self.storage_kind = 'fulltext'
121
 
        self._weave = weave
122
 
 
123
 
    def get_bytes_as(self, storage_kind):
124
 
        if storage_kind == 'fulltext':
125
 
            return self._weave.get_text(self.key[-1])
126
 
        elif storage_kind == 'chunked':
127
 
            return self._weave.get_lines(self.key[-1])
128
 
        else:
129
 
            raise UnavailableRepresentation(self.key, storage_kind, 'fulltext')
130
 
 
131
 
 
132
 
class Weave(VersionedFile):
 
76
# shas in parallel.
 
77
 
 
78
 
 
79
 
 
80
 
 
81
class WeaveError(Exception):
 
82
    """Exception in processing weave"""
 
83
 
 
84
 
 
85
class WeaveFormatError(WeaveError):
 
86
    """Weave invariant violated"""
 
87
    
 
88
 
 
89
class Weave(object):
133
90
    """weave - versioned text file storage.
134
91
    
135
92
    A Weave manages versions of line-based text files, keeping track
161
118
    The instruction can be '{' or '}' for an insertion block, and '['
162
119
    and ']' for a deletion block respectively.  The version is the
163
120
    integer version index.  There is no replace operator, only deletes
164
 
    and inserts.  For '}', the end of an insertion, there is no
165
 
    version parameter because it always closes the most recently
166
 
    opened insertion.
 
121
    and inserts.
167
122
 
168
123
    Constraints/notes:
169
124
 
205
160
        each version; the parent's parents are implied.
206
161
 
207
162
    _sha1s
208
 
        List of hex SHA-1 of each version.
209
 
 
210
 
    _names
211
 
        List of symbolic names for each version.  Each should be unique.
212
 
 
213
 
    _name_map
214
 
        For each name, the version number.
215
 
 
216
 
    _weave_name
217
 
        Descriptive name of this weave; typically the filename if known.
218
 
        Set by read_weave.
 
163
        List of hex SHA-1 of each version, or None if not recorded.
219
164
    """
220
165
 
221
 
    __slots__ = ['_weave', '_parents', '_sha1s', '_names', '_name_map',
222
 
                 '_weave_name', '_matcher', '_allow_reserved']
223
 
 
224
 
    def __init__(self, weave_name=None, access_mode='w', matcher=None,
225
 
                 get_scope=None, allow_reserved=False):
226
 
        """Create a weave.
227
 
 
228
 
        :param get_scope: A callable that returns an opaque object to be used
229
 
            for detecting when this weave goes out of scope (should stop
230
 
            answering requests or allowing mutation).
231
 
        """
232
 
        super(Weave, self).__init__()
 
166
    __slots__ = ['_weave', '_parents', '_sha1s']
 
167
    
 
168
    def __init__(self):
233
169
        self._weave = []
234
170
        self._parents = []
235
171
        self._sha1s = []
236
 
        self._names = []
237
 
        self._name_map = {}
238
 
        self._weave_name = weave_name
239
 
        if matcher is None:
240
 
            self._matcher = bzrlib.patiencediff.PatienceSequenceMatcher
241
 
        else:
242
 
            self._matcher = matcher
243
 
        if get_scope is None:
244
 
            get_scope = lambda:None
245
 
        self._get_scope = get_scope
246
 
        self._scope = get_scope()
247
 
        self._access_mode = access_mode
248
 
        self._allow_reserved = allow_reserved
249
 
 
250
 
    def __repr__(self):
251
 
        return "Weave(%r)" % self._weave_name
252
 
 
253
 
    def _check_write_ok(self):
254
 
        """Is the versioned file marked as 'finished' ? Raise if it is."""
255
 
        if self._get_scope() != self._scope:
256
 
            raise errors.OutSideTransaction()
257
 
        if self._access_mode != 'w':
258
 
            raise errors.ReadOnlyObjectDirtiedError(self)
259
 
 
260
 
    def copy(self):
261
 
        """Return a deep copy of self.
262
 
        
263
 
        The copy can be modified without affecting the original weave."""
264
 
        other = Weave()
265
 
        other._weave = self._weave[:]
266
 
        other._parents = self._parents[:]
267
 
        other._sha1s = self._sha1s[:]
268
 
        other._names = self._names[:]
269
 
        other._name_map = self._name_map.copy()
270
 
        other._weave_name = self._weave_name
271
 
        return other
 
172
 
272
173
 
273
174
    def __eq__(self, other):
274
175
        if not isinstance(other, Weave):
275
176
            return False
276
177
        return self._parents == other._parents \
277
 
               and self._weave == other._weave \
278
 
               and self._sha1s == other._sha1s 
 
178
               and self._weave == other._weave
279
179
    
 
180
 
280
181
    def __ne__(self, other):
281
182
        return not self.__eq__(other)
282
183
 
283
 
    def _idx_to_name(self, version):
284
 
        return self._names[version]
285
 
 
286
 
    def _lookup(self, name):
287
 
        """Convert symbolic version name to index."""
288
 
        if not self._allow_reserved:
289
 
            self.check_not_reserved_id(name)
290
 
        try:
291
 
            return self._name_map[name]
292
 
        except KeyError:
293
 
            raise RevisionNotPresent(name, self._weave_name)
294
 
 
295
 
    def versions(self):
296
 
        """See VersionedFile.versions."""
297
 
        return self._names[:]
298
 
 
299
 
    def has_version(self, version_id):
300
 
        """See VersionedFile.has_version."""
301
 
        return (version_id in self._name_map)
302
 
 
303
 
    __contains__ = has_version
304
 
 
305
 
    def get_record_stream(self, versions, ordering, include_delta_closure):
306
 
        """Get a stream of records for versions.
307
 
 
308
 
        :param versions: The versions to include. Each version is a tuple
309
 
            (version,).
310
 
        :param ordering: Either 'unordered' or 'topological'. A topologically
311
 
            sorted stream has compression parents strictly before their
312
 
            children.
313
 
        :param include_delta_closure: If True then the closure across any
314
 
            compression parents will be included (in the opaque data).
315
 
        :return: An iterator of ContentFactory objects, each of which is only
316
 
            valid until the iterator is advanced.
317
 
        """
318
 
        versions = [version[-1] for version in versions]
319
 
        if ordering == 'topological':
320
 
            parents = self.get_parent_map(versions)
321
 
            new_versions = tsort.topo_sort(parents)
322
 
            new_versions.extend(set(versions).difference(set(parents)))
323
 
            versions = new_versions
324
 
        for version in versions:
325
 
            if version in self:
326
 
                yield WeaveContentFactory(version, self)
327
 
            else:
328
 
                yield AbsentContentFactory((version,))
329
 
 
330
 
    def get_parent_map(self, version_ids):
331
 
        """See VersionedFile.get_parent_map."""
332
 
        result = {}
333
 
        for version_id in version_ids:
334
 
            if version_id == NULL_REVISION:
335
 
                parents = ()
336
 
            else:
337
 
                try:
338
 
                    parents = tuple(
339
 
                        map(self._idx_to_name,
340
 
                            self._parents[self._lookup(version_id)]))
341
 
                except RevisionNotPresent:
342
 
                    continue
343
 
            result[version_id] = parents
344
 
        return result
345
 
 
346
 
    def get_parents_with_ghosts(self, version_id):
347
 
        raise NotImplementedError(self.get_parents_with_ghosts)
348
 
 
349
 
    def insert_record_stream(self, stream):
350
 
        """Insert a record stream into this versioned file.
351
 
 
352
 
        :param stream: A stream of records to insert. 
353
 
        :return: None
354
 
        :seealso VersionedFile.get_record_stream:
355
 
        """
356
 
        adapters = {}
357
 
        for record in stream:
358
 
            # Raise an error when a record is missing.
359
 
            if record.storage_kind == 'absent':
360
 
                raise RevisionNotPresent([record.key[0]], self)
361
 
            # adapt to non-tuple interface
362
 
            parents = [parent[0] for parent in record.parents]
363
 
            if (record.storage_kind == 'fulltext'
364
 
                or record.storage_kind == 'chunked'):
365
 
                self.add_lines(record.key[0], parents,
366
 
                    osutils.chunks_to_lines(record.get_bytes_as('chunked')))
367
 
            else:
368
 
                adapter_key = record.storage_kind, 'fulltext'
369
 
                try:
370
 
                    adapter = adapters[adapter_key]
371
 
                except KeyError:
372
 
                    adapter_factory = adapter_registry.get(adapter_key)
373
 
                    adapter = adapter_factory(self)
374
 
                    adapters[adapter_key] = adapter
375
 
                lines = split_lines(adapter.get_bytes(
376
 
                    record, record.get_bytes_as(record.storage_kind)))
377
 
                try:
378
 
                    self.add_lines(record.key[0], parents, lines)
379
 
                except RevisionAlreadyPresent:
380
 
                    pass
381
 
 
382
 
    def _check_repeated_add(self, name, parents, text, sha1):
383
 
        """Check that a duplicated add is OK.
384
 
 
385
 
        If it is, return the (old) index; otherwise raise an exception.
386
 
        """
387
 
        idx = self._lookup(name)
388
 
        if sorted(self._parents[idx]) != sorted(parents) \
389
 
            or sha1 != self._sha1s[idx]:
390
 
            raise RevisionAlreadyPresent(name, self._weave_name)
391
 
        return idx
392
 
 
393
 
    def _add_lines(self, version_id, parents, lines, parent_texts,
394
 
       left_matching_blocks, nostore_sha, random_id, check_content):
395
 
        """See VersionedFile.add_lines."""
396
 
        idx = self._add(version_id, lines, map(self._lookup, parents),
397
 
            nostore_sha=nostore_sha)
398
 
        return sha_strings(lines), sum(map(len, lines)), idx
399
 
 
400
 
    def _add(self, version_id, lines, parents, sha1=None, nostore_sha=None):
 
184
        
 
185
    def add(self, parents, text):
401
186
        """Add a single text on top of the weave.
402
187
  
403
188
        Returns the index number of the newly added version.
404
189
 
405
 
        version_id
406
 
            Symbolic name for this version.
407
 
            (Typically the revision-id of the revision that added it.)
408
 
 
409
190
        parents
410
191
            List or set of direct parent version numbers.
411
192
            
412
 
        lines
413
 
            Sequence of lines to be added in the new version.
414
 
 
415
 
        :param nostore_sha: See VersionedFile.add_lines.
416
 
        """
417
 
        self._check_lines_not_unicode(lines)
418
 
        self._check_lines_are_lines(lines)
419
 
        if not sha1:
420
 
            sha1 = sha_strings(lines)
421
 
        if sha1 == nostore_sha:
422
 
            raise errors.ExistingContent
423
 
        if version_id in self._name_map:
424
 
            return self._check_repeated_add(version_id, parents, lines, sha1)
 
193
        text
 
194
            Sequence of lines to be added in the new version."""
425
195
 
426
196
        self._check_versions(parents)
427
 
        ## self._check_lines(lines)
 
197
        ## self._check_lines(text)
428
198
        new_version = len(self._parents)
429
199
 
430
 
        # if we abort after here the (in-memory) weave will be corrupt because only
431
 
        # some fields are updated
432
 
        # XXX: FIXME implement a succeed-or-fail of the rest of this routine.
433
 
        #      - Robert Collins 20060226
434
 
        self._parents.append(parents[:])
 
200
        import sha
 
201
        s = sha.new()
 
202
        map(s.update, text)
 
203
        sha1 = s.hexdigest()
 
204
        del s
 
205
 
 
206
        # if we abort after here the weave will be corrupt
 
207
        self._parents.append(frozenset(parents))
435
208
        self._sha1s.append(sha1)
436
 
        self._names.append(version_id)
437
 
        self._name_map[version_id] = new_version
438
209
 
439
210
            
440
211
        if not parents:
442
213
            # this more quickly by just appending unconditionally.
443
214
            # even more specially, if we're adding an empty text we
444
215
            # need do nothing at all.
445
 
            if lines:
 
216
            if text:
446
217
                self._weave.append(('{', new_version))
447
 
                self._weave.extend(lines)
448
 
                self._weave.append(('}', None))
 
218
                self._weave.extend(text)
 
219
                self._weave.append(('}', new_version))
 
220
        
449
221
            return new_version
450
222
 
451
223
        if len(parents) == 1:
455
227
                return new_version
456
228
            
457
229
 
458
 
        ancestors = self._inclusions(parents)
 
230
        ancestors = self.inclusions(parents)
459
231
 
460
232
        l = self._weave
461
233
 
466
238
            basis_lineno.append(lineno)
467
239
            basis_lines.append(line)
468
240
 
469
 
        # another small special case: a merge, producing the same text
470
 
        # as auto-merge
471
 
        if lines == basis_lines:
472
 
            return new_version
 
241
        # another small special case: a merge, producing the same text as auto-merge
 
242
        if text == basis_lines:
 
243
            return new_version            
473
244
 
474
 
        # add a sentinel, because we can also match against the final line
 
245
        # add a sentinal, because we can also match against the final line
475
246
        basis_lineno.append(len(self._weave))
476
247
 
477
248
        # XXX: which line of the weave should we really consider
481
252
        #print 'basis_lines:', basis_lines
482
253
        #print 'new_lines:  ', lines
483
254
 
484
 
        s = self._matcher(None, basis_lines, lines)
 
255
        from difflib import SequenceMatcher
 
256
        s = SequenceMatcher(None, basis_lines, text)
485
257
 
486
258
        # offset gives the number of lines that have been inserted
487
259
        # into the weave up to the current point; if the original edit instruction
494
266
            #print 'raw match', tag, i1, i2, j1, j2
495
267
            if tag == 'equal':
496
268
                continue
 
269
 
497
270
            i1 = basis_lineno[i1]
498
271
            i2 = basis_lineno[i2]
 
272
 
 
273
            assert 0 <= j1 <= j2 <= len(text)
 
274
 
 
275
            #print tag, i1, i2, j1, j2
 
276
 
499
277
            # the deletion and insertion are handled separately.
500
278
            # first delete the region.
501
279
            if i1 != i2:
509
287
                # we don't destroy ourselves
510
288
                i = i2 + offset
511
289
                self._weave[i:i] = ([('{', new_version)] 
512
 
                                    + lines[j1:j2] 
513
 
                                    + [('}', None)])
 
290
                                + text[j1:j2] 
 
291
                                + [('}', new_version)])
514
292
                offset += 2 + (j2 - j1)
 
293
 
515
294
        return new_version
516
295
 
517
 
    def _inclusions(self, versions):
 
296
 
 
297
    def inclusions(self, versions):
518
298
        """Return set of all ancestors of given version(s)."""
519
 
        if not len(versions):
 
299
        i = set(versions)
 
300
        v = max(versions)
 
301
        try:
 
302
            while v >= 0:
 
303
                if v in i:
 
304
                    # include all its parents
 
305
                    i.update(self._parents[v])
 
306
                v -= 1
 
307
            return i
 
308
        except IndexError:
 
309
            raise ValueError("version %d not present in weave" % v)
 
310
 
 
311
 
 
312
    def minimal_parents(self, version):
 
313
        """Find the minimal set of parents for the version."""
 
314
        included = self._parents[version]
 
315
        if not included:
520
316
            return []
521
 
        i = set(versions)
522
 
        for v in xrange(max(versions), 0, -1):
523
 
            if v in i:
524
 
                # include all its parents
525
 
                i.update(self._parents[v])
526
 
        return i
527
 
        ## except IndexError:
528
 
        ##     raise ValueError("version %d not present in weave" % v)
529
 
 
530
 
    def get_ancestry(self, version_ids, topo_sorted=True):
531
 
        """See VersionedFile.get_ancestry."""
532
 
        if isinstance(version_ids, basestring):
533
 
            version_ids = [version_ids]
534
 
        i = self._inclusions([self._lookup(v) for v in version_ids])
535
 
        return [self._idx_to_name(v) for v in i]
 
317
        
 
318
        li = list(included)
 
319
        li.sort(reverse=True)
 
320
 
 
321
        mininc = []
 
322
        gotit = set()
 
323
 
 
324
        for pv in li:
 
325
            if pv not in gotit:
 
326
                mininc.append(pv)
 
327
                gotit.update(self.inclusions(pv))
 
328
 
 
329
        assert mininc[0] >= 0
 
330
        assert mininc[-1] < version
 
331
        return mininc
 
332
 
 
333
 
536
334
 
537
335
    def _check_lines(self, text):
538
336
        if not isinstance(text, list):
553
351
            except IndexError:
554
352
                raise IndexError("invalid version number %r" % i)
555
353
 
556
 
    def _compatible_parents(self, my_parents, other_parents):
557
 
        """During join check that other_parents are joinable with my_parents.
558
 
 
559
 
        Joinable is defined as 'is a subset of' - supersets may require 
560
 
        regeneration of diffs, but subsets do not.
561
 
        """
562
 
        return len(other_parents.difference(my_parents)) == 0
563
 
 
564
 
    def annotate(self, version_id):
565
 
        """Return a list of (version-id, line) tuples for version_id.
 
354
    
 
355
    def annotate(self, index):
 
356
        return list(self.annotate_iter(index))
 
357
 
 
358
 
 
359
    def annotate_iter(self, version):
 
360
        """Yield list of (index-id, line) pairs for the specified version.
566
361
 
567
362
        The index indicates when the line originated in the weave."""
568
 
        incls = [self._lookup(version_id)]
569
 
        return [(self._idx_to_name(origin), text) for origin, lineno, text in
570
 
            self._extract(incls)]
571
 
 
572
 
    def iter_lines_added_or_present_in_versions(self, version_ids=None,
573
 
                                                pb=None):
574
 
        """See VersionedFile.iter_lines_added_or_present_in_versions()."""
575
 
        if version_ids is None:
576
 
            version_ids = self.versions()
577
 
        version_ids = set(version_ids)
578
 
        for lineno, inserted, deletes, line in self._walk_internal(version_ids):
579
 
            # if inserted not in version_ids then it was inserted before the
580
 
            # versions we care about, but because weaves cannot represent ghosts
581
 
            # properly, we do not filter down to that
582
 
            # if inserted not in version_ids: continue
583
 
            if line[-1] != '\n':
584
 
                yield line + '\n', inserted
585
 
            else:
586
 
                yield line, inserted
587
 
 
588
 
    def _walk_internal(self, version_ids=None):
589
 
        """Helper method for weave actions."""
 
363
        for origin, lineno, text in self._extract([version]):
 
364
            yield origin, text
 
365
 
 
366
 
 
367
    def _walk(self):
 
368
        """Walk the weave.
 
369
 
 
370
        Yields sequence of
 
371
        (lineno, insert, deletes, text)
 
372
        for each literal line.
 
373
        """
590
374
        
591
375
        istack = []
592
376
        dset = set()
594
378
        lineno = 0         # line of weave, 0-based
595
379
 
596
380
        for l in self._weave:
597
 
            if l.__class__ == tuple:
 
381
            if isinstance(l, tuple):
598
382
                c, v = l
599
383
                isactive = None
600
384
                if c == '{':
601
 
                    istack.append(self._names[v])
 
385
                    istack.append(v)
602
386
                elif c == '}':
603
 
                    istack.pop()
 
387
                    oldv = istack.pop()
604
388
                elif c == '[':
605
 
                    dset.add(self._names[v])
 
389
                    assert v not in dset
 
390
                    dset.add(v)
606
391
                elif c == ']':
607
 
                    dset.remove(self._names[v])
608
 
                else:
609
 
                    raise WeaveFormatError('unexpected instruction %r' % v)
610
 
            else:
611
 
                yield lineno, istack[-1], frozenset(dset), l
 
392
                    dset.remove(v)
 
393
                else:
 
394
                    raise WeaveFormatError('unexpected instruction %r'
 
395
                                           % v)
 
396
            else:
 
397
                assert isinstance(l, basestring)
 
398
                assert istack
 
399
                yield lineno, istack[-1], dset, l
 
400
            lineno += 1
 
401
 
 
402
 
 
403
 
 
404
    def _extract(self, versions):
 
405
        """Yield annotation of lines in included set.
 
406
 
 
407
        Yields a sequence of tuples (origin, lineno, text), where
 
408
        origin is the origin version, lineno the index in the weave,
 
409
        and text the text of the line.
 
410
 
 
411
        The set typically but not necessarily corresponds to a version.
 
412
        """
 
413
        included = self.inclusions(versions)
 
414
 
 
415
        istack = []
 
416
        dset = set()
 
417
 
 
418
        lineno = 0         # line of weave, 0-based
 
419
 
 
420
        isactive = None
 
421
 
 
422
        result = []
 
423
 
 
424
        WFE = WeaveFormatError
 
425
 
 
426
        for l in self._weave:
 
427
            if isinstance(l, tuple):
 
428
                c, v = l
 
429
                isactive = None
 
430
                if c == '{':
 
431
                    assert v not in istack
 
432
                    istack.append(v)
 
433
                elif c == '}':
 
434
                    oldv = istack.pop()
 
435
                    assert oldv == v
 
436
                elif c == '[':
 
437
                    if v in included:
 
438
                        assert v not in dset
 
439
                        dset.add(v)
 
440
                else:
 
441
                    assert c == ']'
 
442
                    if v in included:
 
443
                        assert v in dset
 
444
                        dset.remove(v)
 
445
            else:
 
446
                assert isinstance(l, basestring)
 
447
                if isactive is None:
 
448
                    isactive = (not dset) and istack and (istack[-1] in included)
 
449
                if isactive:
 
450
                    result.append((istack[-1], lineno, l))
612
451
            lineno += 1
613
452
 
614
453
        if istack:
615
 
            raise WeaveFormatError("unclosed insertion blocks "
616
 
                    "at end of weave: %s" % istack)
 
454
            raise WFE("unclosed insertion blocks at end of weave",
 
455
                                   istack)
617
456
        if dset:
618
 
            raise WeaveFormatError("unclosed deletion blocks at end of weave: %s"
619
 
                                   % dset)
620
 
 
 
457
            raise WFE("unclosed deletion blocks at end of weave",
 
458
                                   dset)
 
459
 
 
460
        return result
 
461
    
 
462
 
 
463
 
 
464
    def get_iter(self, version):
 
465
        """Yield lines for the specified version."""
 
466
        for origin, lineno, line in self._extract([version]):
 
467
            yield line
 
468
 
 
469
 
 
470
    def get(self, index):
 
471
        return list(self.get_iter(index))
 
472
 
 
473
 
 
474
    def mash_iter(self, included):
 
475
        """Return composed version of multiple included versions."""
 
476
        for origin, lineno, text in self._extract(included):
 
477
            yield text
 
478
 
 
479
 
 
480
    def dump(self, to_file):
 
481
        from pprint import pprint
 
482
        print >>to_file, "Weave._weave = ",
 
483
        pprint(self._weave, to_file)
 
484
        print >>to_file, "Weave._parents = ",
 
485
        pprint(self._parents, to_file)
 
486
 
 
487
 
 
488
 
 
489
    def numversions(self):
 
490
        l = len(self._parents)
 
491
        assert l == len(self._sha1s)
 
492
        return l
 
493
 
 
494
 
 
495
    def __len__(self):
 
496
        return self.numversions()
 
497
 
 
498
 
 
499
    def check(self, progress_bar=None):
 
500
        # check no circular inclusions
 
501
        for version in range(self.numversions()):
 
502
            inclusions = list(self._parents[version])
 
503
            if inclusions:
 
504
                inclusions.sort()
 
505
                if inclusions[-1] >= version:
 
506
                    raise WeaveFormatError("invalid included version %d for index %d"
 
507
                                           % (inclusions[-1], version))
 
508
 
 
509
        # try extracting all versions; this is a bit slow and parallel
 
510
        # extraction could be used
 
511
        import sha
 
512
        nv = self.numversions()
 
513
        for version in range(nv):
 
514
            if progress_bar:
 
515
                progress_bar.update('checking text', version, nv)
 
516
            s = sha.new()
 
517
            for l in self.get_iter(version):
 
518
                s.update(l)
 
519
            hd = s.hexdigest()
 
520
            expected = self._sha1s[version]
 
521
            if hd != expected:
 
522
                raise WeaveError("mismatched sha1 for version %d; "
 
523
                                 "got %s, expected %s"
 
524
                                 % (version, hd, expected))
 
525
 
 
526
        # TODO: check insertions are properly nested, that there are
 
527
        # no lines outside of insertion blocks, that deletions are
 
528
        # properly paired, etc.
 
529
 
 
530
 
 
531
 
 
532
    def merge(self, merge_versions):
 
533
        """Automerge and mark conflicts between versions.
 
534
 
 
535
        This returns a sequence, each entry describing alternatives
 
536
        for a chunk of the file.  Each of the alternatives is given as
 
537
        a list of lines.
 
538
 
 
539
        If there is a chunk of the file where there's no diagreement,
 
540
        only one alternative is given.
 
541
        """
 
542
 
 
543
        # approach: find the included versions common to all the
 
544
        # merged versions
 
545
        raise NotImplementedError()
 
546
 
 
547
 
 
548
 
 
549
    def _delta(self, included, lines):
 
550
        """Return changes from basis to new revision.
 
551
 
 
552
        The old text for comparison is the union of included revisions.
 
553
 
 
554
        This is used in inserting a new text.
 
555
 
 
556
        Delta is returned as a sequence of
 
557
        (weave1, weave2, newlines).
 
558
 
 
559
        This indicates that weave1:weave2 of the old weave should be
 
560
        replaced by the sequence of lines in newlines.  Note that
 
561
        these line numbers are positions in the total weave and don't
 
562
        correspond to the lines in any extracted version, or even the
 
563
        extracted union of included versions.
 
564
 
 
565
        If line1=line2, this is a pure insert; if newlines=[] this is a
 
566
        pure delete.  (Similar to difflib.)
 
567
        """
 
568
 
 
569
 
 
570
            
621
571
    def plan_merge(self, ver_a, ver_b):
622
572
        """Return pseudo-annotation indicating how the two versions merge.
623
573
 
626
576
 
627
577
        Weave lines present in none of them are skipped entirely.
628
578
        """
629
 
        inc_a = set(self.get_ancestry([ver_a]))
630
 
        inc_b = set(self.get_ancestry([ver_b]))
 
579
        inc_a = self.inclusions([ver_a])
 
580
        inc_b = self.inclusions([ver_b])
631
581
        inc_c = inc_a & inc_b
632
582
 
633
 
        for lineno, insert, deleteset, line in self._walk_internal([ver_a, ver_b]):
 
583
        for lineno, insert, deleteset, line in self._walk():
634
584
            if deleteset & inc_c:
635
585
                # killed in parent; can't be in either a or b
636
586
                # not relevant to our work
662
612
                # not in either revision
663
613
                yield 'irrelevant', line
664
614
 
665
 
    def _extract(self, versions):
666
 
        """Yield annotation of lines in included set.
667
 
 
668
 
        Yields a sequence of tuples (origin, lineno, text), where
669
 
        origin is the origin version, lineno the index in the weave,
670
 
        and text the text of the line.
671
 
 
672
 
        The set typically but not necessarily corresponds to a version.
673
 
        """
674
 
        for i in versions:
675
 
            if not isinstance(i, int):
676
 
                raise ValueError(i)
677
 
            
678
 
        included = self._inclusions(versions)
679
 
 
680
 
        istack = []
681
 
        iset = set()
682
 
        dset = set()
683
 
 
684
 
        lineno = 0         # line of weave, 0-based
685
 
 
686
 
        isactive = None
687
 
 
688
 
        result = []
689
 
 
690
 
        WFE = WeaveFormatError
691
 
 
692
 
        # wow. 
693
 
        #  449       0   4474.6820   2356.5590   bzrlib.weave:556(_extract)
694
 
        #  +285282   0   1676.8040   1676.8040   +<isinstance>
695
 
        # 1.6 seconds in 'isinstance'.
696
 
        # changing the first isinstance:
697
 
        #  449       0   2814.2660   1577.1760   bzrlib.weave:556(_extract)
698
 
        #  +140414   0    762.8050    762.8050   +<isinstance>
699
 
        # note that the inline time actually dropped (less function calls)
700
 
        # and total processing time was halved.
701
 
        # we're still spending ~1/4 of the method in isinstance though.
702
 
        # so lets hard code the acceptable string classes we expect:
703
 
        #  449       0   1202.9420    786.2930   bzrlib.weave:556(_extract)
704
 
        # +71352     0    377.5560    377.5560   +<method 'append' of 'list' 
705
 
        #                                          objects>
706
 
        # yay, down to ~1/4 the initial extract time, and our inline time
707
 
        # has shrunk again, with isinstance no longer dominating.
708
 
        # tweaking the stack inclusion test to use a set gives:
709
 
        #  449       0   1122.8030    713.0080   bzrlib.weave:556(_extract)
710
 
        # +71352     0    354.9980    354.9980   +<method 'append' of 'list' 
711
 
        #                                          objects>
712
 
        # - a 5% win, or possibly just noise. However with large istacks that
713
 
        # 'in' test could dominate, so I'm leaving this change in place -
714
 
        # when its fast enough to consider profiling big datasets we can review.
715
 
 
716
 
              
717
 
             
718
 
 
719
 
        for l in self._weave:
720
 
            if l.__class__ == tuple:
721
 
                c, v = l
722
 
                isactive = None
723
 
                if c == '{':
724
 
                    istack.append(v)
725
 
                    iset.add(v)
726
 
                elif c == '}':
727
 
                    iset.remove(istack.pop())
728
 
                elif c == '[':
729
 
                    if v in included:
730
 
                        dset.add(v)
731
 
                elif c == ']':
732
 
                    if v in included:
733
 
                        dset.remove(v)
 
615
        yield 'unchanged', ''           # terminator
 
616
 
 
617
 
 
618
 
 
619
    def weave_merge(self, plan):
 
620
        lines_a = []
 
621
        lines_b = []
 
622
        ch_a = ch_b = False
 
623
 
 
624
        for state, line in plan:
 
625
            if state == 'unchanged' or state == 'killed-both':
 
626
                # resync and flush queued conflicts changes if any
 
627
                if not lines_a and not lines_b:
 
628
                    pass
 
629
                elif ch_a and not ch_b:
 
630
                    # one-sided change:                    
 
631
                    for l in lines_a: yield l
 
632
                elif ch_b and not ch_a:
 
633
                    for l in lines_b: yield l
 
634
                elif lines_a == lines_b:
 
635
                    for l in lines_a: yield l
734
636
                else:
735
 
                    raise AssertionError()
736
 
            else:
737
 
                if isactive is None:
738
 
                    isactive = (not dset) and istack and (istack[-1] in included)
739
 
                if isactive:
740
 
                    result.append((istack[-1], lineno, l))
741
 
            lineno += 1
742
 
        if istack:
743
 
            raise WeaveFormatError("unclosed insertion blocks "
744
 
                    "at end of weave: %s" % istack)
745
 
        if dset:
746
 
            raise WeaveFormatError("unclosed deletion blocks at end of weave: %s"
747
 
                                   % dset)
748
 
        return result
749
 
 
750
 
    def _maybe_lookup(self, name_or_index):
751
 
        """Convert possible symbolic name to index, or pass through indexes.
752
 
        
753
 
        NOT FOR PUBLIC USE.
754
 
        """
755
 
        if isinstance(name_or_index, (int, long)):
756
 
            return name_or_index
757
 
        else:
758
 
            return self._lookup(name_or_index)
759
 
 
760
 
    def get_lines(self, version_id):
761
 
        """See VersionedFile.get_lines()."""
762
 
        int_index = self._maybe_lookup(version_id)
763
 
        result = [line for (origin, lineno, line) in self._extract([int_index])]
764
 
        expected_sha1 = self._sha1s[int_index]
765
 
        measured_sha1 = sha_strings(result)
766
 
        if measured_sha1 != expected_sha1:
767
 
            raise errors.WeaveInvalidChecksum(
768
 
                    'file %s, revision %s, expected: %s, measured %s' 
769
 
                    % (self._weave_name, version_id,
770
 
                       expected_sha1, measured_sha1))
771
 
        return result
772
 
 
773
 
    def get_sha1s(self, version_ids):
774
 
        """See VersionedFile.get_sha1s()."""
775
 
        result = {}
776
 
        for v in version_ids:
777
 
            result[v] = self._sha1s[self._lookup(v)]
778
 
        return result
779
 
 
780
 
    def num_versions(self):
781
 
        """How many versions are in this weave?"""
782
 
        l = len(self._parents)
783
 
        return l
784
 
 
785
 
    __len__ = num_versions
786
 
 
787
 
    def check(self, progress_bar=None):
788
 
        # TODO evaluate performance hit of using string sets in this routine.
789
 
        # TODO: check no circular inclusions
790
 
        # TODO: create a nested progress bar
791
 
        for version in range(self.num_versions()):
792
 
            inclusions = list(self._parents[version])
793
 
            if inclusions:
794
 
                inclusions.sort()
795
 
                if inclusions[-1] >= version:
796
 
                    raise WeaveFormatError("invalid included version %d for index %d"
797
 
                                           % (inclusions[-1], version))
798
 
 
799
 
        # try extracting all versions; parallel extraction is used
800
 
        nv = self.num_versions()
801
 
        sha1s = {}
802
 
        texts = {}
803
 
        inclusions = {}
804
 
        for i in range(nv):
805
 
            # For creating the ancestry, IntSet is much faster (3.7s vs 0.17s)
806
 
            # The problem is that set membership is much more expensive
807
 
            name = self._idx_to_name(i)
808
 
            sha1s[name] = sha()
809
 
            texts[name] = []
810
 
            new_inc = set([name])
811
 
            for p in self._parents[i]:
812
 
                new_inc.update(inclusions[self._idx_to_name(p)])
813
 
 
814
 
            if set(new_inc) != set(self.get_ancestry(name)):
815
 
                raise AssertionError(
816
 
                    'failed %s != %s' 
817
 
                    % (set(new_inc), set(self.get_ancestry(name))))
818
 
            inclusions[name] = new_inc
819
 
 
820
 
        nlines = len(self._weave)
821
 
 
822
 
        update_text = 'checking weave'
823
 
        if self._weave_name:
824
 
            short_name = os.path.basename(self._weave_name)
825
 
            update_text = 'checking %s' % (short_name,)
826
 
            update_text = update_text[:25]
827
 
 
828
 
        for lineno, insert, deleteset, line in self._walk_internal():
829
 
            if progress_bar:
830
 
                progress_bar.update(update_text, lineno, nlines)
831
 
 
832
 
            for name, name_inclusions in inclusions.items():
833
 
                # The active inclusion must be an ancestor,
834
 
                # and no ancestors must have deleted this line,
835
 
                # because we don't support resurrection.
836
 
                if (insert in name_inclusions) and not (deleteset & name_inclusions):
837
 
                    sha1s[name].update(line)
838
 
 
839
 
        for i in range(nv):
840
 
            version = self._idx_to_name(i)
841
 
            hd = sha1s[version].hexdigest()
842
 
            expected = self._sha1s[i]
843
 
            if hd != expected:
844
 
                raise errors.WeaveInvalidChecksum(
845
 
                        "mismatched sha1 for version %s: "
846
 
                        "got %s, expected %s"
847
 
                        % (version, hd, expected))
848
 
 
849
 
        # TODO: check insertions are properly nested, that there are
850
 
        # no lines outside of insertion blocks, that deletions are
851
 
        # properly paired, etc.
852
 
 
853
 
    def _imported_parents(self, other, other_idx):
854
 
        """Return list of parents in self corresponding to indexes in other."""
855
 
        new_parents = []
856
 
        for parent_idx in other._parents[other_idx]:
857
 
            parent_name = other._names[parent_idx]
858
 
            if parent_name not in self._name_map:
859
 
                # should not be possible
860
 
                raise WeaveError("missing parent {%s} of {%s} in %r" 
861
 
                                 % (parent_name, other._name_map[other_idx], self))
862
 
            new_parents.append(self._name_map[parent_name])
863
 
        return new_parents
864
 
 
865
 
    def _check_version_consistent(self, other, other_idx, name):
866
 
        """Check if a version in consistent in this and other.
867
 
 
868
 
        To be consistent it must have:
869
 
 
870
 
         * the same text
871
 
         * the same direct parents (by name, not index, and disregarding
872
 
           order)
873
 
        
874
 
        If present & correct return True;
875
 
        if not present in self return False; 
876
 
        if inconsistent raise error."""
877
 
        this_idx = self._name_map.get(name, -1)
878
 
        if this_idx != -1:
879
 
            if self._sha1s[this_idx] != other._sha1s[other_idx]:
880
 
                raise errors.WeaveTextDiffers(name, self, other)
881
 
            self_parents = self._parents[this_idx]
882
 
            other_parents = other._parents[other_idx]
883
 
            n1 = set([self._names[i] for i in self_parents])
884
 
            n2 = set([other._names[i] for i in other_parents])
885
 
            if not self._compatible_parents(n1, n2):
886
 
                raise WeaveParentMismatch("inconsistent parents "
887
 
                    "for version {%s}: %s vs %s" % (name, n1, n2))
888
 
            else:
889
 
                return True         # ok!
890
 
        else:
891
 
            return False
892
 
 
893
 
    def _reweave(self, other, pb, msg):
894
 
        """Reweave self with other - internal helper for join().
895
 
 
896
 
        :param other: The other weave to merge
897
 
        :param pb: An optional progress bar, indicating how far done we are
898
 
        :param msg: An optional message for the progress
899
 
        """
900
 
        new_weave = _reweave(self, other, pb=pb, msg=msg)
901
 
        self._copy_weave_content(new_weave)
902
 
 
903
 
    def _copy_weave_content(self, otherweave):
904
 
        """adsorb the content from otherweave."""
905
 
        for attr in self.__slots__:
906
 
            if attr != '_weave_name':
907
 
                setattr(self, attr, copy(getattr(otherweave, attr)))
908
 
 
909
 
 
910
 
class WeaveFile(Weave):
911
 
    """A WeaveFile represents a Weave on disk and writes on change."""
912
 
 
913
 
    WEAVE_SUFFIX = '.weave'
914
 
    
915
 
    def __init__(self, name, transport, filemode=None, create=False, access_mode='w', get_scope=None):
916
 
        """Create a WeaveFile.
917
 
        
918
 
        :param create: If not True, only open an existing knit.
919
 
        """
920
 
        super(WeaveFile, self).__init__(name, access_mode, get_scope=get_scope,
921
 
            allow_reserved=False)
922
 
        self._transport = transport
923
 
        self._filemode = filemode
924
 
        try:
925
 
            _read_weave_v5(self._transport.get(name + WeaveFile.WEAVE_SUFFIX), self)
926
 
        except errors.NoSuchFile:
927
 
            if not create:
928
 
                raise
929
 
            # new file, save it
930
 
            self._save()
931
 
 
932
 
    def _add_lines(self, version_id, parents, lines, parent_texts,
933
 
        left_matching_blocks, nostore_sha, random_id, check_content):
934
 
        """Add a version and save the weave."""
935
 
        self.check_not_reserved_id(version_id)
936
 
        result = super(WeaveFile, self)._add_lines(version_id, parents, lines,
937
 
            parent_texts, left_matching_blocks, nostore_sha, random_id,
938
 
            check_content)
939
 
        self._save()
940
 
        return result
941
 
 
942
 
    def copy_to(self, name, transport):
943
 
        """See VersionedFile.copy_to()."""
944
 
        # as we are all in memory always, just serialise to the new place.
945
 
        sio = StringIO()
946
 
        write_weave_v5(self, sio)
947
 
        sio.seek(0)
948
 
        transport.put_file(name + WeaveFile.WEAVE_SUFFIX, sio, self._filemode)
949
 
 
950
 
    def _save(self):
951
 
        """Save the weave."""
952
 
        self._check_write_ok()
953
 
        sio = StringIO()
954
 
        write_weave_v5(self, sio)
955
 
        sio.seek(0)
956
 
        bytes = sio.getvalue()
957
 
        path = self._weave_name + WeaveFile.WEAVE_SUFFIX
958
 
        try:
959
 
            self._transport.put_bytes(path, bytes, self._filemode)
960
 
        except errors.NoSuchFile:
961
 
            self._transport.mkdir(dirname(path))
962
 
            self._transport.put_bytes(path, bytes, self._filemode)
963
 
 
964
 
    @staticmethod
965
 
    def get_suffixes():
966
 
        """See VersionedFile.get_suffixes()."""
967
 
        return [WeaveFile.WEAVE_SUFFIX]
968
 
 
969
 
    def insert_record_stream(self, stream):
970
 
        super(WeaveFile, self).insert_record_stream(stream)
971
 
        self._save()
972
 
 
973
 
    @deprecated_method(one_five)
974
 
    def join(self, other, pb=None, msg=None, version_ids=None,
975
 
             ignore_missing=False):
976
 
        """Join other into self and save."""
977
 
        super(WeaveFile, self).join(other, pb, msg, version_ids, ignore_missing)
978
 
        self._save()
979
 
 
980
 
 
981
 
def _reweave(wa, wb, pb=None, msg=None):
982
 
    """Combine two weaves and return the result.
983
 
 
984
 
    This works even if a revision R has different parents in 
985
 
    wa and wb.  In the resulting weave all the parents are given.
986
 
 
987
 
    This is done by just building up a new weave, maintaining ordering 
988
 
    of the versions in the two inputs.  More efficient approaches
989
 
    might be possible but it should only be necessary to do 
990
 
    this operation rarely, when a new previously ghost version is 
991
 
    inserted.
992
 
 
993
 
    :param pb: An optional progress bar, indicating how far done we are
994
 
    :param msg: An optional message for the progress
995
 
    """
996
 
    wr = Weave()
997
 
    ia = ib = 0
998
 
    queue_a = range(wa.num_versions())
999
 
    queue_b = range(wb.num_versions())
1000
 
    # first determine combined parents of all versions
1001
 
    # map from version name -> all parent names
1002
 
    combined_parents = _reweave_parent_graphs(wa, wb)
1003
 
    mutter("combined parents: %r", combined_parents)
1004
 
    order = tsort.topo_sort(combined_parents.iteritems())
1005
 
    mutter("order to reweave: %r", order)
1006
 
 
1007
 
    if pb and not msg:
1008
 
        msg = 'reweave'
1009
 
 
1010
 
    for idx, name in enumerate(order):
1011
 
        if pb:
1012
 
            pb.update(msg, idx, len(order))
1013
 
        if name in wa._name_map:
1014
 
            lines = wa.get_lines(name)
1015
 
            if name in wb._name_map:
1016
 
                lines_b = wb.get_lines(name)
1017
 
                if lines != lines_b:
1018
 
                    mutter('Weaves differ on content. rev_id {%s}', name)
1019
 
                    mutter('weaves: %s, %s', wa._weave_name, wb._weave_name)
1020
 
                    import difflib
1021
 
                    lines = list(difflib.unified_diff(lines, lines_b,
1022
 
                            wa._weave_name, wb._weave_name))
1023
 
                    mutter('lines:\n%s', ''.join(lines))
1024
 
                    raise errors.WeaveTextDiffers(name, wa, wb)
1025
 
        else:
1026
 
            lines = wb.get_lines(name)
1027
 
        wr._add(name, lines, [wr._lookup(i) for i in combined_parents[name]])
1028
 
    return wr
1029
 
 
1030
 
def _reweave_parent_graphs(wa, wb):
1031
 
    """Return combined parent ancestry for two weaves.
1032
 
    
1033
 
    Returned as a list of (version_name, set(parent_names))"""
1034
 
    combined = {}
1035
 
    for weave in [wa, wb]:
1036
 
        for idx, name in enumerate(weave._names):
1037
 
            p = combined.setdefault(name, set())
1038
 
            p.update(map(weave._idx_to_name, weave._parents[idx]))
1039
 
    return combined
1040
 
 
1041
 
 
1042
 
def weave_toc(w):
1043
 
    """Show the weave's table-of-contents"""
1044
 
    print '%6s %50s %10s %10s' % ('ver', 'name', 'sha1', 'parents')
1045
 
    for i in (6, 50, 10, 10):
 
637
                    yield '<<<<\n'
 
638
                    for l in lines_a: yield l
 
639
                    yield '====\n'
 
640
                    for l in lines_b: yield l
 
641
                    yield '>>>>\n'
 
642
 
 
643
                del lines_a[:]
 
644
                del lines_b[:]
 
645
                ch_a = ch_b = False
 
646
                
 
647
            if state == 'unchanged':
 
648
                if line:
 
649
                    yield line
 
650
            elif state == 'killed-a':
 
651
                ch_a = True
 
652
                lines_b.append(line)
 
653
            elif state == 'killed-b':
 
654
                ch_b = True
 
655
                lines_a.append(line)
 
656
            elif state == 'new-a':
 
657
                ch_a = True
 
658
                lines_a.append(line)
 
659
            elif state == 'new-b':
 
660
                ch_b = True
 
661
                lines_b.append(line)
 
662
            else:
 
663
                assert state in ('irrelevant', 'ghost-a', 'ghost-b', 'killed-base',
 
664
                                 'killed-both'), \
 
665
                       state
 
666
 
 
667
                
 
668
 
 
669
 
 
670
 
 
671
 
 
672
 
 
673
def weave_info(w):
 
674
    """Show some text information about the weave."""
 
675
    print '%6s %40s %20s' % ('ver', 'sha1', 'parents')
 
676
    for i in (6, 40, 20):
1046
677
        print '-' * i,
1047
678
    print
1048
 
    for i in range(w.num_versions()):
 
679
    for i in range(w.numversions()):
1049
680
        sha1 = w._sha1s[i]
1050
 
        name = w._names[i]
1051
 
        parent_str = ' '.join(map(str, w._parents[i]))
1052
 
        print '%6d %-50.50s %10.10s %s' % (i, name, sha1, parent_str)
1053
 
 
1054
 
 
1055
 
 
1056
 
def weave_stats(weave_file, pb):
 
681
        print '%6d %40s %s' % (i, sha1, ' '.join(map(str, w._parents[i])))
 
682
 
 
683
 
 
684
 
 
685
def weave_stats(weave_file):
 
686
    from bzrlib.progress import ProgressBar
1057
687
    from bzrlib.weavefile import read_weave
1058
688
 
 
689
    pb = ProgressBar()
 
690
 
1059
691
    wf = file(weave_file, 'rb')
1060
692
    w = read_weave(wf)
1061
693
    # FIXME: doesn't work on pipes
1065
697
    vers = len(w)
1066
698
    for i in range(vers):
1067
699
        pb.update('checking sizes', i, vers)
1068
 
        for origin, lineno, line in w._extract([i]):
 
700
        for line in w.get_iter(i):
1069
701
            total += len(line)
1070
702
 
1071
703
    pb.clear()
1074
706
    print 'weave file        %9d bytes' % weave_size
1075
707
    print 'total contents    %9d bytes' % total
1076
708
    print 'compression ratio %9.2fx' % (float(total) / float(weave_size))
1077
 
    if vers:
1078
 
        avg = total/vers
1079
 
        print 'average size      %9d bytes' % avg
1080
 
        print 'relative size     %9.2fx' % (float(weave_size) / float(avg))
 
709
 
1081
710
 
1082
711
 
1083
712
def usage():
1092
721
        Write out specified version.
1093
722
    weave check WEAVEFILE
1094
723
        Check consistency of all versions.
1095
 
    weave toc WEAVEFILE
 
724
    weave info WEAVEFILE
1096
725
        Display table of contents.
1097
 
    weave add WEAVEFILE NAME [BASE...] < NEWTEXT
 
726
    weave add WEAVEFILE [BASE...] < NEWTEXT
1098
727
        Add NEWTEXT, with specified parent versions.
1099
728
    weave annotate WEAVEFILE VERSION
1100
729
        Display origin of each line.
 
730
    weave mash WEAVEFILE VERSION...
 
731
        Display composite of all selected versions.
1101
732
    weave merge WEAVEFILE VERSION1 VERSION2 > OUT
1102
733
        Auto-merge two versions and display conflicts.
1103
 
    weave diff WEAVEFILE VERSION1 VERSION2 
1104
 
        Show differences between two versions.
1105
734
 
1106
735
example:
1107
736
 
1108
737
    % weave init foo.weave
1109
738
    % vi foo.txt
1110
 
    % weave add foo.weave ver0 < foo.txt
 
739
    % weave add foo.weave < foo.txt
1111
740
    added version 0
1112
741
 
1113
742
    (create updated version)
1114
743
    % vi foo.txt
1115
744
    % weave get foo.weave 0 | diff -u - foo.txt
1116
 
    % weave add foo.weave ver1 0 < foo.txt
 
745
    % weave add foo.weave 0 < foo.txt
1117
746
    added version 1
1118
747
 
1119
748
    % weave get foo.weave 0 > foo.txt       (create forked version)
1120
749
    % vi foo.txt
1121
 
    % weave add foo.weave ver2 0 < foo.txt
 
750
    % weave add foo.weave 0 < foo.txt
1122
751
    added version 2
1123
752
 
1124
753
    % weave merge foo.weave 1 2 > foo.txt   (merge them)
1125
754
    % vi foo.txt                            (resolve conflicts)
1126
 
    % weave add foo.weave merged 1 2 < foo.txt     (commit merged version)     
 
755
    % weave add foo.weave 1 2 < foo.txt     (commit merged version)     
1127
756
    
1128
757
"""
1129
758
    
1132
761
def main(argv):
1133
762
    import sys
1134
763
    import os
1135
 
    try:
1136
 
        import bzrlib
1137
 
    except ImportError:
1138
 
        # in case we're run directly from the subdirectory
1139
 
        sys.path.append('..')
1140
 
        import bzrlib
1141
 
    from bzrlib.weavefile import write_weave, read_weave
 
764
    from weavefile import write_weave, read_weave
1142
765
    from bzrlib.progress import ProgressBar
1143
766
 
1144
 
    try:
1145
 
        import psyco
1146
 
        psyco.full()
1147
 
    except ImportError:
1148
 
        pass
1149
 
 
1150
 
    if len(argv) < 2:
1151
 
        usage()
1152
 
        return 0
 
767
    #import psyco
 
768
    #psyco.full()
1153
769
 
1154
770
    cmd = argv[1]
1155
771
 
1161
777
    elif cmd == 'add':
1162
778
        w = readit()
1163
779
        # at the moment, based on everything in the file
1164
 
        name = argv[3]
1165
 
        parents = map(int, argv[4:])
 
780
        parents = map(int, argv[3:])
1166
781
        lines = sys.stdin.readlines()
1167
 
        ver = w.add(name, parents, lines)
 
782
        ver = w.add(parents, lines)
1168
783
        write_weave(w, file(argv[2], 'wb'))
1169
 
        print 'added version %r %d' % (name, ver)
 
784
        print 'added version %d' % ver
1170
785
    elif cmd == 'init':
1171
786
        fn = argv[2]
1172
787
        if os.path.exists(fn):
1177
792
        w = readit()
1178
793
        sys.stdout.writelines(w.get_iter(int(argv[3])))
1179
794
        
1180
 
    elif cmd == 'diff':
 
795
    elif cmd == 'mash': # get composite
1181
796
        w = readit()
1182
 
        fn = argv[2]
1183
 
        v1, v2 = map(int, argv[3:5])
1184
 
        lines1 = w.get(v1)
1185
 
        lines2 = w.get(v2)
1186
 
        diff_gen = bzrlib.patiencediff.unified_diff(lines1, lines2,
1187
 
                                '%s version %d' % (fn, v1),
1188
 
                                '%s version %d' % (fn, v2))
1189
 
        sys.stdout.writelines(diff_gen)
1190
 
            
 
797
        sys.stdout.writelines(w.mash_iter(map(int, argv[3:])))
 
798
 
1191
799
    elif cmd == 'annotate':
1192
800
        w = readit()
1193
801
        # newline is added to all lines regardless; too hard to get
1201
809
                print '%5d | %s' % (origin, text)
1202
810
                lasto = origin
1203
811
                
1204
 
    elif cmd == 'toc':
1205
 
        weave_toc(readit())
 
812
    elif cmd == 'info':
 
813
        weave_info(readit())
1206
814
 
1207
815
    elif cmd == 'stats':
1208
 
        weave_stats(argv[2], ProgressBar())
 
816
        weave_stats(argv[2])
1209
817
        
1210
818
    elif cmd == 'check':
1211
819
        w = readit()
1212
820
        pb = ProgressBar()
1213
821
        w.check(pb)
1214
822
        pb.clear()
1215
 
        print '%d versions ok' % w.num_versions()
 
823
        print '%d versions ok' % w.numversions()
1216
824
 
1217
825
    elif cmd == 'inclusions':
1218
826
        w = readit()
1223
831
        print ' '.join(map(str, w._parents[int(argv[3])]))
1224
832
 
1225
833
    elif cmd == 'plan-merge':
1226
 
        # replaced by 'bzr weave-plan-merge'
1227
834
        w = readit()
1228
835
        for state, line in w.plan_merge(int(argv[3]), int(argv[4])):
1229
836
            if line:
1230
837
                print '%14s | %s' % (state, line),
 
838
 
1231
839
    elif cmd == 'merge':
1232
 
        # replaced by 'bzr weave-merge-text'
1233
840
        w = readit()
1234
841
        p = w.plan_merge(int(argv[3]), int(argv[4]))
1235
842
        sys.stdout.writelines(w.weave_merge(p))
 
843
            
 
844
    elif cmd == 'mash-merge':
 
845
        if len(argv) != 5:
 
846
            usage()
 
847
            return 1
 
848
 
 
849
        w = readit()
 
850
        v1, v2 = map(int, argv[3:5])
 
851
 
 
852
        basis = w.inclusions([v1]).intersection(w.inclusions([v2]))
 
853
 
 
854
        base_lines = list(w.mash_iter(basis))
 
855
        a_lines = list(w.get(v1))
 
856
        b_lines = list(w.get(v2))
 
857
 
 
858
        from bzrlib.merge3 import Merge3
 
859
        m3 = Merge3(base_lines, a_lines, b_lines)
 
860
 
 
861
        name_a = 'version %d' % v1
 
862
        name_b = 'version %d' % v2
 
863
        sys.stdout.writelines(m3.merge_lines(name_a=name_a, name_b=name_b))
1236
864
    else:
1237
865
        raise ValueError('unknown command %r' % cmd)
1238
866