~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/weave.py

  • Committer: Martin Pool
  • Date: 2005-09-30 05:56:05 UTC
  • mto: (1185.14.2)
  • mto: This revision was merged to the branch mainline in revision 1396.
  • Revision ID: mbp@sourcefrog.net-20050930055605-a2c534529b392a7d
- fix upgrade for transport changes

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
#! /usr/bin/python
2
2
 
3
3
# Copyright (C) 2005 Canonical Ltd
4
 
#
 
4
 
5
5
# This program is free software; you can redistribute it and/or modify
6
6
# it under the terms of the GNU General Public License as published by
7
7
# the Free Software Foundation; either version 2 of the License, or
8
8
# (at your option) any later version.
9
 
#
 
9
 
10
10
# This program is distributed in the hope that it will be useful,
11
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
12
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13
13
# GNU General Public License for more details.
14
 
#
 
14
 
15
15
# You should have received a copy of the GNU General Public License
16
16
# along with this program; if not, write to the Free Software
17
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
21
21
 
22
22
"""Weave - storage of related text file versions"""
23
23
 
 
24
# before intset (r923) 2000 versions in 41.5s
 
25
# with intset (r926) 2000 versions in 93s !!!
 
26
# better to just use plain sets.
 
27
 
 
28
# making _extract build and return a list, rather than being a generator
 
29
# takes 37.94s
 
30
 
 
31
# with python -O, r923 does 2000 versions in 36.87s
 
32
 
 
33
# with optimizations to avoid mutating lists - 35.75!  I guess copying
 
34
# all the elements every time costs more than the small manipulations.
 
35
# a surprisingly small change.
 
36
 
 
37
# r931, which avoids using a generator for extract, does 36.98s
 
38
 
 
39
# with memoized inclusions, takes 41.49s; not very good
 
40
 
 
41
# with slots, takes 37.35s; without takes 39.16, a bit surprising
 
42
 
 
43
# with the delta calculation mixed in with the add method, rather than
 
44
# separated, takes 36.78s
 
45
 
 
46
# with delta folded in and mutation of the list, 36.13s
 
47
 
 
48
# with all this and simplification of add code, 33s
 
49
 
 
50
 
 
51
 
 
52
 
 
53
 
 
54
# TODO: Perhaps have copy method for Weave instances?
24
55
 
25
56
# XXX: If we do weaves this way, will a merge still behave the same
26
57
# way if it's done in a different order?  That's a pretty desirable
27
58
# property.
28
59
 
29
60
# TODO: Nothing here so far assumes the lines are really \n newlines,
30
 
# rather than being split up in some other way.  We could accommodate
 
61
# rather than being split up in some other way.  We could accomodate
31
62
# binaries, perhaps by naively splitting on \n or perhaps using
32
63
# something like a rolling checksum.
33
64
 
43
74
 
44
75
# TODO: Parallel-extract that passes back each line along with a
45
76
# description of which revisions include it.  Nice for checking all
46
 
# shas or calculating stats in parallel.
 
77
# shas in parallel.
47
78
 
48
79
# TODO: Using a single _extract routine and then processing the output
49
80
# is probably inefficient.  It's simple enough that we can afford to
50
81
# have slight specializations for different ways its used: annotate,
51
82
# basis for add, get, etc.
52
83
 
53
 
# TODO: Probably the API should work only in names to hide the integer
54
 
# indexes from the user.
 
84
# TODO: Perhaps the API should work only in names to hide the integer
 
85
# indexes from the user?
55
86
 
56
87
# TODO: Is there any potential performance win by having an add()
57
88
# variant that is passed a pre-cooked version of the single basis
58
89
# version?
59
90
 
60
 
# TODO: Reweave can possibly be made faster by remembering diffs
61
 
# where the basis and destination are unchanged.
62
 
 
63
 
# FIXME: Sometimes we will be given a parents list for a revision
64
 
# that includes some redundant parents (i.e. already a parent of 
65
 
# something in the list.)  We should eliminate them.  This can 
66
 
# be done fairly efficiently because the sequence numbers constrain
67
 
# the possible relationships.
68
 
 
69
 
# FIXME: the conflict markers should be *7* characters
70
 
 
71
 
from copy import copy
72
 
from cStringIO import StringIO
73
 
import os
 
91
 
 
92
 
74
93
import sha
75
 
import time
76
 
import warnings
77
 
 
78
 
from bzrlib import (
79
 
    progress,
80
 
    )
81
 
from bzrlib.trace import mutter
82
 
from bzrlib.errors import (WeaveError, WeaveFormatError, WeaveParentMismatch,
83
 
        RevisionAlreadyPresent,
84
 
        RevisionNotPresent,
85
 
        WeaveRevisionAlreadyPresent,
86
 
        WeaveRevisionNotPresent,
87
 
        )
88
 
import bzrlib.errors as errors
89
 
from bzrlib.osutils import sha_strings
90
 
import bzrlib.patiencediff
91
 
from bzrlib.symbol_versioning import (deprecated_method,
92
 
        deprecated_function,
93
 
        zero_eight,
94
 
        )
95
 
from bzrlib.tsort import topo_sort
96
 
from bzrlib.versionedfile import VersionedFile, InterVersionedFile
97
 
from bzrlib.weavefile import _read_weave_v5, write_weave_v5
98
 
 
99
 
 
100
 
class Weave(VersionedFile):
 
94
from difflib import SequenceMatcher
 
95
 
 
96
 
 
97
 
 
98
 
 
99
class WeaveError(Exception):
 
100
    """Exception in processing weave"""
 
101
 
 
102
 
 
103
class WeaveFormatError(WeaveError):
 
104
    """Weave invariant violated"""
 
105
    
 
106
 
 
107
class Weave(object):
101
108
    """weave - versioned text file storage.
102
109
    
103
110
    A Weave manages versions of line-based text files, keeping track
187
194
    """
188
195
 
189
196
    __slots__ = ['_weave', '_parents', '_sha1s', '_names', '_name_map',
190
 
                 '_weave_name', '_matcher']
 
197
                 '_weave_name']
191
198
    
192
 
    def __init__(self, weave_name=None, access_mode='w', matcher=None):
193
 
        super(Weave, self).__init__(access_mode)
 
199
    def __init__(self, weave_name=None):
194
200
        self._weave = []
195
201
        self._parents = []
196
202
        self._sha1s = []
197
203
        self._names = []
198
204
        self._name_map = {}
199
205
        self._weave_name = weave_name
200
 
        if matcher is None:
201
 
            self._matcher = bzrlib.patiencediff.PatienceSequenceMatcher
202
 
        else:
203
 
            self._matcher = matcher
204
 
 
205
 
    def __repr__(self):
206
 
        return "Weave(%r)" % self._weave_name
207
 
 
208
 
    def copy(self):
209
 
        """Return a deep copy of self.
210
 
        
211
 
        The copy can be modified without affecting the original weave."""
212
 
        other = Weave()
213
 
        other._weave = self._weave[:]
214
 
        other._parents = self._parents[:]
215
 
        other._sha1s = self._sha1s[:]
216
 
        other._names = self._names[:]
217
 
        other._name_map = self._name_map.copy()
218
 
        other._weave_name = self._weave_name
219
 
        return other
 
206
 
220
207
 
221
208
    def __eq__(self, other):
222
209
        if not isinstance(other, Weave):
224
211
        return self._parents == other._parents \
225
212
               and self._weave == other._weave \
226
213
               and self._sha1s == other._sha1s 
 
214
 
227
215
    
228
216
    def __ne__(self, other):
229
217
        return not self.__eq__(other)
230
218
 
231
 
    @deprecated_method(zero_eight)
232
 
    def idx_to_name(self, index):
233
 
        """Old public interface, the public interface is all names now."""
234
 
        return index
235
 
 
236
 
    def _idx_to_name(self, version):
237
 
        return self._names[version]
238
 
 
239
 
    @deprecated_method(zero_eight)
 
219
 
 
220
    def maybe_lookup(self, name_or_index):
 
221
        """Convert possible symbolic name to index, or pass through indexes."""
 
222
        if isinstance(name_or_index, (int, long)):
 
223
            return name_or_index
 
224
        else:
 
225
            return self.lookup(name_or_index)
 
226
 
 
227
        
240
228
    def lookup(self, name):
241
 
        """Backwards compatibility thunk:
242
 
 
243
 
        Return name, as name is valid in the api now, and spew deprecation
244
 
        warnings everywhere.
245
 
        """
246
 
        return name
247
 
 
248
 
    def _lookup(self, name):
249
229
        """Convert symbolic version name to index."""
250
 
        self.check_not_reserved_id(name)
251
230
        try:
252
231
            return self._name_map[name]
253
232
        except KeyError:
254
 
            raise RevisionNotPresent(name, self._weave_name)
255
 
 
256
 
    @deprecated_method(zero_eight)
257
 
    def iter_names(self):
258
 
        """Deprecated convenience function, please see VersionedFile.names()."""
259
 
        return iter(self.names())
260
 
 
261
 
    @deprecated_method(zero_eight)
262
 
    def names(self):
263
 
        """See Weave.versions for the current api."""
264
 
        return self.versions()
265
 
 
266
 
    def versions(self):
267
 
        """See VersionedFile.versions."""
268
 
        return self._names[:]
269
 
 
270
 
    def has_version(self, version_id):
271
 
        """See VersionedFile.has_version."""
272
 
        return (version_id in self._name_map)
273
 
 
274
 
    __contains__ = has_version
275
 
 
276
 
    def get_delta(self, version_id):
277
 
        """See VersionedFile.get_delta."""
278
 
        return self.get_deltas([version_id])[version_id]
279
 
 
280
 
    def get_deltas(self, version_ids):
281
 
        """See VersionedFile.get_deltas."""
282
 
        version_ids = self.get_ancestry(version_ids)
283
 
        for version_id in version_ids:
284
 
            if not self.has_version(version_id):
285
 
                raise RevisionNotPresent(version_id, self)
286
 
        # try extracting all versions; parallel extraction is used
287
 
        nv = self.num_versions()
288
 
        sha1s = {}
289
 
        deltas = {}
290
 
        texts = {}
291
 
        inclusions = {}
292
 
        noeols = {}
293
 
        last_parent_lines = {}
294
 
        parents = {}
295
 
        parent_inclusions = {}
296
 
        parent_linenums = {}
297
 
        parent_noeols = {}
298
 
        current_hunks = {}
299
 
        diff_hunks = {}
300
 
        # its simplest to generate a full set of prepared variables.
301
 
        for i in range(nv):
302
 
            name = self._names[i]
303
 
            sha1s[name] = self.get_sha1(name)
304
 
            parents_list = self.get_parents(name)
305
 
            try:
306
 
                parent = parents_list[0]
307
 
                parents[name] = parent
308
 
                parent_inclusions[name] = inclusions[parent]
309
 
            except IndexError:
310
 
                parents[name] = None
311
 
                parent_inclusions[name] = set()
312
 
            # we want to emit start, finish, replacement_length, replacement_lines tuples.
313
 
            diff_hunks[name] = []
314
 
            current_hunks[name] = [0, 0, 0, []] # #start, finish, repl_length, repl_tuples
315
 
            parent_linenums[name] = 0
316
 
            noeols[name] = False
317
 
            parent_noeols[name] = False
318
 
            last_parent_lines[name] = None
319
 
            new_inc = set([name])
320
 
            for p in self._parents[i]:
321
 
                new_inc.update(inclusions[self._idx_to_name(p)])
322
 
            # debug only, known good so far.
323
 
            #assert set(new_inc) == set(self.get_ancestry(name)), \
324
 
            #    'failed %s != %s' % (set(new_inc), set(self.get_ancestry(name)))
325
 
            inclusions[name] = new_inc
326
 
 
327
 
        nlines = len(self._weave)
328
 
 
329
 
        for lineno, inserted, deletes, line in self._walk_internal():
330
 
            # a line is active in a version if:
331
 
            # insert is in the versions inclusions
332
 
            # and
333
 
            # deleteset & the versions inclusions is an empty set.
334
 
            # so - if we have a included by mapping - version is included by
335
 
            # children, we get a list of children to examine for deletes affect
336
 
            # ing them, which is less than the entire set of children.
337
 
            for version_id in version_ids:  
338
 
                # The active inclusion must be an ancestor,
339
 
                # and no ancestors must have deleted this line,
340
 
                # because we don't support resurrection.
341
 
                parent_inclusion = parent_inclusions[version_id]
342
 
                inclusion = inclusions[version_id]
343
 
                parent_active = inserted in parent_inclusion and not (deletes & parent_inclusion)
344
 
                version_active = inserted in inclusion and not (deletes & inclusion)
345
 
                if not parent_active and not version_active:
346
 
                    # unrelated line of ancestry
347
 
                    continue
348
 
                elif parent_active and version_active:
349
 
                    # shared line
350
 
                    parent_linenum = parent_linenums[version_id]
351
 
                    if current_hunks[version_id] != [parent_linenum, parent_linenum, 0, []]:
352
 
                        diff_hunks[version_id].append(tuple(current_hunks[version_id]))
353
 
                    parent_linenum += 1
354
 
                    current_hunks[version_id] = [parent_linenum, parent_linenum, 0, []]
355
 
                    parent_linenums[version_id] = parent_linenum
356
 
                    try:
357
 
                        if line[-1] != '\n':
358
 
                            noeols[version_id] = True
359
 
                    except IndexError:
360
 
                        pass
361
 
                elif parent_active and not version_active:
362
 
                    # deleted line
363
 
                    current_hunks[version_id][1] += 1
364
 
                    parent_linenums[version_id] += 1
365
 
                    last_parent_lines[version_id] = line
366
 
                elif not parent_active and version_active:
367
 
                    # replacement line
368
 
                    # noeol only occurs at the end of a file because we 
369
 
                    # diff linewise. We want to show noeol changes as a
370
 
                    # empty diff unless the actual eol-less content changed.
371
 
                    theline = line
372
 
                    try:
373
 
                        if last_parent_lines[version_id][-1] != '\n':
374
 
                            parent_noeols[version_id] = True
375
 
                    except (TypeError, IndexError):
376
 
                        pass
377
 
                    try:
378
 
                        if theline[-1] != '\n':
379
 
                            noeols[version_id] = True
380
 
                    except IndexError:
381
 
                        pass
382
 
                    new_line = False
383
 
                    parent_should_go = False
384
 
 
385
 
                    if parent_noeols[version_id] == noeols[version_id]:
386
 
                        # no noeol toggle, so trust the weaves statement
387
 
                        # that this line is changed.
388
 
                        new_line = True
389
 
                        if parent_noeols[version_id]:
390
 
                            theline = theline + '\n'
391
 
                    elif parent_noeols[version_id]:
392
 
                        # parent has no eol, we do:
393
 
                        # our line is new, report as such..
394
 
                        new_line = True
395
 
                    elif noeols[version_id]:
396
 
                        # append a eol so that it looks like
397
 
                        # a normalised delta
398
 
                        theline = theline + '\n'
399
 
                        if parents[version_id] is not None:
400
 
                        #if last_parent_lines[version_id] is not None:
401
 
                            parent_should_go = True
402
 
                        if last_parent_lines[version_id] != theline:
403
 
                            # but changed anyway
404
 
                            new_line = True
405
 
                            #parent_should_go = False
406
 
                    if new_line:
407
 
                        current_hunks[version_id][2] += 1
408
 
                        current_hunks[version_id][3].append((inserted, theline))
409
 
                    if parent_should_go:
410
 
                        # last hunk last parent line is not eaten
411
 
                        current_hunks[version_id][1] -= 1
412
 
                    if current_hunks[version_id][1] < 0:
413
 
                        current_hunks[version_id][1] = 0
414
 
                        # import pdb;pdb.set_trace()
415
 
                    # assert current_hunks[version_id][1] >= 0
416
 
 
417
 
        # flush last hunk
418
 
        for i in range(nv):
419
 
            version = self._idx_to_name(i)
420
 
            if current_hunks[version] != [0, 0, 0, []]:
421
 
                diff_hunks[version].append(tuple(current_hunks[version]))
422
 
        result = {}
423
 
        for version_id in version_ids:
424
 
            result[version_id] = (
425
 
                                  parents[version_id],
426
 
                                  sha1s[version_id],
427
 
                                  noeols[version_id],
428
 
                                  diff_hunks[version_id],
429
 
                                  )
430
 
        return result
431
 
 
432
 
    def get_parents(self, version_id):
433
 
        """See VersionedFile.get_parent."""
434
 
        return map(self._idx_to_name, self._parents[self._lookup(version_id)])
 
233
            raise WeaveError("name %r not present in weave %r" %
 
234
                             (name, self._weave_name))
 
235
 
 
236
 
 
237
    def idx_to_name(self, version):
 
238
        return self._names[version]
 
239
 
435
240
 
436
241
    def _check_repeated_add(self, name, parents, text, sha1):
437
242
        """Check that a duplicated add is OK.
438
243
 
439
244
        If it is, return the (old) index; otherwise raise an exception.
440
245
        """
441
 
        idx = self._lookup(name)
442
 
        if sorted(self._parents[idx]) != sorted(parents) \
443
 
            or sha1 != self._sha1s[idx]:
444
 
            raise RevisionAlreadyPresent(name, self._weave_name)
 
246
        idx = self.lookup(name)
 
247
        if sorted(self._parents[idx]) != sorted(parents):
 
248
            raise WeaveError("name \"%s\" already present in weave "
 
249
                             "with different parents" % name)
 
250
        if sha1 != self._sha1s[idx]:
 
251
            raise WeaveError("name \"%s\" already present in weave "
 
252
                             "with different text" % name)            
445
253
        return idx
446
 
 
447
 
    @deprecated_method(zero_eight)
448
 
    def add_identical(self, old_rev_id, new_rev_id, parents):
449
 
        """Please use Weave.clone_text now."""
450
 
        return self.clone_text(new_rev_id, old_rev_id, parents)
451
 
 
452
 
    def _add_lines(self, version_id, parents, lines, parent_texts):
453
 
        """See VersionedFile.add_lines."""
454
 
        return self._add(version_id, lines, map(self._lookup, parents))
455
 
 
456
 
    @deprecated_method(zero_eight)
 
254
        
 
255
 
 
256
        
457
257
    def add(self, name, parents, text, sha1=None):
458
 
        """See VersionedFile.add_lines for the non deprecated api."""
459
 
        return self._add(name, text, map(self._maybe_lookup, parents), sha1)
460
 
 
461
 
    def _add(self, version_id, lines, parents, sha1=None):
462
258
        """Add a single text on top of the weave.
463
259
  
464
260
        Returns the index number of the newly added version.
465
261
 
466
 
        version_id
 
262
        name
467
263
            Symbolic name for this version.
468
264
            (Typically the revision-id of the revision that added it.)
469
265
 
470
266
        parents
471
267
            List or set of direct parent version numbers.
472
268
            
473
 
        lines
 
269
        text
474
270
            Sequence of lines to be added in the new version.
 
271
 
 
272
        sha -- SHA-1 of the file, if known.  This is trusted to be
 
273
            correct if supplied.
475
274
        """
476
 
 
477
 
        assert isinstance(version_id, basestring)
478
 
        self._check_lines_not_unicode(lines)
479
 
        self._check_lines_are_lines(lines)
480
 
        if not sha1:
481
 
            sha1 = sha_strings(lines)
482
 
        if version_id in self._name_map:
483
 
            return self._check_repeated_add(version_id, parents, lines, sha1)
484
 
 
 
275
        from bzrlib.osutils import sha_strings
 
276
 
 
277
        assert isinstance(name, basestring)
 
278
        if sha1 is None:
 
279
            sha1 = sha_strings(text)
 
280
        if name in self._name_map:
 
281
            return self._check_repeated_add(name, parents, text, sha1)
 
282
 
 
283
        parents = map(self.maybe_lookup, parents)
485
284
        self._check_versions(parents)
486
 
        ## self._check_lines(lines)
 
285
        ## self._check_lines(text)
487
286
        new_version = len(self._parents)
488
287
 
 
288
 
489
289
        # if we abort after here the (in-memory) weave will be corrupt because only
490
290
        # some fields are updated
491
 
        # XXX: FIXME implement a succeed-or-fail of the rest of this routine.
492
 
        #      - Robert Collins 20060226
493
291
        self._parents.append(parents[:])
494
292
        self._sha1s.append(sha1)
495
 
        self._names.append(version_id)
496
 
        self._name_map[version_id] = new_version
 
293
        self._names.append(name)
 
294
        self._name_map[name] = new_version
497
295
 
498
296
            
499
297
        if not parents:
501
299
            # this more quickly by just appending unconditionally.
502
300
            # even more specially, if we're adding an empty text we
503
301
            # need do nothing at all.
504
 
            if lines:
 
302
            if text:
505
303
                self._weave.append(('{', new_version))
506
 
                self._weave.extend(lines)
 
304
                self._weave.extend(text)
507
305
                self._weave.append(('}', None))
 
306
        
508
307
            return new_version
509
308
 
510
309
        if len(parents) == 1:
514
313
                return new_version
515
314
            
516
315
 
517
 
        ancestors = self._inclusions(parents)
 
316
        ancestors = self.inclusions(parents)
518
317
 
519
318
        l = self._weave
520
319
 
527
326
 
528
327
        # another small special case: a merge, producing the same text
529
328
        # as auto-merge
530
 
        if lines == basis_lines:
 
329
        if text == basis_lines:
531
330
            return new_version            
532
331
 
533
 
        # add a sentinel, because we can also match against the final line
 
332
        # add a sentinal, because we can also match against the final line
534
333
        basis_lineno.append(len(self._weave))
535
334
 
536
335
        # XXX: which line of the weave should we really consider
540
339
        #print 'basis_lines:', basis_lines
541
340
        #print 'new_lines:  ', lines
542
341
 
543
 
        s = self._matcher(None, basis_lines, lines)
 
342
        s = SequenceMatcher(None, basis_lines, text)
544
343
 
545
344
        # offset gives the number of lines that have been inserted
546
345
        # into the weave up to the current point; if the original edit instruction
557
356
            i1 = basis_lineno[i1]
558
357
            i2 = basis_lineno[i2]
559
358
 
560
 
            assert 0 <= j1 <= j2 <= len(lines)
 
359
            assert 0 <= j1 <= j2 <= len(text)
561
360
 
562
361
            #print tag, i1, i2, j1, j2
563
362
 
574
373
                # we don't destroy ourselves
575
374
                i = i2 + offset
576
375
                self._weave[i:i] = ([('{', new_version)] 
577
 
                                    + lines[j1:j2] 
 
376
                                    + text[j1:j2] 
578
377
                                    + [('}', None)])
579
378
                offset += 2 + (j2 - j1)
 
379
 
580
380
        return new_version
581
381
 
582
 
    def _clone_text(self, new_version_id, old_version_id, parents):
583
 
        """See VersionedFile.clone_text."""
584
 
        old_lines = self.get_text(old_version_id)
585
 
        self.add_lines(new_version_id, parents, old_lines)
586
382
 
587
 
    def _inclusions(self, versions):
 
383
    def inclusions(self, versions):
588
384
        """Return set of all ancestors of given version(s)."""
589
 
        if not len(versions):
590
 
            return []
591
385
        i = set(versions)
592
386
        for v in xrange(max(versions), 0, -1):
593
387
            if v in i:
597
391
        ## except IndexError:
598
392
        ##     raise ValueError("version %d not present in weave" % v)
599
393
 
600
 
    @deprecated_method(zero_eight)
601
 
    def inclusions(self, version_ids):
602
 
        """Deprecated - see VersionedFile.get_ancestry for the replacement."""
603
 
        if not version_ids:
 
394
 
 
395
    def parents(self, version):
 
396
        return self._parents[version]
 
397
 
 
398
 
 
399
    def minimal_parents(self, version):
 
400
        """Find the minimal set of parents for the version."""
 
401
        included = self._parents[version]
 
402
        if not included:
604
403
            return []
605
 
        if isinstance(version_ids[0], int):
606
 
            return [self._idx_to_name(v) for v in self._inclusions(version_ids)]
607
 
        else:
608
 
            return self.get_ancestry(version_ids)
609
 
 
610
 
    def get_ancestry(self, version_ids):
611
 
        """See VersionedFile.get_ancestry."""
612
 
        if isinstance(version_ids, basestring):
613
 
            version_ids = [version_ids]
614
 
        i = self._inclusions([self._lookup(v) for v in version_ids])
615
 
        return [self._idx_to_name(v) for v in i]
 
404
        
 
405
        li = list(included)
 
406
        li.sort(reverse=True)
 
407
 
 
408
        mininc = []
 
409
        gotit = set()
 
410
 
 
411
        for pv in li:
 
412
            if pv not in gotit:
 
413
                mininc.append(pv)
 
414
                gotit.update(self.inclusions(pv))
 
415
 
 
416
        assert mininc[0] >= 0
 
417
        assert mininc[-1] < version
 
418
        return mininc
 
419
 
 
420
 
616
421
 
617
422
    def _check_lines(self, text):
618
423
        if not isinstance(text, list):
633
438
            except IndexError:
634
439
                raise IndexError("invalid version number %r" % i)
635
440
 
636
 
    def _compatible_parents(self, my_parents, other_parents):
637
 
        """During join check that other_parents are joinable with my_parents.
638
 
 
639
 
        Joinable is defined as 'is a subset of' - supersets may require 
640
 
        regeneration of diffs, but subsets do not.
641
 
        """
642
 
        return len(other_parents.difference(my_parents)) == 0
643
 
 
644
 
    def annotate(self, version_id):
645
 
        if isinstance(version_id, int):
646
 
            warnings.warn('Weave.annotate(int) is deprecated. Please use version names'
647
 
                 ' in all circumstances as of 0.8',
648
 
                 DeprecationWarning,
649
 
                 stacklevel=2
650
 
                 )
651
 
            result = []
652
 
            for origin, lineno, text in self._extract([version_id]):
653
 
                result.append((origin, text))
654
 
            return result
655
 
        else:
656
 
            return super(Weave, self).annotate(version_id)
657
441
    
658
 
    def annotate_iter(self, version_id):
659
 
        """Yield list of (version-id, line) pairs for the specified version.
 
442
    def annotate(self, name_or_index):
 
443
        return list(self.annotate_iter(name_or_index))
 
444
 
 
445
 
 
446
    def annotate_iter(self, name_or_index):
 
447
        """Yield list of (index-id, line) pairs for the specified version.
660
448
 
661
449
        The index indicates when the line originated in the weave."""
662
 
        incls = [self._lookup(version_id)]
 
450
        incls = [self.maybe_lookup(name_or_index)]
663
451
        for origin, lineno, text in self._extract(incls):
664
 
            yield self._idx_to_name(origin), text
665
 
 
666
 
    @deprecated_method(zero_eight)
 
452
            yield origin, text
 
453
 
 
454
 
667
455
    def _walk(self):
668
 
        """_walk has become visit, a supported api."""
669
 
        return self._walk_internal()
670
 
 
671
 
    def iter_lines_added_or_present_in_versions(self, version_ids=None,
672
 
                                                pb=None):
673
 
        """See VersionedFile.iter_lines_added_or_present_in_versions()."""
674
 
        if version_ids is None:
675
 
            version_ids = self.versions()
676
 
        version_ids = set(version_ids)
677
 
        for lineno, inserted, deletes, line in self._walk_internal(version_ids):
678
 
            # if inserted not in version_ids then it was inserted before the
679
 
            # versions we care about, but because weaves cannot represent ghosts
680
 
            # properly, we do not filter down to that
681
 
            # if inserted not in version_ids: continue
682
 
            if line[-1] != '\n':
683
 
                yield line + '\n'
684
 
            else:
685
 
                yield line
686
 
 
687
 
    #@deprecated_method(zero_eight)
688
 
    def walk(self, version_ids=None):
689
 
        """See VersionedFile.walk."""
690
 
        return self._walk_internal(version_ids)
691
 
 
692
 
    def _walk_internal(self, version_ids=None):
693
 
        """Helper method for weave actions."""
 
456
        """Walk the weave.
 
457
 
 
458
        Yields sequence of
 
459
        (lineno, insert, deletes, text)
 
460
        for each literal line.
 
461
        """
694
462
        
695
463
        istack = []
696
464
        dset = set()
698
466
        lineno = 0         # line of weave, 0-based
699
467
 
700
468
        for l in self._weave:
701
 
            if l.__class__ == tuple:
 
469
            if isinstance(l, tuple):
702
470
                c, v = l
703
471
                isactive = None
704
472
                if c == '{':
705
 
                    istack.append(self._names[v])
 
473
                    istack.append(v)
706
474
                elif c == '}':
707
475
                    istack.pop()
708
476
                elif c == '[':
709
 
                    assert self._names[v] not in dset
710
 
                    dset.add(self._names[v])
 
477
                    assert v not in dset
 
478
                    dset.add(v)
711
479
                elif c == ']':
712
 
                    dset.remove(self._names[v])
 
480
                    dset.remove(v)
713
481
                else:
714
 
                    raise WeaveFormatError('unexpected instruction %r' % v)
 
482
                    raise WeaveFormatError('unexpected instruction %r'
 
483
                                           % v)
715
484
            else:
716
 
                assert l.__class__ in (str, unicode)
 
485
                assert isinstance(l, basestring)
717
486
                assert istack
718
 
                yield lineno, istack[-1], frozenset(dset), l
 
487
                yield lineno, istack[-1], dset, l
719
488
            lineno += 1
720
489
 
721
 
        if istack:
722
 
            raise WeaveFormatError("unclosed insertion blocks "
723
 
                    "at end of weave: %s" % istack)
724
 
        if dset:
725
 
            raise WeaveFormatError("unclosed deletion blocks at end of weave: %s"
726
 
                                   % dset)
727
 
 
728
 
    def plan_merge(self, ver_a, ver_b):
729
 
        """Return pseudo-annotation indicating how the two versions merge.
730
 
 
731
 
        This is computed between versions a and b and their common
732
 
        base.
733
 
 
734
 
        Weave lines present in none of them are skipped entirely.
735
 
        """
736
 
        inc_a = set(self.get_ancestry([ver_a]))
737
 
        inc_b = set(self.get_ancestry([ver_b]))
738
 
        inc_c = inc_a & inc_b
739
 
 
740
 
        for lineno, insert, deleteset, line in\
741
 
            self.walk([ver_a, ver_b]):
742
 
            if deleteset & inc_c:
743
 
                # killed in parent; can't be in either a or b
744
 
                # not relevant to our work
745
 
                yield 'killed-base', line
746
 
            elif insert in inc_c:
747
 
                # was inserted in base
748
 
                killed_a = bool(deleteset & inc_a)
749
 
                killed_b = bool(deleteset & inc_b)
750
 
                if killed_a and killed_b:
751
 
                    yield 'killed-both', line
752
 
                elif killed_a:
753
 
                    yield 'killed-a', line
754
 
                elif killed_b:
755
 
                    yield 'killed-b', line
756
 
                else:
757
 
                    yield 'unchanged', line
758
 
            elif insert in inc_a:
759
 
                if deleteset & inc_a:
760
 
                    yield 'ghost-a', line
761
 
                else:
762
 
                    # new in A; not in B
763
 
                    yield 'new-a', line
764
 
            elif insert in inc_b:
765
 
                if deleteset & inc_b:
766
 
                    yield 'ghost-b', line
767
 
                else:
768
 
                    yield 'new-b', line
769
 
            else:
770
 
                # not in either revision
771
 
                yield 'irrelevant', line
772
 
 
773
 
        yield 'unchanged', ''           # terminator
 
490
 
774
491
 
775
492
    def _extract(self, versions):
776
493
        """Yield annotation of lines in included set.
785
502
            if not isinstance(i, int):
786
503
                raise ValueError(i)
787
504
            
788
 
        included = self._inclusions(versions)
 
505
        included = self.inclusions(versions)
789
506
 
790
507
        istack = []
791
 
        iset = set()
792
508
        dset = set()
793
509
 
794
510
        lineno = 0         # line of weave, 0-based
799
515
 
800
516
        WFE = WeaveFormatError
801
517
 
802
 
        # wow. 
803
 
        #  449       0   4474.6820   2356.5590   bzrlib.weave:556(_extract)
804
 
        #  +285282   0   1676.8040   1676.8040   +<isinstance>
805
 
        # 1.6 seconds in 'isinstance'.
806
 
        # changing the first isinstance:
807
 
        #  449       0   2814.2660   1577.1760   bzrlib.weave:556(_extract)
808
 
        #  +140414   0    762.8050    762.8050   +<isinstance>
809
 
        # note that the inline time actually dropped (less function calls)
810
 
        # and total processing time was halved.
811
 
        # we're still spending ~1/4 of the method in isinstance though.
812
 
        # so lets hard code the acceptable string classes we expect:
813
 
        #  449       0   1202.9420    786.2930   bzrlib.weave:556(_extract)
814
 
        # +71352     0    377.5560    377.5560   +<method 'append' of 'list' 
815
 
        #                                          objects>
816
 
        # yay, down to ~1/4 the initial extract time, and our inline time
817
 
        # has shrunk again, with isinstance no longer dominating.
818
 
        # tweaking the stack inclusion test to use a set gives:
819
 
        #  449       0   1122.8030    713.0080   bzrlib.weave:556(_extract)
820
 
        # +71352     0    354.9980    354.9980   +<method 'append' of 'list' 
821
 
        #                                          objects>
822
 
        # - a 5% win, or possibly just noise. However with large istacks that
823
 
        # 'in' test could dominate, so I'm leaving this change in place -
824
 
        # when its fast enough to consider profiling big datasets we can review.
825
 
 
826
 
              
827
 
             
828
 
 
829
518
        for l in self._weave:
830
 
            if l.__class__ == tuple:
 
519
            if isinstance(l, tuple):
831
520
                c, v = l
832
521
                isactive = None
833
522
                if c == '{':
834
 
                    assert v not in iset
 
523
                    assert v not in istack
835
524
                    istack.append(v)
836
 
                    iset.add(v)
837
525
                elif c == '}':
838
 
                    iset.remove(istack.pop())
 
526
                    istack.pop()
839
527
                elif c == '[':
840
528
                    if v in included:
841
529
                        assert v not in dset
846
534
                        assert v in dset
847
535
                        dset.remove(v)
848
536
            else:
849
 
                assert l.__class__ in (str, unicode)
 
537
                assert isinstance(l, basestring)
850
538
                if isactive is None:
851
539
                    isactive = (not dset) and istack and (istack[-1] in included)
852
540
                if isactive:
853
541
                    result.append((istack[-1], lineno, l))
854
542
            lineno += 1
 
543
 
855
544
        if istack:
856
 
            raise WeaveFormatError("unclosed insertion blocks "
857
 
                    "at end of weave: %s" % istack)
 
545
            raise WFE("unclosed insertion blocks at end of weave",
 
546
                                   istack)
858
547
        if dset:
859
 
            raise WeaveFormatError("unclosed deletion blocks at end of weave: %s"
860
 
                                   % dset)
 
548
            raise WFE("unclosed deletion blocks at end of weave",
 
549
                                   dset)
 
550
 
861
551
        return result
862
 
 
863
 
    @deprecated_method(zero_eight)
 
552
    
 
553
 
 
554
 
864
555
    def get_iter(self, name_or_index):
865
 
        """Deprecated, please do not use. Lookups are not not needed.
866
 
        
867
 
        Please use get_lines now.
868
 
        """
869
 
        return iter(self.get_lines(self._maybe_lookup(name_or_index)))
870
 
 
871
 
    @deprecated_method(zero_eight)
872
 
    def maybe_lookup(self, name_or_index):
873
 
        """Deprecated, please do not use. Lookups are not not needed."""
874
 
        return self._maybe_lookup(name_or_index)
875
 
 
876
 
    def _maybe_lookup(self, name_or_index):
877
 
        """Convert possible symbolic name to index, or pass through indexes.
878
 
        
879
 
        NOT FOR PUBLIC USE.
880
 
        """
881
 
        if isinstance(name_or_index, (int, long)):
882
 
            return name_or_index
883
 
        else:
884
 
            return self._lookup(name_or_index)
885
 
 
886
 
    @deprecated_method(zero_eight)
887
 
    def get(self, version_id):
888
 
        """Please use either Weave.get_text or Weave.get_lines as desired."""
889
 
        return self.get_lines(version_id)
890
 
 
891
 
    def get_lines(self, version_id):
892
 
        """See VersionedFile.get_lines()."""
893
 
        int_index = self._maybe_lookup(version_id)
894
 
        result = [line for (origin, lineno, line) in self._extract([int_index])]
895
 
        expected_sha1 = self._sha1s[int_index]
896
 
        measured_sha1 = sha_strings(result)
897
 
        if measured_sha1 != expected_sha1:
898
 
            raise errors.WeaveInvalidChecksum(
899
 
                    'file %s, revision %s, expected: %s, measured %s' 
900
 
                    % (self._weave_name, version_id,
901
 
                       expected_sha1, measured_sha1))
902
 
        return result
903
 
 
904
 
    def get_sha1(self, version_id):
905
 
        """See VersionedFile.get_sha1()."""
906
 
        return self._sha1s[self._lookup(version_id)]
907
 
 
908
 
    @deprecated_method(zero_eight)
 
556
        """Yield lines for the specified version."""
 
557
        incls = [self.maybe_lookup(name_or_index)]
 
558
        for origin, lineno, line in self._extract(incls):
 
559
            yield line
 
560
 
 
561
 
 
562
    def get_text(self, name_or_index):
 
563
        return ''.join(self.get_iter(name_or_index))
 
564
        assert isinstance(version, int)
 
565
 
 
566
 
 
567
    def get_lines(self, name_or_index):
 
568
        return list(self.get_iter(name_or_index))
 
569
 
 
570
 
 
571
    get = get_lines
 
572
 
 
573
 
 
574
    def mash_iter(self, included):
 
575
        """Return composed version of multiple included versions."""
 
576
        included = map(self.maybe_lookup, included)
 
577
        for origin, lineno, text in self._extract(included):
 
578
            yield text
 
579
 
 
580
 
 
581
    def dump(self, to_file):
 
582
        from pprint import pprint
 
583
        print >>to_file, "Weave._weave = ",
 
584
        pprint(self._weave, to_file)
 
585
        print >>to_file, "Weave._parents = ",
 
586
        pprint(self._parents, to_file)
 
587
 
 
588
 
 
589
 
909
590
    def numversions(self):
910
 
        """How many versions are in this weave?
911
 
 
912
 
        Deprecated in favour of num_versions.
913
 
        """
914
 
        return self.num_versions()
915
 
 
916
 
    def num_versions(self):
917
 
        """How many versions are in this weave?"""
918
591
        l = len(self._parents)
919
592
        assert l == len(self._sha1s)
920
593
        return l
921
594
 
922
 
    __len__ = num_versions
 
595
 
 
596
    def __len__(self):
 
597
        return self.numversions()
 
598
 
923
599
 
924
600
    def check(self, progress_bar=None):
925
 
        # TODO evaluate performance hit of using string sets in this routine.
926
 
        # TODO: check no circular inclusions
927
 
        # TODO: create a nested progress bar
928
 
        for version in range(self.num_versions()):
 
601
        # check no circular inclusions
 
602
        for version in range(self.numversions()):
929
603
            inclusions = list(self._parents[version])
930
604
            if inclusions:
931
605
                inclusions.sort()
933
607
                    raise WeaveFormatError("invalid included version %d for index %d"
934
608
                                           % (inclusions[-1], version))
935
609
 
936
 
        # try extracting all versions; parallel extraction is used
937
 
        nv = self.num_versions()
938
 
        sha1s = {}
939
 
        texts = {}
940
 
        inclusions = {}
941
 
        for i in range(nv):
942
 
            # For creating the ancestry, IntSet is much faster (3.7s vs 0.17s)
943
 
            # The problem is that set membership is much more expensive
944
 
            name = self._idx_to_name(i)
945
 
            sha1s[name] = sha.new()
946
 
            texts[name] = []
947
 
            new_inc = set([name])
948
 
            for p in self._parents[i]:
949
 
                new_inc.update(inclusions[self._idx_to_name(p)])
950
 
 
951
 
            assert set(new_inc) == set(self.get_ancestry(name)), \
952
 
                'failed %s != %s' % (set(new_inc), set(self.get_ancestry(name)))
953
 
            inclusions[name] = new_inc
954
 
 
955
 
        nlines = len(self._weave)
956
 
 
957
 
        update_text = 'checking weave'
958
 
        if self._weave_name:
959
 
            short_name = os.path.basename(self._weave_name)
960
 
            update_text = 'checking %s' % (short_name,)
961
 
            update_text = update_text[:25]
962
 
 
963
 
        for lineno, insert, deleteset, line in self._walk_internal():
 
610
        # try extracting all versions; this is a bit slow and parallel
 
611
        # extraction could be used
 
612
        nv = self.numversions()
 
613
        for version in range(nv):
964
614
            if progress_bar:
965
 
                progress_bar.update(update_text, lineno, nlines)
966
 
 
967
 
            for name, name_inclusions in inclusions.items():
968
 
                # The active inclusion must be an ancestor,
969
 
                # and no ancestors must have deleted this line,
970
 
                # because we don't support resurrection.
971
 
                if (insert in name_inclusions) and not (deleteset & name_inclusions):
972
 
                    sha1s[name].update(line)
973
 
 
974
 
        for i in range(nv):
975
 
            version = self._idx_to_name(i)
976
 
            hd = sha1s[version].hexdigest()
977
 
            expected = self._sha1s[i]
 
615
                progress_bar.update('checking text', version, nv)
 
616
            s = sha.new()
 
617
            for l in self.get_iter(version):
 
618
                s.update(l)
 
619
            hd = s.hexdigest()
 
620
            expected = self._sha1s[version]
978
621
            if hd != expected:
979
 
                raise errors.WeaveInvalidChecksum(
980
 
                        "mismatched sha1 for version %s: "
981
 
                        "got %s, expected %s"
982
 
                        % (version, hd, expected))
 
622
                raise WeaveError("mismatched sha1 for version %d; "
 
623
                                 "got %s, expected %s"
 
624
                                 % (version, hd, expected))
983
625
 
984
626
        # TODO: check insertions are properly nested, that there are
985
627
        # no lines outside of insertion blocks, that deletions are
986
628
        # properly paired, etc.
987
629
 
988
 
    def _join(self, other, pb, msg, version_ids, ignore_missing):
989
 
        """Worker routine for join()."""
990
 
        if not other.versions():
991
 
            return          # nothing to update, easy
992
 
 
993
 
        if not version_ids:
994
 
            # versions is never none, InterWeave checks this.
995
 
            return 0
996
 
 
997
 
        # two loops so that we do not change ourselves before verifying it
998
 
        # will be ok
999
 
        # work through in index order to make sure we get all dependencies
1000
 
        names_to_join = []
1001
 
        processed = 0
1002
 
        # get the selected versions only that are in other.versions.
1003
 
        version_ids = set(other.versions()).intersection(set(version_ids))
1004
 
        # pull in the referenced graph.
1005
 
        version_ids = other.get_ancestry(version_ids)
1006
 
        pending_graph = [(version, other.get_parents(version)) for
1007
 
                         version in version_ids]
1008
 
        for name in topo_sort(pending_graph):
1009
 
            other_idx = other._name_map[name]
1010
 
            # returns True if we have it, False if we need it.
1011
 
            if not self._check_version_consistent(other, other_idx, name):
1012
 
                names_to_join.append((other_idx, name))
1013
 
            processed += 1
1014
 
 
1015
 
 
1016
 
        if pb and not msg:
1017
 
            msg = 'weave join'
1018
 
 
1019
 
        merged = 0
1020
 
        time0 = time.time()
1021
 
        for other_idx, name in names_to_join:
1022
 
            # TODO: If all the parents of the other version are already
1023
 
            # present then we can avoid some work by just taking the delta
1024
 
            # and adjusting the offsets.
1025
 
            new_parents = self._imported_parents(other, other_idx)
1026
 
            sha1 = other._sha1s[other_idx]
1027
 
 
1028
 
            merged += 1
1029
 
 
1030
 
            if pb:
1031
 
                pb.update(msg, merged, len(names_to_join))
1032
 
           
1033
 
            lines = other.get_lines(other_idx)
1034
 
            self._add(name, lines, new_parents, sha1)
1035
 
 
1036
 
        mutter("merged = %d, processed = %d, file_id=%s; deltat=%d"%(
1037
 
                merged, processed, self._weave_name, time.time()-time0))
1038
 
 
1039
 
    def _imported_parents(self, other, other_idx):
1040
 
        """Return list of parents in self corresponding to indexes in other."""
1041
 
        new_parents = []
1042
 
        for parent_idx in other._parents[other_idx]:
1043
 
            parent_name = other._names[parent_idx]
1044
 
            if parent_name not in self._name_map:
1045
 
                # should not be possible
1046
 
                raise WeaveError("missing parent {%s} of {%s} in %r" 
1047
 
                                 % (parent_name, other._name_map[other_idx], self))
1048
 
            new_parents.append(self._name_map[parent_name])
1049
 
        return new_parents
1050
 
 
1051
 
    def _check_version_consistent(self, other, other_idx, name):
1052
 
        """Check if a version in consistent in this and other.
1053
 
 
1054
 
        To be consistent it must have:
1055
 
 
1056
 
         * the same text
1057
 
         * the same direct parents (by name, not index, and disregarding
1058
 
           order)
1059
 
        
1060
 
        If present & correct return True;
1061
 
        if not present in self return False; 
1062
 
        if inconsistent raise error."""
1063
 
        this_idx = self._name_map.get(name, -1)
1064
 
        if this_idx != -1:
1065
 
            if self._sha1s[this_idx] != other._sha1s[other_idx]:
1066
 
                raise errors.WeaveTextDiffers(name, self, other)
1067
 
            self_parents = self._parents[this_idx]
1068
 
            other_parents = other._parents[other_idx]
1069
 
            n1 = set([self._names[i] for i in self_parents])
1070
 
            n2 = set([other._names[i] for i in other_parents])
1071
 
            if not self._compatible_parents(n1, n2):
1072
 
                raise WeaveParentMismatch("inconsistent parents "
1073
 
                    "for version {%s}: %s vs %s" % (name, n1, n2))
1074
 
            else:
1075
 
                return True         # ok!
1076
 
        else:
1077
 
            return False
1078
 
 
1079
 
    @deprecated_method(zero_eight)
1080
 
    def reweave(self, other, pb=None, msg=None):
1081
 
        """reweave has been superseded by plain use of join."""
1082
 
        return self.join(other, pb, msg)
1083
 
 
1084
 
    def _reweave(self, other, pb, msg):
1085
 
        """Reweave self with other - internal helper for join().
1086
 
 
1087
 
        :param other: The other weave to merge
1088
 
        :param pb: An optional progress bar, indicating how far done we are
1089
 
        :param msg: An optional message for the progress
1090
 
        """
1091
 
        new_weave = _reweave(self, other, pb=pb, msg=msg)
1092
 
        self._copy_weave_content(new_weave)
1093
 
 
1094
 
    def _copy_weave_content(self, otherweave):
1095
 
        """adsorb the content from otherweave."""
1096
 
        for attr in self.__slots__:
1097
 
            if attr != '_weave_name':
1098
 
                setattr(self, attr, copy(getattr(otherweave, attr)))
1099
 
 
1100
 
 
1101
 
class WeaveFile(Weave):
1102
 
    """A WeaveFile represents a Weave on disk and writes on change."""
1103
 
 
1104
 
    WEAVE_SUFFIX = '.weave'
1105
 
    
1106
 
    def __init__(self, name, transport, filemode=None, create=False, access_mode='w'):
1107
 
        """Create a WeaveFile.
1108
 
        
1109
 
        :param create: If not True, only open an existing knit.
1110
 
        """
1111
 
        super(WeaveFile, self).__init__(name, access_mode)
1112
 
        self._transport = transport
1113
 
        self._filemode = filemode
1114
 
        try:
1115
 
            _read_weave_v5(self._transport.get(name + WeaveFile.WEAVE_SUFFIX), self)
1116
 
        except errors.NoSuchFile:
1117
 
            if not create:
1118
 
                raise
1119
 
            # new file, save it
1120
 
            self._save()
1121
 
 
1122
 
    def _add_lines(self, version_id, parents, lines, parent_texts):
1123
 
        """Add a version and save the weave."""
1124
 
        self.check_not_reserved_id(version_id)
1125
 
        result = super(WeaveFile, self)._add_lines(version_id, parents, lines,
1126
 
                                                   parent_texts)
1127
 
        self._save()
1128
 
        return result
1129
 
 
1130
 
    def _clone_text(self, new_version_id, old_version_id, parents):
1131
 
        """See VersionedFile.clone_text."""
1132
 
        super(WeaveFile, self)._clone_text(new_version_id, old_version_id, parents)
1133
 
        self._save
1134
 
 
1135
 
    def copy_to(self, name, transport):
1136
 
        """See VersionedFile.copy_to()."""
1137
 
        # as we are all in memory always, just serialise to the new place.
1138
 
        sio = StringIO()
1139
 
        write_weave_v5(self, sio)
1140
 
        sio.seek(0)
1141
 
        transport.put_file(name + WeaveFile.WEAVE_SUFFIX, sio, self._filemode)
1142
 
 
1143
 
    def create_empty(self, name, transport, filemode=None):
1144
 
        return WeaveFile(name, transport, filemode, create=True)
1145
 
 
1146
 
    def _save(self):
1147
 
        """Save the weave."""
1148
 
        self._check_write_ok()
1149
 
        sio = StringIO()
1150
 
        write_weave_v5(self, sio)
1151
 
        sio.seek(0)
1152
 
        self._transport.put_file(self._weave_name + WeaveFile.WEAVE_SUFFIX,
1153
 
                                 sio,
1154
 
                                 self._filemode)
1155
 
 
1156
 
    @staticmethod
1157
 
    def get_suffixes():
1158
 
        """See VersionedFile.get_suffixes()."""
1159
 
        return [WeaveFile.WEAVE_SUFFIX]
1160
 
 
1161
 
    def join(self, other, pb=None, msg=None, version_ids=None,
1162
 
             ignore_missing=False):
1163
 
        """Join other into self and save."""
1164
 
        super(WeaveFile, self).join(other, pb, msg, version_ids, ignore_missing)
1165
 
        self._save()
1166
 
 
1167
 
 
1168
 
@deprecated_function(zero_eight)
1169
 
def reweave(wa, wb, pb=None, msg=None):
1170
 
    """reweaving is deprecation, please just use weave.join()."""
1171
 
    _reweave(wa, wb, pb, msg)
1172
 
 
1173
 
def _reweave(wa, wb, pb=None, msg=None):
1174
 
    """Combine two weaves and return the result.
1175
 
 
1176
 
    This works even if a revision R has different parents in 
1177
 
    wa and wb.  In the resulting weave all the parents are given.
1178
 
 
1179
 
    This is done by just building up a new weave, maintaining ordering 
1180
 
    of the versions in the two inputs.  More efficient approaches
1181
 
    might be possible but it should only be necessary to do 
1182
 
    this operation rarely, when a new previously ghost version is 
1183
 
    inserted.
1184
 
 
1185
 
    :param pb: An optional progress bar, indicating how far done we are
1186
 
    :param msg: An optional message for the progress
1187
 
    """
1188
 
    wr = Weave()
1189
 
    ia = ib = 0
1190
 
    queue_a = range(wa.num_versions())
1191
 
    queue_b = range(wb.num_versions())
1192
 
    # first determine combined parents of all versions
1193
 
    # map from version name -> all parent names
1194
 
    combined_parents = _reweave_parent_graphs(wa, wb)
1195
 
    mutter("combined parents: %r", combined_parents)
1196
 
    order = topo_sort(combined_parents.iteritems())
1197
 
    mutter("order to reweave: %r", order)
1198
 
 
1199
 
    if pb and not msg:
1200
 
        msg = 'reweave'
1201
 
 
1202
 
    for idx, name in enumerate(order):
1203
 
        if pb:
1204
 
            pb.update(msg, idx, len(order))
1205
 
        if name in wa._name_map:
1206
 
            lines = wa.get_lines(name)
1207
 
            if name in wb._name_map:
1208
 
                lines_b = wb.get_lines(name)
1209
 
                if lines != lines_b:
1210
 
                    mutter('Weaves differ on content. rev_id {%s}', name)
1211
 
                    mutter('weaves: %s, %s', wa._weave_name, wb._weave_name)
1212
 
                    import difflib
1213
 
                    lines = list(difflib.unified_diff(lines, lines_b,
1214
 
                            wa._weave_name, wb._weave_name))
1215
 
                    mutter('lines:\n%s', ''.join(lines))
1216
 
                    raise errors.WeaveTextDiffers(name, wa, wb)
1217
 
        else:
1218
 
            lines = wb.get_lines(name)
1219
 
        wr._add(name, lines, [wr._lookup(i) for i in combined_parents[name]])
1220
 
    return wr
1221
 
 
1222
 
def _reweave_parent_graphs(wa, wb):
1223
 
    """Return combined parent ancestry for two weaves.
1224
 
    
1225
 
    Returned as a list of (version_name, set(parent_names))"""
1226
 
    combined = {}
1227
 
    for weave in [wa, wb]:
1228
 
        for idx, name in enumerate(weave._names):
1229
 
            p = combined.setdefault(name, set())
1230
 
            p.update(map(weave._idx_to_name, weave._parents[idx]))
1231
 
    return combined
 
630
 
 
631
 
 
632
    def merge(self, merge_versions):
 
633
        """Automerge and mark conflicts between versions.
 
634
 
 
635
        This returns a sequence, each entry describing alternatives
 
636
        for a chunk of the file.  Each of the alternatives is given as
 
637
        a list of lines.
 
638
 
 
639
        If there is a chunk of the file where there's no diagreement,
 
640
        only one alternative is given.
 
641
        """
 
642
 
 
643
        # approach: find the included versions common to all the
 
644
        # merged versions
 
645
        raise NotImplementedError()
 
646
 
 
647
 
 
648
 
 
649
    def _delta(self, included, lines):
 
650
        """Return changes from basis to new revision.
 
651
 
 
652
        The old text for comparison is the union of included revisions.
 
653
 
 
654
        This is used in inserting a new text.
 
655
 
 
656
        Delta is returned as a sequence of
 
657
        (weave1, weave2, newlines).
 
658
 
 
659
        This indicates that weave1:weave2 of the old weave should be
 
660
        replaced by the sequence of lines in newlines.  Note that
 
661
        these line numbers are positions in the total weave and don't
 
662
        correspond to the lines in any extracted version, or even the
 
663
        extracted union of included versions.
 
664
 
 
665
        If line1=line2, this is a pure insert; if newlines=[] this is a
 
666
        pure delete.  (Similar to difflib.)
 
667
        """
 
668
 
 
669
 
 
670
            
 
671
    def plan_merge(self, ver_a, ver_b):
 
672
        """Return pseudo-annotation indicating how the two versions merge.
 
673
 
 
674
        This is computed between versions a and b and their common
 
675
        base.
 
676
 
 
677
        Weave lines present in none of them are skipped entirely.
 
678
        """
 
679
        inc_a = self.inclusions([ver_a])
 
680
        inc_b = self.inclusions([ver_b])
 
681
        inc_c = inc_a & inc_b
 
682
 
 
683
        for lineno, insert, deleteset, line in self._walk():
 
684
            if deleteset & inc_c:
 
685
                # killed in parent; can't be in either a or b
 
686
                # not relevant to our work
 
687
                yield 'killed-base', line
 
688
            elif insert in inc_c:
 
689
                # was inserted in base
 
690
                killed_a = bool(deleteset & inc_a)
 
691
                killed_b = bool(deleteset & inc_b)
 
692
                if killed_a and killed_b:
 
693
                    yield 'killed-both', line
 
694
                elif killed_a:
 
695
                    yield 'killed-a', line
 
696
                elif killed_b:
 
697
                    yield 'killed-b', line
 
698
                else:
 
699
                    yield 'unchanged', line
 
700
            elif insert in inc_a:
 
701
                if deleteset & inc_a:
 
702
                    yield 'ghost-a', line
 
703
                else:
 
704
                    # new in A; not in B
 
705
                    yield 'new-a', line
 
706
            elif insert in inc_b:
 
707
                if deleteset & inc_b:
 
708
                    yield 'ghost-b', line
 
709
                else:
 
710
                    yield 'new-b', line
 
711
            else:
 
712
                # not in either revision
 
713
                yield 'irrelevant', line
 
714
 
 
715
        yield 'unchanged', ''           # terminator
 
716
 
 
717
 
 
718
 
 
719
    def weave_merge(self, plan):
 
720
        lines_a = []
 
721
        lines_b = []
 
722
        ch_a = ch_b = False
 
723
 
 
724
        for state, line in plan:
 
725
            if state == 'unchanged' or state == 'killed-both':
 
726
                # resync and flush queued conflicts changes if any
 
727
                if not lines_a and not lines_b:
 
728
                    pass
 
729
                elif ch_a and not ch_b:
 
730
                    # one-sided change:                    
 
731
                    for l in lines_a: yield l
 
732
                elif ch_b and not ch_a:
 
733
                    for l in lines_b: yield l
 
734
                elif lines_a == lines_b:
 
735
                    for l in lines_a: yield l
 
736
                else:
 
737
                    yield '<<<<\n'
 
738
                    for l in lines_a: yield l
 
739
                    yield '====\n'
 
740
                    for l in lines_b: yield l
 
741
                    yield '>>>>\n'
 
742
 
 
743
                del lines_a[:]
 
744
                del lines_b[:]
 
745
                ch_a = ch_b = False
 
746
                
 
747
            if state == 'unchanged':
 
748
                if line:
 
749
                    yield line
 
750
            elif state == 'killed-a':
 
751
                ch_a = True
 
752
                lines_b.append(line)
 
753
            elif state == 'killed-b':
 
754
                ch_b = True
 
755
                lines_a.append(line)
 
756
            elif state == 'new-a':
 
757
                ch_a = True
 
758
                lines_a.append(line)
 
759
            elif state == 'new-b':
 
760
                ch_b = True
 
761
                lines_b.append(line)
 
762
            else:
 
763
                assert state in ('irrelevant', 'ghost-a', 'ghost-b', 'killed-base',
 
764
                                 'killed-both'), \
 
765
                       state
 
766
 
 
767
                
 
768
 
 
769
 
 
770
 
1232
771
 
1233
772
 
1234
773
def weave_toc(w):
1237
776
    for i in (6, 50, 10, 10):
1238
777
        print '-' * i,
1239
778
    print
1240
 
    for i in range(w.num_versions()):
 
779
    for i in range(w.numversions()):
1241
780
        sha1 = w._sha1s[i]
1242
781
        name = w._names[i]
1243
782
        parent_str = ' '.join(map(str, w._parents[i]))
1257
796
    vers = len(w)
1258
797
    for i in range(vers):
1259
798
        pb.update('checking sizes', i, vers)
1260
 
        for origin, lineno, line in w._extract([i]):
 
799
        for line in w.get_iter(i):
1261
800
            total += len(line)
1262
801
 
1263
802
    pb.clear()
1290
829
        Add NEWTEXT, with specified parent versions.
1291
830
    weave annotate WEAVEFILE VERSION
1292
831
        Display origin of each line.
 
832
    weave mash WEAVEFILE VERSION...
 
833
        Display composite of all selected versions.
1293
834
    weave merge WEAVEFILE VERSION1 VERSION2 > OUT
1294
835
        Auto-merge two versions and display conflicts.
1295
836
    weave diff WEAVEFILE VERSION1 VERSION2 
1369
910
        w = readit()
1370
911
        sys.stdout.writelines(w.get_iter(int(argv[3])))
1371
912
        
 
913
    elif cmd == 'mash': # get composite
 
914
        w = readit()
 
915
        sys.stdout.writelines(w.mash_iter(map(int, argv[3:])))
 
916
 
1372
917
    elif cmd == 'diff':
 
918
        from difflib import unified_diff
1373
919
        w = readit()
1374
920
        fn = argv[2]
1375
921
        v1, v2 = map(int, argv[3:5])
1376
922
        lines1 = w.get(v1)
1377
923
        lines2 = w.get(v2)
1378
 
        diff_gen = bzrlib.patiencediff.unified_diff(lines1, lines2,
 
924
        diff_gen = unified_diff(lines1, lines2,
1379
925
                                '%s version %d' % (fn, v1),
1380
926
                                '%s version %d' % (fn, v2))
1381
927
        sys.stdout.writelines(diff_gen)
1404
950
        pb = ProgressBar()
1405
951
        w.check(pb)
1406
952
        pb.clear()
1407
 
        print '%d versions ok' % w.num_versions()
 
953
        print '%d versions ok' % w.numversions()
1408
954
 
1409
955
    elif cmd == 'inclusions':
1410
956
        w = readit()
1415
961
        print ' '.join(map(str, w._parents[int(argv[3])]))
1416
962
 
1417
963
    elif cmd == 'plan-merge':
1418
 
        # replaced by 'bzr weave-plan-merge'
1419
964
        w = readit()
1420
965
        for state, line in w.plan_merge(int(argv[3]), int(argv[4])):
1421
966
            if line:
1422
967
                print '%14s | %s' % (state, line),
 
968
 
1423
969
    elif cmd == 'merge':
1424
 
        # replaced by 'bzr weave-merge-text'
1425
970
        w = readit()
1426
971
        p = w.plan_merge(int(argv[3]), int(argv[4]))
1427
972
        sys.stdout.writelines(w.weave_merge(p))
 
973
            
 
974
    elif cmd == 'mash-merge':
 
975
        if len(argv) != 5:
 
976
            usage()
 
977
            return 1
 
978
 
 
979
        w = readit()
 
980
        v1, v2 = map(int, argv[3:5])
 
981
 
 
982
        basis = w.inclusions([v1]).intersection(w.inclusions([v2]))
 
983
 
 
984
        base_lines = list(w.mash_iter(basis))
 
985
        a_lines = list(w.get(v1))
 
986
        b_lines = list(w.get(v2))
 
987
 
 
988
        from bzrlib.merge3 import Merge3
 
989
        m3 = Merge3(base_lines, a_lines, b_lines)
 
990
 
 
991
        name_a = 'version %d' % v1
 
992
        name_b = 'version %d' % v2
 
993
        sys.stdout.writelines(m3.merge_lines(name_a=name_a, name_b=name_b))
1428
994
    else:
1429
995
        raise ValueError('unknown command %r' % cmd)
1430
996
    
1431
997
 
 
998
 
 
999
def profile_main(argv): 
 
1000
    import tempfile, hotshot, hotshot.stats
 
1001
 
 
1002
    prof_f = tempfile.NamedTemporaryFile()
 
1003
 
 
1004
    prof = hotshot.Profile(prof_f.name)
 
1005
 
 
1006
    ret = prof.runcall(main, argv)
 
1007
    prof.close()
 
1008
 
 
1009
    stats = hotshot.stats.load(prof_f.name)
 
1010
    #stats.strip_dirs()
 
1011
    stats.sort_stats('cumulative')
 
1012
    ## XXX: Might like to write to stderr or the trace file instead but
 
1013
    ## print_stats seems hardcoded to stdout
 
1014
    stats.print_stats(20)
 
1015
            
 
1016
    return ret
 
1017
 
 
1018
 
1432
1019
if __name__ == '__main__':
1433
1020
    import sys
1434
 
    sys.exit(main(sys.argv))
1435
 
 
1436
 
 
1437
 
class InterWeave(InterVersionedFile):
1438
 
    """Optimised code paths for weave to weave operations."""
1439
 
    
1440
 
    _matching_file_from_factory = staticmethod(WeaveFile)
1441
 
    _matching_file_to_factory = staticmethod(WeaveFile)
1442
 
    
1443
 
    @staticmethod
1444
 
    def is_compatible(source, target):
1445
 
        """Be compatible with weaves."""
1446
 
        try:
1447
 
            return (isinstance(source, Weave) and
1448
 
                    isinstance(target, Weave))
1449
 
        except AttributeError:
1450
 
            return False
1451
 
 
1452
 
    def join(self, pb=None, msg=None, version_ids=None, ignore_missing=False):
1453
 
        """See InterVersionedFile.join."""
1454
 
        version_ids = self._get_source_version_ids(version_ids, ignore_missing)
1455
 
        if self.target.versions() == [] and version_ids is None:
1456
 
            self.target._copy_weave_content(self.source)
1457
 
            return
1458
 
        try:
1459
 
            self.target._join(self.source, pb, msg, version_ids, ignore_missing)
1460
 
        except errors.WeaveParentMismatch:
1461
 
            self.target._reweave(self.source, pb, msg)
1462
 
 
1463
 
 
1464
 
InterVersionedFile.register_optimiser(InterWeave)
 
1021
    if '--profile' in sys.argv:
 
1022
        args = sys.argv[:]
 
1023
        args.remove('--profile')
 
1024
        sys.exit(profile_main(args))
 
1025
    else:
 
1026
        sys.exit(main(sys.argv))
 
1027