~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/weave.py

UnfuckĀ upgrade.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2009 Canonical Ltd
2
 
#
 
1
#! /usr/bin/python
 
2
 
 
3
# Copyright (C) 2005 Canonical Ltd
 
4
 
3
5
# This program is free software; you can redistribute it and/or modify
4
6
# it under the terms of the GNU General Public License as published by
5
7
# the Free Software Foundation; either version 2 of the License, or
6
8
# (at your option) any later version.
7
 
#
 
9
 
8
10
# This program is distributed in the hope that it will be useful,
9
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
13
# GNU General Public License for more details.
12
 
#
 
14
 
13
15
# You should have received a copy of the GNU General Public License
14
16
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
18
 
17
19
# Author: Martin Pool <mbp@canonical.com>
18
20
 
25
27
# property.
26
28
 
27
29
# TODO: Nothing here so far assumes the lines are really \n newlines,
28
 
# rather than being split up in some other way.  We could accommodate
 
30
# rather than being split up in some other way.  We could accomodate
29
31
# binaries, perhaps by naively splitting on \n or perhaps using
30
32
# something like a rolling checksum.
31
33
 
59
61
# where the basis and destination are unchanged.
60
62
 
61
63
# FIXME: Sometimes we will be given a parents list for a revision
62
 
# that includes some redundant parents (i.e. already a parent of
63
 
# something in the list.)  We should eliminate them.  This can
 
64
# that includes some redundant parents (i.e. already a parent of 
 
65
# something in the list.)  We should eliminate them.  This can 
64
66
# be done fairly efficiently because the sequence numbers constrain
65
67
# the possible relationships.
66
68
 
67
 
# FIXME: the conflict markers should be *7* characters
68
69
 
69
 
from copy import copy
70
 
from cStringIO import StringIO
71
70
import os
72
 
import time
73
 
import warnings
 
71
import sha
 
72
from difflib import SequenceMatcher
74
73
 
75
 
from bzrlib.lazy_import import lazy_import
76
 
lazy_import(globals(), """
77
 
from bzrlib import tsort
78
 
""")
79
 
from bzrlib import (
80
 
    errors,
81
 
    osutils,
82
 
    progress,
83
 
    )
 
74
from bzrlib.trace import mutter
84
75
from bzrlib.errors import (WeaveError, WeaveFormatError, WeaveParentMismatch,
85
 
        RevisionAlreadyPresent,
86
 
        RevisionNotPresent,
87
 
        UnavailableRepresentation,
88
 
        WeaveRevisionAlreadyPresent,
89
 
        WeaveRevisionNotPresent,
90
 
        )
91
 
from bzrlib.osutils import dirname, sha, sha_strings, split_lines
92
 
import bzrlib.patiencediff
93
 
from bzrlib.revision import NULL_REVISION
94
 
from bzrlib.symbol_versioning import *
95
 
from bzrlib.trace import mutter
96
 
from bzrlib.versionedfile import (
97
 
    AbsentContentFactory,
98
 
    adapter_registry,
99
 
    ContentFactory,
100
 
    sort_groupcompress,
101
 
    VersionedFile,
102
 
    )
103
 
from bzrlib.weavefile import _read_weave_v5, write_weave_v5
104
 
 
105
 
 
106
 
class WeaveContentFactory(ContentFactory):
107
 
    """Content factory for streaming from weaves.
108
 
 
109
 
    :seealso ContentFactory:
110
 
    """
111
 
 
112
 
    def __init__(self, version, weave):
113
 
        """Create a WeaveContentFactory for version from weave."""
114
 
        ContentFactory.__init__(self)
115
 
        self.sha1 = weave.get_sha1s([version])[version]
116
 
        self.key = (version,)
117
 
        parents = weave.get_parent_map([version])[version]
118
 
        self.parents = tuple((parent,) for parent in parents)
119
 
        self.storage_kind = 'fulltext'
120
 
        self._weave = weave
121
 
 
122
 
    def get_bytes_as(self, storage_kind):
123
 
        if storage_kind == 'fulltext':
124
 
            return self._weave.get_text(self.key[-1])
125
 
        elif storage_kind == 'chunked':
126
 
            return self._weave.get_lines(self.key[-1])
127
 
        else:
128
 
            raise UnavailableRepresentation(self.key, storage_kind, 'fulltext')
129
 
 
130
 
 
131
 
class Weave(VersionedFile):
 
76
        WeaveRevisionNotPresent, WeaveRevisionAlreadyPresent)
 
77
import bzrlib.errors as errors
 
78
from bzrlib.tsort import topo_sort
 
79
 
 
80
 
 
81
class Weave(object):
132
82
    """weave - versioned text file storage.
133
 
 
 
83
    
134
84
    A Weave manages versions of line-based text files, keeping track
135
85
    of the originating version for each line.
136
86
 
182
132
 
183
133
    * It doesn't seem very useful to have an active insertion
184
134
      inside an inactive insertion, but it might happen.
185
 
 
 
135
      
186
136
    * Therefore, all instructions are always"considered"; that
187
137
      is passed onto and off the stack.  An outer inactive block
188
138
      doesn't disable an inner block.
218
168
    """
219
169
 
220
170
    __slots__ = ['_weave', '_parents', '_sha1s', '_names', '_name_map',
221
 
                 '_weave_name', '_matcher', '_allow_reserved']
222
 
 
223
 
    def __init__(self, weave_name=None, access_mode='w', matcher=None,
224
 
                 get_scope=None, allow_reserved=False):
225
 
        """Create a weave.
226
 
 
227
 
        :param get_scope: A callable that returns an opaque object to be used
228
 
            for detecting when this weave goes out of scope (should stop
229
 
            answering requests or allowing mutation).
230
 
        """
231
 
        super(Weave, self).__init__()
 
171
                 '_weave_name']
 
172
    
 
173
    def __init__(self, weave_name=None):
232
174
        self._weave = []
233
175
        self._parents = []
234
176
        self._sha1s = []
235
177
        self._names = []
236
178
        self._name_map = {}
237
179
        self._weave_name = weave_name
238
 
        if matcher is None:
239
 
            self._matcher = bzrlib.patiencediff.PatienceSequenceMatcher
240
 
        else:
241
 
            self._matcher = matcher
242
 
        if get_scope is None:
243
 
            get_scope = lambda:None
244
 
        self._get_scope = get_scope
245
 
        self._scope = get_scope()
246
 
        self._access_mode = access_mode
247
 
        self._allow_reserved = allow_reserved
248
180
 
249
181
    def __repr__(self):
250
182
        return "Weave(%r)" % self._weave_name
251
183
 
252
 
    def _check_write_ok(self):
253
 
        """Is the versioned file marked as 'finished' ? Raise if it is."""
254
 
        if self._get_scope() != self._scope:
255
 
            raise errors.OutSideTransaction()
256
 
        if self._access_mode != 'w':
257
 
            raise errors.ReadOnlyObjectDirtiedError(self)
258
184
 
259
185
    def copy(self):
260
186
        """Return a deep copy of self.
261
 
 
 
187
        
262
188
        The copy can be modified without affecting the original weave."""
263
189
        other = Weave()
264
190
        other._weave = self._weave[:]
274
200
            return False
275
201
        return self._parents == other._parents \
276
202
               and self._weave == other._weave \
277
 
               and self._sha1s == other._sha1s
 
203
               and self._sha1s == other._sha1s 
278
204
 
 
205
    
279
206
    def __ne__(self, other):
280
207
        return not self.__eq__(other)
281
208
 
282
 
    def _idx_to_name(self, version):
283
 
        return self._names[version]
284
 
 
285
 
    def _lookup(self, name):
 
209
    def __contains__(self, name):
 
210
        return self._name_map.has_key(name)
 
211
 
 
212
    def maybe_lookup(self, name_or_index):
 
213
        """Convert possible symbolic name to index, or pass through indexes."""
 
214
        if isinstance(name_or_index, (int, long)):
 
215
            return name_or_index
 
216
        else:
 
217
            return self.lookup(name_or_index)
 
218
 
 
219
        
 
220
    def lookup(self, name):
286
221
        """Convert symbolic version name to index."""
287
 
        if not self._allow_reserved:
288
 
            self.check_not_reserved_id(name)
289
222
        try:
290
223
            return self._name_map[name]
291
224
        except KeyError:
292
 
            raise RevisionNotPresent(name, self._weave_name)
 
225
            raise WeaveRevisionNotPresent(name, self)
293
226
 
294
 
    def versions(self):
295
 
        """See VersionedFile.versions."""
 
227
    def names(self):
296
228
        return self._names[:]
297
229
 
298
 
    def has_version(self, version_id):
299
 
        """See VersionedFile.has_version."""
300
 
        return (version_id in self._name_map)
301
 
 
302
 
    __contains__ = has_version
303
 
 
304
 
    def get_record_stream(self, versions, ordering, include_delta_closure):
305
 
        """Get a stream of records for versions.
306
 
 
307
 
        :param versions: The versions to include. Each version is a tuple
308
 
            (version,).
309
 
        :param ordering: Either 'unordered' or 'topological'. A topologically
310
 
            sorted stream has compression parents strictly before their
311
 
            children.
312
 
        :param include_delta_closure: If True then the closure across any
313
 
            compression parents will be included (in the opaque data).
314
 
        :return: An iterator of ContentFactory objects, each of which is only
315
 
            valid until the iterator is advanced.
316
 
        """
317
 
        versions = [version[-1] for version in versions]
318
 
        if ordering == 'topological':
319
 
            parents = self.get_parent_map(versions)
320
 
            new_versions = tsort.topo_sort(parents)
321
 
            new_versions.extend(set(versions).difference(set(parents)))
322
 
            versions = new_versions
323
 
        elif ordering == 'groupcompress':
324
 
            parents = self.get_parent_map(versions)
325
 
            new_versions = sort_groupcompress(parents)
326
 
            new_versions.extend(set(versions).difference(set(parents)))
327
 
            versions = new_versions
328
 
        for version in versions:
329
 
            if version in self:
330
 
                yield WeaveContentFactory(version, self)
331
 
            else:
332
 
                yield AbsentContentFactory((version,))
333
 
 
334
 
    def get_parent_map(self, version_ids):
335
 
        """See VersionedFile.get_parent_map."""
336
 
        result = {}
337
 
        for version_id in version_ids:
338
 
            if version_id == NULL_REVISION:
339
 
                parents = ()
340
 
            else:
341
 
                try:
342
 
                    parents = tuple(
343
 
                        map(self._idx_to_name,
344
 
                            self._parents[self._lookup(version_id)]))
345
 
                except RevisionNotPresent:
346
 
                    continue
347
 
            result[version_id] = parents
348
 
        return result
349
 
 
350
 
    def get_parents_with_ghosts(self, version_id):
351
 
        raise NotImplementedError(self.get_parents_with_ghosts)
352
 
 
353
 
    def insert_record_stream(self, stream):
354
 
        """Insert a record stream into this versioned file.
355
 
 
356
 
        :param stream: A stream of records to insert.
357
 
        :return: None
358
 
        :seealso VersionedFile.get_record_stream:
359
 
        """
360
 
        adapters = {}
361
 
        for record in stream:
362
 
            # Raise an error when a record is missing.
363
 
            if record.storage_kind == 'absent':
364
 
                raise RevisionNotPresent([record.key[0]], self)
365
 
            # adapt to non-tuple interface
366
 
            parents = [parent[0] for parent in record.parents]
367
 
            if (record.storage_kind == 'fulltext'
368
 
                or record.storage_kind == 'chunked'):
369
 
                self.add_lines(record.key[0], parents,
370
 
                    osutils.chunks_to_lines(record.get_bytes_as('chunked')))
371
 
            else:
372
 
                adapter_key = record.storage_kind, 'fulltext'
373
 
                try:
374
 
                    adapter = adapters[adapter_key]
375
 
                except KeyError:
376
 
                    adapter_factory = adapter_registry.get(adapter_key)
377
 
                    adapter = adapter_factory(self)
378
 
                    adapters[adapter_key] = adapter
379
 
                lines = split_lines(adapter.get_bytes(record))
380
 
                try:
381
 
                    self.add_lines(record.key[0], parents, lines)
382
 
                except RevisionAlreadyPresent:
383
 
                    pass
 
230
    def iter_names(self):
 
231
        """Yield a list of all names in this weave."""
 
232
        return iter(self._names)
 
233
 
 
234
    def idx_to_name(self, version):
 
235
        return self._names[version]
384
236
 
385
237
    def _check_repeated_add(self, name, parents, text, sha1):
386
238
        """Check that a duplicated add is OK.
387
239
 
388
240
        If it is, return the (old) index; otherwise raise an exception.
389
241
        """
390
 
        idx = self._lookup(name)
 
242
        idx = self.lookup(name)
391
243
        if sorted(self._parents[idx]) != sorted(parents) \
392
244
            or sha1 != self._sha1s[idx]:
393
 
            raise RevisionAlreadyPresent(name, self._weave_name)
 
245
            raise WeaveRevisionAlreadyPresent(name, self)
394
246
        return idx
395
 
 
396
 
    def _add_lines(self, version_id, parents, lines, parent_texts,
397
 
       left_matching_blocks, nostore_sha, random_id, check_content):
398
 
        """See VersionedFile.add_lines."""
399
 
        idx = self._add(version_id, lines, map(self._lookup, parents),
400
 
            nostore_sha=nostore_sha)
401
 
        return sha_strings(lines), sum(map(len, lines)), idx
402
 
 
403
 
    def _add(self, version_id, lines, parents, sha1=None, nostore_sha=None):
 
247
        
 
248
    def add(self, name, parents, text, sha1=None):
404
249
        """Add a single text on top of the weave.
405
 
 
 
250
  
406
251
        Returns the index number of the newly added version.
407
252
 
408
 
        version_id
 
253
        name
409
254
            Symbolic name for this version.
410
255
            (Typically the revision-id of the revision that added it.)
411
 
            If None, a name will be allocated based on the hash. (sha1:SHAHASH)
412
256
 
413
257
        parents
414
258
            List or set of direct parent version numbers.
415
 
 
416
 
        lines
 
259
            
 
260
        text
417
261
            Sequence of lines to be added in the new version.
418
262
 
419
 
        :param nostore_sha: See VersionedFile.add_lines.
 
263
        sha -- SHA-1 of the file, if known.  This is trusted to be
 
264
            correct if supplied.
420
265
        """
421
 
        self._check_lines_not_unicode(lines)
422
 
        self._check_lines_are_lines(lines)
423
 
        if not sha1:
424
 
            sha1 = sha_strings(lines)
425
 
        if sha1 == nostore_sha:
426
 
            raise errors.ExistingContent
427
 
        if version_id is None:
428
 
            version_id = "sha1:" + sha1
429
 
        if version_id in self._name_map:
430
 
            return self._check_repeated_add(version_id, parents, lines, sha1)
431
 
 
 
266
        from bzrlib.osutils import sha_strings
 
267
 
 
268
        assert isinstance(name, basestring)
 
269
        if sha1 is None:
 
270
            sha1 = sha_strings(text)
 
271
        if name in self._name_map:
 
272
            return self._check_repeated_add(name, parents, text, sha1)
 
273
 
 
274
        parents = map(self.maybe_lookup, parents)
432
275
        self._check_versions(parents)
433
 
        ## self._check_lines(lines)
 
276
        ## self._check_lines(text)
434
277
        new_version = len(self._parents)
435
278
 
 
279
 
436
280
        # if we abort after here the (in-memory) weave will be corrupt because only
437
281
        # some fields are updated
438
 
        # XXX: FIXME implement a succeed-or-fail of the rest of this routine.
439
 
        #      - Robert Collins 20060226
440
282
        self._parents.append(parents[:])
441
283
        self._sha1s.append(sha1)
442
 
        self._names.append(version_id)
443
 
        self._name_map[version_id] = new_version
444
 
 
445
 
 
 
284
        self._names.append(name)
 
285
        self._name_map[name] = new_version
 
286
 
 
287
            
446
288
        if not parents:
447
289
            # special case; adding with no parents revision; can do
448
290
            # this more quickly by just appending unconditionally.
449
291
            # even more specially, if we're adding an empty text we
450
292
            # need do nothing at all.
451
 
            if lines:
 
293
            if text:
452
294
                self._weave.append(('{', new_version))
453
 
                self._weave.extend(lines)
 
295
                self._weave.extend(text)
454
296
                self._weave.append(('}', None))
 
297
        
455
298
            return new_version
456
299
 
457
300
        if len(parents) == 1:
459
302
            if sha1 == self._sha1s[pv]:
460
303
                # special case: same as the single parent
461
304
                return new_version
462
 
 
463
 
 
464
 
        ancestors = self._inclusions(parents)
 
305
            
 
306
 
 
307
        ancestors = self.inclusions(parents)
465
308
 
466
309
        l = self._weave
467
310
 
474
317
 
475
318
        # another small special case: a merge, producing the same text
476
319
        # as auto-merge
477
 
        if lines == basis_lines:
478
 
            return new_version
 
320
        if text == basis_lines:
 
321
            return new_version            
479
322
 
480
 
        # add a sentinel, because we can also match against the final line
 
323
        # add a sentinal, because we can also match against the final line
481
324
        basis_lineno.append(len(self._weave))
482
325
 
483
326
        # XXX: which line of the weave should we really consider
487
330
        #print 'basis_lines:', basis_lines
488
331
        #print 'new_lines:  ', lines
489
332
 
490
 
        s = self._matcher(None, basis_lines, lines)
 
333
        s = SequenceMatcher(None, basis_lines, text)
491
334
 
492
335
        # offset gives the number of lines that have been inserted
493
336
        # into the weave up to the current point; if the original edit instruction
500
343
            #print 'raw match', tag, i1, i2, j1, j2
501
344
            if tag == 'equal':
502
345
                continue
 
346
 
503
347
            i1 = basis_lineno[i1]
504
348
            i2 = basis_lineno[i2]
 
349
 
 
350
            assert 0 <= j1 <= j2 <= len(text)
 
351
 
 
352
            #print tag, i1, i2, j1, j2
 
353
 
505
354
            # the deletion and insertion are handled separately.
506
355
            # first delete the region.
507
356
            if i1 != i2:
514
363
                # i2; we want to insert after this region to make sure
515
364
                # we don't destroy ourselves
516
365
                i = i2 + offset
517
 
                self._weave[i:i] = ([('{', new_version)]
518
 
                                    + lines[j1:j2]
 
366
                self._weave[i:i] = ([('{', new_version)] 
 
367
                                    + text[j1:j2] 
519
368
                                    + [('}', None)])
520
369
                offset += 2 + (j2 - j1)
 
370
 
521
371
        return new_version
522
372
 
523
 
    def _inclusions(self, versions):
 
373
    def add_identical(self, old_rev_id, new_rev_id, parents):
 
374
        """Add an identical text to old_rev_id as new_rev_id."""
 
375
        old_lines = self.get(self.lookup(old_rev_id))
 
376
        self.add(new_rev_id, parents, old_lines)
 
377
 
 
378
    def inclusions(self, versions):
524
379
        """Return set of all ancestors of given version(s)."""
525
 
        if not len(versions):
526
 
            return []
527
380
        i = set(versions)
528
381
        for v in xrange(max(versions), 0, -1):
529
382
            if v in i:
533
386
        ## except IndexError:
534
387
        ##     raise ValueError("version %d not present in weave" % v)
535
388
 
536
 
    def get_ancestry(self, version_ids, topo_sorted=True):
537
 
        """See VersionedFile.get_ancestry."""
538
 
        if isinstance(version_ids, basestring):
539
 
            version_ids = [version_ids]
540
 
        i = self._inclusions([self._lookup(v) for v in version_ids])
541
 
        return [self._idx_to_name(v) for v in i]
 
389
 
 
390
    def parents(self, version):
 
391
        return self._parents[version]
 
392
 
 
393
 
 
394
    def parent_names(self, version):
 
395
        """Return version names for parents of a version."""
 
396
        return map(self.idx_to_name, self._parents[self.lookup(version)])
 
397
 
 
398
 
 
399
    def minimal_parents(self, version):
 
400
        """Find the minimal set of parents for the version."""
 
401
        included = self._parents[version]
 
402
        if not included:
 
403
            return []
 
404
        
 
405
        li = list(included)
 
406
        li.sort(reverse=True)
 
407
 
 
408
        mininc = []
 
409
        gotit = set()
 
410
 
 
411
        for pv in li:
 
412
            if pv not in gotit:
 
413
                mininc.append(pv)
 
414
                gotit.update(self.inclusions(pv))
 
415
 
 
416
        assert mininc[0] >= 0
 
417
        assert mininc[-1] < version
 
418
        return mininc
 
419
 
 
420
 
542
421
 
543
422
    def _check_lines(self, text):
544
423
        if not isinstance(text, list):
548
427
            if not isinstance(l, basestring):
549
428
                raise ValueError("text line should be a string or unicode, not %s"
550
429
                                 % type(l))
551
 
 
 
430
        
552
431
 
553
432
 
554
433
    def _check_versions(self, indexes):
559
438
            except IndexError:
560
439
                raise IndexError("invalid version number %r" % i)
561
440
 
562
 
    def _compatible_parents(self, my_parents, other_parents):
563
 
        """During join check that other_parents are joinable with my_parents.
564
 
 
565
 
        Joinable is defined as 'is a subset of' - supersets may require
566
 
        regeneration of diffs, but subsets do not.
567
 
        """
568
 
        return len(other_parents.difference(my_parents)) == 0
569
 
 
570
 
    def annotate(self, version_id):
571
 
        """Return a list of (version-id, line) tuples for version_id.
 
441
    
 
442
    def annotate(self, name_or_index):
 
443
        return list(self.annotate_iter(name_or_index))
 
444
 
 
445
 
 
446
    def annotate_iter(self, name_or_index):
 
447
        """Yield list of (index-id, line) pairs for the specified version.
572
448
 
573
449
        The index indicates when the line originated in the weave."""
574
 
        incls = [self._lookup(version_id)]
575
 
        return [(self._idx_to_name(origin), text) for origin, lineno, text in
576
 
            self._extract(incls)]
577
 
 
578
 
    def iter_lines_added_or_present_in_versions(self, version_ids=None,
579
 
                                                pb=None):
580
 
        """See VersionedFile.iter_lines_added_or_present_in_versions()."""
581
 
        if version_ids is None:
582
 
            version_ids = self.versions()
583
 
        version_ids = set(version_ids)
584
 
        for lineno, inserted, deletes, line in self._walk_internal(version_ids):
585
 
            if inserted not in version_ids: continue
586
 
            if line[-1] != '\n':
587
 
                yield line + '\n', inserted
588
 
            else:
589
 
                yield line, inserted
590
 
 
591
 
    def _walk_internal(self, version_ids=None):
592
 
        """Helper method for weave actions."""
593
 
 
 
450
        incls = [self.maybe_lookup(name_or_index)]
 
451
        for origin, lineno, text in self._extract(incls):
 
452
            yield origin, text
 
453
 
 
454
    def _walk(self):
 
455
        """Walk the weave.
 
456
 
 
457
        Yields sequence of
 
458
        (lineno, insert, deletes, text)
 
459
        for each literal line.
 
460
        """
 
461
        
594
462
        istack = []
595
463
        dset = set()
596
464
 
597
465
        lineno = 0         # line of weave, 0-based
598
466
 
599
467
        for l in self._weave:
600
 
            if l.__class__ == tuple:
 
468
            if isinstance(l, tuple):
601
469
                c, v = l
602
470
                isactive = None
603
471
                if c == '{':
604
 
                    istack.append(self._names[v])
 
472
                    istack.append(v)
605
473
                elif c == '}':
606
474
                    istack.pop()
607
475
                elif c == '[':
608
 
                    dset.add(self._names[v])
 
476
                    assert v not in dset
 
477
                    dset.add(v)
609
478
                elif c == ']':
610
 
                    dset.remove(self._names[v])
 
479
                    dset.remove(v)
611
480
                else:
612
481
                    raise WeaveFormatError('unexpected instruction %r' % v)
613
482
            else:
614
 
                yield lineno, istack[-1], frozenset(dset), l
 
483
                assert isinstance(l, basestring)
 
484
                assert istack
 
485
                yield lineno, istack[-1], dset, l
615
486
            lineno += 1
616
487
 
617
488
        if istack:
621
492
            raise WeaveFormatError("unclosed deletion blocks at end of weave: %s"
622
493
                                   % dset)
623
494
 
624
 
    def plan_merge(self, ver_a, ver_b):
625
 
        """Return pseudo-annotation indicating how the two versions merge.
626
 
 
627
 
        This is computed between versions a and b and their common
628
 
        base.
629
 
 
630
 
        Weave lines present in none of them are skipped entirely.
631
 
        """
632
 
        inc_a = set(self.get_ancestry([ver_a]))
633
 
        inc_b = set(self.get_ancestry([ver_b]))
634
 
        inc_c = inc_a & inc_b
635
 
 
636
 
        for lineno, insert, deleteset, line in self._walk_internal([ver_a, ver_b]):
637
 
            if deleteset & inc_c:
638
 
                # killed in parent; can't be in either a or b
639
 
                # not relevant to our work
640
 
                yield 'killed-base', line
641
 
            elif insert in inc_c:
642
 
                # was inserted in base
643
 
                killed_a = bool(deleteset & inc_a)
644
 
                killed_b = bool(deleteset & inc_b)
645
 
                if killed_a and killed_b:
646
 
                    yield 'killed-both', line
647
 
                elif killed_a:
648
 
                    yield 'killed-a', line
649
 
                elif killed_b:
650
 
                    yield 'killed-b', line
651
 
                else:
652
 
                    yield 'unchanged', line
653
 
            elif insert in inc_a:
654
 
                if deleteset & inc_a:
655
 
                    yield 'ghost-a', line
656
 
                else:
657
 
                    # new in A; not in B
658
 
                    yield 'new-a', line
659
 
            elif insert in inc_b:
660
 
                if deleteset & inc_b:
661
 
                    yield 'ghost-b', line
662
 
                else:
663
 
                    yield 'new-b', line
664
 
            else:
665
 
                # not in either revision
666
 
                yield 'irrelevant', line
667
 
 
668
495
    def _extract(self, versions):
669
496
        """Yield annotation of lines in included set.
670
497
 
677
504
        for i in versions:
678
505
            if not isinstance(i, int):
679
506
                raise ValueError(i)
680
 
 
681
 
        included = self._inclusions(versions)
 
507
            
 
508
        included = self.inclusions(versions)
682
509
 
683
510
        istack = []
684
 
        iset = set()
685
511
        dset = set()
686
512
 
687
513
        lineno = 0         # line of weave, 0-based
692
518
 
693
519
        WFE = WeaveFormatError
694
520
 
695
 
        # wow.
696
 
        #  449       0   4474.6820   2356.5590   bzrlib.weave:556(_extract)
697
 
        #  +285282   0   1676.8040   1676.8040   +<isinstance>
698
 
        # 1.6 seconds in 'isinstance'.
699
 
        # changing the first isinstance:
700
 
        #  449       0   2814.2660   1577.1760   bzrlib.weave:556(_extract)
701
 
        #  +140414   0    762.8050    762.8050   +<isinstance>
702
 
        # note that the inline time actually dropped (less function calls)
703
 
        # and total processing time was halved.
704
 
        # we're still spending ~1/4 of the method in isinstance though.
705
 
        # so lets hard code the acceptable string classes we expect:
706
 
        #  449       0   1202.9420    786.2930   bzrlib.weave:556(_extract)
707
 
        # +71352     0    377.5560    377.5560   +<method 'append' of 'list'
708
 
        #                                          objects>
709
 
        # yay, down to ~1/4 the initial extract time, and our inline time
710
 
        # has shrunk again, with isinstance no longer dominating.
711
 
        # tweaking the stack inclusion test to use a set gives:
712
 
        #  449       0   1122.8030    713.0080   bzrlib.weave:556(_extract)
713
 
        # +71352     0    354.9980    354.9980   +<method 'append' of 'list'
714
 
        #                                          objects>
715
 
        # - a 5% win, or possibly just noise. However with large istacks that
716
 
        # 'in' test could dominate, so I'm leaving this change in place -
717
 
        # when its fast enough to consider profiling big datasets we can review.
718
 
 
719
 
 
720
 
 
721
 
 
722
521
        for l in self._weave:
723
 
            if l.__class__ == tuple:
 
522
            if isinstance(l, tuple):
724
523
                c, v = l
725
524
                isactive = None
726
525
                if c == '{':
 
526
                    assert v not in istack
727
527
                    istack.append(v)
728
 
                    iset.add(v)
729
528
                elif c == '}':
730
 
                    iset.remove(istack.pop())
 
529
                    istack.pop()
731
530
                elif c == '[':
732
531
                    if v in included:
 
532
                        assert v not in dset
733
533
                        dset.add(v)
734
 
                elif c == ']':
 
534
                else:
 
535
                    assert c == ']'
735
536
                    if v in included:
 
537
                        assert v in dset
736
538
                        dset.remove(v)
737
 
                else:
738
 
                    raise AssertionError()
739
539
            else:
 
540
                assert isinstance(l, basestring)
740
541
                if isactive is None:
741
542
                    isactive = (not dset) and istack and (istack[-1] in included)
742
543
                if isactive:
750
551
                                   % dset)
751
552
        return result
752
553
 
753
 
    def _maybe_lookup(self, name_or_index):
754
 
        """Convert possible symbolic name to index, or pass through indexes.
755
 
 
756
 
        NOT FOR PUBLIC USE.
 
554
 
 
555
    def get_iter(self, name_or_index):
 
556
        """Yield lines for the specified version."""
 
557
        incls = [self.maybe_lookup(name_or_index)]
 
558
        if len(incls) == 1:
 
559
            index = incls[0]
 
560
            cur_sha = sha.new()
 
561
        else:
 
562
            # We don't have sha1 sums for multiple entries
 
563
            cur_sha = None
 
564
        for origin, lineno, line in self._extract(incls):
 
565
            if cur_sha:
 
566
                cur_sha.update(line)
 
567
            yield line
 
568
        if cur_sha:
 
569
            expected_sha1 = self._sha1s[index]
 
570
            measured_sha1 = cur_sha.hexdigest() 
 
571
            if measured_sha1 != expected_sha1:
 
572
                raise errors.WeaveInvalidChecksum(
 
573
                        'file %s, revision %s, expected: %s, measured %s' 
 
574
                        % (self._weave_name, self._names[index],
 
575
                           expected_sha1, measured_sha1))
 
576
 
 
577
 
 
578
    def get_text(self, name_or_index):
 
579
        return ''.join(self.get_iter(name_or_index))
 
580
        assert isinstance(version, int)
 
581
 
 
582
 
 
583
    def get_lines(self, name_or_index):
 
584
        return list(self.get_iter(name_or_index))
 
585
 
 
586
 
 
587
    get = get_lines
 
588
 
 
589
 
 
590
    def get_sha1(self, name):
 
591
        """Get the stored sha1 sum for the given revision.
 
592
        
 
593
        :param name: The name of the version to lookup
757
594
        """
758
 
        if isinstance(name_or_index, (int, long)):
759
 
            return name_or_index
760
 
        else:
761
 
            return self._lookup(name_or_index)
762
 
 
763
 
    def get_lines(self, version_id):
764
 
        """See VersionedFile.get_lines()."""
765
 
        int_index = self._maybe_lookup(version_id)
766
 
        result = [line for (origin, lineno, line) in self._extract([int_index])]
767
 
        expected_sha1 = self._sha1s[int_index]
768
 
        measured_sha1 = sha_strings(result)
769
 
        if measured_sha1 != expected_sha1:
770
 
            raise errors.WeaveInvalidChecksum(
771
 
                    'file %s, revision %s, expected: %s, measured %s'
772
 
                    % (self._weave_name, version_id,
773
 
                       expected_sha1, measured_sha1))
774
 
        return result
775
 
 
776
 
    def get_sha1s(self, version_ids):
777
 
        """See VersionedFile.get_sha1s()."""
778
 
        result = {}
779
 
        for v in version_ids:
780
 
            result[v] = self._sha1s[self._lookup(v)]
781
 
        return result
782
 
 
783
 
    def num_versions(self):
784
 
        """How many versions are in this weave?"""
 
595
        return self._sha1s[self.lookup(name)]
 
596
 
 
597
    def mash_iter(self, included):
 
598
        """Return composed version of multiple included versions."""
 
599
        included = map(self.maybe_lookup, included)
 
600
        for origin, lineno, text in self._extract(included):
 
601
            yield text
 
602
 
 
603
 
 
604
    def dump(self, to_file):
 
605
        from pprint import pprint
 
606
        print >>to_file, "Weave._weave = ",
 
607
        pprint(self._weave, to_file)
 
608
        print >>to_file, "Weave._parents = ",
 
609
        pprint(self._parents, to_file)
 
610
 
 
611
 
 
612
 
 
613
    def numversions(self):
785
614
        l = len(self._parents)
 
615
        assert l == len(self._sha1s)
786
616
        return l
787
617
 
788
 
    __len__ = num_versions
 
618
 
 
619
    def __len__(self):
 
620
        return self.numversions()
789
621
 
790
622
    def check(self, progress_bar=None):
791
 
        # TODO evaluate performance hit of using string sets in this routine.
792
 
        # TODO: check no circular inclusions
793
 
        # TODO: create a nested progress bar
794
 
        for version in range(self.num_versions()):
 
623
        # check no circular inclusions
 
624
        for version in range(self.numversions()):
795
625
            inclusions = list(self._parents[version])
796
626
            if inclusions:
797
627
                inclusions.sort()
800
630
                                           % (inclusions[-1], version))
801
631
 
802
632
        # try extracting all versions; parallel extraction is used
803
 
        nv = self.num_versions()
804
 
        sha1s = {}
805
 
        texts = {}
806
 
        inclusions = {}
 
633
        nv = self.numversions()
 
634
        sha1s = [sha.new() for i in range(nv)]
 
635
        texts = [[] for i in range(nv)]
 
636
        inclusions = []
807
637
        for i in range(nv):
808
638
            # For creating the ancestry, IntSet is much faster (3.7s vs 0.17s)
809
639
            # The problem is that set membership is much more expensive
810
 
            name = self._idx_to_name(i)
811
 
            sha1s[name] = sha()
812
 
            texts[name] = []
813
 
            new_inc = set([name])
 
640
            new_inc = set([i])
814
641
            for p in self._parents[i]:
815
 
                new_inc.update(inclusions[self._idx_to_name(p)])
 
642
                new_inc.update(inclusions[p])
816
643
 
817
 
            if set(new_inc) != set(self.get_ancestry(name)):
818
 
                raise AssertionError(
819
 
                    'failed %s != %s'
820
 
                    % (set(new_inc), set(self.get_ancestry(name))))
821
 
            inclusions[name] = new_inc
 
644
            #assert set(new_inc) == self.inclusions([i]), 'failed %s != %s' % (new_inc, self.inclusions([i]))
 
645
            inclusions.append(new_inc)
822
646
 
823
647
        nlines = len(self._weave)
824
648
 
828
652
            update_text = 'checking %s' % (short_name,)
829
653
            update_text = update_text[:25]
830
654
 
831
 
        for lineno, insert, deleteset, line in self._walk_internal():
 
655
        for lineno, insert, deleteset, line in self._walk():
832
656
            if progress_bar:
833
657
                progress_bar.update(update_text, lineno, nlines)
834
658
 
835
 
            for name, name_inclusions in inclusions.items():
 
659
            for j, j_inc in enumerate(inclusions):
836
660
                # The active inclusion must be an ancestor,
837
661
                # and no ancestors must have deleted this line,
838
662
                # because we don't support resurrection.
839
 
                if (insert in name_inclusions) and not (deleteset & name_inclusions):
840
 
                    sha1s[name].update(line)
 
663
                if (insert in j_inc) and not (deleteset & j_inc):
 
664
                    sha1s[j].update(line)
841
665
 
842
 
        for i in range(nv):
843
 
            version = self._idx_to_name(i)
 
666
        for version in range(nv):
844
667
            hd = sha1s[version].hexdigest()
845
 
            expected = self._sha1s[i]
 
668
            expected = self._sha1s[version]
846
669
            if hd != expected:
847
670
                raise errors.WeaveInvalidChecksum(
848
671
                        "mismatched sha1 for version %s: "
849
672
                        "got %s, expected %s"
850
 
                        % (version, hd, expected))
 
673
                        % (self._names[version], hd, expected))
851
674
 
852
675
        # TODO: check insertions are properly nested, that there are
853
676
        # no lines outside of insertion blocks, that deletions are
854
677
        # properly paired, etc.
855
678
 
 
679
    def _delta(self, included, lines):
 
680
        """Return changes from basis to new revision.
 
681
 
 
682
        The old text for comparison is the union of included revisions.
 
683
 
 
684
        This is used in inserting a new text.
 
685
 
 
686
        Delta is returned as a sequence of
 
687
        (weave1, weave2, newlines).
 
688
 
 
689
        This indicates that weave1:weave2 of the old weave should be
 
690
        replaced by the sequence of lines in newlines.  Note that
 
691
        these line numbers are positions in the total weave and don't
 
692
        correspond to the lines in any extracted version, or even the
 
693
        extracted union of included versions.
 
694
 
 
695
        If line1=line2, this is a pure insert; if newlines=[] this is a
 
696
        pure delete.  (Similar to difflib.)
 
697
        """
 
698
        raise NotImplementedError()
 
699
 
 
700
            
 
701
    def plan_merge(self, ver_a, ver_b):
 
702
        """Return pseudo-annotation indicating how the two versions merge.
 
703
 
 
704
        This is computed between versions a and b and their common
 
705
        base.
 
706
 
 
707
        Weave lines present in none of them are skipped entirely.
 
708
        """
 
709
        inc_a = self.inclusions([ver_a])
 
710
        inc_b = self.inclusions([ver_b])
 
711
        inc_c = inc_a & inc_b
 
712
 
 
713
        for lineno, insert, deleteset, line in self._walk():
 
714
            if deleteset & inc_c:
 
715
                # killed in parent; can't be in either a or b
 
716
                # not relevant to our work
 
717
                yield 'killed-base', line
 
718
            elif insert in inc_c:
 
719
                # was inserted in base
 
720
                killed_a = bool(deleteset & inc_a)
 
721
                killed_b = bool(deleteset & inc_b)
 
722
                if killed_a and killed_b:
 
723
                    yield 'killed-both', line
 
724
                elif killed_a:
 
725
                    yield 'killed-a', line
 
726
                elif killed_b:
 
727
                    yield 'killed-b', line
 
728
                else:
 
729
                    yield 'unchanged', line
 
730
            elif insert in inc_a:
 
731
                if deleteset & inc_a:
 
732
                    yield 'ghost-a', line
 
733
                else:
 
734
                    # new in A; not in B
 
735
                    yield 'new-a', line
 
736
            elif insert in inc_b:
 
737
                if deleteset & inc_b:
 
738
                    yield 'ghost-b', line
 
739
                else:
 
740
                    yield 'new-b', line
 
741
            else:
 
742
                # not in either revision
 
743
                yield 'irrelevant', line
 
744
 
 
745
        yield 'unchanged', ''           # terminator
 
746
 
 
747
 
 
748
 
 
749
    def weave_merge(self, plan):
 
750
        lines_a = []
 
751
        lines_b = []
 
752
        ch_a = ch_b = False
 
753
        # TODO: Return a structured form of the conflicts (e.g. 2-tuples for
 
754
        # conflicted regions), rather than just inserting the markers.
 
755
        # 
 
756
        # TODO: Show some version information (e.g. author, date) on 
 
757
        # conflicted regions.
 
758
        for state, line in plan:
 
759
            if state == 'unchanged' or state == 'killed-both':
 
760
                # resync and flush queued conflicts changes if any
 
761
                if not lines_a and not lines_b:
 
762
                    pass
 
763
                elif ch_a and not ch_b:
 
764
                    # one-sided change:                    
 
765
                    for l in lines_a: yield l
 
766
                elif ch_b and not ch_a:
 
767
                    for l in lines_b: yield l
 
768
                elif lines_a == lines_b:
 
769
                    for l in lines_a: yield l
 
770
                else:
 
771
                    yield '<<<<<<<\n'
 
772
                    for l in lines_a: yield l
 
773
                    yield '=======\n'
 
774
                    for l in lines_b: yield l
 
775
                    yield '>>>>>>>\n'
 
776
 
 
777
                del lines_a[:]
 
778
                del lines_b[:]
 
779
                ch_a = ch_b = False
 
780
                
 
781
            if state == 'unchanged':
 
782
                if line:
 
783
                    yield line
 
784
            elif state == 'killed-a':
 
785
                ch_a = True
 
786
                lines_b.append(line)
 
787
            elif state == 'killed-b':
 
788
                ch_b = True
 
789
                lines_a.append(line)
 
790
            elif state == 'new-a':
 
791
                ch_a = True
 
792
                lines_a.append(line)
 
793
            elif state == 'new-b':
 
794
                ch_b = True
 
795
                lines_b.append(line)
 
796
            else:
 
797
                assert state in ('irrelevant', 'ghost-a', 'ghost-b', 'killed-base',
 
798
                                 'killed-both'), \
 
799
                       state
 
800
 
 
801
 
 
802
    def join(self, other):
 
803
        import sys, time
 
804
        """Integrate versions from other into this weave.
 
805
 
 
806
        The resulting weave contains all the history of both weaves; 
 
807
        any version you could retrieve from either self or other can be 
 
808
        retrieved from self after this call.
 
809
 
 
810
        It is illegal for the two weaves to contain different values 
 
811
        or different parents for any version.  See also reweave().
 
812
        """
 
813
        if other.numversions() == 0:
 
814
            return          # nothing to update, easy
 
815
        # two loops so that we do not change ourselves before verifying it
 
816
        # will be ok
 
817
        # work through in index order to make sure we get all dependencies
 
818
        for other_idx, name in enumerate(other._names):
 
819
            self._check_version_consistent(other, other_idx, name)
 
820
 
 
821
        merged = 0
 
822
        processed = 0
 
823
        time0 = time.time( )
 
824
        for other_idx, name in enumerate(other._names):
 
825
            # TODO: If all the parents of the other version are already
 
826
            # present then we can avoid some work by just taking the delta
 
827
            # and adjusting the offsets.
 
828
            new_parents = self._imported_parents(other, other_idx)
 
829
            sha1 = other._sha1s[other_idx]
 
830
 
 
831
            processed += 1
 
832
           
 
833
            if name in self._names:
 
834
                idx = self.lookup(name)
 
835
                n1 = map(other.idx_to_name, other._parents[other_idx] )
 
836
                n2 = map(self.idx_to_name, self._parents[other_idx] )
 
837
                if sha1 ==  self._sha1s[idx] and n1 == n2:
 
838
                        continue
 
839
 
 
840
            merged += 1
 
841
            lines = other.get_lines(other_idx)
 
842
            self.add(name, new_parents, lines, sha1)
 
843
 
 
844
        mutter("merged = %d, processed = %d, file_id=%s; deltat=%d"%(
 
845
                merged,processed,self._weave_name, time.time( )-time0))
 
846
 
 
847
 
 
848
 
 
849
 
856
850
    def _imported_parents(self, other, other_idx):
857
851
        """Return list of parents in self corresponding to indexes in other."""
858
852
        new_parents = []
859
853
        for parent_idx in other._parents[other_idx]:
860
854
            parent_name = other._names[parent_idx]
861
 
            if parent_name not in self._name_map:
 
855
            if parent_name not in self._names:
862
856
                # should not be possible
863
 
                raise WeaveError("missing parent {%s} of {%s} in %r"
 
857
                raise WeaveError("missing parent {%s} of {%s} in %r" 
864
858
                                 % (parent_name, other._name_map[other_idx], self))
865
859
            new_parents.append(self._name_map[parent_name])
866
860
        return new_parents
873
867
         * the same text
874
868
         * the same direct parents (by name, not index, and disregarding
875
869
           order)
876
 
 
 
870
        
877
871
        If present & correct return True;
878
 
        if not present in self return False;
 
872
        if not present in self return False; 
879
873
        if inconsistent raise error."""
880
874
        this_idx = self._name_map.get(name, -1)
881
875
        if this_idx != -1:
882
876
            if self._sha1s[this_idx] != other._sha1s[other_idx]:
883
 
                raise errors.WeaveTextDiffers(name, self, other)
 
877
                raise WeaveError("inconsistent texts for version {%s} "
 
878
                                 "when joining weaves"
 
879
                                 % (name))
884
880
            self_parents = self._parents[this_idx]
885
881
            other_parents = other._parents[other_idx]
886
 
            n1 = set([self._names[i] for i in self_parents])
887
 
            n2 = set([other._names[i] for i in other_parents])
888
 
            if not self._compatible_parents(n1, n2):
 
882
            n1 = [self._names[i] for i in self_parents]
 
883
            n2 = [other._names[i] for i in other_parents]
 
884
            n1.sort()
 
885
            n2.sort()
 
886
            if n1 != n2:
889
887
                raise WeaveParentMismatch("inconsistent parents "
890
888
                    "for version {%s}: %s vs %s" % (name, n1, n2))
891
889
            else:
893
891
        else:
894
892
            return False
895
893
 
896
 
    def _reweave(self, other, pb, msg):
897
 
        """Reweave self with other - internal helper for join().
898
 
 
899
 
        :param other: The other weave to merge
900
 
        :param pb: An optional progress bar, indicating how far done we are
901
 
        :param msg: An optional message for the progress
902
 
        """
903
 
        new_weave = _reweave(self, other, pb=pb, msg=msg)
904
 
        self._copy_weave_content(new_weave)
905
 
 
906
 
    def _copy_weave_content(self, otherweave):
907
 
        """adsorb the content from otherweave."""
 
894
    def reweave(self, other):
 
895
        """Reweave self with other."""
 
896
        new_weave = reweave(self, other)
908
897
        for attr in self.__slots__:
909
 
            if attr != '_weave_name':
910
 
                setattr(self, attr, copy(getattr(otherweave, attr)))
911
 
 
912
 
 
913
 
class WeaveFile(Weave):
914
 
    """A WeaveFile represents a Weave on disk and writes on change."""
915
 
 
916
 
    WEAVE_SUFFIX = '.weave'
917
 
 
918
 
    def __init__(self, name, transport, filemode=None, create=False, access_mode='w', get_scope=None):
919
 
        """Create a WeaveFile.
920
 
 
921
 
        :param create: If not True, only open an existing knit.
922
 
        """
923
 
        super(WeaveFile, self).__init__(name, access_mode, get_scope=get_scope,
924
 
            allow_reserved=False)
925
 
        self._transport = transport
926
 
        self._filemode = filemode
927
 
        try:
928
 
            _read_weave_v5(self._transport.get(name + WeaveFile.WEAVE_SUFFIX), self)
929
 
        except errors.NoSuchFile:
930
 
            if not create:
931
 
                raise
932
 
            # new file, save it
933
 
            self._save()
934
 
 
935
 
    def _add_lines(self, version_id, parents, lines, parent_texts,
936
 
        left_matching_blocks, nostore_sha, random_id, check_content):
937
 
        """Add a version and save the weave."""
938
 
        self.check_not_reserved_id(version_id)
939
 
        result = super(WeaveFile, self)._add_lines(version_id, parents, lines,
940
 
            parent_texts, left_matching_blocks, nostore_sha, random_id,
941
 
            check_content)
942
 
        self._save()
943
 
        return result
944
 
 
945
 
    def copy_to(self, name, transport):
946
 
        """See VersionedFile.copy_to()."""
947
 
        # as we are all in memory always, just serialise to the new place.
948
 
        sio = StringIO()
949
 
        write_weave_v5(self, sio)
950
 
        sio.seek(0)
951
 
        transport.put_file(name + WeaveFile.WEAVE_SUFFIX, sio, self._filemode)
952
 
 
953
 
    def _save(self):
954
 
        """Save the weave."""
955
 
        self._check_write_ok()
956
 
        sio = StringIO()
957
 
        write_weave_v5(self, sio)
958
 
        sio.seek(0)
959
 
        bytes = sio.getvalue()
960
 
        path = self._weave_name + WeaveFile.WEAVE_SUFFIX
961
 
        try:
962
 
            self._transport.put_bytes(path, bytes, self._filemode)
963
 
        except errors.NoSuchFile:
964
 
            self._transport.mkdir(dirname(path))
965
 
            self._transport.put_bytes(path, bytes, self._filemode)
966
 
 
967
 
    @staticmethod
968
 
    def get_suffixes():
969
 
        """See VersionedFile.get_suffixes()."""
970
 
        return [WeaveFile.WEAVE_SUFFIX]
971
 
 
972
 
    def insert_record_stream(self, stream):
973
 
        super(WeaveFile, self).insert_record_stream(stream)
974
 
        self._save()
975
 
 
976
 
 
977
 
def _reweave(wa, wb, pb=None, msg=None):
 
898
            setattr(self, attr, getattr(new_weave, attr))
 
899
 
 
900
 
 
901
def reweave(wa, wb):
978
902
    """Combine two weaves and return the result.
979
903
 
980
 
    This works even if a revision R has different parents in
 
904
    This works even if a revision R has different parents in 
981
905
    wa and wb.  In the resulting weave all the parents are given.
982
906
 
983
 
    This is done by just building up a new weave, maintaining ordering
 
907
    This is done by just building up a new weave, maintaining ordering 
984
908
    of the versions in the two inputs.  More efficient approaches
985
 
    might be possible but it should only be necessary to do
986
 
    this operation rarely, when a new previously ghost version is
 
909
    might be possible but it should only be necessary to do 
 
910
    this operation rarely, when a new previously ghost version is 
987
911
    inserted.
988
 
 
989
 
    :param pb: An optional progress bar, indicating how far done we are
990
 
    :param msg: An optional message for the progress
991
912
    """
992
913
    wr = Weave()
993
914
    ia = ib = 0
994
 
    queue_a = range(wa.num_versions())
995
 
    queue_b = range(wb.num_versions())
 
915
    queue_a = range(wa.numversions())
 
916
    queue_b = range(wb.numversions())
996
917
    # first determine combined parents of all versions
997
918
    # map from version name -> all parent names
998
919
    combined_parents = _reweave_parent_graphs(wa, wb)
999
920
    mutter("combined parents: %r", combined_parents)
1000
 
    order = tsort.topo_sort(combined_parents.iteritems())
 
921
    order = topo_sort(combined_parents.iteritems())
1001
922
    mutter("order to reweave: %r", order)
1002
 
 
1003
 
    if pb and not msg:
1004
 
        msg = 'reweave'
1005
 
 
1006
 
    for idx, name in enumerate(order):
1007
 
        if pb:
1008
 
            pb.update(msg, idx, len(order))
 
923
    for name in order:
1009
924
        if name in wa._name_map:
1010
925
            lines = wa.get_lines(name)
1011
926
            if name in wb._name_map:
1012
 
                lines_b = wb.get_lines(name)
1013
 
                if lines != lines_b:
1014
 
                    mutter('Weaves differ on content. rev_id {%s}', name)
1015
 
                    mutter('weaves: %s, %s', wa._weave_name, wb._weave_name)
1016
 
                    import difflib
1017
 
                    lines = list(difflib.unified_diff(lines, lines_b,
1018
 
                            wa._weave_name, wb._weave_name))
1019
 
                    mutter('lines:\n%s', ''.join(lines))
1020
 
                    raise errors.WeaveTextDiffers(name, wa, wb)
 
927
                assert lines == wb.get_lines(name)
1021
928
        else:
1022
929
            lines = wb.get_lines(name)
1023
 
        wr._add(name, lines, [wr._lookup(i) for i in combined_parents[name]])
 
930
        wr.add(name, combined_parents[name], lines)
1024
931
    return wr
1025
932
 
1026
933
 
1027
934
def _reweave_parent_graphs(wa, wb):
1028
935
    """Return combined parent ancestry for two weaves.
1029
 
 
 
936
    
1030
937
    Returned as a list of (version_name, set(parent_names))"""
1031
938
    combined = {}
1032
939
    for weave in [wa, wb]:
1033
940
        for idx, name in enumerate(weave._names):
1034
941
            p = combined.setdefault(name, set())
1035
 
            p.update(map(weave._idx_to_name, weave._parents[idx]))
 
942
            p.update(map(weave.idx_to_name, weave._parents[idx]))
1036
943
    return combined
 
944
 
 
945
 
 
946
def weave_toc(w):
 
947
    """Show the weave's table-of-contents"""
 
948
    print '%6s %50s %10s %10s' % ('ver', 'name', 'sha1', 'parents')
 
949
    for i in (6, 50, 10, 10):
 
950
        print '-' * i,
 
951
    print
 
952
    for i in range(w.numversions()):
 
953
        sha1 = w._sha1s[i]
 
954
        name = w._names[i]
 
955
        parent_str = ' '.join(map(str, w._parents[i]))
 
956
        print '%6d %-50.50s %10.10s %s' % (i, name, sha1, parent_str)
 
957
 
 
958
 
 
959
 
 
960
def weave_stats(weave_file, pb):
 
961
    from bzrlib.weavefile import read_weave
 
962
 
 
963
    wf = file(weave_file, 'rb')
 
964
    w = read_weave(wf)
 
965
    # FIXME: doesn't work on pipes
 
966
    weave_size = wf.tell()
 
967
 
 
968
    total = 0
 
969
    vers = len(w)
 
970
    for i in range(vers):
 
971
        pb.update('checking sizes', i, vers)
 
972
        for origin, lineno, line in w._extract([i]):
 
973
            total += len(line)
 
974
 
 
975
    pb.clear()
 
976
 
 
977
    print 'versions          %9d' % vers
 
978
    print 'weave file        %9d bytes' % weave_size
 
979
    print 'total contents    %9d bytes' % total
 
980
    print 'compression ratio %9.2fx' % (float(total) / float(weave_size))
 
981
    if vers:
 
982
        avg = total/vers
 
983
        print 'average size      %9d bytes' % avg
 
984
        print 'relative size     %9.2fx' % (float(weave_size) / float(avg))
 
985
 
 
986
 
 
987
def usage():
 
988
    print """bzr weave tool
 
989
 
 
990
Experimental tool for weave algorithm.
 
991
 
 
992
usage:
 
993
    weave init WEAVEFILE
 
994
        Create an empty weave file
 
995
    weave get WEAVEFILE VERSION
 
996
        Write out specified version.
 
997
    weave check WEAVEFILE
 
998
        Check consistency of all versions.
 
999
    weave toc WEAVEFILE
 
1000
        Display table of contents.
 
1001
    weave add WEAVEFILE NAME [BASE...] < NEWTEXT
 
1002
        Add NEWTEXT, with specified parent versions.
 
1003
    weave annotate WEAVEFILE VERSION
 
1004
        Display origin of each line.
 
1005
    weave mash WEAVEFILE VERSION...
 
1006
        Display composite of all selected versions.
 
1007
    weave merge WEAVEFILE VERSION1 VERSION2 > OUT
 
1008
        Auto-merge two versions and display conflicts.
 
1009
    weave diff WEAVEFILE VERSION1 VERSION2 
 
1010
        Show differences between two versions.
 
1011
 
 
1012
example:
 
1013
 
 
1014
    % weave init foo.weave
 
1015
    % vi foo.txt
 
1016
    % weave add foo.weave ver0 < foo.txt
 
1017
    added version 0
 
1018
 
 
1019
    (create updated version)
 
1020
    % vi foo.txt
 
1021
    % weave get foo.weave 0 | diff -u - foo.txt
 
1022
    % weave add foo.weave ver1 0 < foo.txt
 
1023
    added version 1
 
1024
 
 
1025
    % weave get foo.weave 0 > foo.txt       (create forked version)
 
1026
    % vi foo.txt
 
1027
    % weave add foo.weave ver2 0 < foo.txt
 
1028
    added version 2
 
1029
 
 
1030
    % weave merge foo.weave 1 2 > foo.txt   (merge them)
 
1031
    % vi foo.txt                            (resolve conflicts)
 
1032
    % weave add foo.weave merged 1 2 < foo.txt     (commit merged version)     
 
1033
    
 
1034
"""
 
1035
    
 
1036
 
 
1037
 
 
1038
def main(argv):
 
1039
    import sys
 
1040
    import os
 
1041
    try:
 
1042
        import bzrlib
 
1043
    except ImportError:
 
1044
        # in case we're run directly from the subdirectory
 
1045
        sys.path.append('..')
 
1046
        import bzrlib
 
1047
    from bzrlib.weavefile import write_weave, read_weave
 
1048
    from bzrlib.progress import ProgressBar
 
1049
 
 
1050
    try:
 
1051
        import psyco
 
1052
        psyco.full()
 
1053
    except ImportError:
 
1054
        pass
 
1055
 
 
1056
    if len(argv) < 2:
 
1057
        usage()
 
1058
        return 0
 
1059
 
 
1060
    cmd = argv[1]
 
1061
 
 
1062
    def readit():
 
1063
        return read_weave(file(argv[2], 'rb'))
 
1064
    
 
1065
    if cmd == 'help':
 
1066
        usage()
 
1067
    elif cmd == 'add':
 
1068
        w = readit()
 
1069
        # at the moment, based on everything in the file
 
1070
        name = argv[3]
 
1071
        parents = map(int, argv[4:])
 
1072
        lines = sys.stdin.readlines()
 
1073
        ver = w.add(name, parents, lines)
 
1074
        write_weave(w, file(argv[2], 'wb'))
 
1075
        print 'added version %r %d' % (name, ver)
 
1076
    elif cmd == 'init':
 
1077
        fn = argv[2]
 
1078
        if os.path.exists(fn):
 
1079
            raise IOError("file exists")
 
1080
        w = Weave()
 
1081
        write_weave(w, file(fn, 'wb'))
 
1082
    elif cmd == 'get': # get one version
 
1083
        w = readit()
 
1084
        sys.stdout.writelines(w.get_iter(int(argv[3])))
 
1085
        
 
1086
    elif cmd == 'mash': # get composite
 
1087
        w = readit()
 
1088
        sys.stdout.writelines(w.mash_iter(map(int, argv[3:])))
 
1089
 
 
1090
    elif cmd == 'diff':
 
1091
        from difflib import unified_diff
 
1092
        w = readit()
 
1093
        fn = argv[2]
 
1094
        v1, v2 = map(int, argv[3:5])
 
1095
        lines1 = w.get(v1)
 
1096
        lines2 = w.get(v2)
 
1097
        diff_gen = unified_diff(lines1, lines2,
 
1098
                                '%s version %d' % (fn, v1),
 
1099
                                '%s version %d' % (fn, v2))
 
1100
        sys.stdout.writelines(diff_gen)
 
1101
            
 
1102
    elif cmd == 'annotate':
 
1103
        w = readit()
 
1104
        # newline is added to all lines regardless; too hard to get
 
1105
        # reasonable formatting otherwise
 
1106
        lasto = None
 
1107
        for origin, text in w.annotate(int(argv[3])):
 
1108
            text = text.rstrip('\r\n')
 
1109
            if origin == lasto:
 
1110
                print '      | %s' % (text)
 
1111
            else:
 
1112
                print '%5d | %s' % (origin, text)
 
1113
                lasto = origin
 
1114
                
 
1115
    elif cmd == 'toc':
 
1116
        weave_toc(readit())
 
1117
 
 
1118
    elif cmd == 'stats':
 
1119
        weave_stats(argv[2], ProgressBar())
 
1120
        
 
1121
    elif cmd == 'check':
 
1122
        w = readit()
 
1123
        pb = ProgressBar()
 
1124
        w.check(pb)
 
1125
        pb.clear()
 
1126
        print '%d versions ok' % w.numversions()
 
1127
 
 
1128
    elif cmd == 'inclusions':
 
1129
        w = readit()
 
1130
        print ' '.join(map(str, w.inclusions([int(argv[3])])))
 
1131
 
 
1132
    elif cmd == 'parents':
 
1133
        w = readit()
 
1134
        print ' '.join(map(str, w._parents[int(argv[3])]))
 
1135
 
 
1136
    elif cmd == 'plan-merge':
 
1137
        w = readit()
 
1138
        for state, line in w.plan_merge(int(argv[3]), int(argv[4])):
 
1139
            if line:
 
1140
                print '%14s | %s' % (state, line),
 
1141
 
 
1142
    elif cmd == 'merge':
 
1143
        w = readit()
 
1144
        p = w.plan_merge(int(argv[3]), int(argv[4]))
 
1145
        sys.stdout.writelines(w.weave_merge(p))
 
1146
            
 
1147
    elif cmd == 'mash-merge':
 
1148
        if len(argv) != 5:
 
1149
            usage()
 
1150
            return 1
 
1151
 
 
1152
        w = readit()
 
1153
        v1, v2 = map(int, argv[3:5])
 
1154
 
 
1155
        basis = w.inclusions([v1]).intersection(w.inclusions([v2]))
 
1156
 
 
1157
        base_lines = list(w.mash_iter(basis))
 
1158
        a_lines = list(w.get(v1))
 
1159
        b_lines = list(w.get(v2))
 
1160
 
 
1161
        from bzrlib.merge3 import Merge3
 
1162
        m3 = Merge3(base_lines, a_lines, b_lines)
 
1163
 
 
1164
        name_a = 'version %d' % v1
 
1165
        name_b = 'version %d' % v2
 
1166
        sys.stdout.writelines(m3.merge_lines(name_a=name_a, name_b=name_b))
 
1167
    else:
 
1168
        raise ValueError('unknown command %r' % cmd)
 
1169
    
 
1170
 
 
1171
 
 
1172
def profile_main(argv): 
 
1173
    import tempfile, hotshot, hotshot.stats
 
1174
 
 
1175
    prof_f = tempfile.NamedTemporaryFile()
 
1176
 
 
1177
    prof = hotshot.Profile(prof_f.name)
 
1178
 
 
1179
    ret = prof.runcall(main, argv)
 
1180
    prof.close()
 
1181
 
 
1182
    stats = hotshot.stats.load(prof_f.name)
 
1183
    #stats.strip_dirs()
 
1184
    stats.sort_stats('cumulative')
 
1185
    ## XXX: Might like to write to stderr or the trace file instead but
 
1186
    ## print_stats seems hardcoded to stdout
 
1187
    stats.print_stats(20)
 
1188
            
 
1189
    return ret
 
1190
 
 
1191
 
 
1192
def lsprofile_main(argv): 
 
1193
    from bzrlib.lsprof import profile
 
1194
    ret,stats = profile(main, argv)
 
1195
    stats.sort()
 
1196
    stats.pprint()
 
1197
    return ret
 
1198
 
 
1199
 
 
1200
if __name__ == '__main__':
 
1201
    import sys
 
1202
    if '--profile' in sys.argv:
 
1203
        args = sys.argv[:]
 
1204
        args.remove('--profile')
 
1205
        sys.exit(profile_main(args))
 
1206
    elif '--lsprof' in sys.argv:
 
1207
        args = sys.argv[:]
 
1208
        args.remove('--lsprof')
 
1209
        sys.exit(lsprofile_main(args))
 
1210
    else:
 
1211
        sys.exit(main(sys.argv))
 
1212