~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: John Arbash Meinel
  • Date: 2009-08-25 18:45:40 UTC
  • mto: (4634.6.15 2.0)
  • mto: This revision was merged to the branch mainline in revision 4667.
  • Revision ID: john@arbash-meinel.com-20090825184540-6dn3xjq62xhgj2gq
Add support for skipping ghost nodes.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
 
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
 
 
18
import errno
 
19
from itertools import chain
18
20
import os
19
 
import errno
20
21
import warnings
21
22
 
22
23
from bzrlib import (
 
24
    debug,
23
25
    errors,
 
26
    graph as _mod_graph,
24
27
    osutils,
25
28
    patiencediff,
26
29
    registry,
27
30
    revision as _mod_revision,
 
31
    tree as _mod_tree,
 
32
    tsort,
28
33
    )
29
34
from bzrlib.branch import Branch
30
35
from bzrlib.conflicts import ConflictList, Conflict
41
46
                           WorkingTreeNotRevision,
42
47
                           BinaryFile,
43
48
                           )
 
49
from bzrlib.graph import Graph
44
50
from bzrlib.merge3 import Merge3
45
51
from bzrlib.osutils import rename, pathjoin
46
52
from progress import DummyProgress, ProgressPhase
47
 
from bzrlib.revision import (is_ancestor, NULL_REVISION, ensure_null)
 
53
from bzrlib.revision import (NULL_REVISION, ensure_null)
48
54
from bzrlib.textfile import check_text_lines
49
 
from bzrlib.trace import mutter, warning, note
50
 
from bzrlib.transform import (TreeTransform, resolve_conflicts, cook_conflicts,
51
 
                              conflict_pass, FinalPaths, create_by_entry,
 
55
from bzrlib.trace import mutter, warning, note, is_quiet
 
56
from bzrlib.transform import (TransformPreview, TreeTransform,
 
57
                              resolve_conflicts, cook_conflicts,
 
58
                              conflict_pass, FinalPaths, create_from_tree,
52
59
                              unique_add, ROOT_PARENT)
53
60
from bzrlib.versionedfile import PlanWeaveMerge
54
61
from bzrlib import ui
57
64
 
58
65
 
59
66
def transform_tree(from_tree, to_tree, interesting_ids=None):
60
 
    merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
61
 
                interesting_ids=interesting_ids, this_tree=from_tree)
 
67
    from_tree.lock_tree_write()
 
68
    try:
 
69
        merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
 
70
                    interesting_ids=interesting_ids, this_tree=from_tree)
 
71
    finally:
 
72
        from_tree.unlock()
62
73
 
63
74
 
64
75
class Merger(object):
65
76
    def __init__(self, this_branch, other_tree=None, base_tree=None,
66
 
                 this_tree=None, pb=DummyProgress(), change_reporter=None,
67
 
                 recurse='down'):
 
77
                 this_tree=None, pb=None, change_reporter=None,
 
78
                 recurse='down', revision_graph=None):
68
79
        object.__init__(self)
69
 
        assert this_tree is not None, "this_tree is required"
70
80
        self.this_branch = this_branch
71
81
        self.this_basis = _mod_revision.ensure_null(
72
82
            this_branch.last_revision())
83
93
        self.interesting_files = None
84
94
        self.show_base = False
85
95
        self.reprocess = False
 
96
        if pb is None:
 
97
            pb = DummyProgress()
86
98
        self._pb = pb
87
99
        self.pp = None
88
100
        self.recurse = recurse
89
101
        self.change_reporter = change_reporter
90
102
        self._cached_trees = {}
 
103
        self._revision_graph = revision_graph
 
104
        self._base_is_ancestor = None
 
105
        self._base_is_other_ancestor = None
 
106
        self._is_criss_cross = None
 
107
        self._lca_trees = None
 
108
 
 
109
    @property
 
110
    def revision_graph(self):
 
111
        if self._revision_graph is None:
 
112
            self._revision_graph = self.this_branch.repository.get_graph()
 
113
        return self._revision_graph
 
114
 
 
115
    def _set_base_is_ancestor(self, value):
 
116
        self._base_is_ancestor = value
 
117
 
 
118
    def _get_base_is_ancestor(self):
 
119
        if self._base_is_ancestor is None:
 
120
            self._base_is_ancestor = self.revision_graph.is_ancestor(
 
121
                self.base_rev_id, self.this_basis)
 
122
        return self._base_is_ancestor
 
123
 
 
124
    base_is_ancestor = property(_get_base_is_ancestor, _set_base_is_ancestor)
 
125
 
 
126
    def _set_base_is_other_ancestor(self, value):
 
127
        self._base_is_other_ancestor = value
 
128
 
 
129
    def _get_base_is_other_ancestor(self):
 
130
        if self._base_is_other_ancestor is None:
 
131
            if self.other_basis is None:
 
132
                return True
 
133
            self._base_is_other_ancestor = self.revision_graph.is_ancestor(
 
134
                self.base_rev_id, self.other_basis)
 
135
        return self._base_is_other_ancestor
 
136
 
 
137
    base_is_other_ancestor = property(_get_base_is_other_ancestor,
 
138
                                      _set_base_is_other_ancestor)
91
139
 
92
140
    @staticmethod
93
 
    def from_uncommitted(tree, other_tree, pb):
 
141
    def from_uncommitted(tree, other_tree, pb=None, base_tree=None):
94
142
        """Return a Merger for uncommitted changes in other_tree.
95
143
 
96
144
        :param tree: The tree to merge into
97
145
        :param other_tree: The tree to get uncommitted changes from
98
146
        :param pb: A progress indicator
 
147
        :param base_tree: The basis to use for the merge.  If unspecified,
 
148
            other_tree.basis_tree() will be used.
99
149
        """
100
 
        merger = Merger(tree.branch, other_tree, other_tree.basis_tree(), tree,
101
 
                        pb)
 
150
        if base_tree is None:
 
151
            base_tree = other_tree.basis_tree()
 
152
        merger = Merger(tree.branch, other_tree, base_tree, tree, pb)
102
153
        merger.base_rev_id = merger.base_tree.get_revision_id()
103
154
        merger.other_rev_id = None
 
155
        merger.other_basis = merger.base_rev_id
104
156
        return merger
105
157
 
106
158
    @classmethod
114
166
        mergeable.install_revisions(tree.branch.repository)
115
167
        base_revision_id, other_revision_id, verified =\
116
168
            mergeable.get_merge_request(tree.branch.repository)
117
 
        if (base_revision_id != _mod_revision.NULL_REVISION and
118
 
            tree.branch.repository.get_graph().is_ancestor(
119
 
            base_revision_id, tree.branch.last_revision())):
120
 
            base_revision_id = None
 
169
        revision_graph = tree.branch.repository.get_graph()
 
170
        if base_revision_id is not None:
 
171
            if (base_revision_id != _mod_revision.NULL_REVISION and
 
172
                revision_graph.is_ancestor(
 
173
                base_revision_id, tree.branch.last_revision())):
 
174
                base_revision_id = None
 
175
            else:
 
176
                warning('Performing cherrypick')
121
177
        merger = klass.from_revision_ids(pb, tree, other_revision_id,
122
 
                                         base_revision_id)
 
178
                                         base_revision_id, revision_graph=
 
179
                                         revision_graph)
123
180
        return merger, verified
124
181
 
125
182
    @staticmethod
126
 
    def from_revision_ids(pb, this, other, base=None, other_branch=None,
127
 
                          base_branch=None):
 
183
    def from_revision_ids(pb, tree, other, base=None, other_branch=None,
 
184
                          base_branch=None, revision_graph=None,
 
185
                          tree_branch=None):
128
186
        """Return a Merger for revision-ids.
129
187
 
 
188
        :param pb: A progress indicator
130
189
        :param tree: The tree to merge changes into
131
190
        :param other: The revision-id to use as OTHER
132
191
        :param base: The revision-id to use as BASE.  If not specified, will
133
192
            be auto-selected.
134
193
        :param other_branch: A branch containing the other revision-id.  If
135
 
            not supplied, this.branch is used.
 
194
            not supplied, tree.branch is used.
136
195
        :param base_branch: A branch containing the base revision-id.  If
137
 
            not supplied, other_branch or this.branch will be used.
138
 
        :param pb: A progress indicator
 
196
            not supplied, other_branch or tree.branch will be used.
 
197
        :param revision_graph: If you have a revision_graph precomputed, pass
 
198
            it in, otherwise it will be created for you.
 
199
        :param tree_branch: The branch associated with tree.  If not supplied,
 
200
            tree.branch will be used.
139
201
        """
140
 
        merger = Merger(this.branch, this_tree=this, pb=pb)
 
202
        if tree_branch is None:
 
203
            tree_branch = tree.branch
 
204
        merger = Merger(tree_branch, this_tree=tree, pb=pb,
 
205
                        revision_graph=revision_graph)
141
206
        if other_branch is None:
142
 
            other_branch = this.branch
 
207
            other_branch = tree.branch
143
208
        merger.set_other_revision(other, other_branch)
144
209
        if base is None:
145
210
            merger.find_base()
182
247
 
183
248
        if self.other_rev_id is None:
184
249
            other_basis_tree = self.revision_tree(self.other_basis)
185
 
            changes = other_basis_tree.changes_from(self.other_tree)
186
 
            if changes.has_changed():
 
250
            if other_basis_tree.has_changes(self.other_tree):
187
251
                raise WorkingTreeNotRevision(self.this_tree)
188
252
            other_rev_id = self.other_basis
189
253
            self.other_tree = other_basis_tree
192
256
        self.ensure_revision_trees()
193
257
        def get_id(tree, file_id):
194
258
            revision_id = tree.inventory[file_id].revision
195
 
            assert revision_id is not None
196
259
            return revision_id
197
260
        if self.this_rev_id is None:
198
261
            if self.this_basis_tree.get_file_sha1(file_id) != \
209
272
        if check_clean:
210
273
            self.compare_basis()
211
274
            if self.this_basis != self.this_rev_id:
212
 
                raise BzrCommandError("Working tree has uncommitted changes.")
 
275
                raise errors.UncommittedChanges(self.this_tree)
213
276
 
214
277
    def compare_basis(self):
215
278
        try:
216
279
            basis_tree = self.revision_tree(self.this_tree.last_revision())
217
 
        except errors.RevisionNotPresent:
 
280
        except errors.NoSuchRevision:
218
281
            basis_tree = self.this_tree.basis_tree()
219
 
        changes = self.this_tree.changes_from(basis_tree)
220
 
        if not changes.has_changed():
 
282
        if not self.this_tree.has_changes(basis_tree):
221
283
            self.this_rev_id = self.this_basis
222
284
 
223
285
    def set_interesting_files(self, file_list):
234
296
        for revision_id in new_parents:
235
297
            try:
236
298
                tree = self.revision_tree(revision_id)
237
 
            except errors.RevisionNotPresent:
 
299
            except errors.NoSuchRevision:
238
300
                tree = None
239
301
            else:
240
302
                tree.lock_read()
296
358
        self.base_branch = branch
297
359
        self._maybe_fetch(branch, self.this_branch, revision_id)
298
360
        self.base_tree = self.revision_tree(revision_id)
299
 
        self.base_is_ancestor = is_ancestor(self.this_basis,
300
 
                                            self.base_rev_id,
301
 
                                            self.this_branch)
302
 
        self.base_is_other_ancestor = is_ancestor(self.other_basis,
303
 
                                                  self.base_rev_id,
304
 
                                                  self.this_branch)
305
361
 
306
362
    def _maybe_fetch(self, source, target, revision_id):
307
363
        if not source.repository.has_same_location(target.repository):
308
364
            target.fetch(source, revision_id)
309
365
 
310
366
    def find_base(self):
311
 
        this_repo = self.this_branch.repository
312
 
        graph = this_repo.get_graph()
313
367
        revisions = [ensure_null(self.this_basis),
314
368
                     ensure_null(self.other_basis)]
315
369
        if NULL_REVISION in revisions:
316
370
            self.base_rev_id = NULL_REVISION
 
371
            self.base_tree = self.revision_tree(self.base_rev_id)
 
372
            self._is_criss_cross = False
317
373
        else:
318
 
            self.base_rev_id = graph.find_unique_lca(*revisions)
 
374
            lcas = self.revision_graph.find_lca(revisions[0], revisions[1])
 
375
            self._is_criss_cross = False
 
376
            if len(lcas) == 0:
 
377
                self.base_rev_id = NULL_REVISION
 
378
            elif len(lcas) == 1:
 
379
                self.base_rev_id = list(lcas)[0]
 
380
            else: # len(lcas) > 1
 
381
                if len(lcas) > 2:
 
382
                    # find_unique_lca can only handle 2 nodes, so we have to
 
383
                    # start back at the beginning. It is a shame to traverse
 
384
                    # the graph again, but better than re-implementing
 
385
                    # find_unique_lca.
 
386
                    self.base_rev_id = self.revision_graph.find_unique_lca(
 
387
                                            revisions[0], revisions[1])
 
388
                else:
 
389
                    self.base_rev_id = self.revision_graph.find_unique_lca(
 
390
                                            *lcas)
 
391
                self._is_criss_cross = True
319
392
            if self.base_rev_id == NULL_REVISION:
320
393
                raise UnrelatedBranches()
321
 
        self.base_tree = self.revision_tree(self.base_rev_id)
 
394
            if self._is_criss_cross:
 
395
                warning('Warning: criss-cross merge encountered.  See bzr'
 
396
                        ' help criss-cross.')
 
397
                mutter('Criss-cross lcas: %r' % lcas)
 
398
                interesting_revision_ids = [self.base_rev_id]
 
399
                interesting_revision_ids.extend(lcas)
 
400
                interesting_trees = dict((t.get_revision_id(), t)
 
401
                    for t in self.this_branch.repository.revision_trees(
 
402
                        interesting_revision_ids))
 
403
                self._cached_trees.update(interesting_trees)
 
404
                self.base_tree = interesting_trees.pop(self.base_rev_id)
 
405
                sorted_lca_keys = self.revision_graph.find_merge_order(
 
406
                    revisions[0], lcas)
 
407
                self._lca_trees = [interesting_trees[key]
 
408
                                   for key in sorted_lca_keys]
 
409
            else:
 
410
                self.base_tree = self.revision_tree(self.base_rev_id)
322
411
        self.base_is_ancestor = True
323
412
        self.base_is_other_ancestor = True
 
413
        mutter('Base revid: %r' % self.base_rev_id)
324
414
 
325
415
    def set_base(self, base_revision):
326
416
        """Set the base revision to use for the merge.
340
430
                self.base_rev_id = _mod_revision.ensure_null(
341
431
                    base_branch.get_rev_id(base_revision[1]))
342
432
            self._maybe_fetch(base_branch, self.this_branch, self.base_rev_id)
343
 
            self.base_is_ancestor = is_ancestor(self.this_basis, 
344
 
                                                self.base_rev_id,
345
 
                                                self.this_branch)
346
 
            self.base_is_other_ancestor = is_ancestor(self.other_basis,
347
 
                                                      self.base_rev_id,
348
 
                                                      self.this_branch)
349
433
 
350
 
    def do_merge(self):
 
434
    def make_merger(self):
351
435
        kwargs = {'working_tree':self.this_tree, 'this_tree': self.this_tree,
352
436
                  'other_tree': self.other_tree,
353
437
                  'interesting_ids': self.interesting_ids,
354
438
                  'interesting_files': self.interesting_files,
355
 
                  'pp': self.pp}
 
439
                  'pp': self.pp,
 
440
                  'do_merge': False}
356
441
        if self.merge_type.requires_base:
357
442
            kwargs['base_tree'] = self.base_tree
358
443
        if self.merge_type.supports_reprocess:
364
449
            kwargs['show_base'] = self.show_base
365
450
        elif self.show_base:
366
451
            raise BzrError("Showing base is not supported for this"
367
 
                                  " merge type. %s" % self.merge_type)
 
452
                           " merge type. %s" % self.merge_type)
 
453
        if (not getattr(self.merge_type, 'supports_reverse_cherrypick', True)
 
454
            and not self.base_is_other_ancestor):
 
455
            raise errors.CannotReverseCherrypick()
 
456
        if self.merge_type.supports_cherrypick:
 
457
            kwargs['cherrypick'] = (not self.base_is_ancestor or
 
458
                                    not self.base_is_other_ancestor)
 
459
        if self._is_criss_cross and getattr(self.merge_type,
 
460
                                            'supports_lca_trees', False):
 
461
            kwargs['lca_trees'] = self._lca_trees
 
462
        return self.merge_type(pb=self._pb,
 
463
                               change_reporter=self.change_reporter,
 
464
                               **kwargs)
 
465
 
 
466
    def _do_merge_to(self, merge):
 
467
        if self.other_branch is not None:
 
468
            self.other_branch.update_references(self.this_branch)
 
469
        merge.do_merge()
 
470
        if self.recurse == 'down':
 
471
            for relpath, file_id in self.this_tree.iter_references():
 
472
                sub_tree = self.this_tree.get_nested_tree(file_id, relpath)
 
473
                other_revision = self.other_tree.get_reference_revision(
 
474
                    file_id, relpath)
 
475
                if  other_revision == sub_tree.last_revision():
 
476
                    continue
 
477
                sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
 
478
                sub_merge.merge_type = self.merge_type
 
479
                other_branch = self.other_branch.reference_parent(file_id, relpath)
 
480
                sub_merge.set_other_revision(other_revision, other_branch)
 
481
                base_revision = self.base_tree.get_reference_revision(file_id)
 
482
                sub_merge.base_tree = \
 
483
                    sub_tree.branch.repository.revision_tree(base_revision)
 
484
                sub_merge.base_rev_id = base_revision
 
485
                sub_merge.do_merge()
 
486
 
 
487
    def do_merge(self):
368
488
        self.this_tree.lock_tree_write()
369
 
        if self.base_tree is not None:
370
 
            self.base_tree.lock_read()
371
 
        if self.other_tree is not None:
372
 
            self.other_tree.lock_read()
373
489
        try:
374
 
            merge = self.merge_type(pb=self._pb,
375
 
                                    change_reporter=self.change_reporter,
376
 
                                    **kwargs)
377
 
            if self.recurse == 'down':
378
 
                for path, file_id in self.this_tree.iter_references():
379
 
                    sub_tree = self.this_tree.get_nested_tree(file_id, path)
380
 
                    other_revision = self.other_tree.get_reference_revision(
381
 
                        file_id, path)
382
 
                    if  other_revision == sub_tree.last_revision():
383
 
                        continue
384
 
                    sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
385
 
                    sub_merge.merge_type = self.merge_type
386
 
                    relpath = self.this_tree.relpath(path)
387
 
                    other_branch = self.other_branch.reference_parent(file_id, relpath)
388
 
                    sub_merge.set_other_revision(other_revision, other_branch)
389
 
                    base_revision = self.base_tree.get_reference_revision(file_id)
390
 
                    sub_merge.base_tree = \
391
 
                        sub_tree.branch.repository.revision_tree(base_revision)
392
 
                    sub_merge.do_merge()
393
 
 
394
 
        finally:
395
 
            if self.other_tree is not None:
396
 
                self.other_tree.unlock()
397
490
            if self.base_tree is not None:
398
 
                self.base_tree.unlock()
 
491
                self.base_tree.lock_read()
 
492
            try:
 
493
                if self.other_tree is not None:
 
494
                    self.other_tree.lock_read()
 
495
                try:
 
496
                    merge = self.make_merger()
 
497
                    self._do_merge_to(merge)
 
498
                finally:
 
499
                    if self.other_tree is not None:
 
500
                        self.other_tree.unlock()
 
501
            finally:
 
502
                if self.base_tree is not None:
 
503
                    self.base_tree.unlock()
 
504
        finally:
399
505
            self.this_tree.unlock()
400
506
        if len(merge.cooked_conflicts) == 0:
401
 
            if not self.ignore_zero:
 
507
            if not self.ignore_zero and not is_quiet():
402
508
                note("All changes applied successfully.")
403
509
        else:
404
510
            note("%d conflicts encountered." % len(merge.cooked_conflicts))
406
512
        return len(merge.cooked_conflicts)
407
513
 
408
514
 
 
515
class _InventoryNoneEntry(object):
 
516
    """This represents an inventory entry which *isn't there*.
 
517
 
 
518
    It simplifies the merging logic if we always have an InventoryEntry, even
 
519
    if it isn't actually present
 
520
    """
 
521
    executable = None
 
522
    kind = None
 
523
    name = None
 
524
    parent_id = None
 
525
    revision = None
 
526
    symlink_target = None
 
527
    text_sha1 = None
 
528
 
 
529
_none_entry = _InventoryNoneEntry()
 
530
 
 
531
 
409
532
class Merge3Merger(object):
410
533
    """Three-way merger that uses the merge3 text merger"""
411
534
    requires_base = True
412
535
    supports_reprocess = True
413
536
    supports_show_base = True
414
537
    history_based = False
 
538
    supports_cherrypick = True
 
539
    supports_reverse_cherrypick = True
415
540
    winner_idx = {"this": 2, "other": 1, "conflict": 1}
 
541
    supports_lca_trees = True
416
542
 
417
 
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
543
    def __init__(self, working_tree, this_tree, base_tree, other_tree,
418
544
                 interesting_ids=None, reprocess=False, show_base=False,
419
545
                 pb=DummyProgress(), pp=None, change_reporter=None,
420
 
                 interesting_files=None):
 
546
                 interesting_files=None, do_merge=True,
 
547
                 cherrypick=False, lca_trees=None):
421
548
        """Initialize the merger object and perform the merge.
422
549
 
423
550
        :param working_tree: The working tree to apply the merge to
424
551
        :param this_tree: The local tree in the merge operation
425
552
        :param base_tree: The common tree in the merge operation
426
 
        :param other_tree: The other other tree to merge changes from
 
553
        :param other_tree: The other tree to merge changes from
427
554
        :param interesting_ids: The file_ids of files that should be
428
555
            participate in the merge.  May not be combined with
429
556
            interesting_files.
439
566
            be combined with interesting_ids.  If neither interesting_files nor
440
567
            interesting_ids is specified, all files may participate in the
441
568
            merge.
 
569
        :param lca_trees: Can be set to a dictionary of {revision_id:rev_tree}
 
570
            if the ancestry was found to include a criss-cross merge.
 
571
            Otherwise should be None.
442
572
        """
443
573
        object.__init__(self)
444
 
        if interesting_files is not None:
445
 
            assert interesting_ids is None
 
574
        if interesting_files is not None and interesting_ids is not None:
 
575
            raise ValueError(
 
576
                'specify either interesting_ids or interesting_files')
446
577
        self.interesting_ids = interesting_ids
447
578
        self.interesting_files = interesting_files
448
579
        self.this_tree = working_tree
449
 
        self.this_tree.lock_tree_write()
450
580
        self.base_tree = base_tree
451
 
        self.base_tree.lock_read()
452
581
        self.other_tree = other_tree
453
 
        self.other_tree.lock_read()
454
582
        self._raw_conflicts = []
455
583
        self.cooked_conflicts = []
456
584
        self.reprocess = reprocess
457
585
        self.show_base = show_base
 
586
        self._lca_trees = lca_trees
 
587
        # Uncommenting this will change the default algorithm to always use
 
588
        # _entries_lca. This can be useful for running the test suite and
 
589
        # making sure we haven't missed any corner cases.
 
590
        # if lca_trees is None:
 
591
        #     self._lca_trees = [self.base_tree]
458
592
        self.pb = pb
459
593
        self.pp = pp
460
594
        self.change_reporter = change_reporter
 
595
        self.cherrypick = cherrypick
461
596
        if self.pp is None:
462
597
            self.pp = ProgressPhase("Merge phase", 3, self.pb)
 
598
        if do_merge:
 
599
            self.do_merge()
463
600
 
464
 
        self.tt = TreeTransform(working_tree, self.pb)
 
601
    def do_merge(self):
 
602
        self.this_tree.lock_tree_write()
 
603
        self.base_tree.lock_read()
 
604
        self.other_tree.lock_read()
 
605
        self.tt = TreeTransform(self.this_tree, self.pb)
465
606
        try:
466
607
            self.pp.next_phase()
467
 
            entries = self._entries3()
468
 
            child_pb = ui.ui_factory.nested_progress_bar()
469
 
            try:
470
 
                for num, (file_id, changed, parents3, names3,
471
 
                          executable3) in enumerate(entries):
472
 
                    child_pb.update('Preparing file merge', num, len(entries))
473
 
                    self._merge_names(file_id, parents3, names3)
474
 
                    if changed:
475
 
                        file_status = self.merge_contents(file_id)
476
 
                    else:
477
 
                        file_status = 'unmodified'
478
 
                    self._merge_executable(file_id,
479
 
                        executable3, file_status)
480
 
            finally:
481
 
                child_pb.finished()
482
 
            self.fix_root()
483
 
            self.pp.next_phase()
484
 
            child_pb = ui.ui_factory.nested_progress_bar()
485
 
            try:
486
 
                fs_conflicts = resolve_conflicts(self.tt, child_pb,
487
 
                    lambda t, c: conflict_pass(t, c, self.other_tree))
488
 
            finally:
489
 
                child_pb.finished()
490
 
            if change_reporter is not None:
491
 
                from bzrlib import delta
492
 
                delta.report_changes(self.tt._iter_changes(), change_reporter)
493
 
            self.cook_conflicts(fs_conflicts)
494
 
            for conflict in self.cooked_conflicts:
495
 
                warning(conflict)
 
608
            self._compute_transform()
496
609
            self.pp.next_phase()
497
610
            results = self.tt.apply(no_conflicts=True)
498
611
            self.write_modified(results)
499
612
            try:
500
 
                working_tree.add_conflicts(self.cooked_conflicts)
 
613
                self.this_tree.add_conflicts(self.cooked_conflicts)
501
614
            except UnsupportedOperation:
502
615
                pass
503
616
        finally:
507
620
            self.this_tree.unlock()
508
621
            self.pb.clear()
509
622
 
 
623
    def make_preview_transform(self):
 
624
        self.base_tree.lock_read()
 
625
        self.other_tree.lock_read()
 
626
        self.tt = TransformPreview(self.this_tree)
 
627
        try:
 
628
            self.pp.next_phase()
 
629
            self._compute_transform()
 
630
            self.pp.next_phase()
 
631
        finally:
 
632
            self.other_tree.unlock()
 
633
            self.base_tree.unlock()
 
634
            self.pb.clear()
 
635
        return self.tt
 
636
 
 
637
    def _compute_transform(self):
 
638
        if self._lca_trees is None:
 
639
            entries = self._entries3()
 
640
            resolver = self._three_way
 
641
        else:
 
642
            entries = self._entries_lca()
 
643
            resolver = self._lca_multi_way
 
644
        child_pb = ui.ui_factory.nested_progress_bar()
 
645
        try:
 
646
            for num, (file_id, changed, parents3, names3,
 
647
                      executable3) in enumerate(entries):
 
648
                child_pb.update('Preparing file merge', num, len(entries))
 
649
                self._merge_names(file_id, parents3, names3, resolver=resolver)
 
650
                if changed:
 
651
                    file_status = self.merge_contents(file_id)
 
652
                else:
 
653
                    file_status = 'unmodified'
 
654
                self._merge_executable(file_id,
 
655
                    executable3, file_status, resolver=resolver)
 
656
        finally:
 
657
            child_pb.finished()
 
658
        self.fix_root()
 
659
        self.pp.next_phase()
 
660
        child_pb = ui.ui_factory.nested_progress_bar()
 
661
        try:
 
662
            fs_conflicts = resolve_conflicts(self.tt, child_pb,
 
663
                lambda t, c: conflict_pass(t, c, self.other_tree))
 
664
        finally:
 
665
            child_pb.finished()
 
666
        if self.change_reporter is not None:
 
667
            from bzrlib import delta
 
668
            delta.report_changes(
 
669
                self.tt.iter_changes(), self.change_reporter)
 
670
        self.cook_conflicts(fs_conflicts)
 
671
        for conflict in self.cooked_conflicts:
 
672
            warning(conflict)
 
673
 
510
674
    def _entries3(self):
511
675
        """Gather data about files modified between three trees.
512
676
 
517
681
        executable3 is a tuple of execute-bit values for base, other and this.
518
682
        """
519
683
        result = []
520
 
        iterator = self.other_tree._iter_changes(self.base_tree,
 
684
        iterator = self.other_tree.iter_changes(self.base_tree,
521
685
                include_unchanged=True, specific_files=self.interesting_files,
522
686
                extra_trees=[self.this_tree])
 
687
        this_entries = dict((e.file_id, e) for p, e in
 
688
                            self.this_tree.iter_entries_by_dir(
 
689
                            self.interesting_ids))
523
690
        for (file_id, paths, changed, versioned, parents, names, kind,
524
691
             executable) in iterator:
525
692
            if (self.interesting_ids is not None and
526
693
                file_id not in self.interesting_ids):
527
694
                continue
528
 
            if file_id in self.this_tree.inventory:
529
 
                entry = self.this_tree.inventory[file_id]
 
695
            entry = this_entries.get(file_id)
 
696
            if entry is not None:
530
697
                this_name = entry.name
531
698
                this_parent = entry.parent_id
532
699
                this_executable = entry.executable
540
707
            result.append((file_id, changed, parents3, names3, executable3))
541
708
        return result
542
709
 
 
710
    def _entries_lca(self):
 
711
        """Gather data about files modified between multiple trees.
 
712
 
 
713
        This compares OTHER versus all LCA trees, and for interesting entries,
 
714
        it then compares with THIS and BASE.
 
715
 
 
716
        For the multi-valued entries, the format will be (BASE, [lca1, lca2])
 
717
        :return: [(file_id, changed, parents, names, executable)]
 
718
            file_id     Simple file_id of the entry
 
719
            changed     Boolean, True if the kind or contents changed
 
720
                        else False
 
721
            parents     ((base, [parent_id, in, lcas]), parent_id_other,
 
722
                         parent_id_this)
 
723
            names       ((base, [name, in, lcas]), name_in_other, name_in_this)
 
724
            executable  ((base, [exec, in, lcas]), exec_in_other, exec_in_this)
 
725
        """
 
726
        if self.interesting_files is not None:
 
727
            lookup_trees = [self.this_tree, self.base_tree]
 
728
            lookup_trees.extend(self._lca_trees)
 
729
            # I think we should include the lca trees as well
 
730
            interesting_ids = self.other_tree.paths2ids(self.interesting_files,
 
731
                                                        lookup_trees)
 
732
        else:
 
733
            interesting_ids = self.interesting_ids
 
734
        result = []
 
735
        walker = _mod_tree.MultiWalker(self.other_tree, self._lca_trees)
 
736
 
 
737
        base_inventory = self.base_tree.inventory
 
738
        this_inventory = self.this_tree.inventory
 
739
        for path, file_id, other_ie, lca_values in walker.iter_all():
 
740
            # Is this modified at all from any of the other trees?
 
741
            if other_ie is None:
 
742
                other_ie = _none_entry
 
743
            if interesting_ids is not None and file_id not in interesting_ids:
 
744
                continue
 
745
 
 
746
            # If other_revision is found in any of the lcas, that means this
 
747
            # node is uninteresting. This is because when merging, if there are
 
748
            # multiple heads(), we have to create a new node. So if we didn't,
 
749
            # we know that the ancestry is linear, and that OTHER did not
 
750
            # modify anything
 
751
            # See doc/developers/lca_merge_resolution.txt for details
 
752
            other_revision = other_ie.revision
 
753
            if other_revision is not None:
 
754
                # We can't use this shortcut when other_revision is None,
 
755
                # because it may be None because things are WorkingTrees, and
 
756
                # not because it is *actually* None.
 
757
                is_unmodified = False
 
758
                for lca_path, ie in lca_values:
 
759
                    if ie is not None and ie.revision == other_revision:
 
760
                        is_unmodified = True
 
761
                        break
 
762
                if is_unmodified:
 
763
                    continue
 
764
 
 
765
            lca_entries = []
 
766
            for lca_path, lca_ie in lca_values:
 
767
                if lca_ie is None:
 
768
                    lca_entries.append(_none_entry)
 
769
                else:
 
770
                    lca_entries.append(lca_ie)
 
771
 
 
772
            if file_id in base_inventory:
 
773
                base_ie = base_inventory[file_id]
 
774
            else:
 
775
                base_ie = _none_entry
 
776
 
 
777
            if file_id in this_inventory:
 
778
                this_ie = this_inventory[file_id]
 
779
            else:
 
780
                this_ie = _none_entry
 
781
 
 
782
            lca_kinds = []
 
783
            lca_parent_ids = []
 
784
            lca_names = []
 
785
            lca_executable = []
 
786
            for lca_ie in lca_entries:
 
787
                lca_kinds.append(lca_ie.kind)
 
788
                lca_parent_ids.append(lca_ie.parent_id)
 
789
                lca_names.append(lca_ie.name)
 
790
                lca_executable.append(lca_ie.executable)
 
791
 
 
792
            kind_winner = self._lca_multi_way(
 
793
                (base_ie.kind, lca_kinds),
 
794
                other_ie.kind, this_ie.kind)
 
795
            parent_id_winner = self._lca_multi_way(
 
796
                (base_ie.parent_id, lca_parent_ids),
 
797
                other_ie.parent_id, this_ie.parent_id)
 
798
            name_winner = self._lca_multi_way(
 
799
                (base_ie.name, lca_names),
 
800
                other_ie.name, this_ie.name)
 
801
 
 
802
            content_changed = True
 
803
            if kind_winner == 'this':
 
804
                # No kind change in OTHER, see if there are *any* changes
 
805
                if other_ie.kind == 'directory':
 
806
                    if parent_id_winner == 'this' and name_winner == 'this':
 
807
                        # No change for this directory in OTHER, skip
 
808
                        continue
 
809
                    content_changed = False
 
810
                elif other_ie.kind is None or other_ie.kind == 'file':
 
811
                    def get_sha1(ie, tree):
 
812
                        if ie.kind != 'file':
 
813
                            return None
 
814
                        return tree.get_file_sha1(file_id)
 
815
                    base_sha1 = get_sha1(base_ie, self.base_tree)
 
816
                    lca_sha1s = [get_sha1(ie, tree) for ie, tree
 
817
                                 in zip(lca_entries, self._lca_trees)]
 
818
                    this_sha1 = get_sha1(this_ie, self.this_tree)
 
819
                    other_sha1 = get_sha1(other_ie, self.other_tree)
 
820
                    sha1_winner = self._lca_multi_way(
 
821
                        (base_sha1, lca_sha1s), other_sha1, this_sha1,
 
822
                        allow_overriding_lca=False)
 
823
                    exec_winner = self._lca_multi_way(
 
824
                        (base_ie.executable, lca_executable),
 
825
                        other_ie.executable, this_ie.executable)
 
826
                    if (parent_id_winner == 'this' and name_winner == 'this'
 
827
                        and sha1_winner == 'this' and exec_winner == 'this'):
 
828
                        # No kind, parent, name, exec, or content change for
 
829
                        # OTHER, so this node is not considered interesting
 
830
                        continue
 
831
                    if sha1_winner == 'this':
 
832
                        content_changed = False
 
833
                elif other_ie.kind == 'symlink':
 
834
                    def get_target(ie, tree):
 
835
                        if ie.kind != 'symlink':
 
836
                            return None
 
837
                        return tree.get_symlink_target(file_id)
 
838
                    base_target = get_target(base_ie, self.base_tree)
 
839
                    lca_targets = [get_target(ie, tree) for ie, tree
 
840
                                   in zip(lca_entries, self._lca_trees)]
 
841
                    this_target = get_target(this_ie, self.this_tree)
 
842
                    other_target = get_target(other_ie, self.other_tree)
 
843
                    target_winner = self._lca_multi_way(
 
844
                        (base_target, lca_targets),
 
845
                        other_target, this_target)
 
846
                    if (parent_id_winner == 'this' and name_winner == 'this'
 
847
                        and target_winner == 'this'):
 
848
                        # No kind, parent, name, or symlink target change
 
849
                        # not interesting
 
850
                        continue
 
851
                    if target_winner == 'this':
 
852
                        content_changed = False
 
853
                elif other_ie.kind == 'tree-reference':
 
854
                    # The 'changed' information seems to be handled at a higher
 
855
                    # level. At least, _entries3 returns False for content
 
856
                    # changed, even when at a new revision_id.
 
857
                    content_changed = False
 
858
                    if (parent_id_winner == 'this' and name_winner == 'this'):
 
859
                        # Nothing interesting
 
860
                        continue
 
861
                else:
 
862
                    raise AssertionError('unhandled kind: %s' % other_ie.kind)
 
863
                # XXX: We need to handle kind == 'symlink'
 
864
 
 
865
            # If we have gotten this far, that means something has changed
 
866
            result.append((file_id, content_changed,
 
867
                           ((base_ie.parent_id, lca_parent_ids),
 
868
                            other_ie.parent_id, this_ie.parent_id),
 
869
                           ((base_ie.name, lca_names),
 
870
                            other_ie.name, this_ie.name),
 
871
                           ((base_ie.executable, lca_executable),
 
872
                            other_ie.executable, this_ie.executable)
 
873
                          ))
 
874
        return result
 
875
 
 
876
 
543
877
    def fix_root(self):
544
878
        try:
545
879
            self.tt.final_kind(self.tt.root)
546
880
        except NoSuchFile:
547
881
            self.tt.cancel_deletion(self.tt.root)
548
882
        if self.tt.final_file_id(self.tt.root) is None:
549
 
            self.tt.version_file(self.tt.tree_file_id(self.tt.root), 
 
883
            self.tt.version_file(self.tt.tree_file_id(self.tt.root),
550
884
                                 self.tt.root)
551
 
        if self.other_tree.inventory.root is None:
 
885
        other_root_file_id = self.other_tree.get_root_id()
 
886
        if other_root_file_id is None:
552
887
            return
553
 
        other_root_file_id = self.other_tree.inventory.root.file_id
554
888
        other_root = self.tt.trans_id_file_id(other_root_file_id)
555
889
        if other_root == self.tt.root:
556
890
            return
558
892
            self.tt.final_kind(other_root)
559
893
        except NoSuchFile:
560
894
            return
 
895
        if self.other_tree.inventory.root.file_id in self.this_tree.inventory:
 
896
            # the other tree's root is a non-root in the current tree
 
897
            return
561
898
        self.reparent_children(self.other_tree.inventory.root, self.tt.root)
562
899
        self.tt.cancel_creation(other_root)
563
900
        self.tt.cancel_versioning(other_root)
592
929
        if entry is None:
593
930
            return None
594
931
        return entry.name
595
 
    
 
932
 
596
933
    @staticmethod
597
934
    def contents_sha1(tree, file_id):
598
935
        """Determine the sha1 of the file contents (used as a key method)."""
631
968
            return "other"
632
969
 
633
970
    @staticmethod
 
971
    def _lca_multi_way(bases, other, this, allow_overriding_lca=True):
 
972
        """Consider LCAs when determining whether a change has occurred.
 
973
 
 
974
        If LCAS are all identical, this is the same as a _three_way comparison.
 
975
 
 
976
        :param bases: value in (BASE, [LCAS])
 
977
        :param other: value in OTHER
 
978
        :param this: value in THIS
 
979
        :param allow_overriding_lca: If there is more than one unique lca
 
980
            value, allow OTHER to override THIS if it has a new value, and
 
981
            THIS only has an lca value, or vice versa. This is appropriate for
 
982
            truly scalar values, not as much for non-scalars.
 
983
        :return: 'this', 'other', or 'conflict' depending on whether an entry
 
984
            changed or not.
 
985
        """
 
986
        # See doc/developers/lca_tree_merging.txt for details about this
 
987
        # algorithm.
 
988
        if other == this:
 
989
            # Either Ambiguously clean, or nothing was actually changed. We
 
990
            # don't really care
 
991
            return 'this'
 
992
        base_val, lca_vals = bases
 
993
        # Remove 'base_val' from the lca_vals, because it is not interesting
 
994
        filtered_lca_vals = [lca_val for lca_val in lca_vals
 
995
                                      if lca_val != base_val]
 
996
        if len(filtered_lca_vals) == 0:
 
997
            return Merge3Merger._three_way(base_val, other, this)
 
998
 
 
999
        unique_lca_vals = set(filtered_lca_vals)
 
1000
        if len(unique_lca_vals) == 1:
 
1001
            return Merge3Merger._three_way(unique_lca_vals.pop(), other, this)
 
1002
 
 
1003
        if allow_overriding_lca:
 
1004
            if other in unique_lca_vals:
 
1005
                if this in unique_lca_vals:
 
1006
                    # Each side picked a different lca, conflict
 
1007
                    return 'conflict'
 
1008
                else:
 
1009
                    # This has a value which supersedes both lca values, and
 
1010
                    # other only has an lca value
 
1011
                    return 'this'
 
1012
            elif this in unique_lca_vals:
 
1013
                # OTHER has a value which supersedes both lca values, and this
 
1014
                # only has an lca value
 
1015
                return 'other'
 
1016
 
 
1017
        # At this point, the lcas disagree, and the tips disagree
 
1018
        return 'conflict'
 
1019
 
 
1020
    @staticmethod
634
1021
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
635
1022
        """Do a three-way test on a scalar.
636
1023
        Return "this", "other" or "conflict", depending whether a value wins.
641
1028
        if key_base == key_other:
642
1029
            return "this"
643
1030
        key_this = key(this_tree, file_id)
644
 
        if key_this not in (key_base, key_other):
 
1031
        # "Ambiguous clean merge"
 
1032
        if key_this == key_other:
 
1033
            return "this"
 
1034
        elif key_this == key_base:
 
1035
            return "other"
 
1036
        else:
645
1037
            return "conflict"
646
 
        # "Ambiguous clean merge"
647
 
        elif key_this == key_other:
648
 
            return "this"
649
 
        else:
650
 
            assert key_this == key_base
651
 
            return "other"
652
1038
 
653
1039
    def merge_names(self, file_id):
654
1040
        def get_entry(tree):
669
1055
            else:
670
1056
                names.append(entry.name)
671
1057
                parents.append(entry.parent_id)
672
 
        return self._merge_names(file_id, parents, names)
 
1058
        return self._merge_names(file_id, parents, names,
 
1059
                                 resolver=self._three_way)
673
1060
 
674
 
    def _merge_names(self, file_id, parents, names):
 
1061
    def _merge_names(self, file_id, parents, names, resolver):
675
1062
        """Perform a merge on file_id names and parents"""
676
1063
        base_name, other_name, this_name = names
677
1064
        base_parent, other_parent, this_parent = parents
678
1065
 
679
 
        name_winner = self._three_way(*names)
 
1066
        name_winner = resolver(*names)
680
1067
 
681
 
        parent_id_winner = self._three_way(*parents)
 
1068
        parent_id_winner = resolver(*parents)
682
1069
        if this_name is None:
683
1070
            if name_winner == "this":
684
1071
                name_winner = "other"
688
1075
            return
689
1076
        if name_winner == "conflict":
690
1077
            trans_id = self.tt.trans_id_file_id(file_id)
691
 
            self._raw_conflicts.append(('name conflict', trans_id, 
 
1078
            self._raw_conflicts.append(('name conflict', trans_id,
692
1079
                                        this_name, other_name))
693
1080
        if parent_id_winner == "conflict":
694
1081
            trans_id = self.tt.trans_id_file_id(file_id)
695
 
            self._raw_conflicts.append(('parent conflict', trans_id, 
 
1082
            self._raw_conflicts.append(('parent conflict', trans_id,
696
1083
                                        this_parent, other_parent))
697
1084
        if other_name is None:
698
 
            # it doesn't matter whether the result was 'other' or 
 
1085
            # it doesn't matter whether the result was 'other' or
699
1086
            # 'conflict'-- if there's no 'other', we leave it alone.
700
1087
            return
701
1088
        # if we get here, name_winner and parent_winner are set to safe values.
707
1094
                                parent_trans_id, trans_id)
708
1095
 
709
1096
    def merge_contents(self, file_id):
710
 
        """Performa a merge on file_id contents."""
 
1097
        """Performs a merge on file_id contents."""
711
1098
        def contents_pair(tree):
712
1099
            if file_id not in tree:
713
1100
                return (None, None)
728
1115
                self.tt.unversion_file(trans_id)
729
1116
                if file_id in self.this_tree:
730
1117
                    self.tt.delete_contents(trans_id)
731
 
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
1118
            file_group = self._dump_conflicts(name, parent_id, file_id,
732
1119
                                              set_version=True)
733
1120
            self._raw_conflicts.append(('contents conflict', file_group))
734
1121
 
737
1124
        # file kind...
738
1125
        base_pair = contents_pair(self.base_tree)
739
1126
        other_pair = contents_pair(self.other_tree)
740
 
        if base_pair == other_pair:
741
 
            # OTHER introduced no changes
742
 
            return "unmodified"
743
 
        this_pair = contents_pair(self.this_tree)
744
 
        if this_pair == other_pair:
745
 
            # THIS and OTHER introduced the same changes
746
 
            return "unmodified"
747
 
        else:
748
 
            trans_id = self.tt.trans_id_file_id(file_id)
749
 
            if this_pair == base_pair:
750
 
                # only OTHER introduced changes
751
 
                if file_id in self.this_tree:
752
 
                    # Remove any existing contents
753
 
                    self.tt.delete_contents(trans_id)
754
 
                if file_id in self.other_tree:
755
 
                    # OTHER changed the file
756
 
                    create_by_entry(self.tt, 
757
 
                                    self.other_tree.inventory[file_id], 
758
 
                                    self.other_tree, trans_id)
759
 
                    if file_id not in self.this_tree.inventory:
760
 
                        self.tt.version_file(file_id, trans_id)
761
 
                    return "modified"
762
 
                elif file_id in self.this_tree.inventory:
763
 
                    # OTHER deleted the file
764
 
                    self.tt.unversion_file(trans_id)
765
 
                    return "deleted"
766
 
            #BOTH THIS and OTHER introduced changes; scalar conflict
767
 
            elif this_pair[0] == "file" and other_pair[0] == "file":
 
1127
        if self._lca_trees:
 
1128
            this_pair = contents_pair(self.this_tree)
 
1129
            lca_pairs = [contents_pair(tree) for tree in self._lca_trees]
 
1130
            winner = self._lca_multi_way((base_pair, lca_pairs), other_pair,
 
1131
                                         this_pair, allow_overriding_lca=False)
 
1132
        else:
 
1133
            if base_pair == other_pair:
 
1134
                winner = 'this'
 
1135
            else:
 
1136
                # We delayed evaluating this_pair as long as we can to avoid
 
1137
                # unnecessary sha1 calculation
 
1138
                this_pair = contents_pair(self.this_tree)
 
1139
                winner = self._three_way(base_pair, other_pair, this_pair)
 
1140
        if winner == 'this':
 
1141
            # No interesting changes introduced by OTHER
 
1142
            return "unmodified"
 
1143
        trans_id = self.tt.trans_id_file_id(file_id)
 
1144
        if winner == 'other':
 
1145
            # OTHER is a straight winner, so replace this contents with other
 
1146
            file_in_this = file_id in self.this_tree
 
1147
            if file_in_this:
 
1148
                # Remove any existing contents
 
1149
                self.tt.delete_contents(trans_id)
 
1150
            if file_id in self.other_tree:
 
1151
                # OTHER changed the file
 
1152
                create_from_tree(self.tt, trans_id,
 
1153
                                 self.other_tree, file_id)
 
1154
                if not file_in_this:
 
1155
                    self.tt.version_file(file_id, trans_id)
 
1156
                return "modified"
 
1157
            elif file_in_this:
 
1158
                # OTHER deleted the file
 
1159
                self.tt.unversion_file(trans_id)
 
1160
                return "deleted"
 
1161
        else:
 
1162
            # We have a hypothetical conflict, but if we have files, then we
 
1163
            # can try to merge the content
 
1164
            if this_pair[0] == 'file' and other_pair[0] == 'file':
768
1165
                # THIS and OTHER are both files, so text merge.  Either
769
1166
                # BASE is a file, or both converted to files, so at least we
770
1167
                # have agreement that output should be a file.
772
1169
                    self.text_merge(file_id, trans_id)
773
1170
                except BinaryFile:
774
1171
                    return contents_conflict()
775
 
                if file_id not in self.this_tree.inventory:
 
1172
                if file_id not in self.this_tree:
776
1173
                    self.tt.version_file(file_id, trans_id)
777
1174
                try:
778
1175
                    self.tt.tree_kind(trans_id)
781
1178
                    pass
782
1179
                return "modified"
783
1180
            else:
784
 
                # Scalar conflict, can't text merge.  Dump conflicts
785
1181
                return contents_conflict()
786
1182
 
787
1183
    def get_lines(self, tree, file_id):
802
1198
            base_lines = []
803
1199
        other_lines = self.get_lines(self.other_tree, file_id)
804
1200
        this_lines = self.get_lines(self.this_tree, file_id)
805
 
        m3 = Merge3(base_lines, this_lines, other_lines)
 
1201
        m3 = Merge3(base_lines, this_lines, other_lines,
 
1202
                    is_cherrypick=self.cherrypick)
806
1203
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
807
1204
        if self.show_base is True:
808
1205
            base_marker = '|' * 7
811
1208
 
812
1209
        def iter_merge3(retval):
813
1210
            retval["text_conflicts"] = False
814
 
            for line in m3.merge_lines(name_a = "TREE", 
815
 
                                       name_b = "MERGE-SOURCE", 
 
1211
            for line in m3.merge_lines(name_a = "TREE",
 
1212
                                       name_b = "MERGE-SOURCE",
816
1213
                                       name_base = "BASE-REVISION",
817
 
                                       start_marker=start_marker, 
 
1214
                                       start_marker=start_marker,
818
1215
                                       base_marker=base_marker,
819
1216
                                       reprocess=self.reprocess):
820
1217
                if line.startswith(start_marker):
829
1226
            self._raw_conflicts.append(('text conflict', trans_id))
830
1227
            name = self.tt.final_name(trans_id)
831
1228
            parent_id = self.tt.final_parent(trans_id)
832
 
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
1229
            file_group = self._dump_conflicts(name, parent_id, file_id,
833
1230
                                              this_lines, base_lines,
834
1231
                                              other_lines)
835
1232
            file_group.append(trans_id)
836
1233
 
837
 
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None, 
 
1234
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None,
838
1235
                        base_lines=None, other_lines=None, set_version=False,
839
1236
                        no_base=False):
840
1237
        """Emit conflict files.
842
1239
        determined automatically.  If set_version is true, the .OTHER, .THIS
843
1240
        or .BASE (in that order) will be created as versioned files.
844
1241
        """
845
 
        data = [('OTHER', self.other_tree, other_lines), 
 
1242
        data = [('OTHER', self.other_tree, other_lines),
846
1243
                ('THIS', self.this_tree, this_lines)]
847
1244
        if not no_base:
848
1245
            data.append(('BASE', self.base_tree, base_lines))
857
1254
                    self.tt.version_file(file_id, trans_id)
858
1255
                    versioned = True
859
1256
        return file_group
860
 
           
861
 
    def _conflict_file(self, name, parent_id, tree, file_id, suffix, 
 
1257
 
 
1258
    def _conflict_file(self, name, parent_id, tree, file_id, suffix,
862
1259
                       lines=None):
863
1260
        """Emit a single conflict file."""
864
1261
        name = name + '.' + suffix
865
1262
        trans_id = self.tt.create_path(name, parent_id)
866
 
        entry = tree.inventory[file_id]
867
 
        create_by_entry(self.tt, entry, tree, trans_id, lines)
 
1263
        create_from_tree(self.tt, trans_id, tree, file_id, lines)
868
1264
        return trans_id
869
1265
 
870
1266
    def merge_executable(self, file_id, file_status):
871
1267
        """Perform a merge on the execute bit."""
872
1268
        executable = [self.executable(t, file_id) for t in (self.base_tree,
873
1269
                      self.other_tree, self.this_tree)]
874
 
        self._merge_executable(file_id, executable, file_status)
 
1270
        self._merge_executable(file_id, executable, file_status,
 
1271
                               resolver=self._three_way)
875
1272
 
876
 
    def _merge_executable(self, file_id, executable, file_status):
 
1273
    def _merge_executable(self, file_id, executable, file_status,
 
1274
                          resolver):
877
1275
        """Perform a merge on the execute bit."""
878
1276
        base_executable, other_executable, this_executable = executable
879
1277
        if file_status == "deleted":
880
1278
            return
881
 
        trans_id = self.tt.trans_id_file_id(file_id)
882
 
        try:
883
 
            if self.tt.final_kind(trans_id) != "file":
884
 
                return
885
 
        except NoSuchFile:
886
 
            return
887
 
        winner = self._three_way(*executable)
 
1279
        winner = resolver(*executable)
888
1280
        if winner == "conflict":
889
1281
        # There must be a None in here, if we have a conflict, but we
890
1282
        # need executability since file status was not deleted.
892
1284
                winner = "this"
893
1285
            else:
894
1286
                winner = "other"
 
1287
        if winner == 'this' and file_status != "modified":
 
1288
            return
 
1289
        trans_id = self.tt.trans_id_file_id(file_id)
 
1290
        try:
 
1291
            if self.tt.final_kind(trans_id) != "file":
 
1292
                return
 
1293
        except NoSuchFile:
 
1294
            return
895
1295
        if winner == "this":
896
 
            if file_status == "modified":
897
 
                executability = this_executable
898
 
                if executability is not None:
899
 
                    trans_id = self.tt.trans_id_file_id(file_id)
900
 
                    self.tt.set_executability(executability, trans_id)
 
1296
            executability = this_executable
901
1297
        else:
902
 
            assert winner == "other"
903
1298
            if file_id in self.other_tree:
904
1299
                executability = other_executable
905
1300
            elif file_id in self.this_tree:
906
1301
                executability = this_executable
907
1302
            elif file_id in self.base_tree:
908
1303
                executability = base_executable
909
 
            if executability is not None:
910
 
                trans_id = self.tt.trans_id_file_id(file_id)
911
 
                self.tt.set_executability(executability, trans_id)
 
1304
        if executability is not None:
 
1305
            trans_id = self.tt.trans_id_file_id(file_id)
 
1306
            self.tt.set_executability(executability, trans_id)
912
1307
 
913
1308
    def cook_conflicts(self, fs_conflicts):
914
1309
        """Convert all conflicts into a form that doesn't depend on trans_id"""
923
1318
                conflict_args = conflict[2:]
924
1319
                if trans_id not in name_conflicts:
925
1320
                    name_conflicts[trans_id] = {}
926
 
                unique_add(name_conflicts[trans_id], conflict_type, 
 
1321
                unique_add(name_conflicts[trans_id], conflict_type,
927
1322
                           conflict_args)
928
1323
            if conflict_type == 'contents conflict':
929
1324
                for trans_id in conflict[1]:
947
1342
        for trans_id, conflicts in name_conflicts.iteritems():
948
1343
            try:
949
1344
                this_parent, other_parent = conflicts['parent conflict']
950
 
                assert this_parent != other_parent
 
1345
                if this_parent == other_parent:
 
1346
                    raise AssertionError()
951
1347
            except KeyError:
952
1348
                this_parent = other_parent = \
953
1349
                    self.tt.final_file_id(self.tt.final_parent(trans_id))
954
1350
            try:
955
1351
                this_name, other_name = conflicts['name conflict']
956
 
                assert this_name != other_name
 
1352
                if this_name == other_name:
 
1353
                    raise AssertionError()
957
1354
            except KeyError:
958
1355
                this_name = other_name = self.tt.final_name(trans_id)
959
1356
            other_path = fp.get_path(trans_id)
974
1371
    """Three-way tree merger, text weave merger."""
975
1372
    supports_reprocess = True
976
1373
    supports_show_base = False
977
 
 
978
 
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
979
 
                 interesting_ids=None, pb=DummyProgress(), pp=None,
980
 
                 reprocess=False, change_reporter=None,
981
 
                 interesting_files=None):
982
 
        super(WeaveMerger, self).__init__(working_tree, this_tree, 
983
 
                                          base_tree, other_tree, 
984
 
                                          interesting_ids=interesting_ids, 
985
 
                                          pb=pb, pp=pp, reprocess=reprocess,
986
 
                                          change_reporter=change_reporter)
 
1374
    supports_reverse_cherrypick = False
 
1375
    history_based = True
987
1376
 
988
1377
    def _merged_lines(self, file_id):
989
1378
        """Generate the merged lines.
990
1379
        There is no distinction between lines that are meant to contain <<<<<<<
991
1380
        and conflicts.
992
1381
        """
993
 
        plan = self.this_tree.plan_file_merge(file_id, self.other_tree)
 
1382
        if self.cherrypick:
 
1383
            base = self.base_tree
 
1384
        else:
 
1385
            base = None
 
1386
        plan = self.this_tree.plan_file_merge(file_id, self.other_tree,
 
1387
                                              base=base)
 
1388
        if 'merge' in debug.debug_flags:
 
1389
            plan = list(plan)
 
1390
            trans_id = self.tt.trans_id_file_id(file_id)
 
1391
            name = self.tt.final_name(trans_id) + '.plan'
 
1392
            contents = ('%10s|%s' % l for l in plan)
 
1393
            self.tt.new_file(name, self.tt.final_parent(trans_id), contents)
994
1394
        textmerge = PlanWeaveMerge(plan, '<<<<<<< TREE\n',
995
1395
            '>>>>>>> MERGE-SOURCE\n')
996
1396
        return textmerge.merge_lines(self.reprocess)
1002
1402
        """
1003
1403
        lines, conflicts = self._merged_lines(file_id)
1004
1404
        lines = list(lines)
1005
 
        # Note we're checking whether the OUTPUT is binary in this case, 
 
1405
        # Note we're checking whether the OUTPUT is binary in this case,
1006
1406
        # because we don't want to get into weave merge guts.
1007
1407
        check_text_lines(lines)
1008
1408
        self.tt.create_file(lines, trans_id)
1010
1410
            self._raw_conflicts.append(('text conflict', trans_id))
1011
1411
            name = self.tt.final_name(trans_id)
1012
1412
            parent_id = self.tt.final_parent(trans_id)
1013
 
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
1413
            file_group = self._dump_conflicts(name, parent_id, file_id,
1014
1414
                                              no_base=True)
1015
1415
            file_group.append(trans_id)
1016
1416
 
1017
1417
 
 
1418
class LCAMerger(WeaveMerger):
 
1419
 
 
1420
    def _merged_lines(self, file_id):
 
1421
        """Generate the merged lines.
 
1422
        There is no distinction between lines that are meant to contain <<<<<<<
 
1423
        and conflicts.
 
1424
        """
 
1425
        if self.cherrypick:
 
1426
            base = self.base_tree
 
1427
        else:
 
1428
            base = None
 
1429
        plan = self.this_tree.plan_file_lca_merge(file_id, self.other_tree,
 
1430
                                                  base=base)
 
1431
        if 'merge' in debug.debug_flags:
 
1432
            plan = list(plan)
 
1433
            trans_id = self.tt.trans_id_file_id(file_id)
 
1434
            name = self.tt.final_name(trans_id) + '.plan'
 
1435
            contents = ('%10s|%s' % l for l in plan)
 
1436
            self.tt.new_file(name, self.tt.final_parent(trans_id), contents)
 
1437
        textmerge = PlanWeaveMerge(plan, '<<<<<<< TREE\n',
 
1438
            '>>>>>>> MERGE-SOURCE\n')
 
1439
        return textmerge.merge_lines(self.reprocess)
 
1440
 
 
1441
 
1018
1442
class Diff3Merger(Merge3Merger):
1019
1443
    """Three-way merger using external diff3 for text merging"""
1020
1444
 
1069
1493
                this_tree=None,
1070
1494
                pb=DummyProgress(),
1071
1495
                change_reporter=None):
1072
 
    """Primary interface for merging. 
 
1496
    """Primary interface for merging.
1073
1497
 
1074
 
        typical use is probably 
 
1498
        typical use is probably
1075
1499
        'merge_inner(branch, branch.get_revision_tree(other_revision),
1076
1500
                     branch.get_revision_tree(base_revision))'
1077
1501
        """
1085
1509
    merger.interesting_ids = interesting_ids
1086
1510
    merger.ignore_zero = ignore_zero
1087
1511
    if interesting_files:
1088
 
        assert not interesting_ids, ('Only supply interesting_ids'
1089
 
                                     ' or interesting_files')
 
1512
        if interesting_ids:
 
1513
            raise ValueError('Only supply interesting_ids'
 
1514
                             ' or interesting_files')
1090
1515
        merger.interesting_files = interesting_files
1091
1516
    merger.show_base = show_base
1092
1517
    merger.reprocess = reprocess
1093
1518
    merger.other_rev_id = other_rev_id
1094
1519
    merger.other_basis = other_rev_id
 
1520
    get_revision_id = getattr(base_tree, 'get_revision_id', None)
 
1521
    if get_revision_id is None:
 
1522
        get_revision_id = base_tree.last_revision
 
1523
    merger.set_base_revision(get_revision_id(), this_branch)
1095
1524
    return merger.do_merge()
1096
1525
 
1097
1526
def get_merge_type_registry():
1130
1559
            yield status_a(revision, text)
1131
1560
        for revision, text in annotated_b[b_cur:bi]:
1132
1561
            yield status_b(revision, text)
1133
 
 
1134
1562
        # and now the matched section
1135
1563
        a_cur = ai + l
1136
1564
        b_cur = bi + l
1137
 
        for text_a, text_b in zip(plain_a[ai:a_cur], plain_b[bi:b_cur]):
1138
 
            assert text_a == text_b
 
1565
        for text_a in plain_a[ai:a_cur]:
1139
1566
            yield "unchanged", text_a
 
1567
 
 
1568
 
 
1569
class _PlanMergeBase(object):
 
1570
 
 
1571
    def __init__(self, a_rev, b_rev, vf, key_prefix):
 
1572
        """Contructor.
 
1573
 
 
1574
        :param a_rev: Revision-id of one revision to merge
 
1575
        :param b_rev: Revision-id of the other revision to merge
 
1576
        :param vf: A VersionedFiles containing both revisions
 
1577
        :param key_prefix: A prefix for accessing keys in vf, typically
 
1578
            (file_id,).
 
1579
        """
 
1580
        self.a_rev = a_rev
 
1581
        self.b_rev = b_rev
 
1582
        self.vf = vf
 
1583
        self._last_lines = None
 
1584
        self._last_lines_revision_id = None
 
1585
        self._cached_matching_blocks = {}
 
1586
        self._key_prefix = key_prefix
 
1587
        self._precache_tip_lines()
 
1588
 
 
1589
    def _precache_tip_lines(self):
 
1590
        lines = self.get_lines([self.a_rev, self.b_rev])
 
1591
        self.lines_a = lines[self.a_rev]
 
1592
        self.lines_b = lines[self.b_rev]
 
1593
 
 
1594
    def get_lines(self, revisions):
 
1595
        """Get lines for revisions from the backing VersionedFiles.
 
1596
 
 
1597
        :raises RevisionNotPresent: on absent texts.
 
1598
        """
 
1599
        keys = [(self._key_prefix + (rev,)) for rev in revisions]
 
1600
        result = {}
 
1601
        for record in self.vf.get_record_stream(keys, 'unordered', True):
 
1602
            if record.storage_kind == 'absent':
 
1603
                raise errors.RevisionNotPresent(record.key, self.vf)
 
1604
            result[record.key[-1]] = osutils.chunks_to_lines(
 
1605
                record.get_bytes_as('chunked'))
 
1606
        return result
 
1607
 
 
1608
    def plan_merge(self):
 
1609
        """Generate a 'plan' for merging the two revisions.
 
1610
 
 
1611
        This involves comparing their texts and determining the cause of
 
1612
        differences.  If text A has a line and text B does not, then either the
 
1613
        line was added to text A, or it was deleted from B.  Once the causes
 
1614
        are combined, they are written out in the format described in
 
1615
        VersionedFile.plan_merge
 
1616
        """
 
1617
        blocks = self._get_matching_blocks(self.a_rev, self.b_rev)
 
1618
        unique_a, unique_b = self._unique_lines(blocks)
 
1619
        new_a, killed_b = self._determine_status(self.a_rev, unique_a)
 
1620
        new_b, killed_a = self._determine_status(self.b_rev, unique_b)
 
1621
        return self._iter_plan(blocks, new_a, killed_b, new_b, killed_a)
 
1622
 
 
1623
    def _iter_plan(self, blocks, new_a, killed_b, new_b, killed_a):
 
1624
        last_i = 0
 
1625
        last_j = 0
 
1626
        for i, j, n in blocks:
 
1627
            for a_index in range(last_i, i):
 
1628
                if a_index in new_a:
 
1629
                    if a_index in killed_b:
 
1630
                        yield 'conflicted-a', self.lines_a[a_index]
 
1631
                    else:
 
1632
                        yield 'new-a', self.lines_a[a_index]
 
1633
                else:
 
1634
                    yield 'killed-b', self.lines_a[a_index]
 
1635
            for b_index in range(last_j, j):
 
1636
                if b_index in new_b:
 
1637
                    if b_index in killed_a:
 
1638
                        yield 'conflicted-b', self.lines_b[b_index]
 
1639
                    else:
 
1640
                        yield 'new-b', self.lines_b[b_index]
 
1641
                else:
 
1642
                    yield 'killed-a', self.lines_b[b_index]
 
1643
            # handle common lines
 
1644
            for a_index in range(i, i+n):
 
1645
                yield 'unchanged', self.lines_a[a_index]
 
1646
            last_i = i+n
 
1647
            last_j = j+n
 
1648
 
 
1649
    def _get_matching_blocks(self, left_revision, right_revision):
 
1650
        """Return a description of which sections of two revisions match.
 
1651
 
 
1652
        See SequenceMatcher.get_matching_blocks
 
1653
        """
 
1654
        cached = self._cached_matching_blocks.get((left_revision,
 
1655
                                                   right_revision))
 
1656
        if cached is not None:
 
1657
            return cached
 
1658
        if self._last_lines_revision_id == left_revision:
 
1659
            left_lines = self._last_lines
 
1660
            right_lines = self.get_lines([right_revision])[right_revision]
 
1661
        else:
 
1662
            lines = self.get_lines([left_revision, right_revision])
 
1663
            left_lines = lines[left_revision]
 
1664
            right_lines = lines[right_revision]
 
1665
        self._last_lines = right_lines
 
1666
        self._last_lines_revision_id = right_revision
 
1667
        matcher = patiencediff.PatienceSequenceMatcher(None, left_lines,
 
1668
                                                       right_lines)
 
1669
        return matcher.get_matching_blocks()
 
1670
 
 
1671
    def _unique_lines(self, matching_blocks):
 
1672
        """Analyse matching_blocks to determine which lines are unique
 
1673
 
 
1674
        :return: a tuple of (unique_left, unique_right), where the values are
 
1675
            sets of line numbers of unique lines.
 
1676
        """
 
1677
        last_i = 0
 
1678
        last_j = 0
 
1679
        unique_left = []
 
1680
        unique_right = []
 
1681
        for i, j, n in matching_blocks:
 
1682
            unique_left.extend(range(last_i, i))
 
1683
            unique_right.extend(range(last_j, j))
 
1684
            last_i = i + n
 
1685
            last_j = j + n
 
1686
        return unique_left, unique_right
 
1687
 
 
1688
    @staticmethod
 
1689
    def _subtract_plans(old_plan, new_plan):
 
1690
        """Remove changes from new_plan that came from old_plan.
 
1691
 
 
1692
        It is assumed that the difference between the old_plan and new_plan
 
1693
        is their choice of 'b' text.
 
1694
 
 
1695
        All lines from new_plan that differ from old_plan are emitted
 
1696
        verbatim.  All lines from new_plan that match old_plan but are
 
1697
        not about the 'b' revision are emitted verbatim.
 
1698
 
 
1699
        Lines that match and are about the 'b' revision are the lines we
 
1700
        don't want, so we convert 'killed-b' -> 'unchanged', and 'new-b'
 
1701
        is skipped entirely.
 
1702
        """
 
1703
        matcher = patiencediff.PatienceSequenceMatcher(None, old_plan,
 
1704
                                                       new_plan)
 
1705
        last_j = 0
 
1706
        for i, j, n in matcher.get_matching_blocks():
 
1707
            for jj in range(last_j, j):
 
1708
                yield new_plan[jj]
 
1709
            for jj in range(j, j+n):
 
1710
                plan_line = new_plan[jj]
 
1711
                if plan_line[0] == 'new-b':
 
1712
                    pass
 
1713
                elif plan_line[0] == 'killed-b':
 
1714
                    yield 'unchanged', plan_line[1]
 
1715
                else:
 
1716
                    yield plan_line
 
1717
            last_j = j + n
 
1718
 
 
1719
 
 
1720
class _PlanMerge(_PlanMergeBase):
 
1721
    """Plan an annotate merge using on-the-fly annotation"""
 
1722
 
 
1723
    def __init__(self, a_rev, b_rev, vf, key_prefix):
 
1724
        super(_PlanMerge, self).__init__(a_rev, b_rev, vf, key_prefix)
 
1725
        self.a_key = self._key_prefix + (self.a_rev,)
 
1726
        self.b_key = self._key_prefix + (self.b_rev,)
 
1727
        self.graph = Graph(self.vf)
 
1728
        heads = self.graph.heads((self.a_key, self.b_key))
 
1729
        if len(heads) == 1:
 
1730
            # one side dominates, so we can just return its values, yay for
 
1731
            # per-file graphs
 
1732
            # Ideally we would know that before we get this far
 
1733
            self._head_key = heads.pop()
 
1734
            if self._head_key == self.a_key:
 
1735
                other = b_rev
 
1736
            else:
 
1737
                other = a_rev
 
1738
            mutter('found dominating revision for %s\n%s > %s', self.vf,
 
1739
                   self._head_key[-1], other)
 
1740
            self._weave = None
 
1741
        else:
 
1742
            self._head_key = None
 
1743
            self._build_weave()
 
1744
 
 
1745
    def _precache_tip_lines(self):
 
1746
        # Turn this into a no-op, because we will do this later
 
1747
        pass
 
1748
 
 
1749
    def _find_recursive_lcas(self):
 
1750
        """Find all the ancestors back to a unique lca"""
 
1751
        cur_ancestors = (self.a_key, self.b_key)
 
1752
        # graph.find_lca(uncommon, keys) now returns plain NULL_REVISION,
 
1753
        # rather than a key tuple. We will just map that directly to no common
 
1754
        # ancestors.
 
1755
        parent_map = {}
 
1756
        while True:
 
1757
            next_lcas = self.graph.find_lca(*cur_ancestors)
 
1758
            # Map a plain NULL_REVISION to a simple no-ancestors
 
1759
            if next_lcas == set([NULL_REVISION]):
 
1760
                next_lcas = ()
 
1761
            # Order the lca's based on when they were merged into the tip
 
1762
            # While the actual merge portion of weave merge uses a set() of
 
1763
            # active revisions, the order of insertion *does* effect the
 
1764
            # implicit ordering of the texts.
 
1765
            for rev_key in cur_ancestors:
 
1766
                ordered_parents = tuple(self.graph.find_merge_order(rev_key,
 
1767
                                                                    next_lcas))
 
1768
                parent_map[rev_key] = ordered_parents
 
1769
            if len(next_lcas) == 0:
 
1770
                break
 
1771
            elif len(next_lcas) == 1:
 
1772
                parent_map[list(next_lcas)[0]] = ()
 
1773
                break
 
1774
            elif len(next_lcas) > 2:
 
1775
                # More than 2 lca's, fall back to grabbing all nodes between
 
1776
                # this and the unique lca.
 
1777
                mutter('More than 2 LCAs, falling back to all nodes for:'
 
1778
                       ' %s, %s\n=> %s', self.a_key, self.b_key, cur_ancestors)
 
1779
                cur_lcas = next_lcas
 
1780
                while len(cur_lcas) > 1:
 
1781
                    cur_lcas = self.graph.find_lca(*cur_lcas)
 
1782
                if len(cur_lcas) == 0:
 
1783
                    # No common base to find, use the full ancestry
 
1784
                    unique_lca = None
 
1785
                else:
 
1786
                    unique_lca = list(cur_lcas)[0]
 
1787
                    if unique_lca == NULL_REVISION:
 
1788
                        # find_lca will return a plain 'NULL_REVISION' rather
 
1789
                        # than a key tuple when there is no common ancestor, we
 
1790
                        # prefer to just use None, because it doesn't confuse
 
1791
                        # _get_interesting_texts()
 
1792
                        unique_lca = None
 
1793
                parent_map.update(self._find_unique_parents(next_lcas,
 
1794
                                                            unique_lca))
 
1795
                break
 
1796
            cur_ancestors = next_lcas
 
1797
        return parent_map
 
1798
 
 
1799
    def _find_unique_parents(self, tip_keys, base_key):
 
1800
        """Find ancestors of tip that aren't ancestors of base.
 
1801
 
 
1802
        :param tip_keys: Nodes that are interesting
 
1803
        :param base_key: Cull all ancestors of this node
 
1804
        :return: The parent map for all revisions between tip_keys and
 
1805
            base_key. base_key will be included. References to nodes outside of
 
1806
            the ancestor set will also be removed.
 
1807
        """
 
1808
        # TODO: this would be simpler if find_unique_ancestors took a list
 
1809
        #       instead of a single tip, internally it supports it, but it
 
1810
        #       isn't a "backwards compatible" api change.
 
1811
        if base_key is None:
 
1812
            parent_map = dict(self.graph.iter_ancestry(tip_keys))
 
1813
            # We remove NULL_REVISION because it isn't a proper tuple key, and
 
1814
            # thus confuses things like _get_interesting_texts, and our logic
 
1815
            # to add the texts into the memory weave.
 
1816
            if NULL_REVISION in parent_map:
 
1817
                parent_map.pop(NULL_REVISION)
 
1818
        else:
 
1819
            interesting = set()
 
1820
            for tip in tip_keys:
 
1821
                interesting.update(
 
1822
                    self.graph.find_unique_ancestors(tip, [base_key]))
 
1823
            parent_map = self.graph.get_parent_map(interesting)
 
1824
            parent_map[base_key] = ()
 
1825
        culled_parent_map, child_map, tails = self._remove_external_references(
 
1826
            parent_map)
 
1827
        # Remove all the tails but base_key
 
1828
        if base_key is not None:
 
1829
            tails.remove(base_key)
 
1830
            self._prune_tails(culled_parent_map, child_map, tails)
 
1831
        # Now remove all the uninteresting 'linear' regions
 
1832
        simple_map = _mod_graph.collapse_linear_regions(culled_parent_map)
 
1833
        return simple_map
 
1834
 
 
1835
    @staticmethod
 
1836
    def _remove_external_references(parent_map):
 
1837
        """Remove references that go outside of the parent map.
 
1838
 
 
1839
        :param parent_map: Something returned from Graph.get_parent_map(keys)
 
1840
        :return: (filtered_parent_map, child_map, tails)
 
1841
            filtered_parent_map is parent_map without external references
 
1842
            child_map is the {parent_key: [child_keys]} mapping
 
1843
            tails is a list of nodes that do not have any parents in the map
 
1844
        """
 
1845
        # TODO: The basic effect of this function seems more generic than
 
1846
        #       _PlanMerge. But the specific details of building a child_map,
 
1847
        #       and computing tails seems very specific to _PlanMerge.
 
1848
        #       Still, should this be in Graph land?
 
1849
        filtered_parent_map = {}
 
1850
        child_map = {}
 
1851
        tails = []
 
1852
        for key, parent_keys in parent_map.iteritems():
 
1853
            culled_parent_keys = [p for p in parent_keys if p in parent_map]
 
1854
            if not culled_parent_keys:
 
1855
                tails.append(key)
 
1856
            for parent_key in culled_parent_keys:
 
1857
                child_map.setdefault(parent_key, []).append(key)
 
1858
            # TODO: Do we want to do this, it adds overhead for every node,
 
1859
            #       just to say that the node has no children
 
1860
            child_map.setdefault(key, [])
 
1861
            filtered_parent_map[key] = culled_parent_keys
 
1862
        return filtered_parent_map, child_map, tails
 
1863
 
 
1864
    @staticmethod
 
1865
    def _prune_tails(parent_map, child_map, tails_to_remove):
 
1866
        """Remove tails from the parent map.
 
1867
 
 
1868
        This will remove the supplied revisions until no more children have 0
 
1869
        parents.
 
1870
 
 
1871
        :param parent_map: A dict of {child: [parents]}, this dictionary will
 
1872
            be modified in place.
 
1873
        :param tails_to_remove: A list of tips that should be removed,
 
1874
            this list will be consumed
 
1875
        :param child_map: The reverse dict of parent_map ({parent: [children]})
 
1876
            this dict will be modified
 
1877
        :return: None, parent_map will be modified in place.
 
1878
        """
 
1879
        while tails_to_remove:
 
1880
            next = tails_to_remove.pop()
 
1881
            parent_map.pop(next)
 
1882
            children = child_map.pop(next)
 
1883
            for child in children:
 
1884
                child_parents = parent_map[child]
 
1885
                child_parents.remove(next)
 
1886
                if len(child_parents) == 0:
 
1887
                    tails_to_remove.append(child)
 
1888
 
 
1889
    def _get_interesting_texts(self, parent_map):
 
1890
        """Return a dict of texts we are interested in.
 
1891
 
 
1892
        Note that the input is in key tuples, but the output is in plain
 
1893
        revision ids.
 
1894
 
 
1895
        :param parent_map: The output from _find_recursive_lcas
 
1896
        :return: A dict of {'revision_id':lines} as returned by
 
1897
            _PlanMergeBase.get_lines()
 
1898
        """
 
1899
        all_revision_keys = set(parent_map)
 
1900
        all_revision_keys.add(self.a_key)
 
1901
        all_revision_keys.add(self.b_key)
 
1902
 
 
1903
        # Everything else is in 'keys' but get_lines is in 'revision_ids'
 
1904
        all_texts = self.get_lines([k[-1] for k in all_revision_keys])
 
1905
        return all_texts
 
1906
 
 
1907
    def _build_weave(self):
 
1908
        from bzrlib import weave
 
1909
        self._weave = weave.Weave(weave_name='in_memory_weave',
 
1910
                                  allow_reserved=True)
 
1911
        parent_map = self._find_recursive_lcas()
 
1912
 
 
1913
        all_texts = self._get_interesting_texts(parent_map)
 
1914
 
 
1915
        # Note: Unfortunately, the order given by topo_sort will effect the
 
1916
        # ordering resolution in the output. Specifically, if you add A then B,
 
1917
        # then in the output text A lines will show up before B lines. And, of
 
1918
        # course, topo_sort doesn't guarantee any real ordering.
 
1919
        # So we use merge_sort, and add a fake node on the tip.
 
1920
        # This ensures that left-hand parents will always be inserted into the
 
1921
        # weave before right-hand parents.
 
1922
        tip_key = self._key_prefix + (_mod_revision.CURRENT_REVISION,)
 
1923
        parent_map[tip_key] = (self.a_key, self.b_key)
 
1924
 
 
1925
        for seq_num, key, depth, eom in reversed(tsort.merge_sort(parent_map,
 
1926
                                                                  tip_key)):
 
1927
            if key == tip_key:
 
1928
                continue
 
1929
        # for key in tsort.topo_sort(parent_map):
 
1930
            parent_keys = parent_map[key]
 
1931
            revision_id = key[-1]
 
1932
            parent_ids = [k[-1] for k in parent_keys]
 
1933
            self._weave.add_lines(revision_id, parent_ids,
 
1934
                                  all_texts[revision_id])
 
1935
 
 
1936
    def plan_merge(self):
 
1937
        """Generate a 'plan' for merging the two revisions.
 
1938
 
 
1939
        This involves comparing their texts and determining the cause of
 
1940
        differences.  If text A has a line and text B does not, then either the
 
1941
        line was added to text A, or it was deleted from B.  Once the causes
 
1942
        are combined, they are written out in the format described in
 
1943
        VersionedFile.plan_merge
 
1944
        """
 
1945
        if self._head_key is not None: # There was a single head
 
1946
            if self._head_key == self.a_key:
 
1947
                plan = 'new-a'
 
1948
            else:
 
1949
                if self._head_key != self.b_key:
 
1950
                    raise AssertionError('There was an invalid head: %s != %s'
 
1951
                                         % (self.b_key, self._head_key))
 
1952
                plan = 'new-b'
 
1953
            head_rev = self._head_key[-1]
 
1954
            lines = self.get_lines([head_rev])[head_rev]
 
1955
            return ((plan, line) for line in lines)
 
1956
        return self._weave.plan_merge(self.a_rev, self.b_rev)
 
1957
 
 
1958
 
 
1959
class _PlanLCAMerge(_PlanMergeBase):
 
1960
    """
 
1961
    This merge algorithm differs from _PlanMerge in that:
 
1962
    1. comparisons are done against LCAs only
 
1963
    2. cases where a contested line is new versus one LCA but old versus
 
1964
       another are marked as conflicts, by emitting the line as conflicted-a
 
1965
       or conflicted-b.
 
1966
 
 
1967
    This is faster, and hopefully produces more useful output.
 
1968
    """
 
1969
 
 
1970
    def __init__(self, a_rev, b_rev, vf, key_prefix, graph):
 
1971
        _PlanMergeBase.__init__(self, a_rev, b_rev, vf, key_prefix)
 
1972
        lcas = graph.find_lca(key_prefix + (a_rev,), key_prefix + (b_rev,))
 
1973
        self.lcas = set()
 
1974
        for lca in lcas:
 
1975
            if lca == NULL_REVISION:
 
1976
                self.lcas.add(lca)
 
1977
            else:
 
1978
                self.lcas.add(lca[-1])
 
1979
        for lca in self.lcas:
 
1980
            if _mod_revision.is_null(lca):
 
1981
                lca_lines = []
 
1982
            else:
 
1983
                lca_lines = self.get_lines([lca])[lca]
 
1984
            matcher = patiencediff.PatienceSequenceMatcher(None, self.lines_a,
 
1985
                                                           lca_lines)
 
1986
            blocks = list(matcher.get_matching_blocks())
 
1987
            self._cached_matching_blocks[(a_rev, lca)] = blocks
 
1988
            matcher = patiencediff.PatienceSequenceMatcher(None, self.lines_b,
 
1989
                                                           lca_lines)
 
1990
            blocks = list(matcher.get_matching_blocks())
 
1991
            self._cached_matching_blocks[(b_rev, lca)] = blocks
 
1992
 
 
1993
    def _determine_status(self, revision_id, unique_line_numbers):
 
1994
        """Determines the status unique lines versus all lcas.
 
1995
 
 
1996
        Basically, determines why the line is unique to this revision.
 
1997
 
 
1998
        A line may be determined new, killed, or both.
 
1999
 
 
2000
        If a line is determined new, that means it was not present in at least
 
2001
        one LCA, and is not present in the other merge revision.
 
2002
 
 
2003
        If a line is determined killed, that means the line was present in
 
2004
        at least one LCA.
 
2005
 
 
2006
        If a line is killed and new, this indicates that the two merge
 
2007
        revisions contain differing conflict resolutions.
 
2008
        :param revision_id: The id of the revision in which the lines are
 
2009
            unique
 
2010
        :param unique_line_numbers: The line numbers of unique lines.
 
2011
        :return a tuple of (new_this, killed_other):
 
2012
        """
 
2013
        new = set()
 
2014
        killed = set()
 
2015
        unique_line_numbers = set(unique_line_numbers)
 
2016
        for lca in self.lcas:
 
2017
            blocks = self._get_matching_blocks(revision_id, lca)
 
2018
            unique_vs_lca, _ignored = self._unique_lines(blocks)
 
2019
            new.update(unique_line_numbers.intersection(unique_vs_lca))
 
2020
            killed.update(unique_line_numbers.difference(unique_vs_lca))
 
2021
        return new, killed