~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Ian Clatworthy
  • Date: 2007-12-07 04:21:59 UTC
  • mto: This revision was merged to the branch mainline in revision 3092.
  • Revision ID: ian.clatworthy@internode.on.net-20071207042159-n9rmhanqid1l7olh
Better PDF for Qiock Start Card (Ian Clatworthy)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
17
 
 
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
import os
18
19
import errno
19
 
from itertools import chain
20
 
import os
21
20
import warnings
22
21
 
23
22
from bzrlib import (
24
23
    debug,
25
24
    errors,
26
 
    graph as _mod_graph,
27
25
    osutils,
28
26
    patiencediff,
29
27
    registry,
30
28
    revision as _mod_revision,
31
 
    tree as _mod_tree,
32
 
    tsort,
33
29
    )
34
30
from bzrlib.branch import Branch
35
31
from bzrlib.conflicts import ConflictList, Conflict
46
42
                           WorkingTreeNotRevision,
47
43
                           BinaryFile,
48
44
                           )
49
 
from bzrlib.graph import Graph
50
45
from bzrlib.merge3 import Merge3
51
46
from bzrlib.osutils import rename, pathjoin
52
47
from progress import DummyProgress, ProgressPhase
53
48
from bzrlib.revision import (NULL_REVISION, ensure_null)
54
49
from bzrlib.textfile import check_text_lines
55
 
from bzrlib.trace import mutter, warning, note, is_quiet
56
 
from bzrlib.transform import (TransformPreview, TreeTransform,
57
 
                              resolve_conflicts, cook_conflicts,
58
 
                              conflict_pass, FinalPaths, create_from_tree,
 
50
from bzrlib.trace import mutter, warning, note
 
51
from bzrlib.transform import (TreeTransform, resolve_conflicts, cook_conflicts,
 
52
                              conflict_pass, FinalPaths, create_by_entry,
59
53
                              unique_add, ROOT_PARENT)
60
54
from bzrlib.versionedfile import PlanWeaveMerge
61
55
from bzrlib import ui
64
58
 
65
59
 
66
60
def transform_tree(from_tree, to_tree, interesting_ids=None):
67
 
    from_tree.lock_tree_write()
68
 
    try:
69
 
        merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
70
 
                    interesting_ids=interesting_ids, this_tree=from_tree)
71
 
    finally:
72
 
        from_tree.unlock()
 
61
    merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
 
62
                interesting_ids=interesting_ids, this_tree=from_tree)
73
63
 
74
64
 
75
65
class Merger(object):
76
66
    def __init__(self, this_branch, other_tree=None, base_tree=None,
77
 
                 this_tree=None, pb=None, change_reporter=None,
78
 
                 recurse='down', revision_graph=None):
 
67
                 this_tree=None, pb=DummyProgress(), change_reporter=None,
 
68
                 recurse='down'):
79
69
        object.__init__(self)
 
70
        assert this_tree is not None, "this_tree is required"
80
71
        self.this_branch = this_branch
81
72
        self.this_basis = _mod_revision.ensure_null(
82
73
            this_branch.last_revision())
93
84
        self.interesting_files = None
94
85
        self.show_base = False
95
86
        self.reprocess = False
96
 
        if pb is None:
97
 
            pb = DummyProgress()
98
87
        self._pb = pb
99
88
        self.pp = None
100
89
        self.recurse = recurse
101
90
        self.change_reporter = change_reporter
102
91
        self._cached_trees = {}
103
 
        self._revision_graph = revision_graph
104
 
        self._base_is_ancestor = None
105
 
        self._base_is_other_ancestor = None
106
 
        self._is_criss_cross = None
107
 
        self._lca_trees = None
108
 
 
109
 
    def cache_trees_with_revision_ids(self, trees):
110
 
        """Cache any tree in trees if it has a revision_id."""
111
 
        for maybe_tree in trees:
112
 
            if maybe_tree is None:
113
 
                continue
114
 
            try:
115
 
                rev_id = maybe_tree.get_revision_id()
116
 
            except AttributeError:
117
 
                continue
118
 
            self._cached_trees[rev_id] = maybe_tree
119
 
 
120
 
    @property
121
 
    def revision_graph(self):
122
 
        if self._revision_graph is None:
123
 
            self._revision_graph = self.this_branch.repository.get_graph()
124
 
        return self._revision_graph
125
 
 
126
 
    def _set_base_is_ancestor(self, value):
127
 
        self._base_is_ancestor = value
128
 
 
129
 
    def _get_base_is_ancestor(self):
130
 
        if self._base_is_ancestor is None:
131
 
            self._base_is_ancestor = self.revision_graph.is_ancestor(
132
 
                self.base_rev_id, self.this_basis)
133
 
        return self._base_is_ancestor
134
 
 
135
 
    base_is_ancestor = property(_get_base_is_ancestor, _set_base_is_ancestor)
136
 
 
137
 
    def _set_base_is_other_ancestor(self, value):
138
 
        self._base_is_other_ancestor = value
139
 
 
140
 
    def _get_base_is_other_ancestor(self):
141
 
        if self._base_is_other_ancestor is None:
142
 
            if self.other_basis is None:
143
 
                return True
144
 
            self._base_is_other_ancestor = self.revision_graph.is_ancestor(
145
 
                self.base_rev_id, self.other_basis)
146
 
        return self._base_is_other_ancestor
147
 
 
148
 
    base_is_other_ancestor = property(_get_base_is_other_ancestor,
149
 
                                      _set_base_is_other_ancestor)
150
92
 
151
93
    @staticmethod
152
 
    def from_uncommitted(tree, other_tree, pb=None, base_tree=None):
 
94
    def from_uncommitted(tree, other_tree, pb):
153
95
        """Return a Merger for uncommitted changes in other_tree.
154
96
 
155
97
        :param tree: The tree to merge into
156
98
        :param other_tree: The tree to get uncommitted changes from
157
99
        :param pb: A progress indicator
158
 
        :param base_tree: The basis to use for the merge.  If unspecified,
159
 
            other_tree.basis_tree() will be used.
160
100
        """
161
 
        if base_tree is None:
162
 
            base_tree = other_tree.basis_tree()
163
 
        merger = Merger(tree.branch, other_tree, base_tree, tree, pb)
 
101
        merger = Merger(tree.branch, other_tree, other_tree.basis_tree(), tree,
 
102
                        pb)
164
103
        merger.base_rev_id = merger.base_tree.get_revision_id()
165
104
        merger.other_rev_id = None
166
 
        merger.other_basis = merger.base_rev_id
167
105
        return merger
168
106
 
169
107
    @classmethod
177
115
        mergeable.install_revisions(tree.branch.repository)
178
116
        base_revision_id, other_revision_id, verified =\
179
117
            mergeable.get_merge_request(tree.branch.repository)
180
 
        revision_graph = tree.branch.repository.get_graph()
181
 
        if base_revision_id is not None:
182
 
            if (base_revision_id != _mod_revision.NULL_REVISION and
183
 
                revision_graph.is_ancestor(
184
 
                base_revision_id, tree.branch.last_revision())):
185
 
                base_revision_id = None
186
 
            else:
187
 
                warning('Performing cherrypick')
 
118
        if (base_revision_id != _mod_revision.NULL_REVISION and
 
119
            tree.branch.repository.get_graph().is_ancestor(
 
120
            base_revision_id, tree.branch.last_revision())):
 
121
            base_revision_id = None
188
122
        merger = klass.from_revision_ids(pb, tree, other_revision_id,
189
 
                                         base_revision_id, revision_graph=
190
 
                                         revision_graph)
 
123
                                         base_revision_id)
191
124
        return merger, verified
192
125
 
193
126
    @staticmethod
194
 
    def from_revision_ids(pb, tree, other, base=None, other_branch=None,
195
 
                          base_branch=None, revision_graph=None,
196
 
                          tree_branch=None):
 
127
    def from_revision_ids(pb, this, other, base=None, other_branch=None,
 
128
                          base_branch=None):
197
129
        """Return a Merger for revision-ids.
198
130
 
199
 
        :param pb: A progress indicator
200
131
        :param tree: The tree to merge changes into
201
132
        :param other: The revision-id to use as OTHER
202
133
        :param base: The revision-id to use as BASE.  If not specified, will
203
134
            be auto-selected.
204
135
        :param other_branch: A branch containing the other revision-id.  If
205
 
            not supplied, tree.branch is used.
 
136
            not supplied, this.branch is used.
206
137
        :param base_branch: A branch containing the base revision-id.  If
207
 
            not supplied, other_branch or tree.branch will be used.
208
 
        :param revision_graph: If you have a revision_graph precomputed, pass
209
 
            it in, otherwise it will be created for you.
210
 
        :param tree_branch: The branch associated with tree.  If not supplied,
211
 
            tree.branch will be used.
 
138
            not supplied, other_branch or this.branch will be used.
 
139
        :param pb: A progress indicator
212
140
        """
213
 
        if tree_branch is None:
214
 
            tree_branch = tree.branch
215
 
        merger = Merger(tree_branch, this_tree=tree, pb=pb,
216
 
                        revision_graph=revision_graph)
 
141
        merger = Merger(this.branch, this_tree=this, pb=pb)
217
142
        if other_branch is None:
218
 
            other_branch = tree.branch
 
143
            other_branch = this.branch
219
144
        merger.set_other_revision(other, other_branch)
220
145
        if base is None:
221
146
            merger.find_base()
258
183
 
259
184
        if self.other_rev_id is None:
260
185
            other_basis_tree = self.revision_tree(self.other_basis)
261
 
            if other_basis_tree.has_changes(self.other_tree):
 
186
            changes = other_basis_tree.changes_from(self.other_tree)
 
187
            if changes.has_changed():
262
188
                raise WorkingTreeNotRevision(self.this_tree)
263
189
            other_rev_id = self.other_basis
264
190
            self.other_tree = other_basis_tree
267
193
        self.ensure_revision_trees()
268
194
        def get_id(tree, file_id):
269
195
            revision_id = tree.inventory[file_id].revision
 
196
            assert revision_id is not None
270
197
            return revision_id
271
198
        if self.this_rev_id is None:
272
199
            if self.this_basis_tree.get_file_sha1(file_id) != \
288
215
    def compare_basis(self):
289
216
        try:
290
217
            basis_tree = self.revision_tree(self.this_tree.last_revision())
291
 
        except errors.NoSuchRevision:
 
218
        except errors.RevisionNotPresent:
292
219
            basis_tree = self.this_tree.basis_tree()
293
 
        if not self.this_tree.has_changes(basis_tree):
 
220
        changes = self.this_tree.changes_from(basis_tree)
 
221
        if not changes.has_changed():
294
222
            self.this_rev_id = self.this_basis
295
223
 
296
224
    def set_interesting_files(self, file_list):
307
235
        for revision_id in new_parents:
308
236
            try:
309
237
                tree = self.revision_tree(revision_id)
310
 
            except errors.NoSuchRevision:
 
238
            except errors.RevisionNotPresent:
311
239
                tree = None
312
240
            else:
313
241
                tree.lock_read()
369
297
        self.base_branch = branch
370
298
        self._maybe_fetch(branch, self.this_branch, revision_id)
371
299
        self.base_tree = self.revision_tree(revision_id)
 
300
        graph = self.this_branch.repository.get_graph()
 
301
        self.base_is_ancestor = graph.is_ancestor(self.base_rev_id,
 
302
                                                  self.this_basis)
 
303
        self.base_is_other_ancestor = graph.is_ancestor(self.base_rev_id,
 
304
                                                        self.other_basis)
372
305
 
373
306
    def _maybe_fetch(self, source, target, revision_id):
374
307
        if not source.repository.has_same_location(target.repository):
375
308
            target.fetch(source, revision_id)
376
309
 
377
310
    def find_base(self):
 
311
        this_repo = self.this_branch.repository
 
312
        graph = this_repo.get_graph()
378
313
        revisions = [ensure_null(self.this_basis),
379
314
                     ensure_null(self.other_basis)]
380
315
        if NULL_REVISION in revisions:
381
316
            self.base_rev_id = NULL_REVISION
382
 
            self.base_tree = self.revision_tree(self.base_rev_id)
383
 
            self._is_criss_cross = False
384
317
        else:
385
 
            lcas = self.revision_graph.find_lca(revisions[0], revisions[1])
386
 
            self._is_criss_cross = False
387
 
            if len(lcas) == 0:
388
 
                self.base_rev_id = NULL_REVISION
389
 
            elif len(lcas) == 1:
390
 
                self.base_rev_id = list(lcas)[0]
391
 
            else: # len(lcas) > 1
392
 
                if len(lcas) > 2:
393
 
                    # find_unique_lca can only handle 2 nodes, so we have to
394
 
                    # start back at the beginning. It is a shame to traverse
395
 
                    # the graph again, but better than re-implementing
396
 
                    # find_unique_lca.
397
 
                    self.base_rev_id = self.revision_graph.find_unique_lca(
398
 
                                            revisions[0], revisions[1])
399
 
                else:
400
 
                    self.base_rev_id = self.revision_graph.find_unique_lca(
401
 
                                            *lcas)
402
 
                self._is_criss_cross = True
 
318
            self.base_rev_id, steps = graph.find_unique_lca(revisions[0],
 
319
                revisions[1], count_steps=True)
403
320
            if self.base_rev_id == NULL_REVISION:
404
321
                raise UnrelatedBranches()
405
 
            if self._is_criss_cross:
 
322
            if steps > 1:
406
323
                warning('Warning: criss-cross merge encountered.  See bzr'
407
324
                        ' help criss-cross.')
408
 
                mutter('Criss-cross lcas: %r' % lcas)
409
 
                interesting_revision_ids = [self.base_rev_id]
410
 
                interesting_revision_ids.extend(lcas)
411
 
                interesting_trees = dict((t.get_revision_id(), t)
412
 
                    for t in self.this_branch.repository.revision_trees(
413
 
                        interesting_revision_ids))
414
 
                self._cached_trees.update(interesting_trees)
415
 
                self.base_tree = interesting_trees.pop(self.base_rev_id)
416
 
                sorted_lca_keys = self.revision_graph.find_merge_order(
417
 
                    revisions[0], lcas)
418
 
                self._lca_trees = [interesting_trees[key]
419
 
                                   for key in sorted_lca_keys]
420
 
            else:
421
 
                self.base_tree = self.revision_tree(self.base_rev_id)
 
325
        self.base_tree = self.revision_tree(self.base_rev_id)
422
326
        self.base_is_ancestor = True
423
327
        self.base_is_other_ancestor = True
424
 
        mutter('Base revid: %r' % self.base_rev_id)
425
328
 
426
329
    def set_base(self, base_revision):
427
330
        """Set the base revision to use for the merge.
441
344
                self.base_rev_id = _mod_revision.ensure_null(
442
345
                    base_branch.get_rev_id(base_revision[1]))
443
346
            self._maybe_fetch(base_branch, self.this_branch, self.base_rev_id)
 
347
            graph = self.this_branch.repository.get_graph()
 
348
            self.base_is_ancestor = graph.is_ancestor(self.base_rev_id,
 
349
                                                      self.this_basis)
 
350
            self.base_is_other_ancestor = graph.is_ancestor(self.base_rev_id,
 
351
                                                            self.other_basis)
444
352
 
445
 
    def make_merger(self):
 
353
    def do_merge(self):
446
354
        kwargs = {'working_tree':self.this_tree, 'this_tree': self.this_tree,
447
355
                  'other_tree': self.other_tree,
448
356
                  'interesting_ids': self.interesting_ids,
449
357
                  'interesting_files': self.interesting_files,
450
 
                  'pp': self.pp,
451
 
                  'do_merge': False}
 
358
                  'pp': self.pp}
452
359
        if self.merge_type.requires_base:
453
360
            kwargs['base_tree'] = self.base_tree
454
361
        if self.merge_type.supports_reprocess:
460
367
            kwargs['show_base'] = self.show_base
461
368
        elif self.show_base:
462
369
            raise BzrError("Showing base is not supported for this"
463
 
                           " merge type. %s" % self.merge_type)
464
 
        if (not getattr(self.merge_type, 'supports_reverse_cherrypick', True)
465
 
            and not self.base_is_other_ancestor):
466
 
            raise errors.CannotReverseCherrypick()
467
 
        if self.merge_type.supports_cherrypick:
468
 
            kwargs['cherrypick'] = (not self.base_is_ancestor or
469
 
                                    not self.base_is_other_ancestor)
470
 
        if self._is_criss_cross and getattr(self.merge_type,
471
 
                                            'supports_lca_trees', False):
472
 
            kwargs['lca_trees'] = self._lca_trees
473
 
        return self.merge_type(pb=self._pb,
474
 
                               change_reporter=self.change_reporter,
475
 
                               **kwargs)
476
 
 
477
 
    def _do_merge_to(self, merge):
478
 
        if self.other_branch is not None:
479
 
            self.other_branch.update_references(self.this_branch)
480
 
        merge.do_merge()
481
 
        if self.recurse == 'down':
482
 
            for relpath, file_id in self.this_tree.iter_references():
483
 
                sub_tree = self.this_tree.get_nested_tree(file_id, relpath)
484
 
                other_revision = self.other_tree.get_reference_revision(
485
 
                    file_id, relpath)
486
 
                if  other_revision == sub_tree.last_revision():
487
 
                    continue
488
 
                sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
489
 
                sub_merge.merge_type = self.merge_type
490
 
                other_branch = self.other_branch.reference_parent(file_id, relpath)
491
 
                sub_merge.set_other_revision(other_revision, other_branch)
492
 
                base_revision = self.base_tree.get_reference_revision(file_id)
493
 
                sub_merge.base_tree = \
494
 
                    sub_tree.branch.repository.revision_tree(base_revision)
495
 
                sub_merge.base_rev_id = base_revision
496
 
                sub_merge.do_merge()
497
 
 
498
 
    def do_merge(self):
 
370
                                  " merge type. %s" % self.merge_type)
499
371
        self.this_tree.lock_tree_write()
 
372
        if self.base_tree is not None:
 
373
            self.base_tree.lock_read()
 
374
        if self.other_tree is not None:
 
375
            self.other_tree.lock_read()
500
376
        try:
 
377
            merge = self.merge_type(pb=self._pb,
 
378
                                    change_reporter=self.change_reporter,
 
379
                                    **kwargs)
 
380
            if self.recurse == 'down':
 
381
                for path, file_id in self.this_tree.iter_references():
 
382
                    sub_tree = self.this_tree.get_nested_tree(file_id, path)
 
383
                    other_revision = self.other_tree.get_reference_revision(
 
384
                        file_id, path)
 
385
                    if  other_revision == sub_tree.last_revision():
 
386
                        continue
 
387
                    sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
 
388
                    sub_merge.merge_type = self.merge_type
 
389
                    relpath = self.this_tree.relpath(path)
 
390
                    other_branch = self.other_branch.reference_parent(file_id, relpath)
 
391
                    sub_merge.set_other_revision(other_revision, other_branch)
 
392
                    base_revision = self.base_tree.get_reference_revision(file_id)
 
393
                    sub_merge.base_tree = \
 
394
                        sub_tree.branch.repository.revision_tree(base_revision)
 
395
                    sub_merge.do_merge()
 
396
 
 
397
        finally:
 
398
            if self.other_tree is not None:
 
399
                self.other_tree.unlock()
501
400
            if self.base_tree is not None:
502
 
                self.base_tree.lock_read()
503
 
            try:
504
 
                if self.other_tree is not None:
505
 
                    self.other_tree.lock_read()
506
 
                try:
507
 
                    merge = self.make_merger()
508
 
                    self._do_merge_to(merge)
509
 
                finally:
510
 
                    if self.other_tree is not None:
511
 
                        self.other_tree.unlock()
512
 
            finally:
513
 
                if self.base_tree is not None:
514
 
                    self.base_tree.unlock()
515
 
        finally:
 
401
                self.base_tree.unlock()
516
402
            self.this_tree.unlock()
517
403
        if len(merge.cooked_conflicts) == 0:
518
 
            if not self.ignore_zero and not is_quiet():
 
404
            if not self.ignore_zero:
519
405
                note("All changes applied successfully.")
520
406
        else:
521
407
            note("%d conflicts encountered." % len(merge.cooked_conflicts))
523
409
        return len(merge.cooked_conflicts)
524
410
 
525
411
 
526
 
class _InventoryNoneEntry(object):
527
 
    """This represents an inventory entry which *isn't there*.
528
 
 
529
 
    It simplifies the merging logic if we always have an InventoryEntry, even
530
 
    if it isn't actually present
531
 
    """
532
 
    executable = None
533
 
    kind = None
534
 
    name = None
535
 
    parent_id = None
536
 
    revision = None
537
 
    symlink_target = None
538
 
    text_sha1 = None
539
 
 
540
 
_none_entry = _InventoryNoneEntry()
541
 
 
542
 
 
543
412
class Merge3Merger(object):
544
413
    """Three-way merger that uses the merge3 text merger"""
545
414
    requires_base = True
546
415
    supports_reprocess = True
547
416
    supports_show_base = True
548
417
    history_based = False
549
 
    supports_cherrypick = True
550
 
    supports_reverse_cherrypick = True
551
418
    winner_idx = {"this": 2, "other": 1, "conflict": 1}
552
 
    supports_lca_trees = True
553
419
 
554
 
    def __init__(self, working_tree, this_tree, base_tree, other_tree,
 
420
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
555
421
                 interesting_ids=None, reprocess=False, show_base=False,
556
422
                 pb=DummyProgress(), pp=None, change_reporter=None,
557
 
                 interesting_files=None, do_merge=True,
558
 
                 cherrypick=False, lca_trees=None):
 
423
                 interesting_files=None):
559
424
        """Initialize the merger object and perform the merge.
560
425
 
561
426
        :param working_tree: The working tree to apply the merge to
562
427
        :param this_tree: The local tree in the merge operation
563
428
        :param base_tree: The common tree in the merge operation
564
 
        :param other_tree: The other tree to merge changes from
 
429
        :param other_tree: The other other tree to merge changes from
565
430
        :param interesting_ids: The file_ids of files that should be
566
431
            participate in the merge.  May not be combined with
567
432
            interesting_files.
577
442
            be combined with interesting_ids.  If neither interesting_files nor
578
443
            interesting_ids is specified, all files may participate in the
579
444
            merge.
580
 
        :param lca_trees: Can be set to a dictionary of {revision_id:rev_tree}
581
 
            if the ancestry was found to include a criss-cross merge.
582
 
            Otherwise should be None.
583
445
        """
584
446
        object.__init__(self)
585
 
        if interesting_files is not None and interesting_ids is not None:
586
 
            raise ValueError(
587
 
                'specify either interesting_ids or interesting_files')
 
447
        if interesting_files is not None:
 
448
            assert interesting_ids is None
588
449
        self.interesting_ids = interesting_ids
589
450
        self.interesting_files = interesting_files
590
451
        self.this_tree = working_tree
 
452
        self.this_tree.lock_tree_write()
591
453
        self.base_tree = base_tree
 
454
        self.base_tree.lock_read()
592
455
        self.other_tree = other_tree
 
456
        self.other_tree.lock_read()
593
457
        self._raw_conflicts = []
594
458
        self.cooked_conflicts = []
595
459
        self.reprocess = reprocess
596
460
        self.show_base = show_base
597
 
        self._lca_trees = lca_trees
598
 
        # Uncommenting this will change the default algorithm to always use
599
 
        # _entries_lca. This can be useful for running the test suite and
600
 
        # making sure we haven't missed any corner cases.
601
 
        # if lca_trees is None:
602
 
        #     self._lca_trees = [self.base_tree]
603
461
        self.pb = pb
604
462
        self.pp = pp
605
463
        self.change_reporter = change_reporter
606
 
        self.cherrypick = cherrypick
607
464
        if self.pp is None:
608
465
            self.pp = ProgressPhase("Merge phase", 3, self.pb)
609
 
        if do_merge:
610
 
            self.do_merge()
611
466
 
612
 
    def do_merge(self):
613
 
        self.this_tree.lock_tree_write()
614
 
        self.base_tree.lock_read()
615
 
        self.other_tree.lock_read()
616
 
        self.tt = TreeTransform(self.this_tree, self.pb)
 
467
        self.tt = TreeTransform(working_tree, self.pb)
617
468
        try:
618
469
            self.pp.next_phase()
619
 
            self._compute_transform()
 
470
            entries = self._entries3()
 
471
            child_pb = ui.ui_factory.nested_progress_bar()
 
472
            try:
 
473
                for num, (file_id, changed, parents3, names3,
 
474
                          executable3) in enumerate(entries):
 
475
                    child_pb.update('Preparing file merge', num, len(entries))
 
476
                    self._merge_names(file_id, parents3, names3)
 
477
                    if changed:
 
478
                        file_status = self.merge_contents(file_id)
 
479
                    else:
 
480
                        file_status = 'unmodified'
 
481
                    self._merge_executable(file_id,
 
482
                        executable3, file_status)
 
483
            finally:
 
484
                child_pb.finished()
 
485
            self.fix_root()
 
486
            self.pp.next_phase()
 
487
            child_pb = ui.ui_factory.nested_progress_bar()
 
488
            try:
 
489
                fs_conflicts = resolve_conflicts(self.tt, child_pb,
 
490
                    lambda t, c: conflict_pass(t, c, self.other_tree))
 
491
            finally:
 
492
                child_pb.finished()
 
493
            if change_reporter is not None:
 
494
                from bzrlib import delta
 
495
                delta.report_changes(self.tt._iter_changes(), change_reporter)
 
496
            self.cook_conflicts(fs_conflicts)
 
497
            for conflict in self.cooked_conflicts:
 
498
                warning(conflict)
620
499
            self.pp.next_phase()
621
500
            results = self.tt.apply(no_conflicts=True)
622
501
            self.write_modified(results)
623
502
            try:
624
 
                self.this_tree.add_conflicts(self.cooked_conflicts)
 
503
                working_tree.add_conflicts(self.cooked_conflicts)
625
504
            except UnsupportedOperation:
626
505
                pass
627
506
        finally:
631
510
            self.this_tree.unlock()
632
511
            self.pb.clear()
633
512
 
634
 
    def make_preview_transform(self):
635
 
        self.base_tree.lock_read()
636
 
        self.other_tree.lock_read()
637
 
        self.tt = TransformPreview(self.this_tree)
638
 
        try:
639
 
            self.pp.next_phase()
640
 
            self._compute_transform()
641
 
            self.pp.next_phase()
642
 
        finally:
643
 
            self.other_tree.unlock()
644
 
            self.base_tree.unlock()
645
 
            self.pb.clear()
646
 
        return self.tt
647
 
 
648
 
    def _compute_transform(self):
649
 
        if self._lca_trees is None:
650
 
            entries = self._entries3()
651
 
            resolver = self._three_way
652
 
        else:
653
 
            entries = self._entries_lca()
654
 
            resolver = self._lca_multi_way
655
 
        child_pb = ui.ui_factory.nested_progress_bar()
656
 
        try:
657
 
            for num, (file_id, changed, parents3, names3,
658
 
                      executable3) in enumerate(entries):
659
 
                child_pb.update('Preparing file merge', num, len(entries))
660
 
                self._merge_names(file_id, parents3, names3, resolver=resolver)
661
 
                if changed:
662
 
                    file_status = self.merge_contents(file_id)
663
 
                else:
664
 
                    file_status = 'unmodified'
665
 
                self._merge_executable(file_id,
666
 
                    executable3, file_status, resolver=resolver)
667
 
        finally:
668
 
            child_pb.finished()
669
 
        self.fix_root()
670
 
        self.pp.next_phase()
671
 
        child_pb = ui.ui_factory.nested_progress_bar()
672
 
        try:
673
 
            fs_conflicts = resolve_conflicts(self.tt, child_pb,
674
 
                lambda t, c: conflict_pass(t, c, self.other_tree))
675
 
        finally:
676
 
            child_pb.finished()
677
 
        if self.change_reporter is not None:
678
 
            from bzrlib import delta
679
 
            delta.report_changes(
680
 
                self.tt.iter_changes(), self.change_reporter)
681
 
        self.cook_conflicts(fs_conflicts)
682
 
        for conflict in self.cooked_conflicts:
683
 
            warning(conflict)
684
 
 
685
513
    def _entries3(self):
686
514
        """Gather data about files modified between three trees.
687
515
 
692
520
        executable3 is a tuple of execute-bit values for base, other and this.
693
521
        """
694
522
        result = []
695
 
        iterator = self.other_tree.iter_changes(self.base_tree,
 
523
        iterator = self.other_tree._iter_changes(self.base_tree,
696
524
                include_unchanged=True, specific_files=self.interesting_files,
697
525
                extra_trees=[self.this_tree])
698
 
        this_entries = dict((e.file_id, e) for p, e in
699
 
                            self.this_tree.iter_entries_by_dir(
700
 
                            self.interesting_ids))
701
526
        for (file_id, paths, changed, versioned, parents, names, kind,
702
527
             executable) in iterator:
703
528
            if (self.interesting_ids is not None and
704
529
                file_id not in self.interesting_ids):
705
530
                continue
706
 
            entry = this_entries.get(file_id)
707
 
            if entry is not None:
 
531
            if file_id in self.this_tree.inventory:
 
532
                entry = self.this_tree.inventory[file_id]
708
533
                this_name = entry.name
709
534
                this_parent = entry.parent_id
710
535
                this_executable = entry.executable
718
543
            result.append((file_id, changed, parents3, names3, executable3))
719
544
        return result
720
545
 
721
 
    def _entries_lca(self):
722
 
        """Gather data about files modified between multiple trees.
723
 
 
724
 
        This compares OTHER versus all LCA trees, and for interesting entries,
725
 
        it then compares with THIS and BASE.
726
 
 
727
 
        For the multi-valued entries, the format will be (BASE, [lca1, lca2])
728
 
        :return: [(file_id, changed, parents, names, executable)]
729
 
            file_id     Simple file_id of the entry
730
 
            changed     Boolean, True if the kind or contents changed
731
 
                        else False
732
 
            parents     ((base, [parent_id, in, lcas]), parent_id_other,
733
 
                         parent_id_this)
734
 
            names       ((base, [name, in, lcas]), name_in_other, name_in_this)
735
 
            executable  ((base, [exec, in, lcas]), exec_in_other, exec_in_this)
736
 
        """
737
 
        if self.interesting_files is not None:
738
 
            lookup_trees = [self.this_tree, self.base_tree]
739
 
            lookup_trees.extend(self._lca_trees)
740
 
            # I think we should include the lca trees as well
741
 
            interesting_ids = self.other_tree.paths2ids(self.interesting_files,
742
 
                                                        lookup_trees)
743
 
        else:
744
 
            interesting_ids = self.interesting_ids
745
 
        result = []
746
 
        walker = _mod_tree.MultiWalker(self.other_tree, self._lca_trees)
747
 
 
748
 
        base_inventory = self.base_tree.inventory
749
 
        this_inventory = self.this_tree.inventory
750
 
        for path, file_id, other_ie, lca_values in walker.iter_all():
751
 
            # Is this modified at all from any of the other trees?
752
 
            if other_ie is None:
753
 
                other_ie = _none_entry
754
 
            if interesting_ids is not None and file_id not in interesting_ids:
755
 
                continue
756
 
 
757
 
            # If other_revision is found in any of the lcas, that means this
758
 
            # node is uninteresting. This is because when merging, if there are
759
 
            # multiple heads(), we have to create a new node. So if we didn't,
760
 
            # we know that the ancestry is linear, and that OTHER did not
761
 
            # modify anything
762
 
            # See doc/developers/lca_merge_resolution.txt for details
763
 
            other_revision = other_ie.revision
764
 
            if other_revision is not None:
765
 
                # We can't use this shortcut when other_revision is None,
766
 
                # because it may be None because things are WorkingTrees, and
767
 
                # not because it is *actually* None.
768
 
                is_unmodified = False
769
 
                for lca_path, ie in lca_values:
770
 
                    if ie is not None and ie.revision == other_revision:
771
 
                        is_unmodified = True
772
 
                        break
773
 
                if is_unmodified:
774
 
                    continue
775
 
 
776
 
            lca_entries = []
777
 
            for lca_path, lca_ie in lca_values:
778
 
                if lca_ie is None:
779
 
                    lca_entries.append(_none_entry)
780
 
                else:
781
 
                    lca_entries.append(lca_ie)
782
 
 
783
 
            if file_id in base_inventory:
784
 
                base_ie = base_inventory[file_id]
785
 
            else:
786
 
                base_ie = _none_entry
787
 
 
788
 
            if file_id in this_inventory:
789
 
                this_ie = this_inventory[file_id]
790
 
            else:
791
 
                this_ie = _none_entry
792
 
 
793
 
            lca_kinds = []
794
 
            lca_parent_ids = []
795
 
            lca_names = []
796
 
            lca_executable = []
797
 
            for lca_ie in lca_entries:
798
 
                lca_kinds.append(lca_ie.kind)
799
 
                lca_parent_ids.append(lca_ie.parent_id)
800
 
                lca_names.append(lca_ie.name)
801
 
                lca_executable.append(lca_ie.executable)
802
 
 
803
 
            kind_winner = self._lca_multi_way(
804
 
                (base_ie.kind, lca_kinds),
805
 
                other_ie.kind, this_ie.kind)
806
 
            parent_id_winner = self._lca_multi_way(
807
 
                (base_ie.parent_id, lca_parent_ids),
808
 
                other_ie.parent_id, this_ie.parent_id)
809
 
            name_winner = self._lca_multi_way(
810
 
                (base_ie.name, lca_names),
811
 
                other_ie.name, this_ie.name)
812
 
 
813
 
            content_changed = True
814
 
            if kind_winner == 'this':
815
 
                # No kind change in OTHER, see if there are *any* changes
816
 
                if other_ie.kind == 'directory':
817
 
                    if parent_id_winner == 'this' and name_winner == 'this':
818
 
                        # No change for this directory in OTHER, skip
819
 
                        continue
820
 
                    content_changed = False
821
 
                elif other_ie.kind is None or other_ie.kind == 'file':
822
 
                    def get_sha1(ie, tree):
823
 
                        if ie.kind != 'file':
824
 
                            return None
825
 
                        return tree.get_file_sha1(file_id)
826
 
                    base_sha1 = get_sha1(base_ie, self.base_tree)
827
 
                    lca_sha1s = [get_sha1(ie, tree) for ie, tree
828
 
                                 in zip(lca_entries, self._lca_trees)]
829
 
                    this_sha1 = get_sha1(this_ie, self.this_tree)
830
 
                    other_sha1 = get_sha1(other_ie, self.other_tree)
831
 
                    sha1_winner = self._lca_multi_way(
832
 
                        (base_sha1, lca_sha1s), other_sha1, this_sha1,
833
 
                        allow_overriding_lca=False)
834
 
                    exec_winner = self._lca_multi_way(
835
 
                        (base_ie.executable, lca_executable),
836
 
                        other_ie.executable, this_ie.executable)
837
 
                    if (parent_id_winner == 'this' and name_winner == 'this'
838
 
                        and sha1_winner == 'this' and exec_winner == 'this'):
839
 
                        # No kind, parent, name, exec, or content change for
840
 
                        # OTHER, so this node is not considered interesting
841
 
                        continue
842
 
                    if sha1_winner == 'this':
843
 
                        content_changed = False
844
 
                elif other_ie.kind == 'symlink':
845
 
                    def get_target(ie, tree):
846
 
                        if ie.kind != 'symlink':
847
 
                            return None
848
 
                        return tree.get_symlink_target(file_id)
849
 
                    base_target = get_target(base_ie, self.base_tree)
850
 
                    lca_targets = [get_target(ie, tree) for ie, tree
851
 
                                   in zip(lca_entries, self._lca_trees)]
852
 
                    this_target = get_target(this_ie, self.this_tree)
853
 
                    other_target = get_target(other_ie, self.other_tree)
854
 
                    target_winner = self._lca_multi_way(
855
 
                        (base_target, lca_targets),
856
 
                        other_target, this_target)
857
 
                    if (parent_id_winner == 'this' and name_winner == 'this'
858
 
                        and target_winner == 'this'):
859
 
                        # No kind, parent, name, or symlink target change
860
 
                        # not interesting
861
 
                        continue
862
 
                    if target_winner == 'this':
863
 
                        content_changed = False
864
 
                elif other_ie.kind == 'tree-reference':
865
 
                    # The 'changed' information seems to be handled at a higher
866
 
                    # level. At least, _entries3 returns False for content
867
 
                    # changed, even when at a new revision_id.
868
 
                    content_changed = False
869
 
                    if (parent_id_winner == 'this' and name_winner == 'this'):
870
 
                        # Nothing interesting
871
 
                        continue
872
 
                else:
873
 
                    raise AssertionError('unhandled kind: %s' % other_ie.kind)
874
 
                # XXX: We need to handle kind == 'symlink'
875
 
 
876
 
            # If we have gotten this far, that means something has changed
877
 
            result.append((file_id, content_changed,
878
 
                           ((base_ie.parent_id, lca_parent_ids),
879
 
                            other_ie.parent_id, this_ie.parent_id),
880
 
                           ((base_ie.name, lca_names),
881
 
                            other_ie.name, this_ie.name),
882
 
                           ((base_ie.executable, lca_executable),
883
 
                            other_ie.executable, this_ie.executable)
884
 
                          ))
885
 
        return result
886
 
 
887
 
 
888
546
    def fix_root(self):
889
547
        try:
890
548
            self.tt.final_kind(self.tt.root)
891
549
        except NoSuchFile:
892
550
            self.tt.cancel_deletion(self.tt.root)
893
551
        if self.tt.final_file_id(self.tt.root) is None:
894
 
            self.tt.version_file(self.tt.tree_file_id(self.tt.root),
 
552
            self.tt.version_file(self.tt.tree_file_id(self.tt.root), 
895
553
                                 self.tt.root)
 
554
        if self.other_tree.inventory.root is None:
 
555
            return
896
556
        other_root_file_id = self.other_tree.get_root_id()
897
 
        if other_root_file_id is None:
898
 
            return
899
557
        other_root = self.tt.trans_id_file_id(other_root_file_id)
900
558
        if other_root == self.tt.root:
901
559
            return
903
561
            self.tt.final_kind(other_root)
904
562
        except NoSuchFile:
905
563
            return
906
 
        if self.other_tree.inventory.root.file_id in self.this_tree.inventory:
907
 
            # the other tree's root is a non-root in the current tree
908
 
            return
909
564
        self.reparent_children(self.other_tree.inventory.root, self.tt.root)
910
565
        self.tt.cancel_creation(other_root)
911
566
        self.tt.cancel_versioning(other_root)
940
595
        if entry is None:
941
596
            return None
942
597
        return entry.name
943
 
 
 
598
    
944
599
    @staticmethod
945
600
    def contents_sha1(tree, file_id):
946
601
        """Determine the sha1 of the file contents (used as a key method)."""
979
634
            return "other"
980
635
 
981
636
    @staticmethod
982
 
    def _lca_multi_way(bases, other, this, allow_overriding_lca=True):
983
 
        """Consider LCAs when determining whether a change has occurred.
984
 
 
985
 
        If LCAS are all identical, this is the same as a _three_way comparison.
986
 
 
987
 
        :param bases: value in (BASE, [LCAS])
988
 
        :param other: value in OTHER
989
 
        :param this: value in THIS
990
 
        :param allow_overriding_lca: If there is more than one unique lca
991
 
            value, allow OTHER to override THIS if it has a new value, and
992
 
            THIS only has an lca value, or vice versa. This is appropriate for
993
 
            truly scalar values, not as much for non-scalars.
994
 
        :return: 'this', 'other', or 'conflict' depending on whether an entry
995
 
            changed or not.
996
 
        """
997
 
        # See doc/developers/lca_tree_merging.txt for details about this
998
 
        # algorithm.
999
 
        if other == this:
1000
 
            # Either Ambiguously clean, or nothing was actually changed. We
1001
 
            # don't really care
1002
 
            return 'this'
1003
 
        base_val, lca_vals = bases
1004
 
        # Remove 'base_val' from the lca_vals, because it is not interesting
1005
 
        filtered_lca_vals = [lca_val for lca_val in lca_vals
1006
 
                                      if lca_val != base_val]
1007
 
        if len(filtered_lca_vals) == 0:
1008
 
            return Merge3Merger._three_way(base_val, other, this)
1009
 
 
1010
 
        unique_lca_vals = set(filtered_lca_vals)
1011
 
        if len(unique_lca_vals) == 1:
1012
 
            return Merge3Merger._three_way(unique_lca_vals.pop(), other, this)
1013
 
 
1014
 
        if allow_overriding_lca:
1015
 
            if other in unique_lca_vals:
1016
 
                if this in unique_lca_vals:
1017
 
                    # Each side picked a different lca, conflict
1018
 
                    return 'conflict'
1019
 
                else:
1020
 
                    # This has a value which supersedes both lca values, and
1021
 
                    # other only has an lca value
1022
 
                    return 'this'
1023
 
            elif this in unique_lca_vals:
1024
 
                # OTHER has a value which supersedes both lca values, and this
1025
 
                # only has an lca value
1026
 
                return 'other'
1027
 
 
1028
 
        # At this point, the lcas disagree, and the tips disagree
1029
 
        return 'conflict'
1030
 
 
1031
 
    @staticmethod
1032
637
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
1033
638
        """Do a three-way test on a scalar.
1034
639
        Return "this", "other" or "conflict", depending whether a value wins.
1039
644
        if key_base == key_other:
1040
645
            return "this"
1041
646
        key_this = key(this_tree, file_id)
 
647
        if key_this not in (key_base, key_other):
 
648
            return "conflict"
1042
649
        # "Ambiguous clean merge"
1043
 
        if key_this == key_other:
 
650
        elif key_this == key_other:
1044
651
            return "this"
1045
 
        elif key_this == key_base:
 
652
        else:
 
653
            assert key_this == key_base
1046
654
            return "other"
1047
 
        else:
1048
 
            return "conflict"
1049
655
 
1050
656
    def merge_names(self, file_id):
1051
657
        def get_entry(tree):
1066
672
            else:
1067
673
                names.append(entry.name)
1068
674
                parents.append(entry.parent_id)
1069
 
        return self._merge_names(file_id, parents, names,
1070
 
                                 resolver=self._three_way)
 
675
        return self._merge_names(file_id, parents, names)
1071
676
 
1072
 
    def _merge_names(self, file_id, parents, names, resolver):
 
677
    def _merge_names(self, file_id, parents, names):
1073
678
        """Perform a merge on file_id names and parents"""
1074
679
        base_name, other_name, this_name = names
1075
680
        base_parent, other_parent, this_parent = parents
1076
681
 
1077
 
        name_winner = resolver(*names)
 
682
        name_winner = self._three_way(*names)
1078
683
 
1079
 
        parent_id_winner = resolver(*parents)
 
684
        parent_id_winner = self._three_way(*parents)
1080
685
        if this_name is None:
1081
686
            if name_winner == "this":
1082
687
                name_winner = "other"
1086
691
            return
1087
692
        if name_winner == "conflict":
1088
693
            trans_id = self.tt.trans_id_file_id(file_id)
1089
 
            self._raw_conflicts.append(('name conflict', trans_id,
 
694
            self._raw_conflicts.append(('name conflict', trans_id, 
1090
695
                                        this_name, other_name))
1091
696
        if parent_id_winner == "conflict":
1092
697
            trans_id = self.tt.trans_id_file_id(file_id)
1093
 
            self._raw_conflicts.append(('parent conflict', trans_id,
 
698
            self._raw_conflicts.append(('parent conflict', trans_id, 
1094
699
                                        this_parent, other_parent))
1095
700
        if other_name is None:
1096
 
            # it doesn't matter whether the result was 'other' or
 
701
            # it doesn't matter whether the result was 'other' or 
1097
702
            # 'conflict'-- if there's no 'other', we leave it alone.
1098
703
            return
1099
704
        # if we get here, name_winner and parent_winner are set to safe values.
1105
710
                                parent_trans_id, trans_id)
1106
711
 
1107
712
    def merge_contents(self, file_id):
1108
 
        """Performs a merge on file_id contents."""
 
713
        """Performa a merge on file_id contents."""
1109
714
        def contents_pair(tree):
1110
715
            if file_id not in tree:
1111
716
                return (None, None)
1126
731
                self.tt.unversion_file(trans_id)
1127
732
                if file_id in self.this_tree:
1128
733
                    self.tt.delete_contents(trans_id)
1129
 
            file_group = self._dump_conflicts(name, parent_id, file_id,
 
734
            file_group = self._dump_conflicts(name, parent_id, file_id, 
1130
735
                                              set_version=True)
1131
736
            self._raw_conflicts.append(('contents conflict', file_group))
1132
737
 
1135
740
        # file kind...
1136
741
        base_pair = contents_pair(self.base_tree)
1137
742
        other_pair = contents_pair(self.other_tree)
1138
 
        if self._lca_trees:
1139
 
            this_pair = contents_pair(self.this_tree)
1140
 
            lca_pairs = [contents_pair(tree) for tree in self._lca_trees]
1141
 
            winner = self._lca_multi_way((base_pair, lca_pairs), other_pair,
1142
 
                                         this_pair, allow_overriding_lca=False)
1143
 
        else:
1144
 
            if base_pair == other_pair:
1145
 
                winner = 'this'
1146
 
            else:
1147
 
                # We delayed evaluating this_pair as long as we can to avoid
1148
 
                # unnecessary sha1 calculation
1149
 
                this_pair = contents_pair(self.this_tree)
1150
 
                winner = self._three_way(base_pair, other_pair, this_pair)
1151
 
        if winner == 'this':
1152
 
            # No interesting changes introduced by OTHER
1153
 
            return "unmodified"
1154
 
        trans_id = self.tt.trans_id_file_id(file_id)
1155
 
        if winner == 'other':
1156
 
            # OTHER is a straight winner, so replace this contents with other
1157
 
            file_in_this = file_id in self.this_tree
1158
 
            if file_in_this:
1159
 
                # Remove any existing contents
1160
 
                self.tt.delete_contents(trans_id)
1161
 
            if file_id in self.other_tree:
1162
 
                # OTHER changed the file
1163
 
                create_from_tree(self.tt, trans_id,
1164
 
                                 self.other_tree, file_id)
1165
 
                if not file_in_this:
1166
 
                    self.tt.version_file(file_id, trans_id)
1167
 
                return "modified"
1168
 
            elif file_in_this:
1169
 
                # OTHER deleted the file
1170
 
                self.tt.unversion_file(trans_id)
1171
 
                return "deleted"
1172
 
        else:
1173
 
            # We have a hypothetical conflict, but if we have files, then we
1174
 
            # can try to merge the content
1175
 
            if this_pair[0] == 'file' and other_pair[0] == 'file':
 
743
        if base_pair == other_pair:
 
744
            # OTHER introduced no changes
 
745
            return "unmodified"
 
746
        this_pair = contents_pair(self.this_tree)
 
747
        if this_pair == other_pair:
 
748
            # THIS and OTHER introduced the same changes
 
749
            return "unmodified"
 
750
        else:
 
751
            trans_id = self.tt.trans_id_file_id(file_id)
 
752
            if this_pair == base_pair:
 
753
                # only OTHER introduced changes
 
754
                if file_id in self.this_tree:
 
755
                    # Remove any existing contents
 
756
                    self.tt.delete_contents(trans_id)
 
757
                if file_id in self.other_tree:
 
758
                    # OTHER changed the file
 
759
                    create_by_entry(self.tt, 
 
760
                                    self.other_tree.inventory[file_id], 
 
761
                                    self.other_tree, trans_id)
 
762
                    if file_id not in self.this_tree.inventory:
 
763
                        self.tt.version_file(file_id, trans_id)
 
764
                    return "modified"
 
765
                elif file_id in self.this_tree.inventory:
 
766
                    # OTHER deleted the file
 
767
                    self.tt.unversion_file(trans_id)
 
768
                    return "deleted"
 
769
            #BOTH THIS and OTHER introduced changes; scalar conflict
 
770
            elif this_pair[0] == "file" and other_pair[0] == "file":
1176
771
                # THIS and OTHER are both files, so text merge.  Either
1177
772
                # BASE is a file, or both converted to files, so at least we
1178
773
                # have agreement that output should be a file.
1180
775
                    self.text_merge(file_id, trans_id)
1181
776
                except BinaryFile:
1182
777
                    return contents_conflict()
1183
 
                if file_id not in self.this_tree:
 
778
                if file_id not in self.this_tree.inventory:
1184
779
                    self.tt.version_file(file_id, trans_id)
1185
780
                try:
1186
781
                    self.tt.tree_kind(trans_id)
1189
784
                    pass
1190
785
                return "modified"
1191
786
            else:
 
787
                # Scalar conflict, can't text merge.  Dump conflicts
1192
788
                return contents_conflict()
1193
789
 
1194
790
    def get_lines(self, tree, file_id):
1209
805
            base_lines = []
1210
806
        other_lines = self.get_lines(self.other_tree, file_id)
1211
807
        this_lines = self.get_lines(self.this_tree, file_id)
1212
 
        m3 = Merge3(base_lines, this_lines, other_lines,
1213
 
                    is_cherrypick=self.cherrypick)
 
808
        m3 = Merge3(base_lines, this_lines, other_lines)
1214
809
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
1215
810
        if self.show_base is True:
1216
811
            base_marker = '|' * 7
1219
814
 
1220
815
        def iter_merge3(retval):
1221
816
            retval["text_conflicts"] = False
1222
 
            for line in m3.merge_lines(name_a = "TREE",
1223
 
                                       name_b = "MERGE-SOURCE",
 
817
            for line in m3.merge_lines(name_a = "TREE", 
 
818
                                       name_b = "MERGE-SOURCE", 
1224
819
                                       name_base = "BASE-REVISION",
1225
 
                                       start_marker=start_marker,
 
820
                                       start_marker=start_marker, 
1226
821
                                       base_marker=base_marker,
1227
822
                                       reprocess=self.reprocess):
1228
823
                if line.startswith(start_marker):
1237
832
            self._raw_conflicts.append(('text conflict', trans_id))
1238
833
            name = self.tt.final_name(trans_id)
1239
834
            parent_id = self.tt.final_parent(trans_id)
1240
 
            file_group = self._dump_conflicts(name, parent_id, file_id,
 
835
            file_group = self._dump_conflicts(name, parent_id, file_id, 
1241
836
                                              this_lines, base_lines,
1242
837
                                              other_lines)
1243
838
            file_group.append(trans_id)
1244
839
 
1245
 
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None,
 
840
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None, 
1246
841
                        base_lines=None, other_lines=None, set_version=False,
1247
842
                        no_base=False):
1248
843
        """Emit conflict files.
1250
845
        determined automatically.  If set_version is true, the .OTHER, .THIS
1251
846
        or .BASE (in that order) will be created as versioned files.
1252
847
        """
1253
 
        data = [('OTHER', self.other_tree, other_lines),
 
848
        data = [('OTHER', self.other_tree, other_lines), 
1254
849
                ('THIS', self.this_tree, this_lines)]
1255
850
        if not no_base:
1256
851
            data.append(('BASE', self.base_tree, base_lines))
1265
860
                    self.tt.version_file(file_id, trans_id)
1266
861
                    versioned = True
1267
862
        return file_group
1268
 
 
1269
 
    def _conflict_file(self, name, parent_id, tree, file_id, suffix,
 
863
           
 
864
    def _conflict_file(self, name, parent_id, tree, file_id, suffix, 
1270
865
                       lines=None):
1271
866
        """Emit a single conflict file."""
1272
867
        name = name + '.' + suffix
1273
868
        trans_id = self.tt.create_path(name, parent_id)
1274
 
        create_from_tree(self.tt, trans_id, tree, file_id, lines)
 
869
        entry = tree.inventory[file_id]
 
870
        create_by_entry(self.tt, entry, tree, trans_id, lines)
1275
871
        return trans_id
1276
872
 
1277
873
    def merge_executable(self, file_id, file_status):
1278
874
        """Perform a merge on the execute bit."""
1279
875
        executable = [self.executable(t, file_id) for t in (self.base_tree,
1280
876
                      self.other_tree, self.this_tree)]
1281
 
        self._merge_executable(file_id, executable, file_status,
1282
 
                               resolver=self._three_way)
 
877
        self._merge_executable(file_id, executable, file_status)
1283
878
 
1284
 
    def _merge_executable(self, file_id, executable, file_status,
1285
 
                          resolver):
 
879
    def _merge_executable(self, file_id, executable, file_status):
1286
880
        """Perform a merge on the execute bit."""
1287
881
        base_executable, other_executable, this_executable = executable
1288
882
        if file_status == "deleted":
1289
883
            return
1290
 
        winner = resolver(*executable)
 
884
        trans_id = self.tt.trans_id_file_id(file_id)
 
885
        try:
 
886
            if self.tt.final_kind(trans_id) != "file":
 
887
                return
 
888
        except NoSuchFile:
 
889
            return
 
890
        winner = self._three_way(*executable)
1291
891
        if winner == "conflict":
1292
892
        # There must be a None in here, if we have a conflict, but we
1293
893
        # need executability since file status was not deleted.
1295
895
                winner = "this"
1296
896
            else:
1297
897
                winner = "other"
1298
 
        if winner == 'this' and file_status != "modified":
1299
 
            return
1300
 
        trans_id = self.tt.trans_id_file_id(file_id)
1301
 
        try:
1302
 
            if self.tt.final_kind(trans_id) != "file":
1303
 
                return
1304
 
        except NoSuchFile:
1305
 
            return
1306
898
        if winner == "this":
1307
 
            executability = this_executable
 
899
            if file_status == "modified":
 
900
                executability = this_executable
 
901
                if executability is not None:
 
902
                    trans_id = self.tt.trans_id_file_id(file_id)
 
903
                    self.tt.set_executability(executability, trans_id)
1308
904
        else:
 
905
            assert winner == "other"
1309
906
            if file_id in self.other_tree:
1310
907
                executability = other_executable
1311
908
            elif file_id in self.this_tree:
1312
909
                executability = this_executable
1313
910
            elif file_id in self.base_tree:
1314
911
                executability = base_executable
1315
 
        if executability is not None:
1316
 
            trans_id = self.tt.trans_id_file_id(file_id)
1317
 
            self.tt.set_executability(executability, trans_id)
 
912
            if executability is not None:
 
913
                trans_id = self.tt.trans_id_file_id(file_id)
 
914
                self.tt.set_executability(executability, trans_id)
1318
915
 
1319
916
    def cook_conflicts(self, fs_conflicts):
1320
917
        """Convert all conflicts into a form that doesn't depend on trans_id"""
1329
926
                conflict_args = conflict[2:]
1330
927
                if trans_id not in name_conflicts:
1331
928
                    name_conflicts[trans_id] = {}
1332
 
                unique_add(name_conflicts[trans_id], conflict_type,
 
929
                unique_add(name_conflicts[trans_id], conflict_type, 
1333
930
                           conflict_args)
1334
931
            if conflict_type == 'contents conflict':
1335
932
                for trans_id in conflict[1]:
1353
950
        for trans_id, conflicts in name_conflicts.iteritems():
1354
951
            try:
1355
952
                this_parent, other_parent = conflicts['parent conflict']
1356
 
                if this_parent == other_parent:
1357
 
                    raise AssertionError()
 
953
                assert this_parent != other_parent
1358
954
            except KeyError:
1359
955
                this_parent = other_parent = \
1360
956
                    self.tt.final_file_id(self.tt.final_parent(trans_id))
1361
957
            try:
1362
958
                this_name, other_name = conflicts['name conflict']
1363
 
                if this_name == other_name:
1364
 
                    raise AssertionError()
 
959
                assert this_name != other_name
1365
960
            except KeyError:
1366
961
                this_name = other_name = self.tt.final_name(trans_id)
1367
962
            other_path = fp.get_path(trans_id)
1382
977
    """Three-way tree merger, text weave merger."""
1383
978
    supports_reprocess = True
1384
979
    supports_show_base = False
1385
 
    supports_reverse_cherrypick = False
1386
 
    history_based = True
 
980
 
 
981
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
982
                 interesting_ids=None, pb=DummyProgress(), pp=None,
 
983
                 reprocess=False, change_reporter=None,
 
984
                 interesting_files=None):
 
985
        super(WeaveMerger, self).__init__(working_tree, this_tree, 
 
986
                                          base_tree, other_tree, 
 
987
                                          interesting_ids=interesting_ids, 
 
988
                                          pb=pb, pp=pp, reprocess=reprocess,
 
989
                                          change_reporter=change_reporter)
1387
990
 
1388
991
    def _merged_lines(self, file_id):
1389
992
        """Generate the merged lines.
1390
993
        There is no distinction between lines that are meant to contain <<<<<<<
1391
994
        and conflicts.
1392
995
        """
1393
 
        if self.cherrypick:
1394
 
            base = self.base_tree
1395
 
        else:
1396
 
            base = None
1397
 
        plan = self.this_tree.plan_file_merge(file_id, self.other_tree,
1398
 
                                              base=base)
 
996
        plan = self.this_tree.plan_file_merge(file_id, self.other_tree)
1399
997
        if 'merge' in debug.debug_flags:
1400
998
            plan = list(plan)
1401
999
            trans_id = self.tt.trans_id_file_id(file_id)
1413
1011
        """
1414
1012
        lines, conflicts = self._merged_lines(file_id)
1415
1013
        lines = list(lines)
1416
 
        # Note we're checking whether the OUTPUT is binary in this case,
 
1014
        # Note we're checking whether the OUTPUT is binary in this case, 
1417
1015
        # because we don't want to get into weave merge guts.
1418
1016
        check_text_lines(lines)
1419
1017
        self.tt.create_file(lines, trans_id)
1421
1019
            self._raw_conflicts.append(('text conflict', trans_id))
1422
1020
            name = self.tt.final_name(trans_id)
1423
1021
            parent_id = self.tt.final_parent(trans_id)
1424
 
            file_group = self._dump_conflicts(name, parent_id, file_id,
 
1022
            file_group = self._dump_conflicts(name, parent_id, file_id, 
1425
1023
                                              no_base=True)
1426
1024
            file_group.append(trans_id)
1427
1025
 
1428
1026
 
1429
 
class LCAMerger(WeaveMerger):
1430
 
 
1431
 
    def _merged_lines(self, file_id):
1432
 
        """Generate the merged lines.
1433
 
        There is no distinction between lines that are meant to contain <<<<<<<
1434
 
        and conflicts.
1435
 
        """
1436
 
        if self.cherrypick:
1437
 
            base = self.base_tree
1438
 
        else:
1439
 
            base = None
1440
 
        plan = self.this_tree.plan_file_lca_merge(file_id, self.other_tree,
1441
 
                                                  base=base)
1442
 
        if 'merge' in debug.debug_flags:
1443
 
            plan = list(plan)
1444
 
            trans_id = self.tt.trans_id_file_id(file_id)
1445
 
            name = self.tt.final_name(trans_id) + '.plan'
1446
 
            contents = ('%10s|%s' % l for l in plan)
1447
 
            self.tt.new_file(name, self.tt.final_parent(trans_id), contents)
1448
 
        textmerge = PlanWeaveMerge(plan, '<<<<<<< TREE\n',
1449
 
            '>>>>>>> MERGE-SOURCE\n')
1450
 
        return textmerge.merge_lines(self.reprocess)
1451
 
 
1452
 
 
1453
1027
class Diff3Merger(Merge3Merger):
1454
1028
    """Three-way merger using external diff3 for text merging"""
1455
1029
 
1504
1078
                this_tree=None,
1505
1079
                pb=DummyProgress(),
1506
1080
                change_reporter=None):
1507
 
    """Primary interface for merging.
 
1081
    """Primary interface for merging. 
1508
1082
 
1509
 
        typical use is probably
 
1083
        typical use is probably 
1510
1084
        'merge_inner(branch, branch.get_revision_tree(other_revision),
1511
1085
                     branch.get_revision_tree(base_revision))'
1512
1086
        """
1520
1094
    merger.interesting_ids = interesting_ids
1521
1095
    merger.ignore_zero = ignore_zero
1522
1096
    if interesting_files:
1523
 
        if interesting_ids:
1524
 
            raise ValueError('Only supply interesting_ids'
1525
 
                             ' or interesting_files')
 
1097
        assert not interesting_ids, ('Only supply interesting_ids'
 
1098
                                     ' or interesting_files')
1526
1099
        merger.interesting_files = interesting_files
1527
1100
    merger.show_base = show_base
1528
1101
    merger.reprocess = reprocess
1529
1102
    merger.other_rev_id = other_rev_id
1530
1103
    merger.other_basis = other_rev_id
1531
 
    get_revision_id = getattr(base_tree, 'get_revision_id', None)
1532
 
    if get_revision_id is None:
1533
 
        get_revision_id = base_tree.last_revision
1534
 
    merger.cache_trees_with_revision_ids([other_tree, base_tree, this_tree])
1535
 
    merger.set_base_revision(get_revision_id(), this_branch)
1536
1104
    return merger.do_merge()
1537
1105
 
1538
1106
def get_merge_type_registry():
1571
1139
            yield status_a(revision, text)
1572
1140
        for revision, text in annotated_b[b_cur:bi]:
1573
1141
            yield status_b(revision, text)
 
1142
 
1574
1143
        # and now the matched section
1575
1144
        a_cur = ai + l
1576
1145
        b_cur = bi + l
1577
 
        for text_a in plain_a[ai:a_cur]:
 
1146
        for text_a, text_b in zip(plain_a[ai:a_cur], plain_b[bi:b_cur]):
 
1147
            assert text_a == text_b
1578
1148
            yield "unchanged", text_a
1579
1149
 
1580
1150
 
1581
 
class _PlanMergeBase(object):
 
1151
class _PlanMerge(object):
 
1152
    """Plan an annotate merge using on-the-fly annotation"""
1582
1153
 
1583
 
    def __init__(self, a_rev, b_rev, vf, key_prefix):
 
1154
    def __init__(self, a_rev, b_rev, vf):
1584
1155
        """Contructor.
1585
1156
 
1586
1157
        :param a_rev: Revision-id of one revision to merge
1587
1158
        :param b_rev: Revision-id of the other revision to merge
1588
 
        :param vf: A VersionedFiles containing both revisions
1589
 
        :param key_prefix: A prefix for accessing keys in vf, typically
1590
 
            (file_id,).
 
1159
        :param vf: A versionedfile containing both revisions
1591
1160
        """
1592
1161
        self.a_rev = a_rev
1593
1162
        self.b_rev = b_rev
 
1163
        self.lines_a = vf.get_lines(a_rev)
 
1164
        self.lines_b = vf.get_lines(b_rev)
1594
1165
        self.vf = vf
 
1166
        a_ancestry = set(vf.get_ancestry(a_rev, topo_sorted=False))
 
1167
        b_ancestry = set(vf.get_ancestry(b_rev, topo_sorted=False))
 
1168
        self.uncommon = a_ancestry.symmetric_difference(b_ancestry)
1595
1169
        self._last_lines = None
1596
1170
        self._last_lines_revision_id = None
1597
 
        self._cached_matching_blocks = {}
1598
 
        self._key_prefix = key_prefix
1599
 
        self._precache_tip_lines()
1600
 
 
1601
 
    def _precache_tip_lines(self):
1602
 
        lines = self.get_lines([self.a_rev, self.b_rev])
1603
 
        self.lines_a = lines[self.a_rev]
1604
 
        self.lines_b = lines[self.b_rev]
1605
 
 
1606
 
    def get_lines(self, revisions):
1607
 
        """Get lines for revisions from the backing VersionedFiles.
1608
 
 
1609
 
        :raises RevisionNotPresent: on absent texts.
1610
 
        """
1611
 
        keys = [(self._key_prefix + (rev,)) for rev in revisions]
1612
 
        result = {}
1613
 
        for record in self.vf.get_record_stream(keys, 'unordered', True):
1614
 
            if record.storage_kind == 'absent':
1615
 
                raise errors.RevisionNotPresent(record.key, self.vf)
1616
 
            result[record.key[-1]] = osutils.chunks_to_lines(
1617
 
                record.get_bytes_as('chunked'))
1618
 
        return result
1619
1171
 
1620
1172
    def plan_merge(self):
1621
1173
        """Generate a 'plan' for merging the two revisions.
1627
1179
        VersionedFile.plan_merge
1628
1180
        """
1629
1181
        blocks = self._get_matching_blocks(self.a_rev, self.b_rev)
1630
 
        unique_a, unique_b = self._unique_lines(blocks)
1631
 
        new_a, killed_b = self._determine_status(self.a_rev, unique_a)
1632
 
        new_b, killed_a = self._determine_status(self.b_rev, unique_b)
1633
 
        return self._iter_plan(blocks, new_a, killed_b, new_b, killed_a)
1634
 
 
1635
 
    def _iter_plan(self, blocks, new_a, killed_b, new_b, killed_a):
 
1182
        new_a = self._find_new(self.a_rev)
 
1183
        new_b = self._find_new(self.b_rev)
1636
1184
        last_i = 0
1637
1185
        last_j = 0
 
1186
        a_lines = self.vf.get_lines(self.a_rev)
 
1187
        b_lines = self.vf.get_lines(self.b_rev)
1638
1188
        for i, j, n in blocks:
 
1189
            # determine why lines aren't common
1639
1190
            for a_index in range(last_i, i):
1640
1191
                if a_index in new_a:
1641
 
                    if a_index in killed_b:
1642
 
                        yield 'conflicted-a', self.lines_a[a_index]
1643
 
                    else:
1644
 
                        yield 'new-a', self.lines_a[a_index]
 
1192
                    cause = 'new-a'
1645
1193
                else:
1646
 
                    yield 'killed-b', self.lines_a[a_index]
 
1194
                    cause = 'killed-b'
 
1195
                yield cause, a_lines[a_index]
1647
1196
            for b_index in range(last_j, j):
1648
1197
                if b_index in new_b:
1649
 
                    if b_index in killed_a:
1650
 
                        yield 'conflicted-b', self.lines_b[b_index]
1651
 
                    else:
1652
 
                        yield 'new-b', self.lines_b[b_index]
 
1198
                    cause = 'new-b'
1653
1199
                else:
1654
 
                    yield 'killed-a', self.lines_b[b_index]
 
1200
                    cause = 'killed-a'
 
1201
                yield cause, b_lines[b_index]
1655
1202
            # handle common lines
1656
1203
            for a_index in range(i, i+n):
1657
 
                yield 'unchanged', self.lines_a[a_index]
 
1204
                yield 'unchanged', a_lines[a_index]
1658
1205
            last_i = i+n
1659
1206
            last_j = j+n
1660
1207
 
1663
1210
 
1664
1211
        See SequenceMatcher.get_matching_blocks
1665
1212
        """
1666
 
        cached = self._cached_matching_blocks.get((left_revision,
1667
 
                                                   right_revision))
1668
 
        if cached is not None:
1669
 
            return cached
1670
1213
        if self._last_lines_revision_id == left_revision:
1671
1214
            left_lines = self._last_lines
1672
 
            right_lines = self.get_lines([right_revision])[right_revision]
1673
1215
        else:
1674
 
            lines = self.get_lines([left_revision, right_revision])
1675
 
            left_lines = lines[left_revision]
1676
 
            right_lines = lines[right_revision]
 
1216
            left_lines = self.vf.get_lines(left_revision)
 
1217
        right_lines = self.vf.get_lines(right_revision)
1677
1218
        self._last_lines = right_lines
1678
1219
        self._last_lines_revision_id = right_revision
1679
1220
        matcher = patiencediff.PatienceSequenceMatcher(None, left_lines,
1697
1238
            last_j = j + n
1698
1239
        return unique_left, unique_right
1699
1240
 
1700
 
    @staticmethod
1701
 
    def _subtract_plans(old_plan, new_plan):
1702
 
        """Remove changes from new_plan that came from old_plan.
1703
 
 
1704
 
        It is assumed that the difference between the old_plan and new_plan
1705
 
        is their choice of 'b' text.
1706
 
 
1707
 
        All lines from new_plan that differ from old_plan are emitted
1708
 
        verbatim.  All lines from new_plan that match old_plan but are
1709
 
        not about the 'b' revision are emitted verbatim.
1710
 
 
1711
 
        Lines that match and are about the 'b' revision are the lines we
1712
 
        don't want, so we convert 'killed-b' -> 'unchanged', and 'new-b'
1713
 
        is skipped entirely.
1714
 
        """
1715
 
        matcher = patiencediff.PatienceSequenceMatcher(None, old_plan,
1716
 
                                                       new_plan)
1717
 
        last_j = 0
1718
 
        for i, j, n in matcher.get_matching_blocks():
1719
 
            for jj in range(last_j, j):
1720
 
                yield new_plan[jj]
1721
 
            for jj in range(j, j+n):
1722
 
                plan_line = new_plan[jj]
1723
 
                if plan_line[0] == 'new-b':
1724
 
                    pass
1725
 
                elif plan_line[0] == 'killed-b':
1726
 
                    yield 'unchanged', plan_line[1]
1727
 
                else:
1728
 
                    yield plan_line
1729
 
            last_j = j + n
1730
 
 
1731
 
 
1732
 
class _PlanMerge(_PlanMergeBase):
1733
 
    """Plan an annotate merge using on-the-fly annotation"""
1734
 
 
1735
 
    def __init__(self, a_rev, b_rev, vf, key_prefix):
1736
 
        super(_PlanMerge, self).__init__(a_rev, b_rev, vf, key_prefix)
1737
 
        self.a_key = self._key_prefix + (self.a_rev,)
1738
 
        self.b_key = self._key_prefix + (self.b_rev,)
1739
 
        self.graph = Graph(self.vf)
1740
 
        heads = self.graph.heads((self.a_key, self.b_key))
1741
 
        if len(heads) == 1:
1742
 
            # one side dominates, so we can just return its values, yay for
1743
 
            # per-file graphs
1744
 
            # Ideally we would know that before we get this far
1745
 
            self._head_key = heads.pop()
1746
 
            if self._head_key == self.a_key:
1747
 
                other = b_rev
1748
 
            else:
1749
 
                other = a_rev
1750
 
            mutter('found dominating revision for %s\n%s > %s', self.vf,
1751
 
                   self._head_key[-1], other)
1752
 
            self._weave = None
1753
 
        else:
1754
 
            self._head_key = None
1755
 
            self._build_weave()
1756
 
 
1757
 
    def _precache_tip_lines(self):
1758
 
        # Turn this into a no-op, because we will do this later
1759
 
        pass
1760
 
 
1761
 
    def _find_recursive_lcas(self):
1762
 
        """Find all the ancestors back to a unique lca"""
1763
 
        cur_ancestors = (self.a_key, self.b_key)
1764
 
        # graph.find_lca(uncommon, keys) now returns plain NULL_REVISION,
1765
 
        # rather than a key tuple. We will just map that directly to no common
1766
 
        # ancestors.
1767
 
        parent_map = {}
1768
 
        while True:
1769
 
            next_lcas = self.graph.find_lca(*cur_ancestors)
1770
 
            # Map a plain NULL_REVISION to a simple no-ancestors
1771
 
            if next_lcas == set([NULL_REVISION]):
1772
 
                next_lcas = ()
1773
 
            # Order the lca's based on when they were merged into the tip
1774
 
            # While the actual merge portion of weave merge uses a set() of
1775
 
            # active revisions, the order of insertion *does* effect the
1776
 
            # implicit ordering of the texts.
1777
 
            for rev_key in cur_ancestors:
1778
 
                ordered_parents = tuple(self.graph.find_merge_order(rev_key,
1779
 
                                                                    next_lcas))
1780
 
                parent_map[rev_key] = ordered_parents
1781
 
            if len(next_lcas) == 0:
1782
 
                break
1783
 
            elif len(next_lcas) == 1:
1784
 
                parent_map[list(next_lcas)[0]] = ()
1785
 
                break
1786
 
            elif len(next_lcas) > 2:
1787
 
                # More than 2 lca's, fall back to grabbing all nodes between
1788
 
                # this and the unique lca.
1789
 
                mutter('More than 2 LCAs, falling back to all nodes for:'
1790
 
                       ' %s, %s\n=> %s', self.a_key, self.b_key, cur_ancestors)
1791
 
                cur_lcas = next_lcas
1792
 
                while len(cur_lcas) > 1:
1793
 
                    cur_lcas = self.graph.find_lca(*cur_lcas)
1794
 
                if len(cur_lcas) == 0:
1795
 
                    # No common base to find, use the full ancestry
1796
 
                    unique_lca = None
1797
 
                else:
1798
 
                    unique_lca = list(cur_lcas)[0]
1799
 
                    if unique_lca == NULL_REVISION:
1800
 
                        # find_lca will return a plain 'NULL_REVISION' rather
1801
 
                        # than a key tuple when there is no common ancestor, we
1802
 
                        # prefer to just use None, because it doesn't confuse
1803
 
                        # _get_interesting_texts()
1804
 
                        unique_lca = None
1805
 
                parent_map.update(self._find_unique_parents(next_lcas,
1806
 
                                                            unique_lca))
1807
 
                break
1808
 
            cur_ancestors = next_lcas
1809
 
        return parent_map
1810
 
 
1811
 
    def _find_unique_parents(self, tip_keys, base_key):
1812
 
        """Find ancestors of tip that aren't ancestors of base.
1813
 
 
1814
 
        :param tip_keys: Nodes that are interesting
1815
 
        :param base_key: Cull all ancestors of this node
1816
 
        :return: The parent map for all revisions between tip_keys and
1817
 
            base_key. base_key will be included. References to nodes outside of
1818
 
            the ancestor set will also be removed.
1819
 
        """
1820
 
        # TODO: this would be simpler if find_unique_ancestors took a list
1821
 
        #       instead of a single tip, internally it supports it, but it
1822
 
        #       isn't a "backwards compatible" api change.
1823
 
        if base_key is None:
1824
 
            parent_map = dict(self.graph.iter_ancestry(tip_keys))
1825
 
            # We remove NULL_REVISION because it isn't a proper tuple key, and
1826
 
            # thus confuses things like _get_interesting_texts, and our logic
1827
 
            # to add the texts into the memory weave.
1828
 
            if NULL_REVISION in parent_map:
1829
 
                parent_map.pop(NULL_REVISION)
1830
 
        else:
1831
 
            interesting = set()
1832
 
            for tip in tip_keys:
1833
 
                interesting.update(
1834
 
                    self.graph.find_unique_ancestors(tip, [base_key]))
1835
 
            parent_map = self.graph.get_parent_map(interesting)
1836
 
            parent_map[base_key] = ()
1837
 
        culled_parent_map, child_map, tails = self._remove_external_references(
1838
 
            parent_map)
1839
 
        # Remove all the tails but base_key
1840
 
        if base_key is not None:
1841
 
            tails.remove(base_key)
1842
 
            self._prune_tails(culled_parent_map, child_map, tails)
1843
 
        # Now remove all the uninteresting 'linear' regions
1844
 
        simple_map = _mod_graph.collapse_linear_regions(culled_parent_map)
1845
 
        return simple_map
1846
 
 
1847
 
    @staticmethod
1848
 
    def _remove_external_references(parent_map):
1849
 
        """Remove references that go outside of the parent map.
1850
 
 
1851
 
        :param parent_map: Something returned from Graph.get_parent_map(keys)
1852
 
        :return: (filtered_parent_map, child_map, tails)
1853
 
            filtered_parent_map is parent_map without external references
1854
 
            child_map is the {parent_key: [child_keys]} mapping
1855
 
            tails is a list of nodes that do not have any parents in the map
1856
 
        """
1857
 
        # TODO: The basic effect of this function seems more generic than
1858
 
        #       _PlanMerge. But the specific details of building a child_map,
1859
 
        #       and computing tails seems very specific to _PlanMerge.
1860
 
        #       Still, should this be in Graph land?
1861
 
        filtered_parent_map = {}
1862
 
        child_map = {}
1863
 
        tails = []
1864
 
        for key, parent_keys in parent_map.iteritems():
1865
 
            culled_parent_keys = [p for p in parent_keys if p in parent_map]
1866
 
            if not culled_parent_keys:
1867
 
                tails.append(key)
1868
 
            for parent_key in culled_parent_keys:
1869
 
                child_map.setdefault(parent_key, []).append(key)
1870
 
            # TODO: Do we want to do this, it adds overhead for every node,
1871
 
            #       just to say that the node has no children
1872
 
            child_map.setdefault(key, [])
1873
 
            filtered_parent_map[key] = culled_parent_keys
1874
 
        return filtered_parent_map, child_map, tails
1875
 
 
1876
 
    @staticmethod
1877
 
    def _prune_tails(parent_map, child_map, tails_to_remove):
1878
 
        """Remove tails from the parent map.
1879
 
 
1880
 
        This will remove the supplied revisions until no more children have 0
1881
 
        parents.
1882
 
 
1883
 
        :param parent_map: A dict of {child: [parents]}, this dictionary will
1884
 
            be modified in place.
1885
 
        :param tails_to_remove: A list of tips that should be removed,
1886
 
            this list will be consumed
1887
 
        :param child_map: The reverse dict of parent_map ({parent: [children]})
1888
 
            this dict will be modified
1889
 
        :return: None, parent_map will be modified in place.
1890
 
        """
1891
 
        while tails_to_remove:
1892
 
            next = tails_to_remove.pop()
1893
 
            parent_map.pop(next)
1894
 
            children = child_map.pop(next)
1895
 
            for child in children:
1896
 
                child_parents = parent_map[child]
1897
 
                child_parents.remove(next)
1898
 
                if len(child_parents) == 0:
1899
 
                    tails_to_remove.append(child)
1900
 
 
1901
 
    def _get_interesting_texts(self, parent_map):
1902
 
        """Return a dict of texts we are interested in.
1903
 
 
1904
 
        Note that the input is in key tuples, but the output is in plain
1905
 
        revision ids.
1906
 
 
1907
 
        :param parent_map: The output from _find_recursive_lcas
1908
 
        :return: A dict of {'revision_id':lines} as returned by
1909
 
            _PlanMergeBase.get_lines()
1910
 
        """
1911
 
        all_revision_keys = set(parent_map)
1912
 
        all_revision_keys.add(self.a_key)
1913
 
        all_revision_keys.add(self.b_key)
1914
 
 
1915
 
        # Everything else is in 'keys' but get_lines is in 'revision_ids'
1916
 
        all_texts = self.get_lines([k[-1] for k in all_revision_keys])
1917
 
        return all_texts
1918
 
 
1919
 
    def _build_weave(self):
1920
 
        from bzrlib import weave
1921
 
        self._weave = weave.Weave(weave_name='in_memory_weave',
1922
 
                                  allow_reserved=True)
1923
 
        parent_map = self._find_recursive_lcas()
1924
 
 
1925
 
        all_texts = self._get_interesting_texts(parent_map)
1926
 
 
1927
 
        # Note: Unfortunately, the order given by topo_sort will effect the
1928
 
        # ordering resolution in the output. Specifically, if you add A then B,
1929
 
        # then in the output text A lines will show up before B lines. And, of
1930
 
        # course, topo_sort doesn't guarantee any real ordering.
1931
 
        # So we use merge_sort, and add a fake node on the tip.
1932
 
        # This ensures that left-hand parents will always be inserted into the
1933
 
        # weave before right-hand parents.
1934
 
        tip_key = self._key_prefix + (_mod_revision.CURRENT_REVISION,)
1935
 
        parent_map[tip_key] = (self.a_key, self.b_key)
1936
 
 
1937
 
        for seq_num, key, depth, eom in reversed(tsort.merge_sort(parent_map,
1938
 
                                                                  tip_key)):
1939
 
            if key == tip_key:
1940
 
                continue
1941
 
        # for key in tsort.topo_sort(parent_map):
1942
 
            parent_keys = parent_map[key]
1943
 
            revision_id = key[-1]
1944
 
            parent_ids = [k[-1] for k in parent_keys]
1945
 
            self._weave.add_lines(revision_id, parent_ids,
1946
 
                                  all_texts[revision_id])
1947
 
 
1948
 
    def plan_merge(self):
1949
 
        """Generate a 'plan' for merging the two revisions.
1950
 
 
1951
 
        This involves comparing their texts and determining the cause of
1952
 
        differences.  If text A has a line and text B does not, then either the
1953
 
        line was added to text A, or it was deleted from B.  Once the causes
1954
 
        are combined, they are written out in the format described in
1955
 
        VersionedFile.plan_merge
1956
 
        """
1957
 
        if self._head_key is not None: # There was a single head
1958
 
            if self._head_key == self.a_key:
1959
 
                plan = 'new-a'
1960
 
            else:
1961
 
                if self._head_key != self.b_key:
1962
 
                    raise AssertionError('There was an invalid head: %s != %s'
1963
 
                                         % (self.b_key, self._head_key))
1964
 
                plan = 'new-b'
1965
 
            head_rev = self._head_key[-1]
1966
 
            lines = self.get_lines([head_rev])[head_rev]
1967
 
            return ((plan, line) for line in lines)
1968
 
        return self._weave.plan_merge(self.a_rev, self.b_rev)
1969
 
 
1970
 
 
1971
 
class _PlanLCAMerge(_PlanMergeBase):
1972
 
    """
1973
 
    This merge algorithm differs from _PlanMerge in that:
1974
 
    1. comparisons are done against LCAs only
1975
 
    2. cases where a contested line is new versus one LCA but old versus
1976
 
       another are marked as conflicts, by emitting the line as conflicted-a
1977
 
       or conflicted-b.
1978
 
 
1979
 
    This is faster, and hopefully produces more useful output.
1980
 
    """
1981
 
 
1982
 
    def __init__(self, a_rev, b_rev, vf, key_prefix, graph):
1983
 
        _PlanMergeBase.__init__(self, a_rev, b_rev, vf, key_prefix)
1984
 
        lcas = graph.find_lca(key_prefix + (a_rev,), key_prefix + (b_rev,))
1985
 
        self.lcas = set()
1986
 
        for lca in lcas:
1987
 
            if lca == NULL_REVISION:
1988
 
                self.lcas.add(lca)
1989
 
            else:
1990
 
                self.lcas.add(lca[-1])
1991
 
        for lca in self.lcas:
1992
 
            if _mod_revision.is_null(lca):
1993
 
                lca_lines = []
1994
 
            else:
1995
 
                lca_lines = self.get_lines([lca])[lca]
1996
 
            matcher = patiencediff.PatienceSequenceMatcher(None, self.lines_a,
1997
 
                                                           lca_lines)
1998
 
            blocks = list(matcher.get_matching_blocks())
1999
 
            self._cached_matching_blocks[(a_rev, lca)] = blocks
2000
 
            matcher = patiencediff.PatienceSequenceMatcher(None, self.lines_b,
2001
 
                                                           lca_lines)
2002
 
            blocks = list(matcher.get_matching_blocks())
2003
 
            self._cached_matching_blocks[(b_rev, lca)] = blocks
2004
 
 
2005
 
    def _determine_status(self, revision_id, unique_line_numbers):
2006
 
        """Determines the status unique lines versus all lcas.
2007
 
 
2008
 
        Basically, determines why the line is unique to this revision.
2009
 
 
2010
 
        A line may be determined new, killed, or both.
2011
 
 
2012
 
        If a line is determined new, that means it was not present in at least
2013
 
        one LCA, and is not present in the other merge revision.
2014
 
 
2015
 
        If a line is determined killed, that means the line was present in
2016
 
        at least one LCA.
2017
 
 
2018
 
        If a line is killed and new, this indicates that the two merge
2019
 
        revisions contain differing conflict resolutions.
2020
 
        :param revision_id: The id of the revision in which the lines are
2021
 
            unique
2022
 
        :param unique_line_numbers: The line numbers of unique lines.
2023
 
        :return a tuple of (new_this, killed_other):
2024
 
        """
2025
 
        new = set()
2026
 
        killed = set()
2027
 
        unique_line_numbers = set(unique_line_numbers)
2028
 
        for lca in self.lcas:
2029
 
            blocks = self._get_matching_blocks(revision_id, lca)
2030
 
            unique_vs_lca, _ignored = self._unique_lines(blocks)
2031
 
            new.update(unique_line_numbers.intersection(unique_vs_lca))
2032
 
            killed.update(unique_line_numbers.difference(unique_vs_lca))
2033
 
        return new, killed
 
1241
    def _find_new(self, version_id):
 
1242
        """Determine which lines are new in the ancestry of this version.
 
1243
 
 
1244
        If a lines is present in this version, and not present in any
 
1245
        common ancestor, it is considered new.
 
1246
        """
 
1247
        if version_id not in self.uncommon:
 
1248
            return set()
 
1249
        parents = self.vf.get_parents(version_id)
 
1250
        if len(parents) == 0:
 
1251
            return set(range(len(self.vf.get_lines(version_id))))
 
1252
        new = None
 
1253
        for parent in parents:
 
1254
            blocks = self._get_matching_blocks(version_id, parent)
 
1255
            result, unused = self._unique_lines(blocks)
 
1256
            parent_new = self._find_new(parent)
 
1257
            for i, j, n in blocks:
 
1258
                for ii, jj in [(i+r, j+r) for r in range(n)]:
 
1259
                    if jj in parent_new:
 
1260
                        result.append(ii)
 
1261
            if new is None:
 
1262
                new = set(result)
 
1263
            else:
 
1264
                new.intersection_update(result)
 
1265
        return new