~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Tarmac
  • Author(s): Vincent Ladeuil
  • Date: 2017-01-30 14:42:05 UTC
  • mfrom: (6620.1.1 trunk)
  • Revision ID: tarmac-20170130144205-r8fh2xpmiuxyozpv
Merge  2.7 into trunk including fix for bug #1657238 [r=vila]

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
 
 
17
from __future__ import absolute_import
 
18
 
 
19
import warnings
 
20
 
 
21
from bzrlib.lazy_import import lazy_import
 
22
lazy_import(globals(), """
18
23
from bzrlib import (
19
24
    branch as _mod_branch,
 
25
    cleanup,
20
26
    conflicts as _mod_conflicts,
21
27
    debug,
22
 
    errors,
 
28
    generate_ids,
23
29
    graph as _mod_graph,
24
30
    merge3,
25
31
    osutils,
26
32
    patiencediff,
27
 
    progress,
28
33
    revision as _mod_revision,
29
34
    textfile,
30
35
    trace,
32
37
    tree as _mod_tree,
33
38
    tsort,
34
39
    ui,
35
 
    versionedfile
 
40
    versionedfile,
 
41
    workingtree,
 
42
    )
 
43
from bzrlib.i18n import gettext
 
44
""")
 
45
from bzrlib import (
 
46
    decorators,
 
47
    errors,
 
48
    hooks,
 
49
    registry,
36
50
    )
37
51
from bzrlib.symbol_versioning import (
38
52
    deprecated_in,
43
57
 
44
58
def transform_tree(from_tree, to_tree, interesting_ids=None):
45
59
    from_tree.lock_tree_write()
46
 
    try:
47
 
        merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
48
 
                    interesting_ids=interesting_ids, this_tree=from_tree)
49
 
    finally:
50
 
        from_tree.unlock()
 
60
    operation = cleanup.OperationWithCleanups(merge_inner)
 
61
    operation.add_cleanup(from_tree.unlock)
 
62
    operation.run_simple(from_tree.branch, to_tree, from_tree,
 
63
        ignore_zero=True, interesting_ids=interesting_ids, this_tree=from_tree)
 
64
 
 
65
 
 
66
class MergeHooks(hooks.Hooks):
 
67
 
 
68
    def __init__(self):
 
69
        hooks.Hooks.__init__(self, "bzrlib.merge", "Merger.hooks")
 
70
        self.add_hook('merge_file_content',
 
71
            "Called with a bzrlib.merge.Merger object to create a per file "
 
72
            "merge object when starting a merge. "
 
73
            "Should return either None or a subclass of "
 
74
            "``bzrlib.merge.AbstractPerFileMerger``. "
 
75
            "Such objects will then be called per file "
 
76
            "that needs to be merged (including when one "
 
77
            "side has deleted the file and the other has changed it). "
 
78
            "See the AbstractPerFileMerger API docs for details on how it is "
 
79
            "used by merge.",
 
80
            (2, 1))
 
81
        self.add_hook('pre_merge',
 
82
            'Called before a merge. '
 
83
            'Receives a Merger object as the single argument.',
 
84
            (2, 5))
 
85
        self.add_hook('post_merge',
 
86
            'Called after a merge. '
 
87
            'Receives a Merger object as the single argument. '
 
88
            'The return value is ignored.',
 
89
            (2, 5))
 
90
 
 
91
 
 
92
class AbstractPerFileMerger(object):
 
93
    """PerFileMerger objects are used by plugins extending merge for bzrlib.
 
94
 
 
95
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
 
96
    
 
97
    :ivar merger: The Merge3Merger performing the merge.
 
98
    """
 
99
 
 
100
    def __init__(self, merger):
 
101
        """Create a PerFileMerger for use with merger."""
 
102
        self.merger = merger
 
103
 
 
104
    def merge_contents(self, merge_params):
 
105
        """Attempt to merge the contents of a single file.
 
106
        
 
107
        :param merge_params: A bzrlib.merge.MergeFileHookParams
 
108
        :return: A tuple of (status, chunks), where status is one of
 
109
            'not_applicable', 'success', 'conflicted', or 'delete'.  If status
 
110
            is 'success' or 'conflicted', then chunks should be an iterable of
 
111
            strings for the new file contents.
 
112
        """
 
113
        return ('not applicable', None)
 
114
 
 
115
 
 
116
class PerFileMerger(AbstractPerFileMerger):
 
117
    """Merge individual files when self.file_matches returns True.
 
118
 
 
119
    This class is intended to be subclassed.  The file_matches and
 
120
    merge_matching methods should be overridden with concrete implementations.
 
121
    """
 
122
 
 
123
    def file_matches(self, params):
 
124
        """Return True if merge_matching should be called on this file.
 
125
 
 
126
        Only called with merges of plain files with no clear winner.
 
127
 
 
128
        Subclasses must override this.
 
129
        """
 
130
        raise NotImplementedError(self.file_matches)
 
131
 
 
132
    def get_filename(self, params, tree):
 
133
        """Lookup the filename (i.e. basename, not path), given a Tree (e.g.
 
134
        self.merger.this_tree) and a MergeFileHookParams.
 
135
        """
 
136
        return osutils.basename(tree.id2path(params.file_id))
 
137
 
 
138
    def get_filepath(self, params, tree):
 
139
        """Calculate the path to the file in a tree.
 
140
 
 
141
        :param params: A MergeFileHookParams describing the file to merge
 
142
        :param tree: a Tree, e.g. self.merger.this_tree.
 
143
        """
 
144
        return tree.id2path(params.file_id)
 
145
 
 
146
    def merge_contents(self, params):
 
147
        """Merge the contents of a single file."""
 
148
        # Check whether this custom merge logic should be used.
 
149
        if (
 
150
            # OTHER is a straight winner, rely on default merge.
 
151
            params.winner == 'other' or
 
152
            # THIS and OTHER aren't both files.
 
153
            not params.is_file_merge() or
 
154
            # The filename doesn't match
 
155
            not self.file_matches(params)):
 
156
            return 'not_applicable', None
 
157
        return self.merge_matching(params)
 
158
 
 
159
    def merge_matching(self, params):
 
160
        """Merge the contents of a single file that has matched the criteria
 
161
        in PerFileMerger.merge_contents (is a conflict, is a file,
 
162
        self.file_matches is True).
 
163
 
 
164
        Subclasses must override this.
 
165
        """
 
166
        raise NotImplementedError(self.merge_matching)
 
167
 
 
168
 
 
169
class ConfigurableFileMerger(PerFileMerger):
 
170
    """Merge individual files when configured via a .conf file.
 
171
 
 
172
    This is a base class for concrete custom file merging logic. Concrete
 
173
    classes should implement ``merge_text``.
 
174
 
 
175
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
 
176
    
 
177
    :ivar affected_files: The configured file paths to merge.
 
178
 
 
179
    :cvar name_prefix: The prefix to use when looking up configuration
 
180
        details. <name_prefix>_merge_files describes the files targeted by the
 
181
        hook for example.
 
182
        
 
183
    :cvar default_files: The default file paths to merge when no configuration
 
184
        is present.
 
185
    """
 
186
 
 
187
    name_prefix = None
 
188
    default_files = None
 
189
 
 
190
    def __init__(self, merger):
 
191
        super(ConfigurableFileMerger, self).__init__(merger)
 
192
        self.affected_files = None
 
193
        self.default_files = self.__class__.default_files or []
 
194
        self.name_prefix = self.__class__.name_prefix
 
195
        if self.name_prefix is None:
 
196
            raise ValueError("name_prefix must be set.")
 
197
 
 
198
    def file_matches(self, params):
 
199
        """Check whether the file should call the merge hook.
 
200
 
 
201
        <name_prefix>_merge_files configuration variable is a list of files
 
202
        that should use the hook.
 
203
        """
 
204
        affected_files = self.affected_files
 
205
        if affected_files is None:
 
206
            config = self.merger.this_branch.get_config()
 
207
            # Until bzr provides a better policy for caching the config, we
 
208
            # just add the part we're interested in to the params to avoid
 
209
            # reading the config files repeatedly (bazaar.conf, location.conf,
 
210
            # branch.conf).
 
211
            config_key = self.name_prefix + '_merge_files'
 
212
            affected_files = config.get_user_option_as_list(config_key)
 
213
            if affected_files is None:
 
214
                # If nothing was specified in the config, use the default.
 
215
                affected_files = self.default_files
 
216
            self.affected_files = affected_files
 
217
        if affected_files:
 
218
            filepath = self.get_filepath(params, self.merger.this_tree)
 
219
            if filepath in affected_files:
 
220
                return True
 
221
        return False
 
222
 
 
223
    def merge_matching(self, params):
 
224
        return self.merge_text(params)
 
225
 
 
226
    def merge_text(self, params):
 
227
        """Merge the byte contents of a single file.
 
228
 
 
229
        This is called after checking that the merge should be performed in
 
230
        merge_contents, and it should behave as per
 
231
        ``bzrlib.merge.AbstractPerFileMerger.merge_contents``.
 
232
        """
 
233
        raise NotImplementedError(self.merge_text)
 
234
 
 
235
 
 
236
class MergeFileHookParams(object):
 
237
    """Object holding parameters passed to merge_file_content hooks.
 
238
 
 
239
    There are some fields hooks can access:
 
240
 
 
241
    :ivar file_id: the file ID of the file being merged
 
242
    :ivar trans_id: the transform ID for the merge of this file
 
243
    :ivar this_kind: kind of file_id in 'this' tree
 
244
    :ivar other_kind: kind of file_id in 'other' tree
 
245
    :ivar winner: one of 'this', 'other', 'conflict'
 
246
    """
 
247
 
 
248
    def __init__(self, merger, file_id, trans_id, this_kind, other_kind,
 
249
            winner):
 
250
        self._merger = merger
 
251
        self.file_id = file_id
 
252
        self.trans_id = trans_id
 
253
        self.this_kind = this_kind
 
254
        self.other_kind = other_kind
 
255
        self.winner = winner
 
256
 
 
257
    def is_file_merge(self):
 
258
        """True if this_kind and other_kind are both 'file'."""
 
259
        return self.this_kind == 'file' and self.other_kind == 'file'
 
260
 
 
261
    @decorators.cachedproperty
 
262
    def base_lines(self):
 
263
        """The lines of the 'base' version of the file."""
 
264
        return self._merger.get_lines(self._merger.base_tree, self.file_id)
 
265
 
 
266
    @decorators.cachedproperty
 
267
    def this_lines(self):
 
268
        """The lines of the 'this' version of the file."""
 
269
        return self._merger.get_lines(self._merger.this_tree, self.file_id)
 
270
 
 
271
    @decorators.cachedproperty
 
272
    def other_lines(self):
 
273
        """The lines of the 'other' version of the file."""
 
274
        return self._merger.get_lines(self._merger.other_tree, self.file_id)
51
275
 
52
276
 
53
277
class Merger(object):
 
278
 
 
279
    hooks = MergeHooks()
 
280
 
54
281
    def __init__(self, this_branch, other_tree=None, base_tree=None,
55
282
                 this_tree=None, pb=None, change_reporter=None,
56
283
                 recurse='down', revision_graph=None):
71
298
        self.interesting_files = None
72
299
        self.show_base = False
73
300
        self.reprocess = False
74
 
        if pb is None:
75
 
            pb = progress.DummyProgress()
76
 
        self._pb = pb
 
301
        if pb is not None:
 
302
            warnings.warn("pb parameter to Merger() is deprecated and ignored")
77
303
        self.pp = None
78
304
        self.recurse = recurse
79
305
        self.change_reporter = change_reporter
215
441
        return self._cached_trees[revision_id]
216
442
 
217
443
    def _get_tree(self, treespec, possible_transports=None):
218
 
        from bzrlib import workingtree
219
444
        location, revno = treespec
220
445
        if revno is None:
221
446
            tree = workingtree.WorkingTree.open_containing(location)[0]
229
454
        revision_id = _mod_revision.ensure_null(revision_id)
230
455
        return branch, self.revision_tree(revision_id, branch)
231
456
 
232
 
    @deprecated_method(deprecated_in((2, 1, 0)))
233
 
    def ensure_revision_trees(self):
234
 
        if self.this_revision_tree is None:
235
 
            self.this_basis_tree = self.revision_tree(self.this_basis)
236
 
            if self.this_basis == self.this_rev_id:
237
 
                self.this_revision_tree = self.this_basis_tree
238
 
 
239
 
        if self.other_rev_id is None:
240
 
            other_basis_tree = self.revision_tree(self.other_basis)
241
 
            if other_basis_tree.has_changes(self.other_tree):
242
 
                raise errors.WorkingTreeNotRevision(self.this_tree)
243
 
            other_rev_id = self.other_basis
244
 
            self.other_tree = other_basis_tree
245
 
 
246
 
    @deprecated_method(deprecated_in((2, 1, 0)))
247
 
    def file_revisions(self, file_id):
248
 
        self.ensure_revision_trees()
249
 
        def get_id(tree, file_id):
250
 
            revision_id = tree.inventory[file_id].revision
251
 
            return revision_id
252
 
        if self.this_rev_id is None:
253
 
            if self.this_basis_tree.get_file_sha1(file_id) != \
254
 
                self.this_tree.get_file_sha1(file_id):
255
 
                raise errors.WorkingTreeNotRevision(self.this_tree)
256
 
 
257
 
        trees = (self.this_basis_tree, self.other_tree)
258
 
        return [get_id(tree, file_id) for tree in trees]
259
 
 
260
 
    @deprecated_method(deprecated_in((2, 1, 0)))
261
 
    def check_basis(self, check_clean, require_commits=True):
262
 
        if self.this_basis is None and require_commits is True:
263
 
            raise errors.BzrCommandError(
264
 
                "This branch has no commits."
265
 
                " (perhaps you would prefer 'bzr pull')")
266
 
        if check_clean:
267
 
            self.compare_basis()
268
 
            if self.this_basis != self.this_rev_id:
269
 
                raise errors.UncommittedChanges(self.this_tree)
270
 
 
271
 
    @deprecated_method(deprecated_in((2, 1, 0)))
272
 
    def compare_basis(self):
273
 
        try:
274
 
            basis_tree = self.revision_tree(self.this_tree.last_revision())
275
 
        except errors.NoSuchRevision:
276
 
            basis_tree = self.this_tree.basis_tree()
277
 
        if not self.this_tree.has_changes(basis_tree):
278
 
            self.this_rev_id = self.this_basis
279
 
 
280
457
    def set_interesting_files(self, file_list):
281
458
        self.interesting_files = file_list
282
459
 
289
466
    def _add_parent(self):
290
467
        new_parents = self.this_tree.get_parent_ids() + [self.other_rev_id]
291
468
        new_parent_trees = []
 
469
        operation = cleanup.OperationWithCleanups(
 
470
            self.this_tree.set_parent_trees)
292
471
        for revision_id in new_parents:
293
472
            try:
294
473
                tree = self.revision_tree(revision_id)
296
475
                tree = None
297
476
            else:
298
477
                tree.lock_read()
 
478
                operation.add_cleanup(tree.unlock)
299
479
            new_parent_trees.append((revision_id, tree))
300
 
        try:
301
 
            self.this_tree.set_parent_trees(new_parent_trees,
302
 
                                            allow_leftmost_as_ghost=True)
303
 
        finally:
304
 
            for _revision_id, tree in new_parent_trees:
305
 
                if tree is not None:
306
 
                    tree.unlock()
 
480
        operation.run_simple(new_parent_trees, allow_leftmost_as_ghost=True)
307
481
 
308
482
    def set_other(self, other_revision, possible_transports=None):
309
483
        """Set the revision and tree to merge from.
330
504
                raise errors.NoCommits(self.other_branch)
331
505
        if self.other_rev_id is not None:
332
506
            self._cached_trees[self.other_rev_id] = self.other_tree
333
 
        self._maybe_fetch(self.other_branch,self.this_branch, self.other_basis)
 
507
        self._maybe_fetch(self.other_branch, self.this_branch, self.other_basis)
334
508
 
335
509
    def set_other_revision(self, revision_id, other_branch):
336
510
        """Set 'other' based on a branch and revision id
374
548
            elif len(lcas) == 1:
375
549
                self.base_rev_id = list(lcas)[0]
376
550
            else: # len(lcas) > 1
 
551
                self._is_criss_cross = True
377
552
                if len(lcas) > 2:
378
553
                    # find_unique_lca can only handle 2 nodes, so we have to
379
554
                    # start back at the beginning. It is a shame to traverse
384
559
                else:
385
560
                    self.base_rev_id = self.revision_graph.find_unique_lca(
386
561
                                            *lcas)
387
 
                self._is_criss_cross = True
 
562
                sorted_lca_keys = self.revision_graph.find_merge_order(
 
563
                    revisions[0], lcas)
 
564
                if self.base_rev_id == _mod_revision.NULL_REVISION:
 
565
                    self.base_rev_id = sorted_lca_keys[0]
 
566
 
388
567
            if self.base_rev_id == _mod_revision.NULL_REVISION:
389
568
                raise errors.UnrelatedBranches()
390
569
            if self._is_criss_cross:
391
570
                trace.warning('Warning: criss-cross merge encountered.  See bzr'
392
571
                              ' help criss-cross.')
393
572
                trace.mutter('Criss-cross lcas: %r' % lcas)
394
 
                interesting_revision_ids = [self.base_rev_id]
395
 
                interesting_revision_ids.extend(lcas)
 
573
                if self.base_rev_id in lcas:
 
574
                    trace.mutter('Unable to find unique lca. '
 
575
                                 'Fallback %r as best option.'
 
576
                                 % self.base_rev_id)
 
577
                interesting_revision_ids = set(lcas)
 
578
                interesting_revision_ids.add(self.base_rev_id)
396
579
                interesting_trees = dict((t.get_revision_id(), t)
397
580
                    for t in self.this_branch.repository.revision_trees(
398
581
                        interesting_revision_ids))
399
582
                self._cached_trees.update(interesting_trees)
400
 
                self.base_tree = interesting_trees.pop(self.base_rev_id)
401
 
                sorted_lca_keys = self.revision_graph.find_merge_order(
402
 
                    revisions[0], lcas)
 
583
                if self.base_rev_id in lcas:
 
584
                    self.base_tree = interesting_trees[self.base_rev_id]
 
585
                else:
 
586
                    self.base_tree = interesting_trees.pop(self.base_rev_id)
403
587
                self._lca_trees = [interesting_trees[key]
404
588
                                   for key in sorted_lca_keys]
405
589
            else:
428
612
            self._maybe_fetch(base_branch, self.this_branch, self.base_rev_id)
429
613
 
430
614
    def make_merger(self):
431
 
        kwargs = {'working_tree':self.this_tree, 'this_tree': self.this_tree,
 
615
        kwargs = {'working_tree': self.this_tree, 'this_tree': self.this_tree,
432
616
                  'other_tree': self.other_tree,
433
617
                  'interesting_ids': self.interesting_ids,
434
618
                  'interesting_files': self.interesting_files,
435
 
                  'pp': self.pp,
 
619
                  'this_branch': self.this_branch,
 
620
                  'other_branch': self.other_branch,
436
621
                  'do_merge': False}
437
622
        if self.merge_type.requires_base:
438
623
            kwargs['base_tree'] = self.base_tree
456
641
        if self._is_criss_cross and getattr(self.merge_type,
457
642
                                            'supports_lca_trees', False):
458
643
            kwargs['lca_trees'] = self._lca_trees
459
 
        return self.merge_type(pb=self._pb,
 
644
        return self.merge_type(pb=None,
460
645
                               change_reporter=self.change_reporter,
461
646
                               **kwargs)
462
647
 
463
 
    def _do_merge_to(self, merge):
 
648
    def _do_merge_to(self):
 
649
        merge = self.make_merger()
464
650
        if self.other_branch is not None:
465
651
            self.other_branch.update_references(self.this_branch)
 
652
        for hook in Merger.hooks['pre_merge']:
 
653
            hook(merge)
466
654
        merge.do_merge()
 
655
        for hook in Merger.hooks['post_merge']:
 
656
            hook(merge)
467
657
        if self.recurse == 'down':
468
658
            for relpath, file_id in self.this_tree.iter_references():
469
659
                sub_tree = self.this_tree.get_nested_tree(file_id, relpath)
473
663
                    continue
474
664
                sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
475
665
                sub_merge.merge_type = self.merge_type
476
 
                other_branch = self.other_branch.reference_parent(file_id, relpath)
 
666
                other_branch = self.other_branch.reference_parent(file_id,
 
667
                                                                  relpath)
477
668
                sub_merge.set_other_revision(other_revision, other_branch)
478
669
                base_revision = self.base_tree.get_reference_revision(file_id)
479
670
                sub_merge.base_tree = \
480
671
                    sub_tree.branch.repository.revision_tree(base_revision)
481
672
                sub_merge.base_rev_id = base_revision
482
673
                sub_merge.do_merge()
 
674
        return merge
483
675
 
484
676
    def do_merge(self):
 
677
        operation = cleanup.OperationWithCleanups(self._do_merge_to)
485
678
        self.this_tree.lock_tree_write()
486
 
        try:
487
 
            if self.base_tree is not None:
488
 
                self.base_tree.lock_read()
489
 
            try:
490
 
                if self.other_tree is not None:
491
 
                    self.other_tree.lock_read()
492
 
                try:
493
 
                    merge = self.make_merger()
494
 
                    self._do_merge_to(merge)
495
 
                finally:
496
 
                    if self.other_tree is not None:
497
 
                        self.other_tree.unlock()
498
 
            finally:
499
 
                if self.base_tree is not None:
500
 
                    self.base_tree.unlock()
501
 
        finally:
502
 
            self.this_tree.unlock()
 
679
        operation.add_cleanup(self.this_tree.unlock)
 
680
        if self.base_tree is not None:
 
681
            self.base_tree.lock_read()
 
682
            operation.add_cleanup(self.base_tree.unlock)
 
683
        if self.other_tree is not None:
 
684
            self.other_tree.lock_read()
 
685
            operation.add_cleanup(self.other_tree.unlock)
 
686
        merge = operation.run_simple()
503
687
        if len(merge.cooked_conflicts) == 0:
504
688
            if not self.ignore_zero and not trace.is_quiet():
505
 
                trace.note("All changes applied successfully.")
 
689
                trace.note(gettext("All changes applied successfully."))
506
690
        else:
507
 
            trace.note("%d conflicts encountered."
 
691
            trace.note(gettext("%d conflicts encountered.")
508
692
                       % len(merge.cooked_conflicts))
509
693
 
510
694
        return len(merge.cooked_conflicts)
540
724
 
541
725
    def __init__(self, working_tree, this_tree, base_tree, other_tree,
542
726
                 interesting_ids=None, reprocess=False, show_base=False,
543
 
                 pb=progress.DummyProgress(), pp=None, change_reporter=None,
 
727
                 pb=None, pp=None, change_reporter=None,
544
728
                 interesting_files=None, do_merge=True,
545
 
                 cherrypick=False, lca_trees=None):
 
729
                 cherrypick=False, lca_trees=None, this_branch=None,
 
730
                 other_branch=None):
546
731
        """Initialize the merger object and perform the merge.
547
732
 
548
733
        :param working_tree: The working tree to apply the merge to
549
734
        :param this_tree: The local tree in the merge operation
550
735
        :param base_tree: The common tree in the merge operation
551
736
        :param other_tree: The other tree to merge changes from
 
737
        :param this_branch: The branch associated with this_tree.  Defaults to
 
738
            this_tree.branch if not supplied.
 
739
        :param other_branch: The branch associated with other_tree, if any.
552
740
        :param interesting_ids: The file_ids of files that should be
553
741
            participate in the merge.  May not be combined with
554
742
            interesting_files.
555
743
        :param: reprocess If True, perform conflict-reduction processing.
556
744
        :param show_base: If True, show the base revision in text conflicts.
557
745
            (incompatible with reprocess)
558
 
        :param pb: A Progress bar
 
746
        :param pb: ignored
559
747
        :param pp: A ProgressPhase object
560
748
        :param change_reporter: An object that should report changes made
561
749
        :param interesting_files: The tree-relative paths of files that should
572
760
        if interesting_files is not None and interesting_ids is not None:
573
761
            raise ValueError(
574
762
                'specify either interesting_ids or interesting_files')
 
763
        if this_branch is None:
 
764
            this_branch = this_tree.branch
575
765
        self.interesting_ids = interesting_ids
576
766
        self.interesting_files = interesting_files
577
 
        self.this_tree = working_tree
 
767
        self.working_tree = working_tree
 
768
        self.this_tree = this_tree
578
769
        self.base_tree = base_tree
579
770
        self.other_tree = other_tree
 
771
        self.this_branch = this_branch
 
772
        self.other_branch = other_branch
580
773
        self._raw_conflicts = []
581
774
        self.cooked_conflicts = []
582
775
        self.reprocess = reprocess
587
780
        # making sure we haven't missed any corner cases.
588
781
        # if lca_trees is None:
589
782
        #     self._lca_trees = [self.base_tree]
590
 
        self.pb = pb
591
 
        self.pp = pp
592
783
        self.change_reporter = change_reporter
593
784
        self.cherrypick = cherrypick
594
 
        if self.pp is None:
595
 
            self.pp = progress.ProgressPhase("Merge phase", 3, self.pb)
596
785
        if do_merge:
597
786
            self.do_merge()
 
787
        if pp is not None:
 
788
            warnings.warn("pp argument to Merge3Merger is deprecated")
 
789
        if pb is not None:
 
790
            warnings.warn("pb argument to Merge3Merger is deprecated")
598
791
 
599
792
    def do_merge(self):
600
 
        self.this_tree.lock_tree_write()
 
793
        operation = cleanup.OperationWithCleanups(self._do_merge)
 
794
        self.working_tree.lock_tree_write()
 
795
        operation.add_cleanup(self.working_tree.unlock)
 
796
        self.this_tree.lock_read()
 
797
        operation.add_cleanup(self.this_tree.unlock)
601
798
        self.base_tree.lock_read()
 
799
        operation.add_cleanup(self.base_tree.unlock)
602
800
        self.other_tree.lock_read()
 
801
        operation.add_cleanup(self.other_tree.unlock)
 
802
        operation.run()
 
803
 
 
804
    def _do_merge(self, operation):
 
805
        self.tt = transform.TreeTransform(self.working_tree, None)
 
806
        operation.add_cleanup(self.tt.finalize)
 
807
        self._compute_transform()
 
808
        results = self.tt.apply(no_conflicts=True)
 
809
        self.write_modified(results)
603
810
        try:
604
 
            self.tt = transform.TreeTransform(self.this_tree, self.pb)
605
 
            try:
606
 
                self.pp.next_phase()
607
 
                self._compute_transform()
608
 
                self.pp.next_phase()
609
 
                results = self.tt.apply(no_conflicts=True)
610
 
                self.write_modified(results)
611
 
                try:
612
 
                    self.this_tree.add_conflicts(self.cooked_conflicts)
613
 
                except errors.UnsupportedOperation:
614
 
                    pass
615
 
            finally:
616
 
                self.tt.finalize()
617
 
        finally:
618
 
            self.other_tree.unlock()
619
 
            self.base_tree.unlock()
620
 
            self.this_tree.unlock()
621
 
            self.pb.clear()
 
811
            self.working_tree.add_conflicts(self.cooked_conflicts)
 
812
        except errors.UnsupportedOperation:
 
813
            pass
622
814
 
623
815
    def make_preview_transform(self):
 
816
        operation = cleanup.OperationWithCleanups(self._make_preview_transform)
624
817
        self.base_tree.lock_read()
 
818
        operation.add_cleanup(self.base_tree.unlock)
625
819
        self.other_tree.lock_read()
626
 
        self.tt = transform.TransformPreview(self.this_tree)
627
 
        try:
628
 
            self.pp.next_phase()
629
 
            self._compute_transform()
630
 
            self.pp.next_phase()
631
 
        finally:
632
 
            self.other_tree.unlock()
633
 
            self.base_tree.unlock()
634
 
            self.pb.clear()
 
820
        operation.add_cleanup(self.other_tree.unlock)
 
821
        return operation.run_simple()
 
822
 
 
823
    def _make_preview_transform(self):
 
824
        self.tt = transform.TransformPreview(self.working_tree)
 
825
        self._compute_transform()
635
826
        return self.tt
636
827
 
637
828
    def _compute_transform(self):
641
832
        else:
642
833
            entries = self._entries_lca()
643
834
            resolver = self._lca_multi_way
 
835
        # Prepare merge hooks
 
836
        factories = Merger.hooks['merge_file_content']
 
837
        # One hook for each registered one plus our default merger
 
838
        hooks = [factory(self) for factory in factories] + [self]
 
839
        self.active_hooks = [hook for hook in hooks if hook is not None]
644
840
        child_pb = ui.ui_factory.nested_progress_bar()
645
841
        try:
646
842
            for num, (file_id, changed, parents3, names3,
647
843
                      executable3) in enumerate(entries):
648
 
                child_pb.update('Preparing file merge', num, len(entries))
 
844
                # Try merging each entry
 
845
                child_pb.update(gettext('Preparing file merge'),
 
846
                                num, len(entries))
649
847
                self._merge_names(file_id, parents3, names3, resolver=resolver)
650
848
                if changed:
651
 
                    file_status = self.merge_contents(file_id)
 
849
                    file_status = self._do_merge_contents(file_id)
652
850
                else:
653
851
                    file_status = 'unmodified'
654
852
                self._merge_executable(file_id,
655
853
                    executable3, file_status, resolver=resolver)
656
854
        finally:
657
855
            child_pb.finished()
658
 
        self.fix_root()
659
 
        self.pp.next_phase()
 
856
        self.tt.fixup_new_roots()
 
857
        self._finish_computing_transform()
 
858
 
 
859
    def _finish_computing_transform(self):
 
860
        """Finalize the transform and report the changes.
 
861
 
 
862
        This is the second half of _compute_transform.
 
863
        """
660
864
        child_pb = ui.ui_factory.nested_progress_bar()
661
865
        try:
662
866
            fs_conflicts = transform.resolve_conflicts(self.tt, child_pb,
669
873
                self.tt.iter_changes(), self.change_reporter)
670
874
        self.cook_conflicts(fs_conflicts)
671
875
        for conflict in self.cooked_conflicts:
672
 
            trace.warning(conflict)
 
876
            trace.warning(unicode(conflict))
673
877
 
674
878
    def _entries3(self):
675
879
        """Gather data about files modified between three trees.
682
886
        """
683
887
        result = []
684
888
        iterator = self.other_tree.iter_changes(self.base_tree,
685
 
                include_unchanged=True, specific_files=self.interesting_files,
 
889
                specific_files=self.interesting_files,
686
890
                extra_trees=[self.this_tree])
687
891
        this_entries = dict((e.file_id, e) for p, e in
688
892
                            self.this_tree.iter_entries_by_dir(
714
918
        it then compares with THIS and BASE.
715
919
 
716
920
        For the multi-valued entries, the format will be (BASE, [lca1, lca2])
717
 
        :return: [(file_id, changed, parents, names, executable)]
718
 
            file_id     Simple file_id of the entry
719
 
            changed     Boolean, True if the kind or contents changed
720
 
                        else False
721
 
            parents     ((base, [parent_id, in, lcas]), parent_id_other,
722
 
                         parent_id_this)
723
 
            names       ((base, [name, in, lcas]), name_in_other, name_in_this)
724
 
            executable  ((base, [exec, in, lcas]), exec_in_other, exec_in_this)
 
921
 
 
922
        :return: [(file_id, changed, parents, names, executable)], where:
 
923
 
 
924
            * file_id: Simple file_id of the entry
 
925
            * changed: Boolean, True if the kind or contents changed else False
 
926
            * parents: ((base, [parent_id, in, lcas]), parent_id_other,
 
927
                        parent_id_this)
 
928
            * names:   ((base, [name, in, lcas]), name_in_other, name_in_this)
 
929
            * executable: ((base, [exec, in, lcas]), exec_in_other,
 
930
                        exec_in_this)
725
931
        """
726
932
        if self.interesting_files is not None:
727
933
            lookup_trees = [self.this_tree, self.base_tree]
734
940
        result = []
735
941
        walker = _mod_tree.MultiWalker(self.other_tree, self._lca_trees)
736
942
 
737
 
        base_inventory = self.base_tree.inventory
738
 
        this_inventory = self.this_tree.inventory
 
943
        base_inventory = self.base_tree.root_inventory
 
944
        this_inventory = self.this_tree.root_inventory
739
945
        for path, file_id, other_ie, lca_values in walker.iter_all():
740
946
            # Is this modified at all from any of the other trees?
741
947
            if other_ie is None:
769
975
                else:
770
976
                    lca_entries.append(lca_ie)
771
977
 
772
 
            if file_id in base_inventory:
 
978
            if base_inventory.has_id(file_id):
773
979
                base_ie = base_inventory[file_id]
774
980
            else:
775
981
                base_ie = _none_entry
776
982
 
777
 
            if file_id in this_inventory:
 
983
            if this_inventory.has_id(file_id):
778
984
                this_ie = this_inventory[file_id]
779
985
            else:
780
986
                this_ie = _none_entry
860
1066
                        continue
861
1067
                else:
862
1068
                    raise AssertionError('unhandled kind: %s' % other_ie.kind)
863
 
                # XXX: We need to handle kind == 'symlink'
864
1069
 
865
1070
            # If we have gotten this far, that means something has changed
866
1071
            result.append((file_id, content_changed,
873
1078
                          ))
874
1079
        return result
875
1080
 
876
 
 
877
 
    def fix_root(self):
878
 
        try:
879
 
            self.tt.final_kind(self.tt.root)
880
 
        except errors.NoSuchFile:
881
 
            self.tt.cancel_deletion(self.tt.root)
882
 
        if self.tt.final_file_id(self.tt.root) is None:
883
 
            self.tt.version_file(self.tt.tree_file_id(self.tt.root),
884
 
                                 self.tt.root)
885
 
        other_root_file_id = self.other_tree.get_root_id()
886
 
        if other_root_file_id is None:
887
 
            return
888
 
        other_root = self.tt.trans_id_file_id(other_root_file_id)
889
 
        if other_root == self.tt.root:
890
 
            return
891
 
        try:
892
 
            self.tt.final_kind(other_root)
893
 
        except errors.NoSuchFile:
894
 
            return
895
 
        if self.other_tree.inventory.root.file_id in self.this_tree.inventory:
896
 
            # the other tree's root is a non-root in the current tree
897
 
            return
898
 
        self.reparent_children(self.other_tree.inventory.root, self.tt.root)
899
 
        self.tt.cancel_creation(other_root)
900
 
        self.tt.cancel_versioning(other_root)
901
 
 
902
 
    def reparent_children(self, ie, target):
903
 
        for thing, child in ie.children.iteritems():
904
 
            trans_id = self.tt.trans_id_file_id(child.file_id)
905
 
            self.tt.adjust_path(self.tt.final_name(trans_id), target, trans_id)
906
 
 
907
1081
    def write_modified(self, results):
908
1082
        modified_hashes = {}
909
1083
        for path in results.modified_paths:
910
 
            file_id = self.this_tree.path2id(self.this_tree.relpath(path))
 
1084
            file_id = self.working_tree.path2id(self.working_tree.relpath(path))
911
1085
            if file_id is None:
912
1086
                continue
913
 
            hash = self.this_tree.get_file_sha1(file_id)
 
1087
            hash = self.working_tree.get_file_sha1(file_id)
914
1088
            if hash is None:
915
1089
                continue
916
1090
            modified_hashes[file_id] = hash
917
 
        self.this_tree.set_merge_modified(modified_hashes)
 
1091
        self.working_tree.set_merge_modified(modified_hashes)
918
1092
 
919
1093
    @staticmethod
920
1094
    def parent(entry, file_id):
933
1107
    @staticmethod
934
1108
    def contents_sha1(tree, file_id):
935
1109
        """Determine the sha1 of the file contents (used as a key method)."""
936
 
        if file_id not in tree:
 
1110
        if not tree.has_id(file_id):
937
1111
            return None
938
1112
        return tree.get_file_sha1(file_id)
939
1113
 
940
1114
    @staticmethod
941
1115
    def executable(tree, file_id):
942
1116
        """Determine the executability of a file-id (used as a key method)."""
943
 
        if file_id not in tree:
 
1117
        if not tree.has_id(file_id):
944
1118
            return None
945
1119
        if tree.kind(file_id) != "file":
946
1120
            return False
949
1123
    @staticmethod
950
1124
    def kind(tree, file_id):
951
1125
        """Determine the kind of a file-id (used as a key method)."""
952
 
        if file_id not in tree:
 
1126
        if not tree.has_id(file_id):
953
1127
            return None
954
1128
        return tree.kind(file_id)
955
1129
 
956
1130
    @staticmethod
957
1131
    def _three_way(base, other, this):
958
 
        #if base == other, either they all agree, or only THIS has changed.
959
1132
        if base == other:
 
1133
            # if 'base == other', either they all agree, or only 'this' has
 
1134
            # changed.
960
1135
            return 'this'
961
1136
        elif this not in (base, other):
 
1137
            # 'this' is neither 'base' nor 'other', so both sides changed
962
1138
            return 'conflict'
963
 
        # "Ambiguous clean merge" -- both sides have made the same change.
964
1139
        elif this == other:
 
1140
            # "Ambiguous clean merge" -- both sides have made the same change.
965
1141
            return "this"
966
 
        # this == base: only other has changed.
967
1142
        else:
 
1143
            # this == base: only other has changed.
968
1144
            return "other"
969
1145
 
970
1146
    @staticmethod
1014
1190
                # only has an lca value
1015
1191
                return 'other'
1016
1192
 
1017
 
        # At this point, the lcas disagree, and the tips disagree
 
1193
        # At this point, the lcas disagree, and the tip disagree
1018
1194
        return 'conflict'
1019
1195
 
1020
 
    @staticmethod
1021
 
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
1022
 
        """Do a three-way test on a scalar.
1023
 
        Return "this", "other" or "conflict", depending whether a value wins.
1024
 
        """
1025
 
        key_base = key(base_tree, file_id)
1026
 
        key_other = key(other_tree, file_id)
1027
 
        #if base == other, either they all agree, or only THIS has changed.
1028
 
        if key_base == key_other:
1029
 
            return "this"
1030
 
        key_this = key(this_tree, file_id)
1031
 
        # "Ambiguous clean merge"
1032
 
        if key_this == key_other:
1033
 
            return "this"
1034
 
        elif key_this == key_base:
1035
 
            return "other"
1036
 
        else:
1037
 
            return "conflict"
1038
 
 
1039
1196
    def merge_names(self, file_id):
1040
1197
        def get_entry(tree):
1041
 
            if file_id in tree.inventory:
1042
 
                return tree.inventory[file_id]
1043
 
            else:
 
1198
            try:
 
1199
                return tree.root_inventory[file_id]
 
1200
            except errors.NoSuchId:
1044
1201
                return None
1045
1202
        this_entry = get_entry(self.this_tree)
1046
1203
        other_entry = get_entry(self.other_tree)
1073
1230
                parent_id_winner = "other"
1074
1231
        if name_winner == "this" and parent_id_winner == "this":
1075
1232
            return
1076
 
        if name_winner == "conflict":
1077
 
            trans_id = self.tt.trans_id_file_id(file_id)
1078
 
            self._raw_conflicts.append(('name conflict', trans_id,
1079
 
                                        this_name, other_name))
1080
 
        if parent_id_winner == "conflict":
1081
 
            trans_id = self.tt.trans_id_file_id(file_id)
1082
 
            self._raw_conflicts.append(('parent conflict', trans_id,
1083
 
                                        this_parent, other_parent))
1084
 
        if other_name is None:
 
1233
        if name_winner == 'conflict' or parent_id_winner == 'conflict':
 
1234
            # Creating helpers (.OTHER or .THIS) here cause problems down the
 
1235
            # road if a ContentConflict needs to be created so we should not do
 
1236
            # that
 
1237
            trans_id = self.tt.trans_id_file_id(file_id)
 
1238
            self._raw_conflicts.append(('path conflict', trans_id, file_id,
 
1239
                                        this_parent, this_name,
 
1240
                                        other_parent, other_name))
 
1241
        if not self.other_tree.has_id(file_id):
1085
1242
            # it doesn't matter whether the result was 'other' or
1086
 
            # 'conflict'-- if there's no 'other', we leave it alone.
 
1243
            # 'conflict'-- if it has no file id, we leave it alone.
1087
1244
            return
1088
 
        # if we get here, name_winner and parent_winner are set to safe values.
1089
 
        trans_id = self.tt.trans_id_file_id(file_id)
1090
1245
        parent_id = parents[self.winner_idx[parent_id_winner]]
1091
 
        if parent_id is not None:
1092
 
            parent_trans_id = self.tt.trans_id_file_id(parent_id)
1093
 
            self.tt.adjust_path(names[self.winner_idx[name_winner]],
1094
 
                                parent_trans_id, trans_id)
 
1246
        name = names[self.winner_idx[name_winner]]
 
1247
        if parent_id is not None or name is not None:
 
1248
            # if we get here, name_winner and parent_winner are set to safe
 
1249
            # values.
 
1250
            if parent_id is None and name is not None:
 
1251
                # if parent_id is None and name is non-None, current file is
 
1252
                # the tree root.
 
1253
                if names[self.winner_idx[parent_id_winner]] != '':
 
1254
                    raise AssertionError(
 
1255
                        'File looks like a root, but named %s' %
 
1256
                        names[self.winner_idx[parent_id_winner]])
 
1257
                parent_trans_id = transform.ROOT_PARENT
 
1258
            else:
 
1259
                parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
1260
            self.tt.adjust_path(name, parent_trans_id,
 
1261
                                self.tt.trans_id_file_id(file_id))
1095
1262
 
1096
 
    def merge_contents(self, file_id):
 
1263
    def _do_merge_contents(self, file_id):
1097
1264
        """Performs a merge on file_id contents."""
1098
1265
        def contents_pair(tree):
1099
 
            if file_id not in tree:
 
1266
            if not tree.has_id(file_id):
1100
1267
                return (None, None)
1101
1268
            kind = tree.kind(file_id)
1102
1269
            if kind == "file":
1107
1274
                contents = None
1108
1275
            return kind, contents
1109
1276
 
1110
 
        def contents_conflict():
1111
 
            trans_id = self.tt.trans_id_file_id(file_id)
1112
 
            name = self.tt.final_name(trans_id)
1113
 
            parent_id = self.tt.final_parent(trans_id)
1114
 
            if file_id in self.this_tree.inventory:
1115
 
                self.tt.unversion_file(trans_id)
1116
 
                if file_id in self.this_tree:
1117
 
                    self.tt.delete_contents(trans_id)
1118
 
            file_group = self._dump_conflicts(name, parent_id, file_id,
1119
 
                                              set_version=True)
1120
 
            self._raw_conflicts.append(('contents conflict', file_group))
1121
 
 
1122
1277
        # See SPOT run.  run, SPOT, run.
1123
1278
        # So we're not QUITE repeating ourselves; we do tricky things with
1124
1279
        # file kind...
1140
1295
        if winner == 'this':
1141
1296
            # No interesting changes introduced by OTHER
1142
1297
            return "unmodified"
 
1298
        # We have a hypothetical conflict, but if we have files, then we
 
1299
        # can try to merge the content
1143
1300
        trans_id = self.tt.trans_id_file_id(file_id)
1144
 
        if winner == 'other':
 
1301
        params = MergeFileHookParams(self, file_id, trans_id, this_pair[0],
 
1302
            other_pair[0], winner)
 
1303
        hooks = self.active_hooks
 
1304
        hook_status = 'not_applicable'
 
1305
        for hook in hooks:
 
1306
            hook_status, lines = hook.merge_contents(params)
 
1307
            if hook_status != 'not_applicable':
 
1308
                # Don't try any more hooks, this one applies.
 
1309
                break
 
1310
        # If the merge ends up replacing the content of the file, we get rid of
 
1311
        # it at the end of this method (this variable is used to track the
 
1312
        # exceptions to this rule).
 
1313
        keep_this = False
 
1314
        result = "modified"
 
1315
        if hook_status == 'not_applicable':
 
1316
            # No merge hook was able to resolve the situation. Two cases exist:
 
1317
            # a content conflict or a duplicate one.
 
1318
            result = None
 
1319
            name = self.tt.final_name(trans_id)
 
1320
            parent_id = self.tt.final_parent(trans_id)
 
1321
            duplicate = False
 
1322
            inhibit_content_conflict = False
 
1323
            if params.this_kind is None: # file_id is not in THIS
 
1324
                # Is the name used for a different file_id ?
 
1325
                dupe_path = self.other_tree.id2path(file_id)
 
1326
                this_id = self.this_tree.path2id(dupe_path)
 
1327
                if this_id is not None:
 
1328
                    # Two entries for the same path
 
1329
                    keep_this = True
 
1330
                    # versioning the merged file will trigger a duplicate
 
1331
                    # conflict
 
1332
                    self.tt.version_file(file_id, trans_id)
 
1333
                    transform.create_from_tree(
 
1334
                        self.tt, trans_id, self.other_tree, file_id,
 
1335
                        filter_tree_path=self._get_filter_tree_path(file_id))
 
1336
                    inhibit_content_conflict = True
 
1337
            elif params.other_kind is None: # file_id is not in OTHER
 
1338
                # Is the name used for a different file_id ?
 
1339
                dupe_path = self.this_tree.id2path(file_id)
 
1340
                other_id = self.other_tree.path2id(dupe_path)
 
1341
                if other_id is not None:
 
1342
                    # Two entries for the same path again, but here, the other
 
1343
                    # entry will also be merged.  We simply inhibit the
 
1344
                    # 'content' conflict creation because we know OTHER will
 
1345
                    # create (or has already created depending on ordering) an
 
1346
                    # entry at the same path. This will trigger a 'duplicate'
 
1347
                    # conflict later.
 
1348
                    keep_this = True
 
1349
                    inhibit_content_conflict = True
 
1350
            if not inhibit_content_conflict:
 
1351
                if params.this_kind is not None:
 
1352
                    self.tt.unversion_file(trans_id)
 
1353
                # This is a contents conflict, because none of the available
 
1354
                # functions could merge it.
 
1355
                file_group = self._dump_conflicts(name, parent_id, file_id,
 
1356
                                                  set_version=True)
 
1357
                self._raw_conflicts.append(('contents conflict', file_group))
 
1358
        elif hook_status == 'success':
 
1359
            self.tt.create_file(lines, trans_id)
 
1360
        elif hook_status == 'conflicted':
 
1361
            # XXX: perhaps the hook should be able to provide
 
1362
            # the BASE/THIS/OTHER files?
 
1363
            self.tt.create_file(lines, trans_id)
 
1364
            self._raw_conflicts.append(('text conflict', trans_id))
 
1365
            name = self.tt.final_name(trans_id)
 
1366
            parent_id = self.tt.final_parent(trans_id)
 
1367
            self._dump_conflicts(name, parent_id, file_id)
 
1368
        elif hook_status == 'delete':
 
1369
            self.tt.unversion_file(trans_id)
 
1370
            result = "deleted"
 
1371
        elif hook_status == 'done':
 
1372
            # The hook function did whatever it needs to do directly, no
 
1373
            # further action needed here.
 
1374
            pass
 
1375
        else:
 
1376
            raise AssertionError('unknown hook_status: %r' % (hook_status,))
 
1377
        if not self.this_tree.has_id(file_id) and result == "modified":
 
1378
            self.tt.version_file(file_id, trans_id)
 
1379
        if not keep_this:
 
1380
            # The merge has been performed and produced a new content, so the
 
1381
            # old contents should not be retained.
 
1382
            self.tt.delete_contents(trans_id)
 
1383
        return result
 
1384
 
 
1385
    def _default_other_winner_merge(self, merge_hook_params):
 
1386
        """Replace this contents with other."""
 
1387
        file_id = merge_hook_params.file_id
 
1388
        trans_id = merge_hook_params.trans_id
 
1389
        if self.other_tree.has_id(file_id):
 
1390
            # OTHER changed the file
 
1391
            transform.create_from_tree(
 
1392
                self.tt, trans_id, self.other_tree, file_id,
 
1393
                filter_tree_path=self._get_filter_tree_path(file_id))
 
1394
            return 'done', None
 
1395
        elif self.this_tree.has_id(file_id):
 
1396
            # OTHER deleted the file
 
1397
            return 'delete', None
 
1398
        else:
 
1399
            raise AssertionError(
 
1400
                'winner is OTHER, but file_id %r not in THIS or OTHER tree'
 
1401
                % (file_id,))
 
1402
 
 
1403
    def merge_contents(self, merge_hook_params):
 
1404
        """Fallback merge logic after user installed hooks."""
 
1405
        # This function is used in merge hooks as the fallback instance.
 
1406
        # Perhaps making this function and the functions it calls be a 
 
1407
        # a separate class would be better.
 
1408
        if merge_hook_params.winner == 'other':
1145
1409
            # OTHER is a straight winner, so replace this contents with other
1146
 
            file_in_this = file_id in self.this_tree
1147
 
            if file_in_this:
1148
 
                # Remove any existing contents
1149
 
                self.tt.delete_contents(trans_id)
1150
 
            if file_id in self.other_tree:
1151
 
                # OTHER changed the file
1152
 
                wt = self.this_tree
1153
 
                if wt.supports_content_filtering():
1154
 
                    # We get the path from the working tree if it exists.
1155
 
                    # That fails though when OTHER is adding a file, so
1156
 
                    # we fall back to the other tree to find the path if
1157
 
                    # it doesn't exist locally.
1158
 
                    try:
1159
 
                        filter_tree_path = wt.id2path(file_id)
1160
 
                    except errors.NoSuchId:
1161
 
                        filter_tree_path = self.other_tree.id2path(file_id)
1162
 
                else:
1163
 
                    # Skip the id2path lookup for older formats
1164
 
                    filter_tree_path = None
1165
 
                transform.create_from_tree(self.tt, trans_id,
1166
 
                                 self.other_tree, file_id,
1167
 
                                 filter_tree_path=filter_tree_path)
1168
 
                if not file_in_this:
1169
 
                    self.tt.version_file(file_id, trans_id)
1170
 
                return "modified"
1171
 
            elif file_in_this:
1172
 
                # OTHER deleted the file
1173
 
                self.tt.unversion_file(trans_id)
1174
 
                return "deleted"
 
1410
            return self._default_other_winner_merge(merge_hook_params)
 
1411
        elif merge_hook_params.is_file_merge():
 
1412
            # THIS and OTHER are both files, so text merge.  Either
 
1413
            # BASE is a file, or both converted to files, so at least we
 
1414
            # have agreement that output should be a file.
 
1415
            try:
 
1416
                self.text_merge(merge_hook_params.file_id,
 
1417
                    merge_hook_params.trans_id)
 
1418
            except errors.BinaryFile:
 
1419
                return 'not_applicable', None
 
1420
            return 'done', None
1175
1421
        else:
1176
 
            # We have a hypothetical conflict, but if we have files, then we
1177
 
            # can try to merge the content
1178
 
            if this_pair[0] == 'file' and other_pair[0] == 'file':
1179
 
                # THIS and OTHER are both files, so text merge.  Either
1180
 
                # BASE is a file, or both converted to files, so at least we
1181
 
                # have agreement that output should be a file.
1182
 
                try:
1183
 
                    self.text_merge(file_id, trans_id)
1184
 
                except errors.BinaryFile:
1185
 
                    return contents_conflict()
1186
 
                if file_id not in self.this_tree:
1187
 
                    self.tt.version_file(file_id, trans_id)
1188
 
                try:
1189
 
                    self.tt.tree_kind(trans_id)
1190
 
                    self.tt.delete_contents(trans_id)
1191
 
                except errors.NoSuchFile:
1192
 
                    pass
1193
 
                return "modified"
1194
 
            else:
1195
 
                return contents_conflict()
 
1422
            return 'not_applicable', None
1196
1423
 
1197
1424
    def get_lines(self, tree, file_id):
1198
1425
        """Return the lines in a file, or an empty list."""
1199
 
        if file_id in tree:
1200
 
            return tree.get_file(file_id).readlines()
 
1426
        if tree.has_id(file_id):
 
1427
            return tree.get_file_lines(file_id)
1201
1428
        else:
1202
1429
            return []
1203
1430
 
1205
1432
        """Perform a three-way text merge on a file_id"""
1206
1433
        # it's possible that we got here with base as a different type.
1207
1434
        # if so, we just want two-way text conflicts.
1208
 
        if file_id in self.base_tree and \
 
1435
        if self.base_tree.has_id(file_id) and \
1209
1436
            self.base_tree.kind(file_id) == "file":
1210
1437
            base_lines = self.get_lines(self.base_tree, file_id)
1211
1438
        else:
1245
1472
                                              other_lines)
1246
1473
            file_group.append(trans_id)
1247
1474
 
 
1475
 
 
1476
    def _get_filter_tree_path(self, file_id):
 
1477
        if self.this_tree.supports_content_filtering():
 
1478
            # We get the path from the working tree if it exists.
 
1479
            # That fails though when OTHER is adding a file, so
 
1480
            # we fall back to the other tree to find the path if
 
1481
            # it doesn't exist locally.
 
1482
            try:
 
1483
                return self.this_tree.id2path(file_id)
 
1484
            except errors.NoSuchId:
 
1485
                return self.other_tree.id2path(file_id)
 
1486
        # Skip the id2path lookup for older formats
 
1487
        return None
 
1488
 
1248
1489
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None,
1249
1490
                        base_lines=None, other_lines=None, set_version=False,
1250
1491
                        no_base=False):
1274
1515
        versioned = False
1275
1516
        file_group = []
1276
1517
        for suffix, tree, lines in data:
1277
 
            if file_id in tree:
 
1518
            if tree.has_id(file_id):
1278
1519
                trans_id = self._conflict_file(name, parent_id, tree, file_id,
1279
1520
                                               suffix, lines, filter_tree_path)
1280
1521
                file_group.append(trans_id)
1316
1557
        if winner == 'this' and file_status != "modified":
1317
1558
            return
1318
1559
        trans_id = self.tt.trans_id_file_id(file_id)
1319
 
        try:
1320
 
            if self.tt.final_kind(trans_id) != "file":
1321
 
                return
1322
 
        except errors.NoSuchFile:
 
1560
        if self.tt.final_kind(trans_id) != "file":
1323
1561
            return
1324
1562
        if winner == "this":
1325
1563
            executability = this_executable
1326
1564
        else:
1327
 
            if file_id in self.other_tree:
 
1565
            if self.other_tree.has_id(file_id):
1328
1566
                executability = other_executable
1329
 
            elif file_id in self.this_tree:
 
1567
            elif self.this_tree.has_id(file_id):
1330
1568
                executability = this_executable
1331
 
            elif file_id in self.base_tree:
 
1569
            elif self.base_tree_has_id(file_id):
1332
1570
                executability = base_executable
1333
1571
        if executability is not None:
1334
1572
            trans_id = self.tt.trans_id_file_id(file_id)
1336
1574
 
1337
1575
    def cook_conflicts(self, fs_conflicts):
1338
1576
        """Convert all conflicts into a form that doesn't depend on trans_id"""
1339
 
        name_conflicts = {}
1340
 
        self.cooked_conflicts.extend(transform.cook_conflicts(
1341
 
                fs_conflicts, self.tt))
 
1577
        content_conflict_file_ids = set()
 
1578
        cooked_conflicts = transform.cook_conflicts(fs_conflicts, self.tt)
1342
1579
        fp = transform.FinalPaths(self.tt)
1343
1580
        for conflict in self._raw_conflicts:
1344
1581
            conflict_type = conflict[0]
1345
 
            if conflict_type in ('name conflict', 'parent conflict'):
1346
 
                trans_id = conflict[1]
1347
 
                conflict_args = conflict[2:]
1348
 
                if trans_id not in name_conflicts:
1349
 
                    name_conflicts[trans_id] = {}
1350
 
                transform.unique_add(name_conflicts[trans_id], conflict_type,
1351
 
                                     conflict_args)
1352
 
            if conflict_type == 'contents conflict':
 
1582
            if conflict_type == 'path conflict':
 
1583
                (trans_id, file_id,
 
1584
                this_parent, this_name,
 
1585
                other_parent, other_name) = conflict[1:]
 
1586
                if this_parent is None or this_name is None:
 
1587
                    this_path = '<deleted>'
 
1588
                else:
 
1589
                    parent_path =  fp.get_path(
 
1590
                        self.tt.trans_id_file_id(this_parent))
 
1591
                    this_path = osutils.pathjoin(parent_path, this_name)
 
1592
                if other_parent is None or other_name is None:
 
1593
                    other_path = '<deleted>'
 
1594
                else:
 
1595
                    if other_parent == self.other_tree.get_root_id():
 
1596
                        # The tree transform doesn't know about the other root,
 
1597
                        # so we special case here to avoid a NoFinalPath
 
1598
                        # exception
 
1599
                        parent_path = ''
 
1600
                    else:
 
1601
                        parent_path =  fp.get_path(
 
1602
                            self.tt.trans_id_file_id(other_parent))
 
1603
                    other_path = osutils.pathjoin(parent_path, other_name)
 
1604
                c = _mod_conflicts.Conflict.factory(
 
1605
                    'path conflict', path=this_path,
 
1606
                    conflict_path=other_path,
 
1607
                    file_id=file_id)
 
1608
            elif conflict_type == 'contents conflict':
1353
1609
                for trans_id in conflict[1]:
1354
1610
                    file_id = self.tt.final_file_id(trans_id)
1355
1611
                    if file_id is not None:
 
1612
                        # Ok we found the relevant file-id
1356
1613
                        break
1357
1614
                path = fp.get_path(trans_id)
1358
1615
                for suffix in ('.BASE', '.THIS', '.OTHER'):
1359
1616
                    if path.endswith(suffix):
 
1617
                        # Here is the raw path
1360
1618
                        path = path[:-len(suffix)]
1361
1619
                        break
1362
1620
                c = _mod_conflicts.Conflict.factory(conflict_type,
1363
1621
                                                    path=path, file_id=file_id)
1364
 
                self.cooked_conflicts.append(c)
1365
 
            if conflict_type == 'text conflict':
 
1622
                content_conflict_file_ids.add(file_id)
 
1623
            elif conflict_type == 'text conflict':
1366
1624
                trans_id = conflict[1]
1367
1625
                path = fp.get_path(trans_id)
1368
1626
                file_id = self.tt.final_file_id(trans_id)
1369
1627
                c = _mod_conflicts.Conflict.factory(conflict_type,
1370
1628
                                                    path=path, file_id=file_id)
1371
 
                self.cooked_conflicts.append(c)
 
1629
            else:
 
1630
                raise AssertionError('bad conflict type: %r' % (conflict,))
 
1631
            cooked_conflicts.append(c)
1372
1632
 
1373
 
        for trans_id, conflicts in name_conflicts.iteritems():
1374
 
            try:
1375
 
                this_parent, other_parent = conflicts['parent conflict']
1376
 
                if this_parent == other_parent:
1377
 
                    raise AssertionError()
1378
 
            except KeyError:
1379
 
                this_parent = other_parent = \
1380
 
                    self.tt.final_file_id(self.tt.final_parent(trans_id))
1381
 
            try:
1382
 
                this_name, other_name = conflicts['name conflict']
1383
 
                if this_name == other_name:
1384
 
                    raise AssertionError()
1385
 
            except KeyError:
1386
 
                this_name = other_name = self.tt.final_name(trans_id)
1387
 
            other_path = fp.get_path(trans_id)
1388
 
            if this_parent is not None and this_name is not None:
1389
 
                this_parent_path = \
1390
 
                    fp.get_path(self.tt.trans_id_file_id(this_parent))
1391
 
                this_path = osutils.pathjoin(this_parent_path, this_name)
1392
 
            else:
1393
 
                this_path = "<deleted>"
1394
 
            file_id = self.tt.final_file_id(trans_id)
1395
 
            c = _mod_conflicts.Conflict.factory('path conflict', path=this_path,
1396
 
                                                conflict_path=other_path,
1397
 
                                                file_id=file_id)
 
1633
        self.cooked_conflicts = []
 
1634
        # We want to get rid of path conflicts when a corresponding contents
 
1635
        # conflict exists. This can occur when one branch deletes a file while
 
1636
        # the other renames *and* modifies it. In this case, the content
 
1637
        # conflict is enough.
 
1638
        for c in cooked_conflicts:
 
1639
            if (c.typestring == 'path conflict'
 
1640
                and c.file_id in content_conflict_file_ids):
 
1641
                continue
1398
1642
            self.cooked_conflicts.append(c)
1399
1643
        self.cooked_conflicts.sort(key=_mod_conflicts.Conflict.sort_key)
1400
1644
 
1506
1750
            osutils.rmtree(temp_dir)
1507
1751
 
1508
1752
 
 
1753
class PathNotInTree(errors.BzrError):
 
1754
 
 
1755
    _fmt = """Merge-into failed because %(tree)s does not contain %(path)s."""
 
1756
 
 
1757
    def __init__(self, path, tree):
 
1758
        errors.BzrError.__init__(self, path=path, tree=tree)
 
1759
 
 
1760
 
 
1761
class MergeIntoMerger(Merger):
 
1762
    """Merger that understands other_tree will be merged into a subdir.
 
1763
 
 
1764
    This also changes the Merger api so that it uses real Branch, revision_id,
 
1765
    and RevisonTree objects, rather than using revision specs.
 
1766
    """
 
1767
 
 
1768
    def __init__(self, this_tree, other_branch, other_tree, target_subdir,
 
1769
            source_subpath, other_rev_id=None):
 
1770
        """Create a new MergeIntoMerger object.
 
1771
 
 
1772
        source_subpath in other_tree will be effectively copied to
 
1773
        target_subdir in this_tree.
 
1774
 
 
1775
        :param this_tree: The tree that we will be merging into.
 
1776
        :param other_branch: The Branch we will be merging from.
 
1777
        :param other_tree: The RevisionTree object we want to merge.
 
1778
        :param target_subdir: The relative path where we want to merge
 
1779
            other_tree into this_tree
 
1780
        :param source_subpath: The relative path specifying the subtree of
 
1781
            other_tree to merge into this_tree.
 
1782
        """
 
1783
        # It is assumed that we are merging a tree that is not in our current
 
1784
        # ancestry, which means we are using the "EmptyTree" as our basis.
 
1785
        null_ancestor_tree = this_tree.branch.repository.revision_tree(
 
1786
                                _mod_revision.NULL_REVISION)
 
1787
        super(MergeIntoMerger, self).__init__(
 
1788
            this_branch=this_tree.branch,
 
1789
            this_tree=this_tree,
 
1790
            other_tree=other_tree,
 
1791
            base_tree=null_ancestor_tree,
 
1792
            )
 
1793
        self._target_subdir = target_subdir
 
1794
        self._source_subpath = source_subpath
 
1795
        self.other_branch = other_branch
 
1796
        if other_rev_id is None:
 
1797
            other_rev_id = other_tree.get_revision_id()
 
1798
        self.other_rev_id = self.other_basis = other_rev_id
 
1799
        self.base_is_ancestor = True
 
1800
        self.backup_files = True
 
1801
        self.merge_type = Merge3Merger
 
1802
        self.show_base = False
 
1803
        self.reprocess = False
 
1804
        self.interesting_ids = None
 
1805
        self.merge_type = _MergeTypeParameterizer(MergeIntoMergeType,
 
1806
              target_subdir=self._target_subdir,
 
1807
              source_subpath=self._source_subpath)
 
1808
        if self._source_subpath != '':
 
1809
            # If this isn't a partial merge make sure the revisions will be
 
1810
            # present.
 
1811
            self._maybe_fetch(self.other_branch, self.this_branch,
 
1812
                self.other_basis)
 
1813
 
 
1814
    def set_pending(self):
 
1815
        if self._source_subpath != '':
 
1816
            return
 
1817
        Merger.set_pending(self)
 
1818
 
 
1819
 
 
1820
class _MergeTypeParameterizer(object):
 
1821
    """Wrap a merge-type class to provide extra parameters.
 
1822
    
 
1823
    This is hack used by MergeIntoMerger to pass some extra parameters to its
 
1824
    merge_type.  Merger.do_merge() sets up its own set of parameters to pass to
 
1825
    the 'merge_type' member.  It is difficult override do_merge without
 
1826
    re-writing the whole thing, so instead we create a wrapper which will pass
 
1827
    the extra parameters.
 
1828
    """
 
1829
 
 
1830
    def __init__(self, merge_type, **kwargs):
 
1831
        self._extra_kwargs = kwargs
 
1832
        self._merge_type = merge_type
 
1833
 
 
1834
    def __call__(self, *args, **kwargs):
 
1835
        kwargs.update(self._extra_kwargs)
 
1836
        return self._merge_type(*args, **kwargs)
 
1837
 
 
1838
    def __getattr__(self, name):
 
1839
        return getattr(self._merge_type, name)
 
1840
 
 
1841
 
 
1842
class MergeIntoMergeType(Merge3Merger):
 
1843
    """Merger that incorporates a tree (or part of a tree) into another."""
 
1844
 
 
1845
    def __init__(self, *args, **kwargs):
 
1846
        """Initialize the merger object.
 
1847
 
 
1848
        :param args: See Merge3Merger.__init__'s args.
 
1849
        :param kwargs: See Merge3Merger.__init__'s keyword args, except for
 
1850
            source_subpath and target_subdir.
 
1851
        :keyword source_subpath: The relative path specifying the subtree of
 
1852
            other_tree to merge into this_tree.
 
1853
        :keyword target_subdir: The relative path where we want to merge
 
1854
            other_tree into this_tree
 
1855
        """
 
1856
        # All of the interesting work happens during Merge3Merger.__init__(),
 
1857
        # so we have have to hack in to get our extra parameters set.
 
1858
        self._source_subpath = kwargs.pop('source_subpath')
 
1859
        self._target_subdir = kwargs.pop('target_subdir')
 
1860
        super(MergeIntoMergeType, self).__init__(*args, **kwargs)
 
1861
 
 
1862
    def _compute_transform(self):
 
1863
        child_pb = ui.ui_factory.nested_progress_bar()
 
1864
        try:
 
1865
            entries = self._entries_to_incorporate()
 
1866
            entries = list(entries)
 
1867
            for num, (entry, parent_id) in enumerate(entries):
 
1868
                child_pb.update(gettext('Preparing file merge'), num, len(entries))
 
1869
                parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
1870
                trans_id = transform.new_by_entry(self.tt, entry,
 
1871
                    parent_trans_id, self.other_tree)
 
1872
        finally:
 
1873
            child_pb.finished()
 
1874
        self._finish_computing_transform()
 
1875
 
 
1876
    def _entries_to_incorporate(self):
 
1877
        """Yields pairs of (inventory_entry, new_parent)."""
 
1878
        other_inv = self.other_tree.root_inventory
 
1879
        subdir_id = other_inv.path2id(self._source_subpath)
 
1880
        if subdir_id is None:
 
1881
            # XXX: The error would be clearer if it gave the URL of the source
 
1882
            # branch, but we don't have a reference to that here.
 
1883
            raise PathNotInTree(self._source_subpath, "Source tree")
 
1884
        subdir = other_inv[subdir_id]
 
1885
        parent_in_target = osutils.dirname(self._target_subdir)
 
1886
        target_id = self.this_tree.path2id(parent_in_target)
 
1887
        if target_id is None:
 
1888
            raise PathNotInTree(self._target_subdir, "Target tree")
 
1889
        name_in_target = osutils.basename(self._target_subdir)
 
1890
        merge_into_root = subdir.copy()
 
1891
        merge_into_root.name = name_in_target
 
1892
        if self.this_tree.has_id(merge_into_root.file_id):
 
1893
            # Give the root a new file-id.
 
1894
            # This can happen fairly easily if the directory we are
 
1895
            # incorporating is the root, and both trees have 'TREE_ROOT' as
 
1896
            # their root_id.  Users will expect this to Just Work, so we
 
1897
            # change the file-id here.
 
1898
            # Non-root file-ids could potentially conflict too.  That's really
 
1899
            # an edge case, so we don't do anything special for those.  We let
 
1900
            # them cause conflicts.
 
1901
            merge_into_root.file_id = generate_ids.gen_file_id(name_in_target)
 
1902
        yield (merge_into_root, target_id)
 
1903
        if subdir.kind != 'directory':
 
1904
            # No children, so we are done.
 
1905
            return
 
1906
        for ignored_path, entry in other_inv.iter_entries_by_dir(subdir_id):
 
1907
            parent_id = entry.parent_id
 
1908
            if parent_id == subdir.file_id:
 
1909
                # The root's parent ID has changed, so make sure children of
 
1910
                # the root refer to the new ID.
 
1911
                parent_id = merge_into_root.file_id
 
1912
            yield (entry, parent_id)
 
1913
 
 
1914
 
1509
1915
def merge_inner(this_branch, other_tree, base_tree, ignore_zero=False,
1510
1916
                backup_files=False,
1511
1917
                merge_type=Merge3Merger,
1515
1921
                other_rev_id=None,
1516
1922
                interesting_files=None,
1517
1923
                this_tree=None,
1518
 
                pb=progress.DummyProgress(),
 
1924
                pb=None,
1519
1925
                change_reporter=None):
1520
1926
    """Primary interface for merging.
1521
1927
 
1522
 
        typical use is probably
1523
 
        'merge_inner(branch, branch.get_revision_tree(other_revision),
1524
 
                     branch.get_revision_tree(base_revision))'
1525
 
        """
 
1928
    Typical use is probably::
 
1929
 
 
1930
        merge_inner(branch, branch.get_revision_tree(other_revision),
 
1931
                    branch.get_revision_tree(base_revision))
 
1932
    """
1526
1933
    if this_tree is None:
1527
1934
        raise errors.BzrError("bzrlib.merge.merge_inner requires a this_tree "
1528
 
                              "parameter as of bzrlib version 0.8.")
 
1935
                              "parameter")
1529
1936
    merger = Merger(this_branch, other_tree, base_tree, this_tree=this_tree,
1530
1937
                    pb=pb, change_reporter=change_reporter)
1531
1938
    merger.backup_files = backup_files
1548
1955
    merger.set_base_revision(get_revision_id(), this_branch)
1549
1956
    return merger.do_merge()
1550
1957
 
 
1958
 
 
1959
merge_type_registry = registry.Registry()
 
1960
merge_type_registry.register('diff3', Diff3Merger,
 
1961
                             "Merge using external diff3.")
 
1962
merge_type_registry.register('lca', LCAMerger,
 
1963
                             "LCA-newness merge.")
 
1964
merge_type_registry.register('merge3', Merge3Merger,
 
1965
                             "Native diff3-style merge.")
 
1966
merge_type_registry.register('weave', WeaveMerger,
 
1967
                             "Weave-based merge.")
 
1968
 
 
1969
 
1551
1970
def get_merge_type_registry():
1552
 
    """Merge type registry is in bzrlib.option to avoid circular imports.
 
1971
    """Merge type registry was previously in bzrlib.option
1553
1972
 
1554
 
    This method provides a sanctioned way to retrieve it.
 
1973
    This method provides a backwards compatible way to retrieve it.
1555
1974
    """
1556
 
    from bzrlib import option
1557
 
    return option._merge_type_registry
 
1975
    return merge_type_registry
1558
1976
 
1559
1977
 
1560
1978
def _plan_annotate_merge(annotated_a, annotated_b, ancestors_a, ancestors_b):
1985
2403
class _PlanLCAMerge(_PlanMergeBase):
1986
2404
    """
1987
2405
    This merge algorithm differs from _PlanMerge in that:
 
2406
 
1988
2407
    1. comparisons are done against LCAs only
1989
2408
    2. cases where a contested line is new versus one LCA but old versus
1990
2409
       another are marked as conflicts, by emitting the line as conflicted-a
2031
2450
 
2032
2451
        If a line is killed and new, this indicates that the two merge
2033
2452
        revisions contain differing conflict resolutions.
 
2453
 
2034
2454
        :param revision_id: The id of the revision in which the lines are
2035
2455
            unique
2036
2456
        :param unique_line_numbers: The line numbers of unique lines.
2037
 
        :return a tuple of (new_this, killed_other):
 
2457
        :return: a tuple of (new_this, killed_other)
2038
2458
        """
2039
2459
        new = set()
2040
2460
        killed = set()