~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2010-11-06 16:01:48 UTC
  • mfrom: (5527.1.1 trunk)
  • Revision ID: pqm@pqm.ubuntu.com-20101106160148-8maemz21jbrhpzky
(vila) Move NEWS entry into the correct section (Vincent Ladeuil)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
 
18
 
import os
19
 
import errno
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
20
17
import warnings
21
18
 
 
19
from bzrlib.lazy_import import lazy_import
 
20
lazy_import(globals(), """
22
21
from bzrlib import (
 
22
    branch as _mod_branch,
 
23
    conflicts as _mod_conflicts,
23
24
    debug,
24
 
    errors,
 
25
    generate_ids,
 
26
    graph as _mod_graph,
 
27
    merge3,
25
28
    osutils,
26
29
    patiencediff,
27
 
    registry,
28
30
    revision as _mod_revision,
29
 
    )
30
 
from bzrlib.branch import Branch
31
 
from bzrlib.conflicts import ConflictList, Conflict
32
 
from bzrlib.errors import (BzrCommandError,
33
 
                           BzrError,
34
 
                           NoCommonAncestor,
35
 
                           NoCommits,
36
 
                           NoSuchRevision,
37
 
                           NoSuchFile,
38
 
                           NotBranchError,
39
 
                           NotVersionedError,
40
 
                           UnrelatedBranches,
41
 
                           UnsupportedOperation,
42
 
                           WorkingTreeNotRevision,
43
 
                           BinaryFile,
44
 
                           )
45
 
from bzrlib.merge3 import Merge3
46
 
from bzrlib.osutils import rename, pathjoin
47
 
from progress import DummyProgress, ProgressPhase
48
 
from bzrlib.revision import (NULL_REVISION, ensure_null)
49
 
from bzrlib.textfile import check_text_lines
50
 
from bzrlib.trace import mutter, warning, note, is_quiet
51
 
from bzrlib.transform import (TransformPreview, TreeTransform,
52
 
                              resolve_conflicts, cook_conflicts,
53
 
                              conflict_pass, FinalPaths, create_by_entry,
54
 
                              unique_add, ROOT_PARENT)
55
 
from bzrlib.versionedfile import PlanWeaveMerge
56
 
from bzrlib import ui
57
 
 
 
31
    textfile,
 
32
    trace,
 
33
    transform,
 
34
    tree as _mod_tree,
 
35
    tsort,
 
36
    ui,
 
37
    versionedfile,
 
38
    workingtree,
 
39
    )
 
40
from bzrlib.cleanup import OperationWithCleanups
 
41
""")
 
42
from bzrlib import (
 
43
    decorators,
 
44
    errors,
 
45
    hooks,
 
46
    )
 
47
from bzrlib.symbol_versioning import (
 
48
    deprecated_in,
 
49
    deprecated_method,
 
50
    )
58
51
# TODO: Report back as changes are merged in
59
52
 
60
53
 
61
54
def transform_tree(from_tree, to_tree, interesting_ids=None):
62
 
    merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
63
 
                interesting_ids=interesting_ids, this_tree=from_tree)
 
55
    from_tree.lock_tree_write()
 
56
    operation = OperationWithCleanups(merge_inner)
 
57
    operation.add_cleanup(from_tree.unlock)
 
58
    operation.run_simple(from_tree.branch, to_tree, from_tree,
 
59
        ignore_zero=True, interesting_ids=interesting_ids, this_tree=from_tree)
 
60
 
 
61
 
 
62
class MergeHooks(hooks.Hooks):
 
63
 
 
64
    def __init__(self):
 
65
        hooks.Hooks.__init__(self)
 
66
        self.create_hook(hooks.HookPoint('merge_file_content',
 
67
            "Called with a bzrlib.merge.Merger object to create a per file "
 
68
            "merge object when starting a merge. "
 
69
            "Should return either None or a subclass of "
 
70
            "``bzrlib.merge.AbstractPerFileMerger``. "
 
71
            "Such objects will then be called per file "
 
72
            "that needs to be merged (including when one "
 
73
            "side has deleted the file and the other has changed it). "
 
74
            "See the AbstractPerFileMerger API docs for details on how it is "
 
75
            "used by merge.",
 
76
            (2, 1), None))
 
77
 
 
78
 
 
79
class AbstractPerFileMerger(object):
 
80
    """PerFileMerger objects are used by plugins extending merge for bzrlib.
 
81
 
 
82
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
 
83
    
 
84
    :ivar merger: The Merge3Merger performing the merge.
 
85
    """
 
86
 
 
87
    def __init__(self, merger):
 
88
        """Create a PerFileMerger for use with merger."""
 
89
        self.merger = merger
 
90
 
 
91
    def merge_contents(self, merge_params):
 
92
        """Attempt to merge the contents of a single file.
 
93
        
 
94
        :param merge_params: A bzrlib.merge.MergeHookParams
 
95
        :return : A tuple of (status, chunks), where status is one of
 
96
            'not_applicable', 'success', 'conflicted', or 'delete'.  If status
 
97
            is 'success' or 'conflicted', then chunks should be an iterable of
 
98
            strings for the new file contents.
 
99
        """
 
100
        return ('not applicable', None)
 
101
 
 
102
 
 
103
class PerFileMerger(AbstractPerFileMerger):
 
104
    """Merge individual files when self.file_matches returns True.
 
105
 
 
106
    This class is intended to be subclassed.  The file_matches and
 
107
    merge_matching methods should be overridden with concrete implementations.
 
108
    """
 
109
 
 
110
    def file_matches(self, params):
 
111
        """Return True if merge_matching should be called on this file.
 
112
 
 
113
        Only called with merges of plain files with no clear winner.
 
114
 
 
115
        Subclasses must override this.
 
116
        """
 
117
        raise NotImplementedError(self.file_matches)
 
118
 
 
119
    def get_filename(self, params, tree):
 
120
        """Lookup the filename (i.e. basename, not path), given a Tree (e.g.
 
121
        self.merger.this_tree) and a MergeHookParams.
 
122
        """
 
123
        return osutils.basename(tree.id2path(params.file_id))
 
124
 
 
125
    def get_filepath(self, params, tree):
 
126
        """Calculate the path to the file in a tree.
 
127
 
 
128
        :param params: A MergeHookParams describing the file to merge
 
129
        :param tree: a Tree, e.g. self.merger.this_tree.
 
130
        """
 
131
        return tree.id2path(params.file_id)
 
132
 
 
133
    def merge_contents(self, params):
 
134
        """Merge the contents of a single file."""
 
135
        # Check whether this custom merge logic should be used.
 
136
        if (
 
137
            # OTHER is a straight winner, rely on default merge.
 
138
            params.winner == 'other' or
 
139
            # THIS and OTHER aren't both files.
 
140
            not params.is_file_merge() or
 
141
            # The filename doesn't match *.xml
 
142
            not self.file_matches(params)):
 
143
            return 'not_applicable', None
 
144
        return self.merge_matching(params)
 
145
 
 
146
    def merge_matching(self, params):
 
147
        """Merge the contents of a single file that has matched the criteria
 
148
        in PerFileMerger.merge_contents (is a conflict, is a file,
 
149
        self.file_matches is True).
 
150
 
 
151
        Subclasses must override this.
 
152
        """
 
153
        raise NotImplementedError(self.merge_matching)
 
154
 
 
155
 
 
156
class ConfigurableFileMerger(PerFileMerger):
 
157
    """Merge individual files when configured via a .conf file.
 
158
 
 
159
    This is a base class for concrete custom file merging logic. Concrete
 
160
    classes should implement ``merge_text``.
 
161
 
 
162
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
 
163
    
 
164
    :ivar affected_files: The configured file paths to merge.
 
165
 
 
166
    :cvar name_prefix: The prefix to use when looking up configuration
 
167
        details. <name_prefix>_merge_files describes the files targeted by the
 
168
        hook for example.
 
169
        
 
170
    :cvar default_files: The default file paths to merge when no configuration
 
171
        is present.
 
172
    """
 
173
 
 
174
    name_prefix = None
 
175
    default_files = None
 
176
 
 
177
    def __init__(self, merger):
 
178
        super(ConfigurableFileMerger, self).__init__(merger)
 
179
        self.affected_files = None
 
180
        self.default_files = self.__class__.default_files or []
 
181
        self.name_prefix = self.__class__.name_prefix
 
182
        if self.name_prefix is None:
 
183
            raise ValueError("name_prefix must be set.")
 
184
 
 
185
    def file_matches(self, params):
 
186
        """Check whether the file should call the merge hook.
 
187
 
 
188
        <name_prefix>_merge_files configuration variable is a list of files
 
189
        that should use the hook.
 
190
        """
 
191
        affected_files = self.affected_files
 
192
        if affected_files is None:
 
193
            config = self.merger.this_branch.get_config()
 
194
            # Until bzr provides a better policy for caching the config, we
 
195
            # just add the part we're interested in to the params to avoid
 
196
            # reading the config files repeatedly (bazaar.conf, location.conf,
 
197
            # branch.conf).
 
198
            config_key = self.name_prefix + '_merge_files'
 
199
            affected_files = config.get_user_option_as_list(config_key)
 
200
            if affected_files is None:
 
201
                # If nothing was specified in the config, use the default.
 
202
                affected_files = self.default_files
 
203
            self.affected_files = affected_files
 
204
        if affected_files:
 
205
            filepath = self.get_filepath(params, self.merger.this_tree)
 
206
            if filepath in affected_files:
 
207
                return True
 
208
        return False
 
209
 
 
210
    def merge_matching(self, params):
 
211
        return self.merge_text(params)
 
212
 
 
213
    def merge_text(self, params):
 
214
        """Merge the byte contents of a single file.
 
215
 
 
216
        This is called after checking that the merge should be performed in
 
217
        merge_contents, and it should behave as per
 
218
        ``bzrlib.merge.AbstractPerFileMerger.merge_contents``.
 
219
        """
 
220
        raise NotImplementedError(self.merge_text)
 
221
 
 
222
 
 
223
class MergeHookParams(object):
 
224
    """Object holding parameters passed to merge_file_content hooks.
 
225
 
 
226
    There are some fields hooks can access:
 
227
 
 
228
    :ivar file_id: the file ID of the file being merged
 
229
    :ivar trans_id: the transform ID for the merge of this file
 
230
    :ivar this_kind: kind of file_id in 'this' tree
 
231
    :ivar other_kind: kind of file_id in 'other' tree
 
232
    :ivar winner: one of 'this', 'other', 'conflict'
 
233
    """
 
234
 
 
235
    def __init__(self, merger, file_id, trans_id, this_kind, other_kind,
 
236
            winner):
 
237
        self._merger = merger
 
238
        self.file_id = file_id
 
239
        self.trans_id = trans_id
 
240
        self.this_kind = this_kind
 
241
        self.other_kind = other_kind
 
242
        self.winner = winner
 
243
 
 
244
    def is_file_merge(self):
 
245
        """True if this_kind and other_kind are both 'file'."""
 
246
        return self.this_kind == 'file' and self.other_kind == 'file'
 
247
 
 
248
    @decorators.cachedproperty
 
249
    def base_lines(self):
 
250
        """The lines of the 'base' version of the file."""
 
251
        return self._merger.get_lines(self._merger.base_tree, self.file_id)
 
252
 
 
253
    @decorators.cachedproperty
 
254
    def this_lines(self):
 
255
        """The lines of the 'this' version of the file."""
 
256
        return self._merger.get_lines(self._merger.this_tree, self.file_id)
 
257
 
 
258
    @decorators.cachedproperty
 
259
    def other_lines(self):
 
260
        """The lines of the 'other' version of the file."""
 
261
        return self._merger.get_lines(self._merger.other_tree, self.file_id)
64
262
 
65
263
 
66
264
class Merger(object):
 
265
 
 
266
    hooks = MergeHooks()
 
267
 
67
268
    def __init__(self, this_branch, other_tree=None, base_tree=None,
68
 
                 this_tree=None, pb=DummyProgress(), change_reporter=None,
 
269
                 this_tree=None, pb=None, change_reporter=None,
69
270
                 recurse='down', revision_graph=None):
70
271
        object.__init__(self)
71
 
        assert this_tree is not None, "this_tree is required"
72
272
        self.this_branch = this_branch
73
273
        self.this_basis = _mod_revision.ensure_null(
74
274
            this_branch.last_revision())
85
285
        self.interesting_files = None
86
286
        self.show_base = False
87
287
        self.reprocess = False
88
 
        self._pb = pb
 
288
        if pb is not None:
 
289
            warnings.warn("pb parameter to Merger() is deprecated and ignored")
89
290
        self.pp = None
90
291
        self.recurse = recurse
91
292
        self.change_reporter = change_reporter
93
294
        self._revision_graph = revision_graph
94
295
        self._base_is_ancestor = None
95
296
        self._base_is_other_ancestor = None
 
297
        self._is_criss_cross = None
 
298
        self._lca_trees = None
 
299
 
 
300
    def cache_trees_with_revision_ids(self, trees):
 
301
        """Cache any tree in trees if it has a revision_id."""
 
302
        for maybe_tree in trees:
 
303
            if maybe_tree is None:
 
304
                continue
 
305
            try:
 
306
                rev_id = maybe_tree.get_revision_id()
 
307
            except AttributeError:
 
308
                continue
 
309
            self._cached_trees[rev_id] = maybe_tree
96
310
 
97
311
    @property
98
312
    def revision_graph(self):
116
330
 
117
331
    def _get_base_is_other_ancestor(self):
118
332
        if self._base_is_other_ancestor is None:
119
 
            self.base_is_other_ancestor = self.revision_graph.is_ancestor(
 
333
            if self.other_basis is None:
 
334
                return True
 
335
            self._base_is_other_ancestor = self.revision_graph.is_ancestor(
120
336
                self.base_rev_id, self.other_basis)
121
337
        return self._base_is_other_ancestor
122
338
 
124
340
                                      _set_base_is_other_ancestor)
125
341
 
126
342
    @staticmethod
127
 
    def from_uncommitted(tree, other_tree, pb):
 
343
    def from_uncommitted(tree, other_tree, pb=None, base_tree=None):
128
344
        """Return a Merger for uncommitted changes in other_tree.
129
345
 
130
346
        :param tree: The tree to merge into
131
347
        :param other_tree: The tree to get uncommitted changes from
132
348
        :param pb: A progress indicator
 
349
        :param base_tree: The basis to use for the merge.  If unspecified,
 
350
            other_tree.basis_tree() will be used.
133
351
        """
134
 
        merger = Merger(tree.branch, other_tree, other_tree.basis_tree(), tree,
135
 
                        pb)
 
352
        if base_tree is None:
 
353
            base_tree = other_tree.basis_tree()
 
354
        merger = Merger(tree.branch, other_tree, base_tree, tree, pb)
136
355
        merger.base_rev_id = merger.base_tree.get_revision_id()
137
356
        merger.other_rev_id = None
138
357
        merger.other_basis = merger.base_rev_id
150
369
        base_revision_id, other_revision_id, verified =\
151
370
            mergeable.get_merge_request(tree.branch.repository)
152
371
        revision_graph = tree.branch.repository.get_graph()
153
 
        if (base_revision_id != _mod_revision.NULL_REVISION and
154
 
            revision_graph.is_ancestor(
155
 
            base_revision_id, tree.branch.last_revision())):
156
 
            base_revision_id = None
157
 
        else:
158
 
            warning('Performing cherrypick')
 
372
        if base_revision_id is not None:
 
373
            if (base_revision_id != _mod_revision.NULL_REVISION and
 
374
                revision_graph.is_ancestor(
 
375
                base_revision_id, tree.branch.last_revision())):
 
376
                base_revision_id = None
 
377
            else:
 
378
                trace.warning('Performing cherrypick')
159
379
        merger = klass.from_revision_ids(pb, tree, other_revision_id,
160
380
                                         base_revision_id, revision_graph=
161
381
                                         revision_graph)
162
382
        return merger, verified
163
383
 
164
384
    @staticmethod
165
 
    def from_revision_ids(pb, this, other, base=None, other_branch=None,
166
 
                          base_branch=None, revision_graph=None):
 
385
    def from_revision_ids(pb, tree, other, base=None, other_branch=None,
 
386
                          base_branch=None, revision_graph=None,
 
387
                          tree_branch=None):
167
388
        """Return a Merger for revision-ids.
168
389
 
 
390
        :param pb: A progress indicator
169
391
        :param tree: The tree to merge changes into
170
392
        :param other: The revision-id to use as OTHER
171
393
        :param base: The revision-id to use as BASE.  If not specified, will
172
394
            be auto-selected.
173
395
        :param other_branch: A branch containing the other revision-id.  If
174
 
            not supplied, this.branch is used.
 
396
            not supplied, tree.branch is used.
175
397
        :param base_branch: A branch containing the base revision-id.  If
176
 
            not supplied, other_branch or this.branch will be used.
177
 
        :param pb: A progress indicator
 
398
            not supplied, other_branch or tree.branch will be used.
 
399
        :param revision_graph: If you have a revision_graph precomputed, pass
 
400
            it in, otherwise it will be created for you.
 
401
        :param tree_branch: The branch associated with tree.  If not supplied,
 
402
            tree.branch will be used.
178
403
        """
179
 
        merger = Merger(this.branch, this_tree=this, pb=pb,
 
404
        if tree_branch is None:
 
405
            tree_branch = tree.branch
 
406
        merger = Merger(tree_branch, this_tree=tree, pb=pb,
180
407
                        revision_graph=revision_graph)
181
408
        if other_branch is None:
182
 
            other_branch = this.branch
 
409
            other_branch = tree.branch
183
410
        merger.set_other_revision(other, other_branch)
184
411
        if base is None:
185
412
            merger.find_base()
201
428
        return self._cached_trees[revision_id]
202
429
 
203
430
    def _get_tree(self, treespec, possible_transports=None):
204
 
        from bzrlib import workingtree
205
431
        location, revno = treespec
206
432
        if revno is None:
207
433
            tree = workingtree.WorkingTree.open_containing(location)[0]
208
434
            return tree.branch, tree
209
 
        branch = Branch.open_containing(location, possible_transports)[0]
 
435
        branch = _mod_branch.Branch.open_containing(
 
436
            location, possible_transports)[0]
210
437
        if revno == -1:
211
438
            revision_id = branch.last_revision()
212
439
        else:
213
440
            revision_id = branch.get_rev_id(revno)
214
 
        revision_id = ensure_null(revision_id)
 
441
        revision_id = _mod_revision.ensure_null(revision_id)
215
442
        return branch, self.revision_tree(revision_id, branch)
216
443
 
 
444
    @deprecated_method(deprecated_in((2, 1, 0)))
217
445
    def ensure_revision_trees(self):
218
446
        if self.this_revision_tree is None:
219
447
            self.this_basis_tree = self.revision_tree(self.this_basis)
222
450
 
223
451
        if self.other_rev_id is None:
224
452
            other_basis_tree = self.revision_tree(self.other_basis)
225
 
            changes = other_basis_tree.changes_from(self.other_tree)
226
 
            if changes.has_changed():
227
 
                raise WorkingTreeNotRevision(self.this_tree)
 
453
            if other_basis_tree.has_changes(self.other_tree):
 
454
                raise errors.WorkingTreeNotRevision(self.this_tree)
228
455
            other_rev_id = self.other_basis
229
456
            self.other_tree = other_basis_tree
230
457
 
 
458
    @deprecated_method(deprecated_in((2, 1, 0)))
231
459
    def file_revisions(self, file_id):
232
460
        self.ensure_revision_trees()
233
461
        def get_id(tree, file_id):
234
462
            revision_id = tree.inventory[file_id].revision
235
 
            assert revision_id is not None
236
463
            return revision_id
237
464
        if self.this_rev_id is None:
238
465
            if self.this_basis_tree.get_file_sha1(file_id) != \
239
466
                self.this_tree.get_file_sha1(file_id):
240
 
                raise WorkingTreeNotRevision(self.this_tree)
 
467
                raise errors.WorkingTreeNotRevision(self.this_tree)
241
468
 
242
469
        trees = (self.this_basis_tree, self.other_tree)
243
470
        return [get_id(tree, file_id) for tree in trees]
244
471
 
 
472
    @deprecated_method(deprecated_in((2, 1, 0)))
245
473
    def check_basis(self, check_clean, require_commits=True):
246
474
        if self.this_basis is None and require_commits is True:
247
 
            raise BzrCommandError("This branch has no commits."
248
 
                                  " (perhaps you would prefer 'bzr pull')")
 
475
            raise errors.BzrCommandError(
 
476
                "This branch has no commits."
 
477
                " (perhaps you would prefer 'bzr pull')")
249
478
        if check_clean:
250
479
            self.compare_basis()
251
480
            if self.this_basis != self.this_rev_id:
252
481
                raise errors.UncommittedChanges(self.this_tree)
253
482
 
 
483
    @deprecated_method(deprecated_in((2, 1, 0)))
254
484
    def compare_basis(self):
255
485
        try:
256
486
            basis_tree = self.revision_tree(self.this_tree.last_revision())
257
 
        except errors.RevisionNotPresent:
 
487
        except errors.NoSuchRevision:
258
488
            basis_tree = self.this_tree.basis_tree()
259
 
        changes = self.this_tree.changes_from(basis_tree)
260
 
        if not changes.has_changed():
 
489
        if not self.this_tree.has_changes(basis_tree):
261
490
            self.this_rev_id = self.this_basis
262
491
 
263
492
    def set_interesting_files(self, file_list):
264
493
        self.interesting_files = file_list
265
494
 
266
495
    def set_pending(self):
267
 
        if not self.base_is_ancestor or not self.base_is_other_ancestor or self.other_rev_id is None:
 
496
        if (not self.base_is_ancestor or not self.base_is_other_ancestor
 
497
            or self.other_rev_id is None):
268
498
            return
269
499
        self._add_parent()
270
500
 
271
501
    def _add_parent(self):
272
502
        new_parents = self.this_tree.get_parent_ids() + [self.other_rev_id]
273
503
        new_parent_trees = []
 
504
        operation = OperationWithCleanups(self.this_tree.set_parent_trees)
274
505
        for revision_id in new_parents:
275
506
            try:
276
507
                tree = self.revision_tree(revision_id)
277
 
            except errors.RevisionNotPresent:
 
508
            except errors.NoSuchRevision:
278
509
                tree = None
279
510
            else:
280
511
                tree.lock_read()
 
512
                operation.add_cleanup(tree.unlock)
281
513
            new_parent_trees.append((revision_id, tree))
282
 
        try:
283
 
            self.this_tree.set_parent_trees(new_parent_trees,
284
 
                                            allow_leftmost_as_ghost=True)
285
 
        finally:
286
 
            for _revision_id, tree in new_parent_trees:
287
 
                if tree is not None:
288
 
                    tree.unlock()
 
514
        operation.run_simple(new_parent_trees, allow_leftmost_as_ghost=True)
289
515
 
290
516
    def set_other(self, other_revision, possible_transports=None):
291
517
        """Set the revision and tree to merge from.
300
526
            self.other_rev_id = _mod_revision.ensure_null(
301
527
                self.other_branch.last_revision())
302
528
            if _mod_revision.is_null(self.other_rev_id):
303
 
                raise NoCommits(self.other_branch)
 
529
                raise errors.NoCommits(self.other_branch)
304
530
            self.other_basis = self.other_rev_id
305
531
        elif other_revision[1] is not None:
306
532
            self.other_rev_id = self.other_branch.get_rev_id(other_revision[1])
309
535
            self.other_rev_id = None
310
536
            self.other_basis = self.other_branch.last_revision()
311
537
            if self.other_basis is None:
312
 
                raise NoCommits(self.other_branch)
 
538
                raise errors.NoCommits(self.other_branch)
313
539
        if self.other_rev_id is not None:
314
540
            self._cached_trees[self.other_rev_id] = self.other_tree
315
541
        self._maybe_fetch(self.other_branch,self.this_branch, self.other_basis)
342
568
            target.fetch(source, revision_id)
343
569
 
344
570
    def find_base(self):
345
 
        revisions = [ensure_null(self.this_basis),
346
 
                     ensure_null(self.other_basis)]
347
 
        if NULL_REVISION in revisions:
348
 
            self.base_rev_id = NULL_REVISION
 
571
        revisions = [_mod_revision.ensure_null(self.this_basis),
 
572
                     _mod_revision.ensure_null(self.other_basis)]
 
573
        if _mod_revision.NULL_REVISION in revisions:
 
574
            self.base_rev_id = _mod_revision.NULL_REVISION
 
575
            self.base_tree = self.revision_tree(self.base_rev_id)
 
576
            self._is_criss_cross = False
349
577
        else:
350
 
            self.base_rev_id, steps = self.revision_graph.find_unique_lca(
351
 
                revisions[0], revisions[1], count_steps=True)
352
 
            if self.base_rev_id == NULL_REVISION:
353
 
                raise UnrelatedBranches()
354
 
            if steps > 1:
355
 
                warning('Warning: criss-cross merge encountered.  See bzr'
356
 
                        ' help criss-cross.')
357
 
        self.base_tree = self.revision_tree(self.base_rev_id)
 
578
            lcas = self.revision_graph.find_lca(revisions[0], revisions[1])
 
579
            self._is_criss_cross = False
 
580
            if len(lcas) == 0:
 
581
                self.base_rev_id = _mod_revision.NULL_REVISION
 
582
            elif len(lcas) == 1:
 
583
                self.base_rev_id = list(lcas)[0]
 
584
            else: # len(lcas) > 1
 
585
                if len(lcas) > 2:
 
586
                    # find_unique_lca can only handle 2 nodes, so we have to
 
587
                    # start back at the beginning. It is a shame to traverse
 
588
                    # the graph again, but better than re-implementing
 
589
                    # find_unique_lca.
 
590
                    self.base_rev_id = self.revision_graph.find_unique_lca(
 
591
                                            revisions[0], revisions[1])
 
592
                else:
 
593
                    self.base_rev_id = self.revision_graph.find_unique_lca(
 
594
                                            *lcas)
 
595
                self._is_criss_cross = True
 
596
            if self.base_rev_id == _mod_revision.NULL_REVISION:
 
597
                raise errors.UnrelatedBranches()
 
598
            if self._is_criss_cross:
 
599
                trace.warning('Warning: criss-cross merge encountered.  See bzr'
 
600
                              ' help criss-cross.')
 
601
                trace.mutter('Criss-cross lcas: %r' % lcas)
 
602
                interesting_revision_ids = [self.base_rev_id]
 
603
                interesting_revision_ids.extend(lcas)
 
604
                interesting_trees = dict((t.get_revision_id(), t)
 
605
                    for t in self.this_branch.repository.revision_trees(
 
606
                        interesting_revision_ids))
 
607
                self._cached_trees.update(interesting_trees)
 
608
                self.base_tree = interesting_trees.pop(self.base_rev_id)
 
609
                sorted_lca_keys = self.revision_graph.find_merge_order(
 
610
                    revisions[0], lcas)
 
611
                self._lca_trees = [interesting_trees[key]
 
612
                                   for key in sorted_lca_keys]
 
613
            else:
 
614
                self.base_tree = self.revision_tree(self.base_rev_id)
358
615
        self.base_is_ancestor = True
359
616
        self.base_is_other_ancestor = True
 
617
        trace.mutter('Base revid: %r' % self.base_rev_id)
360
618
 
361
619
    def set_base(self, base_revision):
362
620
        """Set the base revision to use for the merge.
363
621
 
364
622
        :param base_revision: A 2-list containing a path and revision number.
365
623
        """
366
 
        mutter("doing merge() with no base_revision specified")
 
624
        trace.mutter("doing merge() with no base_revision specified")
367
625
        if base_revision == [None, None]:
368
626
            self.find_base()
369
627
        else:
382
640
                  'other_tree': self.other_tree,
383
641
                  'interesting_ids': self.interesting_ids,
384
642
                  'interesting_files': self.interesting_files,
385
 
                  'pp': self.pp,
 
643
                  'this_branch': self.this_branch,
386
644
                  'do_merge': False}
387
645
        if self.merge_type.requires_base:
388
646
            kwargs['base_tree'] = self.base_tree
389
647
        if self.merge_type.supports_reprocess:
390
648
            kwargs['reprocess'] = self.reprocess
391
649
        elif self.reprocess:
392
 
            raise BzrError("Conflict reduction is not supported for merge"
393
 
                                  " type %s." % self.merge_type)
 
650
            raise errors.BzrError(
 
651
                "Conflict reduction is not supported for merge"
 
652
                " type %s." % self.merge_type)
394
653
        if self.merge_type.supports_show_base:
395
654
            kwargs['show_base'] = self.show_base
396
655
        elif self.show_base:
397
 
            raise BzrError("Showing base is not supported for this"
398
 
                           " merge type. %s" % self.merge_type)
 
656
            raise errors.BzrError("Showing base is not supported for this"
 
657
                                  " merge type. %s" % self.merge_type)
399
658
        if (not getattr(self.merge_type, 'supports_reverse_cherrypick', True)
400
659
            and not self.base_is_other_ancestor):
401
660
            raise errors.CannotReverseCherrypick()
402
 
        if self.merge_type.history_based:
 
661
        if self.merge_type.supports_cherrypick:
403
662
            kwargs['cherrypick'] = (not self.base_is_ancestor or
404
663
                                    not self.base_is_other_ancestor)
405
 
        return self.merge_type(pb=self._pb,
 
664
        if self._is_criss_cross and getattr(self.merge_type,
 
665
                                            'supports_lca_trees', False):
 
666
            kwargs['lca_trees'] = self._lca_trees
 
667
        return self.merge_type(pb=None,
406
668
                               change_reporter=self.change_reporter,
407
669
                               **kwargs)
408
670
 
409
 
    def do_merge(self):
 
671
    def _do_merge_to(self):
410
672
        merge = self.make_merger()
 
673
        if self.other_branch is not None:
 
674
            self.other_branch.update_references(self.this_branch)
 
675
        merge.do_merge()
 
676
        if self.recurse == 'down':
 
677
            for relpath, file_id in self.this_tree.iter_references():
 
678
                sub_tree = self.this_tree.get_nested_tree(file_id, relpath)
 
679
                other_revision = self.other_tree.get_reference_revision(
 
680
                    file_id, relpath)
 
681
                if  other_revision == sub_tree.last_revision():
 
682
                    continue
 
683
                sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
 
684
                sub_merge.merge_type = self.merge_type
 
685
                other_branch = self.other_branch.reference_parent(file_id, relpath)
 
686
                sub_merge.set_other_revision(other_revision, other_branch)
 
687
                base_revision = self.base_tree.get_reference_revision(file_id)
 
688
                sub_merge.base_tree = \
 
689
                    sub_tree.branch.repository.revision_tree(base_revision)
 
690
                sub_merge.base_rev_id = base_revision
 
691
                sub_merge.do_merge()
 
692
        return merge
 
693
 
 
694
    def do_merge(self):
 
695
        operation = OperationWithCleanups(self._do_merge_to)
411
696
        self.this_tree.lock_tree_write()
 
697
        operation.add_cleanup(self.this_tree.unlock)
412
698
        if self.base_tree is not None:
413
699
            self.base_tree.lock_read()
 
700
            operation.add_cleanup(self.base_tree.unlock)
414
701
        if self.other_tree is not None:
415
702
            self.other_tree.lock_read()
416
 
        try:
417
 
            merge.do_merge()
418
 
            if self.recurse == 'down':
419
 
                for path, file_id in self.this_tree.iter_references():
420
 
                    sub_tree = self.this_tree.get_nested_tree(file_id, path)
421
 
                    other_revision = self.other_tree.get_reference_revision(
422
 
                        file_id, path)
423
 
                    if  other_revision == sub_tree.last_revision():
424
 
                        continue
425
 
                    sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
426
 
                    sub_merge.merge_type = self.merge_type
427
 
                    relpath = self.this_tree.relpath(path)
428
 
                    other_branch = self.other_branch.reference_parent(file_id, relpath)
429
 
                    sub_merge.set_other_revision(other_revision, other_branch)
430
 
                    base_revision = self.base_tree.get_reference_revision(file_id)
431
 
                    sub_merge.base_tree = \
432
 
                        sub_tree.branch.repository.revision_tree(base_revision)
433
 
                    sub_merge.do_merge()
434
 
 
435
 
        finally:
436
 
            if self.other_tree is not None:
437
 
                self.other_tree.unlock()
438
 
            if self.base_tree is not None:
439
 
                self.base_tree.unlock()
440
 
            self.this_tree.unlock()
 
703
            operation.add_cleanup(self.other_tree.unlock)
 
704
        merge = operation.run_simple()
441
705
        if len(merge.cooked_conflicts) == 0:
442
 
            if not self.ignore_zero and not is_quiet():
443
 
                note("All changes applied successfully.")
 
706
            if not self.ignore_zero and not trace.is_quiet():
 
707
                trace.note("All changes applied successfully.")
444
708
        else:
445
 
            note("%d conflicts encountered." % len(merge.cooked_conflicts))
 
709
            trace.note("%d conflicts encountered."
 
710
                       % len(merge.cooked_conflicts))
446
711
 
447
712
        return len(merge.cooked_conflicts)
448
713
 
449
714
 
 
715
class _InventoryNoneEntry(object):
 
716
    """This represents an inventory entry which *isn't there*.
 
717
 
 
718
    It simplifies the merging logic if we always have an InventoryEntry, even
 
719
    if it isn't actually present
 
720
    """
 
721
    executable = None
 
722
    kind = None
 
723
    name = None
 
724
    parent_id = None
 
725
    revision = None
 
726
    symlink_target = None
 
727
    text_sha1 = None
 
728
 
 
729
_none_entry = _InventoryNoneEntry()
 
730
 
 
731
 
450
732
class Merge3Merger(object):
451
733
    """Three-way merger that uses the merge3 text merger"""
452
734
    requires_base = True
453
735
    supports_reprocess = True
454
736
    supports_show_base = True
455
737
    history_based = False
 
738
    supports_cherrypick = True
456
739
    supports_reverse_cherrypick = True
457
740
    winner_idx = {"this": 2, "other": 1, "conflict": 1}
 
741
    supports_lca_trees = True
458
742
 
459
 
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
743
    def __init__(self, working_tree, this_tree, base_tree, other_tree,
460
744
                 interesting_ids=None, reprocess=False, show_base=False,
461
 
                 pb=DummyProgress(), pp=None, change_reporter=None,
462
 
                 interesting_files=None, do_merge=True):
 
745
                 pb=None, pp=None, change_reporter=None,
 
746
                 interesting_files=None, do_merge=True,
 
747
                 cherrypick=False, lca_trees=None, this_branch=None):
463
748
        """Initialize the merger object and perform the merge.
464
749
 
465
750
        :param working_tree: The working tree to apply the merge to
466
751
        :param this_tree: The local tree in the merge operation
467
752
        :param base_tree: The common tree in the merge operation
468
 
        :param other_tree: The other other tree to merge changes from
 
753
        :param other_tree: The other tree to merge changes from
 
754
        :param this_branch: The branch associated with this_tree.  Defaults to
 
755
            this_tree.branch if not supplied.
469
756
        :param interesting_ids: The file_ids of files that should be
470
757
            participate in the merge.  May not be combined with
471
758
            interesting_files.
472
759
        :param: reprocess If True, perform conflict-reduction processing.
473
760
        :param show_base: If True, show the base revision in text conflicts.
474
761
            (incompatible with reprocess)
475
 
        :param pb: A Progress bar
 
762
        :param pb: ignored
476
763
        :param pp: A ProgressPhase object
477
764
        :param change_reporter: An object that should report changes made
478
765
        :param interesting_files: The tree-relative paths of files that should
481
768
            be combined with interesting_ids.  If neither interesting_files nor
482
769
            interesting_ids is specified, all files may participate in the
483
770
            merge.
 
771
        :param lca_trees: Can be set to a dictionary of {revision_id:rev_tree}
 
772
            if the ancestry was found to include a criss-cross merge.
 
773
            Otherwise should be None.
484
774
        """
485
775
        object.__init__(self)
486
 
        if interesting_files is not None:
487
 
            assert interesting_ids is None
 
776
        if interesting_files is not None and interesting_ids is not None:
 
777
            raise ValueError(
 
778
                'specify either interesting_ids or interesting_files')
 
779
        if this_branch is None:
 
780
            this_branch = this_tree.branch
488
781
        self.interesting_ids = interesting_ids
489
782
        self.interesting_files = interesting_files
490
783
        self.this_tree = working_tree
491
784
        self.base_tree = base_tree
492
785
        self.other_tree = other_tree
 
786
        self.this_branch = this_branch
493
787
        self._raw_conflicts = []
494
788
        self.cooked_conflicts = []
495
789
        self.reprocess = reprocess
496
790
        self.show_base = show_base
497
 
        self.pb = pb
498
 
        self.pp = pp
 
791
        self._lca_trees = lca_trees
 
792
        # Uncommenting this will change the default algorithm to always use
 
793
        # _entries_lca. This can be useful for running the test suite and
 
794
        # making sure we haven't missed any corner cases.
 
795
        # if lca_trees is None:
 
796
        #     self._lca_trees = [self.base_tree]
499
797
        self.change_reporter = change_reporter
500
 
        if self.pp is None:
501
 
            self.pp = ProgressPhase("Merge phase", 3, self.pb)
 
798
        self.cherrypick = cherrypick
502
799
        if do_merge:
503
800
            self.do_merge()
 
801
        if pp is not None:
 
802
            warnings.warn("pp argument to Merge3Merger is deprecated")
 
803
        if pb is not None:
 
804
            warnings.warn("pb argument to Merge3Merger is deprecated")
504
805
 
505
806
    def do_merge(self):
 
807
        operation = OperationWithCleanups(self._do_merge)
506
808
        self.this_tree.lock_tree_write()
 
809
        operation.add_cleanup(self.this_tree.unlock)
507
810
        self.base_tree.lock_read()
 
811
        operation.add_cleanup(self.base_tree.unlock)
508
812
        self.other_tree.lock_read()
509
 
        self.tt = TreeTransform(self.this_tree, self.pb)
 
813
        operation.add_cleanup(self.other_tree.unlock)
 
814
        operation.run()
 
815
 
 
816
    def _do_merge(self, operation):
 
817
        self.tt = transform.TreeTransform(self.this_tree, None)
 
818
        operation.add_cleanup(self.tt.finalize)
 
819
        self._compute_transform()
 
820
        results = self.tt.apply(no_conflicts=True)
 
821
        self.write_modified(results)
510
822
        try:
511
 
            self.pp.next_phase()
512
 
            self._compute_transform()
513
 
            self.pp.next_phase()
514
 
            results = self.tt.apply(no_conflicts=True)
515
 
            self.write_modified(results)
516
 
            try:
517
 
                self.this_tree.add_conflicts(self.cooked_conflicts)
518
 
            except UnsupportedOperation:
519
 
                pass
520
 
        finally:
521
 
            self.tt.finalize()
522
 
            self.other_tree.unlock()
523
 
            self.base_tree.unlock()
524
 
            self.this_tree.unlock()
525
 
            self.pb.clear()
 
823
            self.this_tree.add_conflicts(self.cooked_conflicts)
 
824
        except errors.UnsupportedOperation:
 
825
            pass
526
826
 
527
827
    def make_preview_transform(self):
 
828
        operation = OperationWithCleanups(self._make_preview_transform)
528
829
        self.base_tree.lock_read()
 
830
        operation.add_cleanup(self.base_tree.unlock)
529
831
        self.other_tree.lock_read()
530
 
        self.tt = TransformPreview(self.this_tree)
531
 
        try:
532
 
            self.pp.next_phase()
533
 
            self._compute_transform()
534
 
            self.pp.next_phase()
535
 
        finally:
536
 
            self.other_tree.unlock()
537
 
            self.base_tree.unlock()
538
 
            self.pb.clear()
 
832
        operation.add_cleanup(self.other_tree.unlock)
 
833
        return operation.run_simple()
 
834
 
 
835
    def _make_preview_transform(self):
 
836
        self.tt = transform.TransformPreview(self.this_tree)
 
837
        self._compute_transform()
539
838
        return self.tt
540
839
 
541
840
    def _compute_transform(self):
542
 
        entries = self._entries3()
 
841
        if self._lca_trees is None:
 
842
            entries = self._entries3()
 
843
            resolver = self._three_way
 
844
        else:
 
845
            entries = self._entries_lca()
 
846
            resolver = self._lca_multi_way
543
847
        child_pb = ui.ui_factory.nested_progress_bar()
544
848
        try:
 
849
            factories = Merger.hooks['merge_file_content']
 
850
            hooks = [factory(self) for factory in factories] + [self]
 
851
            self.active_hooks = [hook for hook in hooks if hook is not None]
545
852
            for num, (file_id, changed, parents3, names3,
546
853
                      executable3) in enumerate(entries):
547
854
                child_pb.update('Preparing file merge', num, len(entries))
548
 
                self._merge_names(file_id, parents3, names3)
 
855
                self._merge_names(file_id, parents3, names3, resolver=resolver)
549
856
                if changed:
550
 
                    file_status = self.merge_contents(file_id)
 
857
                    file_status = self._do_merge_contents(file_id)
551
858
                else:
552
859
                    file_status = 'unmodified'
553
860
                self._merge_executable(file_id,
554
 
                    executable3, file_status)
 
861
                    executable3, file_status, resolver=resolver)
555
862
        finally:
556
863
            child_pb.finished()
557
864
        self.fix_root()
558
 
        self.pp.next_phase()
 
865
        self._finish_computing_transform()
 
866
 
 
867
    def _finish_computing_transform(self):
 
868
        """Finalize the transform and report the changes.
 
869
 
 
870
        This is the second half of _compute_transform.
 
871
        """
559
872
        child_pb = ui.ui_factory.nested_progress_bar()
560
873
        try:
561
 
            fs_conflicts = resolve_conflicts(self.tt, child_pb,
562
 
                lambda t, c: conflict_pass(t, c, self.other_tree))
 
874
            fs_conflicts = transform.resolve_conflicts(self.tt, child_pb,
 
875
                lambda t, c: transform.conflict_pass(t, c, self.other_tree))
563
876
        finally:
564
877
            child_pb.finished()
565
878
        if self.change_reporter is not None:
566
879
            from bzrlib import delta
567
880
            delta.report_changes(
568
 
                self.tt._iter_changes(), self.change_reporter)
 
881
                self.tt.iter_changes(), self.change_reporter)
569
882
        self.cook_conflicts(fs_conflicts)
570
883
        for conflict in self.cooked_conflicts:
571
 
            warning(conflict)
 
884
            trace.warning(conflict)
572
885
 
573
886
    def _entries3(self):
574
887
        """Gather data about files modified between three trees.
580
893
        executable3 is a tuple of execute-bit values for base, other and this.
581
894
        """
582
895
        result = []
583
 
        iterator = self.other_tree._iter_changes(self.base_tree,
 
896
        iterator = self.other_tree.iter_changes(self.base_tree,
584
897
                include_unchanged=True, specific_files=self.interesting_files,
585
898
                extra_trees=[self.this_tree])
 
899
        this_entries = dict((e.file_id, e) for p, e in
 
900
                            self.this_tree.iter_entries_by_dir(
 
901
                            self.interesting_ids))
586
902
        for (file_id, paths, changed, versioned, parents, names, kind,
587
903
             executable) in iterator:
588
904
            if (self.interesting_ids is not None and
589
905
                file_id not in self.interesting_ids):
590
906
                continue
591
 
            if file_id in self.this_tree.inventory:
592
 
                entry = self.this_tree.inventory[file_id]
 
907
            entry = this_entries.get(file_id)
 
908
            if entry is not None:
593
909
                this_name = entry.name
594
910
                this_parent = entry.parent_id
595
911
                this_executable = entry.executable
603
919
            result.append((file_id, changed, parents3, names3, executable3))
604
920
        return result
605
921
 
 
922
    def _entries_lca(self):
 
923
        """Gather data about files modified between multiple trees.
 
924
 
 
925
        This compares OTHER versus all LCA trees, and for interesting entries,
 
926
        it then compares with THIS and BASE.
 
927
 
 
928
        For the multi-valued entries, the format will be (BASE, [lca1, lca2])
 
929
        :return: [(file_id, changed, parents, names, executable)]
 
930
            file_id     Simple file_id of the entry
 
931
            changed     Boolean, True if the kind or contents changed
 
932
                        else False
 
933
            parents     ((base, [parent_id, in, lcas]), parent_id_other,
 
934
                         parent_id_this)
 
935
            names       ((base, [name, in, lcas]), name_in_other, name_in_this)
 
936
            executable  ((base, [exec, in, lcas]), exec_in_other, exec_in_this)
 
937
        """
 
938
        if self.interesting_files is not None:
 
939
            lookup_trees = [self.this_tree, self.base_tree]
 
940
            lookup_trees.extend(self._lca_trees)
 
941
            # I think we should include the lca trees as well
 
942
            interesting_ids = self.other_tree.paths2ids(self.interesting_files,
 
943
                                                        lookup_trees)
 
944
        else:
 
945
            interesting_ids = self.interesting_ids
 
946
        result = []
 
947
        walker = _mod_tree.MultiWalker(self.other_tree, self._lca_trees)
 
948
 
 
949
        base_inventory = self.base_tree.inventory
 
950
        this_inventory = self.this_tree.inventory
 
951
        for path, file_id, other_ie, lca_values in walker.iter_all():
 
952
            # Is this modified at all from any of the other trees?
 
953
            if other_ie is None:
 
954
                other_ie = _none_entry
 
955
            if interesting_ids is not None and file_id not in interesting_ids:
 
956
                continue
 
957
 
 
958
            # If other_revision is found in any of the lcas, that means this
 
959
            # node is uninteresting. This is because when merging, if there are
 
960
            # multiple heads(), we have to create a new node. So if we didn't,
 
961
            # we know that the ancestry is linear, and that OTHER did not
 
962
            # modify anything
 
963
            # See doc/developers/lca_merge_resolution.txt for details
 
964
            other_revision = other_ie.revision
 
965
            if other_revision is not None:
 
966
                # We can't use this shortcut when other_revision is None,
 
967
                # because it may be None because things are WorkingTrees, and
 
968
                # not because it is *actually* None.
 
969
                is_unmodified = False
 
970
                for lca_path, ie in lca_values:
 
971
                    if ie is not None and ie.revision == other_revision:
 
972
                        is_unmodified = True
 
973
                        break
 
974
                if is_unmodified:
 
975
                    continue
 
976
 
 
977
            lca_entries = []
 
978
            for lca_path, lca_ie in lca_values:
 
979
                if lca_ie is None:
 
980
                    lca_entries.append(_none_entry)
 
981
                else:
 
982
                    lca_entries.append(lca_ie)
 
983
 
 
984
            if file_id in base_inventory:
 
985
                base_ie = base_inventory[file_id]
 
986
            else:
 
987
                base_ie = _none_entry
 
988
 
 
989
            if file_id in this_inventory:
 
990
                this_ie = this_inventory[file_id]
 
991
            else:
 
992
                this_ie = _none_entry
 
993
 
 
994
            lca_kinds = []
 
995
            lca_parent_ids = []
 
996
            lca_names = []
 
997
            lca_executable = []
 
998
            for lca_ie in lca_entries:
 
999
                lca_kinds.append(lca_ie.kind)
 
1000
                lca_parent_ids.append(lca_ie.parent_id)
 
1001
                lca_names.append(lca_ie.name)
 
1002
                lca_executable.append(lca_ie.executable)
 
1003
 
 
1004
            kind_winner = self._lca_multi_way(
 
1005
                (base_ie.kind, lca_kinds),
 
1006
                other_ie.kind, this_ie.kind)
 
1007
            parent_id_winner = self._lca_multi_way(
 
1008
                (base_ie.parent_id, lca_parent_ids),
 
1009
                other_ie.parent_id, this_ie.parent_id)
 
1010
            name_winner = self._lca_multi_way(
 
1011
                (base_ie.name, lca_names),
 
1012
                other_ie.name, this_ie.name)
 
1013
 
 
1014
            content_changed = True
 
1015
            if kind_winner == 'this':
 
1016
                # No kind change in OTHER, see if there are *any* changes
 
1017
                if other_ie.kind == 'directory':
 
1018
                    if parent_id_winner == 'this' and name_winner == 'this':
 
1019
                        # No change for this directory in OTHER, skip
 
1020
                        continue
 
1021
                    content_changed = False
 
1022
                elif other_ie.kind is None or other_ie.kind == 'file':
 
1023
                    def get_sha1(ie, tree):
 
1024
                        if ie.kind != 'file':
 
1025
                            return None
 
1026
                        return tree.get_file_sha1(file_id)
 
1027
                    base_sha1 = get_sha1(base_ie, self.base_tree)
 
1028
                    lca_sha1s = [get_sha1(ie, tree) for ie, tree
 
1029
                                 in zip(lca_entries, self._lca_trees)]
 
1030
                    this_sha1 = get_sha1(this_ie, self.this_tree)
 
1031
                    other_sha1 = get_sha1(other_ie, self.other_tree)
 
1032
                    sha1_winner = self._lca_multi_way(
 
1033
                        (base_sha1, lca_sha1s), other_sha1, this_sha1,
 
1034
                        allow_overriding_lca=False)
 
1035
                    exec_winner = self._lca_multi_way(
 
1036
                        (base_ie.executable, lca_executable),
 
1037
                        other_ie.executable, this_ie.executable)
 
1038
                    if (parent_id_winner == 'this' and name_winner == 'this'
 
1039
                        and sha1_winner == 'this' and exec_winner == 'this'):
 
1040
                        # No kind, parent, name, exec, or content change for
 
1041
                        # OTHER, so this node is not considered interesting
 
1042
                        continue
 
1043
                    if sha1_winner == 'this':
 
1044
                        content_changed = False
 
1045
                elif other_ie.kind == 'symlink':
 
1046
                    def get_target(ie, tree):
 
1047
                        if ie.kind != 'symlink':
 
1048
                            return None
 
1049
                        return tree.get_symlink_target(file_id)
 
1050
                    base_target = get_target(base_ie, self.base_tree)
 
1051
                    lca_targets = [get_target(ie, tree) for ie, tree
 
1052
                                   in zip(lca_entries, self._lca_trees)]
 
1053
                    this_target = get_target(this_ie, self.this_tree)
 
1054
                    other_target = get_target(other_ie, self.other_tree)
 
1055
                    target_winner = self._lca_multi_way(
 
1056
                        (base_target, lca_targets),
 
1057
                        other_target, this_target)
 
1058
                    if (parent_id_winner == 'this' and name_winner == 'this'
 
1059
                        and target_winner == 'this'):
 
1060
                        # No kind, parent, name, or symlink target change
 
1061
                        # not interesting
 
1062
                        continue
 
1063
                    if target_winner == 'this':
 
1064
                        content_changed = False
 
1065
                elif other_ie.kind == 'tree-reference':
 
1066
                    # The 'changed' information seems to be handled at a higher
 
1067
                    # level. At least, _entries3 returns False for content
 
1068
                    # changed, even when at a new revision_id.
 
1069
                    content_changed = False
 
1070
                    if (parent_id_winner == 'this' and name_winner == 'this'):
 
1071
                        # Nothing interesting
 
1072
                        continue
 
1073
                else:
 
1074
                    raise AssertionError('unhandled kind: %s' % other_ie.kind)
 
1075
 
 
1076
            # If we have gotten this far, that means something has changed
 
1077
            result.append((file_id, content_changed,
 
1078
                           ((base_ie.parent_id, lca_parent_ids),
 
1079
                            other_ie.parent_id, this_ie.parent_id),
 
1080
                           ((base_ie.name, lca_names),
 
1081
                            other_ie.name, this_ie.name),
 
1082
                           ((base_ie.executable, lca_executable),
 
1083
                            other_ie.executable, this_ie.executable)
 
1084
                          ))
 
1085
        return result
 
1086
 
606
1087
    def fix_root(self):
607
 
        try:
608
 
            self.tt.final_kind(self.tt.root)
609
 
        except NoSuchFile:
 
1088
        if self.tt.final_kind(self.tt.root) is None:
610
1089
            self.tt.cancel_deletion(self.tt.root)
611
1090
        if self.tt.final_file_id(self.tt.root) is None:
612
 
            self.tt.version_file(self.tt.tree_file_id(self.tt.root), 
 
1091
            self.tt.version_file(self.tt.tree_file_id(self.tt.root),
613
1092
                                 self.tt.root)
614
 
        if self.other_tree.inventory.root is None:
615
 
            return
616
1093
        other_root_file_id = self.other_tree.get_root_id()
 
1094
        if other_root_file_id is None:
 
1095
            return
617
1096
        other_root = self.tt.trans_id_file_id(other_root_file_id)
618
1097
        if other_root == self.tt.root:
619
1098
            return
620
 
        try:
621
 
            self.tt.final_kind(other_root)
622
 
        except NoSuchFile:
 
1099
        if self.other_tree.inventory.root.file_id in self.this_tree.inventory:
 
1100
            # the other tree's root is a non-root in the current tree (as when
 
1101
            # a previously unrelated branch is merged into another)
623
1102
            return
624
 
        self.reparent_children(self.other_tree.inventory.root, self.tt.root)
625
 
        self.tt.cancel_creation(other_root)
626
 
        self.tt.cancel_versioning(other_root)
627
 
 
628
 
    def reparent_children(self, ie, target):
629
 
        for thing, child in ie.children.iteritems():
 
1103
        if self.tt.final_kind(other_root) is not None:
 
1104
            other_root_is_present = True
 
1105
        else:
 
1106
            # other_root doesn't have a physical representation. We still need
 
1107
            # to move any references to the actual root of the tree.
 
1108
            other_root_is_present = False
 
1109
        # 'other_tree.inventory.root' is not present in this tree. We are
 
1110
        # calling adjust_path for children which *want* to be present with a
 
1111
        # correct place to go.
 
1112
        for thing, child in self.other_tree.inventory.root.children.iteritems():
630
1113
            trans_id = self.tt.trans_id_file_id(child.file_id)
631
 
            self.tt.adjust_path(self.tt.final_name(trans_id), target, trans_id)
 
1114
            if not other_root_is_present:
 
1115
                if self.tt.final_kind(trans_id) is not None:
 
1116
                    # The item exist in the final tree and has a defined place
 
1117
                    # to go already.
 
1118
                    continue
 
1119
            # Move the item into the root
 
1120
            self.tt.adjust_path(self.tt.final_name(trans_id),
 
1121
                                self.tt.root, trans_id)
 
1122
        if other_root_is_present:
 
1123
            self.tt.cancel_creation(other_root)
 
1124
            self.tt.cancel_versioning(other_root)
632
1125
 
633
1126
    def write_modified(self, results):
634
1127
        modified_hashes = {}
655
1148
        if entry is None:
656
1149
            return None
657
1150
        return entry.name
658
 
    
 
1151
 
659
1152
    @staticmethod
660
1153
    def contents_sha1(tree, file_id):
661
1154
        """Determine the sha1 of the file contents (used as a key method)."""
666
1159
    @staticmethod
667
1160
    def executable(tree, file_id):
668
1161
        """Determine the executability of a file-id (used as a key method)."""
669
 
        if file_id not in tree:
 
1162
        if not tree.has_id(file_id):
670
1163
            return None
671
1164
        if tree.kind(file_id) != "file":
672
1165
            return False
675
1168
    @staticmethod
676
1169
    def kind(tree, file_id):
677
1170
        """Determine the kind of a file-id (used as a key method)."""
678
 
        if file_id not in tree:
 
1171
        if not tree.has_id(file_id):
679
1172
            return None
680
1173
        return tree.kind(file_id)
681
1174
 
682
1175
    @staticmethod
683
1176
    def _three_way(base, other, this):
684
 
        #if base == other, either they all agree, or only THIS has changed.
685
1177
        if base == other:
 
1178
            # if 'base == other', either they all agree, or only 'this' has
 
1179
            # changed.
686
1180
            return 'this'
687
1181
        elif this not in (base, other):
 
1182
            # 'this' is neither 'base' nor 'other', so both sides changed
688
1183
            return 'conflict'
689
 
        # "Ambiguous clean merge" -- both sides have made the same change.
690
1184
        elif this == other:
 
1185
            # "Ambiguous clean merge" -- both sides have made the same change.
691
1186
            return "this"
692
 
        # this == base: only other has changed.
693
1187
        else:
 
1188
            # this == base: only other has changed.
694
1189
            return "other"
695
1190
 
696
1191
    @staticmethod
 
1192
    def _lca_multi_way(bases, other, this, allow_overriding_lca=True):
 
1193
        """Consider LCAs when determining whether a change has occurred.
 
1194
 
 
1195
        If LCAS are all identical, this is the same as a _three_way comparison.
 
1196
 
 
1197
        :param bases: value in (BASE, [LCAS])
 
1198
        :param other: value in OTHER
 
1199
        :param this: value in THIS
 
1200
        :param allow_overriding_lca: If there is more than one unique lca
 
1201
            value, allow OTHER to override THIS if it has a new value, and
 
1202
            THIS only has an lca value, or vice versa. This is appropriate for
 
1203
            truly scalar values, not as much for non-scalars.
 
1204
        :return: 'this', 'other', or 'conflict' depending on whether an entry
 
1205
            changed or not.
 
1206
        """
 
1207
        # See doc/developers/lca_tree_merging.txt for details about this
 
1208
        # algorithm.
 
1209
        if other == this:
 
1210
            # Either Ambiguously clean, or nothing was actually changed. We
 
1211
            # don't really care
 
1212
            return 'this'
 
1213
        base_val, lca_vals = bases
 
1214
        # Remove 'base_val' from the lca_vals, because it is not interesting
 
1215
        filtered_lca_vals = [lca_val for lca_val in lca_vals
 
1216
                                      if lca_val != base_val]
 
1217
        if len(filtered_lca_vals) == 0:
 
1218
            return Merge3Merger._three_way(base_val, other, this)
 
1219
 
 
1220
        unique_lca_vals = set(filtered_lca_vals)
 
1221
        if len(unique_lca_vals) == 1:
 
1222
            return Merge3Merger._three_way(unique_lca_vals.pop(), other, this)
 
1223
 
 
1224
        if allow_overriding_lca:
 
1225
            if other in unique_lca_vals:
 
1226
                if this in unique_lca_vals:
 
1227
                    # Each side picked a different lca, conflict
 
1228
                    return 'conflict'
 
1229
                else:
 
1230
                    # This has a value which supersedes both lca values, and
 
1231
                    # other only has an lca value
 
1232
                    return 'this'
 
1233
            elif this in unique_lca_vals:
 
1234
                # OTHER has a value which supersedes both lca values, and this
 
1235
                # only has an lca value
 
1236
                return 'other'
 
1237
 
 
1238
        # At this point, the lcas disagree, and the tip disagree
 
1239
        return 'conflict'
 
1240
 
 
1241
    @staticmethod
 
1242
    @deprecated_method(deprecated_in((2, 2, 0)))
697
1243
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
698
1244
        """Do a three-way test on a scalar.
699
1245
        Return "this", "other" or "conflict", depending whether a value wins.
704
1250
        if key_base == key_other:
705
1251
            return "this"
706
1252
        key_this = key(this_tree, file_id)
707
 
        if key_this not in (key_base, key_other):
 
1253
        # "Ambiguous clean merge"
 
1254
        if key_this == key_other:
 
1255
            return "this"
 
1256
        elif key_this == key_base:
 
1257
            return "other"
 
1258
        else:
708
1259
            return "conflict"
709
 
        # "Ambiguous clean merge"
710
 
        elif key_this == key_other:
711
 
            return "this"
712
 
        else:
713
 
            assert key_this == key_base
714
 
            return "other"
715
1260
 
716
1261
    def merge_names(self, file_id):
717
1262
        def get_entry(tree):
718
 
            if file_id in tree.inventory:
 
1263
            if tree.has_id(file_id):
719
1264
                return tree.inventory[file_id]
720
1265
            else:
721
1266
                return None
732
1277
            else:
733
1278
                names.append(entry.name)
734
1279
                parents.append(entry.parent_id)
735
 
        return self._merge_names(file_id, parents, names)
 
1280
        return self._merge_names(file_id, parents, names,
 
1281
                                 resolver=self._three_way)
736
1282
 
737
 
    def _merge_names(self, file_id, parents, names):
 
1283
    def _merge_names(self, file_id, parents, names, resolver):
738
1284
        """Perform a merge on file_id names and parents"""
739
1285
        base_name, other_name, this_name = names
740
1286
        base_parent, other_parent, this_parent = parents
741
1287
 
742
 
        name_winner = self._three_way(*names)
 
1288
        name_winner = resolver(*names)
743
1289
 
744
 
        parent_id_winner = self._three_way(*parents)
 
1290
        parent_id_winner = resolver(*parents)
745
1291
        if this_name is None:
746
1292
            if name_winner == "this":
747
1293
                name_winner = "other"
749
1295
                parent_id_winner = "other"
750
1296
        if name_winner == "this" and parent_id_winner == "this":
751
1297
            return
752
 
        if name_winner == "conflict":
753
 
            trans_id = self.tt.trans_id_file_id(file_id)
754
 
            self._raw_conflicts.append(('name conflict', trans_id, 
755
 
                                        this_name, other_name))
756
 
        if parent_id_winner == "conflict":
757
 
            trans_id = self.tt.trans_id_file_id(file_id)
758
 
            self._raw_conflicts.append(('parent conflict', trans_id, 
759
 
                                        this_parent, other_parent))
 
1298
        if name_winner == 'conflict' or parent_id_winner == 'conflict':
 
1299
            # Creating helpers (.OTHER or .THIS) here cause problems down the
 
1300
            # road if a ContentConflict needs to be created so we should not do
 
1301
            # that
 
1302
            trans_id = self.tt.trans_id_file_id(file_id)
 
1303
            self._raw_conflicts.append(('path conflict', trans_id, file_id,
 
1304
                                        this_parent, this_name,
 
1305
                                        other_parent, other_name))
760
1306
        if other_name is None:
761
 
            # it doesn't matter whether the result was 'other' or 
 
1307
            # it doesn't matter whether the result was 'other' or
762
1308
            # 'conflict'-- if there's no 'other', we leave it alone.
763
1309
            return
764
 
        # if we get here, name_winner and parent_winner are set to safe values.
765
 
        trans_id = self.tt.trans_id_file_id(file_id)
766
1310
        parent_id = parents[self.winner_idx[parent_id_winner]]
767
1311
        if parent_id is not None:
768
 
            parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
1312
            # if we get here, name_winner and parent_winner are set to safe
 
1313
            # values.
769
1314
            self.tt.adjust_path(names[self.winner_idx[name_winner]],
770
 
                                parent_trans_id, trans_id)
 
1315
                                self.tt.trans_id_file_id(parent_id),
 
1316
                                self.tt.trans_id_file_id(file_id))
771
1317
 
772
 
    def merge_contents(self, file_id):
773
 
        """Performa a merge on file_id contents."""
 
1318
    def _do_merge_contents(self, file_id):
 
1319
        """Performs a merge on file_id contents."""
774
1320
        def contents_pair(tree):
775
1321
            if file_id not in tree:
776
1322
                return (None, None)
783
1329
                contents = None
784
1330
            return kind, contents
785
1331
 
786
 
        def contents_conflict():
787
 
            trans_id = self.tt.trans_id_file_id(file_id)
788
 
            name = self.tt.final_name(trans_id)
789
 
            parent_id = self.tt.final_parent(trans_id)
790
 
            if file_id in self.this_tree.inventory:
791
 
                self.tt.unversion_file(trans_id)
792
 
                if file_id in self.this_tree:
793
 
                    self.tt.delete_contents(trans_id)
794
 
            file_group = self._dump_conflicts(name, parent_id, file_id, 
795
 
                                              set_version=True)
796
 
            self._raw_conflicts.append(('contents conflict', file_group))
797
 
 
798
1332
        # See SPOT run.  run, SPOT, run.
799
1333
        # So we're not QUITE repeating ourselves; we do tricky things with
800
1334
        # file kind...
801
1335
        base_pair = contents_pair(self.base_tree)
802
1336
        other_pair = contents_pair(self.other_tree)
803
 
        if base_pair == other_pair:
804
 
            # OTHER introduced no changes
805
 
            return "unmodified"
806
 
        this_pair = contents_pair(self.this_tree)
807
 
        if this_pair == other_pair:
808
 
            # THIS and OTHER introduced the same changes
809
 
            return "unmodified"
810
 
        else:
811
 
            trans_id = self.tt.trans_id_file_id(file_id)
812
 
            if this_pair == base_pair:
813
 
                # only OTHER introduced changes
814
 
                if file_id in self.this_tree:
815
 
                    # Remove any existing contents
816
 
                    self.tt.delete_contents(trans_id)
817
 
                if file_id in self.other_tree:
818
 
                    # OTHER changed the file
819
 
                    create_by_entry(self.tt, 
820
 
                                    self.other_tree.inventory[file_id], 
821
 
                                    self.other_tree, trans_id)
822
 
                    if file_id not in self.this_tree.inventory:
823
 
                        self.tt.version_file(file_id, trans_id)
824
 
                    return "modified"
825
 
                elif file_id in self.this_tree.inventory:
826
 
                    # OTHER deleted the file
827
 
                    self.tt.unversion_file(trans_id)
828
 
                    return "deleted"
829
 
            #BOTH THIS and OTHER introduced changes; scalar conflict
830
 
            elif this_pair[0] == "file" and other_pair[0] == "file":
831
 
                # THIS and OTHER are both files, so text merge.  Either
832
 
                # BASE is a file, or both converted to files, so at least we
833
 
                # have agreement that output should be a file.
834
 
                try:
835
 
                    self.text_merge(file_id, trans_id)
836
 
                except BinaryFile:
837
 
                    return contents_conflict()
838
 
                if file_id not in self.this_tree.inventory:
839
 
                    self.tt.version_file(file_id, trans_id)
840
 
                try:
841
 
                    self.tt.tree_kind(trans_id)
842
 
                    self.tt.delete_contents(trans_id)
843
 
                except NoSuchFile:
844
 
                    pass
845
 
                return "modified"
846
 
            else:
847
 
                # Scalar conflict, can't text merge.  Dump conflicts
848
 
                return contents_conflict()
 
1337
        if self._lca_trees:
 
1338
            this_pair = contents_pair(self.this_tree)
 
1339
            lca_pairs = [contents_pair(tree) for tree in self._lca_trees]
 
1340
            winner = self._lca_multi_way((base_pair, lca_pairs), other_pair,
 
1341
                                         this_pair, allow_overriding_lca=False)
 
1342
        else:
 
1343
            if base_pair == other_pair:
 
1344
                winner = 'this'
 
1345
            else:
 
1346
                # We delayed evaluating this_pair as long as we can to avoid
 
1347
                # unnecessary sha1 calculation
 
1348
                this_pair = contents_pair(self.this_tree)
 
1349
                winner = self._three_way(base_pair, other_pair, this_pair)
 
1350
        if winner == 'this':
 
1351
            # No interesting changes introduced by OTHER
 
1352
            return "unmodified"
 
1353
        # We have a hypothetical conflict, but if we have files, then we
 
1354
        # can try to merge the content
 
1355
        trans_id = self.tt.trans_id_file_id(file_id)
 
1356
        params = MergeHookParams(self, file_id, trans_id, this_pair[0],
 
1357
            other_pair[0], winner)
 
1358
        hooks = self.active_hooks
 
1359
        hook_status = 'not_applicable'
 
1360
        for hook in hooks:
 
1361
            hook_status, lines = hook.merge_contents(params)
 
1362
            if hook_status != 'not_applicable':
 
1363
                # Don't try any more hooks, this one applies.
 
1364
                break
 
1365
        result = "modified"
 
1366
        if hook_status == 'not_applicable':
 
1367
            # This is a contents conflict, because none of the available
 
1368
            # functions could merge it.
 
1369
            result = None
 
1370
            name = self.tt.final_name(trans_id)
 
1371
            parent_id = self.tt.final_parent(trans_id)
 
1372
            if self.this_tree.has_id(file_id):
 
1373
                self.tt.unversion_file(trans_id)
 
1374
            file_group = self._dump_conflicts(name, parent_id, file_id,
 
1375
                                              set_version=True)
 
1376
            self._raw_conflicts.append(('contents conflict', file_group))
 
1377
        elif hook_status == 'success':
 
1378
            self.tt.create_file(lines, trans_id)
 
1379
        elif hook_status == 'conflicted':
 
1380
            # XXX: perhaps the hook should be able to provide
 
1381
            # the BASE/THIS/OTHER files?
 
1382
            self.tt.create_file(lines, trans_id)
 
1383
            self._raw_conflicts.append(('text conflict', trans_id))
 
1384
            name = self.tt.final_name(trans_id)
 
1385
            parent_id = self.tt.final_parent(trans_id)
 
1386
            self._dump_conflicts(name, parent_id, file_id)
 
1387
        elif hook_status == 'delete':
 
1388
            self.tt.unversion_file(trans_id)
 
1389
            result = "deleted"
 
1390
        elif hook_status == 'done':
 
1391
            # The hook function did whatever it needs to do directly, no
 
1392
            # further action needed here.
 
1393
            pass
 
1394
        else:
 
1395
            raise AssertionError('unknown hook_status: %r' % (hook_status,))
 
1396
        if not self.this_tree.has_id(file_id) and result == "modified":
 
1397
            self.tt.version_file(file_id, trans_id)
 
1398
        # The merge has been performed, so the old contents should not be
 
1399
        # retained.
 
1400
        self.tt.delete_contents(trans_id)
 
1401
        return result
 
1402
 
 
1403
    def _default_other_winner_merge(self, merge_hook_params):
 
1404
        """Replace this contents with other."""
 
1405
        file_id = merge_hook_params.file_id
 
1406
        trans_id = merge_hook_params.trans_id
 
1407
        file_in_this = self.this_tree.has_id(file_id)
 
1408
        if self.other_tree.has_id(file_id):
 
1409
            # OTHER changed the file
 
1410
            wt = self.this_tree
 
1411
            if wt.supports_content_filtering():
 
1412
                # We get the path from the working tree if it exists.
 
1413
                # That fails though when OTHER is adding a file, so
 
1414
                # we fall back to the other tree to find the path if
 
1415
                # it doesn't exist locally.
 
1416
                try:
 
1417
                    filter_tree_path = wt.id2path(file_id)
 
1418
                except errors.NoSuchId:
 
1419
                    filter_tree_path = self.other_tree.id2path(file_id)
 
1420
            else:
 
1421
                # Skip the id2path lookup for older formats
 
1422
                filter_tree_path = None
 
1423
            transform.create_from_tree(self.tt, trans_id,
 
1424
                             self.other_tree, file_id,
 
1425
                             filter_tree_path=filter_tree_path)
 
1426
            return 'done', None
 
1427
        elif file_in_this:
 
1428
            # OTHER deleted the file
 
1429
            return 'delete', None
 
1430
        else:
 
1431
            raise AssertionError(
 
1432
                'winner is OTHER, but file_id %r not in THIS or OTHER tree'
 
1433
                % (file_id,))
 
1434
 
 
1435
    def merge_contents(self, merge_hook_params):
 
1436
        """Fallback merge logic after user installed hooks."""
 
1437
        # This function is used in merge hooks as the fallback instance.
 
1438
        # Perhaps making this function and the functions it calls be a 
 
1439
        # a separate class would be better.
 
1440
        if merge_hook_params.winner == 'other':
 
1441
            # OTHER is a straight winner, so replace this contents with other
 
1442
            return self._default_other_winner_merge(merge_hook_params)
 
1443
        elif merge_hook_params.is_file_merge():
 
1444
            # THIS and OTHER are both files, so text merge.  Either
 
1445
            # BASE is a file, or both converted to files, so at least we
 
1446
            # have agreement that output should be a file.
 
1447
            try:
 
1448
                self.text_merge(merge_hook_params.file_id,
 
1449
                    merge_hook_params.trans_id)
 
1450
            except errors.BinaryFile:
 
1451
                return 'not_applicable', None
 
1452
            return 'done', None
 
1453
        else:
 
1454
            return 'not_applicable', None
849
1455
 
850
1456
    def get_lines(self, tree, file_id):
851
1457
        """Return the lines in a file, or an empty list."""
852
 
        if file_id in tree:
853
 
            return tree.get_file(file_id).readlines()
 
1458
        if tree.has_id(file_id):
 
1459
            return tree.get_file_lines(file_id)
854
1460
        else:
855
1461
            return []
856
1462
 
858
1464
        """Perform a three-way text merge on a file_id"""
859
1465
        # it's possible that we got here with base as a different type.
860
1466
        # if so, we just want two-way text conflicts.
861
 
        if file_id in self.base_tree and \
 
1467
        if self.base_tree.has_id(file_id) and \
862
1468
            self.base_tree.kind(file_id) == "file":
863
1469
            base_lines = self.get_lines(self.base_tree, file_id)
864
1470
        else:
865
1471
            base_lines = []
866
1472
        other_lines = self.get_lines(self.other_tree, file_id)
867
1473
        this_lines = self.get_lines(self.this_tree, file_id)
868
 
        m3 = Merge3(base_lines, this_lines, other_lines)
 
1474
        m3 = merge3.Merge3(base_lines, this_lines, other_lines,
 
1475
                           is_cherrypick=self.cherrypick)
869
1476
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
870
1477
        if self.show_base is True:
871
1478
            base_marker = '|' * 7
874
1481
 
875
1482
        def iter_merge3(retval):
876
1483
            retval["text_conflicts"] = False
877
 
            for line in m3.merge_lines(name_a = "TREE", 
878
 
                                       name_b = "MERGE-SOURCE", 
 
1484
            for line in m3.merge_lines(name_a = "TREE",
 
1485
                                       name_b = "MERGE-SOURCE",
879
1486
                                       name_base = "BASE-REVISION",
880
 
                                       start_marker=start_marker, 
 
1487
                                       start_marker=start_marker,
881
1488
                                       base_marker=base_marker,
882
1489
                                       reprocess=self.reprocess):
883
1490
                if line.startswith(start_marker):
892
1499
            self._raw_conflicts.append(('text conflict', trans_id))
893
1500
            name = self.tt.final_name(trans_id)
894
1501
            parent_id = self.tt.final_parent(trans_id)
895
 
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
1502
            file_group = self._dump_conflicts(name, parent_id, file_id,
896
1503
                                              this_lines, base_lines,
897
1504
                                              other_lines)
898
1505
            file_group.append(trans_id)
899
1506
 
900
 
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None, 
 
1507
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None,
901
1508
                        base_lines=None, other_lines=None, set_version=False,
902
1509
                        no_base=False):
903
1510
        """Emit conflict files.
905
1512
        determined automatically.  If set_version is true, the .OTHER, .THIS
906
1513
        or .BASE (in that order) will be created as versioned files.
907
1514
        """
908
 
        data = [('OTHER', self.other_tree, other_lines), 
 
1515
        data = [('OTHER', self.other_tree, other_lines),
909
1516
                ('THIS', self.this_tree, this_lines)]
910
1517
        if not no_base:
911
1518
            data.append(('BASE', self.base_tree, base_lines))
 
1519
 
 
1520
        # We need to use the actual path in the working tree of the file here,
 
1521
        # ignoring the conflict suffixes
 
1522
        wt = self.this_tree
 
1523
        if wt.supports_content_filtering():
 
1524
            try:
 
1525
                filter_tree_path = wt.id2path(file_id)
 
1526
            except errors.NoSuchId:
 
1527
                # file has been deleted
 
1528
                filter_tree_path = None
 
1529
        else:
 
1530
            # Skip the id2path lookup for older formats
 
1531
            filter_tree_path = None
 
1532
 
912
1533
        versioned = False
913
1534
        file_group = []
914
1535
        for suffix, tree, lines in data:
915
 
            if file_id in tree:
 
1536
            if tree.has_id(file_id):
916
1537
                trans_id = self._conflict_file(name, parent_id, tree, file_id,
917
 
                                               suffix, lines)
 
1538
                                               suffix, lines, filter_tree_path)
918
1539
                file_group.append(trans_id)
919
1540
                if set_version and not versioned:
920
1541
                    self.tt.version_file(file_id, trans_id)
921
1542
                    versioned = True
922
1543
        return file_group
923
 
           
924
 
    def _conflict_file(self, name, parent_id, tree, file_id, suffix, 
925
 
                       lines=None):
 
1544
 
 
1545
    def _conflict_file(self, name, parent_id, tree, file_id, suffix,
 
1546
                       lines=None, filter_tree_path=None):
926
1547
        """Emit a single conflict file."""
927
1548
        name = name + '.' + suffix
928
1549
        trans_id = self.tt.create_path(name, parent_id)
929
 
        entry = tree.inventory[file_id]
930
 
        create_by_entry(self.tt, entry, tree, trans_id, lines)
 
1550
        transform.create_from_tree(self.tt, trans_id, tree, file_id, lines,
 
1551
            filter_tree_path)
931
1552
        return trans_id
932
1553
 
933
1554
    def merge_executable(self, file_id, file_status):
934
1555
        """Perform a merge on the execute bit."""
935
1556
        executable = [self.executable(t, file_id) for t in (self.base_tree,
936
1557
                      self.other_tree, self.this_tree)]
937
 
        self._merge_executable(file_id, executable, file_status)
 
1558
        self._merge_executable(file_id, executable, file_status,
 
1559
                               resolver=self._three_way)
938
1560
 
939
 
    def _merge_executable(self, file_id, executable, file_status):
 
1561
    def _merge_executable(self, file_id, executable, file_status,
 
1562
                          resolver):
940
1563
        """Perform a merge on the execute bit."""
941
1564
        base_executable, other_executable, this_executable = executable
942
1565
        if file_status == "deleted":
943
1566
            return
944
 
        trans_id = self.tt.trans_id_file_id(file_id)
945
 
        try:
946
 
            if self.tt.final_kind(trans_id) != "file":
947
 
                return
948
 
        except NoSuchFile:
949
 
            return
950
 
        winner = self._three_way(*executable)
 
1567
        winner = resolver(*executable)
951
1568
        if winner == "conflict":
952
1569
        # There must be a None in here, if we have a conflict, but we
953
1570
        # need executability since file status was not deleted.
955
1572
                winner = "this"
956
1573
            else:
957
1574
                winner = "other"
 
1575
        if winner == 'this' and file_status != "modified":
 
1576
            return
 
1577
        trans_id = self.tt.trans_id_file_id(file_id)
 
1578
        if self.tt.final_kind(trans_id) != "file":
 
1579
            return
958
1580
        if winner == "this":
959
 
            if file_status == "modified":
960
 
                executability = this_executable
961
 
                if executability is not None:
962
 
                    trans_id = self.tt.trans_id_file_id(file_id)
963
 
                    self.tt.set_executability(executability, trans_id)
 
1581
            executability = this_executable
964
1582
        else:
965
 
            assert winner == "other"
966
 
            if file_id in self.other_tree:
 
1583
            if self.other_tree.has_id(file_id):
967
1584
                executability = other_executable
968
 
            elif file_id in self.this_tree:
 
1585
            elif self.this_tree.has_id(file_id):
969
1586
                executability = this_executable
970
 
            elif file_id in self.base_tree:
 
1587
            elif self.base_tree_has_id(file_id):
971
1588
                executability = base_executable
972
 
            if executability is not None:
973
 
                trans_id = self.tt.trans_id_file_id(file_id)
974
 
                self.tt.set_executability(executability, trans_id)
 
1589
        if executability is not None:
 
1590
            trans_id = self.tt.trans_id_file_id(file_id)
 
1591
            self.tt.set_executability(executability, trans_id)
975
1592
 
976
1593
    def cook_conflicts(self, fs_conflicts):
977
1594
        """Convert all conflicts into a form that doesn't depend on trans_id"""
978
 
        from conflicts import Conflict
979
 
        name_conflicts = {}
980
 
        self.cooked_conflicts.extend(cook_conflicts(fs_conflicts, self.tt))
981
 
        fp = FinalPaths(self.tt)
 
1595
        self.cooked_conflicts.extend(transform.cook_conflicts(
 
1596
                fs_conflicts, self.tt))
 
1597
        fp = transform.FinalPaths(self.tt)
982
1598
        for conflict in self._raw_conflicts:
983
1599
            conflict_type = conflict[0]
984
 
            if conflict_type in ('name conflict', 'parent conflict'):
985
 
                trans_id = conflict[1]
986
 
                conflict_args = conflict[2:]
987
 
                if trans_id not in name_conflicts:
988
 
                    name_conflicts[trans_id] = {}
989
 
                unique_add(name_conflicts[trans_id], conflict_type, 
990
 
                           conflict_args)
991
 
            if conflict_type == 'contents conflict':
 
1600
            if conflict_type == 'path conflict':
 
1601
                (trans_id, file_id,
 
1602
                this_parent, this_name,
 
1603
                other_parent, other_name) = conflict[1:]
 
1604
                if this_parent is None or this_name is None:
 
1605
                    this_path = '<deleted>'
 
1606
                else:
 
1607
                    parent_path =  fp.get_path(
 
1608
                        self.tt.trans_id_file_id(this_parent))
 
1609
                    this_path = osutils.pathjoin(parent_path, this_name)
 
1610
                if other_parent is None or other_name is None:
 
1611
                    other_path = '<deleted>'
 
1612
                else:
 
1613
                    parent_path =  fp.get_path(
 
1614
                        self.tt.trans_id_file_id(other_parent))
 
1615
                    other_path = osutils.pathjoin(parent_path, other_name)
 
1616
                c = _mod_conflicts.Conflict.factory(
 
1617
                    'path conflict', path=this_path,
 
1618
                    conflict_path=other_path,
 
1619
                    file_id=file_id)
 
1620
            elif conflict_type == 'contents conflict':
992
1621
                for trans_id in conflict[1]:
993
1622
                    file_id = self.tt.final_file_id(trans_id)
994
1623
                    if file_id is not None:
998
1627
                    if path.endswith(suffix):
999
1628
                        path = path[:-len(suffix)]
1000
1629
                        break
1001
 
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
1002
 
                self.cooked_conflicts.append(c)
1003
 
            if conflict_type == 'text conflict':
 
1630
                c = _mod_conflicts.Conflict.factory(conflict_type,
 
1631
                                                    path=path, file_id=file_id)
 
1632
            elif conflict_type == 'text conflict':
1004
1633
                trans_id = conflict[1]
1005
1634
                path = fp.get_path(trans_id)
1006
1635
                file_id = self.tt.final_file_id(trans_id)
1007
 
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
1008
 
                self.cooked_conflicts.append(c)
1009
 
 
1010
 
        for trans_id, conflicts in name_conflicts.iteritems():
1011
 
            try:
1012
 
                this_parent, other_parent = conflicts['parent conflict']
1013
 
                assert this_parent != other_parent
1014
 
            except KeyError:
1015
 
                this_parent = other_parent = \
1016
 
                    self.tt.final_file_id(self.tt.final_parent(trans_id))
1017
 
            try:
1018
 
                this_name, other_name = conflicts['name conflict']
1019
 
                assert this_name != other_name
1020
 
            except KeyError:
1021
 
                this_name = other_name = self.tt.final_name(trans_id)
1022
 
            other_path = fp.get_path(trans_id)
1023
 
            if this_parent is not None and this_name is not None:
1024
 
                this_parent_path = \
1025
 
                    fp.get_path(self.tt.trans_id_file_id(this_parent))
1026
 
                this_path = pathjoin(this_parent_path, this_name)
 
1636
                c = _mod_conflicts.Conflict.factory(conflict_type,
 
1637
                                                    path=path, file_id=file_id)
1027
1638
            else:
1028
 
                this_path = "<deleted>"
1029
 
            file_id = self.tt.final_file_id(trans_id)
1030
 
            c = Conflict.factory('path conflict', path=this_path,
1031
 
                                 conflict_path=other_path, file_id=file_id)
 
1639
                raise AssertionError('bad conflict type: %r' % (conflict,))
1032
1640
            self.cooked_conflicts.append(c)
1033
 
        self.cooked_conflicts.sort(key=Conflict.sort_key)
 
1641
        self.cooked_conflicts.sort(key=_mod_conflicts.Conflict.sort_key)
1034
1642
 
1035
1643
 
1036
1644
class WeaveMerger(Merge3Merger):
1040
1648
    supports_reverse_cherrypick = False
1041
1649
    history_based = True
1042
1650
 
1043
 
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
1044
 
                 interesting_ids=None, pb=DummyProgress(), pp=None,
1045
 
                 reprocess=False, change_reporter=None,
1046
 
                 interesting_files=None, cherrypick=False, do_merge=True):
1047
 
        self.cherrypick = cherrypick
1048
 
        super(WeaveMerger, self).__init__(working_tree, this_tree, 
1049
 
                                          base_tree, other_tree, 
1050
 
                                          interesting_ids=interesting_ids, 
1051
 
                                          pb=pb, pp=pp, reprocess=reprocess,
1052
 
                                          change_reporter=change_reporter,
1053
 
                                          do_merge=do_merge)
1054
 
 
1055
 
    def _merged_lines(self, file_id):
1056
 
        """Generate the merged lines.
1057
 
        There is no distinction between lines that are meant to contain <<<<<<<
1058
 
        and conflicts.
1059
 
        """
1060
 
        if self.cherrypick:
1061
 
            base = self.base_tree
1062
 
        else:
1063
 
            base = None
1064
 
        plan = self.this_tree.plan_file_merge(file_id, self.other_tree,
 
1651
    def _generate_merge_plan(self, file_id, base):
 
1652
        return self.this_tree.plan_file_merge(file_id, self.other_tree,
1065
1653
                                              base=base)
 
1654
 
 
1655
    def _merged_lines(self, file_id):
 
1656
        """Generate the merged lines.
 
1657
        There is no distinction between lines that are meant to contain <<<<<<<
 
1658
        and conflicts.
 
1659
        """
 
1660
        if self.cherrypick:
 
1661
            base = self.base_tree
 
1662
        else:
 
1663
            base = None
 
1664
        plan = self._generate_merge_plan(file_id, base)
1066
1665
        if 'merge' in debug.debug_flags:
1067
1666
            plan = list(plan)
1068
1667
            trans_id = self.tt.trans_id_file_id(file_id)
1069
1668
            name = self.tt.final_name(trans_id) + '.plan'
1070
 
            contents = ('%10s|%s' % l for l in plan)
 
1669
            contents = ('%11s|%s' % l for l in plan)
1071
1670
            self.tt.new_file(name, self.tt.final_parent(trans_id), contents)
1072
 
        textmerge = PlanWeaveMerge(plan, '<<<<<<< TREE\n',
1073
 
            '>>>>>>> MERGE-SOURCE\n')
1074
 
        return textmerge.merge_lines(self.reprocess)
 
1671
        textmerge = versionedfile.PlanWeaveMerge(plan, '<<<<<<< TREE\n',
 
1672
                                                 '>>>>>>> MERGE-SOURCE\n')
 
1673
        lines, conflicts = textmerge.merge_lines(self.reprocess)
 
1674
        if conflicts:
 
1675
            base_lines = textmerge.base_from_plan()
 
1676
        else:
 
1677
            base_lines = None
 
1678
        return lines, base_lines
1075
1679
 
1076
1680
    def text_merge(self, file_id, trans_id):
1077
1681
        """Perform a (weave) text merge for a given file and file-id.
1078
1682
        If conflicts are encountered, .THIS and .OTHER files will be emitted,
1079
1683
        and a conflict will be noted.
1080
1684
        """
1081
 
        lines, conflicts = self._merged_lines(file_id)
 
1685
        lines, base_lines = self._merged_lines(file_id)
1082
1686
        lines = list(lines)
1083
 
        # Note we're checking whether the OUTPUT is binary in this case, 
 
1687
        # Note we're checking whether the OUTPUT is binary in this case,
1084
1688
        # because we don't want to get into weave merge guts.
1085
 
        check_text_lines(lines)
 
1689
        textfile.check_text_lines(lines)
1086
1690
        self.tt.create_file(lines, trans_id)
1087
 
        if conflicts:
 
1691
        if base_lines is not None:
 
1692
            # Conflict
1088
1693
            self._raw_conflicts.append(('text conflict', trans_id))
1089
1694
            name = self.tt.final_name(trans_id)
1090
1695
            parent_id = self.tt.final_parent(trans_id)
1091
 
            file_group = self._dump_conflicts(name, parent_id, file_id, 
1092
 
                                              no_base=True)
 
1696
            file_group = self._dump_conflicts(name, parent_id, file_id,
 
1697
                                              no_base=False,
 
1698
                                              base_lines=base_lines)
1093
1699
            file_group.append(trans_id)
1094
1700
 
1095
1701
 
1096
1702
class LCAMerger(WeaveMerger):
1097
1703
 
1098
 
    def _merged_lines(self, file_id):
1099
 
        """Generate the merged lines.
1100
 
        There is no distinction between lines that are meant to contain <<<<<<<
1101
 
        and conflicts.
1102
 
        """
1103
 
        if self.cherrypick:
1104
 
            base = self.base_tree
1105
 
        else:
1106
 
            base = None
1107
 
        plan = self.this_tree.plan_file_lca_merge(file_id, self.other_tree,
 
1704
    def _generate_merge_plan(self, file_id, base):
 
1705
        return self.this_tree.plan_file_lca_merge(file_id, self.other_tree,
1108
1706
                                                  base=base)
1109
 
        if 'merge' in debug.debug_flags:
1110
 
            plan = list(plan)
1111
 
            trans_id = self.tt.trans_id_file_id(file_id)
1112
 
            name = self.tt.final_name(trans_id) + '.plan'
1113
 
            contents = ('%10s|%s' % l for l in plan)
1114
 
            self.tt.new_file(name, self.tt.final_parent(trans_id), contents)
1115
 
        textmerge = PlanWeaveMerge(plan, '<<<<<<< TREE\n',
1116
 
            '>>>>>>> MERGE-SOURCE\n')
1117
 
        return textmerge.merge_lines(self.reprocess)
1118
 
 
1119
1707
 
1120
1708
class Diff3Merger(Merge3Merger):
1121
1709
    """Three-way merger using external diff3 for text merging"""
1122
1710
 
1123
1711
    def dump_file(self, temp_dir, name, tree, file_id):
1124
 
        out_path = pathjoin(temp_dir, name)
 
1712
        out_path = osutils.pathjoin(temp_dir, name)
1125
1713
        out_file = open(out_path, "wb")
1126
1714
        try:
1127
1715
            in_file = tree.get_file(file_id)
1139
1727
        import bzrlib.patch
1140
1728
        temp_dir = osutils.mkdtemp(prefix="bzr-")
1141
1729
        try:
1142
 
            new_file = pathjoin(temp_dir, "new")
 
1730
            new_file = osutils.pathjoin(temp_dir, "new")
1143
1731
            this = self.dump_file(temp_dir, "this", self.this_tree, file_id)
1144
1732
            base = self.dump_file(temp_dir, "base", self.base_tree, file_id)
1145
1733
            other = self.dump_file(temp_dir, "other", self.other_tree, file_id)
1146
1734
            status = bzrlib.patch.diff3(new_file, this, base, other)
1147
1735
            if status not in (0, 1):
1148
 
                raise BzrError("Unhandled diff3 exit code")
 
1736
                raise errors.BzrError("Unhandled diff3 exit code")
1149
1737
            f = open(new_file, 'rb')
1150
1738
            try:
1151
1739
                self.tt.create_file(f, trans_id)
1160
1748
            osutils.rmtree(temp_dir)
1161
1749
 
1162
1750
 
 
1751
class PathNotInTree(errors.BzrError):
 
1752
 
 
1753
    _fmt = """Merge-into failed because %(tree)s does not contain %(path)s."""
 
1754
 
 
1755
    def __init__(self, path, tree):
 
1756
        errors.BzrError.__init__(self, path=path, tree=tree)
 
1757
 
 
1758
 
 
1759
class MergeIntoMerger(Merger):
 
1760
    """Merger that understands other_tree will be merged into a subdir.
 
1761
 
 
1762
    This also changes the Merger api so that it uses real Branch, revision_id,
 
1763
    and RevisonTree objects, rather than using revision specs.
 
1764
    """
 
1765
 
 
1766
    def __init__(self, this_tree, other_branch, other_tree, target_subdir,
 
1767
            source_subpath, other_rev_id=None):
 
1768
        """Create a new MergeIntoMerger object.
 
1769
 
 
1770
        source_subpath in other_tree will be effectively copied to
 
1771
        target_subdir in this_tree.
 
1772
 
 
1773
        :param this_tree: The tree that we will be merging into.
 
1774
        :param other_branch: The Branch we will be merging from.
 
1775
        :param other_tree: The RevisionTree object we want to merge.
 
1776
        :param target_subdir: The relative path where we want to merge
 
1777
            other_tree into this_tree
 
1778
        :param source_subpath: The relative path specifying the subtree of
 
1779
            other_tree to merge into this_tree.
 
1780
        """
 
1781
        # It is assumed that we are merging a tree that is not in our current
 
1782
        # ancestry, which means we are using the "EmptyTree" as our basis.
 
1783
        null_ancestor_tree = this_tree.branch.repository.revision_tree(
 
1784
                                _mod_revision.NULL_REVISION)
 
1785
        super(MergeIntoMerger, self).__init__(
 
1786
            this_branch=this_tree.branch,
 
1787
            this_tree=this_tree,
 
1788
            other_tree=other_tree,
 
1789
            base_tree=null_ancestor_tree,
 
1790
            )
 
1791
        self._target_subdir = target_subdir
 
1792
        self._source_subpath = source_subpath
 
1793
        self.other_branch = other_branch
 
1794
        if other_rev_id is None:
 
1795
            other_rev_id = other_tree.get_revision_id()
 
1796
        self.other_rev_id = self.other_basis = other_rev_id
 
1797
        self.base_is_ancestor = True
 
1798
        self.backup_files = True
 
1799
        self.merge_type = Merge3Merger
 
1800
        self.show_base = False
 
1801
        self.reprocess = False
 
1802
        self.interesting_ids = None
 
1803
        self.merge_type = _MergeTypeParameterizer(MergeIntoMergeType,
 
1804
              target_subdir=self._target_subdir,
 
1805
              source_subpath=self._source_subpath)
 
1806
        if self._source_subpath != '':
 
1807
            # If this isn't a partial merge make sure the revisions will be
 
1808
            # present.
 
1809
            self._maybe_fetch(self.other_branch, self.this_branch,
 
1810
                self.other_basis)
 
1811
 
 
1812
    def set_pending(self):
 
1813
        if self._source_subpath != '':
 
1814
            return
 
1815
        Merger.set_pending(self)
 
1816
 
 
1817
 
 
1818
class _MergeTypeParameterizer(object):
 
1819
    """Wrap a merge-type class to provide extra parameters.
 
1820
    
 
1821
    This is hack used by MergeIntoMerger to pass some extra parameters to its
 
1822
    merge_type.  Merger.do_merge() sets up its own set of parameters to pass to
 
1823
    the 'merge_type' member.  It is difficult override do_merge without
 
1824
    re-writing the whole thing, so instead we create a wrapper which will pass
 
1825
    the extra parameters.
 
1826
    """
 
1827
 
 
1828
    def __init__(self, merge_type, **kwargs):
 
1829
        self._extra_kwargs = kwargs
 
1830
        self._merge_type = merge_type
 
1831
 
 
1832
    def __call__(self, *args, **kwargs):
 
1833
        kwargs.update(self._extra_kwargs)
 
1834
        return self._merge_type(*args, **kwargs)
 
1835
 
 
1836
    def __getattr__(self, name):
 
1837
        return getattr(self._merge_type, name)
 
1838
 
 
1839
 
 
1840
class MergeIntoMergeType(Merge3Merger):
 
1841
    """Merger that incorporates a tree (or part of a tree) into another."""
 
1842
 
 
1843
    def __init__(self, *args, **kwargs):
 
1844
        """Initialize the merger object.
 
1845
 
 
1846
        :param args: See Merge3Merger.__init__'s args.
 
1847
        :param kwargs: See Merge3Merger.__init__'s keyword args, except for
 
1848
            source_subpath and target_subdir.
 
1849
        :keyword source_subpath: The relative path specifying the subtree of
 
1850
            other_tree to merge into this_tree.
 
1851
        :keyword target_subdir: The relative path where we want to merge
 
1852
            other_tree into this_tree
 
1853
        """
 
1854
        # All of the interesting work happens during Merge3Merger.__init__(),
 
1855
        # so we have have to hack in to get our extra parameters set.
 
1856
        self._source_subpath = kwargs.pop('source_subpath')
 
1857
        self._target_subdir = kwargs.pop('target_subdir')
 
1858
        super(MergeIntoMergeType, self).__init__(*args, **kwargs)
 
1859
 
 
1860
    def _compute_transform(self):
 
1861
        child_pb = ui.ui_factory.nested_progress_bar()
 
1862
        try:
 
1863
            entries = self._entries_to_incorporate()
 
1864
            entries = list(entries)
 
1865
            for num, (entry, parent_id) in enumerate(entries):
 
1866
                child_pb.update('Preparing file merge', num, len(entries))
 
1867
                parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
1868
                trans_id = transform.new_by_entry(self.tt, entry,
 
1869
                    parent_trans_id, self.other_tree)
 
1870
        finally:
 
1871
            child_pb.finished()
 
1872
        self._finish_computing_transform()
 
1873
 
 
1874
    def _entries_to_incorporate(self):
 
1875
        """Yields pairs of (inventory_entry, new_parent)."""
 
1876
        other_inv = self.other_tree.inventory
 
1877
        subdir_id = other_inv.path2id(self._source_subpath)
 
1878
        if subdir_id is None:
 
1879
            # XXX: The error would be clearer if it gave the URL of the source
 
1880
            # branch, but we don't have a reference to that here.
 
1881
            raise PathNotInTree(self._source_subpath, "Source tree")
 
1882
        subdir = other_inv[subdir_id]
 
1883
        parent_in_target = osutils.dirname(self._target_subdir)
 
1884
        target_id = self.this_tree.inventory.path2id(parent_in_target)
 
1885
        if target_id is None:
 
1886
            raise PathNotInTree(self._target_subdir, "Target tree")
 
1887
        name_in_target = osutils.basename(self._target_subdir)
 
1888
        merge_into_root = subdir.copy()
 
1889
        merge_into_root.name = name_in_target
 
1890
        if merge_into_root.file_id in self.this_tree.inventory:
 
1891
            # Give the root a new file-id.
 
1892
            # This can happen fairly easily if the directory we are
 
1893
            # incorporating is the root, and both trees have 'TREE_ROOT' as
 
1894
            # their root_id.  Users will expect this to Just Work, so we
 
1895
            # change the file-id here.
 
1896
            # Non-root file-ids could potentially conflict too.  That's really
 
1897
            # an edge case, so we don't do anything special for those.  We let
 
1898
            # them cause conflicts.
 
1899
            merge_into_root.file_id = generate_ids.gen_file_id(name_in_target)
 
1900
        yield (merge_into_root, target_id)
 
1901
        if subdir.kind != 'directory':
 
1902
            # No children, so we are done.
 
1903
            return
 
1904
        for ignored_path, entry in other_inv.iter_entries_by_dir(subdir_id):
 
1905
            parent_id = entry.parent_id
 
1906
            if parent_id == subdir.file_id:
 
1907
                # The root's parent ID has changed, so make sure children of
 
1908
                # the root refer to the new ID.
 
1909
                parent_id = merge_into_root.file_id
 
1910
            yield (entry, parent_id)
 
1911
 
 
1912
 
1163
1913
def merge_inner(this_branch, other_tree, base_tree, ignore_zero=False,
1164
1914
                backup_files=False,
1165
1915
                merge_type=Merge3Merger,
1169
1919
                other_rev_id=None,
1170
1920
                interesting_files=None,
1171
1921
                this_tree=None,
1172
 
                pb=DummyProgress(),
 
1922
                pb=None,
1173
1923
                change_reporter=None):
1174
 
    """Primary interface for merging. 
1175
 
 
1176
 
        typical use is probably 
1177
 
        'merge_inner(branch, branch.get_revision_tree(other_revision),
1178
 
                     branch.get_revision_tree(base_revision))'
1179
 
        """
 
1924
    """Primary interface for merging.
 
1925
 
 
1926
    Typical use is probably::
 
1927
 
 
1928
        merge_inner(branch, branch.get_revision_tree(other_revision),
 
1929
                    branch.get_revision_tree(base_revision))
 
1930
    """
1180
1931
    if this_tree is None:
1181
 
        raise BzrError("bzrlib.merge.merge_inner requires a this_tree "
1182
 
            "parameter as of bzrlib version 0.8.")
 
1932
        raise errors.BzrError("bzrlib.merge.merge_inner requires a this_tree "
 
1933
                              "parameter as of bzrlib version 0.8.")
1183
1934
    merger = Merger(this_branch, other_tree, base_tree, this_tree=this_tree,
1184
1935
                    pb=pb, change_reporter=change_reporter)
1185
1936
    merger.backup_files = backup_files
1187
1938
    merger.interesting_ids = interesting_ids
1188
1939
    merger.ignore_zero = ignore_zero
1189
1940
    if interesting_files:
1190
 
        assert not interesting_ids, ('Only supply interesting_ids'
1191
 
                                     ' or interesting_files')
 
1941
        if interesting_ids:
 
1942
            raise ValueError('Only supply interesting_ids'
 
1943
                             ' or interesting_files')
1192
1944
        merger.interesting_files = interesting_files
1193
1945
    merger.show_base = show_base
1194
1946
    merger.reprocess = reprocess
1195
1947
    merger.other_rev_id = other_rev_id
1196
1948
    merger.other_basis = other_rev_id
 
1949
    get_revision_id = getattr(base_tree, 'get_revision_id', None)
 
1950
    if get_revision_id is None:
 
1951
        get_revision_id = base_tree.last_revision
 
1952
    merger.cache_trees_with_revision_ids([other_tree, base_tree, this_tree])
 
1953
    merger.set_base_revision(get_revision_id(), this_branch)
1197
1954
    return merger.do_merge()
1198
1955
 
1199
1956
def get_merge_type_registry():
1232
1989
            yield status_a(revision, text)
1233
1990
        for revision, text in annotated_b[b_cur:bi]:
1234
1991
            yield status_b(revision, text)
1235
 
 
1236
1992
        # and now the matched section
1237
1993
        a_cur = ai + l
1238
1994
        b_cur = bi + l
1239
 
        for text_a, text_b in zip(plain_a[ai:a_cur], plain_b[bi:b_cur]):
1240
 
            assert text_a == text_b
 
1995
        for text_a in plain_a[ai:a_cur]:
1241
1996
            yield "unchanged", text_a
1242
1997
 
1243
1998
 
1244
1999
class _PlanMergeBase(object):
1245
2000
 
1246
 
    def __init__(self, a_rev, b_rev, vf):
 
2001
    def __init__(self, a_rev, b_rev, vf, key_prefix):
1247
2002
        """Contructor.
1248
2003
 
1249
2004
        :param a_rev: Revision-id of one revision to merge
1250
2005
        :param b_rev: Revision-id of the other revision to merge
1251
 
        :param vf: A versionedfile containing both revisions
 
2006
        :param vf: A VersionedFiles containing both revisions
 
2007
        :param key_prefix: A prefix for accessing keys in vf, typically
 
2008
            (file_id,).
1252
2009
        """
1253
2010
        self.a_rev = a_rev
1254
2011
        self.b_rev = b_rev
1255
 
        self.lines_a = vf.get_lines(a_rev)
1256
 
        self.lines_b = vf.get_lines(b_rev)
1257
2012
        self.vf = vf
1258
2013
        self._last_lines = None
1259
2014
        self._last_lines_revision_id = None
1260
2015
        self._cached_matching_blocks = {}
 
2016
        self._key_prefix = key_prefix
 
2017
        self._precache_tip_lines()
 
2018
 
 
2019
    def _precache_tip_lines(self):
 
2020
        lines = self.get_lines([self.a_rev, self.b_rev])
 
2021
        self.lines_a = lines[self.a_rev]
 
2022
        self.lines_b = lines[self.b_rev]
 
2023
 
 
2024
    def get_lines(self, revisions):
 
2025
        """Get lines for revisions from the backing VersionedFiles.
 
2026
 
 
2027
        :raises RevisionNotPresent: on absent texts.
 
2028
        """
 
2029
        keys = [(self._key_prefix + (rev,)) for rev in revisions]
 
2030
        result = {}
 
2031
        for record in self.vf.get_record_stream(keys, 'unordered', True):
 
2032
            if record.storage_kind == 'absent':
 
2033
                raise errors.RevisionNotPresent(record.key, self.vf)
 
2034
            result[record.key[-1]] = osutils.chunks_to_lines(
 
2035
                record.get_bytes_as('chunked'))
 
2036
        return result
1261
2037
 
1262
2038
    def plan_merge(self):
1263
2039
        """Generate a 'plan' for merging the two revisions.
1289
2065
            for b_index in range(last_j, j):
1290
2066
                if b_index in new_b:
1291
2067
                    if b_index in killed_a:
1292
 
                        yield 'conflicted-b', self.lines_b[a_index]
 
2068
                        yield 'conflicted-b', self.lines_b[b_index]
1293
2069
                    else:
1294
2070
                        yield 'new-b', self.lines_b[b_index]
1295
2071
                else:
1311
2087
            return cached
1312
2088
        if self._last_lines_revision_id == left_revision:
1313
2089
            left_lines = self._last_lines
 
2090
            right_lines = self.get_lines([right_revision])[right_revision]
1314
2091
        else:
1315
 
            left_lines = self.vf.get_lines(left_revision)
1316
 
        right_lines = self.vf.get_lines(right_revision)
 
2092
            lines = self.get_lines([left_revision, right_revision])
 
2093
            left_lines = lines[left_revision]
 
2094
            right_lines = lines[right_revision]
1317
2095
        self._last_lines = right_lines
1318
2096
        self._last_lines_revision_id = right_revision
1319
2097
        matcher = patiencediff.PatienceSequenceMatcher(None, left_lines,
1372
2150
class _PlanMerge(_PlanMergeBase):
1373
2151
    """Plan an annotate merge using on-the-fly annotation"""
1374
2152
 
1375
 
    def __init__(self, a_rev, b_rev, vf):
1376
 
       _PlanMergeBase.__init__(self, a_rev, b_rev, vf)
1377
 
       a_ancestry = set(vf.get_ancestry(a_rev, topo_sorted=False))
1378
 
       b_ancestry = set(vf.get_ancestry(b_rev, topo_sorted=False))
1379
 
       self.uncommon = a_ancestry.symmetric_difference(b_ancestry)
1380
 
 
1381
 
    def _determine_status(self, revision_id, unique_line_numbers):
1382
 
        """Determines the status unique lines versus all lcas.
1383
 
 
1384
 
        Basically, determines why the line is unique to this revision.
1385
 
 
1386
 
        A line may be determined new or killed, but not both.
1387
 
 
1388
 
        :param revision_id: The id of the revision in which the lines are
1389
 
            unique
1390
 
        :param unique_line_numbers: The line numbers of unique lines.
1391
 
        :return a tuple of (new_this, killed_other):
1392
 
        """
1393
 
        new = self._find_new(revision_id)
1394
 
        killed = set(unique_line_numbers).difference(new)
1395
 
        return new, killed
1396
 
 
1397
 
    def _find_new(self, version_id):
1398
 
        """Determine which lines are new in the ancestry of this version.
1399
 
 
1400
 
        If a lines is present in this version, and not present in any
1401
 
        common ancestor, it is considered new.
1402
 
        """
1403
 
        if version_id not in self.uncommon:
1404
 
            return set()
1405
 
        parents = self.vf.get_parents(version_id)
1406
 
        if len(parents) == 0:
1407
 
            return set(range(len(self.vf.get_lines(version_id))))
1408
 
        new = None
1409
 
        for parent in parents:
1410
 
            blocks = self._get_matching_blocks(version_id, parent)
1411
 
            result, unused = self._unique_lines(blocks)
1412
 
            parent_new = self._find_new(parent)
1413
 
            for i, j, n in blocks:
1414
 
                for ii, jj in [(i+r, j+r) for r in range(n)]:
1415
 
                    if jj in parent_new:
1416
 
                        result.append(ii)
1417
 
            if new is None:
1418
 
                new = set(result)
1419
 
            else:
1420
 
                new.intersection_update(result)
1421
 
        return new
 
2153
    def __init__(self, a_rev, b_rev, vf, key_prefix):
 
2154
        super(_PlanMerge, self).__init__(a_rev, b_rev, vf, key_prefix)
 
2155
        self.a_key = self._key_prefix + (self.a_rev,)
 
2156
        self.b_key = self._key_prefix + (self.b_rev,)
 
2157
        self.graph = _mod_graph.Graph(self.vf)
 
2158
        heads = self.graph.heads((self.a_key, self.b_key))
 
2159
        if len(heads) == 1:
 
2160
            # one side dominates, so we can just return its values, yay for
 
2161
            # per-file graphs
 
2162
            # Ideally we would know that before we get this far
 
2163
            self._head_key = heads.pop()
 
2164
            if self._head_key == self.a_key:
 
2165
                other = b_rev
 
2166
            else:
 
2167
                other = a_rev
 
2168
            trace.mutter('found dominating revision for %s\n%s > %s', self.vf,
 
2169
                         self._head_key[-1], other)
 
2170
            self._weave = None
 
2171
        else:
 
2172
            self._head_key = None
 
2173
            self._build_weave()
 
2174
 
 
2175
    def _precache_tip_lines(self):
 
2176
        # Turn this into a no-op, because we will do this later
 
2177
        pass
 
2178
 
 
2179
    def _find_recursive_lcas(self):
 
2180
        """Find all the ancestors back to a unique lca"""
 
2181
        cur_ancestors = (self.a_key, self.b_key)
 
2182
        # graph.find_lca(uncommon, keys) now returns plain NULL_REVISION,
 
2183
        # rather than a key tuple. We will just map that directly to no common
 
2184
        # ancestors.
 
2185
        parent_map = {}
 
2186
        while True:
 
2187
            next_lcas = self.graph.find_lca(*cur_ancestors)
 
2188
            # Map a plain NULL_REVISION to a simple no-ancestors
 
2189
            if next_lcas == set([_mod_revision.NULL_REVISION]):
 
2190
                next_lcas = ()
 
2191
            # Order the lca's based on when they were merged into the tip
 
2192
            # While the actual merge portion of weave merge uses a set() of
 
2193
            # active revisions, the order of insertion *does* effect the
 
2194
            # implicit ordering of the texts.
 
2195
            for rev_key in cur_ancestors:
 
2196
                ordered_parents = tuple(self.graph.find_merge_order(rev_key,
 
2197
                                                                    next_lcas))
 
2198
                parent_map[rev_key] = ordered_parents
 
2199
            if len(next_lcas) == 0:
 
2200
                break
 
2201
            elif len(next_lcas) == 1:
 
2202
                parent_map[list(next_lcas)[0]] = ()
 
2203
                break
 
2204
            elif len(next_lcas) > 2:
 
2205
                # More than 2 lca's, fall back to grabbing all nodes between
 
2206
                # this and the unique lca.
 
2207
                trace.mutter('More than 2 LCAs, falling back to all nodes for:'
 
2208
                             ' %s, %s\n=> %s',
 
2209
                             self.a_key, self.b_key, cur_ancestors)
 
2210
                cur_lcas = next_lcas
 
2211
                while len(cur_lcas) > 1:
 
2212
                    cur_lcas = self.graph.find_lca(*cur_lcas)
 
2213
                if len(cur_lcas) == 0:
 
2214
                    # No common base to find, use the full ancestry
 
2215
                    unique_lca = None
 
2216
                else:
 
2217
                    unique_lca = list(cur_lcas)[0]
 
2218
                    if unique_lca == _mod_revision.NULL_REVISION:
 
2219
                        # find_lca will return a plain 'NULL_REVISION' rather
 
2220
                        # than a key tuple when there is no common ancestor, we
 
2221
                        # prefer to just use None, because it doesn't confuse
 
2222
                        # _get_interesting_texts()
 
2223
                        unique_lca = None
 
2224
                parent_map.update(self._find_unique_parents(next_lcas,
 
2225
                                                            unique_lca))
 
2226
                break
 
2227
            cur_ancestors = next_lcas
 
2228
        return parent_map
 
2229
 
 
2230
    def _find_unique_parents(self, tip_keys, base_key):
 
2231
        """Find ancestors of tip that aren't ancestors of base.
 
2232
 
 
2233
        :param tip_keys: Nodes that are interesting
 
2234
        :param base_key: Cull all ancestors of this node
 
2235
        :return: The parent map for all revisions between tip_keys and
 
2236
            base_key. base_key will be included. References to nodes outside of
 
2237
            the ancestor set will also be removed.
 
2238
        """
 
2239
        # TODO: this would be simpler if find_unique_ancestors took a list
 
2240
        #       instead of a single tip, internally it supports it, but it
 
2241
        #       isn't a "backwards compatible" api change.
 
2242
        if base_key is None:
 
2243
            parent_map = dict(self.graph.iter_ancestry(tip_keys))
 
2244
            # We remove NULL_REVISION because it isn't a proper tuple key, and
 
2245
            # thus confuses things like _get_interesting_texts, and our logic
 
2246
            # to add the texts into the memory weave.
 
2247
            if _mod_revision.NULL_REVISION in parent_map:
 
2248
                parent_map.pop(_mod_revision.NULL_REVISION)
 
2249
        else:
 
2250
            interesting = set()
 
2251
            for tip in tip_keys:
 
2252
                interesting.update(
 
2253
                    self.graph.find_unique_ancestors(tip, [base_key]))
 
2254
            parent_map = self.graph.get_parent_map(interesting)
 
2255
            parent_map[base_key] = ()
 
2256
        culled_parent_map, child_map, tails = self._remove_external_references(
 
2257
            parent_map)
 
2258
        # Remove all the tails but base_key
 
2259
        if base_key is not None:
 
2260
            tails.remove(base_key)
 
2261
            self._prune_tails(culled_parent_map, child_map, tails)
 
2262
        # Now remove all the uninteresting 'linear' regions
 
2263
        simple_map = _mod_graph.collapse_linear_regions(culled_parent_map)
 
2264
        return simple_map
 
2265
 
 
2266
    @staticmethod
 
2267
    def _remove_external_references(parent_map):
 
2268
        """Remove references that go outside of the parent map.
 
2269
 
 
2270
        :param parent_map: Something returned from Graph.get_parent_map(keys)
 
2271
        :return: (filtered_parent_map, child_map, tails)
 
2272
            filtered_parent_map is parent_map without external references
 
2273
            child_map is the {parent_key: [child_keys]} mapping
 
2274
            tails is a list of nodes that do not have any parents in the map
 
2275
        """
 
2276
        # TODO: The basic effect of this function seems more generic than
 
2277
        #       _PlanMerge. But the specific details of building a child_map,
 
2278
        #       and computing tails seems very specific to _PlanMerge.
 
2279
        #       Still, should this be in Graph land?
 
2280
        filtered_parent_map = {}
 
2281
        child_map = {}
 
2282
        tails = []
 
2283
        for key, parent_keys in parent_map.iteritems():
 
2284
            culled_parent_keys = [p for p in parent_keys if p in parent_map]
 
2285
            if not culled_parent_keys:
 
2286
                tails.append(key)
 
2287
            for parent_key in culled_parent_keys:
 
2288
                child_map.setdefault(parent_key, []).append(key)
 
2289
            # TODO: Do we want to do this, it adds overhead for every node,
 
2290
            #       just to say that the node has no children
 
2291
            child_map.setdefault(key, [])
 
2292
            filtered_parent_map[key] = culled_parent_keys
 
2293
        return filtered_parent_map, child_map, tails
 
2294
 
 
2295
    @staticmethod
 
2296
    def _prune_tails(parent_map, child_map, tails_to_remove):
 
2297
        """Remove tails from the parent map.
 
2298
 
 
2299
        This will remove the supplied revisions until no more children have 0
 
2300
        parents.
 
2301
 
 
2302
        :param parent_map: A dict of {child: [parents]}, this dictionary will
 
2303
            be modified in place.
 
2304
        :param tails_to_remove: A list of tips that should be removed,
 
2305
            this list will be consumed
 
2306
        :param child_map: The reverse dict of parent_map ({parent: [children]})
 
2307
            this dict will be modified
 
2308
        :return: None, parent_map will be modified in place.
 
2309
        """
 
2310
        while tails_to_remove:
 
2311
            next = tails_to_remove.pop()
 
2312
            parent_map.pop(next)
 
2313
            children = child_map.pop(next)
 
2314
            for child in children:
 
2315
                child_parents = parent_map[child]
 
2316
                child_parents.remove(next)
 
2317
                if len(child_parents) == 0:
 
2318
                    tails_to_remove.append(child)
 
2319
 
 
2320
    def _get_interesting_texts(self, parent_map):
 
2321
        """Return a dict of texts we are interested in.
 
2322
 
 
2323
        Note that the input is in key tuples, but the output is in plain
 
2324
        revision ids.
 
2325
 
 
2326
        :param parent_map: The output from _find_recursive_lcas
 
2327
        :return: A dict of {'revision_id':lines} as returned by
 
2328
            _PlanMergeBase.get_lines()
 
2329
        """
 
2330
        all_revision_keys = set(parent_map)
 
2331
        all_revision_keys.add(self.a_key)
 
2332
        all_revision_keys.add(self.b_key)
 
2333
 
 
2334
        # Everything else is in 'keys' but get_lines is in 'revision_ids'
 
2335
        all_texts = self.get_lines([k[-1] for k in all_revision_keys])
 
2336
        return all_texts
 
2337
 
 
2338
    def _build_weave(self):
 
2339
        from bzrlib import weave
 
2340
        self._weave = weave.Weave(weave_name='in_memory_weave',
 
2341
                                  allow_reserved=True)
 
2342
        parent_map = self._find_recursive_lcas()
 
2343
 
 
2344
        all_texts = self._get_interesting_texts(parent_map)
 
2345
 
 
2346
        # Note: Unfortunately, the order given by topo_sort will effect the
 
2347
        # ordering resolution in the output. Specifically, if you add A then B,
 
2348
        # then in the output text A lines will show up before B lines. And, of
 
2349
        # course, topo_sort doesn't guarantee any real ordering.
 
2350
        # So we use merge_sort, and add a fake node on the tip.
 
2351
        # This ensures that left-hand parents will always be inserted into the
 
2352
        # weave before right-hand parents.
 
2353
        tip_key = self._key_prefix + (_mod_revision.CURRENT_REVISION,)
 
2354
        parent_map[tip_key] = (self.a_key, self.b_key)
 
2355
 
 
2356
        for seq_num, key, depth, eom in reversed(tsort.merge_sort(parent_map,
 
2357
                                                                  tip_key)):
 
2358
            if key == tip_key:
 
2359
                continue
 
2360
        # for key in tsort.topo_sort(parent_map):
 
2361
            parent_keys = parent_map[key]
 
2362
            revision_id = key[-1]
 
2363
            parent_ids = [k[-1] for k in parent_keys]
 
2364
            self._weave.add_lines(revision_id, parent_ids,
 
2365
                                  all_texts[revision_id])
 
2366
 
 
2367
    def plan_merge(self):
 
2368
        """Generate a 'plan' for merging the two revisions.
 
2369
 
 
2370
        This involves comparing their texts and determining the cause of
 
2371
        differences.  If text A has a line and text B does not, then either the
 
2372
        line was added to text A, or it was deleted from B.  Once the causes
 
2373
        are combined, they are written out in the format described in
 
2374
        VersionedFile.plan_merge
 
2375
        """
 
2376
        if self._head_key is not None: # There was a single head
 
2377
            if self._head_key == self.a_key:
 
2378
                plan = 'new-a'
 
2379
            else:
 
2380
                if self._head_key != self.b_key:
 
2381
                    raise AssertionError('There was an invalid head: %s != %s'
 
2382
                                         % (self.b_key, self._head_key))
 
2383
                plan = 'new-b'
 
2384
            head_rev = self._head_key[-1]
 
2385
            lines = self.get_lines([head_rev])[head_rev]
 
2386
            return ((plan, line) for line in lines)
 
2387
        return self._weave.plan_merge(self.a_rev, self.b_rev)
1422
2388
 
1423
2389
 
1424
2390
class _PlanLCAMerge(_PlanMergeBase):
1432
2398
    This is faster, and hopefully produces more useful output.
1433
2399
    """
1434
2400
 
1435
 
    def __init__(self, a_rev, b_rev, vf, graph):
1436
 
        _PlanMergeBase.__init__(self, a_rev, b_rev, vf)
1437
 
        self.lcas = graph.find_lca(a_rev, b_rev)
 
2401
    def __init__(self, a_rev, b_rev, vf, key_prefix, graph):
 
2402
        _PlanMergeBase.__init__(self, a_rev, b_rev, vf, key_prefix)
 
2403
        lcas = graph.find_lca(key_prefix + (a_rev,), key_prefix + (b_rev,))
 
2404
        self.lcas = set()
 
2405
        for lca in lcas:
 
2406
            if lca == _mod_revision.NULL_REVISION:
 
2407
                self.lcas.add(lca)
 
2408
            else:
 
2409
                self.lcas.add(lca[-1])
1438
2410
        for lca in self.lcas:
1439
 
            lca_lines = self.vf.get_lines(lca)
 
2411
            if _mod_revision.is_null(lca):
 
2412
                lca_lines = []
 
2413
            else:
 
2414
                lca_lines = self.get_lines([lca])[lca]
1440
2415
            matcher = patiencediff.PatienceSequenceMatcher(None, self.lines_a,
1441
2416
                                                           lca_lines)
1442
2417
            blocks = list(matcher.get_matching_blocks())