~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Vincent Ladeuil
  • Date: 2013-08-09 15:09:23 UTC
  • mto: This revision was merged to the branch mainline in revision 6587.
  • Revision ID: v.ladeuil+lp@free.fr-20130809150923-y71dusyorep0hbkt
Fix various typos in docstrings. Rename 'buffer' to 'buf' since it's now a python builtin function.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Canonical Ltd
2
 
 
 
1
# Copyright (C) 2005-2011 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
 
18
 
import os
19
 
import shutil
20
 
import errno
21
 
 
22
 
import bzrlib.osutils
23
 
import bzrlib.revision
24
 
from bzrlib.merge_core import merge_flex, ApplyMerge3, BackupBeforeChange
25
 
from bzrlib.merge_core import WeaveMerge
26
 
from bzrlib.changeset import generate_changeset, ExceptionConflictHandler
27
 
from bzrlib.changeset import Inventory, Diff3Merge, ReplaceContents
28
 
from bzrlib.branch import Branch
29
 
from bzrlib.errors import (BzrCommandError,
30
 
                           UnrelatedBranches,
31
 
                           NoCommonAncestor,
32
 
                           NoCommits,
33
 
                           WorkingTreeNotRevision,
34
 
                           NotBranchError,
35
 
                           NotVersionedError,
36
 
                           BzrError)
37
 
from bzrlib.delta import compare_trees
38
 
from bzrlib.trace import mutter, warning, note
39
 
from bzrlib.fetch import greedy_fetch, fetch
40
 
from bzrlib.revision import is_ancestor, NULL_REVISION
41
 
from bzrlib.osutils import rename, pathjoin
42
 
from bzrlib.revision import common_ancestor, MultipleRevisionSources
43
 
from bzrlib.errors import NoSuchRevision
44
 
 
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
from __future__ import absolute_import
 
18
 
 
19
import warnings
 
20
 
 
21
from bzrlib.lazy_import import lazy_import
 
22
lazy_import(globals(), """
 
23
from bzrlib import (
 
24
    branch as _mod_branch,
 
25
    cleanup,
 
26
    conflicts as _mod_conflicts,
 
27
    debug,
 
28
    generate_ids,
 
29
    graph as _mod_graph,
 
30
    merge3,
 
31
    osutils,
 
32
    patiencediff,
 
33
    revision as _mod_revision,
 
34
    textfile,
 
35
    trace,
 
36
    transform,
 
37
    tree as _mod_tree,
 
38
    tsort,
 
39
    ui,
 
40
    versionedfile,
 
41
    workingtree,
 
42
    )
 
43
from bzrlib.i18n import gettext
 
44
""")
 
45
from bzrlib import (
 
46
    decorators,
 
47
    errors,
 
48
    hooks,
 
49
    registry,
 
50
    )
 
51
from bzrlib.symbol_versioning import (
 
52
    deprecated_in,
 
53
    deprecated_method,
 
54
    )
45
55
# TODO: Report back as changes are merged in
46
56
 
47
 
# TODO: build_working_dir can be built on something simpler than merge()
48
 
 
49
 
# FIXME: merge() parameters seem oriented towards the command line
50
 
# NOTABUG: merge is a helper for commandline functions.  merge_inner is the
51
 
#          the core functionality.
52
 
 
53
 
# comments from abentley on irc: merge happens in two stages, each
54
 
# of which generates a changeset object
55
 
 
56
 
# stage 1: generate OLD->OTHER,
57
 
# stage 2: use MINE and OLD->OTHER to generate MINE -> RESULT
58
 
 
59
 
class MergeConflictHandler(ExceptionConflictHandler):
60
 
    """Handle conflicts encountered while merging.
61
 
 
62
 
    This subclasses ExceptionConflictHandler, so that any types of
63
 
    conflict that are not explicitly handled cause an exception and
64
 
    terminate the merge.
65
 
    """
66
 
    def __init__(self, this_tree, base_tree, other_tree, ignore_zero=False):
67
 
        ExceptionConflictHandler.__init__(self)
68
 
        self.conflicts = 0
69
 
        self.ignore_zero = ignore_zero
70
 
        self.this_tree = this_tree
71
 
        self.base_tree = base_tree
72
 
        self.other_tree = other_tree
73
 
 
74
 
    def copy(self, source, dest):
75
 
        """Copy the text and mode of a file
76
 
        :param source: The path of the file to copy
77
 
        :param dest: The distination file to create
78
 
        """
79
 
        s_file = file(source, "rb")
80
 
        d_file = file(dest, "wb")
81
 
        for line in s_file:
82
 
            d_file.write(line)
83
 
        os.chmod(dest, 0777 & os.stat(source).st_mode)
84
 
 
85
 
    def dump(self, lines, dest):
86
 
        """Copy the text and mode of a file
87
 
        :param source: The path of the file to copy
88
 
        :param dest: The distination file to create
89
 
        """
90
 
        d_file = file(dest, "wb")
91
 
        for line in lines:
92
 
            d_file.write(line)
93
 
 
94
 
    def add_suffix(self, name, suffix, last_new_name=None, fix_inventory=True):
95
 
        """Rename a file to append a suffix.  If the new name exists, the
96
 
        suffix is added repeatedly until a non-existant name is found
97
 
 
98
 
        :param name: The path of the file
99
 
        :param suffix: The suffix to append
100
 
        :param last_new_name: (used for recursive calls) the last name tried
101
 
        """
102
 
        if last_new_name is None:
103
 
            last_new_name = name
104
 
        new_name = last_new_name+suffix
105
 
        try:
106
 
            rename(name, new_name)
107
 
            if fix_inventory is True:
108
 
                try:
109
 
                    relpath = self.this_tree.relpath(name)
110
 
                except NotBranchError:
111
 
                    relpath = None
112
 
                if relpath is not None:
113
 
                    file_id = self.this_tree.path2id(relpath)
114
 
                    if file_id is not None:
115
 
                        new_path = self.this_tree.relpath(new_name)
116
 
                        rename(new_name, name)
117
 
                        self.this_tree.rename_one(relpath, new_path)
118
 
                        assert self.this_tree.id2path(file_id) == new_path
119
 
        except OSError, e:
120
 
            if e.errno != errno.EEXIST and e.errno != errno.ENOTEMPTY:
121
 
                raise
122
 
            return self.add_suffix(name, suffix, last_new_name=new_name, 
123
 
                                   fix_inventory=fix_inventory)
124
 
        return new_name
125
 
 
126
 
    def conflict(self, text):
127
 
        warning(text)
128
 
        self.conflicts += 1
129
 
        
130
 
 
131
 
    def merge_conflict(self, new_file, this_path, base_lines, other_lines):
132
 
        """
133
 
        Handle diff3 conflicts by producing a .THIS, .BASE and .OTHER.  The
134
 
        main file will be a version with diff3 conflicts.
135
 
        :param new_file: Path to the output file with diff3 markers
136
 
        :param this_path: Path to the file text for the THIS tree
137
 
        :param base_path: Path to the file text for the BASE tree
138
 
        :param other_path: Path to the file text for the OTHER tree
139
 
        """
140
 
        self.add_suffix(this_path, ".THIS", fix_inventory=False)
141
 
        self.dump(base_lines, this_path+".BASE")
142
 
        self.dump(other_lines, this_path+".OTHER")
143
 
        rename(new_file, this_path)
144
 
        self.conflict("Diff3 conflict encountered in %s" % this_path)
145
 
 
146
 
    def weave_merge_conflict(self, filename, weave, other_i, out_file):
147
 
        """
148
 
        Handle weave conflicts by producing a .THIS, and .OTHER.  The
149
 
        main file will be a version with diff3-style conflicts.
150
 
        """
151
 
        self.add_suffix(filename, ".THIS", fix_inventory=False)
152
 
        out_file.commit()
153
 
        self.dump(weave.get_iter(other_i), filename+".OTHER")
154
 
        self.conflict("Text conflict encountered in %s" % filename)
155
 
 
156
 
    def new_contents_conflict(self, filename, other_contents):
157
 
        """Conflicting contents for newly added file."""
158
 
        other_contents(filename + ".OTHER", self, False)
159
 
        self.conflict("Conflict in newly added file %s" % filename)
160
 
    
161
 
 
162
 
    def target_exists(self, entry, target, old_path):
163
 
        """Handle the case when the target file or dir exists"""
164
 
        moved_path = self.add_suffix(target, ".moved")
165
 
        self.conflict("Moved existing %s to %s" % (target, moved_path))
166
 
 
167
 
    def rmdir_non_empty(self, filename):
168
 
        """Handle the case where the dir to be removed still has contents"""
169
 
        self.conflict("Directory %s not removed because it is not empty"\
170
 
            % filename)
171
 
        return "skip"
172
 
 
173
 
    def rem_contents_conflict(self, filename, this_contents, base_contents):
174
 
        base_contents(filename+".BASE", self)
175
 
        this_contents(filename+".THIS", self)
176
 
        self.conflict("Other branch deleted locally modified file %s" %
177
 
                      filename)
178
 
        return ReplaceContents(this_contents, None)
179
 
 
180
 
    def abs_this_path(self, file_id):
181
 
        """Return the absolute path for a file_id in the this tree."""
182
 
        return self.this_tree.id2abspath(file_id)
183
 
 
184
 
    def add_missing_parents(self, file_id, tree):
185
 
        """If some of the parents for file_id are missing, add them."""
186
 
        entry = tree.inventory[file_id]
187
 
        if entry.parent_id not in self.this_tree:
188
 
            return self.create_all_missing(entry.parent_id, tree)
189
 
        else:
190
 
            return self.abs_this_path(entry.parent_id)
191
 
 
192
 
    def create_all_missing(self, file_id, tree):
193
 
        """Add contents for a file_id and all its parents to a tree."""
194
 
        entry = tree.inventory[file_id]
195
 
        if entry.parent_id is not None and entry.parent_id not in self.this_tree:
196
 
            abspath = self.create_all_missing(entry.parent_id, tree)
197
 
        else:
198
 
            abspath = self.abs_this_path(entry.parent_id)
199
 
        entry_path = pathjoin(abspath, entry.name)
200
 
        if not os.path.isdir(entry_path):
201
 
            self.create(file_id, entry_path, tree)
202
 
        return entry_path
203
 
 
204
 
    def create(self, file_id, path, tree):
205
 
        """Uses tree data to create a filesystem object for the file_id"""
206
 
        from changeset import get_contents
207
 
        get_contents(tree, file_id)(path, self)
208
 
 
209
 
    def missing_for_merge(self, file_id, other_path):
210
 
        """The file_id doesn't exist in THIS, but does in OTHER and BASE"""
211
 
        self.conflict("Other branch modified locally deleted file %s" %
212
 
                      other_path)
213
 
        parent_dir = self.add_missing_parents(file_id, self.other_tree)
214
 
        stem = pathjoin(parent_dir, os.path.basename(other_path))
215
 
        self.create(file_id, stem+".OTHER", self.other_tree)
216
 
        self.create(file_id, stem+".BASE", self.base_tree)
217
 
 
218
 
    def threeway_contents_conflict(filename, this_contents, base_contents,
219
 
                                   other_contents):
220
 
        self.conflict("Three-way conflict merging %s" % filename)
221
 
 
222
 
    def finalize(self):
223
 
        if self.conflicts == 0:
224
 
            if not self.ignore_zero:
225
 
                note("All changes applied successfully.")
226
 
        else:
227
 
            note("%d conflicts encountered." % self.conflicts)
228
 
            
229
 
def get_tree(treespec, local_branch=None):
230
 
    location, revno = treespec
231
 
    branch = Branch.open_containing(location)[0]
232
 
    if revno is None:
233
 
        revision = None
234
 
    elif revno == -1:
235
 
        revision = branch.last_revision()
236
 
    else:
237
 
        revision = branch.get_rev_id(revno)
238
 
        if revision is None:
239
 
            revision = NULL_REVISION
240
 
    return branch, get_revid_tree(branch, revision, local_branch)
241
 
 
242
 
def get_revid_tree(branch, revision, local_branch):
243
 
    if revision is None:
244
 
        base_tree = branch.working_tree()
245
 
    else:
246
 
        if local_branch is not None:
247
 
            greedy_fetch(local_branch, branch, revision)
248
 
            base_tree = local_branch.repository.revision_tree(revision)
249
 
        else:
250
 
            base_tree = branch.repository.revision_tree(revision)
251
 
    return base_tree
252
 
 
253
 
 
254
 
def file_exists(tree, file_id):
255
 
    return tree.has_filename(tree.id2path(file_id))
256
 
    
257
 
 
258
 
def build_working_dir(to_dir):
259
 
    """Build a working directory in an empty directory.
260
 
 
261
 
    to_dir is a directory containing branch metadata but no working files,
262
 
    typically constructed by cloning an existing branch. 
263
 
 
264
 
    This is split out as a special idiomatic case of merge.  It could
265
 
    eventually be done by just building the tree directly calling into 
266
 
    lower-level code (e.g. constructing a changeset).
267
 
    """
268
 
    # RBC 20051019 is this not just 'export' ?
269
 
    # AB Well, export doesn't take care of inventory...
270
 
    this_branch = Branch.open_containing(to_dir)[0]
271
 
    transform_tree(this_branch.working_tree(), this_branch.basis_tree())
272
 
 
273
57
 
274
58
def transform_tree(from_tree, to_tree, interesting_ids=None):
275
 
    merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
276
 
                interesting_ids=interesting_ids)
277
 
 
278
 
 
279
 
def merge(other_revision, base_revision,
280
 
          check_clean=True, ignore_zero=False,
281
 
          this_dir=None, backup_files=False, merge_type=ApplyMerge3,
282
 
          file_list=None, show_base=False, reprocess=False):
283
 
    """Merge changes into a tree.
284
 
 
285
 
    base_revision
286
 
        list(path, revno) Base for three-way merge.  
287
 
        If [None, None] then a base will be automatically determined.
288
 
    other_revision
289
 
        list(path, revno) Other revision for three-way merge.
290
 
    this_dir
291
 
        Directory to merge changes into; '.' by default.
292
 
    check_clean
293
 
        If true, this_dir must have no uncommitted changes before the
294
 
        merge begins.
295
 
    ignore_zero - If true, suppress the "zero conflicts" message when 
296
 
        there are no conflicts; should be set when doing something we expect
297
 
        to complete perfectly.
298
 
    file_list - If supplied, merge only changes to selected files.
299
 
 
300
 
    All available ancestors of other_revision and base_revision are
301
 
    automatically pulled into the branch.
302
 
 
303
 
    The revno may be -1 to indicate the last revision on the branch, which is
304
 
    the typical case.
305
 
 
306
 
    This function is intended for use from the command line; programmatic
307
 
    clients might prefer to call merge_inner(), which has less magic behavior.
308
 
    """
309
 
    if this_dir is None:
310
 
        this_dir = u'.'
311
 
    this_branch = Branch.open_containing(this_dir)[0]
312
 
    if show_base and not merge_type is ApplyMerge3:
313
 
        raise BzrCommandError("Show-base is not supported for this merge"
314
 
                              " type. %s" % merge_type)
315
 
    if reprocess and not merge_type is ApplyMerge3:
316
 
        raise BzrCommandError("Reprocess is not supported for this merge"
317
 
                              " type. %s" % merge_type)
318
 
    if reprocess and show_base:
319
 
        raise BzrCommandError("Cannot reprocess and show base.")
320
 
    merger = Merger(this_branch)
321
 
    merger.check_basis(check_clean)
322
 
    merger.set_other(other_revision)
323
 
    merger.set_base(base_revision)
324
 
    if merger.base_rev_id == merger.other_rev_id:
325
 
        note('Nothing to do.')
326
 
        return 0
327
 
    merger.backup_files = backup_files
328
 
    merger.merge_type = merge_type 
329
 
    merger.set_interesting_files(file_list)
330
 
    merger.show_base = show_base 
331
 
    merger.reprocess = reprocess
332
 
    merger.conflict_handler = MergeConflictHandler(merger.this_tree, 
333
 
                                                   merger.base_tree, 
334
 
                                                   merger.other_tree,
335
 
                                                   ignore_zero=ignore_zero)
336
 
    conflicts = merger.do_merge()
337
 
    merger.set_pending()
338
 
    return conflicts
339
 
 
340
 
def merge_inner(this_branch, other_tree, base_tree, ignore_zero=False,
341
 
                backup_files=False, 
342
 
                merge_type=ApplyMerge3, 
343
 
                interesting_ids=None, 
344
 
                show_base=False, 
345
 
                reprocess=False, 
346
 
                other_rev_id=None,
347
 
                interesting_files=None):
348
 
    """Primary interface for merging. 
349
 
 
350
 
        typical use is probably 
351
 
        'merge_inner(branch, branch.get_revision_tree(other_revision),
352
 
                     branch.get_revision_tree(base_revision))'
353
 
        """
354
 
    merger = Merger(this_branch, other_tree, base_tree)
355
 
    merger.backup_files = backup_files
356
 
    merger.merge_type = merge_type
357
 
    merger.interesting_ids = interesting_ids
358
 
    if interesting_files:
359
 
        assert not interesting_ids, ('Only supply interesting_ids'
360
 
                                     ' or interesting_files')
361
 
        merger._set_interesting_files(interesting_files)
362
 
    merger.show_base = show_base 
363
 
    merger.reprocess = reprocess
364
 
    merger.conflict_handler = MergeConflictHandler(merger.this_tree, base_tree, 
365
 
                                                   other_tree,
366
 
                                                   ignore_zero=ignore_zero)
367
 
    merger.other_rev_id = other_rev_id
368
 
    merger.other_basis = other_rev_id
369
 
    return merger.do_merge()
 
59
    from_tree.lock_tree_write()
 
60
    operation = cleanup.OperationWithCleanups(merge_inner)
 
61
    operation.add_cleanup(from_tree.unlock)
 
62
    operation.run_simple(from_tree.branch, to_tree, from_tree,
 
63
        ignore_zero=True, interesting_ids=interesting_ids, this_tree=from_tree)
 
64
 
 
65
 
 
66
class MergeHooks(hooks.Hooks):
 
67
 
 
68
    def __init__(self):
 
69
        hooks.Hooks.__init__(self, "bzrlib.merge", "Merger.hooks")
 
70
        self.add_hook('merge_file_content',
 
71
            "Called with a bzrlib.merge.Merger object to create a per file "
 
72
            "merge object when starting a merge. "
 
73
            "Should return either None or a subclass of "
 
74
            "``bzrlib.merge.AbstractPerFileMerger``. "
 
75
            "Such objects will then be called per file "
 
76
            "that needs to be merged (including when one "
 
77
            "side has deleted the file and the other has changed it). "
 
78
            "See the AbstractPerFileMerger API docs for details on how it is "
 
79
            "used by merge.",
 
80
            (2, 1))
 
81
        self.add_hook('pre_merge',
 
82
            'Called before a merge. '
 
83
            'Receives a Merger object as the single argument.',
 
84
            (2, 5))
 
85
        self.add_hook('post_merge',
 
86
            'Called after a merge. '
 
87
            'Receives a Merger object as the single argument. '
 
88
            'The return value is ignored.',
 
89
            (2, 5))
 
90
 
 
91
 
 
92
class AbstractPerFileMerger(object):
 
93
    """PerFileMerger objects are used by plugins extending merge for bzrlib.
 
94
 
 
95
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
 
96
    
 
97
    :ivar merger: The Merge3Merger performing the merge.
 
98
    """
 
99
 
 
100
    def __init__(self, merger):
 
101
        """Create a PerFileMerger for use with merger."""
 
102
        self.merger = merger
 
103
 
 
104
    def merge_contents(self, merge_params):
 
105
        """Attempt to merge the contents of a single file.
 
106
        
 
107
        :param merge_params: A bzrlib.merge.MergeFileHookParams
 
108
        :return: A tuple of (status, chunks), where status is one of
 
109
            'not_applicable', 'success', 'conflicted', or 'delete'.  If status
 
110
            is 'success' or 'conflicted', then chunks should be an iterable of
 
111
            strings for the new file contents.
 
112
        """
 
113
        return ('not applicable', None)
 
114
 
 
115
 
 
116
class PerFileMerger(AbstractPerFileMerger):
 
117
    """Merge individual files when self.file_matches returns True.
 
118
 
 
119
    This class is intended to be subclassed.  The file_matches and
 
120
    merge_matching methods should be overridden with concrete implementations.
 
121
    """
 
122
 
 
123
    def file_matches(self, params):
 
124
        """Return True if merge_matching should be called on this file.
 
125
 
 
126
        Only called with merges of plain files with no clear winner.
 
127
 
 
128
        Subclasses must override this.
 
129
        """
 
130
        raise NotImplementedError(self.file_matches)
 
131
 
 
132
    def get_filename(self, params, tree):
 
133
        """Lookup the filename (i.e. basename, not path), given a Tree (e.g.
 
134
        self.merger.this_tree) and a MergeFileHookParams.
 
135
        """
 
136
        return osutils.basename(tree.id2path(params.file_id))
 
137
 
 
138
    def get_filepath(self, params, tree):
 
139
        """Calculate the path to the file in a tree.
 
140
 
 
141
        :param params: A MergeFileHookParams describing the file to merge
 
142
        :param tree: a Tree, e.g. self.merger.this_tree.
 
143
        """
 
144
        return tree.id2path(params.file_id)
 
145
 
 
146
    def merge_contents(self, params):
 
147
        """Merge the contents of a single file."""
 
148
        # Check whether this custom merge logic should be used.
 
149
        if (
 
150
            # OTHER is a straight winner, rely on default merge.
 
151
            params.winner == 'other' or
 
152
            # THIS and OTHER aren't both files.
 
153
            not params.is_file_merge() or
 
154
            # The filename doesn't match
 
155
            not self.file_matches(params)):
 
156
            return 'not_applicable', None
 
157
        return self.merge_matching(params)
 
158
 
 
159
    def merge_matching(self, params):
 
160
        """Merge the contents of a single file that has matched the criteria
 
161
        in PerFileMerger.merge_contents (is a conflict, is a file,
 
162
        self.file_matches is True).
 
163
 
 
164
        Subclasses must override this.
 
165
        """
 
166
        raise NotImplementedError(self.merge_matching)
 
167
 
 
168
 
 
169
class ConfigurableFileMerger(PerFileMerger):
 
170
    """Merge individual files when configured via a .conf file.
 
171
 
 
172
    This is a base class for concrete custom file merging logic. Concrete
 
173
    classes should implement ``merge_text``.
 
174
 
 
175
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
 
176
    
 
177
    :ivar affected_files: The configured file paths to merge.
 
178
 
 
179
    :cvar name_prefix: The prefix to use when looking up configuration
 
180
        details. <name_prefix>_merge_files describes the files targeted by the
 
181
        hook for example.
 
182
        
 
183
    :cvar default_files: The default file paths to merge when no configuration
 
184
        is present.
 
185
    """
 
186
 
 
187
    name_prefix = None
 
188
    default_files = None
 
189
 
 
190
    def __init__(self, merger):
 
191
        super(ConfigurableFileMerger, self).__init__(merger)
 
192
        self.affected_files = None
 
193
        self.default_files = self.__class__.default_files or []
 
194
        self.name_prefix = self.__class__.name_prefix
 
195
        if self.name_prefix is None:
 
196
            raise ValueError("name_prefix must be set.")
 
197
 
 
198
    def file_matches(self, params):
 
199
        """Check whether the file should call the merge hook.
 
200
 
 
201
        <name_prefix>_merge_files configuration variable is a list of files
 
202
        that should use the hook.
 
203
        """
 
204
        affected_files = self.affected_files
 
205
        if affected_files is None:
 
206
            config = self.merger.this_branch.get_config()
 
207
            # Until bzr provides a better policy for caching the config, we
 
208
            # just add the part we're interested in to the params to avoid
 
209
            # reading the config files repeatedly (bazaar.conf, location.conf,
 
210
            # branch.conf).
 
211
            config_key = self.name_prefix + '_merge_files'
 
212
            affected_files = config.get_user_option_as_list(config_key)
 
213
            if affected_files is None:
 
214
                # If nothing was specified in the config, use the default.
 
215
                affected_files = self.default_files
 
216
            self.affected_files = affected_files
 
217
        if affected_files:
 
218
            filepath = self.get_filepath(params, self.merger.this_tree)
 
219
            if filepath in affected_files:
 
220
                return True
 
221
        return False
 
222
 
 
223
    def merge_matching(self, params):
 
224
        return self.merge_text(params)
 
225
 
 
226
    def merge_text(self, params):
 
227
        """Merge the byte contents of a single file.
 
228
 
 
229
        This is called after checking that the merge should be performed in
 
230
        merge_contents, and it should behave as per
 
231
        ``bzrlib.merge.AbstractPerFileMerger.merge_contents``.
 
232
        """
 
233
        raise NotImplementedError(self.merge_text)
 
234
 
 
235
 
 
236
class MergeFileHookParams(object):
 
237
    """Object holding parameters passed to merge_file_content hooks.
 
238
 
 
239
    There are some fields hooks can access:
 
240
 
 
241
    :ivar file_id: the file ID of the file being merged
 
242
    :ivar trans_id: the transform ID for the merge of this file
 
243
    :ivar this_kind: kind of file_id in 'this' tree
 
244
    :ivar other_kind: kind of file_id in 'other' tree
 
245
    :ivar winner: one of 'this', 'other', 'conflict'
 
246
    """
 
247
 
 
248
    def __init__(self, merger, file_id, trans_id, this_kind, other_kind,
 
249
            winner):
 
250
        self._merger = merger
 
251
        self.file_id = file_id
 
252
        self.trans_id = trans_id
 
253
        self.this_kind = this_kind
 
254
        self.other_kind = other_kind
 
255
        self.winner = winner
 
256
 
 
257
    def is_file_merge(self):
 
258
        """True if this_kind and other_kind are both 'file'."""
 
259
        return self.this_kind == 'file' and self.other_kind == 'file'
 
260
 
 
261
    @decorators.cachedproperty
 
262
    def base_lines(self):
 
263
        """The lines of the 'base' version of the file."""
 
264
        return self._merger.get_lines(self._merger.base_tree, self.file_id)
 
265
 
 
266
    @decorators.cachedproperty
 
267
    def this_lines(self):
 
268
        """The lines of the 'this' version of the file."""
 
269
        return self._merger.get_lines(self._merger.this_tree, self.file_id)
 
270
 
 
271
    @decorators.cachedproperty
 
272
    def other_lines(self):
 
273
        """The lines of the 'other' version of the file."""
 
274
        return self._merger.get_lines(self._merger.other_tree, self.file_id)
370
275
 
371
276
 
372
277
class Merger(object):
373
 
    def __init__(self, this_branch, other_tree=None, base_tree=None):
 
278
 
 
279
    hooks = MergeHooks()
 
280
 
 
281
    def __init__(self, this_branch, other_tree=None, base_tree=None,
 
282
                 this_tree=None, pb=None, change_reporter=None,
 
283
                 recurse='down', revision_graph=None):
374
284
        object.__init__(self)
375
285
        self.this_branch = this_branch
376
 
        self.this_basis = this_branch.last_revision()
 
286
        self.this_basis = _mod_revision.ensure_null(
 
287
            this_branch.last_revision())
377
288
        self.this_rev_id = None
378
 
        self.this_tree = this_branch.working_tree()
 
289
        self.this_tree = this_tree
379
290
        self.this_revision_tree = None
380
291
        self.this_basis_tree = None
381
292
        self.other_tree = other_tree
 
293
        self.other_branch = None
382
294
        self.base_tree = base_tree
383
295
        self.ignore_zero = False
384
296
        self.backup_files = False
385
297
        self.interesting_ids = None
 
298
        self.interesting_files = None
386
299
        self.show_base = False
387
300
        self.reprocess = False
388
 
        self.conflict_handler = MergeConflictHandler(self.this_tree, base_tree, 
389
 
                                                     other_tree)
390
 
 
391
 
    def revision_tree(self, revision_id):
392
 
        return self.this_branch.repository.revision_tree(revision_id)
393
 
 
394
 
    def ensure_revision_trees(self):
395
 
        if self.this_revision_tree is None:
396
 
            self.this_basis_tree = self.this_branch.repository.revision_tree(
397
 
                self.this_basis)
398
 
            if self.this_basis == self.this_rev_id:
399
 
                self.this_revision_tree = self.this_basis_tree
400
 
 
401
 
 
402
 
        if self.other_rev_id is None:
403
 
            other_basis_tree = self.revision_tree(self.other_basis)
404
 
            changes = compare_trees(self.other_tree, other_basis_tree)
405
 
            if changes.has_changed():
406
 
                raise WorkingTreeNotRevision(self.this_tree)
407
 
            other_rev_id = other_basis
408
 
            self.other_tree = other_basis_tree
409
 
 
410
 
 
411
 
    def file_revisions(self, file_id):
412
 
        self.ensure_revision_trees()
413
 
        def get_id(tree, file_id):
414
 
            revision_id = tree.inventory[file_id].revision
415
 
            assert revision_id is not None
416
 
            return revision_id
417
 
        if self.this_rev_id is None:
418
 
            if self.this_basis_tree.get_file_sha1(file_id) != \
419
 
                self.this_tree.get_file_sha1(file_id):
420
 
                raise WorkingTreeNotRevision(self.this_tree)
421
 
 
422
 
        trees = (self.this_basis_tree, self.other_tree)
423
 
        return [get_id(tree, file_id) for tree in trees]
424
 
            
425
 
 
426
 
    def merge_factory(self, file_id, base, other):
427
 
        if self.merge_type.history_based:
428
 
            if self.show_base is True:
429
 
                raise BzrError("Cannot show base for hisory-based merges")
430
 
            if self.reprocess is True:
431
 
                raise BzrError("Cannot reprocess history-based merges")
432
 
                
433
 
            t_revid, o_revid = self.file_revisions(file_id)
434
 
            weave = self.this_basis_tree.get_weave(file_id)
435
 
            contents_change = self.merge_type(weave, t_revid, o_revid)
436
 
        else:
437
 
            if self.show_base is True or self.reprocess is True:
438
 
                contents_change = self.merge_type(file_id, base, other, 
439
 
                                                  show_base=self.show_base, 
440
 
                                                  reprocess=self.reprocess)
 
301
        if pb is not None:
 
302
            warnings.warn("pb parameter to Merger() is deprecated and ignored")
 
303
        self.pp = None
 
304
        self.recurse = recurse
 
305
        self.change_reporter = change_reporter
 
306
        self._cached_trees = {}
 
307
        self._revision_graph = revision_graph
 
308
        self._base_is_ancestor = None
 
309
        self._base_is_other_ancestor = None
 
310
        self._is_criss_cross = None
 
311
        self._lca_trees = None
 
312
 
 
313
    def cache_trees_with_revision_ids(self, trees):
 
314
        """Cache any tree in trees if it has a revision_id."""
 
315
        for maybe_tree in trees:
 
316
            if maybe_tree is None:
 
317
                continue
 
318
            try:
 
319
                rev_id = maybe_tree.get_revision_id()
 
320
            except AttributeError:
 
321
                continue
 
322
            self._cached_trees[rev_id] = maybe_tree
 
323
 
 
324
    @property
 
325
    def revision_graph(self):
 
326
        if self._revision_graph is None:
 
327
            self._revision_graph = self.this_branch.repository.get_graph()
 
328
        return self._revision_graph
 
329
 
 
330
    def _set_base_is_ancestor(self, value):
 
331
        self._base_is_ancestor = value
 
332
 
 
333
    def _get_base_is_ancestor(self):
 
334
        if self._base_is_ancestor is None:
 
335
            self._base_is_ancestor = self.revision_graph.is_ancestor(
 
336
                self.base_rev_id, self.this_basis)
 
337
        return self._base_is_ancestor
 
338
 
 
339
    base_is_ancestor = property(_get_base_is_ancestor, _set_base_is_ancestor)
 
340
 
 
341
    def _set_base_is_other_ancestor(self, value):
 
342
        self._base_is_other_ancestor = value
 
343
 
 
344
    def _get_base_is_other_ancestor(self):
 
345
        if self._base_is_other_ancestor is None:
 
346
            if self.other_basis is None:
 
347
                return True
 
348
            self._base_is_other_ancestor = self.revision_graph.is_ancestor(
 
349
                self.base_rev_id, self.other_basis)
 
350
        return self._base_is_other_ancestor
 
351
 
 
352
    base_is_other_ancestor = property(_get_base_is_other_ancestor,
 
353
                                      _set_base_is_other_ancestor)
 
354
 
 
355
    @staticmethod
 
356
    def from_uncommitted(tree, other_tree, pb=None, base_tree=None):
 
357
        """Return a Merger for uncommitted changes in other_tree.
 
358
 
 
359
        :param tree: The tree to merge into
 
360
        :param other_tree: The tree to get uncommitted changes from
 
361
        :param pb: A progress indicator
 
362
        :param base_tree: The basis to use for the merge.  If unspecified,
 
363
            other_tree.basis_tree() will be used.
 
364
        """
 
365
        if base_tree is None:
 
366
            base_tree = other_tree.basis_tree()
 
367
        merger = Merger(tree.branch, other_tree, base_tree, tree, pb)
 
368
        merger.base_rev_id = merger.base_tree.get_revision_id()
 
369
        merger.other_rev_id = None
 
370
        merger.other_basis = merger.base_rev_id
 
371
        return merger
 
372
 
 
373
    @classmethod
 
374
    def from_mergeable(klass, tree, mergeable, pb):
 
375
        """Return a Merger for a bundle or merge directive.
 
376
 
 
377
        :param tree: The tree to merge changes into
 
378
        :param mergeable: A merge directive or bundle
 
379
        :param pb: A progress indicator
 
380
        """
 
381
        mergeable.install_revisions(tree.branch.repository)
 
382
        base_revision_id, other_revision_id, verified =\
 
383
            mergeable.get_merge_request(tree.branch.repository)
 
384
        revision_graph = tree.branch.repository.get_graph()
 
385
        if base_revision_id is not None:
 
386
            if (base_revision_id != _mod_revision.NULL_REVISION and
 
387
                revision_graph.is_ancestor(
 
388
                base_revision_id, tree.branch.last_revision())):
 
389
                base_revision_id = None
441
390
            else:
442
 
                contents_change = self.merge_type(file_id, base, other)
443
 
        if self.backup_files:
444
 
            contents_change = BackupBeforeChange(contents_change)
445
 
        return contents_change
446
 
 
447
 
    def check_basis(self, check_clean):
448
 
        if self.this_basis is None:
449
 
            raise BzrCommandError("This branch has no commits")
450
 
        if check_clean:
451
 
            self.compare_basis()
452
 
            if self.this_basis != self.this_rev_id:
453
 
                raise BzrCommandError("Working tree has uncommitted changes.")
454
 
 
455
 
    def compare_basis(self):
456
 
        changes = compare_trees(self.this_branch.working_tree(), 
457
 
                                self.this_branch.basis_tree(), False)
458
 
        if not changes.has_changed():
459
 
            self.this_rev_id = self.this_basis
 
391
                trace.warning('Performing cherrypick')
 
392
        merger = klass.from_revision_ids(pb, tree, other_revision_id,
 
393
                                         base_revision_id, revision_graph=
 
394
                                         revision_graph)
 
395
        return merger, verified
 
396
 
 
397
    @staticmethod
 
398
    def from_revision_ids(pb, tree, other, base=None, other_branch=None,
 
399
                          base_branch=None, revision_graph=None,
 
400
                          tree_branch=None):
 
401
        """Return a Merger for revision-ids.
 
402
 
 
403
        :param pb: A progress indicator
 
404
        :param tree: The tree to merge changes into
 
405
        :param other: The revision-id to use as OTHER
 
406
        :param base: The revision-id to use as BASE.  If not specified, will
 
407
            be auto-selected.
 
408
        :param other_branch: A branch containing the other revision-id.  If
 
409
            not supplied, tree.branch is used.
 
410
        :param base_branch: A branch containing the base revision-id.  If
 
411
            not supplied, other_branch or tree.branch will be used.
 
412
        :param revision_graph: If you have a revision_graph precomputed, pass
 
413
            it in, otherwise it will be created for you.
 
414
        :param tree_branch: The branch associated with tree.  If not supplied,
 
415
            tree.branch will be used.
 
416
        """
 
417
        if tree_branch is None:
 
418
            tree_branch = tree.branch
 
419
        merger = Merger(tree_branch, this_tree=tree, pb=pb,
 
420
                        revision_graph=revision_graph)
 
421
        if other_branch is None:
 
422
            other_branch = tree.branch
 
423
        merger.set_other_revision(other, other_branch)
 
424
        if base is None:
 
425
            merger.find_base()
 
426
        else:
 
427
            if base_branch is None:
 
428
                base_branch = other_branch
 
429
            merger.set_base_revision(base, base_branch)
 
430
        return merger
 
431
 
 
432
    def revision_tree(self, revision_id, branch=None):
 
433
        if revision_id not in self._cached_trees:
 
434
            if branch is None:
 
435
                branch = self.this_branch
 
436
            try:
 
437
                tree = self.this_tree.revision_tree(revision_id)
 
438
            except errors.NoSuchRevisionInTree:
 
439
                tree = branch.repository.revision_tree(revision_id)
 
440
            self._cached_trees[revision_id] = tree
 
441
        return self._cached_trees[revision_id]
 
442
 
 
443
    def _get_tree(self, treespec, possible_transports=None):
 
444
        location, revno = treespec
 
445
        if revno is None:
 
446
            tree = workingtree.WorkingTree.open_containing(location)[0]
 
447
            return tree.branch, tree
 
448
        branch = _mod_branch.Branch.open_containing(
 
449
            location, possible_transports)[0]
 
450
        if revno == -1:
 
451
            revision_id = branch.last_revision()
 
452
        else:
 
453
            revision_id = branch.get_rev_id(revno)
 
454
        revision_id = _mod_revision.ensure_null(revision_id)
 
455
        return branch, self.revision_tree(revision_id, branch)
460
456
 
461
457
    def set_interesting_files(self, file_list):
462
 
        try:
463
 
            self._set_interesting_files(file_list)
464
 
        except NotVersionedError, e:
465
 
            raise BzrCommandError("%s is not a source file in any"
466
 
                                      " tree." % e.path)
467
 
 
468
 
    def _set_interesting_files(self, file_list):
469
 
        """Set the list of interesting ids from a list of files."""
470
 
        if file_list is None:
471
 
            self.interesting_ids = None
472
 
            return
473
 
 
474
 
        interesting_ids = set()
475
 
        for fname in file_list:
476
 
            path = self.this_tree.relpath(fname)
477
 
            found_id = False
478
 
            for tree in (self.this_tree, self.base_tree, self.other_tree):
479
 
                file_id = tree.inventory.path2id(path)
480
 
                if file_id is not None:
481
 
                    interesting_ids.add(file_id)
482
 
                    found_id = True
483
 
            if not found_id:
484
 
                raise NotVersionedError(path=fname)
485
 
        self.interesting_ids = interesting_ids
 
458
        self.interesting_files = file_list
486
459
 
487
460
    def set_pending(self):
488
 
        if not self.base_is_ancestor:
489
 
            return
490
 
        if self.other_rev_id is None:
491
 
            return
492
 
        ancestry = self.this_branch.repository.get_ancestry(self.this_basis)
493
 
        if self.other_rev_id in ancestry:
494
 
            return
495
 
        self.this_branch.working_tree().add_pending_merge(self.other_rev_id)
496
 
 
497
 
    def set_other(self, other_revision):
498
 
        other_branch, self.other_tree = get_tree(other_revision, 
499
 
                                                 self.this_branch)
 
461
        if (not self.base_is_ancestor or not self.base_is_other_ancestor
 
462
            or self.other_rev_id is None):
 
463
            return
 
464
        self._add_parent()
 
465
 
 
466
    def _add_parent(self):
 
467
        new_parents = self.this_tree.get_parent_ids() + [self.other_rev_id]
 
468
        new_parent_trees = []
 
469
        operation = cleanup.OperationWithCleanups(
 
470
            self.this_tree.set_parent_trees)
 
471
        for revision_id in new_parents:
 
472
            try:
 
473
                tree = self.revision_tree(revision_id)
 
474
            except errors.NoSuchRevision:
 
475
                tree = None
 
476
            else:
 
477
                tree.lock_read()
 
478
                operation.add_cleanup(tree.unlock)
 
479
            new_parent_trees.append((revision_id, tree))
 
480
        operation.run_simple(new_parent_trees, allow_leftmost_as_ghost=True)
 
481
 
 
482
    def set_other(self, other_revision, possible_transports=None):
 
483
        """Set the revision and tree to merge from.
 
484
 
 
485
        This sets the other_tree, other_rev_id, other_basis attributes.
 
486
 
 
487
        :param other_revision: The [path, revision] list to merge from.
 
488
        """
 
489
        self.other_branch, self.other_tree = self._get_tree(other_revision,
 
490
                                                            possible_transports)
500
491
        if other_revision[1] == -1:
501
 
            self.other_rev_id = other_branch.last_revision()
502
 
            if self.other_rev_id is None:
503
 
                raise NoCommits(other_branch)
 
492
            self.other_rev_id = _mod_revision.ensure_null(
 
493
                self.other_branch.last_revision())
 
494
            if _mod_revision.is_null(self.other_rev_id):
 
495
                raise errors.NoCommits(self.other_branch)
504
496
            self.other_basis = self.other_rev_id
505
497
        elif other_revision[1] is not None:
506
 
            self.other_rev_id = other_branch.get_rev_id(other_revision[1])
 
498
            self.other_rev_id = self.other_branch.get_rev_id(other_revision[1])
507
499
            self.other_basis = self.other_rev_id
508
500
        else:
509
501
            self.other_rev_id = None
510
 
            self.other_basis = other_branch.last_revision()
 
502
            self.other_basis = self.other_branch.last_revision()
511
503
            if self.other_basis is None:
512
 
                raise NoCommits(other_branch)
513
 
        fetch(from_branch=other_branch, to_branch=self.this_branch, 
514
 
              last_revision=self.other_basis)
 
504
                raise errors.NoCommits(self.other_branch)
 
505
        if self.other_rev_id is not None:
 
506
            self._cached_trees[self.other_rev_id] = self.other_tree
 
507
        self._maybe_fetch(self.other_branch, self.this_branch, self.other_basis)
 
508
 
 
509
    def set_other_revision(self, revision_id, other_branch):
 
510
        """Set 'other' based on a branch and revision id
 
511
 
 
512
        :param revision_id: The revision to use for a tree
 
513
        :param other_branch: The branch containing this tree
 
514
        """
 
515
        self.other_rev_id = revision_id
 
516
        self.other_branch = other_branch
 
517
        self._maybe_fetch(other_branch, self.this_branch, self.other_rev_id)
 
518
        self.other_tree = self.revision_tree(revision_id)
 
519
        self.other_basis = revision_id
 
520
 
 
521
    def set_base_revision(self, revision_id, branch):
 
522
        """Set 'base' based on a branch and revision id
 
523
 
 
524
        :param revision_id: The revision to use for a tree
 
525
        :param branch: The branch containing this tree
 
526
        """
 
527
        self.base_rev_id = revision_id
 
528
        self.base_branch = branch
 
529
        self._maybe_fetch(branch, self.this_branch, revision_id)
 
530
        self.base_tree = self.revision_tree(revision_id)
 
531
 
 
532
    def _maybe_fetch(self, source, target, revision_id):
 
533
        if not source.repository.has_same_location(target.repository):
 
534
            target.fetch(source, revision_id)
 
535
 
 
536
    def find_base(self):
 
537
        revisions = [_mod_revision.ensure_null(self.this_basis),
 
538
                     _mod_revision.ensure_null(self.other_basis)]
 
539
        if _mod_revision.NULL_REVISION in revisions:
 
540
            self.base_rev_id = _mod_revision.NULL_REVISION
 
541
            self.base_tree = self.revision_tree(self.base_rev_id)
 
542
            self._is_criss_cross = False
 
543
        else:
 
544
            lcas = self.revision_graph.find_lca(revisions[0], revisions[1])
 
545
            self._is_criss_cross = False
 
546
            if len(lcas) == 0:
 
547
                self.base_rev_id = _mod_revision.NULL_REVISION
 
548
            elif len(lcas) == 1:
 
549
                self.base_rev_id = list(lcas)[0]
 
550
            else: # len(lcas) > 1
 
551
                self._is_criss_cross = True
 
552
                if len(lcas) > 2:
 
553
                    # find_unique_lca can only handle 2 nodes, so we have to
 
554
                    # start back at the beginning. It is a shame to traverse
 
555
                    # the graph again, but better than re-implementing
 
556
                    # find_unique_lca.
 
557
                    self.base_rev_id = self.revision_graph.find_unique_lca(
 
558
                                            revisions[0], revisions[1])
 
559
                else:
 
560
                    self.base_rev_id = self.revision_graph.find_unique_lca(
 
561
                                            *lcas)
 
562
                sorted_lca_keys = self.revision_graph.find_merge_order(
 
563
                    revisions[0], lcas)
 
564
                if self.base_rev_id == _mod_revision.NULL_REVISION:
 
565
                    self.base_rev_id = sorted_lca_keys[0]
 
566
 
 
567
            if self.base_rev_id == _mod_revision.NULL_REVISION:
 
568
                raise errors.UnrelatedBranches()
 
569
            if self._is_criss_cross:
 
570
                trace.warning('Warning: criss-cross merge encountered.  See bzr'
 
571
                              ' help criss-cross.')
 
572
                trace.mutter('Criss-cross lcas: %r' % lcas)
 
573
                if self.base_rev_id in lcas:
 
574
                    trace.mutter('Unable to find unique lca. '
 
575
                                 'Fallback %r as best option.'
 
576
                                 % self.base_rev_id)
 
577
                interesting_revision_ids = set(lcas)
 
578
                interesting_revision_ids.add(self.base_rev_id)
 
579
                interesting_trees = dict((t.get_revision_id(), t)
 
580
                    for t in self.this_branch.repository.revision_trees(
 
581
                        interesting_revision_ids))
 
582
                self._cached_trees.update(interesting_trees)
 
583
                if self.base_rev_id in lcas:
 
584
                    self.base_tree = interesting_trees[self.base_rev_id]
 
585
                else:
 
586
                    self.base_tree = interesting_trees.pop(self.base_rev_id)
 
587
                self._lca_trees = [interesting_trees[key]
 
588
                                   for key in sorted_lca_keys]
 
589
            else:
 
590
                self.base_tree = self.revision_tree(self.base_rev_id)
 
591
        self.base_is_ancestor = True
 
592
        self.base_is_other_ancestor = True
 
593
        trace.mutter('Base revid: %r' % self.base_rev_id)
515
594
 
516
595
    def set_base(self, base_revision):
517
 
        mutter("doing merge() with no base_revision specified")
 
596
        """Set the base revision to use for the merge.
 
597
 
 
598
        :param base_revision: A 2-list containing a path and revision number.
 
599
        """
 
600
        trace.mutter("doing merge() with no base_revision specified")
518
601
        if base_revision == [None, None]:
519
 
            try:
520
 
                self.base_rev_id = common_ancestor(self.this_basis, 
521
 
                                                   self.other_basis, 
522
 
                                                   self.this_branch.repository)
523
 
            except NoCommonAncestor:
524
 
                raise UnrelatedBranches()
525
 
            self.base_tree = get_revid_tree(self.this_branch, self.base_rev_id,
526
 
                                            None)
527
 
            self.base_is_ancestor = True
 
602
            self.find_base()
528
603
        else:
529
 
            base_branch, self.base_tree = get_tree(base_revision)
 
604
            base_branch, self.base_tree = self._get_tree(base_revision)
530
605
            if base_revision[1] == -1:
531
606
                self.base_rev_id = base_branch.last_revision()
532
607
            elif base_revision[1] is None:
533
 
                self.base_rev_id = None
534
 
            else:
535
 
                self.base_rev_id = base_branch.get_rev_id(base_revision[1])
536
 
            fetch(from_branch=base_branch, to_branch=self.this_branch)
537
 
            self.base_is_ancestor = is_ancestor(self.this_basis, 
538
 
                                                self.base_rev_id,
539
 
                                                self.this_branch)
540
 
 
541
 
    def do_merge(self):
542
 
        def get_inventory(tree):
543
 
            return tree.inventory
544
 
        
545
 
        inv_changes = merge_flex(self.this_tree, self.base_tree, 
546
 
                                 self.other_tree,
547
 
                                 generate_changeset, get_inventory,
548
 
                                 self.conflict_handler,
549
 
                                 merge_factory=self.merge_factory, 
550
 
                                 interesting_ids=self.interesting_ids)
551
 
 
552
 
        adjust_ids = []
553
 
        for id, path in inv_changes.iteritems():
554
 
            if path is not None:
555
 
                if path == u'.':
556
 
                    path = u''
557
 
                else:
558
 
                    assert path.startswith('.' + '/') or path.startswith('.' + '\\'), "path is %s" % path
559
 
                path = path[2:]
560
 
            adjust_ids.append((path, id))
561
 
        if len(adjust_ids) > 0:
562
 
            self.this_branch.working_tree().set_inventory(self.regen_inventory(adjust_ids))
563
 
        conflicts = self.conflict_handler.conflicts
564
 
        self.conflict_handler.finalize()
565
 
        return conflicts
566
 
 
567
 
    def regen_inventory(self, new_entries):
568
 
        old_entries = self.this_branch.working_tree().read_working_inventory()
569
 
        new_inventory = {}
570
 
        by_path = {}
571
 
        new_entries_map = {} 
572
 
        for path, file_id in new_entries:
573
 
            if path is None:
574
 
                continue
575
 
            new_entries_map[file_id] = path
576
 
 
577
 
        def id2path(file_id):
578
 
            path = new_entries_map.get(file_id)
579
 
            if path is not None:
580
 
                return path
581
 
            entry = old_entries[file_id]
582
 
            if entry.parent_id is None:
583
 
                return entry.name
584
 
            return pathjoin(id2path(entry.parent_id), entry.name)
585
 
            
586
 
        for file_id in old_entries:
587
 
            entry = old_entries[file_id]
588
 
            path = id2path(file_id)
589
 
            new_inventory[file_id] = (path, file_id, entry.parent_id, 
590
 
                                      entry.kind)
591
 
            by_path[path] = file_id
592
 
        
593
 
        deletions = 0
594
 
        insertions = 0
595
 
        new_path_list = []
596
 
        for path, file_id in new_entries:
597
 
            if path is None:
598
 
                del new_inventory[file_id]
599
 
                deletions += 1
600
 
            else:
601
 
                new_path_list.append((path, file_id))
602
 
                if file_id not in old_entries:
603
 
                    insertions += 1
604
 
        # Ensure no file is added before its parent
605
 
        new_path_list.sort()
606
 
        for path, file_id in new_path_list:
607
 
            if path == '':
608
 
                parent = None
609
 
            else:
610
 
                parent = by_path[os.path.dirname(path)]
611
 
            abspath = pathjoin(self.this_tree.basedir, path)
612
 
            kind = bzrlib.osutils.file_kind(abspath)
613
 
            new_inventory[file_id] = (path, file_id, parent, kind)
614
 
            by_path[path] = file_id 
615
 
 
616
 
        # Get a list in insertion order
617
 
        new_inventory_list = new_inventory.values()
618
 
        mutter ("""Inventory regeneration:
619
 
    old length: %i insertions: %i deletions: %i new_length: %i"""\
620
 
            % (len(old_entries), insertions, deletions, 
621
 
               len(new_inventory_list)))
622
 
        assert len(new_inventory_list) == len(old_entries) + insertions\
623
 
            - deletions
624
 
        new_inventory_list.sort()
625
 
        return new_inventory_list
626
 
 
627
 
merge_types = {     "merge3": (ApplyMerge3, "Native diff3-style merge"), 
628
 
                     "diff3": (Diff3Merge,  "Merge using external diff3"),
629
 
                     'weave': (WeaveMerge, "Weave-based merge")
630
 
              }
631
 
 
 
608
                self.base_rev_id = _mod_revision.NULL_REVISION
 
609
            else:
 
610
                self.base_rev_id = _mod_revision.ensure_null(
 
611
                    base_branch.get_rev_id(base_revision[1]))
 
612
            self._maybe_fetch(base_branch, self.this_branch, self.base_rev_id)
 
613
 
 
614
    def make_merger(self):
 
615
        kwargs = {'working_tree': self.this_tree, 'this_tree': self.this_tree,
 
616
                  'other_tree': self.other_tree,
 
617
                  'interesting_ids': self.interesting_ids,
 
618
                  'interesting_files': self.interesting_files,
 
619
                  'this_branch': self.this_branch,
 
620
                  'other_branch': self.other_branch,
 
621
                  'do_merge': False}
 
622
        if self.merge_type.requires_base:
 
623
            kwargs['base_tree'] = self.base_tree
 
624
        if self.merge_type.supports_reprocess:
 
625
            kwargs['reprocess'] = self.reprocess
 
626
        elif self.reprocess:
 
627
            raise errors.BzrError(
 
628
                "Conflict reduction is not supported for merge"
 
629
                " type %s." % self.merge_type)
 
630
        if self.merge_type.supports_show_base:
 
631
            kwargs['show_base'] = self.show_base
 
632
        elif self.show_base:
 
633
            raise errors.BzrError("Showing base is not supported for this"
 
634
                                  " merge type. %s" % self.merge_type)
 
635
        if (not getattr(self.merge_type, 'supports_reverse_cherrypick', True)
 
636
            and not self.base_is_other_ancestor):
 
637
            raise errors.CannotReverseCherrypick()
 
638
        if self.merge_type.supports_cherrypick:
 
639
            kwargs['cherrypick'] = (not self.base_is_ancestor or
 
640
                                    not self.base_is_other_ancestor)
 
641
        if self._is_criss_cross and getattr(self.merge_type,
 
642
                                            'supports_lca_trees', False):
 
643
            kwargs['lca_trees'] = self._lca_trees
 
644
        return self.merge_type(pb=None,
 
645
                               change_reporter=self.change_reporter,
 
646
                               **kwargs)
 
647
 
 
648
    def _do_merge_to(self):
 
649
        merge = self.make_merger()
 
650
        if self.other_branch is not None:
 
651
            self.other_branch.update_references(self.this_branch)
 
652
        for hook in Merger.hooks['pre_merge']:
 
653
            hook(merge)
 
654
        merge.do_merge()
 
655
        for hook in Merger.hooks['post_merge']:
 
656
            hook(merge)
 
657
        if self.recurse == 'down':
 
658
            for relpath, file_id in self.this_tree.iter_references():
 
659
                sub_tree = self.this_tree.get_nested_tree(file_id, relpath)
 
660
                other_revision = self.other_tree.get_reference_revision(
 
661
                    file_id, relpath)
 
662
                if  other_revision == sub_tree.last_revision():
 
663
                    continue
 
664
                sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
 
665
                sub_merge.merge_type = self.merge_type
 
666
                other_branch = self.other_branch.reference_parent(file_id,
 
667
                                                                  relpath)
 
668
                sub_merge.set_other_revision(other_revision, other_branch)
 
669
                base_revision = self.base_tree.get_reference_revision(file_id)
 
670
                sub_merge.base_tree = \
 
671
                    sub_tree.branch.repository.revision_tree(base_revision)
 
672
                sub_merge.base_rev_id = base_revision
 
673
                sub_merge.do_merge()
 
674
        return merge
 
675
 
 
676
    def do_merge(self):
 
677
        operation = cleanup.OperationWithCleanups(self._do_merge_to)
 
678
        self.this_tree.lock_tree_write()
 
679
        operation.add_cleanup(self.this_tree.unlock)
 
680
        if self.base_tree is not None:
 
681
            self.base_tree.lock_read()
 
682
            operation.add_cleanup(self.base_tree.unlock)
 
683
        if self.other_tree is not None:
 
684
            self.other_tree.lock_read()
 
685
            operation.add_cleanup(self.other_tree.unlock)
 
686
        merge = operation.run_simple()
 
687
        if len(merge.cooked_conflicts) == 0:
 
688
            if not self.ignore_zero and not trace.is_quiet():
 
689
                trace.note(gettext("All changes applied successfully."))
 
690
        else:
 
691
            trace.note(gettext("%d conflicts encountered.")
 
692
                       % len(merge.cooked_conflicts))
 
693
 
 
694
        return len(merge.cooked_conflicts)
 
695
 
 
696
 
 
697
class _InventoryNoneEntry(object):
 
698
    """This represents an inventory entry which *isn't there*.
 
699
 
 
700
    It simplifies the merging logic if we always have an InventoryEntry, even
 
701
    if it isn't actually present
 
702
    """
 
703
    executable = None
 
704
    kind = None
 
705
    name = None
 
706
    parent_id = None
 
707
    revision = None
 
708
    symlink_target = None
 
709
    text_sha1 = None
 
710
 
 
711
_none_entry = _InventoryNoneEntry()
 
712
 
 
713
 
 
714
class Merge3Merger(object):
 
715
    """Three-way merger that uses the merge3 text merger"""
 
716
    requires_base = True
 
717
    supports_reprocess = True
 
718
    supports_show_base = True
 
719
    history_based = False
 
720
    supports_cherrypick = True
 
721
    supports_reverse_cherrypick = True
 
722
    winner_idx = {"this": 2, "other": 1, "conflict": 1}
 
723
    supports_lca_trees = True
 
724
 
 
725
    def __init__(self, working_tree, this_tree, base_tree, other_tree,
 
726
                 interesting_ids=None, reprocess=False, show_base=False,
 
727
                 pb=None, pp=None, change_reporter=None,
 
728
                 interesting_files=None, do_merge=True,
 
729
                 cherrypick=False, lca_trees=None, this_branch=None,
 
730
                 other_branch=None):
 
731
        """Initialize the merger object and perform the merge.
 
732
 
 
733
        :param working_tree: The working tree to apply the merge to
 
734
        :param this_tree: The local tree in the merge operation
 
735
        :param base_tree: The common tree in the merge operation
 
736
        :param other_tree: The other tree to merge changes from
 
737
        :param this_branch: The branch associated with this_tree.  Defaults to
 
738
            this_tree.branch if not supplied.
 
739
        :param other_branch: The branch associated with other_tree, if any.
 
740
        :param interesting_ids: The file_ids of files that should be
 
741
            participate in the merge.  May not be combined with
 
742
            interesting_files.
 
743
        :param: reprocess If True, perform conflict-reduction processing.
 
744
        :param show_base: If True, show the base revision in text conflicts.
 
745
            (incompatible with reprocess)
 
746
        :param pb: ignored
 
747
        :param pp: A ProgressPhase object
 
748
        :param change_reporter: An object that should report changes made
 
749
        :param interesting_files: The tree-relative paths of files that should
 
750
            participate in the merge.  If these paths refer to directories,
 
751
            the contents of those directories will also be included.  May not
 
752
            be combined with interesting_ids.  If neither interesting_files nor
 
753
            interesting_ids is specified, all files may participate in the
 
754
            merge.
 
755
        :param lca_trees: Can be set to a dictionary of {revision_id:rev_tree}
 
756
            if the ancestry was found to include a criss-cross merge.
 
757
            Otherwise should be None.
 
758
        """
 
759
        object.__init__(self)
 
760
        if interesting_files is not None and interesting_ids is not None:
 
761
            raise ValueError(
 
762
                'specify either interesting_ids or interesting_files')
 
763
        if this_branch is None:
 
764
            this_branch = this_tree.branch
 
765
        self.interesting_ids = interesting_ids
 
766
        self.interesting_files = interesting_files
 
767
        self.working_tree = working_tree
 
768
        self.this_tree = this_tree
 
769
        self.base_tree = base_tree
 
770
        self.other_tree = other_tree
 
771
        self.this_branch = this_branch
 
772
        self.other_branch = other_branch
 
773
        self._raw_conflicts = []
 
774
        self.cooked_conflicts = []
 
775
        self.reprocess = reprocess
 
776
        self.show_base = show_base
 
777
        self._lca_trees = lca_trees
 
778
        # Uncommenting this will change the default algorithm to always use
 
779
        # _entries_lca. This can be useful for running the test suite and
 
780
        # making sure we haven't missed any corner cases.
 
781
        # if lca_trees is None:
 
782
        #     self._lca_trees = [self.base_tree]
 
783
        self.change_reporter = change_reporter
 
784
        self.cherrypick = cherrypick
 
785
        if do_merge:
 
786
            self.do_merge()
 
787
        if pp is not None:
 
788
            warnings.warn("pp argument to Merge3Merger is deprecated")
 
789
        if pb is not None:
 
790
            warnings.warn("pb argument to Merge3Merger is deprecated")
 
791
 
 
792
    def do_merge(self):
 
793
        operation = cleanup.OperationWithCleanups(self._do_merge)
 
794
        self.working_tree.lock_tree_write()
 
795
        operation.add_cleanup(self.working_tree.unlock)
 
796
        self.this_tree.lock_read()
 
797
        operation.add_cleanup(self.this_tree.unlock)
 
798
        self.base_tree.lock_read()
 
799
        operation.add_cleanup(self.base_tree.unlock)
 
800
        self.other_tree.lock_read()
 
801
        operation.add_cleanup(self.other_tree.unlock)
 
802
        operation.run()
 
803
 
 
804
    def _do_merge(self, operation):
 
805
        self.tt = transform.TreeTransform(self.working_tree, None)
 
806
        operation.add_cleanup(self.tt.finalize)
 
807
        self._compute_transform()
 
808
        results = self.tt.apply(no_conflicts=True)
 
809
        self.write_modified(results)
 
810
        try:
 
811
            self.working_tree.add_conflicts(self.cooked_conflicts)
 
812
        except errors.UnsupportedOperation:
 
813
            pass
 
814
 
 
815
    def make_preview_transform(self):
 
816
        operation = cleanup.OperationWithCleanups(self._make_preview_transform)
 
817
        self.base_tree.lock_read()
 
818
        operation.add_cleanup(self.base_tree.unlock)
 
819
        self.other_tree.lock_read()
 
820
        operation.add_cleanup(self.other_tree.unlock)
 
821
        return operation.run_simple()
 
822
 
 
823
    def _make_preview_transform(self):
 
824
        self.tt = transform.TransformPreview(self.working_tree)
 
825
        self._compute_transform()
 
826
        return self.tt
 
827
 
 
828
    def _compute_transform(self):
 
829
        if self._lca_trees is None:
 
830
            entries = self._entries3()
 
831
            resolver = self._three_way
 
832
        else:
 
833
            entries = self._entries_lca()
 
834
            resolver = self._lca_multi_way
 
835
        # Prepare merge hooks
 
836
        factories = Merger.hooks['merge_file_content']
 
837
        # One hook for each registered one plus our default merger
 
838
        hooks = [factory(self) for factory in factories] + [self]
 
839
        self.active_hooks = [hook for hook in hooks if hook is not None]
 
840
        child_pb = ui.ui_factory.nested_progress_bar()
 
841
        try:
 
842
            for num, (file_id, changed, parents3, names3,
 
843
                      executable3) in enumerate(entries):
 
844
                # Try merging each entry
 
845
                child_pb.update(gettext('Preparing file merge'),
 
846
                                num, len(entries))
 
847
                self._merge_names(file_id, parents3, names3, resolver=resolver)
 
848
                if changed:
 
849
                    file_status = self._do_merge_contents(file_id)
 
850
                else:
 
851
                    file_status = 'unmodified'
 
852
                self._merge_executable(file_id,
 
853
                    executable3, file_status, resolver=resolver)
 
854
        finally:
 
855
            child_pb.finished()
 
856
        self.tt.fixup_new_roots()
 
857
        self._finish_computing_transform()
 
858
 
 
859
    def _finish_computing_transform(self):
 
860
        """Finalize the transform and report the changes.
 
861
 
 
862
        This is the second half of _compute_transform.
 
863
        """
 
864
        child_pb = ui.ui_factory.nested_progress_bar()
 
865
        try:
 
866
            fs_conflicts = transform.resolve_conflicts(self.tt, child_pb,
 
867
                lambda t, c: transform.conflict_pass(t, c, self.other_tree))
 
868
        finally:
 
869
            child_pb.finished()
 
870
        if self.change_reporter is not None:
 
871
            from bzrlib import delta
 
872
            delta.report_changes(
 
873
                self.tt.iter_changes(), self.change_reporter)
 
874
        self.cook_conflicts(fs_conflicts)
 
875
        for conflict in self.cooked_conflicts:
 
876
            trace.warning(unicode(conflict))
 
877
 
 
878
    def _entries3(self):
 
879
        """Gather data about files modified between three trees.
 
880
 
 
881
        Return a list of tuples of file_id, changed, parents3, names3,
 
882
        executable3.  changed is a boolean indicating whether the file contents
 
883
        or kind were changed.  parents3 is a tuple of parent ids for base,
 
884
        other and this.  names3 is a tuple of names for base, other and this.
 
885
        executable3 is a tuple of execute-bit values for base, other and this.
 
886
        """
 
887
        result = []
 
888
        iterator = self.other_tree.iter_changes(self.base_tree,
 
889
                specific_files=self.interesting_files,
 
890
                extra_trees=[self.this_tree])
 
891
        this_entries = dict((e.file_id, e) for p, e in
 
892
                            self.this_tree.iter_entries_by_dir(
 
893
                            self.interesting_ids))
 
894
        for (file_id, paths, changed, versioned, parents, names, kind,
 
895
             executable) in iterator:
 
896
            if (self.interesting_ids is not None and
 
897
                file_id not in self.interesting_ids):
 
898
                continue
 
899
            entry = this_entries.get(file_id)
 
900
            if entry is not None:
 
901
                this_name = entry.name
 
902
                this_parent = entry.parent_id
 
903
                this_executable = entry.executable
 
904
            else:
 
905
                this_name = None
 
906
                this_parent = None
 
907
                this_executable = None
 
908
            parents3 = parents + (this_parent,)
 
909
            names3 = names + (this_name,)
 
910
            executable3 = executable + (this_executable,)
 
911
            result.append((file_id, changed, parents3, names3, executable3))
 
912
        return result
 
913
 
 
914
    def _entries_lca(self):
 
915
        """Gather data about files modified between multiple trees.
 
916
 
 
917
        This compares OTHER versus all LCA trees, and for interesting entries,
 
918
        it then compares with THIS and BASE.
 
919
 
 
920
        For the multi-valued entries, the format will be (BASE, [lca1, lca2])
 
921
 
 
922
        :return: [(file_id, changed, parents, names, executable)], where:
 
923
 
 
924
            * file_id: Simple file_id of the entry
 
925
            * changed: Boolean, True if the kind or contents changed else False
 
926
            * parents: ((base, [parent_id, in, lcas]), parent_id_other,
 
927
                        parent_id_this)
 
928
            * names:   ((base, [name, in, lcas]), name_in_other, name_in_this)
 
929
            * executable: ((base, [exec, in, lcas]), exec_in_other,
 
930
                        exec_in_this)
 
931
        """
 
932
        if self.interesting_files is not None:
 
933
            lookup_trees = [self.this_tree, self.base_tree]
 
934
            lookup_trees.extend(self._lca_trees)
 
935
            # I think we should include the lca trees as well
 
936
            interesting_ids = self.other_tree.paths2ids(self.interesting_files,
 
937
                                                        lookup_trees)
 
938
        else:
 
939
            interesting_ids = self.interesting_ids
 
940
        result = []
 
941
        walker = _mod_tree.MultiWalker(self.other_tree, self._lca_trees)
 
942
 
 
943
        base_inventory = self.base_tree.root_inventory
 
944
        this_inventory = self.this_tree.root_inventory
 
945
        for path, file_id, other_ie, lca_values in walker.iter_all():
 
946
            # Is this modified at all from any of the other trees?
 
947
            if other_ie is None:
 
948
                other_ie = _none_entry
 
949
            if interesting_ids is not None and file_id not in interesting_ids:
 
950
                continue
 
951
 
 
952
            # If other_revision is found in any of the lcas, that means this
 
953
            # node is uninteresting. This is because when merging, if there are
 
954
            # multiple heads(), we have to create a new node. So if we didn't,
 
955
            # we know that the ancestry is linear, and that OTHER did not
 
956
            # modify anything
 
957
            # See doc/developers/lca_merge_resolution.txt for details
 
958
            other_revision = other_ie.revision
 
959
            if other_revision is not None:
 
960
                # We can't use this shortcut when other_revision is None,
 
961
                # because it may be None because things are WorkingTrees, and
 
962
                # not because it is *actually* None.
 
963
                is_unmodified = False
 
964
                for lca_path, ie in lca_values:
 
965
                    if ie is not None and ie.revision == other_revision:
 
966
                        is_unmodified = True
 
967
                        break
 
968
                if is_unmodified:
 
969
                    continue
 
970
 
 
971
            lca_entries = []
 
972
            for lca_path, lca_ie in lca_values:
 
973
                if lca_ie is None:
 
974
                    lca_entries.append(_none_entry)
 
975
                else:
 
976
                    lca_entries.append(lca_ie)
 
977
 
 
978
            if base_inventory.has_id(file_id):
 
979
                base_ie = base_inventory[file_id]
 
980
            else:
 
981
                base_ie = _none_entry
 
982
 
 
983
            if this_inventory.has_id(file_id):
 
984
                this_ie = this_inventory[file_id]
 
985
            else:
 
986
                this_ie = _none_entry
 
987
 
 
988
            lca_kinds = []
 
989
            lca_parent_ids = []
 
990
            lca_names = []
 
991
            lca_executable = []
 
992
            for lca_ie in lca_entries:
 
993
                lca_kinds.append(lca_ie.kind)
 
994
                lca_parent_ids.append(lca_ie.parent_id)
 
995
                lca_names.append(lca_ie.name)
 
996
                lca_executable.append(lca_ie.executable)
 
997
 
 
998
            kind_winner = self._lca_multi_way(
 
999
                (base_ie.kind, lca_kinds),
 
1000
                other_ie.kind, this_ie.kind)
 
1001
            parent_id_winner = self._lca_multi_way(
 
1002
                (base_ie.parent_id, lca_parent_ids),
 
1003
                other_ie.parent_id, this_ie.parent_id)
 
1004
            name_winner = self._lca_multi_way(
 
1005
                (base_ie.name, lca_names),
 
1006
                other_ie.name, this_ie.name)
 
1007
 
 
1008
            content_changed = True
 
1009
            if kind_winner == 'this':
 
1010
                # No kind change in OTHER, see if there are *any* changes
 
1011
                if other_ie.kind == 'directory':
 
1012
                    if parent_id_winner == 'this' and name_winner == 'this':
 
1013
                        # No change for this directory in OTHER, skip
 
1014
                        continue
 
1015
                    content_changed = False
 
1016
                elif other_ie.kind is None or other_ie.kind == 'file':
 
1017
                    def get_sha1(ie, tree):
 
1018
                        if ie.kind != 'file':
 
1019
                            return None
 
1020
                        return tree.get_file_sha1(file_id)
 
1021
                    base_sha1 = get_sha1(base_ie, self.base_tree)
 
1022
                    lca_sha1s = [get_sha1(ie, tree) for ie, tree
 
1023
                                 in zip(lca_entries, self._lca_trees)]
 
1024
                    this_sha1 = get_sha1(this_ie, self.this_tree)
 
1025
                    other_sha1 = get_sha1(other_ie, self.other_tree)
 
1026
                    sha1_winner = self._lca_multi_way(
 
1027
                        (base_sha1, lca_sha1s), other_sha1, this_sha1,
 
1028
                        allow_overriding_lca=False)
 
1029
                    exec_winner = self._lca_multi_way(
 
1030
                        (base_ie.executable, lca_executable),
 
1031
                        other_ie.executable, this_ie.executable)
 
1032
                    if (parent_id_winner == 'this' and name_winner == 'this'
 
1033
                        and sha1_winner == 'this' and exec_winner == 'this'):
 
1034
                        # No kind, parent, name, exec, or content change for
 
1035
                        # OTHER, so this node is not considered interesting
 
1036
                        continue
 
1037
                    if sha1_winner == 'this':
 
1038
                        content_changed = False
 
1039
                elif other_ie.kind == 'symlink':
 
1040
                    def get_target(ie, tree):
 
1041
                        if ie.kind != 'symlink':
 
1042
                            return None
 
1043
                        return tree.get_symlink_target(file_id)
 
1044
                    base_target = get_target(base_ie, self.base_tree)
 
1045
                    lca_targets = [get_target(ie, tree) for ie, tree
 
1046
                                   in zip(lca_entries, self._lca_trees)]
 
1047
                    this_target = get_target(this_ie, self.this_tree)
 
1048
                    other_target = get_target(other_ie, self.other_tree)
 
1049
                    target_winner = self._lca_multi_way(
 
1050
                        (base_target, lca_targets),
 
1051
                        other_target, this_target)
 
1052
                    if (parent_id_winner == 'this' and name_winner == 'this'
 
1053
                        and target_winner == 'this'):
 
1054
                        # No kind, parent, name, or symlink target change
 
1055
                        # not interesting
 
1056
                        continue
 
1057
                    if target_winner == 'this':
 
1058
                        content_changed = False
 
1059
                elif other_ie.kind == 'tree-reference':
 
1060
                    # The 'changed' information seems to be handled at a higher
 
1061
                    # level. At least, _entries3 returns False for content
 
1062
                    # changed, even when at a new revision_id.
 
1063
                    content_changed = False
 
1064
                    if (parent_id_winner == 'this' and name_winner == 'this'):
 
1065
                        # Nothing interesting
 
1066
                        continue
 
1067
                else:
 
1068
                    raise AssertionError('unhandled kind: %s' % other_ie.kind)
 
1069
 
 
1070
            # If we have gotten this far, that means something has changed
 
1071
            result.append((file_id, content_changed,
 
1072
                           ((base_ie.parent_id, lca_parent_ids),
 
1073
                            other_ie.parent_id, this_ie.parent_id),
 
1074
                           ((base_ie.name, lca_names),
 
1075
                            other_ie.name, this_ie.name),
 
1076
                           ((base_ie.executable, lca_executable),
 
1077
                            other_ie.executable, this_ie.executable)
 
1078
                          ))
 
1079
        return result
 
1080
 
 
1081
    def write_modified(self, results):
 
1082
        modified_hashes = {}
 
1083
        for path in results.modified_paths:
 
1084
            file_id = self.working_tree.path2id(self.working_tree.relpath(path))
 
1085
            if file_id is None:
 
1086
                continue
 
1087
            hash = self.working_tree.get_file_sha1(file_id)
 
1088
            if hash is None:
 
1089
                continue
 
1090
            modified_hashes[file_id] = hash
 
1091
        self.working_tree.set_merge_modified(modified_hashes)
 
1092
 
 
1093
    @staticmethod
 
1094
    def parent(entry, file_id):
 
1095
        """Determine the parent for a file_id (used as a key method)"""
 
1096
        if entry is None:
 
1097
            return None
 
1098
        return entry.parent_id
 
1099
 
 
1100
    @staticmethod
 
1101
    def name(entry, file_id):
 
1102
        """Determine the name for a file_id (used as a key method)"""
 
1103
        if entry is None:
 
1104
            return None
 
1105
        return entry.name
 
1106
 
 
1107
    @staticmethod
 
1108
    def contents_sha1(tree, file_id):
 
1109
        """Determine the sha1 of the file contents (used as a key method)."""
 
1110
        if not tree.has_id(file_id):
 
1111
            return None
 
1112
        return tree.get_file_sha1(file_id)
 
1113
 
 
1114
    @staticmethod
 
1115
    def executable(tree, file_id):
 
1116
        """Determine the executability of a file-id (used as a key method)."""
 
1117
        if not tree.has_id(file_id):
 
1118
            return None
 
1119
        if tree.kind(file_id) != "file":
 
1120
            return False
 
1121
        return tree.is_executable(file_id)
 
1122
 
 
1123
    @staticmethod
 
1124
    def kind(tree, file_id):
 
1125
        """Determine the kind of a file-id (used as a key method)."""
 
1126
        if not tree.has_id(file_id):
 
1127
            return None
 
1128
        return tree.kind(file_id)
 
1129
 
 
1130
    @staticmethod
 
1131
    def _three_way(base, other, this):
 
1132
        if base == other:
 
1133
            # if 'base == other', either they all agree, or only 'this' has
 
1134
            # changed.
 
1135
            return 'this'
 
1136
        elif this not in (base, other):
 
1137
            # 'this' is neither 'base' nor 'other', so both sides changed
 
1138
            return 'conflict'
 
1139
        elif this == other:
 
1140
            # "Ambiguous clean merge" -- both sides have made the same change.
 
1141
            return "this"
 
1142
        else:
 
1143
            # this == base: only other has changed.
 
1144
            return "other"
 
1145
 
 
1146
    @staticmethod
 
1147
    def _lca_multi_way(bases, other, this, allow_overriding_lca=True):
 
1148
        """Consider LCAs when determining whether a change has occurred.
 
1149
 
 
1150
        If LCAS are all identical, this is the same as a _three_way comparison.
 
1151
 
 
1152
        :param bases: value in (BASE, [LCAS])
 
1153
        :param other: value in OTHER
 
1154
        :param this: value in THIS
 
1155
        :param allow_overriding_lca: If there is more than one unique lca
 
1156
            value, allow OTHER to override THIS if it has a new value, and
 
1157
            THIS only has an lca value, or vice versa. This is appropriate for
 
1158
            truly scalar values, not as much for non-scalars.
 
1159
        :return: 'this', 'other', or 'conflict' depending on whether an entry
 
1160
            changed or not.
 
1161
        """
 
1162
        # See doc/developers/lca_tree_merging.txt for details about this
 
1163
        # algorithm.
 
1164
        if other == this:
 
1165
            # Either Ambiguously clean, or nothing was actually changed. We
 
1166
            # don't really care
 
1167
            return 'this'
 
1168
        base_val, lca_vals = bases
 
1169
        # Remove 'base_val' from the lca_vals, because it is not interesting
 
1170
        filtered_lca_vals = [lca_val for lca_val in lca_vals
 
1171
                                      if lca_val != base_val]
 
1172
        if len(filtered_lca_vals) == 0:
 
1173
            return Merge3Merger._three_way(base_val, other, this)
 
1174
 
 
1175
        unique_lca_vals = set(filtered_lca_vals)
 
1176
        if len(unique_lca_vals) == 1:
 
1177
            return Merge3Merger._three_way(unique_lca_vals.pop(), other, this)
 
1178
 
 
1179
        if allow_overriding_lca:
 
1180
            if other in unique_lca_vals:
 
1181
                if this in unique_lca_vals:
 
1182
                    # Each side picked a different lca, conflict
 
1183
                    return 'conflict'
 
1184
                else:
 
1185
                    # This has a value which supersedes both lca values, and
 
1186
                    # other only has an lca value
 
1187
                    return 'this'
 
1188
            elif this in unique_lca_vals:
 
1189
                # OTHER has a value which supersedes both lca values, and this
 
1190
                # only has an lca value
 
1191
                return 'other'
 
1192
 
 
1193
        # At this point, the lcas disagree, and the tip disagree
 
1194
        return 'conflict'
 
1195
 
 
1196
    def merge_names(self, file_id):
 
1197
        def get_entry(tree):
 
1198
            try:
 
1199
                return tree.root_inventory[file_id]
 
1200
            except errors.NoSuchId:
 
1201
                return None
 
1202
        this_entry = get_entry(self.this_tree)
 
1203
        other_entry = get_entry(self.other_tree)
 
1204
        base_entry = get_entry(self.base_tree)
 
1205
        entries = (base_entry, other_entry, this_entry)
 
1206
        names = []
 
1207
        parents = []
 
1208
        for entry in entries:
 
1209
            if entry is None:
 
1210
                names.append(None)
 
1211
                parents.append(None)
 
1212
            else:
 
1213
                names.append(entry.name)
 
1214
                parents.append(entry.parent_id)
 
1215
        return self._merge_names(file_id, parents, names,
 
1216
                                 resolver=self._three_way)
 
1217
 
 
1218
    def _merge_names(self, file_id, parents, names, resolver):
 
1219
        """Perform a merge on file_id names and parents"""
 
1220
        base_name, other_name, this_name = names
 
1221
        base_parent, other_parent, this_parent = parents
 
1222
 
 
1223
        name_winner = resolver(*names)
 
1224
 
 
1225
        parent_id_winner = resolver(*parents)
 
1226
        if this_name is None:
 
1227
            if name_winner == "this":
 
1228
                name_winner = "other"
 
1229
            if parent_id_winner == "this":
 
1230
                parent_id_winner = "other"
 
1231
        if name_winner == "this" and parent_id_winner == "this":
 
1232
            return
 
1233
        if name_winner == 'conflict' or parent_id_winner == 'conflict':
 
1234
            # Creating helpers (.OTHER or .THIS) here cause problems down the
 
1235
            # road if a ContentConflict needs to be created so we should not do
 
1236
            # that
 
1237
            trans_id = self.tt.trans_id_file_id(file_id)
 
1238
            self._raw_conflicts.append(('path conflict', trans_id, file_id,
 
1239
                                        this_parent, this_name,
 
1240
                                        other_parent, other_name))
 
1241
        if not self.other_tree.has_id(file_id):
 
1242
            # it doesn't matter whether the result was 'other' or
 
1243
            # 'conflict'-- if it has no file id, we leave it alone.
 
1244
            return
 
1245
        parent_id = parents[self.winner_idx[parent_id_winner]]
 
1246
        name = names[self.winner_idx[name_winner]]
 
1247
        if parent_id is not None or name is not None:
 
1248
            # if we get here, name_winner and parent_winner are set to safe
 
1249
            # values.
 
1250
            if parent_id is None and name is not None:
 
1251
                # if parent_id is None and name is non-None, current file is
 
1252
                # the tree root.
 
1253
                if names[self.winner_idx[parent_id_winner]] != '':
 
1254
                    raise AssertionError(
 
1255
                        'File looks like a root, but named %s' %
 
1256
                        names[self.winner_idx[parent_id_winner]])
 
1257
                parent_trans_id = transform.ROOT_PARENT
 
1258
            else:
 
1259
                parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
1260
            self.tt.adjust_path(name, parent_trans_id,
 
1261
                                self.tt.trans_id_file_id(file_id))
 
1262
 
 
1263
    def _do_merge_contents(self, file_id):
 
1264
        """Performs a merge on file_id contents."""
 
1265
        def contents_pair(tree):
 
1266
            if not tree.has_id(file_id):
 
1267
                return (None, None)
 
1268
            kind = tree.kind(file_id)
 
1269
            if kind == "file":
 
1270
                contents = tree.get_file_sha1(file_id)
 
1271
            elif kind == "symlink":
 
1272
                contents = tree.get_symlink_target(file_id)
 
1273
            else:
 
1274
                contents = None
 
1275
            return kind, contents
 
1276
 
 
1277
        # See SPOT run.  run, SPOT, run.
 
1278
        # So we're not QUITE repeating ourselves; we do tricky things with
 
1279
        # file kind...
 
1280
        base_pair = contents_pair(self.base_tree)
 
1281
        other_pair = contents_pair(self.other_tree)
 
1282
        if self._lca_trees:
 
1283
            this_pair = contents_pair(self.this_tree)
 
1284
            lca_pairs = [contents_pair(tree) for tree in self._lca_trees]
 
1285
            winner = self._lca_multi_way((base_pair, lca_pairs), other_pair,
 
1286
                                         this_pair, allow_overriding_lca=False)
 
1287
        else:
 
1288
            if base_pair == other_pair:
 
1289
                winner = 'this'
 
1290
            else:
 
1291
                # We delayed evaluating this_pair as long as we can to avoid
 
1292
                # unnecessary sha1 calculation
 
1293
                this_pair = contents_pair(self.this_tree)
 
1294
                winner = self._three_way(base_pair, other_pair, this_pair)
 
1295
        if winner == 'this':
 
1296
            # No interesting changes introduced by OTHER
 
1297
            return "unmodified"
 
1298
        # We have a hypothetical conflict, but if we have files, then we
 
1299
        # can try to merge the content
 
1300
        trans_id = self.tt.trans_id_file_id(file_id)
 
1301
        params = MergeFileHookParams(self, file_id, trans_id, this_pair[0],
 
1302
            other_pair[0], winner)
 
1303
        hooks = self.active_hooks
 
1304
        hook_status = 'not_applicable'
 
1305
        for hook in hooks:
 
1306
            hook_status, lines = hook.merge_contents(params)
 
1307
            if hook_status != 'not_applicable':
 
1308
                # Don't try any more hooks, this one applies.
 
1309
                break
 
1310
        # If the merge ends up replacing the content of the file, we get rid of
 
1311
        # it at the end of this method (this variable is used to track the
 
1312
        # exceptions to this rule).
 
1313
        keep_this = False
 
1314
        result = "modified"
 
1315
        if hook_status == 'not_applicable':
 
1316
            # No merge hook was able to resolve the situation. Two cases exist:
 
1317
            # a content conflict or a duplicate one.
 
1318
            result = None
 
1319
            name = self.tt.final_name(trans_id)
 
1320
            parent_id = self.tt.final_parent(trans_id)
 
1321
            duplicate = False
 
1322
            inhibit_content_conflict = False
 
1323
            if params.this_kind is None: # file_id is not in THIS
 
1324
                # Is the name used for a different file_id ?
 
1325
                dupe_path = self.other_tree.id2path(file_id)
 
1326
                this_id = self.this_tree.path2id(dupe_path)
 
1327
                if this_id is not None:
 
1328
                    # Two entries for the same path
 
1329
                    keep_this = True
 
1330
                    # versioning the merged file will trigger a duplicate
 
1331
                    # conflict
 
1332
                    self.tt.version_file(file_id, trans_id)
 
1333
                    transform.create_from_tree(
 
1334
                        self.tt, trans_id, self.other_tree, file_id,
 
1335
                        filter_tree_path=self._get_filter_tree_path(file_id))
 
1336
                    inhibit_content_conflict = True
 
1337
            elif params.other_kind is None: # file_id is not in OTHER
 
1338
                # Is the name used for a different file_id ?
 
1339
                dupe_path = self.this_tree.id2path(file_id)
 
1340
                other_id = self.other_tree.path2id(dupe_path)
 
1341
                if other_id is not None:
 
1342
                    # Two entries for the same path again, but here, the other
 
1343
                    # entry will also be merged.  We simply inhibit the
 
1344
                    # 'content' conflict creation because we know OTHER will
 
1345
                    # create (or has already created depending on ordering) an
 
1346
                    # entry at the same path. This will trigger a 'duplicate'
 
1347
                    # conflict later.
 
1348
                    keep_this = True
 
1349
                    inhibit_content_conflict = True
 
1350
            if not inhibit_content_conflict:
 
1351
                if params.this_kind is not None:
 
1352
                    self.tt.unversion_file(trans_id)
 
1353
                # This is a contents conflict, because none of the available
 
1354
                # functions could merge it.
 
1355
                file_group = self._dump_conflicts(name, parent_id, file_id,
 
1356
                                                  set_version=True)
 
1357
                self._raw_conflicts.append(('contents conflict', file_group))
 
1358
        elif hook_status == 'success':
 
1359
            self.tt.create_file(lines, trans_id)
 
1360
        elif hook_status == 'conflicted':
 
1361
            # XXX: perhaps the hook should be able to provide
 
1362
            # the BASE/THIS/OTHER files?
 
1363
            self.tt.create_file(lines, trans_id)
 
1364
            self._raw_conflicts.append(('text conflict', trans_id))
 
1365
            name = self.tt.final_name(trans_id)
 
1366
            parent_id = self.tt.final_parent(trans_id)
 
1367
            self._dump_conflicts(name, parent_id, file_id)
 
1368
        elif hook_status == 'delete':
 
1369
            self.tt.unversion_file(trans_id)
 
1370
            result = "deleted"
 
1371
        elif hook_status == 'done':
 
1372
            # The hook function did whatever it needs to do directly, no
 
1373
            # further action needed here.
 
1374
            pass
 
1375
        else:
 
1376
            raise AssertionError('unknown hook_status: %r' % (hook_status,))
 
1377
        if not self.this_tree.has_id(file_id) and result == "modified":
 
1378
            self.tt.version_file(file_id, trans_id)
 
1379
        if not keep_this:
 
1380
            # The merge has been performed and produced a new content, so the
 
1381
            # old contents should not be retained.
 
1382
            self.tt.delete_contents(trans_id)
 
1383
        return result
 
1384
 
 
1385
    def _default_other_winner_merge(self, merge_hook_params):
 
1386
        """Replace this contents with other."""
 
1387
        file_id = merge_hook_params.file_id
 
1388
        trans_id = merge_hook_params.trans_id
 
1389
        if self.other_tree.has_id(file_id):
 
1390
            # OTHER changed the file
 
1391
            transform.create_from_tree(
 
1392
                self.tt, trans_id, self.other_tree, file_id,
 
1393
                filter_tree_path=self._get_filter_tree_path(file_id))
 
1394
            return 'done', None
 
1395
        elif self.this_tree.has_id(file_id):
 
1396
            # OTHER deleted the file
 
1397
            return 'delete', None
 
1398
        else:
 
1399
            raise AssertionError(
 
1400
                'winner is OTHER, but file_id %r not in THIS or OTHER tree'
 
1401
                % (file_id,))
 
1402
 
 
1403
    def merge_contents(self, merge_hook_params):
 
1404
        """Fallback merge logic after user installed hooks."""
 
1405
        # This function is used in merge hooks as the fallback instance.
 
1406
        # Perhaps making this function and the functions it calls be a 
 
1407
        # a separate class would be better.
 
1408
        if merge_hook_params.winner == 'other':
 
1409
            # OTHER is a straight winner, so replace this contents with other
 
1410
            return self._default_other_winner_merge(merge_hook_params)
 
1411
        elif merge_hook_params.is_file_merge():
 
1412
            # THIS and OTHER are both files, so text merge.  Either
 
1413
            # BASE is a file, or both converted to files, so at least we
 
1414
            # have agreement that output should be a file.
 
1415
            try:
 
1416
                self.text_merge(merge_hook_params.file_id,
 
1417
                    merge_hook_params.trans_id)
 
1418
            except errors.BinaryFile:
 
1419
                return 'not_applicable', None
 
1420
            return 'done', None
 
1421
        else:
 
1422
            return 'not_applicable', None
 
1423
 
 
1424
    def get_lines(self, tree, file_id):
 
1425
        """Return the lines in a file, or an empty list."""
 
1426
        if tree.has_id(file_id):
 
1427
            return tree.get_file_lines(file_id)
 
1428
        else:
 
1429
            return []
 
1430
 
 
1431
    def text_merge(self, file_id, trans_id):
 
1432
        """Perform a three-way text merge on a file_id"""
 
1433
        # it's possible that we got here with base as a different type.
 
1434
        # if so, we just want two-way text conflicts.
 
1435
        if self.base_tree.has_id(file_id) and \
 
1436
            self.base_tree.kind(file_id) == "file":
 
1437
            base_lines = self.get_lines(self.base_tree, file_id)
 
1438
        else:
 
1439
            base_lines = []
 
1440
        other_lines = self.get_lines(self.other_tree, file_id)
 
1441
        this_lines = self.get_lines(self.this_tree, file_id)
 
1442
        m3 = merge3.Merge3(base_lines, this_lines, other_lines,
 
1443
                           is_cherrypick=self.cherrypick)
 
1444
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
 
1445
        if self.show_base is True:
 
1446
            base_marker = '|' * 7
 
1447
        else:
 
1448
            base_marker = None
 
1449
 
 
1450
        def iter_merge3(retval):
 
1451
            retval["text_conflicts"] = False
 
1452
            for line in m3.merge_lines(name_a = "TREE",
 
1453
                                       name_b = "MERGE-SOURCE",
 
1454
                                       name_base = "BASE-REVISION",
 
1455
                                       start_marker=start_marker,
 
1456
                                       base_marker=base_marker,
 
1457
                                       reprocess=self.reprocess):
 
1458
                if line.startswith(start_marker):
 
1459
                    retval["text_conflicts"] = True
 
1460
                    yield line.replace(start_marker, '<' * 7)
 
1461
                else:
 
1462
                    yield line
 
1463
        retval = {}
 
1464
        merge3_iterator = iter_merge3(retval)
 
1465
        self.tt.create_file(merge3_iterator, trans_id)
 
1466
        if retval["text_conflicts"] is True:
 
1467
            self._raw_conflicts.append(('text conflict', trans_id))
 
1468
            name = self.tt.final_name(trans_id)
 
1469
            parent_id = self.tt.final_parent(trans_id)
 
1470
            file_group = self._dump_conflicts(name, parent_id, file_id,
 
1471
                                              this_lines, base_lines,
 
1472
                                              other_lines)
 
1473
            file_group.append(trans_id)
 
1474
 
 
1475
 
 
1476
    def _get_filter_tree_path(self, file_id):
 
1477
        if self.this_tree.supports_content_filtering():
 
1478
            # We get the path from the working tree if it exists.
 
1479
            # That fails though when OTHER is adding a file, so
 
1480
            # we fall back to the other tree to find the path if
 
1481
            # it doesn't exist locally.
 
1482
            try:
 
1483
                return self.this_tree.id2path(file_id)
 
1484
            except errors.NoSuchId:
 
1485
                return self.other_tree.id2path(file_id)
 
1486
        # Skip the id2path lookup for older formats
 
1487
        return None
 
1488
 
 
1489
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None,
 
1490
                        base_lines=None, other_lines=None, set_version=False,
 
1491
                        no_base=False):
 
1492
        """Emit conflict files.
 
1493
        If this_lines, base_lines, or other_lines are omitted, they will be
 
1494
        determined automatically.  If set_version is true, the .OTHER, .THIS
 
1495
        or .BASE (in that order) will be created as versioned files.
 
1496
        """
 
1497
        data = [('OTHER', self.other_tree, other_lines),
 
1498
                ('THIS', self.this_tree, this_lines)]
 
1499
        if not no_base:
 
1500
            data.append(('BASE', self.base_tree, base_lines))
 
1501
 
 
1502
        # We need to use the actual path in the working tree of the file here,
 
1503
        # ignoring the conflict suffixes
 
1504
        wt = self.this_tree
 
1505
        if wt.supports_content_filtering():
 
1506
            try:
 
1507
                filter_tree_path = wt.id2path(file_id)
 
1508
            except errors.NoSuchId:
 
1509
                # file has been deleted
 
1510
                filter_tree_path = None
 
1511
        else:
 
1512
            # Skip the id2path lookup for older formats
 
1513
            filter_tree_path = None
 
1514
 
 
1515
        versioned = False
 
1516
        file_group = []
 
1517
        for suffix, tree, lines in data:
 
1518
            if tree.has_id(file_id):
 
1519
                trans_id = self._conflict_file(name, parent_id, tree, file_id,
 
1520
                                               suffix, lines, filter_tree_path)
 
1521
                file_group.append(trans_id)
 
1522
                if set_version and not versioned:
 
1523
                    self.tt.version_file(file_id, trans_id)
 
1524
                    versioned = True
 
1525
        return file_group
 
1526
 
 
1527
    def _conflict_file(self, name, parent_id, tree, file_id, suffix,
 
1528
                       lines=None, filter_tree_path=None):
 
1529
        """Emit a single conflict file."""
 
1530
        name = name + '.' + suffix
 
1531
        trans_id = self.tt.create_path(name, parent_id)
 
1532
        transform.create_from_tree(self.tt, trans_id, tree, file_id, lines,
 
1533
            filter_tree_path)
 
1534
        return trans_id
 
1535
 
 
1536
    def merge_executable(self, file_id, file_status):
 
1537
        """Perform a merge on the execute bit."""
 
1538
        executable = [self.executable(t, file_id) for t in (self.base_tree,
 
1539
                      self.other_tree, self.this_tree)]
 
1540
        self._merge_executable(file_id, executable, file_status,
 
1541
                               resolver=self._three_way)
 
1542
 
 
1543
    def _merge_executable(self, file_id, executable, file_status,
 
1544
                          resolver):
 
1545
        """Perform a merge on the execute bit."""
 
1546
        base_executable, other_executable, this_executable = executable
 
1547
        if file_status == "deleted":
 
1548
            return
 
1549
        winner = resolver(*executable)
 
1550
        if winner == "conflict":
 
1551
        # There must be a None in here, if we have a conflict, but we
 
1552
        # need executability since file status was not deleted.
 
1553
            if self.executable(self.other_tree, file_id) is None:
 
1554
                winner = "this"
 
1555
            else:
 
1556
                winner = "other"
 
1557
        if winner == 'this' and file_status != "modified":
 
1558
            return
 
1559
        trans_id = self.tt.trans_id_file_id(file_id)
 
1560
        if self.tt.final_kind(trans_id) != "file":
 
1561
            return
 
1562
        if winner == "this":
 
1563
            executability = this_executable
 
1564
        else:
 
1565
            if self.other_tree.has_id(file_id):
 
1566
                executability = other_executable
 
1567
            elif self.this_tree.has_id(file_id):
 
1568
                executability = this_executable
 
1569
            elif self.base_tree_has_id(file_id):
 
1570
                executability = base_executable
 
1571
        if executability is not None:
 
1572
            trans_id = self.tt.trans_id_file_id(file_id)
 
1573
            self.tt.set_executability(executability, trans_id)
 
1574
 
 
1575
    def cook_conflicts(self, fs_conflicts):
 
1576
        """Convert all conflicts into a form that doesn't depend on trans_id"""
 
1577
        content_conflict_file_ids = set()
 
1578
        cooked_conflicts = transform.cook_conflicts(fs_conflicts, self.tt)
 
1579
        fp = transform.FinalPaths(self.tt)
 
1580
        for conflict in self._raw_conflicts:
 
1581
            conflict_type = conflict[0]
 
1582
            if conflict_type == 'path conflict':
 
1583
                (trans_id, file_id,
 
1584
                this_parent, this_name,
 
1585
                other_parent, other_name) = conflict[1:]
 
1586
                if this_parent is None or this_name is None:
 
1587
                    this_path = '<deleted>'
 
1588
                else:
 
1589
                    parent_path =  fp.get_path(
 
1590
                        self.tt.trans_id_file_id(this_parent))
 
1591
                    this_path = osutils.pathjoin(parent_path, this_name)
 
1592
                if other_parent is None or other_name is None:
 
1593
                    other_path = '<deleted>'
 
1594
                else:
 
1595
                    if other_parent == self.other_tree.get_root_id():
 
1596
                        # The tree transform doesn't know about the other root,
 
1597
                        # so we special case here to avoid a NoFinalPath
 
1598
                        # exception
 
1599
                        parent_path = ''
 
1600
                    else:
 
1601
                        parent_path =  fp.get_path(
 
1602
                            self.tt.trans_id_file_id(other_parent))
 
1603
                    other_path = osutils.pathjoin(parent_path, other_name)
 
1604
                c = _mod_conflicts.Conflict.factory(
 
1605
                    'path conflict', path=this_path,
 
1606
                    conflict_path=other_path,
 
1607
                    file_id=file_id)
 
1608
            elif conflict_type == 'contents conflict':
 
1609
                for trans_id in conflict[1]:
 
1610
                    file_id = self.tt.final_file_id(trans_id)
 
1611
                    if file_id is not None:
 
1612
                        # Ok we found the relevant file-id
 
1613
                        break
 
1614
                path = fp.get_path(trans_id)
 
1615
                for suffix in ('.BASE', '.THIS', '.OTHER'):
 
1616
                    if path.endswith(suffix):
 
1617
                        # Here is the raw path
 
1618
                        path = path[:-len(suffix)]
 
1619
                        break
 
1620
                c = _mod_conflicts.Conflict.factory(conflict_type,
 
1621
                                                    path=path, file_id=file_id)
 
1622
                content_conflict_file_ids.add(file_id)
 
1623
            elif conflict_type == 'text conflict':
 
1624
                trans_id = conflict[1]
 
1625
                path = fp.get_path(trans_id)
 
1626
                file_id = self.tt.final_file_id(trans_id)
 
1627
                c = _mod_conflicts.Conflict.factory(conflict_type,
 
1628
                                                    path=path, file_id=file_id)
 
1629
            else:
 
1630
                raise AssertionError('bad conflict type: %r' % (conflict,))
 
1631
            cooked_conflicts.append(c)
 
1632
 
 
1633
        self.cooked_conflicts = []
 
1634
        # We want to get rid of path conflicts when a corresponding contents
 
1635
        # conflict exists. This can occur when one branch deletes a file while
 
1636
        # the other renames *and* modifies it. In this case, the content
 
1637
        # conflict is enough.
 
1638
        for c in cooked_conflicts:
 
1639
            if (c.typestring == 'path conflict'
 
1640
                and c.file_id in content_conflict_file_ids):
 
1641
                continue
 
1642
            self.cooked_conflicts.append(c)
 
1643
        self.cooked_conflicts.sort(key=_mod_conflicts.Conflict.sort_key)
 
1644
 
 
1645
 
 
1646
class WeaveMerger(Merge3Merger):
 
1647
    """Three-way tree merger, text weave merger."""
 
1648
    supports_reprocess = True
 
1649
    supports_show_base = False
 
1650
    supports_reverse_cherrypick = False
 
1651
    history_based = True
 
1652
 
 
1653
    def _generate_merge_plan(self, file_id, base):
 
1654
        return self.this_tree.plan_file_merge(file_id, self.other_tree,
 
1655
                                              base=base)
 
1656
 
 
1657
    def _merged_lines(self, file_id):
 
1658
        """Generate the merged lines.
 
1659
        There is no distinction between lines that are meant to contain <<<<<<<
 
1660
        and conflicts.
 
1661
        """
 
1662
        if self.cherrypick:
 
1663
            base = self.base_tree
 
1664
        else:
 
1665
            base = None
 
1666
        plan = self._generate_merge_plan(file_id, base)
 
1667
        if 'merge' in debug.debug_flags:
 
1668
            plan = list(plan)
 
1669
            trans_id = self.tt.trans_id_file_id(file_id)
 
1670
            name = self.tt.final_name(trans_id) + '.plan'
 
1671
            contents = ('%11s|%s' % l for l in plan)
 
1672
            self.tt.new_file(name, self.tt.final_parent(trans_id), contents)
 
1673
        textmerge = versionedfile.PlanWeaveMerge(plan, '<<<<<<< TREE\n',
 
1674
                                                 '>>>>>>> MERGE-SOURCE\n')
 
1675
        lines, conflicts = textmerge.merge_lines(self.reprocess)
 
1676
        if conflicts:
 
1677
            base_lines = textmerge.base_from_plan()
 
1678
        else:
 
1679
            base_lines = None
 
1680
        return lines, base_lines
 
1681
 
 
1682
    def text_merge(self, file_id, trans_id):
 
1683
        """Perform a (weave) text merge for a given file and file-id.
 
1684
        If conflicts are encountered, .THIS and .OTHER files will be emitted,
 
1685
        and a conflict will be noted.
 
1686
        """
 
1687
        lines, base_lines = self._merged_lines(file_id)
 
1688
        lines = list(lines)
 
1689
        # Note we're checking whether the OUTPUT is binary in this case,
 
1690
        # because we don't want to get into weave merge guts.
 
1691
        textfile.check_text_lines(lines)
 
1692
        self.tt.create_file(lines, trans_id)
 
1693
        if base_lines is not None:
 
1694
            # Conflict
 
1695
            self._raw_conflicts.append(('text conflict', trans_id))
 
1696
            name = self.tt.final_name(trans_id)
 
1697
            parent_id = self.tt.final_parent(trans_id)
 
1698
            file_group = self._dump_conflicts(name, parent_id, file_id,
 
1699
                                              no_base=False,
 
1700
                                              base_lines=base_lines)
 
1701
            file_group.append(trans_id)
 
1702
 
 
1703
 
 
1704
class LCAMerger(WeaveMerger):
 
1705
 
 
1706
    def _generate_merge_plan(self, file_id, base):
 
1707
        return self.this_tree.plan_file_lca_merge(file_id, self.other_tree,
 
1708
                                                  base=base)
 
1709
 
 
1710
class Diff3Merger(Merge3Merger):
 
1711
    """Three-way merger using external diff3 for text merging"""
 
1712
 
 
1713
    def dump_file(self, temp_dir, name, tree, file_id):
 
1714
        out_path = osutils.pathjoin(temp_dir, name)
 
1715
        out_file = open(out_path, "wb")
 
1716
        try:
 
1717
            in_file = tree.get_file(file_id)
 
1718
            for line in in_file:
 
1719
                out_file.write(line)
 
1720
        finally:
 
1721
            out_file.close()
 
1722
        return out_path
 
1723
 
 
1724
    def text_merge(self, file_id, trans_id):
 
1725
        """Perform a diff3 merge using a specified file-id and trans-id.
 
1726
        If conflicts are encountered, .BASE, .THIS. and .OTHER conflict files
 
1727
        will be dumped, and a will be conflict noted.
 
1728
        """
 
1729
        import bzrlib.patch
 
1730
        temp_dir = osutils.mkdtemp(prefix="bzr-")
 
1731
        try:
 
1732
            new_file = osutils.pathjoin(temp_dir, "new")
 
1733
            this = self.dump_file(temp_dir, "this", self.this_tree, file_id)
 
1734
            base = self.dump_file(temp_dir, "base", self.base_tree, file_id)
 
1735
            other = self.dump_file(temp_dir, "other", self.other_tree, file_id)
 
1736
            status = bzrlib.patch.diff3(new_file, this, base, other)
 
1737
            if status not in (0, 1):
 
1738
                raise errors.BzrError("Unhandled diff3 exit code")
 
1739
            f = open(new_file, 'rb')
 
1740
            try:
 
1741
                self.tt.create_file(f, trans_id)
 
1742
            finally:
 
1743
                f.close()
 
1744
            if status == 1:
 
1745
                name = self.tt.final_name(trans_id)
 
1746
                parent_id = self.tt.final_parent(trans_id)
 
1747
                self._dump_conflicts(name, parent_id, file_id)
 
1748
                self._raw_conflicts.append(('text conflict', trans_id))
 
1749
        finally:
 
1750
            osutils.rmtree(temp_dir)
 
1751
 
 
1752
 
 
1753
class PathNotInTree(errors.BzrError):
 
1754
 
 
1755
    _fmt = """Merge-into failed because %(tree)s does not contain %(path)s."""
 
1756
 
 
1757
    def __init__(self, path, tree):
 
1758
        errors.BzrError.__init__(self, path=path, tree=tree)
 
1759
 
 
1760
 
 
1761
class MergeIntoMerger(Merger):
 
1762
    """Merger that understands other_tree will be merged into a subdir.
 
1763
 
 
1764
    This also changes the Merger api so that it uses real Branch, revision_id,
 
1765
    and RevisonTree objects, rather than using revision specs.
 
1766
    """
 
1767
 
 
1768
    def __init__(self, this_tree, other_branch, other_tree, target_subdir,
 
1769
            source_subpath, other_rev_id=None):
 
1770
        """Create a new MergeIntoMerger object.
 
1771
 
 
1772
        source_subpath in other_tree will be effectively copied to
 
1773
        target_subdir in this_tree.
 
1774
 
 
1775
        :param this_tree: The tree that we will be merging into.
 
1776
        :param other_branch: The Branch we will be merging from.
 
1777
        :param other_tree: The RevisionTree object we want to merge.
 
1778
        :param target_subdir: The relative path where we want to merge
 
1779
            other_tree into this_tree
 
1780
        :param source_subpath: The relative path specifying the subtree of
 
1781
            other_tree to merge into this_tree.
 
1782
        """
 
1783
        # It is assumed that we are merging a tree that is not in our current
 
1784
        # ancestry, which means we are using the "EmptyTree" as our basis.
 
1785
        null_ancestor_tree = this_tree.branch.repository.revision_tree(
 
1786
                                _mod_revision.NULL_REVISION)
 
1787
        super(MergeIntoMerger, self).__init__(
 
1788
            this_branch=this_tree.branch,
 
1789
            this_tree=this_tree,
 
1790
            other_tree=other_tree,
 
1791
            base_tree=null_ancestor_tree,
 
1792
            )
 
1793
        self._target_subdir = target_subdir
 
1794
        self._source_subpath = source_subpath
 
1795
        self.other_branch = other_branch
 
1796
        if other_rev_id is None:
 
1797
            other_rev_id = other_tree.get_revision_id()
 
1798
        self.other_rev_id = self.other_basis = other_rev_id
 
1799
        self.base_is_ancestor = True
 
1800
        self.backup_files = True
 
1801
        self.merge_type = Merge3Merger
 
1802
        self.show_base = False
 
1803
        self.reprocess = False
 
1804
        self.interesting_ids = None
 
1805
        self.merge_type = _MergeTypeParameterizer(MergeIntoMergeType,
 
1806
              target_subdir=self._target_subdir,
 
1807
              source_subpath=self._source_subpath)
 
1808
        if self._source_subpath != '':
 
1809
            # If this isn't a partial merge make sure the revisions will be
 
1810
            # present.
 
1811
            self._maybe_fetch(self.other_branch, self.this_branch,
 
1812
                self.other_basis)
 
1813
 
 
1814
    def set_pending(self):
 
1815
        if self._source_subpath != '':
 
1816
            return
 
1817
        Merger.set_pending(self)
 
1818
 
 
1819
 
 
1820
class _MergeTypeParameterizer(object):
 
1821
    """Wrap a merge-type class to provide extra parameters.
 
1822
    
 
1823
    This is hack used by MergeIntoMerger to pass some extra parameters to its
 
1824
    merge_type.  Merger.do_merge() sets up its own set of parameters to pass to
 
1825
    the 'merge_type' member.  It is difficult override do_merge without
 
1826
    re-writing the whole thing, so instead we create a wrapper which will pass
 
1827
    the extra parameters.
 
1828
    """
 
1829
 
 
1830
    def __init__(self, merge_type, **kwargs):
 
1831
        self._extra_kwargs = kwargs
 
1832
        self._merge_type = merge_type
 
1833
 
 
1834
    def __call__(self, *args, **kwargs):
 
1835
        kwargs.update(self._extra_kwargs)
 
1836
        return self._merge_type(*args, **kwargs)
 
1837
 
 
1838
    def __getattr__(self, name):
 
1839
        return getattr(self._merge_type, name)
 
1840
 
 
1841
 
 
1842
class MergeIntoMergeType(Merge3Merger):
 
1843
    """Merger that incorporates a tree (or part of a tree) into another."""
 
1844
 
 
1845
    def __init__(self, *args, **kwargs):
 
1846
        """Initialize the merger object.
 
1847
 
 
1848
        :param args: See Merge3Merger.__init__'s args.
 
1849
        :param kwargs: See Merge3Merger.__init__'s keyword args, except for
 
1850
            source_subpath and target_subdir.
 
1851
        :keyword source_subpath: The relative path specifying the subtree of
 
1852
            other_tree to merge into this_tree.
 
1853
        :keyword target_subdir: The relative path where we want to merge
 
1854
            other_tree into this_tree
 
1855
        """
 
1856
        # All of the interesting work happens during Merge3Merger.__init__(),
 
1857
        # so we have have to hack in to get our extra parameters set.
 
1858
        self._source_subpath = kwargs.pop('source_subpath')
 
1859
        self._target_subdir = kwargs.pop('target_subdir')
 
1860
        super(MergeIntoMergeType, self).__init__(*args, **kwargs)
 
1861
 
 
1862
    def _compute_transform(self):
 
1863
        child_pb = ui.ui_factory.nested_progress_bar()
 
1864
        try:
 
1865
            entries = self._entries_to_incorporate()
 
1866
            entries = list(entries)
 
1867
            for num, (entry, parent_id) in enumerate(entries):
 
1868
                child_pb.update(gettext('Preparing file merge'), num, len(entries))
 
1869
                parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
1870
                trans_id = transform.new_by_entry(self.tt, entry,
 
1871
                    parent_trans_id, self.other_tree)
 
1872
        finally:
 
1873
            child_pb.finished()
 
1874
        self._finish_computing_transform()
 
1875
 
 
1876
    def _entries_to_incorporate(self):
 
1877
        """Yields pairs of (inventory_entry, new_parent)."""
 
1878
        other_inv = self.other_tree.root_inventory
 
1879
        subdir_id = other_inv.path2id(self._source_subpath)
 
1880
        if subdir_id is None:
 
1881
            # XXX: The error would be clearer if it gave the URL of the source
 
1882
            # branch, but we don't have a reference to that here.
 
1883
            raise PathNotInTree(self._source_subpath, "Source tree")
 
1884
        subdir = other_inv[subdir_id]
 
1885
        parent_in_target = osutils.dirname(self._target_subdir)
 
1886
        target_id = self.this_tree.path2id(parent_in_target)
 
1887
        if target_id is None:
 
1888
            raise PathNotInTree(self._target_subdir, "Target tree")
 
1889
        name_in_target = osutils.basename(self._target_subdir)
 
1890
        merge_into_root = subdir.copy()
 
1891
        merge_into_root.name = name_in_target
 
1892
        if self.this_tree.has_id(merge_into_root.file_id):
 
1893
            # Give the root a new file-id.
 
1894
            # This can happen fairly easily if the directory we are
 
1895
            # incorporating is the root, and both trees have 'TREE_ROOT' as
 
1896
            # their root_id.  Users will expect this to Just Work, so we
 
1897
            # change the file-id here.
 
1898
            # Non-root file-ids could potentially conflict too.  That's really
 
1899
            # an edge case, so we don't do anything special for those.  We let
 
1900
            # them cause conflicts.
 
1901
            merge_into_root.file_id = generate_ids.gen_file_id(name_in_target)
 
1902
        yield (merge_into_root, target_id)
 
1903
        if subdir.kind != 'directory':
 
1904
            # No children, so we are done.
 
1905
            return
 
1906
        for ignored_path, entry in other_inv.iter_entries_by_dir(subdir_id):
 
1907
            parent_id = entry.parent_id
 
1908
            if parent_id == subdir.file_id:
 
1909
                # The root's parent ID has changed, so make sure children of
 
1910
                # the root refer to the new ID.
 
1911
                parent_id = merge_into_root.file_id
 
1912
            yield (entry, parent_id)
 
1913
 
 
1914
 
 
1915
def merge_inner(this_branch, other_tree, base_tree, ignore_zero=False,
 
1916
                backup_files=False,
 
1917
                merge_type=Merge3Merger,
 
1918
                interesting_ids=None,
 
1919
                show_base=False,
 
1920
                reprocess=False,
 
1921
                other_rev_id=None,
 
1922
                interesting_files=None,
 
1923
                this_tree=None,
 
1924
                pb=None,
 
1925
                change_reporter=None):
 
1926
    """Primary interface for merging.
 
1927
 
 
1928
    Typical use is probably::
 
1929
 
 
1930
        merge_inner(branch, branch.get_revision_tree(other_revision),
 
1931
                    branch.get_revision_tree(base_revision))
 
1932
    """
 
1933
    if this_tree is None:
 
1934
        raise errors.BzrError("bzrlib.merge.merge_inner requires a this_tree "
 
1935
                              "parameter")
 
1936
    merger = Merger(this_branch, other_tree, base_tree, this_tree=this_tree,
 
1937
                    pb=pb, change_reporter=change_reporter)
 
1938
    merger.backup_files = backup_files
 
1939
    merger.merge_type = merge_type
 
1940
    merger.interesting_ids = interesting_ids
 
1941
    merger.ignore_zero = ignore_zero
 
1942
    if interesting_files:
 
1943
        if interesting_ids:
 
1944
            raise ValueError('Only supply interesting_ids'
 
1945
                             ' or interesting_files')
 
1946
        merger.interesting_files = interesting_files
 
1947
    merger.show_base = show_base
 
1948
    merger.reprocess = reprocess
 
1949
    merger.other_rev_id = other_rev_id
 
1950
    merger.other_basis = other_rev_id
 
1951
    get_revision_id = getattr(base_tree, 'get_revision_id', None)
 
1952
    if get_revision_id is None:
 
1953
        get_revision_id = base_tree.last_revision
 
1954
    merger.cache_trees_with_revision_ids([other_tree, base_tree, this_tree])
 
1955
    merger.set_base_revision(get_revision_id(), this_branch)
 
1956
    return merger.do_merge()
 
1957
 
 
1958
 
 
1959
merge_type_registry = registry.Registry()
 
1960
merge_type_registry.register('diff3', Diff3Merger,
 
1961
                             "Merge using external diff3.")
 
1962
merge_type_registry.register('lca', LCAMerger,
 
1963
                             "LCA-newness merge.")
 
1964
merge_type_registry.register('merge3', Merge3Merger,
 
1965
                             "Native diff3-style merge.")
 
1966
merge_type_registry.register('weave', WeaveMerger,
 
1967
                             "Weave-based merge.")
 
1968
 
 
1969
 
 
1970
def get_merge_type_registry():
 
1971
    """Merge type registry was previously in bzrlib.option
 
1972
 
 
1973
    This method provides a backwards compatible way to retrieve it.
 
1974
    """
 
1975
    return merge_type_registry
 
1976
 
 
1977
 
 
1978
def _plan_annotate_merge(annotated_a, annotated_b, ancestors_a, ancestors_b):
 
1979
    def status_a(revision, text):
 
1980
        if revision in ancestors_b:
 
1981
            return 'killed-b', text
 
1982
        else:
 
1983
            return 'new-a', text
 
1984
 
 
1985
    def status_b(revision, text):
 
1986
        if revision in ancestors_a:
 
1987
            return 'killed-a', text
 
1988
        else:
 
1989
            return 'new-b', text
 
1990
 
 
1991
    plain_a = [t for (a, t) in annotated_a]
 
1992
    plain_b = [t for (a, t) in annotated_b]
 
1993
    matcher = patiencediff.PatienceSequenceMatcher(None, plain_a, plain_b)
 
1994
    blocks = matcher.get_matching_blocks()
 
1995
    a_cur = 0
 
1996
    b_cur = 0
 
1997
    for ai, bi, l in blocks:
 
1998
        # process all mismatched sections
 
1999
        # (last mismatched section is handled because blocks always
 
2000
        # includes a 0-length last block)
 
2001
        for revision, text in annotated_a[a_cur:ai]:
 
2002
            yield status_a(revision, text)
 
2003
        for revision, text in annotated_b[b_cur:bi]:
 
2004
            yield status_b(revision, text)
 
2005
        # and now the matched section
 
2006
        a_cur = ai + l
 
2007
        b_cur = bi + l
 
2008
        for text_a in plain_a[ai:a_cur]:
 
2009
            yield "unchanged", text_a
 
2010
 
 
2011
 
 
2012
class _PlanMergeBase(object):
 
2013
 
 
2014
    def __init__(self, a_rev, b_rev, vf, key_prefix):
 
2015
        """Contructor.
 
2016
 
 
2017
        :param a_rev: Revision-id of one revision to merge
 
2018
        :param b_rev: Revision-id of the other revision to merge
 
2019
        :param vf: A VersionedFiles containing both revisions
 
2020
        :param key_prefix: A prefix for accessing keys in vf, typically
 
2021
            (file_id,).
 
2022
        """
 
2023
        self.a_rev = a_rev
 
2024
        self.b_rev = b_rev
 
2025
        self.vf = vf
 
2026
        self._last_lines = None
 
2027
        self._last_lines_revision_id = None
 
2028
        self._cached_matching_blocks = {}
 
2029
        self._key_prefix = key_prefix
 
2030
        self._precache_tip_lines()
 
2031
 
 
2032
    def _precache_tip_lines(self):
 
2033
        lines = self.get_lines([self.a_rev, self.b_rev])
 
2034
        self.lines_a = lines[self.a_rev]
 
2035
        self.lines_b = lines[self.b_rev]
 
2036
 
 
2037
    def get_lines(self, revisions):
 
2038
        """Get lines for revisions from the backing VersionedFiles.
 
2039
 
 
2040
        :raises RevisionNotPresent: on absent texts.
 
2041
        """
 
2042
        keys = [(self._key_prefix + (rev,)) for rev in revisions]
 
2043
        result = {}
 
2044
        for record in self.vf.get_record_stream(keys, 'unordered', True):
 
2045
            if record.storage_kind == 'absent':
 
2046
                raise errors.RevisionNotPresent(record.key, self.vf)
 
2047
            result[record.key[-1]] = osutils.chunks_to_lines(
 
2048
                record.get_bytes_as('chunked'))
 
2049
        return result
 
2050
 
 
2051
    def plan_merge(self):
 
2052
        """Generate a 'plan' for merging the two revisions.
 
2053
 
 
2054
        This involves comparing their texts and determining the cause of
 
2055
        differences.  If text A has a line and text B does not, then either the
 
2056
        line was added to text A, or it was deleted from B.  Once the causes
 
2057
        are combined, they are written out in the format described in
 
2058
        VersionedFile.plan_merge
 
2059
        """
 
2060
        blocks = self._get_matching_blocks(self.a_rev, self.b_rev)
 
2061
        unique_a, unique_b = self._unique_lines(blocks)
 
2062
        new_a, killed_b = self._determine_status(self.a_rev, unique_a)
 
2063
        new_b, killed_a = self._determine_status(self.b_rev, unique_b)
 
2064
        return self._iter_plan(blocks, new_a, killed_b, new_b, killed_a)
 
2065
 
 
2066
    def _iter_plan(self, blocks, new_a, killed_b, new_b, killed_a):
 
2067
        last_i = 0
 
2068
        last_j = 0
 
2069
        for i, j, n in blocks:
 
2070
            for a_index in range(last_i, i):
 
2071
                if a_index in new_a:
 
2072
                    if a_index in killed_b:
 
2073
                        yield 'conflicted-a', self.lines_a[a_index]
 
2074
                    else:
 
2075
                        yield 'new-a', self.lines_a[a_index]
 
2076
                else:
 
2077
                    yield 'killed-b', self.lines_a[a_index]
 
2078
            for b_index in range(last_j, j):
 
2079
                if b_index in new_b:
 
2080
                    if b_index in killed_a:
 
2081
                        yield 'conflicted-b', self.lines_b[b_index]
 
2082
                    else:
 
2083
                        yield 'new-b', self.lines_b[b_index]
 
2084
                else:
 
2085
                    yield 'killed-a', self.lines_b[b_index]
 
2086
            # handle common lines
 
2087
            for a_index in range(i, i+n):
 
2088
                yield 'unchanged', self.lines_a[a_index]
 
2089
            last_i = i+n
 
2090
            last_j = j+n
 
2091
 
 
2092
    def _get_matching_blocks(self, left_revision, right_revision):
 
2093
        """Return a description of which sections of two revisions match.
 
2094
 
 
2095
        See SequenceMatcher.get_matching_blocks
 
2096
        """
 
2097
        cached = self._cached_matching_blocks.get((left_revision,
 
2098
                                                   right_revision))
 
2099
        if cached is not None:
 
2100
            return cached
 
2101
        if self._last_lines_revision_id == left_revision:
 
2102
            left_lines = self._last_lines
 
2103
            right_lines = self.get_lines([right_revision])[right_revision]
 
2104
        else:
 
2105
            lines = self.get_lines([left_revision, right_revision])
 
2106
            left_lines = lines[left_revision]
 
2107
            right_lines = lines[right_revision]
 
2108
        self._last_lines = right_lines
 
2109
        self._last_lines_revision_id = right_revision
 
2110
        matcher = patiencediff.PatienceSequenceMatcher(None, left_lines,
 
2111
                                                       right_lines)
 
2112
        return matcher.get_matching_blocks()
 
2113
 
 
2114
    def _unique_lines(self, matching_blocks):
 
2115
        """Analyse matching_blocks to determine which lines are unique
 
2116
 
 
2117
        :return: a tuple of (unique_left, unique_right), where the values are
 
2118
            sets of line numbers of unique lines.
 
2119
        """
 
2120
        last_i = 0
 
2121
        last_j = 0
 
2122
        unique_left = []
 
2123
        unique_right = []
 
2124
        for i, j, n in matching_blocks:
 
2125
            unique_left.extend(range(last_i, i))
 
2126
            unique_right.extend(range(last_j, j))
 
2127
            last_i = i + n
 
2128
            last_j = j + n
 
2129
        return unique_left, unique_right
 
2130
 
 
2131
    @staticmethod
 
2132
    def _subtract_plans(old_plan, new_plan):
 
2133
        """Remove changes from new_plan that came from old_plan.
 
2134
 
 
2135
        It is assumed that the difference between the old_plan and new_plan
 
2136
        is their choice of 'b' text.
 
2137
 
 
2138
        All lines from new_plan that differ from old_plan are emitted
 
2139
        verbatim.  All lines from new_plan that match old_plan but are
 
2140
        not about the 'b' revision are emitted verbatim.
 
2141
 
 
2142
        Lines that match and are about the 'b' revision are the lines we
 
2143
        don't want, so we convert 'killed-b' -> 'unchanged', and 'new-b'
 
2144
        is skipped entirely.
 
2145
        """
 
2146
        matcher = patiencediff.PatienceSequenceMatcher(None, old_plan,
 
2147
                                                       new_plan)
 
2148
        last_j = 0
 
2149
        for i, j, n in matcher.get_matching_blocks():
 
2150
            for jj in range(last_j, j):
 
2151
                yield new_plan[jj]
 
2152
            for jj in range(j, j+n):
 
2153
                plan_line = new_plan[jj]
 
2154
                if plan_line[0] == 'new-b':
 
2155
                    pass
 
2156
                elif plan_line[0] == 'killed-b':
 
2157
                    yield 'unchanged', plan_line[1]
 
2158
                else:
 
2159
                    yield plan_line
 
2160
            last_j = j + n
 
2161
 
 
2162
 
 
2163
class _PlanMerge(_PlanMergeBase):
 
2164
    """Plan an annotate merge using on-the-fly annotation"""
 
2165
 
 
2166
    def __init__(self, a_rev, b_rev, vf, key_prefix):
 
2167
        super(_PlanMerge, self).__init__(a_rev, b_rev, vf, key_prefix)
 
2168
        self.a_key = self._key_prefix + (self.a_rev,)
 
2169
        self.b_key = self._key_prefix + (self.b_rev,)
 
2170
        self.graph = _mod_graph.Graph(self.vf)
 
2171
        heads = self.graph.heads((self.a_key, self.b_key))
 
2172
        if len(heads) == 1:
 
2173
            # one side dominates, so we can just return its values, yay for
 
2174
            # per-file graphs
 
2175
            # Ideally we would know that before we get this far
 
2176
            self._head_key = heads.pop()
 
2177
            if self._head_key == self.a_key:
 
2178
                other = b_rev
 
2179
            else:
 
2180
                other = a_rev
 
2181
            trace.mutter('found dominating revision for %s\n%s > %s', self.vf,
 
2182
                         self._head_key[-1], other)
 
2183
            self._weave = None
 
2184
        else:
 
2185
            self._head_key = None
 
2186
            self._build_weave()
 
2187
 
 
2188
    def _precache_tip_lines(self):
 
2189
        # Turn this into a no-op, because we will do this later
 
2190
        pass
 
2191
 
 
2192
    def _find_recursive_lcas(self):
 
2193
        """Find all the ancestors back to a unique lca"""
 
2194
        cur_ancestors = (self.a_key, self.b_key)
 
2195
        # graph.find_lca(uncommon, keys) now returns plain NULL_REVISION,
 
2196
        # rather than a key tuple. We will just map that directly to no common
 
2197
        # ancestors.
 
2198
        parent_map = {}
 
2199
        while True:
 
2200
            next_lcas = self.graph.find_lca(*cur_ancestors)
 
2201
            # Map a plain NULL_REVISION to a simple no-ancestors
 
2202
            if next_lcas == set([_mod_revision.NULL_REVISION]):
 
2203
                next_lcas = ()
 
2204
            # Order the lca's based on when they were merged into the tip
 
2205
            # While the actual merge portion of weave merge uses a set() of
 
2206
            # active revisions, the order of insertion *does* effect the
 
2207
            # implicit ordering of the texts.
 
2208
            for rev_key in cur_ancestors:
 
2209
                ordered_parents = tuple(self.graph.find_merge_order(rev_key,
 
2210
                                                                    next_lcas))
 
2211
                parent_map[rev_key] = ordered_parents
 
2212
            if len(next_lcas) == 0:
 
2213
                break
 
2214
            elif len(next_lcas) == 1:
 
2215
                parent_map[list(next_lcas)[0]] = ()
 
2216
                break
 
2217
            elif len(next_lcas) > 2:
 
2218
                # More than 2 lca's, fall back to grabbing all nodes between
 
2219
                # this and the unique lca.
 
2220
                trace.mutter('More than 2 LCAs, falling back to all nodes for:'
 
2221
                             ' %s, %s\n=> %s',
 
2222
                             self.a_key, self.b_key, cur_ancestors)
 
2223
                cur_lcas = next_lcas
 
2224
                while len(cur_lcas) > 1:
 
2225
                    cur_lcas = self.graph.find_lca(*cur_lcas)
 
2226
                if len(cur_lcas) == 0:
 
2227
                    # No common base to find, use the full ancestry
 
2228
                    unique_lca = None
 
2229
                else:
 
2230
                    unique_lca = list(cur_lcas)[0]
 
2231
                    if unique_lca == _mod_revision.NULL_REVISION:
 
2232
                        # find_lca will return a plain 'NULL_REVISION' rather
 
2233
                        # than a key tuple when there is no common ancestor, we
 
2234
                        # prefer to just use None, because it doesn't confuse
 
2235
                        # _get_interesting_texts()
 
2236
                        unique_lca = None
 
2237
                parent_map.update(self._find_unique_parents(next_lcas,
 
2238
                                                            unique_lca))
 
2239
                break
 
2240
            cur_ancestors = next_lcas
 
2241
        return parent_map
 
2242
 
 
2243
    def _find_unique_parents(self, tip_keys, base_key):
 
2244
        """Find ancestors of tip that aren't ancestors of base.
 
2245
 
 
2246
        :param tip_keys: Nodes that are interesting
 
2247
        :param base_key: Cull all ancestors of this node
 
2248
        :return: The parent map for all revisions between tip_keys and
 
2249
            base_key. base_key will be included. References to nodes outside of
 
2250
            the ancestor set will also be removed.
 
2251
        """
 
2252
        # TODO: this would be simpler if find_unique_ancestors took a list
 
2253
        #       instead of a single tip, internally it supports it, but it
 
2254
        #       isn't a "backwards compatible" api change.
 
2255
        if base_key is None:
 
2256
            parent_map = dict(self.graph.iter_ancestry(tip_keys))
 
2257
            # We remove NULL_REVISION because it isn't a proper tuple key, and
 
2258
            # thus confuses things like _get_interesting_texts, and our logic
 
2259
            # to add the texts into the memory weave.
 
2260
            if _mod_revision.NULL_REVISION in parent_map:
 
2261
                parent_map.pop(_mod_revision.NULL_REVISION)
 
2262
        else:
 
2263
            interesting = set()
 
2264
            for tip in tip_keys:
 
2265
                interesting.update(
 
2266
                    self.graph.find_unique_ancestors(tip, [base_key]))
 
2267
            parent_map = self.graph.get_parent_map(interesting)
 
2268
            parent_map[base_key] = ()
 
2269
        culled_parent_map, child_map, tails = self._remove_external_references(
 
2270
            parent_map)
 
2271
        # Remove all the tails but base_key
 
2272
        if base_key is not None:
 
2273
            tails.remove(base_key)
 
2274
            self._prune_tails(culled_parent_map, child_map, tails)
 
2275
        # Now remove all the uninteresting 'linear' regions
 
2276
        simple_map = _mod_graph.collapse_linear_regions(culled_parent_map)
 
2277
        return simple_map
 
2278
 
 
2279
    @staticmethod
 
2280
    def _remove_external_references(parent_map):
 
2281
        """Remove references that go outside of the parent map.
 
2282
 
 
2283
        :param parent_map: Something returned from Graph.get_parent_map(keys)
 
2284
        :return: (filtered_parent_map, child_map, tails)
 
2285
            filtered_parent_map is parent_map without external references
 
2286
            child_map is the {parent_key: [child_keys]} mapping
 
2287
            tails is a list of nodes that do not have any parents in the map
 
2288
        """
 
2289
        # TODO: The basic effect of this function seems more generic than
 
2290
        #       _PlanMerge. But the specific details of building a child_map,
 
2291
        #       and computing tails seems very specific to _PlanMerge.
 
2292
        #       Still, should this be in Graph land?
 
2293
        filtered_parent_map = {}
 
2294
        child_map = {}
 
2295
        tails = []
 
2296
        for key, parent_keys in parent_map.iteritems():
 
2297
            culled_parent_keys = [p for p in parent_keys if p in parent_map]
 
2298
            if not culled_parent_keys:
 
2299
                tails.append(key)
 
2300
            for parent_key in culled_parent_keys:
 
2301
                child_map.setdefault(parent_key, []).append(key)
 
2302
            # TODO: Do we want to do this, it adds overhead for every node,
 
2303
            #       just to say that the node has no children
 
2304
            child_map.setdefault(key, [])
 
2305
            filtered_parent_map[key] = culled_parent_keys
 
2306
        return filtered_parent_map, child_map, tails
 
2307
 
 
2308
    @staticmethod
 
2309
    def _prune_tails(parent_map, child_map, tails_to_remove):
 
2310
        """Remove tails from the parent map.
 
2311
 
 
2312
        This will remove the supplied revisions until no more children have 0
 
2313
        parents.
 
2314
 
 
2315
        :param parent_map: A dict of {child: [parents]}, this dictionary will
 
2316
            be modified in place.
 
2317
        :param tails_to_remove: A list of tips that should be removed,
 
2318
            this list will be consumed
 
2319
        :param child_map: The reverse dict of parent_map ({parent: [children]})
 
2320
            this dict will be modified
 
2321
        :return: None, parent_map will be modified in place.
 
2322
        """
 
2323
        while tails_to_remove:
 
2324
            next = tails_to_remove.pop()
 
2325
            parent_map.pop(next)
 
2326
            children = child_map.pop(next)
 
2327
            for child in children:
 
2328
                child_parents = parent_map[child]
 
2329
                child_parents.remove(next)
 
2330
                if len(child_parents) == 0:
 
2331
                    tails_to_remove.append(child)
 
2332
 
 
2333
    def _get_interesting_texts(self, parent_map):
 
2334
        """Return a dict of texts we are interested in.
 
2335
 
 
2336
        Note that the input is in key tuples, but the output is in plain
 
2337
        revision ids.
 
2338
 
 
2339
        :param parent_map: The output from _find_recursive_lcas
 
2340
        :return: A dict of {'revision_id':lines} as returned by
 
2341
            _PlanMergeBase.get_lines()
 
2342
        """
 
2343
        all_revision_keys = set(parent_map)
 
2344
        all_revision_keys.add(self.a_key)
 
2345
        all_revision_keys.add(self.b_key)
 
2346
 
 
2347
        # Everything else is in 'keys' but get_lines is in 'revision_ids'
 
2348
        all_texts = self.get_lines([k[-1] for k in all_revision_keys])
 
2349
        return all_texts
 
2350
 
 
2351
    def _build_weave(self):
 
2352
        from bzrlib import weave
 
2353
        self._weave = weave.Weave(weave_name='in_memory_weave',
 
2354
                                  allow_reserved=True)
 
2355
        parent_map = self._find_recursive_lcas()
 
2356
 
 
2357
        all_texts = self._get_interesting_texts(parent_map)
 
2358
 
 
2359
        # Note: Unfortunately, the order given by topo_sort will effect the
 
2360
        # ordering resolution in the output. Specifically, if you add A then B,
 
2361
        # then in the output text A lines will show up before B lines. And, of
 
2362
        # course, topo_sort doesn't guarantee any real ordering.
 
2363
        # So we use merge_sort, and add a fake node on the tip.
 
2364
        # This ensures that left-hand parents will always be inserted into the
 
2365
        # weave before right-hand parents.
 
2366
        tip_key = self._key_prefix + (_mod_revision.CURRENT_REVISION,)
 
2367
        parent_map[tip_key] = (self.a_key, self.b_key)
 
2368
 
 
2369
        for seq_num, key, depth, eom in reversed(tsort.merge_sort(parent_map,
 
2370
                                                                  tip_key)):
 
2371
            if key == tip_key:
 
2372
                continue
 
2373
        # for key in tsort.topo_sort(parent_map):
 
2374
            parent_keys = parent_map[key]
 
2375
            revision_id = key[-1]
 
2376
            parent_ids = [k[-1] for k in parent_keys]
 
2377
            self._weave.add_lines(revision_id, parent_ids,
 
2378
                                  all_texts[revision_id])
 
2379
 
 
2380
    def plan_merge(self):
 
2381
        """Generate a 'plan' for merging the two revisions.
 
2382
 
 
2383
        This involves comparing their texts and determining the cause of
 
2384
        differences.  If text A has a line and text B does not, then either the
 
2385
        line was added to text A, or it was deleted from B.  Once the causes
 
2386
        are combined, they are written out in the format described in
 
2387
        VersionedFile.plan_merge
 
2388
        """
 
2389
        if self._head_key is not None: # There was a single head
 
2390
            if self._head_key == self.a_key:
 
2391
                plan = 'new-a'
 
2392
            else:
 
2393
                if self._head_key != self.b_key:
 
2394
                    raise AssertionError('There was an invalid head: %s != %s'
 
2395
                                         % (self.b_key, self._head_key))
 
2396
                plan = 'new-b'
 
2397
            head_rev = self._head_key[-1]
 
2398
            lines = self.get_lines([head_rev])[head_rev]
 
2399
            return ((plan, line) for line in lines)
 
2400
        return self._weave.plan_merge(self.a_rev, self.b_rev)
 
2401
 
 
2402
 
 
2403
class _PlanLCAMerge(_PlanMergeBase):
 
2404
    """
 
2405
    This merge algorithm differs from _PlanMerge in that:
 
2406
 
 
2407
    1. comparisons are done against LCAs only
 
2408
    2. cases where a contested line is new versus one LCA but old versus
 
2409
       another are marked as conflicts, by emitting the line as conflicted-a
 
2410
       or conflicted-b.
 
2411
 
 
2412
    This is faster, and hopefully produces more useful output.
 
2413
    """
 
2414
 
 
2415
    def __init__(self, a_rev, b_rev, vf, key_prefix, graph):
 
2416
        _PlanMergeBase.__init__(self, a_rev, b_rev, vf, key_prefix)
 
2417
        lcas = graph.find_lca(key_prefix + (a_rev,), key_prefix + (b_rev,))
 
2418
        self.lcas = set()
 
2419
        for lca in lcas:
 
2420
            if lca == _mod_revision.NULL_REVISION:
 
2421
                self.lcas.add(lca)
 
2422
            else:
 
2423
                self.lcas.add(lca[-1])
 
2424
        for lca in self.lcas:
 
2425
            if _mod_revision.is_null(lca):
 
2426
                lca_lines = []
 
2427
            else:
 
2428
                lca_lines = self.get_lines([lca])[lca]
 
2429
            matcher = patiencediff.PatienceSequenceMatcher(None, self.lines_a,
 
2430
                                                           lca_lines)
 
2431
            blocks = list(matcher.get_matching_blocks())
 
2432
            self._cached_matching_blocks[(a_rev, lca)] = blocks
 
2433
            matcher = patiencediff.PatienceSequenceMatcher(None, self.lines_b,
 
2434
                                                           lca_lines)
 
2435
            blocks = list(matcher.get_matching_blocks())
 
2436
            self._cached_matching_blocks[(b_rev, lca)] = blocks
 
2437
 
 
2438
    def _determine_status(self, revision_id, unique_line_numbers):
 
2439
        """Determines the status unique lines versus all lcas.
 
2440
 
 
2441
        Basically, determines why the line is unique to this revision.
 
2442
 
 
2443
        A line may be determined new, killed, or both.
 
2444
 
 
2445
        If a line is determined new, that means it was not present in at least
 
2446
        one LCA, and is not present in the other merge revision.
 
2447
 
 
2448
        If a line is determined killed, that means the line was present in
 
2449
        at least one LCA.
 
2450
 
 
2451
        If a line is killed and new, this indicates that the two merge
 
2452
        revisions contain differing conflict resolutions.
 
2453
 
 
2454
        :param revision_id: The id of the revision in which the lines are
 
2455
            unique
 
2456
        :param unique_line_numbers: The line numbers of unique lines.
 
2457
        :return: a tuple of (new_this, killed_other)
 
2458
        """
 
2459
        new = set()
 
2460
        killed = set()
 
2461
        unique_line_numbers = set(unique_line_numbers)
 
2462
        for lca in self.lcas:
 
2463
            blocks = self._get_matching_blocks(revision_id, lca)
 
2464
            unique_vs_lca, _ignored = self._unique_lines(blocks)
 
2465
            new.update(unique_line_numbers.intersection(unique_vs_lca))
 
2466
            killed.update(unique_line_numbers.difference(unique_vs_lca))
 
2467
        return new, killed