~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Andrew Bennetts
  • Date: 2010-10-08 08:15:14 UTC
  • mto: This revision was merged to the branch mainline in revision 5498.
  • Revision ID: andrew.bennetts@canonical.com-20101008081514-dviqzrdfwyzsqbz2
Split NEWS into per-release doc/en/release-notes/bzr-*.txt

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Canonical Ltd
2
 
 
 
1
# Copyright (C) 2005-2010 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
 
18
 
import os
19
 
import tempfile
20
 
import shutil
21
 
import errno
22
 
 
23
 
import bzrlib.osutils
24
 
import bzrlib.revision
25
 
from bzrlib.merge_core import merge_flex, ApplyMerge3, BackupBeforeChange
26
 
from bzrlib.changeset import generate_changeset, ExceptionConflictHandler
27
 
from bzrlib.changeset import Inventory, Diff3Merge, ReplaceContents
28
 
from bzrlib.branch import Branch
29
 
from bzrlib.errors import BzrCommandError, UnrelatedBranches, NoCommonAncestor
30
 
from bzrlib.errors import NoCommits
31
 
from bzrlib.delta import compare_trees
32
 
from bzrlib.trace import mutter, warning, note
33
 
from bzrlib.fetch import greedy_fetch, fetch
34
 
from bzrlib.revision import is_ancestor
35
 
from bzrlib.osutils import rename
36
 
from bzrlib.revision import common_ancestor, MultipleRevisionSources
37
 
from bzrlib.errors import NoSuchRevision
38
 
 
39
 
# TODO: build_working_dir can be built on something simpler than merge()
40
 
 
41
 
# FIXME: merge() parameters seem oriented towards the command line
42
 
# NOTABUG: merge is a helper for commandline functions.  merge_inner is the
43
 
#          the core functionality.
44
 
 
45
 
# comments from abentley on irc: merge happens in two stages, each
46
 
# of which generates a changeset object
47
 
 
48
 
# stage 1: generate OLD->OTHER,
49
 
# stage 2: use MINE and OLD->OTHER to generate MINE -> RESULT
50
 
 
51
 
class MergeConflictHandler(ExceptionConflictHandler):
52
 
    """Handle conflicts encountered while merging.
53
 
 
54
 
    This subclasses ExceptionConflictHandler, so that any types of
55
 
    conflict that are not explicitly handled cause an exception and
56
 
    terminate the merge.
57
 
    """
58
 
    def __init__(self, this_tree, base_tree, other_tree, ignore_zero=False):
59
 
        ExceptionConflictHandler.__init__(self)
60
 
        self.conflicts = 0
61
 
        self.ignore_zero = ignore_zero
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
import warnings
 
18
 
 
19
from bzrlib.lazy_import import lazy_import
 
20
lazy_import(globals(), """
 
21
from bzrlib import (
 
22
    branch as _mod_branch,
 
23
    conflicts as _mod_conflicts,
 
24
    debug,
 
25
    generate_ids,
 
26
    graph as _mod_graph,
 
27
    merge3,
 
28
    osutils,
 
29
    patiencediff,
 
30
    revision as _mod_revision,
 
31
    textfile,
 
32
    trace,
 
33
    transform,
 
34
    tree as _mod_tree,
 
35
    tsort,
 
36
    ui,
 
37
    versionedfile,
 
38
    workingtree,
 
39
    )
 
40
from bzrlib.cleanup import OperationWithCleanups
 
41
""")
 
42
from bzrlib import (
 
43
    decorators,
 
44
    errors,
 
45
    hooks,
 
46
    )
 
47
from bzrlib.symbol_versioning import (
 
48
    deprecated_in,
 
49
    deprecated_method,
 
50
    )
 
51
# TODO: Report back as changes are merged in
 
52
 
 
53
 
 
54
def transform_tree(from_tree, to_tree, interesting_ids=None):
 
55
    from_tree.lock_tree_write()
 
56
    operation = OperationWithCleanups(merge_inner)
 
57
    operation.add_cleanup(from_tree.unlock)
 
58
    operation.run_simple(from_tree.branch, to_tree, from_tree,
 
59
        ignore_zero=True, interesting_ids=interesting_ids, this_tree=from_tree)
 
60
 
 
61
 
 
62
class MergeHooks(hooks.Hooks):
 
63
 
 
64
    def __init__(self):
 
65
        hooks.Hooks.__init__(self)
 
66
        self.create_hook(hooks.HookPoint('merge_file_content',
 
67
            "Called with a bzrlib.merge.Merger object to create a per file "
 
68
            "merge object when starting a merge. "
 
69
            "Should return either None or a subclass of "
 
70
            "``bzrlib.merge.AbstractPerFileMerger``. "
 
71
            "Such objects will then be called per file "
 
72
            "that needs to be merged (including when one "
 
73
            "side has deleted the file and the other has changed it). "
 
74
            "See the AbstractPerFileMerger API docs for details on how it is "
 
75
            "used by merge.",
 
76
            (2, 1), None))
 
77
 
 
78
 
 
79
class AbstractPerFileMerger(object):
 
80
    """PerFileMerger objects are used by plugins extending merge for bzrlib.
 
81
 
 
82
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
 
83
    
 
84
    :ivar merger: The Merge3Merger performing the merge.
 
85
    """
 
86
 
 
87
    def __init__(self, merger):
 
88
        """Create a PerFileMerger for use with merger."""
 
89
        self.merger = merger
 
90
 
 
91
    def merge_contents(self, merge_params):
 
92
        """Attempt to merge the contents of a single file.
 
93
        
 
94
        :param merge_params: A bzrlib.merge.MergeHookParams
 
95
        :return : A tuple of (status, chunks), where status is one of
 
96
            'not_applicable', 'success', 'conflicted', or 'delete'.  If status
 
97
            is 'success' or 'conflicted', then chunks should be an iterable of
 
98
            strings for the new file contents.
 
99
        """
 
100
        return ('not applicable', None)
 
101
 
 
102
 
 
103
class PerFileMerger(AbstractPerFileMerger):
 
104
    """Merge individual files when self.file_matches returns True.
 
105
 
 
106
    This class is intended to be subclassed.  The file_matches and
 
107
    merge_matching methods should be overridden with concrete implementations.
 
108
    """
 
109
 
 
110
    def file_matches(self, params):
 
111
        """Return True if merge_matching should be called on this file.
 
112
 
 
113
        Only called with merges of plain files with no clear winner.
 
114
 
 
115
        Subclasses must override this.
 
116
        """
 
117
        raise NotImplementedError(self.file_matches)
 
118
 
 
119
    def get_filename(self, params, tree):
 
120
        """Lookup the filename (i.e. basename, not path), given a Tree (e.g.
 
121
        self.merger.this_tree) and a MergeHookParams.
 
122
        """
 
123
        return osutils.basename(tree.id2path(params.file_id))
 
124
 
 
125
    def get_filepath(self, params, tree):
 
126
        """Calculate the path to the file in a tree.
 
127
 
 
128
        :param params: A MergeHookParams describing the file to merge
 
129
        :param tree: a Tree, e.g. self.merger.this_tree.
 
130
        """
 
131
        return tree.id2path(params.file_id)
 
132
 
 
133
    def merge_contents(self, params):
 
134
        """Merge the contents of a single file."""
 
135
        # Check whether this custom merge logic should be used.
 
136
        if (
 
137
            # OTHER is a straight winner, rely on default merge.
 
138
            params.winner == 'other' or
 
139
            # THIS and OTHER aren't both files.
 
140
            not params.is_file_merge() or
 
141
            # The filename doesn't match *.xml
 
142
            not self.file_matches(params)):
 
143
            return 'not_applicable', None
 
144
        return self.merge_matching(params)
 
145
 
 
146
    def merge_matching(self, params):
 
147
        """Merge the contents of a single file that has matched the criteria
 
148
        in PerFileMerger.merge_contents (is a conflict, is a file,
 
149
        self.file_matches is True).
 
150
 
 
151
        Subclasses must override this.
 
152
        """
 
153
        raise NotImplementedError(self.merge_matching)
 
154
 
 
155
 
 
156
class ConfigurableFileMerger(PerFileMerger):
 
157
    """Merge individual files when configured via a .conf file.
 
158
 
 
159
    This is a base class for concrete custom file merging logic. Concrete
 
160
    classes should implement ``merge_text``.
 
161
 
 
162
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
 
163
    
 
164
    :ivar affected_files: The configured file paths to merge.
 
165
 
 
166
    :cvar name_prefix: The prefix to use when looking up configuration
 
167
        details. <name_prefix>_merge_files describes the files targeted by the
 
168
        hook for example.
 
169
        
 
170
    :cvar default_files: The default file paths to merge when no configuration
 
171
        is present.
 
172
    """
 
173
 
 
174
    name_prefix = None
 
175
    default_files = None
 
176
 
 
177
    def __init__(self, merger):
 
178
        super(ConfigurableFileMerger, self).__init__(merger)
 
179
        self.affected_files = None
 
180
        self.default_files = self.__class__.default_files or []
 
181
        self.name_prefix = self.__class__.name_prefix
 
182
        if self.name_prefix is None:
 
183
            raise ValueError("name_prefix must be set.")
 
184
 
 
185
    def file_matches(self, params):
 
186
        """Check whether the file should call the merge hook.
 
187
 
 
188
        <name_prefix>_merge_files configuration variable is a list of files
 
189
        that should use the hook.
 
190
        """
 
191
        affected_files = self.affected_files
 
192
        if affected_files is None:
 
193
            config = self.merger.this_branch.get_config()
 
194
            # Until bzr provides a better policy for caching the config, we
 
195
            # just add the part we're interested in to the params to avoid
 
196
            # reading the config files repeatedly (bazaar.conf, location.conf,
 
197
            # branch.conf).
 
198
            config_key = self.name_prefix + '_merge_files'
 
199
            affected_files = config.get_user_option_as_list(config_key)
 
200
            if affected_files is None:
 
201
                # If nothing was specified in the config, use the default.
 
202
                affected_files = self.default_files
 
203
            self.affected_files = affected_files
 
204
        if affected_files:
 
205
            filepath = self.get_filepath(params, self.merger.this_tree)
 
206
            if filepath in affected_files:
 
207
                return True
 
208
        return False
 
209
 
 
210
    def merge_matching(self, params):
 
211
        return self.merge_text(params)
 
212
 
 
213
    def merge_text(self, params):
 
214
        """Merge the byte contents of a single file.
 
215
 
 
216
        This is called after checking that the merge should be performed in
 
217
        merge_contents, and it should behave as per
 
218
        ``bzrlib.merge.AbstractPerFileMerger.merge_contents``.
 
219
        """
 
220
        raise NotImplementedError(self.merge_text)
 
221
 
 
222
 
 
223
class MergeHookParams(object):
 
224
    """Object holding parameters passed to merge_file_content hooks.
 
225
 
 
226
    There are some fields hooks can access:
 
227
 
 
228
    :ivar file_id: the file ID of the file being merged
 
229
    :ivar trans_id: the transform ID for the merge of this file
 
230
    :ivar this_kind: kind of file_id in 'this' tree
 
231
    :ivar other_kind: kind of file_id in 'other' tree
 
232
    :ivar winner: one of 'this', 'other', 'conflict'
 
233
    """
 
234
 
 
235
    def __init__(self, merger, file_id, trans_id, this_kind, other_kind,
 
236
            winner):
 
237
        self._merger = merger
 
238
        self.file_id = file_id
 
239
        self.trans_id = trans_id
 
240
        self.this_kind = this_kind
 
241
        self.other_kind = other_kind
 
242
        self.winner = winner
 
243
 
 
244
    def is_file_merge(self):
 
245
        """True if this_kind and other_kind are both 'file'."""
 
246
        return self.this_kind == 'file' and self.other_kind == 'file'
 
247
 
 
248
    @decorators.cachedproperty
 
249
    def base_lines(self):
 
250
        """The lines of the 'base' version of the file."""
 
251
        return self._merger.get_lines(self._merger.base_tree, self.file_id)
 
252
 
 
253
    @decorators.cachedproperty
 
254
    def this_lines(self):
 
255
        """The lines of the 'this' version of the file."""
 
256
        return self._merger.get_lines(self._merger.this_tree, self.file_id)
 
257
 
 
258
    @decorators.cachedproperty
 
259
    def other_lines(self):
 
260
        """The lines of the 'other' version of the file."""
 
261
        return self._merger.get_lines(self._merger.other_tree, self.file_id)
 
262
 
 
263
 
 
264
class Merger(object):
 
265
 
 
266
    hooks = MergeHooks()
 
267
 
 
268
    def __init__(self, this_branch, other_tree=None, base_tree=None,
 
269
                 this_tree=None, pb=None, change_reporter=None,
 
270
                 recurse='down', revision_graph=None):
 
271
        object.__init__(self)
 
272
        self.this_branch = this_branch
 
273
        self.this_basis = _mod_revision.ensure_null(
 
274
            this_branch.last_revision())
 
275
        self.this_rev_id = None
62
276
        self.this_tree = this_tree
63
 
        self.base_tree = base_tree
64
 
        self.other_tree = other_tree
65
 
 
66
 
    def copy(self, source, dest):
67
 
        """Copy the text and mode of a file
68
 
        :param source: The path of the file to copy
69
 
        :param dest: The distination file to create
70
 
        """
71
 
        s_file = file(source, "rb")
72
 
        d_file = file(dest, "wb")
73
 
        for line in s_file:
74
 
            d_file.write(line)
75
 
        os.chmod(dest, 0777 & os.stat(source).st_mode)
76
 
 
77
 
    def dump(self, lines, dest):
78
 
        """Copy the text and mode of a file
79
 
        :param source: The path of the file to copy
80
 
        :param dest: The distination file to create
81
 
        """
82
 
        d_file = file(dest, "wb")
83
 
        for line in lines:
84
 
            d_file.write(line)
85
 
 
86
 
    def add_suffix(self, name, suffix, last_new_name=None):
87
 
        """Rename a file to append a suffix.  If the new name exists, the
88
 
        suffix is added repeatedly until a non-existant name is found
89
 
 
90
 
        :param name: The path of the file
91
 
        :param suffix: The suffix to append
92
 
        :param last_new_name: (used for recursive calls) the last name tried
93
 
        """
94
 
        if last_new_name is None:
95
 
            last_new_name = name
96
 
        new_name = last_new_name+suffix
97
 
        try:
98
 
            rename(name, new_name)
99
 
            return new_name
100
 
        except OSError, e:
101
 
            if e.errno != errno.EEXIST and e.errno != errno.ENOTEMPTY:
102
 
                raise
103
 
            return self.add_suffix(name, suffix, last_new_name=new_name)
104
 
 
105
 
    def conflict(self, text):
106
 
        warning(text)
107
 
        self.conflicts += 1
108
 
        
109
 
 
110
 
    def merge_conflict(self, new_file, this_path, base_lines, other_lines):
111
 
        """
112
 
        Handle diff3 conflicts by producing a .THIS, .BASE and .OTHER.  The
113
 
        main file will be a version with diff3 conflicts.
114
 
        :param new_file: Path to the output file with diff3 markers
115
 
        :param this_path: Path to the file text for the THIS tree
116
 
        :param base_path: Path to the file text for the BASE tree
117
 
        :param other_path: Path to the file text for the OTHER tree
118
 
        """
119
 
        self.add_suffix(this_path, ".THIS")
120
 
        self.dump(base_lines, this_path+".BASE")
121
 
        self.dump(other_lines, this_path+".OTHER")
122
 
        rename(new_file, this_path)
123
 
        self.conflict("Diff3 conflict encountered in %s" % this_path)
124
 
 
125
 
    def new_contents_conflict(self, filename, other_contents):
126
 
        """Conflicting contents for newly added file."""
127
 
        other.contents.apply(filename + ".OTHER")
128
 
        self.conflict("Conflict in newly added file %s" % filename)
129
 
    
130
 
 
131
 
    def target_exists(self, entry, target, old_path):
132
 
        """Handle the case when the target file or dir exists"""
133
 
        moved_path = self.add_suffix(target, ".moved")
134
 
        self.conflict("Moved existing %s to %s" % (target, moved_path))
135
 
 
136
 
    def rmdir_non_empty(self, filename):
137
 
        """Handle the case where the dir to be removed still has contents"""
138
 
        self.conflict("Directory %s not removed because it is not empty"\
139
 
            % filename)
140
 
        return "skip"
141
 
 
142
 
    def rem_contents_conflict(self, filename, this_contents, base_contents):
143
 
        base_contents(filename+".BASE", self, False)
144
 
        this_contents(filename+".THIS", self, False)
145
 
        return ReplaceContents(this_contents, None)
146
 
 
147
 
    def rem_contents_conflict(self, filename, this_contents, base_contents):
148
 
        base_contents(filename+".BASE", self, False)
149
 
        this_contents(filename+".THIS", self, False)
150
 
        self.conflict("Other branch deleted locally modified file %s" %
151
 
                      filename)
152
 
        return ReplaceContents(this_contents, None)
153
 
 
154
 
    def abs_this_path(self, file_id):
155
 
        """Return the absolute path for a file_id in the this tree."""
156
 
        return self.this_tree.id2abspath(file_id)
157
 
 
158
 
    def add_missing_parents(self, file_id, tree):
159
 
        """If some of the parents for file_id are missing, add them."""
160
 
        entry = tree.inventory[file_id]
161
 
        if entry.parent_id not in self.this_tree:
162
 
            return self.create_all_missing(entry.parent_id, tree)
163
 
        else:
164
 
            return self.abs_this_path(entry.parent_id)
165
 
 
166
 
    def create_all_missing(self, file_id, tree):
167
 
        """Add contents for a file_id and all its parents to a tree."""
168
 
        entry = tree.inventory[file_id]
169
 
        if entry.parent_id is not None and entry.parent_id not in self.this_tree:
170
 
            abspath = self.create_all_missing(entry.parent_id, tree)
171
 
        else:
172
 
            abspath = self.abs_this_path(entry.parent_id)
173
 
        entry_path = os.path.join(abspath, entry.name)
174
 
        if not os.path.isdir(entry_path):
175
 
            self.create(file_id, entry_path, tree)
176
 
        return entry_path
177
 
 
178
 
    def create(self, file_id, path, tree, reverse=False):
179
 
        """Uses tree data to create a filesystem object for the file_id"""
180
 
        from changeset import get_contents
181
 
        get_contents(tree, file_id)(path, self, reverse)
182
 
 
183
 
    def missing_for_merge(self, file_id, other_path):
184
 
        """The file_id doesn't exist in THIS, but does in OTHER and BASE"""
185
 
        self.conflict("Other branch modified locally deleted file %s" %
186
 
                      other_path)
187
 
        parent_dir = self.add_missing_parents(file_id, self.other_tree)
188
 
        stem = os.path.join(parent_dir, os.path.basename(other_path))
189
 
        self.create(file_id, stem+".OTHER", self.other_tree)
190
 
        self.create(file_id, stem+".BASE", self.base_tree)
191
 
 
192
 
    def threeway_contents_conflict(filename, this_contents, base_contents,
193
 
                                   other_contents):
194
 
        self.conflict("Three-way conflict merging %s" % filename)
195
 
 
196
 
    def finalize(self):
197
 
        if not self.ignore_zero:
198
 
            note("%d conflicts encountered.\n" % self.conflicts)
199
 
            
200
 
def get_tree(treespec, local_branch=None):
201
 
    location, revno = treespec
202
 
    branch = Branch.open_containing(location)[0]
203
 
    if revno is None:
204
 
        revision = None
205
 
    elif revno == -1:
206
 
        revision = branch.last_revision()
207
 
    else:
208
 
        revision = branch.get_rev_id(revno)
209
 
    return branch, get_revid_tree(branch, revision, local_branch)
210
 
 
211
 
def get_revid_tree(branch, revision, local_branch):
212
 
    if revision is None:
213
 
        base_tree = branch.working_tree()
214
 
    else:
215
 
        if local_branch is not None:
216
 
            greedy_fetch(local_branch, branch, revision)
217
 
            base_tree = local_branch.revision_tree(revision)
218
 
        else:
219
 
            base_tree = branch.revision_tree(revision)
220
 
    return base_tree
221
 
 
222
 
 
223
 
def file_exists(tree, file_id):
224
 
    return tree.has_filename(tree.id2path(file_id))
225
 
    
226
 
 
227
 
def build_working_dir(to_dir):
228
 
    """Build a working directory in an empty directory.
229
 
 
230
 
    to_dir is a directory containing branch metadata but no working files,
231
 
    typically constructed by cloning an existing branch. 
232
 
 
233
 
    This is split out as a special idiomatic case of merge.  It could
234
 
    eventually be done by just building the tree directly calling into 
235
 
    lower-level code (e.g. constructing a changeset).
236
 
    """
237
 
    # RBC 20051019 is this not just 'export' ?
238
 
    merge((to_dir, -1), (to_dir, 0), this_dir=to_dir,
239
 
          check_clean=False, ignore_zero=True)
240
 
 
241
 
 
242
 
def merge(other_revision, base_revision,
243
 
          check_clean=True, ignore_zero=False,
244
 
          this_dir=None, backup_files=False, merge_type=ApplyMerge3,
245
 
          file_list=None):
246
 
    """Merge changes into a tree.
247
 
 
248
 
    base_revision
249
 
        tuple(path, revision) Base for three-way merge.
250
 
    other_revision
251
 
        tuple(path, revision) Other revision for three-way merge.
252
 
    this_dir
253
 
        Directory to merge changes into; '.' by default.
254
 
    check_clean
255
 
        If true, this_dir must have no uncommitted changes before the
256
 
        merge begins.
257
 
    ignore_zero - If true, suppress the "zero conflicts" message when 
258
 
        there are no conflicts; should be set when doing something we expect
259
 
        to complete perfectly.
260
 
 
261
 
    All available ancestors of other_revision and base_revision are
262
 
    automatically pulled into the branch.
263
 
    """
264
 
    if this_dir is None:
265
 
        this_dir = '.'
266
 
    this_branch = Branch.open_containing(this_dir)[0]
267
 
    this_rev_id = this_branch.last_revision()
268
 
    if this_rev_id is None:
269
 
        raise BzrCommandError("This branch has no commits")
270
 
    if check_clean:
271
 
        changes = compare_trees(this_branch.working_tree(), 
272
 
                                this_branch.basis_tree(), False)
273
 
        if changes.has_changed():
274
 
            raise BzrCommandError("Working tree has uncommitted changes.")
275
 
    other_branch, other_tree = get_tree(other_revision, this_branch)
276
 
    if other_revision[1] == -1:
277
 
        other_rev_id = other_branch.last_revision()
 
277
        self.this_revision_tree = None
 
278
        self.this_basis_tree = None
 
279
        self.other_tree = other_tree
 
280
        self.other_branch = None
 
281
        self.base_tree = base_tree
 
282
        self.ignore_zero = False
 
283
        self.backup_files = False
 
284
        self.interesting_ids = None
 
285
        self.interesting_files = None
 
286
        self.show_base = False
 
287
        self.reprocess = False
 
288
        if pb is not None:
 
289
            warnings.warn("pb parameter to Merger() is deprecated and ignored")
 
290
        self.pp = None
 
291
        self.recurse = recurse
 
292
        self.change_reporter = change_reporter
 
293
        self._cached_trees = {}
 
294
        self._revision_graph = revision_graph
 
295
        self._base_is_ancestor = None
 
296
        self._base_is_other_ancestor = None
 
297
        self._is_criss_cross = None
 
298
        self._lca_trees = None
 
299
 
 
300
    def cache_trees_with_revision_ids(self, trees):
 
301
        """Cache any tree in trees if it has a revision_id."""
 
302
        for maybe_tree in trees:
 
303
            if maybe_tree is None:
 
304
                continue
 
305
            try:
 
306
                rev_id = maybe_tree.get_revision_id()
 
307
            except AttributeError:
 
308
                continue
 
309
            self._cached_trees[rev_id] = maybe_tree
 
310
 
 
311
    @property
 
312
    def revision_graph(self):
 
313
        if self._revision_graph is None:
 
314
            self._revision_graph = self.this_branch.repository.get_graph()
 
315
        return self._revision_graph
 
316
 
 
317
    def _set_base_is_ancestor(self, value):
 
318
        self._base_is_ancestor = value
 
319
 
 
320
    def _get_base_is_ancestor(self):
 
321
        if self._base_is_ancestor is None:
 
322
            self._base_is_ancestor = self.revision_graph.is_ancestor(
 
323
                self.base_rev_id, self.this_basis)
 
324
        return self._base_is_ancestor
 
325
 
 
326
    base_is_ancestor = property(_get_base_is_ancestor, _set_base_is_ancestor)
 
327
 
 
328
    def _set_base_is_other_ancestor(self, value):
 
329
        self._base_is_other_ancestor = value
 
330
 
 
331
    def _get_base_is_other_ancestor(self):
 
332
        if self._base_is_other_ancestor is None:
 
333
            if self.other_basis is None:
 
334
                return True
 
335
            self._base_is_other_ancestor = self.revision_graph.is_ancestor(
 
336
                self.base_rev_id, self.other_basis)
 
337
        return self._base_is_other_ancestor
 
338
 
 
339
    base_is_other_ancestor = property(_get_base_is_other_ancestor,
 
340
                                      _set_base_is_other_ancestor)
 
341
 
 
342
    @staticmethod
 
343
    def from_uncommitted(tree, other_tree, pb=None, base_tree=None):
 
344
        """Return a Merger for uncommitted changes in other_tree.
 
345
 
 
346
        :param tree: The tree to merge into
 
347
        :param other_tree: The tree to get uncommitted changes from
 
348
        :param pb: A progress indicator
 
349
        :param base_tree: The basis to use for the merge.  If unspecified,
 
350
            other_tree.basis_tree() will be used.
 
351
        """
 
352
        if base_tree is None:
 
353
            base_tree = other_tree.basis_tree()
 
354
        merger = Merger(tree.branch, other_tree, base_tree, tree, pb)
 
355
        merger.base_rev_id = merger.base_tree.get_revision_id()
 
356
        merger.other_rev_id = None
 
357
        merger.other_basis = merger.base_rev_id
 
358
        return merger
 
359
 
 
360
    @classmethod
 
361
    def from_mergeable(klass, tree, mergeable, pb):
 
362
        """Return a Merger for a bundle or merge directive.
 
363
 
 
364
        :param tree: The tree to merge changes into
 
365
        :param mergeable: A merge directive or bundle
 
366
        :param pb: A progress indicator
 
367
        """
 
368
        mergeable.install_revisions(tree.branch.repository)
 
369
        base_revision_id, other_revision_id, verified =\
 
370
            mergeable.get_merge_request(tree.branch.repository)
 
371
        revision_graph = tree.branch.repository.get_graph()
 
372
        if base_revision_id is not None:
 
373
            if (base_revision_id != _mod_revision.NULL_REVISION and
 
374
                revision_graph.is_ancestor(
 
375
                base_revision_id, tree.branch.last_revision())):
 
376
                base_revision_id = None
 
377
            else:
 
378
                trace.warning('Performing cherrypick')
 
379
        merger = klass.from_revision_ids(pb, tree, other_revision_id,
 
380
                                         base_revision_id, revision_graph=
 
381
                                         revision_graph)
 
382
        return merger, verified
 
383
 
 
384
    @staticmethod
 
385
    def from_revision_ids(pb, tree, other, base=None, other_branch=None,
 
386
                          base_branch=None, revision_graph=None,
 
387
                          tree_branch=None):
 
388
        """Return a Merger for revision-ids.
 
389
 
 
390
        :param pb: A progress indicator
 
391
        :param tree: The tree to merge changes into
 
392
        :param other: The revision-id to use as OTHER
 
393
        :param base: The revision-id to use as BASE.  If not specified, will
 
394
            be auto-selected.
 
395
        :param other_branch: A branch containing the other revision-id.  If
 
396
            not supplied, tree.branch is used.
 
397
        :param base_branch: A branch containing the base revision-id.  If
 
398
            not supplied, other_branch or tree.branch will be used.
 
399
        :param revision_graph: If you have a revision_graph precomputed, pass
 
400
            it in, otherwise it will be created for you.
 
401
        :param tree_branch: The branch associated with tree.  If not supplied,
 
402
            tree.branch will be used.
 
403
        """
 
404
        if tree_branch is None:
 
405
            tree_branch = tree.branch
 
406
        merger = Merger(tree_branch, this_tree=tree, pb=pb,
 
407
                        revision_graph=revision_graph)
 
408
        if other_branch is None:
 
409
            other_branch = tree.branch
 
410
        merger.set_other_revision(other, other_branch)
 
411
        if base is None:
 
412
            merger.find_base()
 
413
        else:
 
414
            if base_branch is None:
 
415
                base_branch = other_branch
 
416
            merger.set_base_revision(base, base_branch)
 
417
        return merger
 
418
 
 
419
    def revision_tree(self, revision_id, branch=None):
 
420
        if revision_id not in self._cached_trees:
 
421
            if branch is None:
 
422
                branch = self.this_branch
 
423
            try:
 
424
                tree = self.this_tree.revision_tree(revision_id)
 
425
            except errors.NoSuchRevisionInTree:
 
426
                tree = branch.repository.revision_tree(revision_id)
 
427
            self._cached_trees[revision_id] = tree
 
428
        return self._cached_trees[revision_id]
 
429
 
 
430
    def _get_tree(self, treespec, possible_transports=None):
 
431
        location, revno = treespec
 
432
        if revno is None:
 
433
            tree = workingtree.WorkingTree.open_containing(location)[0]
 
434
            return tree.branch, tree
 
435
        branch = _mod_branch.Branch.open_containing(
 
436
            location, possible_transports)[0]
 
437
        if revno == -1:
 
438
            revision_id = branch.last_revision()
 
439
        else:
 
440
            revision_id = branch.get_rev_id(revno)
 
441
        revision_id = _mod_revision.ensure_null(revision_id)
 
442
        return branch, self.revision_tree(revision_id, branch)
 
443
 
 
444
    @deprecated_method(deprecated_in((2, 1, 0)))
 
445
    def ensure_revision_trees(self):
 
446
        if self.this_revision_tree is None:
 
447
            self.this_basis_tree = self.revision_tree(self.this_basis)
 
448
            if self.this_basis == self.this_rev_id:
 
449
                self.this_revision_tree = self.this_basis_tree
 
450
 
 
451
        if self.other_rev_id is None:
 
452
            other_basis_tree = self.revision_tree(self.other_basis)
 
453
            if other_basis_tree.has_changes(self.other_tree):
 
454
                raise errors.WorkingTreeNotRevision(self.this_tree)
 
455
            other_rev_id = self.other_basis
 
456
            self.other_tree = other_basis_tree
 
457
 
 
458
    @deprecated_method(deprecated_in((2, 1, 0)))
 
459
    def file_revisions(self, file_id):
 
460
        self.ensure_revision_trees()
 
461
        def get_id(tree, file_id):
 
462
            revision_id = tree.inventory[file_id].revision
 
463
            return revision_id
 
464
        if self.this_rev_id is None:
 
465
            if self.this_basis_tree.get_file_sha1(file_id) != \
 
466
                self.this_tree.get_file_sha1(file_id):
 
467
                raise errors.WorkingTreeNotRevision(self.this_tree)
 
468
 
 
469
        trees = (self.this_basis_tree, self.other_tree)
 
470
        return [get_id(tree, file_id) for tree in trees]
 
471
 
 
472
    @deprecated_method(deprecated_in((2, 1, 0)))
 
473
    def check_basis(self, check_clean, require_commits=True):
 
474
        if self.this_basis is None and require_commits is True:
 
475
            raise errors.BzrCommandError(
 
476
                "This branch has no commits."
 
477
                " (perhaps you would prefer 'bzr pull')")
 
478
        if check_clean:
 
479
            self.compare_basis()
 
480
            if self.this_basis != self.this_rev_id:
 
481
                raise errors.UncommittedChanges(self.this_tree)
 
482
 
 
483
    @deprecated_method(deprecated_in((2, 1, 0)))
 
484
    def compare_basis(self):
 
485
        try:
 
486
            basis_tree = self.revision_tree(self.this_tree.last_revision())
 
487
        except errors.NoSuchRevision:
 
488
            basis_tree = self.this_tree.basis_tree()
 
489
        if not self.this_tree.has_changes(basis_tree):
 
490
            self.this_rev_id = self.this_basis
 
491
 
 
492
    def set_interesting_files(self, file_list):
 
493
        self.interesting_files = file_list
 
494
 
 
495
    def set_pending(self):
 
496
        if (not self.base_is_ancestor or not self.base_is_other_ancestor
 
497
            or self.other_rev_id is None):
 
498
            return
 
499
        self._add_parent()
 
500
 
 
501
    def _add_parent(self):
 
502
        new_parents = self.this_tree.get_parent_ids() + [self.other_rev_id]
 
503
        new_parent_trees = []
 
504
        operation = OperationWithCleanups(self.this_tree.set_parent_trees)
 
505
        for revision_id in new_parents:
 
506
            try:
 
507
                tree = self.revision_tree(revision_id)
 
508
            except errors.NoSuchRevision:
 
509
                tree = None
 
510
            else:
 
511
                tree.lock_read()
 
512
                operation.add_cleanup(tree.unlock)
 
513
            new_parent_trees.append((revision_id, tree))
 
514
        operation.run_simple(new_parent_trees, allow_leftmost_as_ghost=True)
 
515
 
 
516
    def set_other(self, other_revision, possible_transports=None):
 
517
        """Set the revision and tree to merge from.
 
518
 
 
519
        This sets the other_tree, other_rev_id, other_basis attributes.
 
520
 
 
521
        :param other_revision: The [path, revision] list to merge from.
 
522
        """
 
523
        self.other_branch, self.other_tree = self._get_tree(other_revision,
 
524
                                                            possible_transports)
 
525
        if other_revision[1] == -1:
 
526
            self.other_rev_id = _mod_revision.ensure_null(
 
527
                self.other_branch.last_revision())
 
528
            if _mod_revision.is_null(self.other_rev_id):
 
529
                raise errors.NoCommits(self.other_branch)
 
530
            self.other_basis = self.other_rev_id
 
531
        elif other_revision[1] is not None:
 
532
            self.other_rev_id = self.other_branch.get_rev_id(other_revision[1])
 
533
            self.other_basis = self.other_rev_id
 
534
        else:
 
535
            self.other_rev_id = None
 
536
            self.other_basis = self.other_branch.last_revision()
 
537
            if self.other_basis is None:
 
538
                raise errors.NoCommits(self.other_branch)
 
539
        if self.other_rev_id is not None:
 
540
            self._cached_trees[self.other_rev_id] = self.other_tree
 
541
        self._maybe_fetch(self.other_branch,self.this_branch, self.other_basis)
 
542
 
 
543
    def set_other_revision(self, revision_id, other_branch):
 
544
        """Set 'other' based on a branch and revision id
 
545
 
 
546
        :param revision_id: The revision to use for a tree
 
547
        :param other_branch: The branch containing this tree
 
548
        """
 
549
        self.other_rev_id = revision_id
 
550
        self.other_branch = other_branch
 
551
        self._maybe_fetch(other_branch, self.this_branch, self.other_rev_id)
 
552
        self.other_tree = self.revision_tree(revision_id)
 
553
        self.other_basis = revision_id
 
554
 
 
555
    def set_base_revision(self, revision_id, branch):
 
556
        """Set 'base' based on a branch and revision id
 
557
 
 
558
        :param revision_id: The revision to use for a tree
 
559
        :param branch: The branch containing this tree
 
560
        """
 
561
        self.base_rev_id = revision_id
 
562
        self.base_branch = branch
 
563
        self._maybe_fetch(branch, self.this_branch, revision_id)
 
564
        self.base_tree = self.revision_tree(revision_id)
 
565
 
 
566
    def _maybe_fetch(self, source, target, revision_id):
 
567
        if not source.repository.has_same_location(target.repository):
 
568
            target.fetch(source, revision_id)
 
569
 
 
570
    def find_base(self):
 
571
        revisions = [_mod_revision.ensure_null(self.this_basis),
 
572
                     _mod_revision.ensure_null(self.other_basis)]
 
573
        if _mod_revision.NULL_REVISION in revisions:
 
574
            self.base_rev_id = _mod_revision.NULL_REVISION
 
575
            self.base_tree = self.revision_tree(self.base_rev_id)
 
576
            self._is_criss_cross = False
 
577
        else:
 
578
            lcas = self.revision_graph.find_lca(revisions[0], revisions[1])
 
579
            self._is_criss_cross = False
 
580
            if len(lcas) == 0:
 
581
                self.base_rev_id = _mod_revision.NULL_REVISION
 
582
            elif len(lcas) == 1:
 
583
                self.base_rev_id = list(lcas)[0]
 
584
            else: # len(lcas) > 1
 
585
                if len(lcas) > 2:
 
586
                    # find_unique_lca can only handle 2 nodes, so we have to
 
587
                    # start back at the beginning. It is a shame to traverse
 
588
                    # the graph again, but better than re-implementing
 
589
                    # find_unique_lca.
 
590
                    self.base_rev_id = self.revision_graph.find_unique_lca(
 
591
                                            revisions[0], revisions[1])
 
592
                else:
 
593
                    self.base_rev_id = self.revision_graph.find_unique_lca(
 
594
                                            *lcas)
 
595
                self._is_criss_cross = True
 
596
            if self.base_rev_id == _mod_revision.NULL_REVISION:
 
597
                raise errors.UnrelatedBranches()
 
598
            if self._is_criss_cross:
 
599
                trace.warning('Warning: criss-cross merge encountered.  See bzr'
 
600
                              ' help criss-cross.')
 
601
                trace.mutter('Criss-cross lcas: %r' % lcas)
 
602
                interesting_revision_ids = [self.base_rev_id]
 
603
                interesting_revision_ids.extend(lcas)
 
604
                interesting_trees = dict((t.get_revision_id(), t)
 
605
                    for t in self.this_branch.repository.revision_trees(
 
606
                        interesting_revision_ids))
 
607
                self._cached_trees.update(interesting_trees)
 
608
                self.base_tree = interesting_trees.pop(self.base_rev_id)
 
609
                sorted_lca_keys = self.revision_graph.find_merge_order(
 
610
                    revisions[0], lcas)
 
611
                self._lca_trees = [interesting_trees[key]
 
612
                                   for key in sorted_lca_keys]
 
613
            else:
 
614
                self.base_tree = self.revision_tree(self.base_rev_id)
 
615
        self.base_is_ancestor = True
 
616
        self.base_is_other_ancestor = True
 
617
        trace.mutter('Base revid: %r' % self.base_rev_id)
 
618
 
 
619
    def set_base(self, base_revision):
 
620
        """Set the base revision to use for the merge.
 
621
 
 
622
        :param base_revision: A 2-list containing a path and revision number.
 
623
        """
 
624
        trace.mutter("doing merge() with no base_revision specified")
 
625
        if base_revision == [None, None]:
 
626
            self.find_base()
 
627
        else:
 
628
            base_branch, self.base_tree = self._get_tree(base_revision)
 
629
            if base_revision[1] == -1:
 
630
                self.base_rev_id = base_branch.last_revision()
 
631
            elif base_revision[1] is None:
 
632
                self.base_rev_id = _mod_revision.NULL_REVISION
 
633
            else:
 
634
                self.base_rev_id = _mod_revision.ensure_null(
 
635
                    base_branch.get_rev_id(base_revision[1]))
 
636
            self._maybe_fetch(base_branch, self.this_branch, self.base_rev_id)
 
637
 
 
638
    def make_merger(self):
 
639
        kwargs = {'working_tree':self.this_tree, 'this_tree': self.this_tree,
 
640
                  'other_tree': self.other_tree,
 
641
                  'interesting_ids': self.interesting_ids,
 
642
                  'interesting_files': self.interesting_files,
 
643
                  'this_branch': self.this_branch,
 
644
                  'do_merge': False}
 
645
        if self.merge_type.requires_base:
 
646
            kwargs['base_tree'] = self.base_tree
 
647
        if self.merge_type.supports_reprocess:
 
648
            kwargs['reprocess'] = self.reprocess
 
649
        elif self.reprocess:
 
650
            raise errors.BzrError(
 
651
                "Conflict reduction is not supported for merge"
 
652
                " type %s." % self.merge_type)
 
653
        if self.merge_type.supports_show_base:
 
654
            kwargs['show_base'] = self.show_base
 
655
        elif self.show_base:
 
656
            raise errors.BzrError("Showing base is not supported for this"
 
657
                                  " merge type. %s" % self.merge_type)
 
658
        if (not getattr(self.merge_type, 'supports_reverse_cherrypick', True)
 
659
            and not self.base_is_other_ancestor):
 
660
            raise errors.CannotReverseCherrypick()
 
661
        if self.merge_type.supports_cherrypick:
 
662
            kwargs['cherrypick'] = (not self.base_is_ancestor or
 
663
                                    not self.base_is_other_ancestor)
 
664
        if self._is_criss_cross and getattr(self.merge_type,
 
665
                                            'supports_lca_trees', False):
 
666
            kwargs['lca_trees'] = self._lca_trees
 
667
        return self.merge_type(pb=None,
 
668
                               change_reporter=self.change_reporter,
 
669
                               **kwargs)
 
670
 
 
671
    def _do_merge_to(self):
 
672
        merge = self.make_merger()
 
673
        if self.other_branch is not None:
 
674
            self.other_branch.update_references(self.this_branch)
 
675
        merge.do_merge()
 
676
        if self.recurse == 'down':
 
677
            for relpath, file_id in self.this_tree.iter_references():
 
678
                sub_tree = self.this_tree.get_nested_tree(file_id, relpath)
 
679
                other_revision = self.other_tree.get_reference_revision(
 
680
                    file_id, relpath)
 
681
                if  other_revision == sub_tree.last_revision():
 
682
                    continue
 
683
                sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
 
684
                sub_merge.merge_type = self.merge_type
 
685
                other_branch = self.other_branch.reference_parent(file_id, relpath)
 
686
                sub_merge.set_other_revision(other_revision, other_branch)
 
687
                base_revision = self.base_tree.get_reference_revision(file_id)
 
688
                sub_merge.base_tree = \
 
689
                    sub_tree.branch.repository.revision_tree(base_revision)
 
690
                sub_merge.base_rev_id = base_revision
 
691
                sub_merge.do_merge()
 
692
        return merge
 
693
 
 
694
    def do_merge(self):
 
695
        operation = OperationWithCleanups(self._do_merge_to)
 
696
        self.this_tree.lock_tree_write()
 
697
        operation.add_cleanup(self.this_tree.unlock)
 
698
        if self.base_tree is not None:
 
699
            self.base_tree.lock_read()
 
700
            operation.add_cleanup(self.base_tree.unlock)
 
701
        if self.other_tree is not None:
 
702
            self.other_tree.lock_read()
 
703
            operation.add_cleanup(self.other_tree.unlock)
 
704
        merge = operation.run_simple()
 
705
        if len(merge.cooked_conflicts) == 0:
 
706
            if not self.ignore_zero and not trace.is_quiet():
 
707
                trace.note("All changes applied successfully.")
 
708
        else:
 
709
            trace.note("%d conflicts encountered."
 
710
                       % len(merge.cooked_conflicts))
 
711
 
 
712
        return len(merge.cooked_conflicts)
 
713
 
 
714
 
 
715
class _InventoryNoneEntry(object):
 
716
    """This represents an inventory entry which *isn't there*.
 
717
 
 
718
    It simplifies the merging logic if we always have an InventoryEntry, even
 
719
    if it isn't actually present
 
720
    """
 
721
    executable = None
 
722
    kind = None
 
723
    name = None
 
724
    parent_id = None
 
725
    revision = None
 
726
    symlink_target = None
 
727
    text_sha1 = None
 
728
 
 
729
_none_entry = _InventoryNoneEntry()
 
730
 
 
731
 
 
732
class Merge3Merger(object):
 
733
    """Three-way merger that uses the merge3 text merger"""
 
734
    requires_base = True
 
735
    supports_reprocess = True
 
736
    supports_show_base = True
 
737
    history_based = False
 
738
    supports_cherrypick = True
 
739
    supports_reverse_cherrypick = True
 
740
    winner_idx = {"this": 2, "other": 1, "conflict": 1}
 
741
    supports_lca_trees = True
 
742
 
 
743
    def __init__(self, working_tree, this_tree, base_tree, other_tree,
 
744
                 interesting_ids=None, reprocess=False, show_base=False,
 
745
                 pb=None, pp=None, change_reporter=None,
 
746
                 interesting_files=None, do_merge=True,
 
747
                 cherrypick=False, lca_trees=None, this_branch=None):
 
748
        """Initialize the merger object and perform the merge.
 
749
 
 
750
        :param working_tree: The working tree to apply the merge to
 
751
        :param this_tree: The local tree in the merge operation
 
752
        :param base_tree: The common tree in the merge operation
 
753
        :param other_tree: The other tree to merge changes from
 
754
        :param this_branch: The branch associated with this_tree.  Defaults to
 
755
            this_tree.branch if not supplied.
 
756
        :param interesting_ids: The file_ids of files that should be
 
757
            participate in the merge.  May not be combined with
 
758
            interesting_files.
 
759
        :param: reprocess If True, perform conflict-reduction processing.
 
760
        :param show_base: If True, show the base revision in text conflicts.
 
761
            (incompatible with reprocess)
 
762
        :param pb: ignored
 
763
        :param pp: A ProgressPhase object
 
764
        :param change_reporter: An object that should report changes made
 
765
        :param interesting_files: The tree-relative paths of files that should
 
766
            participate in the merge.  If these paths refer to directories,
 
767
            the contents of those directories will also be included.  May not
 
768
            be combined with interesting_ids.  If neither interesting_files nor
 
769
            interesting_ids is specified, all files may participate in the
 
770
            merge.
 
771
        :param lca_trees: Can be set to a dictionary of {revision_id:rev_tree}
 
772
            if the ancestry was found to include a criss-cross merge.
 
773
            Otherwise should be None.
 
774
        """
 
775
        object.__init__(self)
 
776
        if interesting_files is not None and interesting_ids is not None:
 
777
            raise ValueError(
 
778
                'specify either interesting_ids or interesting_files')
 
779
        if this_branch is None:
 
780
            this_branch = this_tree.branch
 
781
        self.interesting_ids = interesting_ids
 
782
        self.interesting_files = interesting_files
 
783
        self.this_tree = working_tree
 
784
        self.base_tree = base_tree
 
785
        self.other_tree = other_tree
 
786
        self.this_branch = this_branch
 
787
        self._raw_conflicts = []
 
788
        self.cooked_conflicts = []
 
789
        self.reprocess = reprocess
 
790
        self.show_base = show_base
 
791
        self._lca_trees = lca_trees
 
792
        # Uncommenting this will change the default algorithm to always use
 
793
        # _entries_lca. This can be useful for running the test suite and
 
794
        # making sure we haven't missed any corner cases.
 
795
        # if lca_trees is None:
 
796
        #     self._lca_trees = [self.base_tree]
 
797
        self.change_reporter = change_reporter
 
798
        self.cherrypick = cherrypick
 
799
        if do_merge:
 
800
            self.do_merge()
 
801
        if pp is not None:
 
802
            warnings.warn("pp argument to Merge3Merger is deprecated")
 
803
        if pb is not None:
 
804
            warnings.warn("pb argument to Merge3Merger is deprecated")
 
805
 
 
806
    def do_merge(self):
 
807
        operation = OperationWithCleanups(self._do_merge)
 
808
        self.this_tree.lock_tree_write()
 
809
        operation.add_cleanup(self.this_tree.unlock)
 
810
        self.base_tree.lock_read()
 
811
        operation.add_cleanup(self.base_tree.unlock)
 
812
        self.other_tree.lock_read()
 
813
        operation.add_cleanup(self.other_tree.unlock)
 
814
        operation.run()
 
815
 
 
816
    def _do_merge(self, operation):
 
817
        self.tt = transform.TreeTransform(self.this_tree, None)
 
818
        operation.add_cleanup(self.tt.finalize)
 
819
        self._compute_transform()
 
820
        results = self.tt.apply(no_conflicts=True)
 
821
        self.write_modified(results)
 
822
        try:
 
823
            self.this_tree.add_conflicts(self.cooked_conflicts)
 
824
        except errors.UnsupportedOperation:
 
825
            pass
 
826
 
 
827
    def make_preview_transform(self):
 
828
        operation = OperationWithCleanups(self._make_preview_transform)
 
829
        self.base_tree.lock_read()
 
830
        operation.add_cleanup(self.base_tree.unlock)
 
831
        self.other_tree.lock_read()
 
832
        operation.add_cleanup(self.other_tree.unlock)
 
833
        return operation.run_simple()
 
834
 
 
835
    def _make_preview_transform(self):
 
836
        self.tt = transform.TransformPreview(self.this_tree)
 
837
        self._compute_transform()
 
838
        return self.tt
 
839
 
 
840
    def _compute_transform(self):
 
841
        if self._lca_trees is None:
 
842
            entries = self._entries3()
 
843
            resolver = self._three_way
 
844
        else:
 
845
            entries = self._entries_lca()
 
846
            resolver = self._lca_multi_way
 
847
        child_pb = ui.ui_factory.nested_progress_bar()
 
848
        try:
 
849
            factories = Merger.hooks['merge_file_content']
 
850
            hooks = [factory(self) for factory in factories] + [self]
 
851
            self.active_hooks = [hook for hook in hooks if hook is not None]
 
852
            for num, (file_id, changed, parents3, names3,
 
853
                      executable3) in enumerate(entries):
 
854
                child_pb.update('Preparing file merge', num, len(entries))
 
855
                self._merge_names(file_id, parents3, names3, resolver=resolver)
 
856
                if changed:
 
857
                    file_status = self._do_merge_contents(file_id)
 
858
                else:
 
859
                    file_status = 'unmodified'
 
860
                self._merge_executable(file_id,
 
861
                    executable3, file_status, resolver=resolver)
 
862
        finally:
 
863
            child_pb.finished()
 
864
        self.fix_root()
 
865
        self._finish_computing_transform()
 
866
 
 
867
    def _finish_computing_transform(self):
 
868
        """Finalize the transform and report the changes.
 
869
 
 
870
        This is the second half of _compute_transform.
 
871
        """
 
872
        child_pb = ui.ui_factory.nested_progress_bar()
 
873
        try:
 
874
            fs_conflicts = transform.resolve_conflicts(self.tt, child_pb,
 
875
                lambda t, c: transform.conflict_pass(t, c, self.other_tree))
 
876
        finally:
 
877
            child_pb.finished()
 
878
        if self.change_reporter is not None:
 
879
            from bzrlib import delta
 
880
            delta.report_changes(
 
881
                self.tt.iter_changes(), self.change_reporter)
 
882
        self.cook_conflicts(fs_conflicts)
 
883
        for conflict in self.cooked_conflicts:
 
884
            trace.warning(conflict)
 
885
 
 
886
    def _entries3(self):
 
887
        """Gather data about files modified between three trees.
 
888
 
 
889
        Return a list of tuples of file_id, changed, parents3, names3,
 
890
        executable3.  changed is a boolean indicating whether the file contents
 
891
        or kind were changed.  parents3 is a tuple of parent ids for base,
 
892
        other and this.  names3 is a tuple of names for base, other and this.
 
893
        executable3 is a tuple of execute-bit values for base, other and this.
 
894
        """
 
895
        result = []
 
896
        iterator = self.other_tree.iter_changes(self.base_tree,
 
897
                include_unchanged=True, specific_files=self.interesting_files,
 
898
                extra_trees=[self.this_tree])
 
899
        this_entries = dict((e.file_id, e) for p, e in
 
900
                            self.this_tree.iter_entries_by_dir(
 
901
                            self.interesting_ids))
 
902
        for (file_id, paths, changed, versioned, parents, names, kind,
 
903
             executable) in iterator:
 
904
            if (self.interesting_ids is not None and
 
905
                file_id not in self.interesting_ids):
 
906
                continue
 
907
            entry = this_entries.get(file_id)
 
908
            if entry is not None:
 
909
                this_name = entry.name
 
910
                this_parent = entry.parent_id
 
911
                this_executable = entry.executable
 
912
            else:
 
913
                this_name = None
 
914
                this_parent = None
 
915
                this_executable = None
 
916
            parents3 = parents + (this_parent,)
 
917
            names3 = names + (this_name,)
 
918
            executable3 = executable + (this_executable,)
 
919
            result.append((file_id, changed, parents3, names3, executable3))
 
920
        return result
 
921
 
 
922
    def _entries_lca(self):
 
923
        """Gather data about files modified between multiple trees.
 
924
 
 
925
        This compares OTHER versus all LCA trees, and for interesting entries,
 
926
        it then compares with THIS and BASE.
 
927
 
 
928
        For the multi-valued entries, the format will be (BASE, [lca1, lca2])
 
929
        :return: [(file_id, changed, parents, names, executable)]
 
930
            file_id     Simple file_id of the entry
 
931
            changed     Boolean, True if the kind or contents changed
 
932
                        else False
 
933
            parents     ((base, [parent_id, in, lcas]), parent_id_other,
 
934
                         parent_id_this)
 
935
            names       ((base, [name, in, lcas]), name_in_other, name_in_this)
 
936
            executable  ((base, [exec, in, lcas]), exec_in_other, exec_in_this)
 
937
        """
 
938
        if self.interesting_files is not None:
 
939
            lookup_trees = [self.this_tree, self.base_tree]
 
940
            lookup_trees.extend(self._lca_trees)
 
941
            # I think we should include the lca trees as well
 
942
            interesting_ids = self.other_tree.paths2ids(self.interesting_files,
 
943
                                                        lookup_trees)
 
944
        else:
 
945
            interesting_ids = self.interesting_ids
 
946
        result = []
 
947
        walker = _mod_tree.MultiWalker(self.other_tree, self._lca_trees)
 
948
 
 
949
        base_inventory = self.base_tree.inventory
 
950
        this_inventory = self.this_tree.inventory
 
951
        for path, file_id, other_ie, lca_values in walker.iter_all():
 
952
            # Is this modified at all from any of the other trees?
 
953
            if other_ie is None:
 
954
                other_ie = _none_entry
 
955
            if interesting_ids is not None and file_id not in interesting_ids:
 
956
                continue
 
957
 
 
958
            # If other_revision is found in any of the lcas, that means this
 
959
            # node is uninteresting. This is because when merging, if there are
 
960
            # multiple heads(), we have to create a new node. So if we didn't,
 
961
            # we know that the ancestry is linear, and that OTHER did not
 
962
            # modify anything
 
963
            # See doc/developers/lca_merge_resolution.txt for details
 
964
            other_revision = other_ie.revision
 
965
            if other_revision is not None:
 
966
                # We can't use this shortcut when other_revision is None,
 
967
                # because it may be None because things are WorkingTrees, and
 
968
                # not because it is *actually* None.
 
969
                is_unmodified = False
 
970
                for lca_path, ie in lca_values:
 
971
                    if ie is not None and ie.revision == other_revision:
 
972
                        is_unmodified = True
 
973
                        break
 
974
                if is_unmodified:
 
975
                    continue
 
976
 
 
977
            lca_entries = []
 
978
            for lca_path, lca_ie in lca_values:
 
979
                if lca_ie is None:
 
980
                    lca_entries.append(_none_entry)
 
981
                else:
 
982
                    lca_entries.append(lca_ie)
 
983
 
 
984
            if file_id in base_inventory:
 
985
                base_ie = base_inventory[file_id]
 
986
            else:
 
987
                base_ie = _none_entry
 
988
 
 
989
            if file_id in this_inventory:
 
990
                this_ie = this_inventory[file_id]
 
991
            else:
 
992
                this_ie = _none_entry
 
993
 
 
994
            lca_kinds = []
 
995
            lca_parent_ids = []
 
996
            lca_names = []
 
997
            lca_executable = []
 
998
            for lca_ie in lca_entries:
 
999
                lca_kinds.append(lca_ie.kind)
 
1000
                lca_parent_ids.append(lca_ie.parent_id)
 
1001
                lca_names.append(lca_ie.name)
 
1002
                lca_executable.append(lca_ie.executable)
 
1003
 
 
1004
            kind_winner = self._lca_multi_way(
 
1005
                (base_ie.kind, lca_kinds),
 
1006
                other_ie.kind, this_ie.kind)
 
1007
            parent_id_winner = self._lca_multi_way(
 
1008
                (base_ie.parent_id, lca_parent_ids),
 
1009
                other_ie.parent_id, this_ie.parent_id)
 
1010
            name_winner = self._lca_multi_way(
 
1011
                (base_ie.name, lca_names),
 
1012
                other_ie.name, this_ie.name)
 
1013
 
 
1014
            content_changed = True
 
1015
            if kind_winner == 'this':
 
1016
                # No kind change in OTHER, see if there are *any* changes
 
1017
                if other_ie.kind == 'directory':
 
1018
                    if parent_id_winner == 'this' and name_winner == 'this':
 
1019
                        # No change for this directory in OTHER, skip
 
1020
                        continue
 
1021
                    content_changed = False
 
1022
                elif other_ie.kind is None or other_ie.kind == 'file':
 
1023
                    def get_sha1(ie, tree):
 
1024
                        if ie.kind != 'file':
 
1025
                            return None
 
1026
                        return tree.get_file_sha1(file_id)
 
1027
                    base_sha1 = get_sha1(base_ie, self.base_tree)
 
1028
                    lca_sha1s = [get_sha1(ie, tree) for ie, tree
 
1029
                                 in zip(lca_entries, self._lca_trees)]
 
1030
                    this_sha1 = get_sha1(this_ie, self.this_tree)
 
1031
                    other_sha1 = get_sha1(other_ie, self.other_tree)
 
1032
                    sha1_winner = self._lca_multi_way(
 
1033
                        (base_sha1, lca_sha1s), other_sha1, this_sha1,
 
1034
                        allow_overriding_lca=False)
 
1035
                    exec_winner = self._lca_multi_way(
 
1036
                        (base_ie.executable, lca_executable),
 
1037
                        other_ie.executable, this_ie.executable)
 
1038
                    if (parent_id_winner == 'this' and name_winner == 'this'
 
1039
                        and sha1_winner == 'this' and exec_winner == 'this'):
 
1040
                        # No kind, parent, name, exec, or content change for
 
1041
                        # OTHER, so this node is not considered interesting
 
1042
                        continue
 
1043
                    if sha1_winner == 'this':
 
1044
                        content_changed = False
 
1045
                elif other_ie.kind == 'symlink':
 
1046
                    def get_target(ie, tree):
 
1047
                        if ie.kind != 'symlink':
 
1048
                            return None
 
1049
                        return tree.get_symlink_target(file_id)
 
1050
                    base_target = get_target(base_ie, self.base_tree)
 
1051
                    lca_targets = [get_target(ie, tree) for ie, tree
 
1052
                                   in zip(lca_entries, self._lca_trees)]
 
1053
                    this_target = get_target(this_ie, self.this_tree)
 
1054
                    other_target = get_target(other_ie, self.other_tree)
 
1055
                    target_winner = self._lca_multi_way(
 
1056
                        (base_target, lca_targets),
 
1057
                        other_target, this_target)
 
1058
                    if (parent_id_winner == 'this' and name_winner == 'this'
 
1059
                        and target_winner == 'this'):
 
1060
                        # No kind, parent, name, or symlink target change
 
1061
                        # not interesting
 
1062
                        continue
 
1063
                    if target_winner == 'this':
 
1064
                        content_changed = False
 
1065
                elif other_ie.kind == 'tree-reference':
 
1066
                    # The 'changed' information seems to be handled at a higher
 
1067
                    # level. At least, _entries3 returns False for content
 
1068
                    # changed, even when at a new revision_id.
 
1069
                    content_changed = False
 
1070
                    if (parent_id_winner == 'this' and name_winner == 'this'):
 
1071
                        # Nothing interesting
 
1072
                        continue
 
1073
                else:
 
1074
                    raise AssertionError('unhandled kind: %s' % other_ie.kind)
 
1075
 
 
1076
            # If we have gotten this far, that means something has changed
 
1077
            result.append((file_id, content_changed,
 
1078
                           ((base_ie.parent_id, lca_parent_ids),
 
1079
                            other_ie.parent_id, this_ie.parent_id),
 
1080
                           ((base_ie.name, lca_names),
 
1081
                            other_ie.name, this_ie.name),
 
1082
                           ((base_ie.executable, lca_executable),
 
1083
                            other_ie.executable, this_ie.executable)
 
1084
                          ))
 
1085
        return result
 
1086
 
 
1087
    def fix_root(self):
 
1088
        if self.tt.final_kind(self.tt.root) is None:
 
1089
            self.tt.cancel_deletion(self.tt.root)
 
1090
        if self.tt.final_file_id(self.tt.root) is None:
 
1091
            self.tt.version_file(self.tt.tree_file_id(self.tt.root),
 
1092
                                 self.tt.root)
 
1093
        other_root_file_id = self.other_tree.get_root_id()
 
1094
        if other_root_file_id is None:
 
1095
            return
 
1096
        other_root = self.tt.trans_id_file_id(other_root_file_id)
 
1097
        if other_root == self.tt.root:
 
1098
            return
 
1099
        if self.other_tree.inventory.root.file_id in self.this_tree.inventory:
 
1100
            # the other tree's root is a non-root in the current tree (as when
 
1101
            # a previously unrelated branch is merged into another)
 
1102
            return
 
1103
        if self.tt.final_kind(other_root) is not None:
 
1104
            other_root_is_present = True
 
1105
        else:
 
1106
            # other_root doesn't have a physical representation. We still need
 
1107
            # to move any references to the actual root of the tree.
 
1108
            other_root_is_present = False
 
1109
        # 'other_tree.inventory.root' is not present in this tree. We are
 
1110
        # calling adjust_path for children which *want* to be present with a
 
1111
        # correct place to go.
 
1112
        for thing, child in self.other_tree.inventory.root.children.iteritems():
 
1113
            trans_id = self.tt.trans_id_file_id(child.file_id)
 
1114
            if not other_root_is_present:
 
1115
                if self.tt.final_kind(trans_id) is not None:
 
1116
                    # The item exist in the final tree and has a defined place
 
1117
                    # to go already.
 
1118
                    continue
 
1119
            # Move the item into the root
 
1120
            self.tt.adjust_path(self.tt.final_name(trans_id),
 
1121
                                self.tt.root, trans_id)
 
1122
        if other_root_is_present:
 
1123
            self.tt.cancel_creation(other_root)
 
1124
            self.tt.cancel_versioning(other_root)
 
1125
 
 
1126
    def write_modified(self, results):
 
1127
        modified_hashes = {}
 
1128
        for path in results.modified_paths:
 
1129
            file_id = self.this_tree.path2id(self.this_tree.relpath(path))
 
1130
            if file_id is None:
 
1131
                continue
 
1132
            hash = self.this_tree.get_file_sha1(file_id)
 
1133
            if hash is None:
 
1134
                continue
 
1135
            modified_hashes[file_id] = hash
 
1136
        self.this_tree.set_merge_modified(modified_hashes)
 
1137
 
 
1138
    @staticmethod
 
1139
    def parent(entry, file_id):
 
1140
        """Determine the parent for a file_id (used as a key method)"""
 
1141
        if entry is None:
 
1142
            return None
 
1143
        return entry.parent_id
 
1144
 
 
1145
    @staticmethod
 
1146
    def name(entry, file_id):
 
1147
        """Determine the name for a file_id (used as a key method)"""
 
1148
        if entry is None:
 
1149
            return None
 
1150
        return entry.name
 
1151
 
 
1152
    @staticmethod
 
1153
    def contents_sha1(tree, file_id):
 
1154
        """Determine the sha1 of the file contents (used as a key method)."""
 
1155
        if file_id not in tree:
 
1156
            return None
 
1157
        return tree.get_file_sha1(file_id)
 
1158
 
 
1159
    @staticmethod
 
1160
    def executable(tree, file_id):
 
1161
        """Determine the executability of a file-id (used as a key method)."""
 
1162
        if not tree.has_id(file_id):
 
1163
            return None
 
1164
        if tree.kind(file_id) != "file":
 
1165
            return False
 
1166
        return tree.is_executable(file_id)
 
1167
 
 
1168
    @staticmethod
 
1169
    def kind(tree, file_id):
 
1170
        """Determine the kind of a file-id (used as a key method)."""
 
1171
        if not tree.has_id(file_id):
 
1172
            return None
 
1173
        return tree.kind(file_id)
 
1174
 
 
1175
    @staticmethod
 
1176
    def _three_way(base, other, this):
 
1177
        if base == other:
 
1178
            # if 'base == other', either they all agree, or only 'this' has
 
1179
            # changed.
 
1180
            return 'this'
 
1181
        elif this not in (base, other):
 
1182
            # 'this' is neither 'base' nor 'other', so both sides changed
 
1183
            return 'conflict'
 
1184
        elif this == other:
 
1185
            # "Ambiguous clean merge" -- both sides have made the same change.
 
1186
            return "this"
 
1187
        else:
 
1188
            # this == base: only other has changed.
 
1189
            return "other"
 
1190
 
 
1191
    @staticmethod
 
1192
    def _lca_multi_way(bases, other, this, allow_overriding_lca=True):
 
1193
        """Consider LCAs when determining whether a change has occurred.
 
1194
 
 
1195
        If LCAS are all identical, this is the same as a _three_way comparison.
 
1196
 
 
1197
        :param bases: value in (BASE, [LCAS])
 
1198
        :param other: value in OTHER
 
1199
        :param this: value in THIS
 
1200
        :param allow_overriding_lca: If there is more than one unique lca
 
1201
            value, allow OTHER to override THIS if it has a new value, and
 
1202
            THIS only has an lca value, or vice versa. This is appropriate for
 
1203
            truly scalar values, not as much for non-scalars.
 
1204
        :return: 'this', 'other', or 'conflict' depending on whether an entry
 
1205
            changed or not.
 
1206
        """
 
1207
        # See doc/developers/lca_tree_merging.txt for details about this
 
1208
        # algorithm.
 
1209
        if other == this:
 
1210
            # Either Ambiguously clean, or nothing was actually changed. We
 
1211
            # don't really care
 
1212
            return 'this'
 
1213
        base_val, lca_vals = bases
 
1214
        # Remove 'base_val' from the lca_vals, because it is not interesting
 
1215
        filtered_lca_vals = [lca_val for lca_val in lca_vals
 
1216
                                      if lca_val != base_val]
 
1217
        if len(filtered_lca_vals) == 0:
 
1218
            return Merge3Merger._three_way(base_val, other, this)
 
1219
 
 
1220
        unique_lca_vals = set(filtered_lca_vals)
 
1221
        if len(unique_lca_vals) == 1:
 
1222
            return Merge3Merger._three_way(unique_lca_vals.pop(), other, this)
 
1223
 
 
1224
        if allow_overriding_lca:
 
1225
            if other in unique_lca_vals:
 
1226
                if this in unique_lca_vals:
 
1227
                    # Each side picked a different lca, conflict
 
1228
                    return 'conflict'
 
1229
                else:
 
1230
                    # This has a value which supersedes both lca values, and
 
1231
                    # other only has an lca value
 
1232
                    return 'this'
 
1233
            elif this in unique_lca_vals:
 
1234
                # OTHER has a value which supersedes both lca values, and this
 
1235
                # only has an lca value
 
1236
                return 'other'
 
1237
 
 
1238
        # At this point, the lcas disagree, and the tip disagree
 
1239
        return 'conflict'
 
1240
 
 
1241
    @staticmethod
 
1242
    @deprecated_method(deprecated_in((2, 2, 0)))
 
1243
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
 
1244
        """Do a three-way test on a scalar.
 
1245
        Return "this", "other" or "conflict", depending whether a value wins.
 
1246
        """
 
1247
        key_base = key(base_tree, file_id)
 
1248
        key_other = key(other_tree, file_id)
 
1249
        #if base == other, either they all agree, or only THIS has changed.
 
1250
        if key_base == key_other:
 
1251
            return "this"
 
1252
        key_this = key(this_tree, file_id)
 
1253
        # "Ambiguous clean merge"
 
1254
        if key_this == key_other:
 
1255
            return "this"
 
1256
        elif key_this == key_base:
 
1257
            return "other"
 
1258
        else:
 
1259
            return "conflict"
 
1260
 
 
1261
    def merge_names(self, file_id):
 
1262
        def get_entry(tree):
 
1263
            if tree.has_id(file_id):
 
1264
                return tree.inventory[file_id]
 
1265
            else:
 
1266
                return None
 
1267
        this_entry = get_entry(self.this_tree)
 
1268
        other_entry = get_entry(self.other_tree)
 
1269
        base_entry = get_entry(self.base_tree)
 
1270
        entries = (base_entry, other_entry, this_entry)
 
1271
        names = []
 
1272
        parents = []
 
1273
        for entry in entries:
 
1274
            if entry is None:
 
1275
                names.append(None)
 
1276
                parents.append(None)
 
1277
            else:
 
1278
                names.append(entry.name)
 
1279
                parents.append(entry.parent_id)
 
1280
        return self._merge_names(file_id, parents, names,
 
1281
                                 resolver=self._three_way)
 
1282
 
 
1283
    def _merge_names(self, file_id, parents, names, resolver):
 
1284
        """Perform a merge on file_id names and parents"""
 
1285
        base_name, other_name, this_name = names
 
1286
        base_parent, other_parent, this_parent = parents
 
1287
 
 
1288
        name_winner = resolver(*names)
 
1289
 
 
1290
        parent_id_winner = resolver(*parents)
 
1291
        if this_name is None:
 
1292
            if name_winner == "this":
 
1293
                name_winner = "other"
 
1294
            if parent_id_winner == "this":
 
1295
                parent_id_winner = "other"
 
1296
        if name_winner == "this" and parent_id_winner == "this":
 
1297
            return
 
1298
        if name_winner == 'conflict' or parent_id_winner == 'conflict':
 
1299
            # Creating helpers (.OTHER or .THIS) here cause problems down the
 
1300
            # road if a ContentConflict needs to be created so we should not do
 
1301
            # that
 
1302
            trans_id = self.tt.trans_id_file_id(file_id)
 
1303
            self._raw_conflicts.append(('path conflict', trans_id, file_id,
 
1304
                                        this_parent, this_name,
 
1305
                                        other_parent, other_name))
 
1306
        if other_name is None:
 
1307
            # it doesn't matter whether the result was 'other' or
 
1308
            # 'conflict'-- if there's no 'other', we leave it alone.
 
1309
            return
 
1310
        parent_id = parents[self.winner_idx[parent_id_winner]]
 
1311
        if parent_id is not None:
 
1312
            # if we get here, name_winner and parent_winner are set to safe
 
1313
            # values.
 
1314
            self.tt.adjust_path(names[self.winner_idx[name_winner]],
 
1315
                                self.tt.trans_id_file_id(parent_id),
 
1316
                                self.tt.trans_id_file_id(file_id))
 
1317
 
 
1318
    def _do_merge_contents(self, file_id):
 
1319
        """Performs a merge on file_id contents."""
 
1320
        def contents_pair(tree):
 
1321
            if file_id not in tree:
 
1322
                return (None, None)
 
1323
            kind = tree.kind(file_id)
 
1324
            if kind == "file":
 
1325
                contents = tree.get_file_sha1(file_id)
 
1326
            elif kind == "symlink":
 
1327
                contents = tree.get_symlink_target(file_id)
 
1328
            else:
 
1329
                contents = None
 
1330
            return kind, contents
 
1331
 
 
1332
        # See SPOT run.  run, SPOT, run.
 
1333
        # So we're not QUITE repeating ourselves; we do tricky things with
 
1334
        # file kind...
 
1335
        base_pair = contents_pair(self.base_tree)
 
1336
        other_pair = contents_pair(self.other_tree)
 
1337
        if self._lca_trees:
 
1338
            this_pair = contents_pair(self.this_tree)
 
1339
            lca_pairs = [contents_pair(tree) for tree in self._lca_trees]
 
1340
            winner = self._lca_multi_way((base_pair, lca_pairs), other_pair,
 
1341
                                         this_pair, allow_overriding_lca=False)
 
1342
        else:
 
1343
            if base_pair == other_pair:
 
1344
                winner = 'this'
 
1345
            else:
 
1346
                # We delayed evaluating this_pair as long as we can to avoid
 
1347
                # unnecessary sha1 calculation
 
1348
                this_pair = contents_pair(self.this_tree)
 
1349
                winner = self._three_way(base_pair, other_pair, this_pair)
 
1350
        if winner == 'this':
 
1351
            # No interesting changes introduced by OTHER
 
1352
            return "unmodified"
 
1353
        # We have a hypothetical conflict, but if we have files, then we
 
1354
        # can try to merge the content
 
1355
        trans_id = self.tt.trans_id_file_id(file_id)
 
1356
        params = MergeHookParams(self, file_id, trans_id, this_pair[0],
 
1357
            other_pair[0], winner)
 
1358
        hooks = self.active_hooks
 
1359
        hook_status = 'not_applicable'
 
1360
        for hook in hooks:
 
1361
            hook_status, lines = hook.merge_contents(params)
 
1362
            if hook_status != 'not_applicable':
 
1363
                # Don't try any more hooks, this one applies.
 
1364
                break
 
1365
        result = "modified"
 
1366
        if hook_status == 'not_applicable':
 
1367
            # This is a contents conflict, because none of the available
 
1368
            # functions could merge it.
 
1369
            result = None
 
1370
            name = self.tt.final_name(trans_id)
 
1371
            parent_id = self.tt.final_parent(trans_id)
 
1372
            if self.this_tree.has_id(file_id):
 
1373
                self.tt.unversion_file(trans_id)
 
1374
            file_group = self._dump_conflicts(name, parent_id, file_id,
 
1375
                                              set_version=True)
 
1376
            self._raw_conflicts.append(('contents conflict', file_group))
 
1377
        elif hook_status == 'success':
 
1378
            self.tt.create_file(lines, trans_id)
 
1379
        elif hook_status == 'conflicted':
 
1380
            # XXX: perhaps the hook should be able to provide
 
1381
            # the BASE/THIS/OTHER files?
 
1382
            self.tt.create_file(lines, trans_id)
 
1383
            self._raw_conflicts.append(('text conflict', trans_id))
 
1384
            name = self.tt.final_name(trans_id)
 
1385
            parent_id = self.tt.final_parent(trans_id)
 
1386
            self._dump_conflicts(name, parent_id, file_id)
 
1387
        elif hook_status == 'delete':
 
1388
            self.tt.unversion_file(trans_id)
 
1389
            result = "deleted"
 
1390
        elif hook_status == 'done':
 
1391
            # The hook function did whatever it needs to do directly, no
 
1392
            # further action needed here.
 
1393
            pass
 
1394
        else:
 
1395
            raise AssertionError('unknown hook_status: %r' % (hook_status,))
 
1396
        if not self.this_tree.has_id(file_id) and result == "modified":
 
1397
            self.tt.version_file(file_id, trans_id)
 
1398
        # The merge has been performed, so the old contents should not be
 
1399
        # retained.
 
1400
        self.tt.delete_contents(trans_id)
 
1401
        return result
 
1402
 
 
1403
    def _default_other_winner_merge(self, merge_hook_params):
 
1404
        """Replace this contents with other."""
 
1405
        file_id = merge_hook_params.file_id
 
1406
        trans_id = merge_hook_params.trans_id
 
1407
        file_in_this = self.this_tree.has_id(file_id)
 
1408
        if self.other_tree.has_id(file_id):
 
1409
            # OTHER changed the file
 
1410
            wt = self.this_tree
 
1411
            if wt.supports_content_filtering():
 
1412
                # We get the path from the working tree if it exists.
 
1413
                # That fails though when OTHER is adding a file, so
 
1414
                # we fall back to the other tree to find the path if
 
1415
                # it doesn't exist locally.
 
1416
                try:
 
1417
                    filter_tree_path = wt.id2path(file_id)
 
1418
                except errors.NoSuchId:
 
1419
                    filter_tree_path = self.other_tree.id2path(file_id)
 
1420
            else:
 
1421
                # Skip the id2path lookup for older formats
 
1422
                filter_tree_path = None
 
1423
            transform.create_from_tree(self.tt, trans_id,
 
1424
                             self.other_tree, file_id,
 
1425
                             filter_tree_path=filter_tree_path)
 
1426
            return 'done', None
 
1427
        elif file_in_this:
 
1428
            # OTHER deleted the file
 
1429
            return 'delete', None
 
1430
        else:
 
1431
            raise AssertionError(
 
1432
                'winner is OTHER, but file_id %r not in THIS or OTHER tree'
 
1433
                % (file_id,))
 
1434
 
 
1435
    def merge_contents(self, merge_hook_params):
 
1436
        """Fallback merge logic after user installed hooks."""
 
1437
        # This function is used in merge hooks as the fallback instance.
 
1438
        # Perhaps making this function and the functions it calls be a 
 
1439
        # a separate class would be better.
 
1440
        if merge_hook_params.winner == 'other':
 
1441
            # OTHER is a straight winner, so replace this contents with other
 
1442
            return self._default_other_winner_merge(merge_hook_params)
 
1443
        elif merge_hook_params.is_file_merge():
 
1444
            # THIS and OTHER are both files, so text merge.  Either
 
1445
            # BASE is a file, or both converted to files, so at least we
 
1446
            # have agreement that output should be a file.
 
1447
            try:
 
1448
                self.text_merge(merge_hook_params.file_id,
 
1449
                    merge_hook_params.trans_id)
 
1450
            except errors.BinaryFile:
 
1451
                return 'not_applicable', None
 
1452
            return 'done', None
 
1453
        else:
 
1454
            return 'not_applicable', None
 
1455
 
 
1456
    def get_lines(self, tree, file_id):
 
1457
        """Return the lines in a file, or an empty list."""
 
1458
        if tree.has_id(file_id):
 
1459
            return tree.get_file_lines(file_id)
 
1460
        else:
 
1461
            return []
 
1462
 
 
1463
    def text_merge(self, file_id, trans_id):
 
1464
        """Perform a three-way text merge on a file_id"""
 
1465
        # it's possible that we got here with base as a different type.
 
1466
        # if so, we just want two-way text conflicts.
 
1467
        if self.base_tree.has_id(file_id) and \
 
1468
            self.base_tree.kind(file_id) == "file":
 
1469
            base_lines = self.get_lines(self.base_tree, file_id)
 
1470
        else:
 
1471
            base_lines = []
 
1472
        other_lines = self.get_lines(self.other_tree, file_id)
 
1473
        this_lines = self.get_lines(self.this_tree, file_id)
 
1474
        m3 = merge3.Merge3(base_lines, this_lines, other_lines,
 
1475
                           is_cherrypick=self.cherrypick)
 
1476
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
 
1477
        if self.show_base is True:
 
1478
            base_marker = '|' * 7
 
1479
        else:
 
1480
            base_marker = None
 
1481
 
 
1482
        def iter_merge3(retval):
 
1483
            retval["text_conflicts"] = False
 
1484
            for line in m3.merge_lines(name_a = "TREE",
 
1485
                                       name_b = "MERGE-SOURCE",
 
1486
                                       name_base = "BASE-REVISION",
 
1487
                                       start_marker=start_marker,
 
1488
                                       base_marker=base_marker,
 
1489
                                       reprocess=self.reprocess):
 
1490
                if line.startswith(start_marker):
 
1491
                    retval["text_conflicts"] = True
 
1492
                    yield line.replace(start_marker, '<' * 7)
 
1493
                else:
 
1494
                    yield line
 
1495
        retval = {}
 
1496
        merge3_iterator = iter_merge3(retval)
 
1497
        self.tt.create_file(merge3_iterator, trans_id)
 
1498
        if retval["text_conflicts"] is True:
 
1499
            self._raw_conflicts.append(('text conflict', trans_id))
 
1500
            name = self.tt.final_name(trans_id)
 
1501
            parent_id = self.tt.final_parent(trans_id)
 
1502
            file_group = self._dump_conflicts(name, parent_id, file_id,
 
1503
                                              this_lines, base_lines,
 
1504
                                              other_lines)
 
1505
            file_group.append(trans_id)
 
1506
 
 
1507
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None,
 
1508
                        base_lines=None, other_lines=None, set_version=False,
 
1509
                        no_base=False):
 
1510
        """Emit conflict files.
 
1511
        If this_lines, base_lines, or other_lines are omitted, they will be
 
1512
        determined automatically.  If set_version is true, the .OTHER, .THIS
 
1513
        or .BASE (in that order) will be created as versioned files.
 
1514
        """
 
1515
        data = [('OTHER', self.other_tree, other_lines),
 
1516
                ('THIS', self.this_tree, this_lines)]
 
1517
        if not no_base:
 
1518
            data.append(('BASE', self.base_tree, base_lines))
 
1519
 
 
1520
        # We need to use the actual path in the working tree of the file here,
 
1521
        # ignoring the conflict suffixes
 
1522
        wt = self.this_tree
 
1523
        if wt.supports_content_filtering():
 
1524
            try:
 
1525
                filter_tree_path = wt.id2path(file_id)
 
1526
            except errors.NoSuchId:
 
1527
                # file has been deleted
 
1528
                filter_tree_path = None
 
1529
        else:
 
1530
            # Skip the id2path lookup for older formats
 
1531
            filter_tree_path = None
 
1532
 
 
1533
        versioned = False
 
1534
        file_group = []
 
1535
        for suffix, tree, lines in data:
 
1536
            if tree.has_id(file_id):
 
1537
                trans_id = self._conflict_file(name, parent_id, tree, file_id,
 
1538
                                               suffix, lines, filter_tree_path)
 
1539
                file_group.append(trans_id)
 
1540
                if set_version and not versioned:
 
1541
                    self.tt.version_file(file_id, trans_id)
 
1542
                    versioned = True
 
1543
        return file_group
 
1544
 
 
1545
    def _conflict_file(self, name, parent_id, tree, file_id, suffix,
 
1546
                       lines=None, filter_tree_path=None):
 
1547
        """Emit a single conflict file."""
 
1548
        name = name + '.' + suffix
 
1549
        trans_id = self.tt.create_path(name, parent_id)
 
1550
        transform.create_from_tree(self.tt, trans_id, tree, file_id, lines,
 
1551
            filter_tree_path)
 
1552
        return trans_id
 
1553
 
 
1554
    def merge_executable(self, file_id, file_status):
 
1555
        """Perform a merge on the execute bit."""
 
1556
        executable = [self.executable(t, file_id) for t in (self.base_tree,
 
1557
                      self.other_tree, self.this_tree)]
 
1558
        self._merge_executable(file_id, executable, file_status,
 
1559
                               resolver=self._three_way)
 
1560
 
 
1561
    def _merge_executable(self, file_id, executable, file_status,
 
1562
                          resolver):
 
1563
        """Perform a merge on the execute bit."""
 
1564
        base_executable, other_executable, this_executable = executable
 
1565
        if file_status == "deleted":
 
1566
            return
 
1567
        winner = resolver(*executable)
 
1568
        if winner == "conflict":
 
1569
        # There must be a None in here, if we have a conflict, but we
 
1570
        # need executability since file status was not deleted.
 
1571
            if self.executable(self.other_tree, file_id) is None:
 
1572
                winner = "this"
 
1573
            else:
 
1574
                winner = "other"
 
1575
        if winner == 'this' and file_status != "modified":
 
1576
            return
 
1577
        trans_id = self.tt.trans_id_file_id(file_id)
 
1578
        if self.tt.final_kind(trans_id) != "file":
 
1579
            return
 
1580
        if winner == "this":
 
1581
            executability = this_executable
 
1582
        else:
 
1583
            if self.other_tree.has_id(file_id):
 
1584
                executability = other_executable
 
1585
            elif self.this_tree.has_id(file_id):
 
1586
                executability = this_executable
 
1587
            elif self.base_tree_has_id(file_id):
 
1588
                executability = base_executable
 
1589
        if executability is not None:
 
1590
            trans_id = self.tt.trans_id_file_id(file_id)
 
1591
            self.tt.set_executability(executability, trans_id)
 
1592
 
 
1593
    def cook_conflicts(self, fs_conflicts):
 
1594
        """Convert all conflicts into a form that doesn't depend on trans_id"""
 
1595
        self.cooked_conflicts.extend(transform.cook_conflicts(
 
1596
                fs_conflicts, self.tt))
 
1597
        fp = transform.FinalPaths(self.tt)
 
1598
        for conflict in self._raw_conflicts:
 
1599
            conflict_type = conflict[0]
 
1600
            if conflict_type == 'path conflict':
 
1601
                (trans_id, file_id,
 
1602
                this_parent, this_name,
 
1603
                other_parent, other_name) = conflict[1:]
 
1604
                if this_parent is None or this_name is None:
 
1605
                    this_path = '<deleted>'
 
1606
                else:
 
1607
                    parent_path =  fp.get_path(
 
1608
                        self.tt.trans_id_file_id(this_parent))
 
1609
                    this_path = osutils.pathjoin(parent_path, this_name)
 
1610
                if other_parent is None or other_name is None:
 
1611
                    other_path = '<deleted>'
 
1612
                else:
 
1613
                    parent_path =  fp.get_path(
 
1614
                        self.tt.trans_id_file_id(other_parent))
 
1615
                    other_path = osutils.pathjoin(parent_path, other_name)
 
1616
                c = _mod_conflicts.Conflict.factory(
 
1617
                    'path conflict', path=this_path,
 
1618
                    conflict_path=other_path,
 
1619
                    file_id=file_id)
 
1620
            elif conflict_type == 'contents conflict':
 
1621
                for trans_id in conflict[1]:
 
1622
                    file_id = self.tt.final_file_id(trans_id)
 
1623
                    if file_id is not None:
 
1624
                        break
 
1625
                path = fp.get_path(trans_id)
 
1626
                for suffix in ('.BASE', '.THIS', '.OTHER'):
 
1627
                    if path.endswith(suffix):
 
1628
                        path = path[:-len(suffix)]
 
1629
                        break
 
1630
                c = _mod_conflicts.Conflict.factory(conflict_type,
 
1631
                                                    path=path, file_id=file_id)
 
1632
            elif conflict_type == 'text conflict':
 
1633
                trans_id = conflict[1]
 
1634
                path = fp.get_path(trans_id)
 
1635
                file_id = self.tt.final_file_id(trans_id)
 
1636
                c = _mod_conflicts.Conflict.factory(conflict_type,
 
1637
                                                    path=path, file_id=file_id)
 
1638
            else:
 
1639
                raise AssertionError('bad conflict type: %r' % (conflict,))
 
1640
            self.cooked_conflicts.append(c)
 
1641
        self.cooked_conflicts.sort(key=_mod_conflicts.Conflict.sort_key)
 
1642
 
 
1643
 
 
1644
class WeaveMerger(Merge3Merger):
 
1645
    """Three-way tree merger, text weave merger."""
 
1646
    supports_reprocess = True
 
1647
    supports_show_base = False
 
1648
    supports_reverse_cherrypick = False
 
1649
    history_based = True
 
1650
 
 
1651
    def _generate_merge_plan(self, file_id, base):
 
1652
        return self.this_tree.plan_file_merge(file_id, self.other_tree,
 
1653
                                              base=base)
 
1654
 
 
1655
    def _merged_lines(self, file_id):
 
1656
        """Generate the merged lines.
 
1657
        There is no distinction between lines that are meant to contain <<<<<<<
 
1658
        and conflicts.
 
1659
        """
 
1660
        if self.cherrypick:
 
1661
            base = self.base_tree
 
1662
        else:
 
1663
            base = None
 
1664
        plan = self._generate_merge_plan(file_id, base)
 
1665
        if 'merge' in debug.debug_flags:
 
1666
            plan = list(plan)
 
1667
            trans_id = self.tt.trans_id_file_id(file_id)
 
1668
            name = self.tt.final_name(trans_id) + '.plan'
 
1669
            contents = ('%11s|%s' % l for l in plan)
 
1670
            self.tt.new_file(name, self.tt.final_parent(trans_id), contents)
 
1671
        textmerge = versionedfile.PlanWeaveMerge(plan, '<<<<<<< TREE\n',
 
1672
                                                 '>>>>>>> MERGE-SOURCE\n')
 
1673
        lines, conflicts = textmerge.merge_lines(self.reprocess)
 
1674
        if conflicts:
 
1675
            base_lines = textmerge.base_from_plan()
 
1676
        else:
 
1677
            base_lines = None
 
1678
        return lines, base_lines
 
1679
 
 
1680
    def text_merge(self, file_id, trans_id):
 
1681
        """Perform a (weave) text merge for a given file and file-id.
 
1682
        If conflicts are encountered, .THIS and .OTHER files will be emitted,
 
1683
        and a conflict will be noted.
 
1684
        """
 
1685
        lines, base_lines = self._merged_lines(file_id)
 
1686
        lines = list(lines)
 
1687
        # Note we're checking whether the OUTPUT is binary in this case,
 
1688
        # because we don't want to get into weave merge guts.
 
1689
        textfile.check_text_lines(lines)
 
1690
        self.tt.create_file(lines, trans_id)
 
1691
        if base_lines is not None:
 
1692
            # Conflict
 
1693
            self._raw_conflicts.append(('text conflict', trans_id))
 
1694
            name = self.tt.final_name(trans_id)
 
1695
            parent_id = self.tt.final_parent(trans_id)
 
1696
            file_group = self._dump_conflicts(name, parent_id, file_id,
 
1697
                                              no_base=False,
 
1698
                                              base_lines=base_lines)
 
1699
            file_group.append(trans_id)
 
1700
 
 
1701
 
 
1702
class LCAMerger(WeaveMerger):
 
1703
 
 
1704
    def _generate_merge_plan(self, file_id, base):
 
1705
        return self.this_tree.plan_file_lca_merge(file_id, self.other_tree,
 
1706
                                                  base=base)
 
1707
 
 
1708
class Diff3Merger(Merge3Merger):
 
1709
    """Three-way merger using external diff3 for text merging"""
 
1710
 
 
1711
    def dump_file(self, temp_dir, name, tree, file_id):
 
1712
        out_path = osutils.pathjoin(temp_dir, name)
 
1713
        out_file = open(out_path, "wb")
 
1714
        try:
 
1715
            in_file = tree.get_file(file_id)
 
1716
            for line in in_file:
 
1717
                out_file.write(line)
 
1718
        finally:
 
1719
            out_file.close()
 
1720
        return out_path
 
1721
 
 
1722
    def text_merge(self, file_id, trans_id):
 
1723
        """Perform a diff3 merge using a specified file-id and trans-id.
 
1724
        If conflicts are encountered, .BASE, .THIS. and .OTHER conflict files
 
1725
        will be dumped, and a will be conflict noted.
 
1726
        """
 
1727
        import bzrlib.patch
 
1728
        temp_dir = osutils.mkdtemp(prefix="bzr-")
 
1729
        try:
 
1730
            new_file = osutils.pathjoin(temp_dir, "new")
 
1731
            this = self.dump_file(temp_dir, "this", self.this_tree, file_id)
 
1732
            base = self.dump_file(temp_dir, "base", self.base_tree, file_id)
 
1733
            other = self.dump_file(temp_dir, "other", self.other_tree, file_id)
 
1734
            status = bzrlib.patch.diff3(new_file, this, base, other)
 
1735
            if status not in (0, 1):
 
1736
                raise errors.BzrError("Unhandled diff3 exit code")
 
1737
            f = open(new_file, 'rb')
 
1738
            try:
 
1739
                self.tt.create_file(f, trans_id)
 
1740
            finally:
 
1741
                f.close()
 
1742
            if status == 1:
 
1743
                name = self.tt.final_name(trans_id)
 
1744
                parent_id = self.tt.final_parent(trans_id)
 
1745
                self._dump_conflicts(name, parent_id, file_id)
 
1746
                self._raw_conflicts.append(('text conflict', trans_id))
 
1747
        finally:
 
1748
            osutils.rmtree(temp_dir)
 
1749
 
 
1750
 
 
1751
class PathNotInTree(errors.BzrError):
 
1752
 
 
1753
    _fmt = """Merge-into failed because %(tree)s does not contain %(path)s."""
 
1754
 
 
1755
    def __init__(self, path, tree):
 
1756
        errors.BzrError.__init__(self, path=path, tree=tree)
 
1757
 
 
1758
 
 
1759
class MergeIntoMerger(Merger):
 
1760
    """Merger that understands other_tree will be merged into a subdir.
 
1761
 
 
1762
    This also changes the Merger api so that it uses real Branch, revision_id,
 
1763
    and RevisonTree objects, rather than using revision specs.
 
1764
    """
 
1765
 
 
1766
    def __init__(self, this_tree, other_branch, other_tree, target_subdir,
 
1767
            source_subpath, other_rev_id=None):
 
1768
        """Create a new MergeIntoMerger object.
 
1769
 
 
1770
        source_subpath in other_tree will be effectively copied to
 
1771
        target_subdir in this_tree.
 
1772
 
 
1773
        :param this_tree: The tree that we will be merging into.
 
1774
        :param other_branch: The Branch we will be merging from.
 
1775
        :param other_tree: The RevisionTree object we want to merge.
 
1776
        :param target_subdir: The relative path where we want to merge
 
1777
            other_tree into this_tree
 
1778
        :param source_subpath: The relative path specifying the subtree of
 
1779
            other_tree to merge into this_tree.
 
1780
        """
 
1781
        # It is assumed that we are merging a tree that is not in our current
 
1782
        # ancestry, which means we are using the "EmptyTree" as our basis.
 
1783
        null_ancestor_tree = this_tree.branch.repository.revision_tree(
 
1784
                                _mod_revision.NULL_REVISION)
 
1785
        super(MergeIntoMerger, self).__init__(
 
1786
            this_branch=this_tree.branch,
 
1787
            this_tree=this_tree,
 
1788
            other_tree=other_tree,
 
1789
            base_tree=null_ancestor_tree,
 
1790
            )
 
1791
        self._target_subdir = target_subdir
 
1792
        self._source_subpath = source_subpath
 
1793
        self.other_branch = other_branch
278
1794
        if other_rev_id is None:
279
 
            raise NoCommits(other_branch)
280
 
        other_basis = other_rev_id
281
 
    elif other_revision[1] is not None:
282
 
        other_rev_id = other_branch.get_rev_id(other_revision[1])
283
 
        other_basis = other_rev_id
284
 
    else:
285
 
        other_rev_id = None
286
 
        other_basis = other_branch.last_revision()
287
 
        if other_basis is None:
288
 
            raise NoCommits(other_branch)
289
 
    if base_revision == [None, None]:
 
1795
            other_rev_id = other_tree.get_revision_id()
 
1796
        self.other_rev_id = self.other_basis = other_rev_id
 
1797
        self.base_is_ancestor = True
 
1798
        self.backup_files = True
 
1799
        self.merge_type = Merge3Merger
 
1800
        self.show_base = False
 
1801
        self.reprocess = False
 
1802
        self.interesting_ids = None
 
1803
        self.merge_type = _MergeTypeParameterizer(MergeIntoMergeType,
 
1804
              target_subdir=self._target_subdir,
 
1805
              source_subpath=self._source_subpath)
 
1806
        if self._source_subpath != '':
 
1807
            # If this isn't a partial merge make sure the revisions will be
 
1808
            # present.
 
1809
            self._maybe_fetch(self.other_branch, self.this_branch,
 
1810
                self.other_basis)
 
1811
 
 
1812
    def set_pending(self):
 
1813
        if self._source_subpath != '':
 
1814
            return
 
1815
        Merger.set_pending(self)
 
1816
 
 
1817
 
 
1818
class _MergeTypeParameterizer(object):
 
1819
    """Wrap a merge-type class to provide extra parameters.
 
1820
    
 
1821
    This is hack used by MergeIntoMerger to pass some extra parameters to its
 
1822
    merge_type.  Merger.do_merge() sets up its own set of parameters to pass to
 
1823
    the 'merge_type' member.  It is difficult override do_merge without
 
1824
    re-writing the whole thing, so instead we create a wrapper which will pass
 
1825
    the extra parameters.
 
1826
    """
 
1827
 
 
1828
    def __init__(self, merge_type, **kwargs):
 
1829
        self._extra_kwargs = kwargs
 
1830
        self._merge_type = merge_type
 
1831
 
 
1832
    def __call__(self, *args, **kwargs):
 
1833
        kwargs.update(self._extra_kwargs)
 
1834
        return self._merge_type(*args, **kwargs)
 
1835
 
 
1836
    def __getattr__(self, name):
 
1837
        return getattr(self._merge_type, name)
 
1838
 
 
1839
 
 
1840
class MergeIntoMergeType(Merge3Merger):
 
1841
    """Merger that incorporates a tree (or part of a tree) into another."""
 
1842
 
 
1843
    def __init__(self, *args, **kwargs):
 
1844
        """Initialize the merger object.
 
1845
 
 
1846
        :param args: See Merge3Merger.__init__'s args.
 
1847
        :param kwargs: See Merge3Merger.__init__'s keyword args, except for
 
1848
            source_subpath and target_subdir.
 
1849
        :keyword source_subpath: The relative path specifying the subtree of
 
1850
            other_tree to merge into this_tree.
 
1851
        :keyword target_subdir: The relative path where we want to merge
 
1852
            other_tree into this_tree
 
1853
        """
 
1854
        # All of the interesting work happens during Merge3Merger.__init__(),
 
1855
        # so we have have to hack in to get our extra parameters set.
 
1856
        self._source_subpath = kwargs.pop('source_subpath')
 
1857
        self._target_subdir = kwargs.pop('target_subdir')
 
1858
        super(MergeIntoMergeType, self).__init__(*args, **kwargs)
 
1859
 
 
1860
    def _compute_transform(self):
 
1861
        child_pb = ui.ui_factory.nested_progress_bar()
290
1862
        try:
291
 
            base_rev_id = common_ancestor(this_rev_id, other_basis, 
292
 
                                          this_branch)
293
 
        except NoCommonAncestor:
294
 
            raise UnrelatedBranches()
295
 
        base_tree = get_revid_tree(this_branch, base_rev_id, None)
296
 
        base_is_ancestor = True
297
 
    else:
298
 
        base_branch, base_tree = get_tree(base_revision)
299
 
        if base_revision[1] == -1:
300
 
            base_rev_id = base_branch.last_revision()
301
 
        elif base_revision[1] is None:
302
 
            base_rev_id = None
303
 
        else:
304
 
            base_rev_id = base_branch.get_rev_id(base_revision[1])
305
 
        fetch(from_branch=base_branch, to_branch=this_branch)
306
 
        base_is_ancestor = is_ancestor(this_rev_id, base_rev_id,
307
 
                                       this_branch)
308
 
    if file_list is None:
309
 
        interesting_ids = None
310
 
    else:
311
 
        interesting_ids = set()
312
 
        this_tree = this_branch.working_tree()
313
 
        for fname in file_list:
314
 
            path = this_tree.relpath(fname)
315
 
            found_id = False
316
 
            for tree in (this_tree, base_tree, other_tree):
317
 
                file_id = tree.inventory.path2id(path)
318
 
                if file_id is not None:
319
 
                    interesting_ids.add(file_id)
320
 
                    found_id = True
321
 
            if not found_id:
322
 
                raise BzrCommandError("%s is not a source file in any"
323
 
                                      " tree." % fname)
324
 
    merge_inner(this_branch, other_tree, base_tree, tempdir=None, 
325
 
                ignore_zero=ignore_zero, backup_files=backup_files, 
326
 
                merge_type=merge_type, interesting_ids=interesting_ids)
327
 
    if base_is_ancestor and other_rev_id is not None\
328
 
        and other_rev_id not in this_branch.revision_history():
329
 
        this_branch.add_pending_merge(other_rev_id)
330
 
 
331
 
 
332
 
def set_interesting(inventory_a, inventory_b, interesting_ids):
333
 
    """Mark files whose ids are in interesting_ids as interesting
334
 
    """
335
 
    for inventory in (inventory_a, inventory_b):
336
 
        for path, source_file in inventory.iteritems():
337
 
             source_file.interesting = source_file.id in interesting_ids
338
 
 
339
 
 
340
 
def merge_inner(this_branch, other_tree, base_tree, tempdir=None, 
341
 
                ignore_zero=False, merge_type=ApplyMerge3, backup_files=False,
342
 
                interesting_ids=None):
343
 
    """Primary interface for merging. 
344
 
 
345
 
    typical use is probably 
346
 
    'merge_inner(branch, branch.get_revision_tree(other_revision),
347
 
                 branch.get_revision_tree(base_revision))'
348
 
    """
349
 
    if tempdir is None:
350
 
        _tempdir = tempfile.mkdtemp(prefix="bzr-")
351
 
    else:
352
 
        _tempdir = tempdir
353
 
    try:
354
 
        _merge_inner(this_branch, other_tree, base_tree, _tempdir,
355
 
                     ignore_zero, merge_type, backup_files, interesting_ids)
356
 
    finally:
357
 
        if tempdir is None:
358
 
            shutil.rmtree(_tempdir)
359
 
 
360
 
 
361
 
def _merge_inner(this_branch, other_tree, base_tree, user_tempdir, 
362
 
                ignore_zero=False, merge_type=ApplyMerge3, backup_files=False,
363
 
                interesting_ids=None):
364
 
    def merge_factory(file_id, base, other):
365
 
        contents_change = merge_type(file_id, base, other)
366
 
        if backup_files:
367
 
            contents_change = BackupBeforeChange(contents_change)
368
 
        return contents_change
369
 
 
370
 
    this_tree = get_tree((this_branch.base, None))[1]
371
 
 
372
 
    def get_inventory(tree):
373
 
        return tree.inventory
374
 
 
375
 
    inv_changes = merge_flex(this_tree, base_tree, other_tree,
376
 
                             generate_changeset, get_inventory,
377
 
                             MergeConflictHandler(this_tree, base_tree,
378
 
                             other_tree, ignore_zero=ignore_zero),
379
 
                             merge_factory=merge_factory, 
380
 
                             interesting_ids=interesting_ids)
381
 
 
382
 
    adjust_ids = []
383
 
    for id, path in inv_changes.iteritems():
384
 
        if path is not None:
385
 
            if path == '.':
386
 
                path = ''
387
 
            else:
388
 
                assert path.startswith('.' + os.sep), "path is %s" % path
389
 
            path = path[2:]
390
 
        adjust_ids.append((path, id))
391
 
    if len(adjust_ids) > 0:
392
 
        this_branch.set_inventory(regen_inventory(this_branch, 
393
 
                                                  this_tree.basedir,
394
 
                                                  adjust_ids))
395
 
 
396
 
 
397
 
def regen_inventory(this_branch, root, new_entries):
398
 
    old_entries = this_branch.read_working_inventory()
399
 
    new_inventory = {}
400
 
    by_path = {}
401
 
    new_entries_map = {} 
402
 
    for path, file_id in new_entries:
403
 
        if path is None:
404
 
            continue
405
 
        new_entries_map[file_id] = path
406
 
 
407
 
    def id2path(file_id):
408
 
        path = new_entries_map.get(file_id)
409
 
        if path is not None:
410
 
            return path
411
 
        entry = old_entries[file_id]
412
 
        if entry.parent_id is None:
413
 
            return entry.name
414
 
        return os.path.join(id2path(entry.parent_id), entry.name)
415
 
        
416
 
    for file_id in old_entries:
417
 
        entry = old_entries[file_id]
418
 
        path = id2path(file_id)
419
 
        new_inventory[file_id] = (path, file_id, entry.parent_id, entry.kind)
420
 
        by_path[path] = file_id
421
 
    
422
 
    deletions = 0
423
 
    insertions = 0
424
 
    new_path_list = []
425
 
    for path, file_id in new_entries:
426
 
        if path is None:
427
 
            del new_inventory[file_id]
428
 
            deletions += 1
429
 
        else:
430
 
            new_path_list.append((path, file_id))
431
 
            if file_id not in old_entries:
432
 
                insertions += 1
433
 
    # Ensure no file is added before its parent
434
 
    new_path_list.sort()
435
 
    for path, file_id in new_path_list:
436
 
        if path == '':
437
 
            parent = None
438
 
        else:
439
 
            parent = by_path[os.path.dirname(path)]
440
 
        kind = bzrlib.osutils.file_kind(os.path.join(root, path))
441
 
        new_inventory[file_id] = (path, file_id, parent, kind)
442
 
        by_path[path] = file_id 
443
 
 
444
 
    # Get a list in insertion order
445
 
    new_inventory_list = new_inventory.values()
446
 
    mutter ("""Inventory regeneration:
447
 
old length: %i insertions: %i deletions: %i new_length: %i"""\
448
 
        % (len(old_entries), insertions, deletions, len(new_inventory_list)))
449
 
    assert len(new_inventory_list) == len(old_entries) + insertions - deletions
450
 
    new_inventory_list.sort()
451
 
    return new_inventory_list
452
 
 
453
 
merge_types = {     "merge3": (ApplyMerge3, "Native diff3-style merge"), 
454
 
                     "diff3": (Diff3Merge,  "Merge using external diff3")
455
 
              }
456
 
 
 
1863
            entries = self._entries_to_incorporate()
 
1864
            entries = list(entries)
 
1865
            for num, (entry, parent_id) in enumerate(entries):
 
1866
                child_pb.update('Preparing file merge', num, len(entries))
 
1867
                parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
1868
                trans_id = transform.new_by_entry(self.tt, entry,
 
1869
                    parent_trans_id, self.other_tree)
 
1870
        finally:
 
1871
            child_pb.finished()
 
1872
        self._finish_computing_transform()
 
1873
 
 
1874
    def _entries_to_incorporate(self):
 
1875
        """Yields pairs of (inventory_entry, new_parent)."""
 
1876
        other_inv = self.other_tree.inventory
 
1877
        subdir_id = other_inv.path2id(self._source_subpath)
 
1878
        if subdir_id is None:
 
1879
            # XXX: The error would be clearer if it gave the URL of the source
 
1880
            # branch, but we don't have a reference to that here.
 
1881
            raise PathNotInTree(self._source_subpath, "Source tree")
 
1882
        subdir = other_inv[subdir_id]
 
1883
        parent_in_target = osutils.dirname(self._target_subdir)
 
1884
        target_id = self.this_tree.inventory.path2id(parent_in_target)
 
1885
        if target_id is None:
 
1886
            raise PathNotInTree(self._target_subdir, "Target tree")
 
1887
        name_in_target = osutils.basename(self._target_subdir)
 
1888
        merge_into_root = subdir.copy()
 
1889
        merge_into_root.name = name_in_target
 
1890
        if merge_into_root.file_id in self.this_tree.inventory:
 
1891
            # Give the root a new file-id.
 
1892
            # This can happen fairly easily if the directory we are
 
1893
            # incorporating is the root, and both trees have 'TREE_ROOT' as
 
1894
            # their root_id.  Users will expect this to Just Work, so we
 
1895
            # change the file-id here.
 
1896
            # Non-root file-ids could potentially conflict too.  That's really
 
1897
            # an edge case, so we don't do anything special for those.  We let
 
1898
            # them cause conflicts.
 
1899
            merge_into_root.file_id = generate_ids.gen_file_id(name_in_target)
 
1900
        yield (merge_into_root, target_id)
 
1901
        if subdir.kind != 'directory':
 
1902
            # No children, so we are done.
 
1903
            return
 
1904
        for ignored_path, entry in other_inv.iter_entries_by_dir(subdir_id):
 
1905
            parent_id = entry.parent_id
 
1906
            if parent_id == subdir.file_id:
 
1907
                # The root's parent ID has changed, so make sure children of
 
1908
                # the root refer to the new ID.
 
1909
                parent_id = merge_into_root.file_id
 
1910
            yield (entry, parent_id)
 
1911
 
 
1912
 
 
1913
def merge_inner(this_branch, other_tree, base_tree, ignore_zero=False,
 
1914
                backup_files=False,
 
1915
                merge_type=Merge3Merger,
 
1916
                interesting_ids=None,
 
1917
                show_base=False,
 
1918
                reprocess=False,
 
1919
                other_rev_id=None,
 
1920
                interesting_files=None,
 
1921
                this_tree=None,
 
1922
                pb=None,
 
1923
                change_reporter=None):
 
1924
    """Primary interface for merging.
 
1925
 
 
1926
    Typical use is probably::
 
1927
 
 
1928
        merge_inner(branch, branch.get_revision_tree(other_revision),
 
1929
                    branch.get_revision_tree(base_revision))
 
1930
    """
 
1931
    if this_tree is None:
 
1932
        raise errors.BzrError("bzrlib.merge.merge_inner requires a this_tree "
 
1933
                              "parameter as of bzrlib version 0.8.")
 
1934
    merger = Merger(this_branch, other_tree, base_tree, this_tree=this_tree,
 
1935
                    pb=pb, change_reporter=change_reporter)
 
1936
    merger.backup_files = backup_files
 
1937
    merger.merge_type = merge_type
 
1938
    merger.interesting_ids = interesting_ids
 
1939
    merger.ignore_zero = ignore_zero
 
1940
    if interesting_files:
 
1941
        if interesting_ids:
 
1942
            raise ValueError('Only supply interesting_ids'
 
1943
                             ' or interesting_files')
 
1944
        merger.interesting_files = interesting_files
 
1945
    merger.show_base = show_base
 
1946
    merger.reprocess = reprocess
 
1947
    merger.other_rev_id = other_rev_id
 
1948
    merger.other_basis = other_rev_id
 
1949
    get_revision_id = getattr(base_tree, 'get_revision_id', None)
 
1950
    if get_revision_id is None:
 
1951
        get_revision_id = base_tree.last_revision
 
1952
    merger.cache_trees_with_revision_ids([other_tree, base_tree, this_tree])
 
1953
    merger.set_base_revision(get_revision_id(), this_branch)
 
1954
    return merger.do_merge()
 
1955
 
 
1956
def get_merge_type_registry():
 
1957
    """Merge type registry is in bzrlib.option to avoid circular imports.
 
1958
 
 
1959
    This method provides a sanctioned way to retrieve it.
 
1960
    """
 
1961
    from bzrlib import option
 
1962
    return option._merge_type_registry
 
1963
 
 
1964
 
 
1965
def _plan_annotate_merge(annotated_a, annotated_b, ancestors_a, ancestors_b):
 
1966
    def status_a(revision, text):
 
1967
        if revision in ancestors_b:
 
1968
            return 'killed-b', text
 
1969
        else:
 
1970
            return 'new-a', text
 
1971
 
 
1972
    def status_b(revision, text):
 
1973
        if revision in ancestors_a:
 
1974
            return 'killed-a', text
 
1975
        else:
 
1976
            return 'new-b', text
 
1977
 
 
1978
    plain_a = [t for (a, t) in annotated_a]
 
1979
    plain_b = [t for (a, t) in annotated_b]
 
1980
    matcher = patiencediff.PatienceSequenceMatcher(None, plain_a, plain_b)
 
1981
    blocks = matcher.get_matching_blocks()
 
1982
    a_cur = 0
 
1983
    b_cur = 0
 
1984
    for ai, bi, l in blocks:
 
1985
        # process all mismatched sections
 
1986
        # (last mismatched section is handled because blocks always
 
1987
        # includes a 0-length last block)
 
1988
        for revision, text in annotated_a[a_cur:ai]:
 
1989
            yield status_a(revision, text)
 
1990
        for revision, text in annotated_b[b_cur:bi]:
 
1991
            yield status_b(revision, text)
 
1992
        # and now the matched section
 
1993
        a_cur = ai + l
 
1994
        b_cur = bi + l
 
1995
        for text_a in plain_a[ai:a_cur]:
 
1996
            yield "unchanged", text_a
 
1997
 
 
1998
 
 
1999
class _PlanMergeBase(object):
 
2000
 
 
2001
    def __init__(self, a_rev, b_rev, vf, key_prefix):
 
2002
        """Contructor.
 
2003
 
 
2004
        :param a_rev: Revision-id of one revision to merge
 
2005
        :param b_rev: Revision-id of the other revision to merge
 
2006
        :param vf: A VersionedFiles containing both revisions
 
2007
        :param key_prefix: A prefix for accessing keys in vf, typically
 
2008
            (file_id,).
 
2009
        """
 
2010
        self.a_rev = a_rev
 
2011
        self.b_rev = b_rev
 
2012
        self.vf = vf
 
2013
        self._last_lines = None
 
2014
        self._last_lines_revision_id = None
 
2015
        self._cached_matching_blocks = {}
 
2016
        self._key_prefix = key_prefix
 
2017
        self._precache_tip_lines()
 
2018
 
 
2019
    def _precache_tip_lines(self):
 
2020
        lines = self.get_lines([self.a_rev, self.b_rev])
 
2021
        self.lines_a = lines[self.a_rev]
 
2022
        self.lines_b = lines[self.b_rev]
 
2023
 
 
2024
    def get_lines(self, revisions):
 
2025
        """Get lines for revisions from the backing VersionedFiles.
 
2026
 
 
2027
        :raises RevisionNotPresent: on absent texts.
 
2028
        """
 
2029
        keys = [(self._key_prefix + (rev,)) for rev in revisions]
 
2030
        result = {}
 
2031
        for record in self.vf.get_record_stream(keys, 'unordered', True):
 
2032
            if record.storage_kind == 'absent':
 
2033
                raise errors.RevisionNotPresent(record.key, self.vf)
 
2034
            result[record.key[-1]] = osutils.chunks_to_lines(
 
2035
                record.get_bytes_as('chunked'))
 
2036
        return result
 
2037
 
 
2038
    def plan_merge(self):
 
2039
        """Generate a 'plan' for merging the two revisions.
 
2040
 
 
2041
        This involves comparing their texts and determining the cause of
 
2042
        differences.  If text A has a line and text B does not, then either the
 
2043
        line was added to text A, or it was deleted from B.  Once the causes
 
2044
        are combined, they are written out in the format described in
 
2045
        VersionedFile.plan_merge
 
2046
        """
 
2047
        blocks = self._get_matching_blocks(self.a_rev, self.b_rev)
 
2048
        unique_a, unique_b = self._unique_lines(blocks)
 
2049
        new_a, killed_b = self._determine_status(self.a_rev, unique_a)
 
2050
        new_b, killed_a = self._determine_status(self.b_rev, unique_b)
 
2051
        return self._iter_plan(blocks, new_a, killed_b, new_b, killed_a)
 
2052
 
 
2053
    def _iter_plan(self, blocks, new_a, killed_b, new_b, killed_a):
 
2054
        last_i = 0
 
2055
        last_j = 0
 
2056
        for i, j, n in blocks:
 
2057
            for a_index in range(last_i, i):
 
2058
                if a_index in new_a:
 
2059
                    if a_index in killed_b:
 
2060
                        yield 'conflicted-a', self.lines_a[a_index]
 
2061
                    else:
 
2062
                        yield 'new-a', self.lines_a[a_index]
 
2063
                else:
 
2064
                    yield 'killed-b', self.lines_a[a_index]
 
2065
            for b_index in range(last_j, j):
 
2066
                if b_index in new_b:
 
2067
                    if b_index in killed_a:
 
2068
                        yield 'conflicted-b', self.lines_b[b_index]
 
2069
                    else:
 
2070
                        yield 'new-b', self.lines_b[b_index]
 
2071
                else:
 
2072
                    yield 'killed-a', self.lines_b[b_index]
 
2073
            # handle common lines
 
2074
            for a_index in range(i, i+n):
 
2075
                yield 'unchanged', self.lines_a[a_index]
 
2076
            last_i = i+n
 
2077
            last_j = j+n
 
2078
 
 
2079
    def _get_matching_blocks(self, left_revision, right_revision):
 
2080
        """Return a description of which sections of two revisions match.
 
2081
 
 
2082
        See SequenceMatcher.get_matching_blocks
 
2083
        """
 
2084
        cached = self._cached_matching_blocks.get((left_revision,
 
2085
                                                   right_revision))
 
2086
        if cached is not None:
 
2087
            return cached
 
2088
        if self._last_lines_revision_id == left_revision:
 
2089
            left_lines = self._last_lines
 
2090
            right_lines = self.get_lines([right_revision])[right_revision]
 
2091
        else:
 
2092
            lines = self.get_lines([left_revision, right_revision])
 
2093
            left_lines = lines[left_revision]
 
2094
            right_lines = lines[right_revision]
 
2095
        self._last_lines = right_lines
 
2096
        self._last_lines_revision_id = right_revision
 
2097
        matcher = patiencediff.PatienceSequenceMatcher(None, left_lines,
 
2098
                                                       right_lines)
 
2099
        return matcher.get_matching_blocks()
 
2100
 
 
2101
    def _unique_lines(self, matching_blocks):
 
2102
        """Analyse matching_blocks to determine which lines are unique
 
2103
 
 
2104
        :return: a tuple of (unique_left, unique_right), where the values are
 
2105
            sets of line numbers of unique lines.
 
2106
        """
 
2107
        last_i = 0
 
2108
        last_j = 0
 
2109
        unique_left = []
 
2110
        unique_right = []
 
2111
        for i, j, n in matching_blocks:
 
2112
            unique_left.extend(range(last_i, i))
 
2113
            unique_right.extend(range(last_j, j))
 
2114
            last_i = i + n
 
2115
            last_j = j + n
 
2116
        return unique_left, unique_right
 
2117
 
 
2118
    @staticmethod
 
2119
    def _subtract_plans(old_plan, new_plan):
 
2120
        """Remove changes from new_plan that came from old_plan.
 
2121
 
 
2122
        It is assumed that the difference between the old_plan and new_plan
 
2123
        is their choice of 'b' text.
 
2124
 
 
2125
        All lines from new_plan that differ from old_plan are emitted
 
2126
        verbatim.  All lines from new_plan that match old_plan but are
 
2127
        not about the 'b' revision are emitted verbatim.
 
2128
 
 
2129
        Lines that match and are about the 'b' revision are the lines we
 
2130
        don't want, so we convert 'killed-b' -> 'unchanged', and 'new-b'
 
2131
        is skipped entirely.
 
2132
        """
 
2133
        matcher = patiencediff.PatienceSequenceMatcher(None, old_plan,
 
2134
                                                       new_plan)
 
2135
        last_j = 0
 
2136
        for i, j, n in matcher.get_matching_blocks():
 
2137
            for jj in range(last_j, j):
 
2138
                yield new_plan[jj]
 
2139
            for jj in range(j, j+n):
 
2140
                plan_line = new_plan[jj]
 
2141
                if plan_line[0] == 'new-b':
 
2142
                    pass
 
2143
                elif plan_line[0] == 'killed-b':
 
2144
                    yield 'unchanged', plan_line[1]
 
2145
                else:
 
2146
                    yield plan_line
 
2147
            last_j = j + n
 
2148
 
 
2149
 
 
2150
class _PlanMerge(_PlanMergeBase):
 
2151
    """Plan an annotate merge using on-the-fly annotation"""
 
2152
 
 
2153
    def __init__(self, a_rev, b_rev, vf, key_prefix):
 
2154
        super(_PlanMerge, self).__init__(a_rev, b_rev, vf, key_prefix)
 
2155
        self.a_key = self._key_prefix + (self.a_rev,)
 
2156
        self.b_key = self._key_prefix + (self.b_rev,)
 
2157
        self.graph = _mod_graph.Graph(self.vf)
 
2158
        heads = self.graph.heads((self.a_key, self.b_key))
 
2159
        if len(heads) == 1:
 
2160
            # one side dominates, so we can just return its values, yay for
 
2161
            # per-file graphs
 
2162
            # Ideally we would know that before we get this far
 
2163
            self._head_key = heads.pop()
 
2164
            if self._head_key == self.a_key:
 
2165
                other = b_rev
 
2166
            else:
 
2167
                other = a_rev
 
2168
            trace.mutter('found dominating revision for %s\n%s > %s', self.vf,
 
2169
                         self._head_key[-1], other)
 
2170
            self._weave = None
 
2171
        else:
 
2172
            self._head_key = None
 
2173
            self._build_weave()
 
2174
 
 
2175
    def _precache_tip_lines(self):
 
2176
        # Turn this into a no-op, because we will do this later
 
2177
        pass
 
2178
 
 
2179
    def _find_recursive_lcas(self):
 
2180
        """Find all the ancestors back to a unique lca"""
 
2181
        cur_ancestors = (self.a_key, self.b_key)
 
2182
        # graph.find_lca(uncommon, keys) now returns plain NULL_REVISION,
 
2183
        # rather than a key tuple. We will just map that directly to no common
 
2184
        # ancestors.
 
2185
        parent_map = {}
 
2186
        while True:
 
2187
            next_lcas = self.graph.find_lca(*cur_ancestors)
 
2188
            # Map a plain NULL_REVISION to a simple no-ancestors
 
2189
            if next_lcas == set([_mod_revision.NULL_REVISION]):
 
2190
                next_lcas = ()
 
2191
            # Order the lca's based on when they were merged into the tip
 
2192
            # While the actual merge portion of weave merge uses a set() of
 
2193
            # active revisions, the order of insertion *does* effect the
 
2194
            # implicit ordering of the texts.
 
2195
            for rev_key in cur_ancestors:
 
2196
                ordered_parents = tuple(self.graph.find_merge_order(rev_key,
 
2197
                                                                    next_lcas))
 
2198
                parent_map[rev_key] = ordered_parents
 
2199
            if len(next_lcas) == 0:
 
2200
                break
 
2201
            elif len(next_lcas) == 1:
 
2202
                parent_map[list(next_lcas)[0]] = ()
 
2203
                break
 
2204
            elif len(next_lcas) > 2:
 
2205
                # More than 2 lca's, fall back to grabbing all nodes between
 
2206
                # this and the unique lca.
 
2207
                trace.mutter('More than 2 LCAs, falling back to all nodes for:'
 
2208
                             ' %s, %s\n=> %s',
 
2209
                             self.a_key, self.b_key, cur_ancestors)
 
2210
                cur_lcas = next_lcas
 
2211
                while len(cur_lcas) > 1:
 
2212
                    cur_lcas = self.graph.find_lca(*cur_lcas)
 
2213
                if len(cur_lcas) == 0:
 
2214
                    # No common base to find, use the full ancestry
 
2215
                    unique_lca = None
 
2216
                else:
 
2217
                    unique_lca = list(cur_lcas)[0]
 
2218
                    if unique_lca == _mod_revision.NULL_REVISION:
 
2219
                        # find_lca will return a plain 'NULL_REVISION' rather
 
2220
                        # than a key tuple when there is no common ancestor, we
 
2221
                        # prefer to just use None, because it doesn't confuse
 
2222
                        # _get_interesting_texts()
 
2223
                        unique_lca = None
 
2224
                parent_map.update(self._find_unique_parents(next_lcas,
 
2225
                                                            unique_lca))
 
2226
                break
 
2227
            cur_ancestors = next_lcas
 
2228
        return parent_map
 
2229
 
 
2230
    def _find_unique_parents(self, tip_keys, base_key):
 
2231
        """Find ancestors of tip that aren't ancestors of base.
 
2232
 
 
2233
        :param tip_keys: Nodes that are interesting
 
2234
        :param base_key: Cull all ancestors of this node
 
2235
        :return: The parent map for all revisions between tip_keys and
 
2236
            base_key. base_key will be included. References to nodes outside of
 
2237
            the ancestor set will also be removed.
 
2238
        """
 
2239
        # TODO: this would be simpler if find_unique_ancestors took a list
 
2240
        #       instead of a single tip, internally it supports it, but it
 
2241
        #       isn't a "backwards compatible" api change.
 
2242
        if base_key is None:
 
2243
            parent_map = dict(self.graph.iter_ancestry(tip_keys))
 
2244
            # We remove NULL_REVISION because it isn't a proper tuple key, and
 
2245
            # thus confuses things like _get_interesting_texts, and our logic
 
2246
            # to add the texts into the memory weave.
 
2247
            if _mod_revision.NULL_REVISION in parent_map:
 
2248
                parent_map.pop(_mod_revision.NULL_REVISION)
 
2249
        else:
 
2250
            interesting = set()
 
2251
            for tip in tip_keys:
 
2252
                interesting.update(
 
2253
                    self.graph.find_unique_ancestors(tip, [base_key]))
 
2254
            parent_map = self.graph.get_parent_map(interesting)
 
2255
            parent_map[base_key] = ()
 
2256
        culled_parent_map, child_map, tails = self._remove_external_references(
 
2257
            parent_map)
 
2258
        # Remove all the tails but base_key
 
2259
        if base_key is not None:
 
2260
            tails.remove(base_key)
 
2261
            self._prune_tails(culled_parent_map, child_map, tails)
 
2262
        # Now remove all the uninteresting 'linear' regions
 
2263
        simple_map = _mod_graph.collapse_linear_regions(culled_parent_map)
 
2264
        return simple_map
 
2265
 
 
2266
    @staticmethod
 
2267
    def _remove_external_references(parent_map):
 
2268
        """Remove references that go outside of the parent map.
 
2269
 
 
2270
        :param parent_map: Something returned from Graph.get_parent_map(keys)
 
2271
        :return: (filtered_parent_map, child_map, tails)
 
2272
            filtered_parent_map is parent_map without external references
 
2273
            child_map is the {parent_key: [child_keys]} mapping
 
2274
            tails is a list of nodes that do not have any parents in the map
 
2275
        """
 
2276
        # TODO: The basic effect of this function seems more generic than
 
2277
        #       _PlanMerge. But the specific details of building a child_map,
 
2278
        #       and computing tails seems very specific to _PlanMerge.
 
2279
        #       Still, should this be in Graph land?
 
2280
        filtered_parent_map = {}
 
2281
        child_map = {}
 
2282
        tails = []
 
2283
        for key, parent_keys in parent_map.iteritems():
 
2284
            culled_parent_keys = [p for p in parent_keys if p in parent_map]
 
2285
            if not culled_parent_keys:
 
2286
                tails.append(key)
 
2287
            for parent_key in culled_parent_keys:
 
2288
                child_map.setdefault(parent_key, []).append(key)
 
2289
            # TODO: Do we want to do this, it adds overhead for every node,
 
2290
            #       just to say that the node has no children
 
2291
            child_map.setdefault(key, [])
 
2292
            filtered_parent_map[key] = culled_parent_keys
 
2293
        return filtered_parent_map, child_map, tails
 
2294
 
 
2295
    @staticmethod
 
2296
    def _prune_tails(parent_map, child_map, tails_to_remove):
 
2297
        """Remove tails from the parent map.
 
2298
 
 
2299
        This will remove the supplied revisions until no more children have 0
 
2300
        parents.
 
2301
 
 
2302
        :param parent_map: A dict of {child: [parents]}, this dictionary will
 
2303
            be modified in place.
 
2304
        :param tails_to_remove: A list of tips that should be removed,
 
2305
            this list will be consumed
 
2306
        :param child_map: The reverse dict of parent_map ({parent: [children]})
 
2307
            this dict will be modified
 
2308
        :return: None, parent_map will be modified in place.
 
2309
        """
 
2310
        while tails_to_remove:
 
2311
            next = tails_to_remove.pop()
 
2312
            parent_map.pop(next)
 
2313
            children = child_map.pop(next)
 
2314
            for child in children:
 
2315
                child_parents = parent_map[child]
 
2316
                child_parents.remove(next)
 
2317
                if len(child_parents) == 0:
 
2318
                    tails_to_remove.append(child)
 
2319
 
 
2320
    def _get_interesting_texts(self, parent_map):
 
2321
        """Return a dict of texts we are interested in.
 
2322
 
 
2323
        Note that the input is in key tuples, but the output is in plain
 
2324
        revision ids.
 
2325
 
 
2326
        :param parent_map: The output from _find_recursive_lcas
 
2327
        :return: A dict of {'revision_id':lines} as returned by
 
2328
            _PlanMergeBase.get_lines()
 
2329
        """
 
2330
        all_revision_keys = set(parent_map)
 
2331
        all_revision_keys.add(self.a_key)
 
2332
        all_revision_keys.add(self.b_key)
 
2333
 
 
2334
        # Everything else is in 'keys' but get_lines is in 'revision_ids'
 
2335
        all_texts = self.get_lines([k[-1] for k in all_revision_keys])
 
2336
        return all_texts
 
2337
 
 
2338
    def _build_weave(self):
 
2339
        from bzrlib import weave
 
2340
        self._weave = weave.Weave(weave_name='in_memory_weave',
 
2341
                                  allow_reserved=True)
 
2342
        parent_map = self._find_recursive_lcas()
 
2343
 
 
2344
        all_texts = self._get_interesting_texts(parent_map)
 
2345
 
 
2346
        # Note: Unfortunately, the order given by topo_sort will effect the
 
2347
        # ordering resolution in the output. Specifically, if you add A then B,
 
2348
        # then in the output text A lines will show up before B lines. And, of
 
2349
        # course, topo_sort doesn't guarantee any real ordering.
 
2350
        # So we use merge_sort, and add a fake node on the tip.
 
2351
        # This ensures that left-hand parents will always be inserted into the
 
2352
        # weave before right-hand parents.
 
2353
        tip_key = self._key_prefix + (_mod_revision.CURRENT_REVISION,)
 
2354
        parent_map[tip_key] = (self.a_key, self.b_key)
 
2355
 
 
2356
        for seq_num, key, depth, eom in reversed(tsort.merge_sort(parent_map,
 
2357
                                                                  tip_key)):
 
2358
            if key == tip_key:
 
2359
                continue
 
2360
        # for key in tsort.topo_sort(parent_map):
 
2361
            parent_keys = parent_map[key]
 
2362
            revision_id = key[-1]
 
2363
            parent_ids = [k[-1] for k in parent_keys]
 
2364
            self._weave.add_lines(revision_id, parent_ids,
 
2365
                                  all_texts[revision_id])
 
2366
 
 
2367
    def plan_merge(self):
 
2368
        """Generate a 'plan' for merging the two revisions.
 
2369
 
 
2370
        This involves comparing their texts and determining the cause of
 
2371
        differences.  If text A has a line and text B does not, then either the
 
2372
        line was added to text A, or it was deleted from B.  Once the causes
 
2373
        are combined, they are written out in the format described in
 
2374
        VersionedFile.plan_merge
 
2375
        """
 
2376
        if self._head_key is not None: # There was a single head
 
2377
            if self._head_key == self.a_key:
 
2378
                plan = 'new-a'
 
2379
            else:
 
2380
                if self._head_key != self.b_key:
 
2381
                    raise AssertionError('There was an invalid head: %s != %s'
 
2382
                                         % (self.b_key, self._head_key))
 
2383
                plan = 'new-b'
 
2384
            head_rev = self._head_key[-1]
 
2385
            lines = self.get_lines([head_rev])[head_rev]
 
2386
            return ((plan, line) for line in lines)
 
2387
        return self._weave.plan_merge(self.a_rev, self.b_rev)
 
2388
 
 
2389
 
 
2390
class _PlanLCAMerge(_PlanMergeBase):
 
2391
    """
 
2392
    This merge algorithm differs from _PlanMerge in that:
 
2393
    1. comparisons are done against LCAs only
 
2394
    2. cases where a contested line is new versus one LCA but old versus
 
2395
       another are marked as conflicts, by emitting the line as conflicted-a
 
2396
       or conflicted-b.
 
2397
 
 
2398
    This is faster, and hopefully produces more useful output.
 
2399
    """
 
2400
 
 
2401
    def __init__(self, a_rev, b_rev, vf, key_prefix, graph):
 
2402
        _PlanMergeBase.__init__(self, a_rev, b_rev, vf, key_prefix)
 
2403
        lcas = graph.find_lca(key_prefix + (a_rev,), key_prefix + (b_rev,))
 
2404
        self.lcas = set()
 
2405
        for lca in lcas:
 
2406
            if lca == _mod_revision.NULL_REVISION:
 
2407
                self.lcas.add(lca)
 
2408
            else:
 
2409
                self.lcas.add(lca[-1])
 
2410
        for lca in self.lcas:
 
2411
            if _mod_revision.is_null(lca):
 
2412
                lca_lines = []
 
2413
            else:
 
2414
                lca_lines = self.get_lines([lca])[lca]
 
2415
            matcher = patiencediff.PatienceSequenceMatcher(None, self.lines_a,
 
2416
                                                           lca_lines)
 
2417
            blocks = list(matcher.get_matching_blocks())
 
2418
            self._cached_matching_blocks[(a_rev, lca)] = blocks
 
2419
            matcher = patiencediff.PatienceSequenceMatcher(None, self.lines_b,
 
2420
                                                           lca_lines)
 
2421
            blocks = list(matcher.get_matching_blocks())
 
2422
            self._cached_matching_blocks[(b_rev, lca)] = blocks
 
2423
 
 
2424
    def _determine_status(self, revision_id, unique_line_numbers):
 
2425
        """Determines the status unique lines versus all lcas.
 
2426
 
 
2427
        Basically, determines why the line is unique to this revision.
 
2428
 
 
2429
        A line may be determined new, killed, or both.
 
2430
 
 
2431
        If a line is determined new, that means it was not present in at least
 
2432
        one LCA, and is not present in the other merge revision.
 
2433
 
 
2434
        If a line is determined killed, that means the line was present in
 
2435
        at least one LCA.
 
2436
 
 
2437
        If a line is killed and new, this indicates that the two merge
 
2438
        revisions contain differing conflict resolutions.
 
2439
        :param revision_id: The id of the revision in which the lines are
 
2440
            unique
 
2441
        :param unique_line_numbers: The line numbers of unique lines.
 
2442
        :return a tuple of (new_this, killed_other):
 
2443
        """
 
2444
        new = set()
 
2445
        killed = set()
 
2446
        unique_line_numbers = set(unique_line_numbers)
 
2447
        for lca in self.lcas:
 
2448
            blocks = self._get_matching_blocks(revision_id, lca)
 
2449
            unique_vs_lca, _ignored = self._unique_lines(blocks)
 
2450
            new.update(unique_line_numbers.intersection(unique_vs_lca))
 
2451
            killed.update(unique_line_numbers.difference(unique_vs_lca))
 
2452
        return new, killed