~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: John Arbash Meinel
  • Date: 2007-07-12 18:10:59 UTC
  • mto: This revision was merged to the branch mainline in revision 2643.
  • Revision ID: john@arbash-meinel.com-20070712181059-xnomv3tzzsb2hpx5
Add NEWS entries for performance improvements.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
17
 
from __future__ import absolute_import
18
 
 
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
import os
 
19
import errno
19
20
import warnings
20
21
 
21
 
from bzrlib.lazy_import import lazy_import
22
 
lazy_import(globals(), """
23
22
from bzrlib import (
24
 
    branch as _mod_branch,
25
 
    cleanup,
26
 
    conflicts as _mod_conflicts,
27
 
    debug,
28
 
    generate_ids,
29
 
    graph as _mod_graph,
30
 
    merge3,
31
23
    osutils,
32
 
    patiencediff,
33
 
    revision as _mod_revision,
34
 
    textfile,
35
 
    trace,
36
 
    transform,
37
 
    tree as _mod_tree,
38
 
    tsort,
39
 
    ui,
40
 
    versionedfile,
41
 
    workingtree,
42
 
    )
43
 
from bzrlib.i18n import gettext
44
 
""")
45
 
from bzrlib import (
46
 
    decorators,
47
 
    errors,
48
 
    hooks,
49
24
    registry,
50
25
    )
51
 
from bzrlib.symbol_versioning import (
52
 
    deprecated_in,
53
 
    deprecated_method,
54
 
    )
 
26
from bzrlib.branch import Branch
 
27
from bzrlib.conflicts import ConflictList, Conflict
 
28
from bzrlib.errors import (BzrCommandError,
 
29
                           BzrError,
 
30
                           NoCommonAncestor,
 
31
                           NoCommits,
 
32
                           NoSuchRevision,
 
33
                           NoSuchFile,
 
34
                           NotBranchError,
 
35
                           NotVersionedError,
 
36
                           UnrelatedBranches,
 
37
                           UnsupportedOperation,
 
38
                           WorkingTreeNotRevision,
 
39
                           BinaryFile,
 
40
                           )
 
41
from bzrlib.merge3 import Merge3
 
42
from bzrlib.osutils import rename, pathjoin
 
43
from progress import DummyProgress, ProgressPhase
 
44
from bzrlib.revision import (is_ancestor, NULL_REVISION, ensure_null)
 
45
from bzrlib.textfile import check_text_lines
 
46
from bzrlib.trace import mutter, warning, note
 
47
from bzrlib.transform import (TreeTransform, resolve_conflicts, cook_conflicts,
 
48
                              FinalPaths, create_by_entry, unique_add,
 
49
                              ROOT_PARENT)
 
50
from bzrlib.versionedfile import WeaveMerge
 
51
from bzrlib import ui
 
52
 
55
53
# TODO: Report back as changes are merged in
56
54
 
 
55
def _get_tree(treespec, local_branch=None):
 
56
    from bzrlib import workingtree
 
57
    location, revno = treespec
 
58
    if revno is None:
 
59
        tree = workingtree.WorkingTree.open_containing(location)[0]
 
60
        return tree.branch, tree
 
61
    branch = Branch.open_containing(location)[0]
 
62
    if revno == -1:
 
63
        revision_id = branch.last_revision()
 
64
    else:
 
65
        revision_id = branch.get_rev_id(revno)
 
66
    if revision_id is None:
 
67
        revision_id = NULL_REVISION
 
68
    return branch, _get_revid_tree(branch, revision_id, local_branch)
 
69
 
 
70
 
 
71
def _get_revid_tree(branch, revision_id, local_branch):
 
72
    if revision_id is None:
 
73
        base_tree = branch.bzrdir.open_workingtree()
 
74
    else:
 
75
        if local_branch is not None:
 
76
            if local_branch.base != branch.base:
 
77
                local_branch.fetch(branch, revision_id)
 
78
            base_tree = local_branch.repository.revision_tree(revision_id)
 
79
        else:
 
80
            base_tree = branch.repository.revision_tree(revision_id)
 
81
    return base_tree
 
82
 
 
83
 
 
84
def _get_revid_tree_from_tree(tree, revision_id, local_branch):
 
85
    if revision_id is None:
 
86
        return tree
 
87
    if local_branch is not None:
 
88
        if local_branch.base != tree.branch.base:
 
89
            local_branch.fetch(tree.branch, revision_id)
 
90
        return local_branch.repository.revision_tree(revision_id)
 
91
    return tree.branch.repository.revision_tree(revision_id)
 
92
 
57
93
 
58
94
def transform_tree(from_tree, to_tree, interesting_ids=None):
59
 
    from_tree.lock_tree_write()
60
 
    operation = cleanup.OperationWithCleanups(merge_inner)
61
 
    operation.add_cleanup(from_tree.unlock)
62
 
    operation.run_simple(from_tree.branch, to_tree, from_tree,
63
 
        ignore_zero=True, interesting_ids=interesting_ids, this_tree=from_tree)
64
 
 
65
 
 
66
 
class MergeHooks(hooks.Hooks):
67
 
 
68
 
    def __init__(self):
69
 
        hooks.Hooks.__init__(self, "bzrlib.merge", "Merger.hooks")
70
 
        self.add_hook('merge_file_content',
71
 
            "Called with a bzrlib.merge.Merger object to create a per file "
72
 
            "merge object when starting a merge. "
73
 
            "Should return either None or a subclass of "
74
 
            "``bzrlib.merge.AbstractPerFileMerger``. "
75
 
            "Such objects will then be called per file "
76
 
            "that needs to be merged (including when one "
77
 
            "side has deleted the file and the other has changed it). "
78
 
            "See the AbstractPerFileMerger API docs for details on how it is "
79
 
            "used by merge.",
80
 
            (2, 1))
81
 
        self.add_hook('pre_merge',
82
 
            'Called before a merge. '
83
 
            'Receives a Merger object as the single argument.',
84
 
            (2, 5))
85
 
        self.add_hook('post_merge',
86
 
            'Called after a merge. '
87
 
            'Receives a Merger object as the single argument. '
88
 
            'The return value is ignored.',
89
 
            (2, 5))
90
 
 
91
 
 
92
 
class AbstractPerFileMerger(object):
93
 
    """PerFileMerger objects are used by plugins extending merge for bzrlib.
94
 
 
95
 
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
96
 
    
97
 
    :ivar merger: The Merge3Merger performing the merge.
98
 
    """
99
 
 
100
 
    def __init__(self, merger):
101
 
        """Create a PerFileMerger for use with merger."""
102
 
        self.merger = merger
103
 
 
104
 
    def merge_contents(self, merge_params):
105
 
        """Attempt to merge the contents of a single file.
106
 
        
107
 
        :param merge_params: A bzrlib.merge.MergeFileHookParams
108
 
        :return: A tuple of (status, chunks), where status is one of
109
 
            'not_applicable', 'success', 'conflicted', or 'delete'.  If status
110
 
            is 'success' or 'conflicted', then chunks should be an iterable of
111
 
            strings for the new file contents.
112
 
        """
113
 
        return ('not applicable', None)
114
 
 
115
 
 
116
 
class PerFileMerger(AbstractPerFileMerger):
117
 
    """Merge individual files when self.file_matches returns True.
118
 
 
119
 
    This class is intended to be subclassed.  The file_matches and
120
 
    merge_matching methods should be overridden with concrete implementations.
121
 
    """
122
 
 
123
 
    def file_matches(self, params):
124
 
        """Return True if merge_matching should be called on this file.
125
 
 
126
 
        Only called with merges of plain files with no clear winner.
127
 
 
128
 
        Subclasses must override this.
129
 
        """
130
 
        raise NotImplementedError(self.file_matches)
131
 
 
132
 
    def get_filename(self, params, tree):
133
 
        """Lookup the filename (i.e. basename, not path), given a Tree (e.g.
134
 
        self.merger.this_tree) and a MergeFileHookParams.
135
 
        """
136
 
        return osutils.basename(tree.id2path(params.file_id))
137
 
 
138
 
    def get_filepath(self, params, tree):
139
 
        """Calculate the path to the file in a tree.
140
 
 
141
 
        :param params: A MergeFileHookParams describing the file to merge
142
 
        :param tree: a Tree, e.g. self.merger.this_tree.
143
 
        """
144
 
        return tree.id2path(params.file_id)
145
 
 
146
 
    def merge_contents(self, params):
147
 
        """Merge the contents of a single file."""
148
 
        # Check whether this custom merge logic should be used.
149
 
        if (
150
 
            # OTHER is a straight winner, rely on default merge.
151
 
            params.winner == 'other' or
152
 
            # THIS and OTHER aren't both files.
153
 
            not params.is_file_merge() or
154
 
            # The filename doesn't match
155
 
            not self.file_matches(params)):
156
 
            return 'not_applicable', None
157
 
        return self.merge_matching(params)
158
 
 
159
 
    def merge_matching(self, params):
160
 
        """Merge the contents of a single file that has matched the criteria
161
 
        in PerFileMerger.merge_contents (is a conflict, is a file,
162
 
        self.file_matches is True).
163
 
 
164
 
        Subclasses must override this.
165
 
        """
166
 
        raise NotImplementedError(self.merge_matching)
167
 
 
168
 
 
169
 
class ConfigurableFileMerger(PerFileMerger):
170
 
    """Merge individual files when configured via a .conf file.
171
 
 
172
 
    This is a base class for concrete custom file merging logic. Concrete
173
 
    classes should implement ``merge_text``.
174
 
 
175
 
    See ``bzrlib.plugins.news_merge.news_merge`` for an example concrete class.
176
 
    
177
 
    :ivar affected_files: The configured file paths to merge.
178
 
 
179
 
    :cvar name_prefix: The prefix to use when looking up configuration
180
 
        details. <name_prefix>_merge_files describes the files targeted by the
181
 
        hook for example.
182
 
        
183
 
    :cvar default_files: The default file paths to merge when no configuration
184
 
        is present.
185
 
    """
186
 
 
187
 
    name_prefix = None
188
 
    default_files = None
189
 
 
190
 
    def __init__(self, merger):
191
 
        super(ConfigurableFileMerger, self).__init__(merger)
192
 
        self.affected_files = None
193
 
        self.default_files = self.__class__.default_files or []
194
 
        self.name_prefix = self.__class__.name_prefix
195
 
        if self.name_prefix is None:
196
 
            raise ValueError("name_prefix must be set.")
197
 
 
198
 
    def file_matches(self, params):
199
 
        """Check whether the file should call the merge hook.
200
 
 
201
 
        <name_prefix>_merge_files configuration variable is a list of files
202
 
        that should use the hook.
203
 
        """
204
 
        affected_files = self.affected_files
205
 
        if affected_files is None:
206
 
            config = self.merger.this_branch.get_config()
207
 
            # Until bzr provides a better policy for caching the config, we
208
 
            # just add the part we're interested in to the params to avoid
209
 
            # reading the config files repeatedly (bazaar.conf, location.conf,
210
 
            # branch.conf).
211
 
            config_key = self.name_prefix + '_merge_files'
212
 
            affected_files = config.get_user_option_as_list(config_key)
213
 
            if affected_files is None:
214
 
                # If nothing was specified in the config, use the default.
215
 
                affected_files = self.default_files
216
 
            self.affected_files = affected_files
217
 
        if affected_files:
218
 
            filepath = self.get_filepath(params, self.merger.this_tree)
219
 
            if filepath in affected_files:
220
 
                return True
221
 
        return False
222
 
 
223
 
    def merge_matching(self, params):
224
 
        return self.merge_text(params)
225
 
 
226
 
    def merge_text(self, params):
227
 
        """Merge the byte contents of a single file.
228
 
 
229
 
        This is called after checking that the merge should be performed in
230
 
        merge_contents, and it should behave as per
231
 
        ``bzrlib.merge.AbstractPerFileMerger.merge_contents``.
232
 
        """
233
 
        raise NotImplementedError(self.merge_text)
234
 
 
235
 
 
236
 
class MergeFileHookParams(object):
237
 
    """Object holding parameters passed to merge_file_content hooks.
238
 
 
239
 
    There are some fields hooks can access:
240
 
 
241
 
    :ivar file_id: the file ID of the file being merged
242
 
    :ivar trans_id: the transform ID for the merge of this file
243
 
    :ivar this_kind: kind of file_id in 'this' tree
244
 
    :ivar other_kind: kind of file_id in 'other' tree
245
 
    :ivar winner: one of 'this', 'other', 'conflict'
246
 
    """
247
 
 
248
 
    def __init__(self, merger, file_id, trans_id, this_kind, other_kind,
249
 
            winner):
250
 
        self._merger = merger
251
 
        self.file_id = file_id
252
 
        self.trans_id = trans_id
253
 
        self.this_kind = this_kind
254
 
        self.other_kind = other_kind
255
 
        self.winner = winner
256
 
 
257
 
    def is_file_merge(self):
258
 
        """True if this_kind and other_kind are both 'file'."""
259
 
        return self.this_kind == 'file' and self.other_kind == 'file'
260
 
 
261
 
    @decorators.cachedproperty
262
 
    def base_lines(self):
263
 
        """The lines of the 'base' version of the file."""
264
 
        return self._merger.get_lines(self._merger.base_tree, self.file_id)
265
 
 
266
 
    @decorators.cachedproperty
267
 
    def this_lines(self):
268
 
        """The lines of the 'this' version of the file."""
269
 
        return self._merger.get_lines(self._merger.this_tree, self.file_id)
270
 
 
271
 
    @decorators.cachedproperty
272
 
    def other_lines(self):
273
 
        """The lines of the 'other' version of the file."""
274
 
        return self._merger.get_lines(self._merger.other_tree, self.file_id)
 
95
    merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
 
96
                interesting_ids=interesting_ids, this_tree=from_tree)
275
97
 
276
98
 
277
99
class Merger(object):
278
 
 
279
 
    hooks = MergeHooks()
280
 
 
281
100
    def __init__(self, this_branch, other_tree=None, base_tree=None,
282
 
                 this_tree=None, pb=None, change_reporter=None,
283
 
                 recurse='down', revision_graph=None):
 
101
                 this_tree=None, pb=DummyProgress(), change_reporter=None,
 
102
                 recurse='down'):
284
103
        object.__init__(self)
 
104
        assert this_tree is not None, "this_tree is required"
285
105
        self.this_branch = this_branch
286
 
        self.this_basis = _mod_revision.ensure_null(
287
 
            this_branch.last_revision())
 
106
        self.this_basis = this_branch.last_revision()
288
107
        self.this_rev_id = None
289
108
        self.this_tree = this_tree
290
109
        self.this_revision_tree = None
295
114
        self.ignore_zero = False
296
115
        self.backup_files = False
297
116
        self.interesting_ids = None
298
 
        self.interesting_files = None
299
117
        self.show_base = False
300
118
        self.reprocess = False
301
 
        if pb is not None:
302
 
            warnings.warn("pb parameter to Merger() is deprecated and ignored")
 
119
        self._pb = pb
303
120
        self.pp = None
304
121
        self.recurse = recurse
305
122
        self.change_reporter = change_reporter
306
 
        self._cached_trees = {}
307
 
        self._revision_graph = revision_graph
308
 
        self._base_is_ancestor = None
309
 
        self._base_is_other_ancestor = None
310
 
        self._is_criss_cross = None
311
 
        self._lca_trees = None
312
 
 
313
 
    def cache_trees_with_revision_ids(self, trees):
314
 
        """Cache any tree in trees if it has a revision_id."""
315
 
        for maybe_tree in trees:
316
 
            if maybe_tree is None:
317
 
                continue
318
 
            try:
319
 
                rev_id = maybe_tree.get_revision_id()
320
 
            except AttributeError:
321
 
                continue
322
 
            self._cached_trees[rev_id] = maybe_tree
323
 
 
324
 
    @property
325
 
    def revision_graph(self):
326
 
        if self._revision_graph is None:
327
 
            self._revision_graph = self.this_branch.repository.get_graph()
328
 
        return self._revision_graph
329
 
 
330
 
    def _set_base_is_ancestor(self, value):
331
 
        self._base_is_ancestor = value
332
 
 
333
 
    def _get_base_is_ancestor(self):
334
 
        if self._base_is_ancestor is None:
335
 
            self._base_is_ancestor = self.revision_graph.is_ancestor(
336
 
                self.base_rev_id, self.this_basis)
337
 
        return self._base_is_ancestor
338
 
 
339
 
    base_is_ancestor = property(_get_base_is_ancestor, _set_base_is_ancestor)
340
 
 
341
 
    def _set_base_is_other_ancestor(self, value):
342
 
        self._base_is_other_ancestor = value
343
 
 
344
 
    def _get_base_is_other_ancestor(self):
345
 
        if self._base_is_other_ancestor is None:
346
 
            if self.other_basis is None:
347
 
                return True
348
 
            self._base_is_other_ancestor = self.revision_graph.is_ancestor(
349
 
                self.base_rev_id, self.other_basis)
350
 
        return self._base_is_other_ancestor
351
 
 
352
 
    base_is_other_ancestor = property(_get_base_is_other_ancestor,
353
 
                                      _set_base_is_other_ancestor)
354
 
 
355
 
    @staticmethod
356
 
    def from_uncommitted(tree, other_tree, pb=None, base_tree=None):
357
 
        """Return a Merger for uncommitted changes in other_tree.
358
 
 
359
 
        :param tree: The tree to merge into
360
 
        :param other_tree: The tree to get uncommitted changes from
361
 
        :param pb: A progress indicator
362
 
        :param base_tree: The basis to use for the merge.  If unspecified,
363
 
            other_tree.basis_tree() will be used.
364
 
        """
365
 
        if base_tree is None:
366
 
            base_tree = other_tree.basis_tree()
367
 
        merger = Merger(tree.branch, other_tree, base_tree, tree, pb)
368
 
        merger.base_rev_id = merger.base_tree.get_revision_id()
369
 
        merger.other_rev_id = None
370
 
        merger.other_basis = merger.base_rev_id
371
 
        return merger
372
 
 
373
 
    @classmethod
374
 
    def from_mergeable(klass, tree, mergeable, pb):
375
 
        """Return a Merger for a bundle or merge directive.
376
 
 
377
 
        :param tree: The tree to merge changes into
378
 
        :param mergeable: A merge directive or bundle
379
 
        :param pb: A progress indicator
380
 
        """
381
 
        mergeable.install_revisions(tree.branch.repository)
382
 
        base_revision_id, other_revision_id, verified =\
383
 
            mergeable.get_merge_request(tree.branch.repository)
384
 
        revision_graph = tree.branch.repository.get_graph()
385
 
        if base_revision_id is not None:
386
 
            if (base_revision_id != _mod_revision.NULL_REVISION and
387
 
                revision_graph.is_ancestor(
388
 
                base_revision_id, tree.branch.last_revision())):
389
 
                base_revision_id = None
390
 
            else:
391
 
                trace.warning('Performing cherrypick')
392
 
        merger = klass.from_revision_ids(pb, tree, other_revision_id,
393
 
                                         base_revision_id, revision_graph=
394
 
                                         revision_graph)
395
 
        return merger, verified
396
 
 
397
 
    @staticmethod
398
 
    def from_revision_ids(pb, tree, other, base=None, other_branch=None,
399
 
                          base_branch=None, revision_graph=None,
400
 
                          tree_branch=None):
401
 
        """Return a Merger for revision-ids.
402
 
 
403
 
        :param pb: A progress indicator
404
 
        :param tree: The tree to merge changes into
405
 
        :param other: The revision-id to use as OTHER
406
 
        :param base: The revision-id to use as BASE.  If not specified, will
407
 
            be auto-selected.
408
 
        :param other_branch: A branch containing the other revision-id.  If
409
 
            not supplied, tree.branch is used.
410
 
        :param base_branch: A branch containing the base revision-id.  If
411
 
            not supplied, other_branch or tree.branch will be used.
412
 
        :param revision_graph: If you have a revision_graph precomputed, pass
413
 
            it in, otherwise it will be created for you.
414
 
        :param tree_branch: The branch associated with tree.  If not supplied,
415
 
            tree.branch will be used.
416
 
        """
417
 
        if tree_branch is None:
418
 
            tree_branch = tree.branch
419
 
        merger = Merger(tree_branch, this_tree=tree, pb=pb,
420
 
                        revision_graph=revision_graph)
421
 
        if other_branch is None:
422
 
            other_branch = tree.branch
423
 
        merger.set_other_revision(other, other_branch)
424
 
        if base is None:
425
 
            merger.find_base()
426
 
        else:
427
 
            if base_branch is None:
428
 
                base_branch = other_branch
429
 
            merger.set_base_revision(base, base_branch)
430
 
        return merger
431
 
 
432
 
    def revision_tree(self, revision_id, branch=None):
433
 
        if revision_id not in self._cached_trees:
434
 
            if branch is None:
435
 
                branch = self.this_branch
436
 
            try:
437
 
                tree = self.this_tree.revision_tree(revision_id)
438
 
            except errors.NoSuchRevisionInTree:
439
 
                tree = branch.repository.revision_tree(revision_id)
440
 
            self._cached_trees[revision_id] = tree
441
 
        return self._cached_trees[revision_id]
442
 
 
443
 
    def _get_tree(self, treespec, possible_transports=None):
444
 
        location, revno = treespec
445
 
        if revno is None:
446
 
            tree = workingtree.WorkingTree.open_containing(location)[0]
447
 
            return tree.branch, tree
448
 
        branch = _mod_branch.Branch.open_containing(
449
 
            location, possible_transports)[0]
450
 
        if revno == -1:
451
 
            revision_id = branch.last_revision()
452
 
        else:
453
 
            revision_id = branch.get_rev_id(revno)
454
 
        revision_id = _mod_revision.ensure_null(revision_id)
455
 
        return branch, self.revision_tree(revision_id, branch)
 
123
 
 
124
    def revision_tree(self, revision_id):
 
125
        return self.this_branch.repository.revision_tree(revision_id)
 
126
 
 
127
    def ensure_revision_trees(self):
 
128
        if self.this_revision_tree is None:
 
129
            self.this_basis_tree = self.this_branch.repository.revision_tree(
 
130
                self.this_basis)
 
131
            if self.this_basis == self.this_rev_id:
 
132
                self.this_revision_tree = self.this_basis_tree
 
133
 
 
134
        if self.other_rev_id is None:
 
135
            other_basis_tree = self.revision_tree(self.other_basis)
 
136
            changes = other_basis_tree.changes_from(self.other_tree)
 
137
            if changes.has_changed():
 
138
                raise WorkingTreeNotRevision(self.this_tree)
 
139
            other_rev_id = self.other_basis
 
140
            self.other_tree = other_basis_tree
 
141
 
 
142
    def file_revisions(self, file_id):
 
143
        self.ensure_revision_trees()
 
144
        def get_id(tree, file_id):
 
145
            revision_id = tree.inventory[file_id].revision
 
146
            assert revision_id is not None
 
147
            return revision_id
 
148
        if self.this_rev_id is None:
 
149
            if self.this_basis_tree.get_file_sha1(file_id) != \
 
150
                self.this_tree.get_file_sha1(file_id):
 
151
                raise WorkingTreeNotRevision(self.this_tree)
 
152
 
 
153
        trees = (self.this_basis_tree, self.other_tree)
 
154
        return [get_id(tree, file_id) for tree in trees]
 
155
 
 
156
    def check_basis(self, check_clean, require_commits=True):
 
157
        if self.this_basis is None and require_commits is True:
 
158
            raise BzrCommandError("This branch has no commits."
 
159
                                  " (perhaps you would prefer 'bzr pull')")
 
160
        if check_clean:
 
161
            self.compare_basis()
 
162
            if self.this_basis != self.this_rev_id:
 
163
                raise BzrCommandError("Working tree has uncommitted changes.")
 
164
 
 
165
    def compare_basis(self):
 
166
        changes = self.this_tree.changes_from(self.this_tree.basis_tree())
 
167
        if not changes.has_changed():
 
168
            self.this_rev_id = self.this_basis
456
169
 
457
170
    def set_interesting_files(self, file_list):
458
 
        self.interesting_files = file_list
 
171
        try:
 
172
            self._set_interesting_files(file_list)
 
173
        except NotVersionedError, e:
 
174
            raise BzrCommandError("%s is not a source file in any"
 
175
                                      " tree." % e.path)
 
176
 
 
177
    def _set_interesting_files(self, file_list):
 
178
        """Set the list of interesting ids from a list of files."""
 
179
        if file_list is None:
 
180
            self.interesting_ids = None
 
181
            return
 
182
 
 
183
        interesting_ids = set()
 
184
        for path in file_list:
 
185
            found_id = False
 
186
            # TODO: jam 20070226 The trees are not locked at this time,
 
187
            #       wouldn't it make merge faster if it locks everything in the
 
188
            #       beginning? It locks at do_merge time, but this happens
 
189
            #       before that.
 
190
            for tree in (self.this_tree, self.base_tree, self.other_tree):
 
191
                file_id = tree.path2id(path)
 
192
                if file_id is not None:
 
193
                    interesting_ids.add(file_id)
 
194
                    found_id = True
 
195
            if not found_id:
 
196
                raise NotVersionedError(path=path)
 
197
        self.interesting_ids = interesting_ids
459
198
 
460
199
    def set_pending(self):
461
 
        if (not self.base_is_ancestor or not self.base_is_other_ancestor
462
 
            or self.other_rev_id is None):
463
 
            return
464
 
        self._add_parent()
465
 
 
466
 
    def _add_parent(self):
467
 
        new_parents = self.this_tree.get_parent_ids() + [self.other_rev_id]
468
 
        new_parent_trees = []
469
 
        operation = cleanup.OperationWithCleanups(
470
 
            self.this_tree.set_parent_trees)
471
 
        for revision_id in new_parents:
472
 
            try:
473
 
                tree = self.revision_tree(revision_id)
474
 
            except errors.NoSuchRevision:
475
 
                tree = None
476
 
            else:
477
 
                tree.lock_read()
478
 
                operation.add_cleanup(tree.unlock)
479
 
            new_parent_trees.append((revision_id, tree))
480
 
        operation.run_simple(new_parent_trees, allow_leftmost_as_ghost=True)
481
 
 
482
 
    def set_other(self, other_revision, possible_transports=None):
 
200
        if not self.base_is_ancestor:
 
201
            return
 
202
        if self.other_rev_id is None:
 
203
            return
 
204
        ancestry = set(self.this_branch.repository.get_ancestry(
 
205
            self.this_basis, topo_sorted=False))
 
206
        if self.other_rev_id in ancestry:
 
207
            return
 
208
        self.this_tree.add_parent_tree((self.other_rev_id, self.other_tree))
 
209
 
 
210
    def set_other(self, other_revision):
483
211
        """Set the revision and tree to merge from.
484
212
 
485
213
        This sets the other_tree, other_rev_id, other_basis attributes.
486
214
 
487
215
        :param other_revision: The [path, revision] list to merge from.
488
216
        """
489
 
        self.other_branch, self.other_tree = self._get_tree(other_revision,
490
 
                                                            possible_transports)
 
217
        self.other_branch, self.other_tree = _get_tree(other_revision,
 
218
                                                  self.this_branch)
491
219
        if other_revision[1] == -1:
492
 
            self.other_rev_id = _mod_revision.ensure_null(
493
 
                self.other_branch.last_revision())
494
 
            if _mod_revision.is_null(self.other_rev_id):
495
 
                raise errors.NoCommits(self.other_branch)
 
220
            self.other_rev_id = self.other_branch.last_revision()
 
221
            if self.other_rev_id is None:
 
222
                raise NoCommits(self.other_branch)
496
223
            self.other_basis = self.other_rev_id
497
224
        elif other_revision[1] is not None:
498
225
            self.other_rev_id = self.other_branch.get_rev_id(other_revision[1])
501
228
            self.other_rev_id = None
502
229
            self.other_basis = self.other_branch.last_revision()
503
230
            if self.other_basis is None:
504
 
                raise errors.NoCommits(self.other_branch)
505
 
        if self.other_rev_id is not None:
506
 
            self._cached_trees[self.other_rev_id] = self.other_tree
507
 
        self._maybe_fetch(self.other_branch, self.this_branch, self.other_basis)
 
231
                raise NoCommits(self.other_branch)
 
232
        if self.other_branch.base != self.this_branch.base:
 
233
            self.this_branch.fetch(self.other_branch,
 
234
                                   last_revision=self.other_basis)
508
235
 
509
236
    def set_other_revision(self, revision_id, other_branch):
510
237
        """Set 'other' based on a branch and revision id
514
241
        """
515
242
        self.other_rev_id = revision_id
516
243
        self.other_branch = other_branch
517
 
        self._maybe_fetch(other_branch, self.this_branch, self.other_rev_id)
 
244
        self.this_branch.fetch(other_branch, self.other_rev_id)
518
245
        self.other_tree = self.revision_tree(revision_id)
519
246
        self.other_basis = revision_id
520
247
 
521
 
    def set_base_revision(self, revision_id, branch):
522
 
        """Set 'base' based on a branch and revision id
523
 
 
524
 
        :param revision_id: The revision to use for a tree
525
 
        :param branch: The branch containing this tree
526
 
        """
527
 
        self.base_rev_id = revision_id
528
 
        self.base_branch = branch
529
 
        self._maybe_fetch(branch, self.this_branch, revision_id)
530
 
        self.base_tree = self.revision_tree(revision_id)
531
 
 
532
 
    def _maybe_fetch(self, source, target, revision_id):
533
 
        if not source.repository.has_same_location(target.repository):
534
 
            target.fetch(source, revision_id)
535
 
 
536
248
    def find_base(self):
537
 
        revisions = [_mod_revision.ensure_null(self.this_basis),
538
 
                     _mod_revision.ensure_null(self.other_basis)]
539
 
        if _mod_revision.NULL_REVISION in revisions:
540
 
            self.base_rev_id = _mod_revision.NULL_REVISION
541
 
            self.base_tree = self.revision_tree(self.base_rev_id)
542
 
            self._is_criss_cross = False
543
 
        else:
544
 
            lcas = self.revision_graph.find_lca(revisions[0], revisions[1])
545
 
            self._is_criss_cross = False
546
 
            if len(lcas) == 0:
547
 
                self.base_rev_id = _mod_revision.NULL_REVISION
548
 
            elif len(lcas) == 1:
549
 
                self.base_rev_id = list(lcas)[0]
550
 
            else: # len(lcas) > 1
551
 
                self._is_criss_cross = True
552
 
                if len(lcas) > 2:
553
 
                    # find_unique_lca can only handle 2 nodes, so we have to
554
 
                    # start back at the beginning. It is a shame to traverse
555
 
                    # the graph again, but better than re-implementing
556
 
                    # find_unique_lca.
557
 
                    self.base_rev_id = self.revision_graph.find_unique_lca(
558
 
                                            revisions[0], revisions[1])
559
 
                else:
560
 
                    self.base_rev_id = self.revision_graph.find_unique_lca(
561
 
                                            *lcas)
562
 
                sorted_lca_keys = self.revision_graph.find_merge_order(
563
 
                    revisions[0], lcas)
564
 
                if self.base_rev_id == _mod_revision.NULL_REVISION:
565
 
                    self.base_rev_id = sorted_lca_keys[0]
566
 
 
567
 
            if self.base_rev_id == _mod_revision.NULL_REVISION:
568
 
                raise errors.UnrelatedBranches()
569
 
            if self._is_criss_cross:
570
 
                trace.warning('Warning: criss-cross merge encountered.  See bzr'
571
 
                              ' help criss-cross.')
572
 
                trace.mutter('Criss-cross lcas: %r' % lcas)
573
 
                if self.base_rev_id in lcas:
574
 
                    trace.mutter('Unable to find unique lca. '
575
 
                                 'Fallback %r as best option.'
576
 
                                 % self.base_rev_id)
577
 
                interesting_revision_ids = set(lcas)
578
 
                interesting_revision_ids.add(self.base_rev_id)
579
 
                interesting_trees = dict((t.get_revision_id(), t)
580
 
                    for t in self.this_branch.repository.revision_trees(
581
 
                        interesting_revision_ids))
582
 
                self._cached_trees.update(interesting_trees)
583
 
                if self.base_rev_id in lcas:
584
 
                    self.base_tree = interesting_trees[self.base_rev_id]
585
 
                else:
586
 
                    self.base_tree = interesting_trees.pop(self.base_rev_id)
587
 
                self._lca_trees = [interesting_trees[key]
588
 
                                   for key in sorted_lca_keys]
589
 
            else:
590
 
                self.base_tree = self.revision_tree(self.base_rev_id)
591
 
        self.base_is_ancestor = True
592
 
        self.base_is_other_ancestor = True
593
 
        trace.mutter('Base revid: %r' % self.base_rev_id)
 
249
        self.set_base([None, None])
594
250
 
595
251
    def set_base(self, base_revision):
596
252
        """Set the base revision to use for the merge.
597
253
 
598
254
        :param base_revision: A 2-list containing a path and revision number.
599
255
        """
600
 
        trace.mutter("doing merge() with no base_revision specified")
 
256
        mutter("doing merge() with no base_revision specified")
601
257
        if base_revision == [None, None]:
602
 
            self.find_base()
 
258
            try:
 
259
                pb = ui.ui_factory.nested_progress_bar()
 
260
                try:
 
261
                    this_repo = self.this_branch.repository
 
262
                    graph = this_repo.get_graph()
 
263
                    revisions = [ensure_null(self.this_basis),
 
264
                                 ensure_null(self.other_basis)]
 
265
                    if NULL_REVISION in revisions:
 
266
                        self.base_rev_id = NULL_REVISION
 
267
                    else:
 
268
                        self.base_rev_id = graph.find_unique_lca(*revisions)
 
269
                        if self.base_rev_id == NULL_REVISION:
 
270
                            raise UnrelatedBranches()
 
271
                finally:
 
272
                    pb.finished()
 
273
            except NoCommonAncestor:
 
274
                raise UnrelatedBranches()
 
275
            self.base_tree = _get_revid_tree_from_tree(self.this_tree,
 
276
                                                       self.base_rev_id,
 
277
                                                       None)
 
278
            self.base_is_ancestor = True
603
279
        else:
604
 
            base_branch, self.base_tree = self._get_tree(base_revision)
 
280
            base_branch, self.base_tree = _get_tree(base_revision)
605
281
            if base_revision[1] == -1:
606
282
                self.base_rev_id = base_branch.last_revision()
607
283
            elif base_revision[1] is None:
608
 
                self.base_rev_id = _mod_revision.NULL_REVISION
 
284
                self.base_rev_id = None
609
285
            else:
610
 
                self.base_rev_id = _mod_revision.ensure_null(
611
 
                    base_branch.get_rev_id(base_revision[1]))
612
 
            self._maybe_fetch(base_branch, self.this_branch, self.base_rev_id)
 
286
                self.base_rev_id = base_branch.get_rev_id(base_revision[1])
 
287
            if self.this_branch.base != base_branch.base:
 
288
                self.this_branch.fetch(base_branch)
 
289
            self.base_is_ancestor = is_ancestor(self.this_basis, 
 
290
                                                self.base_rev_id,
 
291
                                                self.this_branch)
613
292
 
614
 
    def make_merger(self):
615
 
        kwargs = {'working_tree': self.this_tree, 'this_tree': self.this_tree,
 
293
    def do_merge(self):
 
294
        kwargs = {'working_tree':self.this_tree, 'this_tree': self.this_tree,
616
295
                  'other_tree': self.other_tree,
617
296
                  'interesting_ids': self.interesting_ids,
618
 
                  'interesting_files': self.interesting_files,
619
 
                  'this_branch': self.this_branch,
620
 
                  'other_branch': self.other_branch,
621
 
                  'do_merge': False}
 
297
                  'pp': self.pp}
622
298
        if self.merge_type.requires_base:
623
299
            kwargs['base_tree'] = self.base_tree
624
300
        if self.merge_type.supports_reprocess:
625
301
            kwargs['reprocess'] = self.reprocess
626
302
        elif self.reprocess:
627
 
            raise errors.BzrError(
628
 
                "Conflict reduction is not supported for merge"
629
 
                " type %s." % self.merge_type)
 
303
            raise BzrError("Conflict reduction is not supported for merge"
 
304
                                  " type %s." % self.merge_type)
630
305
        if self.merge_type.supports_show_base:
631
306
            kwargs['show_base'] = self.show_base
632
307
        elif self.show_base:
633
 
            raise errors.BzrError("Showing base is not supported for this"
 
308
            raise BzrError("Showing base is not supported for this"
634
309
                                  " merge type. %s" % self.merge_type)
635
 
        if (not getattr(self.merge_type, 'supports_reverse_cherrypick', True)
636
 
            and not self.base_is_other_ancestor):
637
 
            raise errors.CannotReverseCherrypick()
638
 
        if self.merge_type.supports_cherrypick:
639
 
            kwargs['cherrypick'] = (not self.base_is_ancestor or
640
 
                                    not self.base_is_other_ancestor)
641
 
        if self._is_criss_cross and getattr(self.merge_type,
642
 
                                            'supports_lca_trees', False):
643
 
            kwargs['lca_trees'] = self._lca_trees
644
 
        return self.merge_type(pb=None,
645
 
                               change_reporter=self.change_reporter,
646
 
                               **kwargs)
647
 
 
648
 
    def _do_merge_to(self):
649
 
        merge = self.make_merger()
650
 
        if self.other_branch is not None:
651
 
            self.other_branch.update_references(self.this_branch)
652
 
        for hook in Merger.hooks['pre_merge']:
653
 
            hook(merge)
654
 
        merge.do_merge()
655
 
        for hook in Merger.hooks['post_merge']:
656
 
            hook(merge)
657
 
        if self.recurse == 'down':
658
 
            for relpath, file_id in self.this_tree.iter_references():
659
 
                sub_tree = self.this_tree.get_nested_tree(file_id, relpath)
660
 
                other_revision = self.other_tree.get_reference_revision(
661
 
                    file_id, relpath)
662
 
                if  other_revision == sub_tree.last_revision():
663
 
                    continue
664
 
                sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
665
 
                sub_merge.merge_type = self.merge_type
666
 
                other_branch = self.other_branch.reference_parent(file_id,
667
 
                                                                  relpath)
668
 
                sub_merge.set_other_revision(other_revision, other_branch)
669
 
                base_revision = self.base_tree.get_reference_revision(file_id)
670
 
                sub_merge.base_tree = \
671
 
                    sub_tree.branch.repository.revision_tree(base_revision)
672
 
                sub_merge.base_rev_id = base_revision
673
 
                sub_merge.do_merge()
674
 
        return merge
675
 
 
676
 
    def do_merge(self):
677
 
        operation = cleanup.OperationWithCleanups(self._do_merge_to)
678
310
        self.this_tree.lock_tree_write()
679
 
        operation.add_cleanup(self.this_tree.unlock)
680
311
        if self.base_tree is not None:
681
312
            self.base_tree.lock_read()
682
 
            operation.add_cleanup(self.base_tree.unlock)
683
313
        if self.other_tree is not None:
684
314
            self.other_tree.lock_read()
685
 
            operation.add_cleanup(self.other_tree.unlock)
686
 
        merge = operation.run_simple()
 
315
        try:
 
316
            merge = self.merge_type(pb=self._pb,
 
317
                                    change_reporter=self.change_reporter,
 
318
                                    **kwargs)
 
319
            if self.recurse == 'down':
 
320
                for path, file_id in self.this_tree.iter_references():
 
321
                    sub_tree = self.this_tree.get_nested_tree(file_id, path)
 
322
                    other_revision = self.other_tree.get_reference_revision(
 
323
                        file_id, path)
 
324
                    if  other_revision == sub_tree.last_revision():
 
325
                        continue
 
326
                    sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
 
327
                    sub_merge.merge_type = self.merge_type
 
328
                    relpath = self.this_tree.relpath(path)
 
329
                    other_branch = self.other_branch.reference_parent(file_id, relpath)
 
330
                    sub_merge.set_other_revision(other_revision, other_branch)
 
331
                    base_revision = self.base_tree.get_reference_revision(file_id)
 
332
                    sub_merge.base_tree = \
 
333
                        sub_tree.branch.repository.revision_tree(base_revision)
 
334
                    sub_merge.do_merge()
 
335
 
 
336
        finally:
 
337
            if self.other_tree is not None:
 
338
                self.other_tree.unlock()
 
339
            if self.base_tree is not None:
 
340
                self.base_tree.unlock()
 
341
            self.this_tree.unlock()
687
342
        if len(merge.cooked_conflicts) == 0:
688
 
            if not self.ignore_zero and not trace.is_quiet():
689
 
                trace.note(gettext("All changes applied successfully."))
 
343
            if not self.ignore_zero:
 
344
                note("All changes applied successfully.")
690
345
        else:
691
 
            trace.note(gettext("%d conflicts encountered.")
692
 
                       % len(merge.cooked_conflicts))
 
346
            note("%d conflicts encountered." % len(merge.cooked_conflicts))
693
347
 
694
348
        return len(merge.cooked_conflicts)
695
349
 
696
 
 
697
 
class _InventoryNoneEntry(object):
698
 
    """This represents an inventory entry which *isn't there*.
699
 
 
700
 
    It simplifies the merging logic if we always have an InventoryEntry, even
701
 
    if it isn't actually present
702
 
    """
703
 
    executable = None
704
 
    kind = None
705
 
    name = None
706
 
    parent_id = None
707
 
    revision = None
708
 
    symlink_target = None
709
 
    text_sha1 = None
710
 
 
711
 
_none_entry = _InventoryNoneEntry()
 
350
    def regen_inventory(self, new_entries):
 
351
        old_entries = self.this_tree.read_working_inventory()
 
352
        new_inventory = {}
 
353
        by_path = {}
 
354
        new_entries_map = {} 
 
355
        for path, file_id in new_entries:
 
356
            if path is None:
 
357
                continue
 
358
            new_entries_map[file_id] = path
 
359
 
 
360
        def id2path(file_id):
 
361
            path = new_entries_map.get(file_id)
 
362
            if path is not None:
 
363
                return path
 
364
            entry = old_entries[file_id]
 
365
            if entry.parent_id is None:
 
366
                return entry.name
 
367
            return pathjoin(id2path(entry.parent_id), entry.name)
 
368
            
 
369
        for file_id in old_entries:
 
370
            entry = old_entries[file_id]
 
371
            path = id2path(file_id)
 
372
            if file_id in self.base_tree.inventory:
 
373
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
374
            else:
 
375
                executable = getattr(entry, 'executable', False)
 
376
            new_inventory[file_id] = (path, file_id, entry.parent_id, 
 
377
                                      entry.kind, executable)
 
378
                                      
 
379
            by_path[path] = file_id
 
380
        
 
381
        deletions = 0
 
382
        insertions = 0
 
383
        new_path_list = []
 
384
        for path, file_id in new_entries:
 
385
            if path is None:
 
386
                del new_inventory[file_id]
 
387
                deletions += 1
 
388
            else:
 
389
                new_path_list.append((path, file_id))
 
390
                if file_id not in old_entries:
 
391
                    insertions += 1
 
392
        # Ensure no file is added before its parent
 
393
        new_path_list.sort()
 
394
        for path, file_id in new_path_list:
 
395
            if path == '':
 
396
                parent = None
 
397
            else:
 
398
                parent = by_path[os.path.dirname(path)]
 
399
            abspath = pathjoin(self.this_tree.basedir, path)
 
400
            kind = osutils.file_kind(abspath)
 
401
            if file_id in self.base_tree.inventory:
 
402
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
403
            else:
 
404
                executable = False
 
405
            new_inventory[file_id] = (path, file_id, parent, kind, executable)
 
406
            by_path[path] = file_id 
 
407
 
 
408
        # Get a list in insertion order
 
409
        new_inventory_list = new_inventory.values()
 
410
        mutter ("""Inventory regeneration:
 
411
    old length: %i insertions: %i deletions: %i new_length: %i"""\
 
412
            % (len(old_entries), insertions, deletions, 
 
413
               len(new_inventory_list)))
 
414
        assert len(new_inventory_list) == len(old_entries) + insertions\
 
415
            - deletions
 
416
        new_inventory_list.sort()
 
417
        return new_inventory_list
712
418
 
713
419
 
714
420
class Merge3Merger(object):
717
423
    supports_reprocess = True
718
424
    supports_show_base = True
719
425
    history_based = False
720
 
    supports_cherrypick = True
721
 
    supports_reverse_cherrypick = True
722
 
    winner_idx = {"this": 2, "other": 1, "conflict": 1}
723
 
    supports_lca_trees = True
724
426
 
725
 
    def __init__(self, working_tree, this_tree, base_tree, other_tree,
 
427
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
726
428
                 interesting_ids=None, reprocess=False, show_base=False,
727
 
                 pb=None, pp=None, change_reporter=None,
728
 
                 interesting_files=None, do_merge=True,
729
 
                 cherrypick=False, lca_trees=None, this_branch=None,
730
 
                 other_branch=None):
731
 
        """Initialize the merger object and perform the merge.
732
 
 
733
 
        :param working_tree: The working tree to apply the merge to
734
 
        :param this_tree: The local tree in the merge operation
735
 
        :param base_tree: The common tree in the merge operation
736
 
        :param other_tree: The other tree to merge changes from
737
 
        :param this_branch: The branch associated with this_tree.  Defaults to
738
 
            this_tree.branch if not supplied.
739
 
        :param other_branch: The branch associated with other_tree, if any.
740
 
        :param interesting_ids: The file_ids of files that should be
741
 
            participate in the merge.  May not be combined with
742
 
            interesting_files.
743
 
        :param: reprocess If True, perform conflict-reduction processing.
744
 
        :param show_base: If True, show the base revision in text conflicts.
745
 
            (incompatible with reprocess)
746
 
        :param pb: ignored
747
 
        :param pp: A ProgressPhase object
748
 
        :param change_reporter: An object that should report changes made
749
 
        :param interesting_files: The tree-relative paths of files that should
750
 
            participate in the merge.  If these paths refer to directories,
751
 
            the contents of those directories will also be included.  May not
752
 
            be combined with interesting_ids.  If neither interesting_files nor
753
 
            interesting_ids is specified, all files may participate in the
754
 
            merge.
755
 
        :param lca_trees: Can be set to a dictionary of {revision_id:rev_tree}
756
 
            if the ancestry was found to include a criss-cross merge.
757
 
            Otherwise should be None.
758
 
        """
 
429
                 pb=DummyProgress(), pp=None, change_reporter=None):
 
430
        """Initialize the merger object and perform the merge."""
759
431
        object.__init__(self)
760
 
        if interesting_files is not None and interesting_ids is not None:
761
 
            raise ValueError(
762
 
                'specify either interesting_ids or interesting_files')
763
 
        if this_branch is None:
764
 
            this_branch = this_tree.branch
765
 
        self.interesting_ids = interesting_ids
766
 
        self.interesting_files = interesting_files
767
 
        self.working_tree = working_tree
768
 
        self.this_tree = this_tree
 
432
        self.this_tree = working_tree
 
433
        self.this_tree.lock_tree_write()
769
434
        self.base_tree = base_tree
 
435
        self.base_tree.lock_read()
770
436
        self.other_tree = other_tree
771
 
        self.this_branch = this_branch
772
 
        self.other_branch = other_branch
 
437
        self.other_tree.lock_read()
773
438
        self._raw_conflicts = []
774
439
        self.cooked_conflicts = []
775
440
        self.reprocess = reprocess
776
441
        self.show_base = show_base
777
 
        self._lca_trees = lca_trees
778
 
        # Uncommenting this will change the default algorithm to always use
779
 
        # _entries_lca. This can be useful for running the test suite and
780
 
        # making sure we haven't missed any corner cases.
781
 
        # if lca_trees is None:
782
 
        #     self._lca_trees = [self.base_tree]
 
442
        self.pb = pb
 
443
        self.pp = pp
783
444
        self.change_reporter = change_reporter
784
 
        self.cherrypick = cherrypick
785
 
        if do_merge:
786
 
            self.do_merge()
787
 
        if pp is not None:
788
 
            warnings.warn("pp argument to Merge3Merger is deprecated")
789
 
        if pb is not None:
790
 
            warnings.warn("pb argument to Merge3Merger is deprecated")
791
 
 
792
 
    def do_merge(self):
793
 
        operation = cleanup.OperationWithCleanups(self._do_merge)
794
 
        self.working_tree.lock_tree_write()
795
 
        operation.add_cleanup(self.working_tree.unlock)
796
 
        self.this_tree.lock_read()
797
 
        operation.add_cleanup(self.this_tree.unlock)
798
 
        self.base_tree.lock_read()
799
 
        operation.add_cleanup(self.base_tree.unlock)
800
 
        self.other_tree.lock_read()
801
 
        operation.add_cleanup(self.other_tree.unlock)
802
 
        operation.run()
803
 
 
804
 
    def _do_merge(self, operation):
805
 
        self.tt = transform.TreeTransform(self.working_tree, None)
806
 
        operation.add_cleanup(self.tt.finalize)
807
 
        self._compute_transform()
808
 
        results = self.tt.apply(no_conflicts=True)
809
 
        self.write_modified(results)
810
 
        try:
811
 
            self.working_tree.add_conflicts(self.cooked_conflicts)
812
 
        except errors.UnsupportedOperation:
813
 
            pass
814
 
 
815
 
    def make_preview_transform(self):
816
 
        operation = cleanup.OperationWithCleanups(self._make_preview_transform)
817
 
        self.base_tree.lock_read()
818
 
        operation.add_cleanup(self.base_tree.unlock)
819
 
        self.other_tree.lock_read()
820
 
        operation.add_cleanup(self.other_tree.unlock)
821
 
        return operation.run_simple()
822
 
 
823
 
    def _make_preview_transform(self):
824
 
        self.tt = transform.TransformPreview(self.working_tree)
825
 
        self._compute_transform()
826
 
        return self.tt
827
 
 
828
 
    def _compute_transform(self):
829
 
        if self._lca_trees is None:
830
 
            entries = self._entries3()
831
 
            resolver = self._three_way
832
 
        else:
833
 
            entries = self._entries_lca()
834
 
            resolver = self._lca_multi_way
835
 
        # Prepare merge hooks
836
 
        factories = Merger.hooks['merge_file_content']
837
 
        # One hook for each registered one plus our default merger
838
 
        hooks = [factory(self) for factory in factories] + [self]
839
 
        self.active_hooks = [hook for hook in hooks if hook is not None]
840
 
        child_pb = ui.ui_factory.nested_progress_bar()
841
 
        try:
842
 
            for num, (file_id, changed, parents3, names3,
843
 
                      executable3) in enumerate(entries):
844
 
                # Try merging each entry
845
 
                child_pb.update(gettext('Preparing file merge'),
846
 
                                num, len(entries))
847
 
                self._merge_names(file_id, parents3, names3, resolver=resolver)
848
 
                if changed:
849
 
                    file_status = self._do_merge_contents(file_id)
850
 
                else:
851
 
                    file_status = 'unmodified'
852
 
                self._merge_executable(file_id,
853
 
                    executable3, file_status, resolver=resolver)
854
 
        finally:
855
 
            child_pb.finished()
856
 
        self.tt.fixup_new_roots()
857
 
        self._finish_computing_transform()
858
 
 
859
 
    def _finish_computing_transform(self):
860
 
        """Finalize the transform and report the changes.
861
 
 
862
 
        This is the second half of _compute_transform.
863
 
        """
864
 
        child_pb = ui.ui_factory.nested_progress_bar()
865
 
        try:
866
 
            fs_conflicts = transform.resolve_conflicts(self.tt, child_pb,
867
 
                lambda t, c: transform.conflict_pass(t, c, self.other_tree))
868
 
        finally:
869
 
            child_pb.finished()
870
 
        if self.change_reporter is not None:
871
 
            from bzrlib import delta
872
 
            delta.report_changes(
873
 
                self.tt.iter_changes(), self.change_reporter)
874
 
        self.cook_conflicts(fs_conflicts)
875
 
        for conflict in self.cooked_conflicts:
876
 
            trace.warning(unicode(conflict))
877
 
 
878
 
    def _entries3(self):
879
 
        """Gather data about files modified between three trees.
880
 
 
881
 
        Return a list of tuples of file_id, changed, parents3, names3,
882
 
        executable3.  changed is a boolean indicating whether the file contents
883
 
        or kind were changed.  parents3 is a tuple of parent ids for base,
884
 
        other and this.  names3 is a tuple of names for base, other and this.
885
 
        executable3 is a tuple of execute-bit values for base, other and this.
886
 
        """
887
 
        result = []
888
 
        iterator = self.other_tree.iter_changes(self.base_tree,
889
 
                specific_files=self.interesting_files,
890
 
                extra_trees=[self.this_tree])
891
 
        this_entries = dict((e.file_id, e) for p, e in
892
 
                            self.this_tree.iter_entries_by_dir(
893
 
                            self.interesting_ids))
894
 
        for (file_id, paths, changed, versioned, parents, names, kind,
895
 
             executable) in iterator:
896
 
            if (self.interesting_ids is not None and
897
 
                file_id not in self.interesting_ids):
898
 
                continue
899
 
            entry = this_entries.get(file_id)
900
 
            if entry is not None:
901
 
                this_name = entry.name
902
 
                this_parent = entry.parent_id
903
 
                this_executable = entry.executable
904
 
            else:
905
 
                this_name = None
906
 
                this_parent = None
907
 
                this_executable = None
908
 
            parents3 = parents + (this_parent,)
909
 
            names3 = names + (this_name,)
910
 
            executable3 = executable + (this_executable,)
911
 
            result.append((file_id, changed, parents3, names3, executable3))
912
 
        return result
913
 
 
914
 
    def _entries_lca(self):
915
 
        """Gather data about files modified between multiple trees.
916
 
 
917
 
        This compares OTHER versus all LCA trees, and for interesting entries,
918
 
        it then compares with THIS and BASE.
919
 
 
920
 
        For the multi-valued entries, the format will be (BASE, [lca1, lca2])
921
 
 
922
 
        :return: [(file_id, changed, parents, names, executable)], where:
923
 
 
924
 
            * file_id: Simple file_id of the entry
925
 
            * changed: Boolean, True if the kind or contents changed else False
926
 
            * parents: ((base, [parent_id, in, lcas]), parent_id_other,
927
 
                        parent_id_this)
928
 
            * names:   ((base, [name, in, lcas]), name_in_other, name_in_this)
929
 
            * executable: ((base, [exec, in, lcas]), exec_in_other,
930
 
                        exec_in_this)
931
 
        """
932
 
        if self.interesting_files is not None:
933
 
            lookup_trees = [self.this_tree, self.base_tree]
934
 
            lookup_trees.extend(self._lca_trees)
935
 
            # I think we should include the lca trees as well
936
 
            interesting_ids = self.other_tree.paths2ids(self.interesting_files,
937
 
                                                        lookup_trees)
938
 
        else:
939
 
            interesting_ids = self.interesting_ids
940
 
        result = []
941
 
        walker = _mod_tree.MultiWalker(self.other_tree, self._lca_trees)
942
 
 
943
 
        base_inventory = self.base_tree.root_inventory
944
 
        this_inventory = self.this_tree.root_inventory
945
 
        for path, file_id, other_ie, lca_values in walker.iter_all():
946
 
            # Is this modified at all from any of the other trees?
947
 
            if other_ie is None:
948
 
                other_ie = _none_entry
949
 
            if interesting_ids is not None and file_id not in interesting_ids:
950
 
                continue
951
 
 
952
 
            # If other_revision is found in any of the lcas, that means this
953
 
            # node is uninteresting. This is because when merging, if there are
954
 
            # multiple heads(), we have to create a new node. So if we didn't,
955
 
            # we know that the ancestry is linear, and that OTHER did not
956
 
            # modify anything
957
 
            # See doc/developers/lca_merge_resolution.txt for details
958
 
            other_revision = other_ie.revision
959
 
            if other_revision is not None:
960
 
                # We can't use this shortcut when other_revision is None,
961
 
                # because it may be None because things are WorkingTrees, and
962
 
                # not because it is *actually* None.
963
 
                is_unmodified = False
964
 
                for lca_path, ie in lca_values:
965
 
                    if ie is not None and ie.revision == other_revision:
966
 
                        is_unmodified = True
967
 
                        break
968
 
                if is_unmodified:
969
 
                    continue
970
 
 
971
 
            lca_entries = []
972
 
            for lca_path, lca_ie in lca_values:
973
 
                if lca_ie is None:
974
 
                    lca_entries.append(_none_entry)
975
 
                else:
976
 
                    lca_entries.append(lca_ie)
977
 
 
978
 
            if base_inventory.has_id(file_id):
979
 
                base_ie = base_inventory[file_id]
980
 
            else:
981
 
                base_ie = _none_entry
982
 
 
983
 
            if this_inventory.has_id(file_id):
984
 
                this_ie = this_inventory[file_id]
985
 
            else:
986
 
                this_ie = _none_entry
987
 
 
988
 
            lca_kinds = []
989
 
            lca_parent_ids = []
990
 
            lca_names = []
991
 
            lca_executable = []
992
 
            for lca_ie in lca_entries:
993
 
                lca_kinds.append(lca_ie.kind)
994
 
                lca_parent_ids.append(lca_ie.parent_id)
995
 
                lca_names.append(lca_ie.name)
996
 
                lca_executable.append(lca_ie.executable)
997
 
 
998
 
            kind_winner = self._lca_multi_way(
999
 
                (base_ie.kind, lca_kinds),
1000
 
                other_ie.kind, this_ie.kind)
1001
 
            parent_id_winner = self._lca_multi_way(
1002
 
                (base_ie.parent_id, lca_parent_ids),
1003
 
                other_ie.parent_id, this_ie.parent_id)
1004
 
            name_winner = self._lca_multi_way(
1005
 
                (base_ie.name, lca_names),
1006
 
                other_ie.name, this_ie.name)
1007
 
 
1008
 
            content_changed = True
1009
 
            if kind_winner == 'this':
1010
 
                # No kind change in OTHER, see if there are *any* changes
1011
 
                if other_ie.kind == 'directory':
1012
 
                    if parent_id_winner == 'this' and name_winner == 'this':
1013
 
                        # No change for this directory in OTHER, skip
1014
 
                        continue
1015
 
                    content_changed = False
1016
 
                elif other_ie.kind is None or other_ie.kind == 'file':
1017
 
                    def get_sha1(ie, tree):
1018
 
                        if ie.kind != 'file':
1019
 
                            return None
1020
 
                        return tree.get_file_sha1(file_id)
1021
 
                    base_sha1 = get_sha1(base_ie, self.base_tree)
1022
 
                    lca_sha1s = [get_sha1(ie, tree) for ie, tree
1023
 
                                 in zip(lca_entries, self._lca_trees)]
1024
 
                    this_sha1 = get_sha1(this_ie, self.this_tree)
1025
 
                    other_sha1 = get_sha1(other_ie, self.other_tree)
1026
 
                    sha1_winner = self._lca_multi_way(
1027
 
                        (base_sha1, lca_sha1s), other_sha1, this_sha1,
1028
 
                        allow_overriding_lca=False)
1029
 
                    exec_winner = self._lca_multi_way(
1030
 
                        (base_ie.executable, lca_executable),
1031
 
                        other_ie.executable, this_ie.executable)
1032
 
                    if (parent_id_winner == 'this' and name_winner == 'this'
1033
 
                        and sha1_winner == 'this' and exec_winner == 'this'):
1034
 
                        # No kind, parent, name, exec, or content change for
1035
 
                        # OTHER, so this node is not considered interesting
1036
 
                        continue
1037
 
                    if sha1_winner == 'this':
1038
 
                        content_changed = False
1039
 
                elif other_ie.kind == 'symlink':
1040
 
                    def get_target(ie, tree):
1041
 
                        if ie.kind != 'symlink':
1042
 
                            return None
1043
 
                        return tree.get_symlink_target(file_id)
1044
 
                    base_target = get_target(base_ie, self.base_tree)
1045
 
                    lca_targets = [get_target(ie, tree) for ie, tree
1046
 
                                   in zip(lca_entries, self._lca_trees)]
1047
 
                    this_target = get_target(this_ie, self.this_tree)
1048
 
                    other_target = get_target(other_ie, self.other_tree)
1049
 
                    target_winner = self._lca_multi_way(
1050
 
                        (base_target, lca_targets),
1051
 
                        other_target, this_target)
1052
 
                    if (parent_id_winner == 'this' and name_winner == 'this'
1053
 
                        and target_winner == 'this'):
1054
 
                        # No kind, parent, name, or symlink target change
1055
 
                        # not interesting
1056
 
                        continue
1057
 
                    if target_winner == 'this':
1058
 
                        content_changed = False
1059
 
                elif other_ie.kind == 'tree-reference':
1060
 
                    # The 'changed' information seems to be handled at a higher
1061
 
                    # level. At least, _entries3 returns False for content
1062
 
                    # changed, even when at a new revision_id.
1063
 
                    content_changed = False
1064
 
                    if (parent_id_winner == 'this' and name_winner == 'this'):
1065
 
                        # Nothing interesting
1066
 
                        continue
1067
 
                else:
1068
 
                    raise AssertionError('unhandled kind: %s' % other_ie.kind)
1069
 
 
1070
 
            # If we have gotten this far, that means something has changed
1071
 
            result.append((file_id, content_changed,
1072
 
                           ((base_ie.parent_id, lca_parent_ids),
1073
 
                            other_ie.parent_id, this_ie.parent_id),
1074
 
                           ((base_ie.name, lca_names),
1075
 
                            other_ie.name, this_ie.name),
1076
 
                           ((base_ie.executable, lca_executable),
1077
 
                            other_ie.executable, this_ie.executable)
1078
 
                          ))
1079
 
        return result
 
445
        if self.pp is None:
 
446
            self.pp = ProgressPhase("Merge phase", 3, self.pb)
 
447
 
 
448
        if interesting_ids is not None:
 
449
            all_ids = interesting_ids
 
450
        else:
 
451
            all_ids = set(base_tree)
 
452
            all_ids.update(other_tree)
 
453
        self.tt = TreeTransform(working_tree, self.pb)
 
454
        try:
 
455
            self.pp.next_phase()
 
456
            child_pb = ui.ui_factory.nested_progress_bar()
 
457
            try:
 
458
                for num, file_id in enumerate(all_ids):
 
459
                    child_pb.update('Preparing file merge', num, len(all_ids))
 
460
                    self.merge_names(file_id)
 
461
                    file_status = self.merge_contents(file_id)
 
462
                    self.merge_executable(file_id, file_status)
 
463
            finally:
 
464
                child_pb.finished()
 
465
            self.fix_root()
 
466
            self.pp.next_phase()
 
467
            child_pb = ui.ui_factory.nested_progress_bar()
 
468
            try:
 
469
                fs_conflicts = resolve_conflicts(self.tt, child_pb)
 
470
            finally:
 
471
                child_pb.finished()
 
472
            if change_reporter is not None:
 
473
                from bzrlib import delta
 
474
                delta.report_changes(self.tt._iter_changes(), change_reporter)
 
475
            self.cook_conflicts(fs_conflicts)
 
476
            for conflict in self.cooked_conflicts:
 
477
                warning(conflict)
 
478
            self.pp.next_phase()
 
479
            results = self.tt.apply()
 
480
            self.write_modified(results)
 
481
            try:
 
482
                working_tree.add_conflicts(self.cooked_conflicts)
 
483
            except UnsupportedOperation:
 
484
                pass
 
485
        finally:
 
486
            self.tt.finalize()
 
487
            self.other_tree.unlock()
 
488
            self.base_tree.unlock()
 
489
            self.this_tree.unlock()
 
490
            self.pb.clear()
 
491
 
 
492
    def fix_root(self):
 
493
        try:
 
494
            self.tt.final_kind(self.tt.root)
 
495
        except NoSuchFile:
 
496
            self.tt.cancel_deletion(self.tt.root)
 
497
        if self.tt.final_file_id(self.tt.root) is None:
 
498
            self.tt.version_file(self.tt.tree_file_id(self.tt.root), 
 
499
                                 self.tt.root)
 
500
        if self.other_tree.inventory.root is None:
 
501
            return
 
502
        other_root_file_id = self.other_tree.inventory.root.file_id
 
503
        other_root = self.tt.trans_id_file_id(other_root_file_id)
 
504
        if other_root == self.tt.root:
 
505
            return
 
506
        try:
 
507
            self.tt.final_kind(other_root)
 
508
        except NoSuchFile:
 
509
            return
 
510
        self.reparent_children(self.other_tree.inventory.root, self.tt.root)
 
511
        self.tt.cancel_creation(other_root)
 
512
        self.tt.cancel_versioning(other_root)
 
513
 
 
514
    def reparent_children(self, ie, target):
 
515
        for thing, child in ie.children.iteritems():
 
516
            trans_id = self.tt.trans_id_file_id(child.file_id)
 
517
            self.tt.adjust_path(self.tt.final_name(trans_id), target, trans_id)
1080
518
 
1081
519
    def write_modified(self, results):
1082
520
        modified_hashes = {}
1083
521
        for path in results.modified_paths:
1084
 
            file_id = self.working_tree.path2id(self.working_tree.relpath(path))
 
522
            file_id = self.this_tree.path2id(self.this_tree.relpath(path))
1085
523
            if file_id is None:
1086
524
                continue
1087
 
            hash = self.working_tree.get_file_sha1(file_id)
 
525
            hash = self.this_tree.get_file_sha1(file_id)
1088
526
            if hash is None:
1089
527
                continue
1090
528
            modified_hashes[file_id] = hash
1091
 
        self.working_tree.set_merge_modified(modified_hashes)
 
529
        self.this_tree.set_merge_modified(modified_hashes)
1092
530
 
1093
531
    @staticmethod
1094
532
    def parent(entry, file_id):
1103
541
        if entry is None:
1104
542
            return None
1105
543
        return entry.name
1106
 
 
 
544
    
1107
545
    @staticmethod
1108
546
    def contents_sha1(tree, file_id):
1109
547
        """Determine the sha1 of the file contents (used as a key method)."""
1110
 
        if not tree.has_id(file_id):
 
548
        if file_id not in tree:
1111
549
            return None
1112
550
        return tree.get_file_sha1(file_id)
1113
551
 
1114
552
    @staticmethod
1115
553
    def executable(tree, file_id):
1116
554
        """Determine the executability of a file-id (used as a key method)."""
1117
 
        if not tree.has_id(file_id):
 
555
        if file_id not in tree:
1118
556
            return None
1119
557
        if tree.kind(file_id) != "file":
1120
558
            return False
1123
561
    @staticmethod
1124
562
    def kind(tree, file_id):
1125
563
        """Determine the kind of a file-id (used as a key method)."""
1126
 
        if not tree.has_id(file_id):
 
564
        if file_id not in tree:
1127
565
            return None
1128
566
        return tree.kind(file_id)
1129
567
 
1130
568
    @staticmethod
1131
 
    def _three_way(base, other, this):
1132
 
        if base == other:
1133
 
            # if 'base == other', either they all agree, or only 'this' has
1134
 
            # changed.
1135
 
            return 'this'
1136
 
        elif this not in (base, other):
1137
 
            # 'this' is neither 'base' nor 'other', so both sides changed
1138
 
            return 'conflict'
1139
 
        elif this == other:
1140
 
            # "Ambiguous clean merge" -- both sides have made the same change.
 
569
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
 
570
        """Do a three-way test on a scalar.
 
571
        Return "this", "other" or "conflict", depending whether a value wins.
 
572
        """
 
573
        key_base = key(base_tree, file_id)
 
574
        key_other = key(other_tree, file_id)
 
575
        #if base == other, either they all agree, or only THIS has changed.
 
576
        if key_base == key_other:
 
577
            return "this"
 
578
        key_this = key(this_tree, file_id)
 
579
        if key_this not in (key_base, key_other):
 
580
            return "conflict"
 
581
        # "Ambiguous clean merge"
 
582
        elif key_this == key_other:
1141
583
            return "this"
1142
584
        else:
1143
 
            # this == base: only other has changed.
 
585
            assert key_this == key_base
1144
586
            return "other"
1145
587
 
1146
 
    @staticmethod
1147
 
    def _lca_multi_way(bases, other, this, allow_overriding_lca=True):
1148
 
        """Consider LCAs when determining whether a change has occurred.
1149
 
 
1150
 
        If LCAS are all identical, this is the same as a _three_way comparison.
1151
 
 
1152
 
        :param bases: value in (BASE, [LCAS])
1153
 
        :param other: value in OTHER
1154
 
        :param this: value in THIS
1155
 
        :param allow_overriding_lca: If there is more than one unique lca
1156
 
            value, allow OTHER to override THIS if it has a new value, and
1157
 
            THIS only has an lca value, or vice versa. This is appropriate for
1158
 
            truly scalar values, not as much for non-scalars.
1159
 
        :return: 'this', 'other', or 'conflict' depending on whether an entry
1160
 
            changed or not.
1161
 
        """
1162
 
        # See doc/developers/lca_tree_merging.txt for details about this
1163
 
        # algorithm.
1164
 
        if other == this:
1165
 
            # Either Ambiguously clean, or nothing was actually changed. We
1166
 
            # don't really care
1167
 
            return 'this'
1168
 
        base_val, lca_vals = bases
1169
 
        # Remove 'base_val' from the lca_vals, because it is not interesting
1170
 
        filtered_lca_vals = [lca_val for lca_val in lca_vals
1171
 
                                      if lca_val != base_val]
1172
 
        if len(filtered_lca_vals) == 0:
1173
 
            return Merge3Merger._three_way(base_val, other, this)
1174
 
 
1175
 
        unique_lca_vals = set(filtered_lca_vals)
1176
 
        if len(unique_lca_vals) == 1:
1177
 
            return Merge3Merger._three_way(unique_lca_vals.pop(), other, this)
1178
 
 
1179
 
        if allow_overriding_lca:
1180
 
            if other in unique_lca_vals:
1181
 
                if this in unique_lca_vals:
1182
 
                    # Each side picked a different lca, conflict
1183
 
                    return 'conflict'
1184
 
                else:
1185
 
                    # This has a value which supersedes both lca values, and
1186
 
                    # other only has an lca value
1187
 
                    return 'this'
1188
 
            elif this in unique_lca_vals:
1189
 
                # OTHER has a value which supersedes both lca values, and this
1190
 
                # only has an lca value
1191
 
                return 'other'
1192
 
 
1193
 
        # At this point, the lcas disagree, and the tip disagree
1194
 
        return 'conflict'
1195
 
 
1196
588
    def merge_names(self, file_id):
 
589
        """Perform a merge on file_id names and parents"""
1197
590
        def get_entry(tree):
1198
 
            try:
1199
 
                return tree.root_inventory[file_id]
1200
 
            except errors.NoSuchId:
 
591
            if file_id in tree.inventory:
 
592
                return tree.inventory[file_id]
 
593
            else:
1201
594
                return None
1202
595
        this_entry = get_entry(self.this_tree)
1203
596
        other_entry = get_entry(self.other_tree)
1204
597
        base_entry = get_entry(self.base_tree)
1205
 
        entries = (base_entry, other_entry, this_entry)
1206
 
        names = []
1207
 
        parents = []
1208
 
        for entry in entries:
1209
 
            if entry is None:
1210
 
                names.append(None)
1211
 
                parents.append(None)
1212
 
            else:
1213
 
                names.append(entry.name)
1214
 
                parents.append(entry.parent_id)
1215
 
        return self._merge_names(file_id, parents, names,
1216
 
                                 resolver=self._three_way)
1217
 
 
1218
 
    def _merge_names(self, file_id, parents, names, resolver):
1219
 
        """Perform a merge on file_id names and parents"""
1220
 
        base_name, other_name, this_name = names
1221
 
        base_parent, other_parent, this_parent = parents
1222
 
 
1223
 
        name_winner = resolver(*names)
1224
 
 
1225
 
        parent_id_winner = resolver(*parents)
1226
 
        if this_name is None:
 
598
        name_winner = self.scalar_three_way(this_entry, base_entry, 
 
599
                                            other_entry, file_id, self.name)
 
600
        parent_id_winner = self.scalar_three_way(this_entry, base_entry, 
 
601
                                                 other_entry, file_id, 
 
602
                                                 self.parent)
 
603
        if this_entry is None:
1227
604
            if name_winner == "this":
1228
605
                name_winner = "other"
1229
606
            if parent_id_winner == "this":
1230
607
                parent_id_winner = "other"
1231
608
        if name_winner == "this" and parent_id_winner == "this":
1232
609
            return
1233
 
        if name_winner == 'conflict' or parent_id_winner == 'conflict':
1234
 
            # Creating helpers (.OTHER or .THIS) here cause problems down the
1235
 
            # road if a ContentConflict needs to be created so we should not do
1236
 
            # that
1237
 
            trans_id = self.tt.trans_id_file_id(file_id)
1238
 
            self._raw_conflicts.append(('path conflict', trans_id, file_id,
1239
 
                                        this_parent, this_name,
1240
 
                                        other_parent, other_name))
1241
 
        if not self.other_tree.has_id(file_id):
1242
 
            # it doesn't matter whether the result was 'other' or
1243
 
            # 'conflict'-- if it has no file id, we leave it alone.
 
610
        if name_winner == "conflict":
 
611
            trans_id = self.tt.trans_id_file_id(file_id)
 
612
            self._raw_conflicts.append(('name conflict', trans_id, 
 
613
                                        self.name(this_entry, file_id), 
 
614
                                        self.name(other_entry, file_id)))
 
615
        if parent_id_winner == "conflict":
 
616
            trans_id = self.tt.trans_id_file_id(file_id)
 
617
            self._raw_conflicts.append(('parent conflict', trans_id, 
 
618
                                        self.parent(this_entry, file_id), 
 
619
                                        self.parent(other_entry, file_id)))
 
620
        if other_entry is None:
 
621
            # it doesn't matter whether the result was 'other' or 
 
622
            # 'conflict'-- if there's no 'other', we leave it alone.
1244
623
            return
1245
 
        parent_id = parents[self.winner_idx[parent_id_winner]]
1246
 
        name = names[self.winner_idx[name_winner]]
1247
 
        if parent_id is not None or name is not None:
1248
 
            # if we get here, name_winner and parent_winner are set to safe
1249
 
            # values.
1250
 
            if parent_id is None and name is not None:
1251
 
                # if parent_id is None and name is non-None, current file is
1252
 
                # the tree root.
1253
 
                if names[self.winner_idx[parent_id_winner]] != '':
1254
 
                    raise AssertionError(
1255
 
                        'File looks like a root, but named %s' %
1256
 
                        names[self.winner_idx[parent_id_winner]])
1257
 
                parent_trans_id = transform.ROOT_PARENT
1258
 
            else:
1259
 
                parent_trans_id = self.tt.trans_id_file_id(parent_id)
1260
 
            self.tt.adjust_path(name, parent_trans_id,
1261
 
                                self.tt.trans_id_file_id(file_id))
 
624
        # if we get here, name_winner and parent_winner are set to safe values.
 
625
        winner_entry = {"this": this_entry, "other": other_entry, 
 
626
                        "conflict": other_entry}
 
627
        trans_id = self.tt.trans_id_file_id(file_id)
 
628
        parent_id = winner_entry[parent_id_winner].parent_id
 
629
        if parent_id is not None:
 
630
            parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
631
            self.tt.adjust_path(winner_entry[name_winner].name, 
 
632
                                parent_trans_id, trans_id)
1262
633
 
1263
 
    def _do_merge_contents(self, file_id):
1264
 
        """Performs a merge on file_id contents."""
 
634
    def merge_contents(self, file_id):
 
635
        """Performa a merge on file_id contents."""
1265
636
        def contents_pair(tree):
1266
 
            if not tree.has_id(file_id):
 
637
            if file_id not in tree:
1267
638
                return (None, None)
1268
639
            kind = tree.kind(file_id)
1269
640
            if kind == "file":
1274
645
                contents = None
1275
646
            return kind, contents
1276
647
 
 
648
        def contents_conflict():
 
649
            trans_id = self.tt.trans_id_file_id(file_id)
 
650
            name = self.tt.final_name(trans_id)
 
651
            parent_id = self.tt.final_parent(trans_id)
 
652
            if file_id in self.this_tree.inventory:
 
653
                self.tt.unversion_file(trans_id)
 
654
                if file_id in self.this_tree:
 
655
                    self.tt.delete_contents(trans_id)
 
656
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
657
                                              set_version=True)
 
658
            self._raw_conflicts.append(('contents conflict', file_group))
 
659
 
1277
660
        # See SPOT run.  run, SPOT, run.
1278
661
        # So we're not QUITE repeating ourselves; we do tricky things with
1279
662
        # file kind...
1280
663
        base_pair = contents_pair(self.base_tree)
1281
664
        other_pair = contents_pair(self.other_tree)
1282
 
        if self._lca_trees:
1283
 
            this_pair = contents_pair(self.this_tree)
1284
 
            lca_pairs = [contents_pair(tree) for tree in self._lca_trees]
1285
 
            winner = self._lca_multi_way((base_pair, lca_pairs), other_pair,
1286
 
                                         this_pair, allow_overriding_lca=False)
 
665
        if base_pair == other_pair:
 
666
            # OTHER introduced no changes
 
667
            return "unmodified"
 
668
        this_pair = contents_pair(self.this_tree)
 
669
        if this_pair == other_pair:
 
670
            # THIS and OTHER introduced the same changes
 
671
            return "unmodified"
1287
672
        else:
1288
 
            if base_pair == other_pair:
1289
 
                winner = 'this'
1290
 
            else:
1291
 
                # We delayed evaluating this_pair as long as we can to avoid
1292
 
                # unnecessary sha1 calculation
1293
 
                this_pair = contents_pair(self.this_tree)
1294
 
                winner = self._three_way(base_pair, other_pair, this_pair)
1295
 
        if winner == 'this':
1296
 
            # No interesting changes introduced by OTHER
1297
 
            return "unmodified"
1298
 
        # We have a hypothetical conflict, but if we have files, then we
1299
 
        # can try to merge the content
1300
 
        trans_id = self.tt.trans_id_file_id(file_id)
1301
 
        params = MergeFileHookParams(self, file_id, trans_id, this_pair[0],
1302
 
            other_pair[0], winner)
1303
 
        hooks = self.active_hooks
1304
 
        hook_status = 'not_applicable'
1305
 
        for hook in hooks:
1306
 
            hook_status, lines = hook.merge_contents(params)
1307
 
            if hook_status != 'not_applicable':
1308
 
                # Don't try any more hooks, this one applies.
1309
 
                break
1310
 
        # If the merge ends up replacing the content of the file, we get rid of
1311
 
        # it at the end of this method (this variable is used to track the
1312
 
        # exceptions to this rule).
1313
 
        keep_this = False
1314
 
        result = "modified"
1315
 
        if hook_status == 'not_applicable':
1316
 
            # No merge hook was able to resolve the situation. Two cases exist:
1317
 
            # a content conflict or a duplicate one.
1318
 
            result = None
1319
 
            name = self.tt.final_name(trans_id)
1320
 
            parent_id = self.tt.final_parent(trans_id)
1321
 
            duplicate = False
1322
 
            inhibit_content_conflict = False
1323
 
            if params.this_kind is None: # file_id is not in THIS
1324
 
                # Is the name used for a different file_id ?
1325
 
                dupe_path = self.other_tree.id2path(file_id)
1326
 
                this_id = self.this_tree.path2id(dupe_path)
1327
 
                if this_id is not None:
1328
 
                    # Two entries for the same path
1329
 
                    keep_this = True
1330
 
                    # versioning the merged file will trigger a duplicate
1331
 
                    # conflict
1332
 
                    self.tt.version_file(file_id, trans_id)
1333
 
                    transform.create_from_tree(
1334
 
                        self.tt, trans_id, self.other_tree, file_id,
1335
 
                        filter_tree_path=self._get_filter_tree_path(file_id))
1336
 
                    inhibit_content_conflict = True
1337
 
            elif params.other_kind is None: # file_id is not in OTHER
1338
 
                # Is the name used for a different file_id ?
1339
 
                dupe_path = self.this_tree.id2path(file_id)
1340
 
                other_id = self.other_tree.path2id(dupe_path)
1341
 
                if other_id is not None:
1342
 
                    # Two entries for the same path again, but here, the other
1343
 
                    # entry will also be merged.  We simply inhibit the
1344
 
                    # 'content' conflict creation because we know OTHER will
1345
 
                    # create (or has already created depending on ordering) an
1346
 
                    # entry at the same path. This will trigger a 'duplicate'
1347
 
                    # conflict later.
1348
 
                    keep_this = True
1349
 
                    inhibit_content_conflict = True
1350
 
            if not inhibit_content_conflict:
1351
 
                if params.this_kind is not None:
 
673
            trans_id = self.tt.trans_id_file_id(file_id)
 
674
            if this_pair == base_pair:
 
675
                # only OTHER introduced changes
 
676
                if file_id in self.this_tree:
 
677
                    # Remove any existing contents
 
678
                    self.tt.delete_contents(trans_id)
 
679
                if file_id in self.other_tree:
 
680
                    # OTHER changed the file
 
681
                    create_by_entry(self.tt, 
 
682
                                    self.other_tree.inventory[file_id], 
 
683
                                    self.other_tree, trans_id)
 
684
                    if file_id not in self.this_tree.inventory:
 
685
                        self.tt.version_file(file_id, trans_id)
 
686
                    return "modified"
 
687
                elif file_id in self.this_tree.inventory:
 
688
                    # OTHER deleted the file
1352
689
                    self.tt.unversion_file(trans_id)
1353
 
                # This is a contents conflict, because none of the available
1354
 
                # functions could merge it.
1355
 
                file_group = self._dump_conflicts(name, parent_id, file_id,
1356
 
                                                  set_version=True)
1357
 
                self._raw_conflicts.append(('contents conflict', file_group))
1358
 
        elif hook_status == 'success':
1359
 
            self.tt.create_file(lines, trans_id)
1360
 
        elif hook_status == 'conflicted':
1361
 
            # XXX: perhaps the hook should be able to provide
1362
 
            # the BASE/THIS/OTHER files?
1363
 
            self.tt.create_file(lines, trans_id)
1364
 
            self._raw_conflicts.append(('text conflict', trans_id))
1365
 
            name = self.tt.final_name(trans_id)
1366
 
            parent_id = self.tt.final_parent(trans_id)
1367
 
            self._dump_conflicts(name, parent_id, file_id)
1368
 
        elif hook_status == 'delete':
1369
 
            self.tt.unversion_file(trans_id)
1370
 
            result = "deleted"
1371
 
        elif hook_status == 'done':
1372
 
            # The hook function did whatever it needs to do directly, no
1373
 
            # further action needed here.
1374
 
            pass
1375
 
        else:
1376
 
            raise AssertionError('unknown hook_status: %r' % (hook_status,))
1377
 
        if not self.this_tree.has_id(file_id) and result == "modified":
1378
 
            self.tt.version_file(file_id, trans_id)
1379
 
        if not keep_this:
1380
 
            # The merge has been performed and produced a new content, so the
1381
 
            # old contents should not be retained.
1382
 
            self.tt.delete_contents(trans_id)
1383
 
        return result
1384
 
 
1385
 
    def _default_other_winner_merge(self, merge_hook_params):
1386
 
        """Replace this contents with other."""
1387
 
        file_id = merge_hook_params.file_id
1388
 
        trans_id = merge_hook_params.trans_id
1389
 
        if self.other_tree.has_id(file_id):
1390
 
            # OTHER changed the file
1391
 
            transform.create_from_tree(
1392
 
                self.tt, trans_id, self.other_tree, file_id,
1393
 
                filter_tree_path=self._get_filter_tree_path(file_id))
1394
 
            return 'done', None
1395
 
        elif self.this_tree.has_id(file_id):
1396
 
            # OTHER deleted the file
1397
 
            return 'delete', None
1398
 
        else:
1399
 
            raise AssertionError(
1400
 
                'winner is OTHER, but file_id %r not in THIS or OTHER tree'
1401
 
                % (file_id,))
1402
 
 
1403
 
    def merge_contents(self, merge_hook_params):
1404
 
        """Fallback merge logic after user installed hooks."""
1405
 
        # This function is used in merge hooks as the fallback instance.
1406
 
        # Perhaps making this function and the functions it calls be a 
1407
 
        # a separate class would be better.
1408
 
        if merge_hook_params.winner == 'other':
1409
 
            # OTHER is a straight winner, so replace this contents with other
1410
 
            return self._default_other_winner_merge(merge_hook_params)
1411
 
        elif merge_hook_params.is_file_merge():
1412
 
            # THIS and OTHER are both files, so text merge.  Either
1413
 
            # BASE is a file, or both converted to files, so at least we
1414
 
            # have agreement that output should be a file.
1415
 
            try:
1416
 
                self.text_merge(merge_hook_params.file_id,
1417
 
                    merge_hook_params.trans_id)
1418
 
            except errors.BinaryFile:
1419
 
                return 'not_applicable', None
1420
 
            return 'done', None
1421
 
        else:
1422
 
            return 'not_applicable', None
 
690
                    return "deleted"
 
691
            #BOTH THIS and OTHER introduced changes; scalar conflict
 
692
            elif this_pair[0] == "file" and other_pair[0] == "file":
 
693
                # THIS and OTHER are both files, so text merge.  Either
 
694
                # BASE is a file, or both converted to files, so at least we
 
695
                # have agreement that output should be a file.
 
696
                try:
 
697
                    self.text_merge(file_id, trans_id)
 
698
                except BinaryFile:
 
699
                    return contents_conflict()
 
700
                if file_id not in self.this_tree.inventory:
 
701
                    self.tt.version_file(file_id, trans_id)
 
702
                try:
 
703
                    self.tt.tree_kind(trans_id)
 
704
                    self.tt.delete_contents(trans_id)
 
705
                except NoSuchFile:
 
706
                    pass
 
707
                return "modified"
 
708
            else:
 
709
                # Scalar conflict, can't text merge.  Dump conflicts
 
710
                return contents_conflict()
1423
711
 
1424
712
    def get_lines(self, tree, file_id):
1425
713
        """Return the lines in a file, or an empty list."""
1426
 
        if tree.has_id(file_id):
1427
 
            return tree.get_file_lines(file_id)
 
714
        if file_id in tree:
 
715
            return tree.get_file(file_id).readlines()
1428
716
        else:
1429
717
            return []
1430
718
 
1432
720
        """Perform a three-way text merge on a file_id"""
1433
721
        # it's possible that we got here with base as a different type.
1434
722
        # if so, we just want two-way text conflicts.
1435
 
        if self.base_tree.has_id(file_id) and \
 
723
        if file_id in self.base_tree and \
1436
724
            self.base_tree.kind(file_id) == "file":
1437
725
            base_lines = self.get_lines(self.base_tree, file_id)
1438
726
        else:
1439
727
            base_lines = []
1440
728
        other_lines = self.get_lines(self.other_tree, file_id)
1441
729
        this_lines = self.get_lines(self.this_tree, file_id)
1442
 
        m3 = merge3.Merge3(base_lines, this_lines, other_lines,
1443
 
                           is_cherrypick=self.cherrypick)
 
730
        m3 = Merge3(base_lines, this_lines, other_lines)
1444
731
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
1445
732
        if self.show_base is True:
1446
733
            base_marker = '|' * 7
1449
736
 
1450
737
        def iter_merge3(retval):
1451
738
            retval["text_conflicts"] = False
1452
 
            for line in m3.merge_lines(name_a = "TREE",
1453
 
                                       name_b = "MERGE-SOURCE",
 
739
            for line in m3.merge_lines(name_a = "TREE", 
 
740
                                       name_b = "MERGE-SOURCE", 
1454
741
                                       name_base = "BASE-REVISION",
1455
 
                                       start_marker=start_marker,
 
742
                                       start_marker=start_marker, 
1456
743
                                       base_marker=base_marker,
1457
744
                                       reprocess=self.reprocess):
1458
745
                if line.startswith(start_marker):
1467
754
            self._raw_conflicts.append(('text conflict', trans_id))
1468
755
            name = self.tt.final_name(trans_id)
1469
756
            parent_id = self.tt.final_parent(trans_id)
1470
 
            file_group = self._dump_conflicts(name, parent_id, file_id,
 
757
            file_group = self._dump_conflicts(name, parent_id, file_id, 
1471
758
                                              this_lines, base_lines,
1472
759
                                              other_lines)
1473
760
            file_group.append(trans_id)
1474
761
 
1475
 
 
1476
 
    def _get_filter_tree_path(self, file_id):
1477
 
        if self.this_tree.supports_content_filtering():
1478
 
            # We get the path from the working tree if it exists.
1479
 
            # That fails though when OTHER is adding a file, so
1480
 
            # we fall back to the other tree to find the path if
1481
 
            # it doesn't exist locally.
1482
 
            try:
1483
 
                return self.this_tree.id2path(file_id)
1484
 
            except errors.NoSuchId:
1485
 
                return self.other_tree.id2path(file_id)
1486
 
        # Skip the id2path lookup for older formats
1487
 
        return None
1488
 
 
1489
 
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None,
 
762
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None, 
1490
763
                        base_lines=None, other_lines=None, set_version=False,
1491
764
                        no_base=False):
1492
765
        """Emit conflict files.
1494
767
        determined automatically.  If set_version is true, the .OTHER, .THIS
1495
768
        or .BASE (in that order) will be created as versioned files.
1496
769
        """
1497
 
        data = [('OTHER', self.other_tree, other_lines),
 
770
        data = [('OTHER', self.other_tree, other_lines), 
1498
771
                ('THIS', self.this_tree, this_lines)]
1499
772
        if not no_base:
1500
773
            data.append(('BASE', self.base_tree, base_lines))
1501
 
 
1502
 
        # We need to use the actual path in the working tree of the file here,
1503
 
        # ignoring the conflict suffixes
1504
 
        wt = self.this_tree
1505
 
        if wt.supports_content_filtering():
1506
 
            try:
1507
 
                filter_tree_path = wt.id2path(file_id)
1508
 
            except errors.NoSuchId:
1509
 
                # file has been deleted
1510
 
                filter_tree_path = None
1511
 
        else:
1512
 
            # Skip the id2path lookup for older formats
1513
 
            filter_tree_path = None
1514
 
 
1515
774
        versioned = False
1516
775
        file_group = []
1517
776
        for suffix, tree, lines in data:
1518
 
            if tree.has_id(file_id):
 
777
            if file_id in tree:
1519
778
                trans_id = self._conflict_file(name, parent_id, tree, file_id,
1520
 
                                               suffix, lines, filter_tree_path)
 
779
                                               suffix, lines)
1521
780
                file_group.append(trans_id)
1522
781
                if set_version and not versioned:
1523
782
                    self.tt.version_file(file_id, trans_id)
1524
783
                    versioned = True
1525
784
        return file_group
1526
 
 
1527
 
    def _conflict_file(self, name, parent_id, tree, file_id, suffix,
1528
 
                       lines=None, filter_tree_path=None):
 
785
           
 
786
    def _conflict_file(self, name, parent_id, tree, file_id, suffix, 
 
787
                       lines=None):
1529
788
        """Emit a single conflict file."""
1530
789
        name = name + '.' + suffix
1531
790
        trans_id = self.tt.create_path(name, parent_id)
1532
 
        transform.create_from_tree(self.tt, trans_id, tree, file_id, lines,
1533
 
            filter_tree_path)
 
791
        entry = tree.inventory[file_id]
 
792
        create_by_entry(self.tt, entry, tree, trans_id, lines)
1534
793
        return trans_id
1535
794
 
1536
795
    def merge_executable(self, file_id, file_status):
1537
796
        """Perform a merge on the execute bit."""
1538
 
        executable = [self.executable(t, file_id) for t in (self.base_tree,
1539
 
                      self.other_tree, self.this_tree)]
1540
 
        self._merge_executable(file_id, executable, file_status,
1541
 
                               resolver=self._three_way)
1542
 
 
1543
 
    def _merge_executable(self, file_id, executable, file_status,
1544
 
                          resolver):
1545
 
        """Perform a merge on the execute bit."""
1546
 
        base_executable, other_executable, this_executable = executable
1547
797
        if file_status == "deleted":
1548
798
            return
1549
 
        winner = resolver(*executable)
 
799
        trans_id = self.tt.trans_id_file_id(file_id)
 
800
        try:
 
801
            if self.tt.final_kind(trans_id) != "file":
 
802
                return
 
803
        except NoSuchFile:
 
804
            return
 
805
        winner = self.scalar_three_way(self.this_tree, self.base_tree, 
 
806
                                       self.other_tree, file_id, 
 
807
                                       self.executable)
1550
808
        if winner == "conflict":
1551
809
        # There must be a None in here, if we have a conflict, but we
1552
810
        # need executability since file status was not deleted.
1554
812
                winner = "this"
1555
813
            else:
1556
814
                winner = "other"
1557
 
        if winner == 'this' and file_status != "modified":
1558
 
            return
1559
 
        trans_id = self.tt.trans_id_file_id(file_id)
1560
 
        if self.tt.final_kind(trans_id) != "file":
1561
 
            return
1562
815
        if winner == "this":
1563
 
            executability = this_executable
 
816
            if file_status == "modified":
 
817
                executability = self.this_tree.is_executable(file_id)
 
818
                if executability is not None:
 
819
                    trans_id = self.tt.trans_id_file_id(file_id)
 
820
                    self.tt.set_executability(executability, trans_id)
1564
821
        else:
1565
 
            if self.other_tree.has_id(file_id):
1566
 
                executability = other_executable
1567
 
            elif self.this_tree.has_id(file_id):
1568
 
                executability = this_executable
1569
 
            elif self.base_tree_has_id(file_id):
1570
 
                executability = base_executable
1571
 
        if executability is not None:
1572
 
            trans_id = self.tt.trans_id_file_id(file_id)
1573
 
            self.tt.set_executability(executability, trans_id)
 
822
            assert winner == "other"
 
823
            if file_id in self.other_tree:
 
824
                executability = self.other_tree.is_executable(file_id)
 
825
            elif file_id in self.this_tree:
 
826
                executability = self.this_tree.is_executable(file_id)
 
827
            elif file_id in self.base_tree:
 
828
                executability = self.base_tree.is_executable(file_id)
 
829
            if executability is not None:
 
830
                trans_id = self.tt.trans_id_file_id(file_id)
 
831
                self.tt.set_executability(executability, trans_id)
1574
832
 
1575
833
    def cook_conflicts(self, fs_conflicts):
1576
834
        """Convert all conflicts into a form that doesn't depend on trans_id"""
1577
 
        content_conflict_file_ids = set()
1578
 
        cooked_conflicts = transform.cook_conflicts(fs_conflicts, self.tt)
1579
 
        fp = transform.FinalPaths(self.tt)
 
835
        from conflicts import Conflict
 
836
        name_conflicts = {}
 
837
        self.cooked_conflicts.extend(cook_conflicts(fs_conflicts, self.tt))
 
838
        fp = FinalPaths(self.tt)
1580
839
        for conflict in self._raw_conflicts:
1581
840
            conflict_type = conflict[0]
1582
 
            if conflict_type == 'path conflict':
1583
 
                (trans_id, file_id,
1584
 
                this_parent, this_name,
1585
 
                other_parent, other_name) = conflict[1:]
1586
 
                if this_parent is None or this_name is None:
1587
 
                    this_path = '<deleted>'
1588
 
                else:
1589
 
                    parent_path =  fp.get_path(
1590
 
                        self.tt.trans_id_file_id(this_parent))
1591
 
                    this_path = osutils.pathjoin(parent_path, this_name)
1592
 
                if other_parent is None or other_name is None:
1593
 
                    other_path = '<deleted>'
1594
 
                else:
1595
 
                    if other_parent == self.other_tree.get_root_id():
1596
 
                        # The tree transform doesn't know about the other root,
1597
 
                        # so we special case here to avoid a NoFinalPath
1598
 
                        # exception
1599
 
                        parent_path = ''
1600
 
                    else:
1601
 
                        parent_path =  fp.get_path(
1602
 
                            self.tt.trans_id_file_id(other_parent))
1603
 
                    other_path = osutils.pathjoin(parent_path, other_name)
1604
 
                c = _mod_conflicts.Conflict.factory(
1605
 
                    'path conflict', path=this_path,
1606
 
                    conflict_path=other_path,
1607
 
                    file_id=file_id)
1608
 
            elif conflict_type == 'contents conflict':
 
841
            if conflict_type in ('name conflict', 'parent conflict'):
 
842
                trans_id = conflict[1]
 
843
                conflict_args = conflict[2:]
 
844
                if trans_id not in name_conflicts:
 
845
                    name_conflicts[trans_id] = {}
 
846
                unique_add(name_conflicts[trans_id], conflict_type, 
 
847
                           conflict_args)
 
848
            if conflict_type == 'contents conflict':
1609
849
                for trans_id in conflict[1]:
1610
850
                    file_id = self.tt.final_file_id(trans_id)
1611
851
                    if file_id is not None:
1612
 
                        # Ok we found the relevant file-id
1613
852
                        break
1614
853
                path = fp.get_path(trans_id)
1615
854
                for suffix in ('.BASE', '.THIS', '.OTHER'):
1616
855
                    if path.endswith(suffix):
1617
 
                        # Here is the raw path
1618
856
                        path = path[:-len(suffix)]
1619
857
                        break
1620
 
                c = _mod_conflicts.Conflict.factory(conflict_type,
1621
 
                                                    path=path, file_id=file_id)
1622
 
                content_conflict_file_ids.add(file_id)
1623
 
            elif conflict_type == 'text conflict':
 
858
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
859
                self.cooked_conflicts.append(c)
 
860
            if conflict_type == 'text conflict':
1624
861
                trans_id = conflict[1]
1625
862
                path = fp.get_path(trans_id)
1626
863
                file_id = self.tt.final_file_id(trans_id)
1627
 
                c = _mod_conflicts.Conflict.factory(conflict_type,
1628
 
                                                    path=path, file_id=file_id)
 
864
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
865
                self.cooked_conflicts.append(c)
 
866
 
 
867
        for trans_id, conflicts in name_conflicts.iteritems():
 
868
            try:
 
869
                this_parent, other_parent = conflicts['parent conflict']
 
870
                assert this_parent != other_parent
 
871
            except KeyError:
 
872
                this_parent = other_parent = \
 
873
                    self.tt.final_file_id(self.tt.final_parent(trans_id))
 
874
            try:
 
875
                this_name, other_name = conflicts['name conflict']
 
876
                assert this_name != other_name
 
877
            except KeyError:
 
878
                this_name = other_name = self.tt.final_name(trans_id)
 
879
            other_path = fp.get_path(trans_id)
 
880
            if this_parent is not None and this_name is not None:
 
881
                this_parent_path = \
 
882
                    fp.get_path(self.tt.trans_id_file_id(this_parent))
 
883
                this_path = pathjoin(this_parent_path, this_name)
1629
884
            else:
1630
 
                raise AssertionError('bad conflict type: %r' % (conflict,))
1631
 
            cooked_conflicts.append(c)
1632
 
 
1633
 
        self.cooked_conflicts = []
1634
 
        # We want to get rid of path conflicts when a corresponding contents
1635
 
        # conflict exists. This can occur when one branch deletes a file while
1636
 
        # the other renames *and* modifies it. In this case, the content
1637
 
        # conflict is enough.
1638
 
        for c in cooked_conflicts:
1639
 
            if (c.typestring == 'path conflict'
1640
 
                and c.file_id in content_conflict_file_ids):
1641
 
                continue
 
885
                this_path = "<deleted>"
 
886
            file_id = self.tt.final_file_id(trans_id)
 
887
            c = Conflict.factory('path conflict', path=this_path,
 
888
                                 conflict_path=other_path, file_id=file_id)
1642
889
            self.cooked_conflicts.append(c)
1643
 
        self.cooked_conflicts.sort(key=_mod_conflicts.Conflict.sort_key)
 
890
        self.cooked_conflicts.sort(key=Conflict.sort_key)
1644
891
 
1645
892
 
1646
893
class WeaveMerger(Merge3Merger):
1647
894
    """Three-way tree merger, text weave merger."""
1648
895
    supports_reprocess = True
1649
896
    supports_show_base = False
1650
 
    supports_reverse_cherrypick = False
1651
 
    history_based = True
1652
 
 
1653
 
    def _generate_merge_plan(self, file_id, base):
1654
 
        return self.this_tree.plan_file_merge(file_id, self.other_tree,
1655
 
                                              base=base)
 
897
 
 
898
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
899
                 interesting_ids=None, pb=DummyProgress(), pp=None,
 
900
                 reprocess=False, change_reporter=None):
 
901
        self.this_revision_tree = self._get_revision_tree(this_tree)
 
902
        self.other_revision_tree = self._get_revision_tree(other_tree)
 
903
        super(WeaveMerger, self).__init__(working_tree, this_tree, 
 
904
                                          base_tree, other_tree, 
 
905
                                          interesting_ids=interesting_ids, 
 
906
                                          pb=pb, pp=pp, reprocess=reprocess,
 
907
                                          change_reporter=change_reporter)
 
908
 
 
909
    def _get_revision_tree(self, tree):
 
910
        """Return a revision tree related to this tree.
 
911
        If the tree is a WorkingTree, the basis will be returned.
 
912
        """
 
913
        if getattr(tree, 'get_weave', False) is False:
 
914
            # If we have a WorkingTree, try using the basis
 
915
            return tree.branch.basis_tree()
 
916
        else:
 
917
            return tree
 
918
 
 
919
    def _check_file(self, file_id):
 
920
        """Check that the revision tree's version of the file matches."""
 
921
        for tree, rt in ((self.this_tree, self.this_revision_tree), 
 
922
                         (self.other_tree, self.other_revision_tree)):
 
923
            if rt is tree:
 
924
                continue
 
925
            if tree.get_file_sha1(file_id) != rt.get_file_sha1(file_id):
 
926
                raise WorkingTreeNotRevision(self.this_tree)
1656
927
 
1657
928
    def _merged_lines(self, file_id):
1658
929
        """Generate the merged lines.
1659
930
        There is no distinction between lines that are meant to contain <<<<<<<
1660
931
        and conflicts.
1661
932
        """
1662
 
        if self.cherrypick:
1663
 
            base = self.base_tree
1664
 
        else:
1665
 
            base = None
1666
 
        plan = self._generate_merge_plan(file_id, base)
1667
 
        if 'merge' in debug.debug_flags:
1668
 
            plan = list(plan)
1669
 
            trans_id = self.tt.trans_id_file_id(file_id)
1670
 
            name = self.tt.final_name(trans_id) + '.plan'
1671
 
            contents = ('%11s|%s' % l for l in plan)
1672
 
            self.tt.new_file(name, self.tt.final_parent(trans_id), contents)
1673
 
        textmerge = versionedfile.PlanWeaveMerge(plan, '<<<<<<< TREE\n',
1674
 
                                                 '>>>>>>> MERGE-SOURCE\n')
1675
 
        lines, conflicts = textmerge.merge_lines(self.reprocess)
1676
 
        if conflicts:
1677
 
            base_lines = textmerge.base_from_plan()
1678
 
        else:
1679
 
            base_lines = None
1680
 
        return lines, base_lines
 
933
        weave = self.this_revision_tree.get_weave(file_id)
 
934
        this_revision_id = self.this_revision_tree.inventory[file_id].revision
 
935
        other_revision_id = \
 
936
            self.other_revision_tree.inventory[file_id].revision
 
937
        wm = WeaveMerge(weave, this_revision_id, other_revision_id, 
 
938
                        '<<<<<<< TREE\n', '>>>>>>> MERGE-SOURCE\n')
 
939
        return wm.merge_lines(self.reprocess)
1681
940
 
1682
941
    def text_merge(self, file_id, trans_id):
1683
942
        """Perform a (weave) text merge for a given file and file-id.
1684
943
        If conflicts are encountered, .THIS and .OTHER files will be emitted,
1685
944
        and a conflict will be noted.
1686
945
        """
1687
 
        lines, base_lines = self._merged_lines(file_id)
 
946
        self._check_file(file_id)
 
947
        lines, conflicts = self._merged_lines(file_id)
1688
948
        lines = list(lines)
1689
 
        # Note we're checking whether the OUTPUT is binary in this case,
 
949
        # Note we're checking whether the OUTPUT is binary in this case, 
1690
950
        # because we don't want to get into weave merge guts.
1691
 
        textfile.check_text_lines(lines)
 
951
        check_text_lines(lines)
1692
952
        self.tt.create_file(lines, trans_id)
1693
 
        if base_lines is not None:
1694
 
            # Conflict
 
953
        if conflicts:
1695
954
            self._raw_conflicts.append(('text conflict', trans_id))
1696
955
            name = self.tt.final_name(trans_id)
1697
956
            parent_id = self.tt.final_parent(trans_id)
1698
 
            file_group = self._dump_conflicts(name, parent_id, file_id,
1699
 
                                              no_base=False,
1700
 
                                              base_lines=base_lines)
 
957
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
958
                                              no_base=True)
1701
959
            file_group.append(trans_id)
1702
960
 
1703
961
 
1704
 
class LCAMerger(WeaveMerger):
1705
 
 
1706
 
    def _generate_merge_plan(self, file_id, base):
1707
 
        return self.this_tree.plan_file_lca_merge(file_id, self.other_tree,
1708
 
                                                  base=base)
1709
 
 
1710
962
class Diff3Merger(Merge3Merger):
1711
963
    """Three-way merger using external diff3 for text merging"""
1712
964
 
1713
965
    def dump_file(self, temp_dir, name, tree, file_id):
1714
 
        out_path = osutils.pathjoin(temp_dir, name)
 
966
        out_path = pathjoin(temp_dir, name)
1715
967
        out_file = open(out_path, "wb")
1716
968
        try:
1717
969
            in_file = tree.get_file(file_id)
1729
981
        import bzrlib.patch
1730
982
        temp_dir = osutils.mkdtemp(prefix="bzr-")
1731
983
        try:
1732
 
            new_file = osutils.pathjoin(temp_dir, "new")
 
984
            new_file = pathjoin(temp_dir, "new")
1733
985
            this = self.dump_file(temp_dir, "this", self.this_tree, file_id)
1734
986
            base = self.dump_file(temp_dir, "base", self.base_tree, file_id)
1735
987
            other = self.dump_file(temp_dir, "other", self.other_tree, file_id)
1736
988
            status = bzrlib.patch.diff3(new_file, this, base, other)
1737
989
            if status not in (0, 1):
1738
 
                raise errors.BzrError("Unhandled diff3 exit code")
 
990
                raise BzrError("Unhandled diff3 exit code")
1739
991
            f = open(new_file, 'rb')
1740
992
            try:
1741
993
                self.tt.create_file(f, trans_id)
1750
1002
            osutils.rmtree(temp_dir)
1751
1003
 
1752
1004
 
1753
 
class PathNotInTree(errors.BzrError):
1754
 
 
1755
 
    _fmt = """Merge-into failed because %(tree)s does not contain %(path)s."""
1756
 
 
1757
 
    def __init__(self, path, tree):
1758
 
        errors.BzrError.__init__(self, path=path, tree=tree)
1759
 
 
1760
 
 
1761
 
class MergeIntoMerger(Merger):
1762
 
    """Merger that understands other_tree will be merged into a subdir.
1763
 
 
1764
 
    This also changes the Merger api so that it uses real Branch, revision_id,
1765
 
    and RevisonTree objects, rather than using revision specs.
1766
 
    """
1767
 
 
1768
 
    def __init__(self, this_tree, other_branch, other_tree, target_subdir,
1769
 
            source_subpath, other_rev_id=None):
1770
 
        """Create a new MergeIntoMerger object.
1771
 
 
1772
 
        source_subpath in other_tree will be effectively copied to
1773
 
        target_subdir in this_tree.
1774
 
 
1775
 
        :param this_tree: The tree that we will be merging into.
1776
 
        :param other_branch: The Branch we will be merging from.
1777
 
        :param other_tree: The RevisionTree object we want to merge.
1778
 
        :param target_subdir: The relative path where we want to merge
1779
 
            other_tree into this_tree
1780
 
        :param source_subpath: The relative path specifying the subtree of
1781
 
            other_tree to merge into this_tree.
1782
 
        """
1783
 
        # It is assumed that we are merging a tree that is not in our current
1784
 
        # ancestry, which means we are using the "EmptyTree" as our basis.
1785
 
        null_ancestor_tree = this_tree.branch.repository.revision_tree(
1786
 
                                _mod_revision.NULL_REVISION)
1787
 
        super(MergeIntoMerger, self).__init__(
1788
 
            this_branch=this_tree.branch,
1789
 
            this_tree=this_tree,
1790
 
            other_tree=other_tree,
1791
 
            base_tree=null_ancestor_tree,
1792
 
            )
1793
 
        self._target_subdir = target_subdir
1794
 
        self._source_subpath = source_subpath
1795
 
        self.other_branch = other_branch
1796
 
        if other_rev_id is None:
1797
 
            other_rev_id = other_tree.get_revision_id()
1798
 
        self.other_rev_id = self.other_basis = other_rev_id
1799
 
        self.base_is_ancestor = True
1800
 
        self.backup_files = True
1801
 
        self.merge_type = Merge3Merger
1802
 
        self.show_base = False
1803
 
        self.reprocess = False
1804
 
        self.interesting_ids = None
1805
 
        self.merge_type = _MergeTypeParameterizer(MergeIntoMergeType,
1806
 
              target_subdir=self._target_subdir,
1807
 
              source_subpath=self._source_subpath)
1808
 
        if self._source_subpath != '':
1809
 
            # If this isn't a partial merge make sure the revisions will be
1810
 
            # present.
1811
 
            self._maybe_fetch(self.other_branch, self.this_branch,
1812
 
                self.other_basis)
1813
 
 
1814
 
    def set_pending(self):
1815
 
        if self._source_subpath != '':
1816
 
            return
1817
 
        Merger.set_pending(self)
1818
 
 
1819
 
 
1820
 
class _MergeTypeParameterizer(object):
1821
 
    """Wrap a merge-type class to provide extra parameters.
1822
 
    
1823
 
    This is hack used by MergeIntoMerger to pass some extra parameters to its
1824
 
    merge_type.  Merger.do_merge() sets up its own set of parameters to pass to
1825
 
    the 'merge_type' member.  It is difficult override do_merge without
1826
 
    re-writing the whole thing, so instead we create a wrapper which will pass
1827
 
    the extra parameters.
1828
 
    """
1829
 
 
1830
 
    def __init__(self, merge_type, **kwargs):
1831
 
        self._extra_kwargs = kwargs
1832
 
        self._merge_type = merge_type
1833
 
 
1834
 
    def __call__(self, *args, **kwargs):
1835
 
        kwargs.update(self._extra_kwargs)
1836
 
        return self._merge_type(*args, **kwargs)
1837
 
 
1838
 
    def __getattr__(self, name):
1839
 
        return getattr(self._merge_type, name)
1840
 
 
1841
 
 
1842
 
class MergeIntoMergeType(Merge3Merger):
1843
 
    """Merger that incorporates a tree (or part of a tree) into another."""
1844
 
 
1845
 
    def __init__(self, *args, **kwargs):
1846
 
        """Initialize the merger object.
1847
 
 
1848
 
        :param args: See Merge3Merger.__init__'s args.
1849
 
        :param kwargs: See Merge3Merger.__init__'s keyword args, except for
1850
 
            source_subpath and target_subdir.
1851
 
        :keyword source_subpath: The relative path specifying the subtree of
1852
 
            other_tree to merge into this_tree.
1853
 
        :keyword target_subdir: The relative path where we want to merge
1854
 
            other_tree into this_tree
1855
 
        """
1856
 
        # All of the interesting work happens during Merge3Merger.__init__(),
1857
 
        # so we have have to hack in to get our extra parameters set.
1858
 
        self._source_subpath = kwargs.pop('source_subpath')
1859
 
        self._target_subdir = kwargs.pop('target_subdir')
1860
 
        super(MergeIntoMergeType, self).__init__(*args, **kwargs)
1861
 
 
1862
 
    def _compute_transform(self):
1863
 
        child_pb = ui.ui_factory.nested_progress_bar()
1864
 
        try:
1865
 
            entries = self._entries_to_incorporate()
1866
 
            entries = list(entries)
1867
 
            for num, (entry, parent_id) in enumerate(entries):
1868
 
                child_pb.update(gettext('Preparing file merge'), num, len(entries))
1869
 
                parent_trans_id = self.tt.trans_id_file_id(parent_id)
1870
 
                trans_id = transform.new_by_entry(self.tt, entry,
1871
 
                    parent_trans_id, self.other_tree)
1872
 
        finally:
1873
 
            child_pb.finished()
1874
 
        self._finish_computing_transform()
1875
 
 
1876
 
    def _entries_to_incorporate(self):
1877
 
        """Yields pairs of (inventory_entry, new_parent)."""
1878
 
        other_inv = self.other_tree.root_inventory
1879
 
        subdir_id = other_inv.path2id(self._source_subpath)
1880
 
        if subdir_id is None:
1881
 
            # XXX: The error would be clearer if it gave the URL of the source
1882
 
            # branch, but we don't have a reference to that here.
1883
 
            raise PathNotInTree(self._source_subpath, "Source tree")
1884
 
        subdir = other_inv[subdir_id]
1885
 
        parent_in_target = osutils.dirname(self._target_subdir)
1886
 
        target_id = self.this_tree.path2id(parent_in_target)
1887
 
        if target_id is None:
1888
 
            raise PathNotInTree(self._target_subdir, "Target tree")
1889
 
        name_in_target = osutils.basename(self._target_subdir)
1890
 
        merge_into_root = subdir.copy()
1891
 
        merge_into_root.name = name_in_target
1892
 
        if self.this_tree.has_id(merge_into_root.file_id):
1893
 
            # Give the root a new file-id.
1894
 
            # This can happen fairly easily if the directory we are
1895
 
            # incorporating is the root, and both trees have 'TREE_ROOT' as
1896
 
            # their root_id.  Users will expect this to Just Work, so we
1897
 
            # change the file-id here.
1898
 
            # Non-root file-ids could potentially conflict too.  That's really
1899
 
            # an edge case, so we don't do anything special for those.  We let
1900
 
            # them cause conflicts.
1901
 
            merge_into_root.file_id = generate_ids.gen_file_id(name_in_target)
1902
 
        yield (merge_into_root, target_id)
1903
 
        if subdir.kind != 'directory':
1904
 
            # No children, so we are done.
1905
 
            return
1906
 
        for ignored_path, entry in other_inv.iter_entries_by_dir(subdir_id):
1907
 
            parent_id = entry.parent_id
1908
 
            if parent_id == subdir.file_id:
1909
 
                # The root's parent ID has changed, so make sure children of
1910
 
                # the root refer to the new ID.
1911
 
                parent_id = merge_into_root.file_id
1912
 
            yield (entry, parent_id)
1913
 
 
1914
 
 
1915
1005
def merge_inner(this_branch, other_tree, base_tree, ignore_zero=False,
1916
1006
                backup_files=False,
1917
1007
                merge_type=Merge3Merger,
1921
1011
                other_rev_id=None,
1922
1012
                interesting_files=None,
1923
1013
                this_tree=None,
1924
 
                pb=None,
 
1014
                pb=DummyProgress(),
1925
1015
                change_reporter=None):
1926
 
    """Primary interface for merging.
1927
 
 
1928
 
    Typical use is probably::
1929
 
 
1930
 
        merge_inner(branch, branch.get_revision_tree(other_revision),
1931
 
                    branch.get_revision_tree(base_revision))
1932
 
    """
 
1016
    """Primary interface for merging. 
 
1017
 
 
1018
        typical use is probably 
 
1019
        'merge_inner(branch, branch.get_revision_tree(other_revision),
 
1020
                     branch.get_revision_tree(base_revision))'
 
1021
        """
1933
1022
    if this_tree is None:
1934
 
        raise errors.BzrError("bzrlib.merge.merge_inner requires a this_tree "
1935
 
                              "parameter")
 
1023
        raise BzrError("bzrlib.merge.merge_inner requires a this_tree "
 
1024
            "parameter as of bzrlib version 0.8.")
1936
1025
    merger = Merger(this_branch, other_tree, base_tree, this_tree=this_tree,
1937
1026
                    pb=pb, change_reporter=change_reporter)
1938
1027
    merger.backup_files = backup_files
1940
1029
    merger.interesting_ids = interesting_ids
1941
1030
    merger.ignore_zero = ignore_zero
1942
1031
    if interesting_files:
1943
 
        if interesting_ids:
1944
 
            raise ValueError('Only supply interesting_ids'
1945
 
                             ' or interesting_files')
1946
 
        merger.interesting_files = interesting_files
 
1032
        assert not interesting_ids, ('Only supply interesting_ids'
 
1033
                                     ' or interesting_files')
 
1034
        merger._set_interesting_files(interesting_files)
1947
1035
    merger.show_base = show_base
1948
1036
    merger.reprocess = reprocess
1949
1037
    merger.other_rev_id = other_rev_id
1950
1038
    merger.other_basis = other_rev_id
1951
 
    get_revision_id = getattr(base_tree, 'get_revision_id', None)
1952
 
    if get_revision_id is None:
1953
 
        get_revision_id = base_tree.last_revision
1954
 
    merger.cache_trees_with_revision_ids([other_tree, base_tree, this_tree])
1955
 
    merger.set_base_revision(get_revision_id(), this_branch)
1956
1039
    return merger.do_merge()
1957
1040
 
1958
 
 
1959
 
merge_type_registry = registry.Registry()
1960
 
merge_type_registry.register('diff3', Diff3Merger,
1961
 
                             "Merge using external diff3.")
1962
 
merge_type_registry.register('lca', LCAMerger,
1963
 
                             "LCA-newness merge.")
1964
 
merge_type_registry.register('merge3', Merge3Merger,
1965
 
                             "Native diff3-style merge.")
1966
 
merge_type_registry.register('weave', WeaveMerger,
1967
 
                             "Weave-based merge.")
1968
 
 
1969
 
 
1970
1041
def get_merge_type_registry():
1971
 
    """Merge type registry was previously in bzrlib.option
1972
 
 
1973
 
    This method provides a backwards compatible way to retrieve it.
1974
 
    """
1975
 
    return merge_type_registry
1976
 
 
1977
 
 
1978
 
def _plan_annotate_merge(annotated_a, annotated_b, ancestors_a, ancestors_b):
1979
 
    def status_a(revision, text):
1980
 
        if revision in ancestors_b:
1981
 
            return 'killed-b', text
1982
 
        else:
1983
 
            return 'new-a', text
1984
 
 
1985
 
    def status_b(revision, text):
1986
 
        if revision in ancestors_a:
1987
 
            return 'killed-a', text
1988
 
        else:
1989
 
            return 'new-b', text
1990
 
 
1991
 
    plain_a = [t for (a, t) in annotated_a]
1992
 
    plain_b = [t for (a, t) in annotated_b]
1993
 
    matcher = patiencediff.PatienceSequenceMatcher(None, plain_a, plain_b)
1994
 
    blocks = matcher.get_matching_blocks()
1995
 
    a_cur = 0
1996
 
    b_cur = 0
1997
 
    for ai, bi, l in blocks:
1998
 
        # process all mismatched sections
1999
 
        # (last mismatched section is handled because blocks always
2000
 
        # includes a 0-length last block)
2001
 
        for revision, text in annotated_a[a_cur:ai]:
2002
 
            yield status_a(revision, text)
2003
 
        for revision, text in annotated_b[b_cur:bi]:
2004
 
            yield status_b(revision, text)
2005
 
        # and now the matched section
2006
 
        a_cur = ai + l
2007
 
        b_cur = bi + l
2008
 
        for text_a in plain_a[ai:a_cur]:
2009
 
            yield "unchanged", text_a
2010
 
 
2011
 
 
2012
 
class _PlanMergeBase(object):
2013
 
 
2014
 
    def __init__(self, a_rev, b_rev, vf, key_prefix):
2015
 
        """Contructor.
2016
 
 
2017
 
        :param a_rev: Revision-id of one revision to merge
2018
 
        :param b_rev: Revision-id of the other revision to merge
2019
 
        :param vf: A VersionedFiles containing both revisions
2020
 
        :param key_prefix: A prefix for accessing keys in vf, typically
2021
 
            (file_id,).
2022
 
        """
2023
 
        self.a_rev = a_rev
2024
 
        self.b_rev = b_rev
2025
 
        self.vf = vf
2026
 
        self._last_lines = None
2027
 
        self._last_lines_revision_id = None
2028
 
        self._cached_matching_blocks = {}
2029
 
        self._key_prefix = key_prefix
2030
 
        self._precache_tip_lines()
2031
 
 
2032
 
    def _precache_tip_lines(self):
2033
 
        lines = self.get_lines([self.a_rev, self.b_rev])
2034
 
        self.lines_a = lines[self.a_rev]
2035
 
        self.lines_b = lines[self.b_rev]
2036
 
 
2037
 
    def get_lines(self, revisions):
2038
 
        """Get lines for revisions from the backing VersionedFiles.
2039
 
 
2040
 
        :raises RevisionNotPresent: on absent texts.
2041
 
        """
2042
 
        keys = [(self._key_prefix + (rev,)) for rev in revisions]
2043
 
        result = {}
2044
 
        for record in self.vf.get_record_stream(keys, 'unordered', True):
2045
 
            if record.storage_kind == 'absent':
2046
 
                raise errors.RevisionNotPresent(record.key, self.vf)
2047
 
            result[record.key[-1]] = osutils.chunks_to_lines(
2048
 
                record.get_bytes_as('chunked'))
2049
 
        return result
2050
 
 
2051
 
    def plan_merge(self):
2052
 
        """Generate a 'plan' for merging the two revisions.
2053
 
 
2054
 
        This involves comparing their texts and determining the cause of
2055
 
        differences.  If text A has a line and text B does not, then either the
2056
 
        line was added to text A, or it was deleted from B.  Once the causes
2057
 
        are combined, they are written out in the format described in
2058
 
        VersionedFile.plan_merge
2059
 
        """
2060
 
        blocks = self._get_matching_blocks(self.a_rev, self.b_rev)
2061
 
        unique_a, unique_b = self._unique_lines(blocks)
2062
 
        new_a, killed_b = self._determine_status(self.a_rev, unique_a)
2063
 
        new_b, killed_a = self._determine_status(self.b_rev, unique_b)
2064
 
        return self._iter_plan(blocks, new_a, killed_b, new_b, killed_a)
2065
 
 
2066
 
    def _iter_plan(self, blocks, new_a, killed_b, new_b, killed_a):
2067
 
        last_i = 0
2068
 
        last_j = 0
2069
 
        for i, j, n in blocks:
2070
 
            for a_index in range(last_i, i):
2071
 
                if a_index in new_a:
2072
 
                    if a_index in killed_b:
2073
 
                        yield 'conflicted-a', self.lines_a[a_index]
2074
 
                    else:
2075
 
                        yield 'new-a', self.lines_a[a_index]
2076
 
                else:
2077
 
                    yield 'killed-b', self.lines_a[a_index]
2078
 
            for b_index in range(last_j, j):
2079
 
                if b_index in new_b:
2080
 
                    if b_index in killed_a:
2081
 
                        yield 'conflicted-b', self.lines_b[b_index]
2082
 
                    else:
2083
 
                        yield 'new-b', self.lines_b[b_index]
2084
 
                else:
2085
 
                    yield 'killed-a', self.lines_b[b_index]
2086
 
            # handle common lines
2087
 
            for a_index in range(i, i+n):
2088
 
                yield 'unchanged', self.lines_a[a_index]
2089
 
            last_i = i+n
2090
 
            last_j = j+n
2091
 
 
2092
 
    def _get_matching_blocks(self, left_revision, right_revision):
2093
 
        """Return a description of which sections of two revisions match.
2094
 
 
2095
 
        See SequenceMatcher.get_matching_blocks
2096
 
        """
2097
 
        cached = self._cached_matching_blocks.get((left_revision,
2098
 
                                                   right_revision))
2099
 
        if cached is not None:
2100
 
            return cached
2101
 
        if self._last_lines_revision_id == left_revision:
2102
 
            left_lines = self._last_lines
2103
 
            right_lines = self.get_lines([right_revision])[right_revision]
2104
 
        else:
2105
 
            lines = self.get_lines([left_revision, right_revision])
2106
 
            left_lines = lines[left_revision]
2107
 
            right_lines = lines[right_revision]
2108
 
        self._last_lines = right_lines
2109
 
        self._last_lines_revision_id = right_revision
2110
 
        matcher = patiencediff.PatienceSequenceMatcher(None, left_lines,
2111
 
                                                       right_lines)
2112
 
        return matcher.get_matching_blocks()
2113
 
 
2114
 
    def _unique_lines(self, matching_blocks):
2115
 
        """Analyse matching_blocks to determine which lines are unique
2116
 
 
2117
 
        :return: a tuple of (unique_left, unique_right), where the values are
2118
 
            sets of line numbers of unique lines.
2119
 
        """
2120
 
        last_i = 0
2121
 
        last_j = 0
2122
 
        unique_left = []
2123
 
        unique_right = []
2124
 
        for i, j, n in matching_blocks:
2125
 
            unique_left.extend(range(last_i, i))
2126
 
            unique_right.extend(range(last_j, j))
2127
 
            last_i = i + n
2128
 
            last_j = j + n
2129
 
        return unique_left, unique_right
2130
 
 
2131
 
    @staticmethod
2132
 
    def _subtract_plans(old_plan, new_plan):
2133
 
        """Remove changes from new_plan that came from old_plan.
2134
 
 
2135
 
        It is assumed that the difference between the old_plan and new_plan
2136
 
        is their choice of 'b' text.
2137
 
 
2138
 
        All lines from new_plan that differ from old_plan are emitted
2139
 
        verbatim.  All lines from new_plan that match old_plan but are
2140
 
        not about the 'b' revision are emitted verbatim.
2141
 
 
2142
 
        Lines that match and are about the 'b' revision are the lines we
2143
 
        don't want, so we convert 'killed-b' -> 'unchanged', and 'new-b'
2144
 
        is skipped entirely.
2145
 
        """
2146
 
        matcher = patiencediff.PatienceSequenceMatcher(None, old_plan,
2147
 
                                                       new_plan)
2148
 
        last_j = 0
2149
 
        for i, j, n in matcher.get_matching_blocks():
2150
 
            for jj in range(last_j, j):
2151
 
                yield new_plan[jj]
2152
 
            for jj in range(j, j+n):
2153
 
                plan_line = new_plan[jj]
2154
 
                if plan_line[0] == 'new-b':
2155
 
                    pass
2156
 
                elif plan_line[0] == 'killed-b':
2157
 
                    yield 'unchanged', plan_line[1]
2158
 
                else:
2159
 
                    yield plan_line
2160
 
            last_j = j + n
2161
 
 
2162
 
 
2163
 
class _PlanMerge(_PlanMergeBase):
2164
 
    """Plan an annotate merge using on-the-fly annotation"""
2165
 
 
2166
 
    def __init__(self, a_rev, b_rev, vf, key_prefix):
2167
 
        super(_PlanMerge, self).__init__(a_rev, b_rev, vf, key_prefix)
2168
 
        self.a_key = self._key_prefix + (self.a_rev,)
2169
 
        self.b_key = self._key_prefix + (self.b_rev,)
2170
 
        self.graph = _mod_graph.Graph(self.vf)
2171
 
        heads = self.graph.heads((self.a_key, self.b_key))
2172
 
        if len(heads) == 1:
2173
 
            # one side dominates, so we can just return its values, yay for
2174
 
            # per-file graphs
2175
 
            # Ideally we would know that before we get this far
2176
 
            self._head_key = heads.pop()
2177
 
            if self._head_key == self.a_key:
2178
 
                other = b_rev
2179
 
            else:
2180
 
                other = a_rev
2181
 
            trace.mutter('found dominating revision for %s\n%s > %s', self.vf,
2182
 
                         self._head_key[-1], other)
2183
 
            self._weave = None
2184
 
        else:
2185
 
            self._head_key = None
2186
 
            self._build_weave()
2187
 
 
2188
 
    def _precache_tip_lines(self):
2189
 
        # Turn this into a no-op, because we will do this later
2190
 
        pass
2191
 
 
2192
 
    def _find_recursive_lcas(self):
2193
 
        """Find all the ancestors back to a unique lca"""
2194
 
        cur_ancestors = (self.a_key, self.b_key)
2195
 
        # graph.find_lca(uncommon, keys) now returns plain NULL_REVISION,
2196
 
        # rather than a key tuple. We will just map that directly to no common
2197
 
        # ancestors.
2198
 
        parent_map = {}
2199
 
        while True:
2200
 
            next_lcas = self.graph.find_lca(*cur_ancestors)
2201
 
            # Map a plain NULL_REVISION to a simple no-ancestors
2202
 
            if next_lcas == set([_mod_revision.NULL_REVISION]):
2203
 
                next_lcas = ()
2204
 
            # Order the lca's based on when they were merged into the tip
2205
 
            # While the actual merge portion of weave merge uses a set() of
2206
 
            # active revisions, the order of insertion *does* effect the
2207
 
            # implicit ordering of the texts.
2208
 
            for rev_key in cur_ancestors:
2209
 
                ordered_parents = tuple(self.graph.find_merge_order(rev_key,
2210
 
                                                                    next_lcas))
2211
 
                parent_map[rev_key] = ordered_parents
2212
 
            if len(next_lcas) == 0:
2213
 
                break
2214
 
            elif len(next_lcas) == 1:
2215
 
                parent_map[list(next_lcas)[0]] = ()
2216
 
                break
2217
 
            elif len(next_lcas) > 2:
2218
 
                # More than 2 lca's, fall back to grabbing all nodes between
2219
 
                # this and the unique lca.
2220
 
                trace.mutter('More than 2 LCAs, falling back to all nodes for:'
2221
 
                             ' %s, %s\n=> %s',
2222
 
                             self.a_key, self.b_key, cur_ancestors)
2223
 
                cur_lcas = next_lcas
2224
 
                while len(cur_lcas) > 1:
2225
 
                    cur_lcas = self.graph.find_lca(*cur_lcas)
2226
 
                if len(cur_lcas) == 0:
2227
 
                    # No common base to find, use the full ancestry
2228
 
                    unique_lca = None
2229
 
                else:
2230
 
                    unique_lca = list(cur_lcas)[0]
2231
 
                    if unique_lca == _mod_revision.NULL_REVISION:
2232
 
                        # find_lca will return a plain 'NULL_REVISION' rather
2233
 
                        # than a key tuple when there is no common ancestor, we
2234
 
                        # prefer to just use None, because it doesn't confuse
2235
 
                        # _get_interesting_texts()
2236
 
                        unique_lca = None
2237
 
                parent_map.update(self._find_unique_parents(next_lcas,
2238
 
                                                            unique_lca))
2239
 
                break
2240
 
            cur_ancestors = next_lcas
2241
 
        return parent_map
2242
 
 
2243
 
    def _find_unique_parents(self, tip_keys, base_key):
2244
 
        """Find ancestors of tip that aren't ancestors of base.
2245
 
 
2246
 
        :param tip_keys: Nodes that are interesting
2247
 
        :param base_key: Cull all ancestors of this node
2248
 
        :return: The parent map for all revisions between tip_keys and
2249
 
            base_key. base_key will be included. References to nodes outside of
2250
 
            the ancestor set will also be removed.
2251
 
        """
2252
 
        # TODO: this would be simpler if find_unique_ancestors took a list
2253
 
        #       instead of a single tip, internally it supports it, but it
2254
 
        #       isn't a "backwards compatible" api change.
2255
 
        if base_key is None:
2256
 
            parent_map = dict(self.graph.iter_ancestry(tip_keys))
2257
 
            # We remove NULL_REVISION because it isn't a proper tuple key, and
2258
 
            # thus confuses things like _get_interesting_texts, and our logic
2259
 
            # to add the texts into the memory weave.
2260
 
            if _mod_revision.NULL_REVISION in parent_map:
2261
 
                parent_map.pop(_mod_revision.NULL_REVISION)
2262
 
        else:
2263
 
            interesting = set()
2264
 
            for tip in tip_keys:
2265
 
                interesting.update(
2266
 
                    self.graph.find_unique_ancestors(tip, [base_key]))
2267
 
            parent_map = self.graph.get_parent_map(interesting)
2268
 
            parent_map[base_key] = ()
2269
 
        culled_parent_map, child_map, tails = self._remove_external_references(
2270
 
            parent_map)
2271
 
        # Remove all the tails but base_key
2272
 
        if base_key is not None:
2273
 
            tails.remove(base_key)
2274
 
            self._prune_tails(culled_parent_map, child_map, tails)
2275
 
        # Now remove all the uninteresting 'linear' regions
2276
 
        simple_map = _mod_graph.collapse_linear_regions(culled_parent_map)
2277
 
        return simple_map
2278
 
 
2279
 
    @staticmethod
2280
 
    def _remove_external_references(parent_map):
2281
 
        """Remove references that go outside of the parent map.
2282
 
 
2283
 
        :param parent_map: Something returned from Graph.get_parent_map(keys)
2284
 
        :return: (filtered_parent_map, child_map, tails)
2285
 
            filtered_parent_map is parent_map without external references
2286
 
            child_map is the {parent_key: [child_keys]} mapping
2287
 
            tails is a list of nodes that do not have any parents in the map
2288
 
        """
2289
 
        # TODO: The basic effect of this function seems more generic than
2290
 
        #       _PlanMerge. But the specific details of building a child_map,
2291
 
        #       and computing tails seems very specific to _PlanMerge.
2292
 
        #       Still, should this be in Graph land?
2293
 
        filtered_parent_map = {}
2294
 
        child_map = {}
2295
 
        tails = []
2296
 
        for key, parent_keys in parent_map.iteritems():
2297
 
            culled_parent_keys = [p for p in parent_keys if p in parent_map]
2298
 
            if not culled_parent_keys:
2299
 
                tails.append(key)
2300
 
            for parent_key in culled_parent_keys:
2301
 
                child_map.setdefault(parent_key, []).append(key)
2302
 
            # TODO: Do we want to do this, it adds overhead for every node,
2303
 
            #       just to say that the node has no children
2304
 
            child_map.setdefault(key, [])
2305
 
            filtered_parent_map[key] = culled_parent_keys
2306
 
        return filtered_parent_map, child_map, tails
2307
 
 
2308
 
    @staticmethod
2309
 
    def _prune_tails(parent_map, child_map, tails_to_remove):
2310
 
        """Remove tails from the parent map.
2311
 
 
2312
 
        This will remove the supplied revisions until no more children have 0
2313
 
        parents.
2314
 
 
2315
 
        :param parent_map: A dict of {child: [parents]}, this dictionary will
2316
 
            be modified in place.
2317
 
        :param tails_to_remove: A list of tips that should be removed,
2318
 
            this list will be consumed
2319
 
        :param child_map: The reverse dict of parent_map ({parent: [children]})
2320
 
            this dict will be modified
2321
 
        :return: None, parent_map will be modified in place.
2322
 
        """
2323
 
        while tails_to_remove:
2324
 
            next = tails_to_remove.pop()
2325
 
            parent_map.pop(next)
2326
 
            children = child_map.pop(next)
2327
 
            for child in children:
2328
 
                child_parents = parent_map[child]
2329
 
                child_parents.remove(next)
2330
 
                if len(child_parents) == 0:
2331
 
                    tails_to_remove.append(child)
2332
 
 
2333
 
    def _get_interesting_texts(self, parent_map):
2334
 
        """Return a dict of texts we are interested in.
2335
 
 
2336
 
        Note that the input is in key tuples, but the output is in plain
2337
 
        revision ids.
2338
 
 
2339
 
        :param parent_map: The output from _find_recursive_lcas
2340
 
        :return: A dict of {'revision_id':lines} as returned by
2341
 
            _PlanMergeBase.get_lines()
2342
 
        """
2343
 
        all_revision_keys = set(parent_map)
2344
 
        all_revision_keys.add(self.a_key)
2345
 
        all_revision_keys.add(self.b_key)
2346
 
 
2347
 
        # Everything else is in 'keys' but get_lines is in 'revision_ids'
2348
 
        all_texts = self.get_lines([k[-1] for k in all_revision_keys])
2349
 
        return all_texts
2350
 
 
2351
 
    def _build_weave(self):
2352
 
        from bzrlib import weave
2353
 
        self._weave = weave.Weave(weave_name='in_memory_weave',
2354
 
                                  allow_reserved=True)
2355
 
        parent_map = self._find_recursive_lcas()
2356
 
 
2357
 
        all_texts = self._get_interesting_texts(parent_map)
2358
 
 
2359
 
        # Note: Unfortunately, the order given by topo_sort will effect the
2360
 
        # ordering resolution in the output. Specifically, if you add A then B,
2361
 
        # then in the output text A lines will show up before B lines. And, of
2362
 
        # course, topo_sort doesn't guarantee any real ordering.
2363
 
        # So we use merge_sort, and add a fake node on the tip.
2364
 
        # This ensures that left-hand parents will always be inserted into the
2365
 
        # weave before right-hand parents.
2366
 
        tip_key = self._key_prefix + (_mod_revision.CURRENT_REVISION,)
2367
 
        parent_map[tip_key] = (self.a_key, self.b_key)
2368
 
 
2369
 
        for seq_num, key, depth, eom in reversed(tsort.merge_sort(parent_map,
2370
 
                                                                  tip_key)):
2371
 
            if key == tip_key:
2372
 
                continue
2373
 
        # for key in tsort.topo_sort(parent_map):
2374
 
            parent_keys = parent_map[key]
2375
 
            revision_id = key[-1]
2376
 
            parent_ids = [k[-1] for k in parent_keys]
2377
 
            self._weave.add_lines(revision_id, parent_ids,
2378
 
                                  all_texts[revision_id])
2379
 
 
2380
 
    def plan_merge(self):
2381
 
        """Generate a 'plan' for merging the two revisions.
2382
 
 
2383
 
        This involves comparing their texts and determining the cause of
2384
 
        differences.  If text A has a line and text B does not, then either the
2385
 
        line was added to text A, or it was deleted from B.  Once the causes
2386
 
        are combined, they are written out in the format described in
2387
 
        VersionedFile.plan_merge
2388
 
        """
2389
 
        if self._head_key is not None: # There was a single head
2390
 
            if self._head_key == self.a_key:
2391
 
                plan = 'new-a'
2392
 
            else:
2393
 
                if self._head_key != self.b_key:
2394
 
                    raise AssertionError('There was an invalid head: %s != %s'
2395
 
                                         % (self.b_key, self._head_key))
2396
 
                plan = 'new-b'
2397
 
            head_rev = self._head_key[-1]
2398
 
            lines = self.get_lines([head_rev])[head_rev]
2399
 
            return ((plan, line) for line in lines)
2400
 
        return self._weave.plan_merge(self.a_rev, self.b_rev)
2401
 
 
2402
 
 
2403
 
class _PlanLCAMerge(_PlanMergeBase):
2404
 
    """
2405
 
    This merge algorithm differs from _PlanMerge in that:
2406
 
 
2407
 
    1. comparisons are done against LCAs only
2408
 
    2. cases where a contested line is new versus one LCA but old versus
2409
 
       another are marked as conflicts, by emitting the line as conflicted-a
2410
 
       or conflicted-b.
2411
 
 
2412
 
    This is faster, and hopefully produces more useful output.
2413
 
    """
2414
 
 
2415
 
    def __init__(self, a_rev, b_rev, vf, key_prefix, graph):
2416
 
        _PlanMergeBase.__init__(self, a_rev, b_rev, vf, key_prefix)
2417
 
        lcas = graph.find_lca(key_prefix + (a_rev,), key_prefix + (b_rev,))
2418
 
        self.lcas = set()
2419
 
        for lca in lcas:
2420
 
            if lca == _mod_revision.NULL_REVISION:
2421
 
                self.lcas.add(lca)
2422
 
            else:
2423
 
                self.lcas.add(lca[-1])
2424
 
        for lca in self.lcas:
2425
 
            if _mod_revision.is_null(lca):
2426
 
                lca_lines = []
2427
 
            else:
2428
 
                lca_lines = self.get_lines([lca])[lca]
2429
 
            matcher = patiencediff.PatienceSequenceMatcher(None, self.lines_a,
2430
 
                                                           lca_lines)
2431
 
            blocks = list(matcher.get_matching_blocks())
2432
 
            self._cached_matching_blocks[(a_rev, lca)] = blocks
2433
 
            matcher = patiencediff.PatienceSequenceMatcher(None, self.lines_b,
2434
 
                                                           lca_lines)
2435
 
            blocks = list(matcher.get_matching_blocks())
2436
 
            self._cached_matching_blocks[(b_rev, lca)] = blocks
2437
 
 
2438
 
    def _determine_status(self, revision_id, unique_line_numbers):
2439
 
        """Determines the status unique lines versus all lcas.
2440
 
 
2441
 
        Basically, determines why the line is unique to this revision.
2442
 
 
2443
 
        A line may be determined new, killed, or both.
2444
 
 
2445
 
        If a line is determined new, that means it was not present in at least
2446
 
        one LCA, and is not present in the other merge revision.
2447
 
 
2448
 
        If a line is determined killed, that means the line was present in
2449
 
        at least one LCA.
2450
 
 
2451
 
        If a line is killed and new, this indicates that the two merge
2452
 
        revisions contain differing conflict resolutions.
2453
 
 
2454
 
        :param revision_id: The id of the revision in which the lines are
2455
 
            unique
2456
 
        :param unique_line_numbers: The line numbers of unique lines.
2457
 
        :return: a tuple of (new_this, killed_other)
2458
 
        """
2459
 
        new = set()
2460
 
        killed = set()
2461
 
        unique_line_numbers = set(unique_line_numbers)
2462
 
        for lca in self.lcas:
2463
 
            blocks = self._get_matching_blocks(revision_id, lca)
2464
 
            unique_vs_lca, _ignored = self._unique_lines(blocks)
2465
 
            new.update(unique_line_numbers.intersection(unique_vs_lca))
2466
 
            killed.update(unique_line_numbers.difference(unique_vs_lca))
2467
 
        return new, killed
 
1042
    """Merge type registry is in bzrlib.option to avoid circular imports.
 
1043
 
 
1044
    This method provides a sanctioned way to retrieve it.
 
1045
    """
 
1046
    from bzrlib import option
 
1047
    return option._merge_type_registry