~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2007-07-11 16:28:42 UTC
  • mfrom: (2598.2.1 simple_no_split)
  • Revision ID: pqm@pqm.ubuntu.com-20070711162842-8fx9cc0c3ogyxudl
(John Arbash Meinel) Simple fix to avoid a .split('/') when we don't need it

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
import os
 
19
import errno
 
20
import warnings
 
21
 
 
22
from bzrlib import (
 
23
    osutils,
 
24
    registry,
 
25
    )
 
26
from bzrlib.branch import Branch
 
27
from bzrlib.conflicts import ConflictList, Conflict
 
28
from bzrlib.errors import (BzrCommandError,
 
29
                           BzrError,
 
30
                           NoCommonAncestor,
 
31
                           NoCommits,
 
32
                           NoSuchRevision,
 
33
                           NoSuchFile,
 
34
                           NotBranchError,
 
35
                           NotVersionedError,
 
36
                           UnrelatedBranches,
 
37
                           UnsupportedOperation,
 
38
                           WorkingTreeNotRevision,
 
39
                           BinaryFile,
 
40
                           )
 
41
from bzrlib.merge3 import Merge3
 
42
from bzrlib.osutils import rename, pathjoin
 
43
from progress import DummyProgress, ProgressPhase
 
44
from bzrlib.revision import (is_ancestor, NULL_REVISION, ensure_null)
 
45
from bzrlib.textfile import check_text_lines
 
46
from bzrlib.trace import mutter, warning, note
 
47
from bzrlib.transform import (TreeTransform, resolve_conflicts, cook_conflicts,
 
48
                              FinalPaths, create_by_entry, unique_add,
 
49
                              ROOT_PARENT)
 
50
from bzrlib.versionedfile import WeaveMerge
 
51
from bzrlib import ui
 
52
 
 
53
# TODO: Report back as changes are merged in
 
54
 
 
55
def _get_tree(treespec, local_branch=None):
 
56
    from bzrlib import workingtree
 
57
    location, revno = treespec
 
58
    if revno is None:
 
59
        tree = workingtree.WorkingTree.open_containing(location)[0]
 
60
        return tree.branch, tree
 
61
    branch = Branch.open_containing(location)[0]
 
62
    if revno == -1:
 
63
        revision_id = branch.last_revision()
 
64
    else:
 
65
        revision_id = branch.get_rev_id(revno)
 
66
    if revision_id is None:
 
67
        revision_id = NULL_REVISION
 
68
    return branch, _get_revid_tree(branch, revision_id, local_branch)
 
69
 
 
70
 
 
71
def _get_revid_tree(branch, revision_id, local_branch):
 
72
    if revision_id is None:
 
73
        base_tree = branch.bzrdir.open_workingtree()
 
74
    else:
 
75
        if local_branch is not None:
 
76
            if local_branch.base != branch.base:
 
77
                local_branch.fetch(branch, revision_id)
 
78
            base_tree = local_branch.repository.revision_tree(revision_id)
 
79
        else:
 
80
            base_tree = branch.repository.revision_tree(revision_id)
 
81
    return base_tree
 
82
 
 
83
 
 
84
def _get_revid_tree_from_tree(tree, revision_id, local_branch):
 
85
    if revision_id is None:
 
86
        return tree
 
87
    if local_branch is not None:
 
88
        if local_branch.base != tree.branch.base:
 
89
            local_branch.fetch(tree.branch, revision_id)
 
90
        return local_branch.repository.revision_tree(revision_id)
 
91
    return tree.branch.repository.revision_tree(revision_id)
 
92
 
 
93
 
 
94
def transform_tree(from_tree, to_tree, interesting_ids=None):
 
95
    merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
 
96
                interesting_ids=interesting_ids, this_tree=from_tree)
 
97
 
 
98
 
 
99
class Merger(object):
 
100
    def __init__(self, this_branch, other_tree=None, base_tree=None,
 
101
                 this_tree=None, pb=DummyProgress(), change_reporter=None,
 
102
                 recurse='down'):
 
103
        object.__init__(self)
 
104
        assert this_tree is not None, "this_tree is required"
 
105
        self.this_branch = this_branch
 
106
        self.this_basis = this_branch.last_revision()
 
107
        self.this_rev_id = None
 
108
        self.this_tree = this_tree
 
109
        self.this_revision_tree = None
 
110
        self.this_basis_tree = None
 
111
        self.other_tree = other_tree
 
112
        self.other_branch = None
 
113
        self.base_tree = base_tree
 
114
        self.ignore_zero = False
 
115
        self.backup_files = False
 
116
        self.interesting_ids = None
 
117
        self.show_base = False
 
118
        self.reprocess = False
 
119
        self._pb = pb
 
120
        self.pp = None
 
121
        self.recurse = recurse
 
122
        self.change_reporter = change_reporter
 
123
 
 
124
    def revision_tree(self, revision_id):
 
125
        return self.this_branch.repository.revision_tree(revision_id)
 
126
 
 
127
    def ensure_revision_trees(self):
 
128
        if self.this_revision_tree is None:
 
129
            self.this_basis_tree = self.this_branch.repository.revision_tree(
 
130
                self.this_basis)
 
131
            if self.this_basis == self.this_rev_id:
 
132
                self.this_revision_tree = self.this_basis_tree
 
133
 
 
134
        if self.other_rev_id is None:
 
135
            other_basis_tree = self.revision_tree(self.other_basis)
 
136
            changes = other_basis_tree.changes_from(self.other_tree)
 
137
            if changes.has_changed():
 
138
                raise WorkingTreeNotRevision(self.this_tree)
 
139
            other_rev_id = self.other_basis
 
140
            self.other_tree = other_basis_tree
 
141
 
 
142
    def file_revisions(self, file_id):
 
143
        self.ensure_revision_trees()
 
144
        def get_id(tree, file_id):
 
145
            revision_id = tree.inventory[file_id].revision
 
146
            assert revision_id is not None
 
147
            return revision_id
 
148
        if self.this_rev_id is None:
 
149
            if self.this_basis_tree.get_file_sha1(file_id) != \
 
150
                self.this_tree.get_file_sha1(file_id):
 
151
                raise WorkingTreeNotRevision(self.this_tree)
 
152
 
 
153
        trees = (self.this_basis_tree, self.other_tree)
 
154
        return [get_id(tree, file_id) for tree in trees]
 
155
 
 
156
    def check_basis(self, check_clean, require_commits=True):
 
157
        if self.this_basis is None and require_commits is True:
 
158
            raise BzrCommandError("This branch has no commits."
 
159
                                  " (perhaps you would prefer 'bzr pull')")
 
160
        if check_clean:
 
161
            self.compare_basis()
 
162
            if self.this_basis != self.this_rev_id:
 
163
                raise BzrCommandError("Working tree has uncommitted changes.")
 
164
 
 
165
    def compare_basis(self):
 
166
        changes = self.this_tree.changes_from(self.this_tree.basis_tree())
 
167
        if not changes.has_changed():
 
168
            self.this_rev_id = self.this_basis
 
169
 
 
170
    def set_interesting_files(self, file_list):
 
171
        try:
 
172
            self._set_interesting_files(file_list)
 
173
        except NotVersionedError, e:
 
174
            raise BzrCommandError("%s is not a source file in any"
 
175
                                      " tree." % e.path)
 
176
 
 
177
    def _set_interesting_files(self, file_list):
 
178
        """Set the list of interesting ids from a list of files."""
 
179
        if file_list is None:
 
180
            self.interesting_ids = None
 
181
            return
 
182
 
 
183
        interesting_ids = set()
 
184
        for path in file_list:
 
185
            found_id = False
 
186
            # TODO: jam 20070226 The trees are not locked at this time,
 
187
            #       wouldn't it make merge faster if it locks everything in the
 
188
            #       beginning? It locks at do_merge time, but this happens
 
189
            #       before that.
 
190
            for tree in (self.this_tree, self.base_tree, self.other_tree):
 
191
                file_id = tree.path2id(path)
 
192
                if file_id is not None:
 
193
                    interesting_ids.add(file_id)
 
194
                    found_id = True
 
195
            if not found_id:
 
196
                raise NotVersionedError(path=path)
 
197
        self.interesting_ids = interesting_ids
 
198
 
 
199
    def set_pending(self):
 
200
        if not self.base_is_ancestor:
 
201
            return
 
202
        if self.other_rev_id is None:
 
203
            return
 
204
        ancestry = set(self.this_branch.repository.get_ancestry(
 
205
            self.this_basis, topo_sorted=False))
 
206
        if self.other_rev_id in ancestry:
 
207
            return
 
208
        self.this_tree.add_parent_tree((self.other_rev_id, self.other_tree))
 
209
 
 
210
    def set_other(self, other_revision):
 
211
        """Set the revision and tree to merge from.
 
212
 
 
213
        This sets the other_tree, other_rev_id, other_basis attributes.
 
214
 
 
215
        :param other_revision: The [path, revision] list to merge from.
 
216
        """
 
217
        self.other_branch, self.other_tree = _get_tree(other_revision,
 
218
                                                  self.this_branch)
 
219
        if other_revision[1] == -1:
 
220
            self.other_rev_id = self.other_branch.last_revision()
 
221
            if self.other_rev_id is None:
 
222
                raise NoCommits(self.other_branch)
 
223
            self.other_basis = self.other_rev_id
 
224
        elif other_revision[1] is not None:
 
225
            self.other_rev_id = self.other_branch.get_rev_id(other_revision[1])
 
226
            self.other_basis = self.other_rev_id
 
227
        else:
 
228
            self.other_rev_id = None
 
229
            self.other_basis = self.other_branch.last_revision()
 
230
            if self.other_basis is None:
 
231
                raise NoCommits(self.other_branch)
 
232
        if self.other_branch.base != self.this_branch.base:
 
233
            self.this_branch.fetch(self.other_branch,
 
234
                                   last_revision=self.other_basis)
 
235
 
 
236
    def set_other_revision(self, revision_id, other_branch):
 
237
        """Set 'other' based on a branch and revision id
 
238
 
 
239
        :param revision_id: The revision to use for a tree
 
240
        :param other_branch: The branch containing this tree
 
241
        """
 
242
        self.other_rev_id = revision_id
 
243
        self.other_branch = other_branch
 
244
        self.this_branch.fetch(other_branch, self.other_rev_id)
 
245
        self.other_tree = self.revision_tree(revision_id)
 
246
        self.other_basis = revision_id
 
247
 
 
248
    def find_base(self):
 
249
        self.set_base([None, None])
 
250
 
 
251
    def set_base(self, base_revision):
 
252
        """Set the base revision to use for the merge.
 
253
 
 
254
        :param base_revision: A 2-list containing a path and revision number.
 
255
        """
 
256
        mutter("doing merge() with no base_revision specified")
 
257
        if base_revision == [None, None]:
 
258
            try:
 
259
                pb = ui.ui_factory.nested_progress_bar()
 
260
                try:
 
261
                    this_repo = self.this_branch.repository
 
262
                    graph = this_repo.get_graph()
 
263
                    revisions = [ensure_null(self.this_basis),
 
264
                                 ensure_null(self.other_basis)]
 
265
                    if NULL_REVISION in revisions:
 
266
                        self.base_rev_id = NULL_REVISION
 
267
                    else:
 
268
                        self.base_rev_id = graph.find_unique_lca(*revisions)
 
269
                        if self.base_rev_id == NULL_REVISION:
 
270
                            raise UnrelatedBranches()
 
271
                finally:
 
272
                    pb.finished()
 
273
            except NoCommonAncestor:
 
274
                raise UnrelatedBranches()
 
275
            self.base_tree = _get_revid_tree_from_tree(self.this_tree,
 
276
                                                       self.base_rev_id,
 
277
                                                       None)
 
278
            self.base_is_ancestor = True
 
279
        else:
 
280
            base_branch, self.base_tree = _get_tree(base_revision)
 
281
            if base_revision[1] == -1:
 
282
                self.base_rev_id = base_branch.last_revision()
 
283
            elif base_revision[1] is None:
 
284
                self.base_rev_id = None
 
285
            else:
 
286
                self.base_rev_id = base_branch.get_rev_id(base_revision[1])
 
287
            if self.this_branch.base != base_branch.base:
 
288
                self.this_branch.fetch(base_branch)
 
289
            self.base_is_ancestor = is_ancestor(self.this_basis, 
 
290
                                                self.base_rev_id,
 
291
                                                self.this_branch)
 
292
 
 
293
    def do_merge(self):
 
294
        kwargs = {'working_tree':self.this_tree, 'this_tree': self.this_tree,
 
295
                  'other_tree': self.other_tree,
 
296
                  'interesting_ids': self.interesting_ids,
 
297
                  'pp': self.pp}
 
298
        if self.merge_type.requires_base:
 
299
            kwargs['base_tree'] = self.base_tree
 
300
        if self.merge_type.supports_reprocess:
 
301
            kwargs['reprocess'] = self.reprocess
 
302
        elif self.reprocess:
 
303
            raise BzrError("Conflict reduction is not supported for merge"
 
304
                                  " type %s." % self.merge_type)
 
305
        if self.merge_type.supports_show_base:
 
306
            kwargs['show_base'] = self.show_base
 
307
        elif self.show_base:
 
308
            raise BzrError("Showing base is not supported for this"
 
309
                                  " merge type. %s" % self.merge_type)
 
310
        self.this_tree.lock_tree_write()
 
311
        if self.base_tree is not None:
 
312
            self.base_tree.lock_read()
 
313
        if self.other_tree is not None:
 
314
            self.other_tree.lock_read()
 
315
        try:
 
316
            merge = self.merge_type(pb=self._pb,
 
317
                                    change_reporter=self.change_reporter,
 
318
                                    **kwargs)
 
319
            if self.recurse == 'down':
 
320
                for path, file_id in self.this_tree.iter_references():
 
321
                    sub_tree = self.this_tree.get_nested_tree(file_id, path)
 
322
                    other_revision = self.other_tree.get_reference_revision(
 
323
                        file_id, path)
 
324
                    if  other_revision == sub_tree.last_revision():
 
325
                        continue
 
326
                    sub_merge = Merger(sub_tree.branch, this_tree=sub_tree)
 
327
                    sub_merge.merge_type = self.merge_type
 
328
                    relpath = self.this_tree.relpath(path)
 
329
                    other_branch = self.other_branch.reference_parent(file_id, relpath)
 
330
                    sub_merge.set_other_revision(other_revision, other_branch)
 
331
                    base_revision = self.base_tree.get_reference_revision(file_id)
 
332
                    sub_merge.base_tree = \
 
333
                        sub_tree.branch.repository.revision_tree(base_revision)
 
334
                    sub_merge.do_merge()
 
335
 
 
336
        finally:
 
337
            if self.other_tree is not None:
 
338
                self.other_tree.unlock()
 
339
            if self.base_tree is not None:
 
340
                self.base_tree.unlock()
 
341
            self.this_tree.unlock()
 
342
        if len(merge.cooked_conflicts) == 0:
 
343
            if not self.ignore_zero:
 
344
                note("All changes applied successfully.")
 
345
        else:
 
346
            note("%d conflicts encountered." % len(merge.cooked_conflicts))
 
347
 
 
348
        return len(merge.cooked_conflicts)
 
349
 
 
350
    def regen_inventory(self, new_entries):
 
351
        old_entries = self.this_tree.read_working_inventory()
 
352
        new_inventory = {}
 
353
        by_path = {}
 
354
        new_entries_map = {} 
 
355
        for path, file_id in new_entries:
 
356
            if path is None:
 
357
                continue
 
358
            new_entries_map[file_id] = path
 
359
 
 
360
        def id2path(file_id):
 
361
            path = new_entries_map.get(file_id)
 
362
            if path is not None:
 
363
                return path
 
364
            entry = old_entries[file_id]
 
365
            if entry.parent_id is None:
 
366
                return entry.name
 
367
            return pathjoin(id2path(entry.parent_id), entry.name)
 
368
            
 
369
        for file_id in old_entries:
 
370
            entry = old_entries[file_id]
 
371
            path = id2path(file_id)
 
372
            if file_id in self.base_tree.inventory:
 
373
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
374
            else:
 
375
                executable = getattr(entry, 'executable', False)
 
376
            new_inventory[file_id] = (path, file_id, entry.parent_id, 
 
377
                                      entry.kind, executable)
 
378
                                      
 
379
            by_path[path] = file_id
 
380
        
 
381
        deletions = 0
 
382
        insertions = 0
 
383
        new_path_list = []
 
384
        for path, file_id in new_entries:
 
385
            if path is None:
 
386
                del new_inventory[file_id]
 
387
                deletions += 1
 
388
            else:
 
389
                new_path_list.append((path, file_id))
 
390
                if file_id not in old_entries:
 
391
                    insertions += 1
 
392
        # Ensure no file is added before its parent
 
393
        new_path_list.sort()
 
394
        for path, file_id in new_path_list:
 
395
            if path == '':
 
396
                parent = None
 
397
            else:
 
398
                parent = by_path[os.path.dirname(path)]
 
399
            abspath = pathjoin(self.this_tree.basedir, path)
 
400
            kind = osutils.file_kind(abspath)
 
401
            if file_id in self.base_tree.inventory:
 
402
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
403
            else:
 
404
                executable = False
 
405
            new_inventory[file_id] = (path, file_id, parent, kind, executable)
 
406
            by_path[path] = file_id 
 
407
 
 
408
        # Get a list in insertion order
 
409
        new_inventory_list = new_inventory.values()
 
410
        mutter ("""Inventory regeneration:
 
411
    old length: %i insertions: %i deletions: %i new_length: %i"""\
 
412
            % (len(old_entries), insertions, deletions, 
 
413
               len(new_inventory_list)))
 
414
        assert len(new_inventory_list) == len(old_entries) + insertions\
 
415
            - deletions
 
416
        new_inventory_list.sort()
 
417
        return new_inventory_list
 
418
 
 
419
 
 
420
class Merge3Merger(object):
 
421
    """Three-way merger that uses the merge3 text merger"""
 
422
    requires_base = True
 
423
    supports_reprocess = True
 
424
    supports_show_base = True
 
425
    history_based = False
 
426
 
 
427
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
428
                 interesting_ids=None, reprocess=False, show_base=False,
 
429
                 pb=DummyProgress(), pp=None, change_reporter=None):
 
430
        """Initialize the merger object and perform the merge."""
 
431
        object.__init__(self)
 
432
        self.this_tree = working_tree
 
433
        self.this_tree.lock_tree_write()
 
434
        self.base_tree = base_tree
 
435
        self.base_tree.lock_read()
 
436
        self.other_tree = other_tree
 
437
        self.other_tree.lock_read()
 
438
        self._raw_conflicts = []
 
439
        self.cooked_conflicts = []
 
440
        self.reprocess = reprocess
 
441
        self.show_base = show_base
 
442
        self.pb = pb
 
443
        self.pp = pp
 
444
        self.change_reporter = change_reporter
 
445
        if self.pp is None:
 
446
            self.pp = ProgressPhase("Merge phase", 3, self.pb)
 
447
 
 
448
        if interesting_ids is not None:
 
449
            all_ids = interesting_ids
 
450
        else:
 
451
            all_ids = set(base_tree)
 
452
            all_ids.update(other_tree)
 
453
        self.tt = TreeTransform(working_tree, self.pb)
 
454
        try:
 
455
            self.pp.next_phase()
 
456
            child_pb = ui.ui_factory.nested_progress_bar()
 
457
            try:
 
458
                for num, file_id in enumerate(all_ids):
 
459
                    child_pb.update('Preparing file merge', num, len(all_ids))
 
460
                    self.merge_names(file_id)
 
461
                    file_status = self.merge_contents(file_id)
 
462
                    self.merge_executable(file_id, file_status)
 
463
            finally:
 
464
                child_pb.finished()
 
465
            self.fix_root()
 
466
            self.pp.next_phase()
 
467
            child_pb = ui.ui_factory.nested_progress_bar()
 
468
            try:
 
469
                fs_conflicts = resolve_conflicts(self.tt, child_pb)
 
470
            finally:
 
471
                child_pb.finished()
 
472
            if change_reporter is not None:
 
473
                from bzrlib import delta
 
474
                delta.report_changes(self.tt._iter_changes(), change_reporter)
 
475
            self.cook_conflicts(fs_conflicts)
 
476
            for conflict in self.cooked_conflicts:
 
477
                warning(conflict)
 
478
            self.pp.next_phase()
 
479
            results = self.tt.apply()
 
480
            self.write_modified(results)
 
481
            try:
 
482
                working_tree.add_conflicts(self.cooked_conflicts)
 
483
            except UnsupportedOperation:
 
484
                pass
 
485
        finally:
 
486
            self.tt.finalize()
 
487
            self.other_tree.unlock()
 
488
            self.base_tree.unlock()
 
489
            self.this_tree.unlock()
 
490
            self.pb.clear()
 
491
 
 
492
    def fix_root(self):
 
493
        try:
 
494
            self.tt.final_kind(self.tt.root)
 
495
        except NoSuchFile:
 
496
            self.tt.cancel_deletion(self.tt.root)
 
497
        if self.tt.final_file_id(self.tt.root) is None:
 
498
            self.tt.version_file(self.tt.tree_file_id(self.tt.root), 
 
499
                                 self.tt.root)
 
500
        if self.other_tree.inventory.root is None:
 
501
            return
 
502
        other_root_file_id = self.other_tree.inventory.root.file_id
 
503
        other_root = self.tt.trans_id_file_id(other_root_file_id)
 
504
        if other_root == self.tt.root:
 
505
            return
 
506
        try:
 
507
            self.tt.final_kind(other_root)
 
508
        except NoSuchFile:
 
509
            return
 
510
        self.reparent_children(self.other_tree.inventory.root, self.tt.root)
 
511
        self.tt.cancel_creation(other_root)
 
512
        self.tt.cancel_versioning(other_root)
 
513
 
 
514
    def reparent_children(self, ie, target):
 
515
        for thing, child in ie.children.iteritems():
 
516
            trans_id = self.tt.trans_id_file_id(child.file_id)
 
517
            self.tt.adjust_path(self.tt.final_name(trans_id), target, trans_id)
 
518
 
 
519
    def write_modified(self, results):
 
520
        modified_hashes = {}
 
521
        for path in results.modified_paths:
 
522
            file_id = self.this_tree.path2id(self.this_tree.relpath(path))
 
523
            if file_id is None:
 
524
                continue
 
525
            hash = self.this_tree.get_file_sha1(file_id)
 
526
            if hash is None:
 
527
                continue
 
528
            modified_hashes[file_id] = hash
 
529
        self.this_tree.set_merge_modified(modified_hashes)
 
530
 
 
531
    @staticmethod
 
532
    def parent(entry, file_id):
 
533
        """Determine the parent for a file_id (used as a key method)"""
 
534
        if entry is None:
 
535
            return None
 
536
        return entry.parent_id
 
537
 
 
538
    @staticmethod
 
539
    def name(entry, file_id):
 
540
        """Determine the name for a file_id (used as a key method)"""
 
541
        if entry is None:
 
542
            return None
 
543
        return entry.name
 
544
    
 
545
    @staticmethod
 
546
    def contents_sha1(tree, file_id):
 
547
        """Determine the sha1 of the file contents (used as a key method)."""
 
548
        if file_id not in tree:
 
549
            return None
 
550
        return tree.get_file_sha1(file_id)
 
551
 
 
552
    @staticmethod
 
553
    def executable(tree, file_id):
 
554
        """Determine the executability of a file-id (used as a key method)."""
 
555
        if file_id not in tree:
 
556
            return None
 
557
        if tree.kind(file_id) != "file":
 
558
            return False
 
559
        return tree.is_executable(file_id)
 
560
 
 
561
    @staticmethod
 
562
    def kind(tree, file_id):
 
563
        """Determine the kind of a file-id (used as a key method)."""
 
564
        if file_id not in tree:
 
565
            return None
 
566
        return tree.kind(file_id)
 
567
 
 
568
    @staticmethod
 
569
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
 
570
        """Do a three-way test on a scalar.
 
571
        Return "this", "other" or "conflict", depending whether a value wins.
 
572
        """
 
573
        key_base = key(base_tree, file_id)
 
574
        key_other = key(other_tree, file_id)
 
575
        #if base == other, either they all agree, or only THIS has changed.
 
576
        if key_base == key_other:
 
577
            return "this"
 
578
        key_this = key(this_tree, file_id)
 
579
        if key_this not in (key_base, key_other):
 
580
            return "conflict"
 
581
        # "Ambiguous clean merge"
 
582
        elif key_this == key_other:
 
583
            return "this"
 
584
        else:
 
585
            assert key_this == key_base
 
586
            return "other"
 
587
 
 
588
    def merge_names(self, file_id):
 
589
        """Perform a merge on file_id names and parents"""
 
590
        def get_entry(tree):
 
591
            if file_id in tree.inventory:
 
592
                return tree.inventory[file_id]
 
593
            else:
 
594
                return None
 
595
        this_entry = get_entry(self.this_tree)
 
596
        other_entry = get_entry(self.other_tree)
 
597
        base_entry = get_entry(self.base_tree)
 
598
        name_winner = self.scalar_three_way(this_entry, base_entry, 
 
599
                                            other_entry, file_id, self.name)
 
600
        parent_id_winner = self.scalar_three_way(this_entry, base_entry, 
 
601
                                                 other_entry, file_id, 
 
602
                                                 self.parent)
 
603
        if this_entry is None:
 
604
            if name_winner == "this":
 
605
                name_winner = "other"
 
606
            if parent_id_winner == "this":
 
607
                parent_id_winner = "other"
 
608
        if name_winner == "this" and parent_id_winner == "this":
 
609
            return
 
610
        if name_winner == "conflict":
 
611
            trans_id = self.tt.trans_id_file_id(file_id)
 
612
            self._raw_conflicts.append(('name conflict', trans_id, 
 
613
                                        self.name(this_entry, file_id), 
 
614
                                        self.name(other_entry, file_id)))
 
615
        if parent_id_winner == "conflict":
 
616
            trans_id = self.tt.trans_id_file_id(file_id)
 
617
            self._raw_conflicts.append(('parent conflict', trans_id, 
 
618
                                        self.parent(this_entry, file_id), 
 
619
                                        self.parent(other_entry, file_id)))
 
620
        if other_entry is None:
 
621
            # it doesn't matter whether the result was 'other' or 
 
622
            # 'conflict'-- if there's no 'other', we leave it alone.
 
623
            return
 
624
        # if we get here, name_winner and parent_winner are set to safe values.
 
625
        winner_entry = {"this": this_entry, "other": other_entry, 
 
626
                        "conflict": other_entry}
 
627
        trans_id = self.tt.trans_id_file_id(file_id)
 
628
        parent_id = winner_entry[parent_id_winner].parent_id
 
629
        if parent_id is not None:
 
630
            parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
631
            self.tt.adjust_path(winner_entry[name_winner].name, 
 
632
                                parent_trans_id, trans_id)
 
633
 
 
634
    def merge_contents(self, file_id):
 
635
        """Performa a merge on file_id contents."""
 
636
        def contents_pair(tree):
 
637
            if file_id not in tree:
 
638
                return (None, None)
 
639
            kind = tree.kind(file_id)
 
640
            if kind == "file":
 
641
                contents = tree.get_file_sha1(file_id)
 
642
            elif kind == "symlink":
 
643
                contents = tree.get_symlink_target(file_id)
 
644
            else:
 
645
                contents = None
 
646
            return kind, contents
 
647
 
 
648
        def contents_conflict():
 
649
            trans_id = self.tt.trans_id_file_id(file_id)
 
650
            name = self.tt.final_name(trans_id)
 
651
            parent_id = self.tt.final_parent(trans_id)
 
652
            if file_id in self.this_tree.inventory:
 
653
                self.tt.unversion_file(trans_id)
 
654
                if file_id in self.this_tree:
 
655
                    self.tt.delete_contents(trans_id)
 
656
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
657
                                              set_version=True)
 
658
            self._raw_conflicts.append(('contents conflict', file_group))
 
659
 
 
660
        # See SPOT run.  run, SPOT, run.
 
661
        # So we're not QUITE repeating ourselves; we do tricky things with
 
662
        # file kind...
 
663
        base_pair = contents_pair(self.base_tree)
 
664
        other_pair = contents_pair(self.other_tree)
 
665
        if base_pair == other_pair:
 
666
            # OTHER introduced no changes
 
667
            return "unmodified"
 
668
        this_pair = contents_pair(self.this_tree)
 
669
        if this_pair == other_pair:
 
670
            # THIS and OTHER introduced the same changes
 
671
            return "unmodified"
 
672
        else:
 
673
            trans_id = self.tt.trans_id_file_id(file_id)
 
674
            if this_pair == base_pair:
 
675
                # only OTHER introduced changes
 
676
                if file_id in self.this_tree:
 
677
                    # Remove any existing contents
 
678
                    self.tt.delete_contents(trans_id)
 
679
                if file_id in self.other_tree:
 
680
                    # OTHER changed the file
 
681
                    create_by_entry(self.tt, 
 
682
                                    self.other_tree.inventory[file_id], 
 
683
                                    self.other_tree, trans_id)
 
684
                    if file_id not in self.this_tree.inventory:
 
685
                        self.tt.version_file(file_id, trans_id)
 
686
                    return "modified"
 
687
                elif file_id in self.this_tree.inventory:
 
688
                    # OTHER deleted the file
 
689
                    self.tt.unversion_file(trans_id)
 
690
                    return "deleted"
 
691
            #BOTH THIS and OTHER introduced changes; scalar conflict
 
692
            elif this_pair[0] == "file" and other_pair[0] == "file":
 
693
                # THIS and OTHER are both files, so text merge.  Either
 
694
                # BASE is a file, or both converted to files, so at least we
 
695
                # have agreement that output should be a file.
 
696
                try:
 
697
                    self.text_merge(file_id, trans_id)
 
698
                except BinaryFile:
 
699
                    return contents_conflict()
 
700
                if file_id not in self.this_tree.inventory:
 
701
                    self.tt.version_file(file_id, trans_id)
 
702
                try:
 
703
                    self.tt.tree_kind(trans_id)
 
704
                    self.tt.delete_contents(trans_id)
 
705
                except NoSuchFile:
 
706
                    pass
 
707
                return "modified"
 
708
            else:
 
709
                # Scalar conflict, can't text merge.  Dump conflicts
 
710
                return contents_conflict()
 
711
 
 
712
    def get_lines(self, tree, file_id):
 
713
        """Return the lines in a file, or an empty list."""
 
714
        if file_id in tree:
 
715
            return tree.get_file(file_id).readlines()
 
716
        else:
 
717
            return []
 
718
 
 
719
    def text_merge(self, file_id, trans_id):
 
720
        """Perform a three-way text merge on a file_id"""
 
721
        # it's possible that we got here with base as a different type.
 
722
        # if so, we just want two-way text conflicts.
 
723
        if file_id in self.base_tree and \
 
724
            self.base_tree.kind(file_id) == "file":
 
725
            base_lines = self.get_lines(self.base_tree, file_id)
 
726
        else:
 
727
            base_lines = []
 
728
        other_lines = self.get_lines(self.other_tree, file_id)
 
729
        this_lines = self.get_lines(self.this_tree, file_id)
 
730
        m3 = Merge3(base_lines, this_lines, other_lines)
 
731
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
 
732
        if self.show_base is True:
 
733
            base_marker = '|' * 7
 
734
        else:
 
735
            base_marker = None
 
736
 
 
737
        def iter_merge3(retval):
 
738
            retval["text_conflicts"] = False
 
739
            for line in m3.merge_lines(name_a = "TREE", 
 
740
                                       name_b = "MERGE-SOURCE", 
 
741
                                       name_base = "BASE-REVISION",
 
742
                                       start_marker=start_marker, 
 
743
                                       base_marker=base_marker,
 
744
                                       reprocess=self.reprocess):
 
745
                if line.startswith(start_marker):
 
746
                    retval["text_conflicts"] = True
 
747
                    yield line.replace(start_marker, '<' * 7)
 
748
                else:
 
749
                    yield line
 
750
        retval = {}
 
751
        merge3_iterator = iter_merge3(retval)
 
752
        self.tt.create_file(merge3_iterator, trans_id)
 
753
        if retval["text_conflicts"] is True:
 
754
            self._raw_conflicts.append(('text conflict', trans_id))
 
755
            name = self.tt.final_name(trans_id)
 
756
            parent_id = self.tt.final_parent(trans_id)
 
757
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
758
                                              this_lines, base_lines,
 
759
                                              other_lines)
 
760
            file_group.append(trans_id)
 
761
 
 
762
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None, 
 
763
                        base_lines=None, other_lines=None, set_version=False,
 
764
                        no_base=False):
 
765
        """Emit conflict files.
 
766
        If this_lines, base_lines, or other_lines are omitted, they will be
 
767
        determined automatically.  If set_version is true, the .OTHER, .THIS
 
768
        or .BASE (in that order) will be created as versioned files.
 
769
        """
 
770
        data = [('OTHER', self.other_tree, other_lines), 
 
771
                ('THIS', self.this_tree, this_lines)]
 
772
        if not no_base:
 
773
            data.append(('BASE', self.base_tree, base_lines))
 
774
        versioned = False
 
775
        file_group = []
 
776
        for suffix, tree, lines in data:
 
777
            if file_id in tree:
 
778
                trans_id = self._conflict_file(name, parent_id, tree, file_id,
 
779
                                               suffix, lines)
 
780
                file_group.append(trans_id)
 
781
                if set_version and not versioned:
 
782
                    self.tt.version_file(file_id, trans_id)
 
783
                    versioned = True
 
784
        return file_group
 
785
           
 
786
    def _conflict_file(self, name, parent_id, tree, file_id, suffix, 
 
787
                       lines=None):
 
788
        """Emit a single conflict file."""
 
789
        name = name + '.' + suffix
 
790
        trans_id = self.tt.create_path(name, parent_id)
 
791
        entry = tree.inventory[file_id]
 
792
        create_by_entry(self.tt, entry, tree, trans_id, lines)
 
793
        return trans_id
 
794
 
 
795
    def merge_executable(self, file_id, file_status):
 
796
        """Perform a merge on the execute bit."""
 
797
        if file_status == "deleted":
 
798
            return
 
799
        trans_id = self.tt.trans_id_file_id(file_id)
 
800
        try:
 
801
            if self.tt.final_kind(trans_id) != "file":
 
802
                return
 
803
        except NoSuchFile:
 
804
            return
 
805
        winner = self.scalar_three_way(self.this_tree, self.base_tree, 
 
806
                                       self.other_tree, file_id, 
 
807
                                       self.executable)
 
808
        if winner == "conflict":
 
809
        # There must be a None in here, if we have a conflict, but we
 
810
        # need executability since file status was not deleted.
 
811
            if self.executable(self.other_tree, file_id) is None:
 
812
                winner = "this"
 
813
            else:
 
814
                winner = "other"
 
815
        if winner == "this":
 
816
            if file_status == "modified":
 
817
                executability = self.this_tree.is_executable(file_id)
 
818
                if executability is not None:
 
819
                    trans_id = self.tt.trans_id_file_id(file_id)
 
820
                    self.tt.set_executability(executability, trans_id)
 
821
        else:
 
822
            assert winner == "other"
 
823
            if file_id in self.other_tree:
 
824
                executability = self.other_tree.is_executable(file_id)
 
825
            elif file_id in self.this_tree:
 
826
                executability = self.this_tree.is_executable(file_id)
 
827
            elif file_id in self.base_tree:
 
828
                executability = self.base_tree.is_executable(file_id)
 
829
            if executability is not None:
 
830
                trans_id = self.tt.trans_id_file_id(file_id)
 
831
                self.tt.set_executability(executability, trans_id)
 
832
 
 
833
    def cook_conflicts(self, fs_conflicts):
 
834
        """Convert all conflicts into a form that doesn't depend on trans_id"""
 
835
        from conflicts import Conflict
 
836
        name_conflicts = {}
 
837
        self.cooked_conflicts.extend(cook_conflicts(fs_conflicts, self.tt))
 
838
        fp = FinalPaths(self.tt)
 
839
        for conflict in self._raw_conflicts:
 
840
            conflict_type = conflict[0]
 
841
            if conflict_type in ('name conflict', 'parent conflict'):
 
842
                trans_id = conflict[1]
 
843
                conflict_args = conflict[2:]
 
844
                if trans_id not in name_conflicts:
 
845
                    name_conflicts[trans_id] = {}
 
846
                unique_add(name_conflicts[trans_id], conflict_type, 
 
847
                           conflict_args)
 
848
            if conflict_type == 'contents conflict':
 
849
                for trans_id in conflict[1]:
 
850
                    file_id = self.tt.final_file_id(trans_id)
 
851
                    if file_id is not None:
 
852
                        break
 
853
                path = fp.get_path(trans_id)
 
854
                for suffix in ('.BASE', '.THIS', '.OTHER'):
 
855
                    if path.endswith(suffix):
 
856
                        path = path[:-len(suffix)]
 
857
                        break
 
858
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
859
                self.cooked_conflicts.append(c)
 
860
            if conflict_type == 'text conflict':
 
861
                trans_id = conflict[1]
 
862
                path = fp.get_path(trans_id)
 
863
                file_id = self.tt.final_file_id(trans_id)
 
864
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
865
                self.cooked_conflicts.append(c)
 
866
 
 
867
        for trans_id, conflicts in name_conflicts.iteritems():
 
868
            try:
 
869
                this_parent, other_parent = conflicts['parent conflict']
 
870
                assert this_parent != other_parent
 
871
            except KeyError:
 
872
                this_parent = other_parent = \
 
873
                    self.tt.final_file_id(self.tt.final_parent(trans_id))
 
874
            try:
 
875
                this_name, other_name = conflicts['name conflict']
 
876
                assert this_name != other_name
 
877
            except KeyError:
 
878
                this_name = other_name = self.tt.final_name(trans_id)
 
879
            other_path = fp.get_path(trans_id)
 
880
            if this_parent is not None and this_name is not None:
 
881
                this_parent_path = \
 
882
                    fp.get_path(self.tt.trans_id_file_id(this_parent))
 
883
                this_path = pathjoin(this_parent_path, this_name)
 
884
            else:
 
885
                this_path = "<deleted>"
 
886
            file_id = self.tt.final_file_id(trans_id)
 
887
            c = Conflict.factory('path conflict', path=this_path,
 
888
                                 conflict_path=other_path, file_id=file_id)
 
889
            self.cooked_conflicts.append(c)
 
890
        self.cooked_conflicts.sort(key=Conflict.sort_key)
 
891
 
 
892
 
 
893
class WeaveMerger(Merge3Merger):
 
894
    """Three-way tree merger, text weave merger."""
 
895
    supports_reprocess = True
 
896
    supports_show_base = False
 
897
 
 
898
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
899
                 interesting_ids=None, pb=DummyProgress(), pp=None,
 
900
                 reprocess=False, change_reporter=None):
 
901
        self.this_revision_tree = self._get_revision_tree(this_tree)
 
902
        self.other_revision_tree = self._get_revision_tree(other_tree)
 
903
        super(WeaveMerger, self).__init__(working_tree, this_tree, 
 
904
                                          base_tree, other_tree, 
 
905
                                          interesting_ids=interesting_ids, 
 
906
                                          pb=pb, pp=pp, reprocess=reprocess,
 
907
                                          change_reporter=change_reporter)
 
908
 
 
909
    def _get_revision_tree(self, tree):
 
910
        """Return a revision tree related to this tree.
 
911
        If the tree is a WorkingTree, the basis will be returned.
 
912
        """
 
913
        if getattr(tree, 'get_weave', False) is False:
 
914
            # If we have a WorkingTree, try using the basis
 
915
            return tree.branch.basis_tree()
 
916
        else:
 
917
            return tree
 
918
 
 
919
    def _check_file(self, file_id):
 
920
        """Check that the revision tree's version of the file matches."""
 
921
        for tree, rt in ((self.this_tree, self.this_revision_tree), 
 
922
                         (self.other_tree, self.other_revision_tree)):
 
923
            if rt is tree:
 
924
                continue
 
925
            if tree.get_file_sha1(file_id) != rt.get_file_sha1(file_id):
 
926
                raise WorkingTreeNotRevision(self.this_tree)
 
927
 
 
928
    def _merged_lines(self, file_id):
 
929
        """Generate the merged lines.
 
930
        There is no distinction between lines that are meant to contain <<<<<<<
 
931
        and conflicts.
 
932
        """
 
933
        weave = self.this_revision_tree.get_weave(file_id)
 
934
        this_revision_id = self.this_revision_tree.inventory[file_id].revision
 
935
        other_revision_id = \
 
936
            self.other_revision_tree.inventory[file_id].revision
 
937
        wm = WeaveMerge(weave, this_revision_id, other_revision_id, 
 
938
                        '<<<<<<< TREE\n', '>>>>>>> MERGE-SOURCE\n')
 
939
        return wm.merge_lines(self.reprocess)
 
940
 
 
941
    def text_merge(self, file_id, trans_id):
 
942
        """Perform a (weave) text merge for a given file and file-id.
 
943
        If conflicts are encountered, .THIS and .OTHER files will be emitted,
 
944
        and a conflict will be noted.
 
945
        """
 
946
        self._check_file(file_id)
 
947
        lines, conflicts = self._merged_lines(file_id)
 
948
        lines = list(lines)
 
949
        # Note we're checking whether the OUTPUT is binary in this case, 
 
950
        # because we don't want to get into weave merge guts.
 
951
        check_text_lines(lines)
 
952
        self.tt.create_file(lines, trans_id)
 
953
        if conflicts:
 
954
            self._raw_conflicts.append(('text conflict', trans_id))
 
955
            name = self.tt.final_name(trans_id)
 
956
            parent_id = self.tt.final_parent(trans_id)
 
957
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
958
                                              no_base=True)
 
959
            file_group.append(trans_id)
 
960
 
 
961
 
 
962
class Diff3Merger(Merge3Merger):
 
963
    """Three-way merger using external diff3 for text merging"""
 
964
 
 
965
    def dump_file(self, temp_dir, name, tree, file_id):
 
966
        out_path = pathjoin(temp_dir, name)
 
967
        out_file = open(out_path, "wb")
 
968
        try:
 
969
            in_file = tree.get_file(file_id)
 
970
            for line in in_file:
 
971
                out_file.write(line)
 
972
        finally:
 
973
            out_file.close()
 
974
        return out_path
 
975
 
 
976
    def text_merge(self, file_id, trans_id):
 
977
        """Perform a diff3 merge using a specified file-id and trans-id.
 
978
        If conflicts are encountered, .BASE, .THIS. and .OTHER conflict files
 
979
        will be dumped, and a will be conflict noted.
 
980
        """
 
981
        import bzrlib.patch
 
982
        temp_dir = osutils.mkdtemp(prefix="bzr-")
 
983
        try:
 
984
            new_file = pathjoin(temp_dir, "new")
 
985
            this = self.dump_file(temp_dir, "this", self.this_tree, file_id)
 
986
            base = self.dump_file(temp_dir, "base", self.base_tree, file_id)
 
987
            other = self.dump_file(temp_dir, "other", self.other_tree, file_id)
 
988
            status = bzrlib.patch.diff3(new_file, this, base, other)
 
989
            if status not in (0, 1):
 
990
                raise BzrError("Unhandled diff3 exit code")
 
991
            f = open(new_file, 'rb')
 
992
            try:
 
993
                self.tt.create_file(f, trans_id)
 
994
            finally:
 
995
                f.close()
 
996
            if status == 1:
 
997
                name = self.tt.final_name(trans_id)
 
998
                parent_id = self.tt.final_parent(trans_id)
 
999
                self._dump_conflicts(name, parent_id, file_id)
 
1000
                self._raw_conflicts.append(('text conflict', trans_id))
 
1001
        finally:
 
1002
            osutils.rmtree(temp_dir)
 
1003
 
 
1004
 
 
1005
def merge_inner(this_branch, other_tree, base_tree, ignore_zero=False,
 
1006
                backup_files=False,
 
1007
                merge_type=Merge3Merger,
 
1008
                interesting_ids=None,
 
1009
                show_base=False,
 
1010
                reprocess=False,
 
1011
                other_rev_id=None,
 
1012
                interesting_files=None,
 
1013
                this_tree=None,
 
1014
                pb=DummyProgress(),
 
1015
                change_reporter=None):
 
1016
    """Primary interface for merging. 
 
1017
 
 
1018
        typical use is probably 
 
1019
        'merge_inner(branch, branch.get_revision_tree(other_revision),
 
1020
                     branch.get_revision_tree(base_revision))'
 
1021
        """
 
1022
    if this_tree is None:
 
1023
        raise BzrError("bzrlib.merge.merge_inner requires a this_tree "
 
1024
            "parameter as of bzrlib version 0.8.")
 
1025
    merger = Merger(this_branch, other_tree, base_tree, this_tree=this_tree,
 
1026
                    pb=pb, change_reporter=change_reporter)
 
1027
    merger.backup_files = backup_files
 
1028
    merger.merge_type = merge_type
 
1029
    merger.interesting_ids = interesting_ids
 
1030
    merger.ignore_zero = ignore_zero
 
1031
    if interesting_files:
 
1032
        assert not interesting_ids, ('Only supply interesting_ids'
 
1033
                                     ' or interesting_files')
 
1034
        merger._set_interesting_files(interesting_files)
 
1035
    merger.show_base = show_base
 
1036
    merger.reprocess = reprocess
 
1037
    merger.other_rev_id = other_rev_id
 
1038
    merger.other_basis = other_rev_id
 
1039
    return merger.do_merge()
 
1040
 
 
1041
def get_merge_type_registry():
 
1042
    """Merge type registry is in bzrlib.option to avoid circular imports.
 
1043
 
 
1044
    This method provides a sanctioned way to retrieve it.
 
1045
    """
 
1046
    from bzrlib import option
 
1047
    return option._merge_type_registry