~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Keir Mierle
  • Date: 2006-11-23 18:56:25 UTC
  • mto: (2168.1.1 jam-integration)
  • mto: This revision was merged to the branch mainline in revision 2171.
  • Revision ID: keir@cs.utoronto.ca-20061123185625-ndto53ylcb8zo1y6
Fix spacing error and add tests for status --short command flag.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
import os
 
19
import errno
 
20
import warnings
 
21
 
 
22
from bzrlib import (
 
23
    osutils,
 
24
    )
 
25
from bzrlib.branch import Branch
 
26
from bzrlib.conflicts import ConflictList, Conflict
 
27
from bzrlib.errors import (BzrCommandError,
 
28
                           BzrError,
 
29
                           NoCommonAncestor,
 
30
                           NoCommits,
 
31
                           NoSuchRevision,
 
32
                           NoSuchFile,
 
33
                           NotBranchError,
 
34
                           NotVersionedError,
 
35
                           UnrelatedBranches,
 
36
                           UnsupportedOperation,
 
37
                           WorkingTreeNotRevision,
 
38
                           BinaryFile,
 
39
                           )
 
40
from bzrlib.merge3 import Merge3
 
41
import bzrlib.osutils
 
42
from bzrlib.osutils import rename, pathjoin
 
43
from progress import DummyProgress, ProgressPhase
 
44
from bzrlib.revision import common_ancestor, is_ancestor, NULL_REVISION
 
45
from bzrlib.textfile import check_text_lines
 
46
from bzrlib.trace import mutter, warning, note
 
47
from bzrlib.transform import (TreeTransform, resolve_conflicts, cook_conflicts,
 
48
                              FinalPaths, create_by_entry, unique_add,
 
49
                              ROOT_PARENT)
 
50
from bzrlib.versionedfile import WeaveMerge
 
51
from bzrlib import ui
 
52
 
 
53
# TODO: Report back as changes are merged in
 
54
 
 
55
def _get_tree(treespec, local_branch=None):
 
56
    from bzrlib import workingtree
 
57
    location, revno = treespec
 
58
    if revno is None:
 
59
        tree = workingtree.WorkingTree.open_containing(location)[0]
 
60
        return tree.branch, tree
 
61
    branch = Branch.open_containing(location)[0]
 
62
    if revno == -1:
 
63
        revision = branch.last_revision()
 
64
    else:
 
65
        revision = branch.get_rev_id(revno)
 
66
        if revision is None:
 
67
            revision = NULL_REVISION
 
68
    return branch, _get_revid_tree(branch, revision, local_branch)
 
69
 
 
70
 
 
71
def _get_revid_tree(branch, revision, local_branch):
 
72
    if revision is None:
 
73
        base_tree = branch.bzrdir.open_workingtree()
 
74
    else:
 
75
        if local_branch is not None:
 
76
            if local_branch.base != branch.base:
 
77
                local_branch.fetch(branch, revision)
 
78
            base_tree = local_branch.repository.revision_tree(revision)
 
79
        else:
 
80
            base_tree = branch.repository.revision_tree(revision)
 
81
    return base_tree
 
82
 
 
83
 
 
84
def transform_tree(from_tree, to_tree, interesting_ids=None):
 
85
    merge_inner(from_tree.branch, to_tree, from_tree, ignore_zero=True,
 
86
                interesting_ids=interesting_ids, this_tree=from_tree)
 
87
 
 
88
 
 
89
class Merger(object):
 
90
    def __init__(self, this_branch, other_tree=None, base_tree=None, 
 
91
                 this_tree=None, pb=DummyProgress()):
 
92
        object.__init__(self)
 
93
        assert this_tree is not None, "this_tree is required"
 
94
        self.this_branch = this_branch
 
95
        self.this_basis = this_branch.last_revision()
 
96
        self.this_rev_id = None
 
97
        self.this_tree = this_tree
 
98
        self.this_revision_tree = None
 
99
        self.this_basis_tree = None
 
100
        self.other_tree = other_tree
 
101
        self.base_tree = base_tree
 
102
        self.ignore_zero = False
 
103
        self.backup_files = False
 
104
        self.interesting_ids = None
 
105
        self.show_base = False
 
106
        self.reprocess = False
 
107
        self._pb = pb 
 
108
        self.pp = None
 
109
 
 
110
 
 
111
    def revision_tree(self, revision_id):
 
112
        return self.this_branch.repository.revision_tree(revision_id)
 
113
 
 
114
    def ensure_revision_trees(self):
 
115
        if self.this_revision_tree is None:
 
116
            self.this_basis_tree = self.this_branch.repository.revision_tree(
 
117
                self.this_basis)
 
118
            if self.this_basis == self.this_rev_id:
 
119
                self.this_revision_tree = self.this_basis_tree
 
120
 
 
121
        if self.other_rev_id is None:
 
122
            other_basis_tree = self.revision_tree(self.other_basis)
 
123
            changes = other_basis_tree.changes_from(self.other_tree)
 
124
            if changes.has_changed():
 
125
                raise WorkingTreeNotRevision(self.this_tree)
 
126
            other_rev_id = self.other_basis
 
127
            self.other_tree = other_basis_tree
 
128
 
 
129
    def file_revisions(self, file_id):
 
130
        self.ensure_revision_trees()
 
131
        def get_id(tree, file_id):
 
132
            revision_id = tree.inventory[file_id].revision
 
133
            assert revision_id is not None
 
134
            return revision_id
 
135
        if self.this_rev_id is None:
 
136
            if self.this_basis_tree.get_file_sha1(file_id) != \
 
137
                self.this_tree.get_file_sha1(file_id):
 
138
                raise WorkingTreeNotRevision(self.this_tree)
 
139
 
 
140
        trees = (self.this_basis_tree, self.other_tree)
 
141
        return [get_id(tree, file_id) for tree in trees]
 
142
 
 
143
    def check_basis(self, check_clean, require_commits=True):
 
144
        if self.this_basis is None and require_commits is True:
 
145
            raise BzrCommandError("This branch has no commits")
 
146
        if check_clean:
 
147
            self.compare_basis()
 
148
            if self.this_basis != self.this_rev_id:
 
149
                raise BzrCommandError("Working tree has uncommitted changes.")
 
150
 
 
151
    def compare_basis(self):
 
152
        changes = self.this_tree.changes_from(self.this_tree.basis_tree())
 
153
        if not changes.has_changed():
 
154
            self.this_rev_id = self.this_basis
 
155
 
 
156
    def set_interesting_files(self, file_list):
 
157
        try:
 
158
            self._set_interesting_files(file_list)
 
159
        except NotVersionedError, e:
 
160
            raise BzrCommandError("%s is not a source file in any"
 
161
                                      " tree." % e.path)
 
162
 
 
163
    def _set_interesting_files(self, file_list):
 
164
        """Set the list of interesting ids from a list of files."""
 
165
        if file_list is None:
 
166
            self.interesting_ids = None
 
167
            return
 
168
 
 
169
        interesting_ids = set()
 
170
        for path in file_list:
 
171
            found_id = False
 
172
            for tree in (self.this_tree, self.base_tree, self.other_tree):
 
173
                file_id = tree.inventory.path2id(path)
 
174
                if file_id is not None:
 
175
                    interesting_ids.add(file_id)
 
176
                    found_id = True
 
177
            if not found_id:
 
178
                raise NotVersionedError(path=path)
 
179
        self.interesting_ids = interesting_ids
 
180
 
 
181
    def set_pending(self):
 
182
        if not self.base_is_ancestor:
 
183
            return
 
184
        if self.other_rev_id is None:
 
185
            return
 
186
        ancestry = self.this_branch.repository.get_ancestry(self.this_basis)
 
187
        if self.other_rev_id in ancestry:
 
188
            return
 
189
        self.this_tree.add_parent_tree((self.other_rev_id, self.other_tree))
 
190
 
 
191
    def set_other(self, other_revision):
 
192
        """Set the revision and tree to merge from.
 
193
 
 
194
        This sets the other_tree, other_rev_id, other_basis attributes.
 
195
 
 
196
        :param other_revision: The [path, revision] list to merge from.
 
197
        """
 
198
        other_branch, self.other_tree = _get_tree(other_revision,
 
199
                                                  self.this_branch)
 
200
        if other_revision[1] == -1:
 
201
            self.other_rev_id = other_branch.last_revision()
 
202
            if self.other_rev_id is None:
 
203
                raise NoCommits(other_branch)
 
204
            self.other_basis = self.other_rev_id
 
205
        elif other_revision[1] is not None:
 
206
            self.other_rev_id = other_branch.get_rev_id(other_revision[1])
 
207
            self.other_basis = self.other_rev_id
 
208
        else:
 
209
            self.other_rev_id = None
 
210
            self.other_basis = other_branch.last_revision()
 
211
            if self.other_basis is None:
 
212
                raise NoCommits(other_branch)
 
213
        if other_branch.base != self.this_branch.base:
 
214
            self.this_branch.fetch(other_branch, last_revision=self.other_basis)
 
215
 
 
216
    def find_base(self):
 
217
        self.set_base([None, None])
 
218
 
 
219
    def set_base(self, base_revision):
 
220
        """Set the base revision to use for the merge.
 
221
 
 
222
        :param base_revision: A 2-list containing a path and revision number.
 
223
        """
 
224
        mutter("doing merge() with no base_revision specified")
 
225
        if base_revision == [None, None]:
 
226
            try:
 
227
                pb = bzrlib.ui.ui_factory.nested_progress_bar()
 
228
                try:
 
229
                    this_repo = self.this_branch.repository
 
230
                    self.base_rev_id = common_ancestor(self.this_basis, 
 
231
                                                       self.other_basis, 
 
232
                                                       this_repo, pb)
 
233
                finally:
 
234
                    pb.finished()
 
235
            except NoCommonAncestor:
 
236
                raise UnrelatedBranches()
 
237
            self.base_tree = _get_revid_tree(self.this_branch, self.base_rev_id,
 
238
                                            None)
 
239
            self.base_is_ancestor = True
 
240
        else:
 
241
            base_branch, self.base_tree = _get_tree(base_revision)
 
242
            if base_revision[1] == -1:
 
243
                self.base_rev_id = base_branch.last_revision()
 
244
            elif base_revision[1] is None:
 
245
                self.base_rev_id = None
 
246
            else:
 
247
                self.base_rev_id = base_branch.get_rev_id(base_revision[1])
 
248
            if self.this_branch.base != base_branch.base:
 
249
                self.this_branch.fetch(base_branch)
 
250
            self.base_is_ancestor = is_ancestor(self.this_basis, 
 
251
                                                self.base_rev_id,
 
252
                                                self.this_branch)
 
253
 
 
254
    def do_merge(self):
 
255
        kwargs = {'working_tree':self.this_tree, 'this_tree': self.this_tree, 
 
256
                  'other_tree': self.other_tree, 
 
257
                  'interesting_ids': self.interesting_ids,
 
258
                  'pp': self.pp}
 
259
        if self.merge_type.requires_base:
 
260
            kwargs['base_tree'] = self.base_tree
 
261
        if self.merge_type.supports_reprocess:
 
262
            kwargs['reprocess'] = self.reprocess
 
263
        elif self.reprocess:
 
264
            raise BzrError("Conflict reduction is not supported for merge"
 
265
                                  " type %s." % self.merge_type)
 
266
        if self.merge_type.supports_show_base:
 
267
            kwargs['show_base'] = self.show_base
 
268
        elif self.show_base:
 
269
            raise BzrError("Showing base is not supported for this"
 
270
                                  " merge type. %s" % self.merge_type)
 
271
        merge = self.merge_type(pb=self._pb, **kwargs)
 
272
        if len(merge.cooked_conflicts) == 0:
 
273
            if not self.ignore_zero:
 
274
                note("All changes applied successfully.")
 
275
        else:
 
276
            note("%d conflicts encountered." % len(merge.cooked_conflicts))
 
277
 
 
278
        return len(merge.cooked_conflicts)
 
279
 
 
280
    def regen_inventory(self, new_entries):
 
281
        old_entries = self.this_tree.read_working_inventory()
 
282
        new_inventory = {}
 
283
        by_path = {}
 
284
        new_entries_map = {} 
 
285
        for path, file_id in new_entries:
 
286
            if path is None:
 
287
                continue
 
288
            new_entries_map[file_id] = path
 
289
 
 
290
        def id2path(file_id):
 
291
            path = new_entries_map.get(file_id)
 
292
            if path is not None:
 
293
                return path
 
294
            entry = old_entries[file_id]
 
295
            if entry.parent_id is None:
 
296
                return entry.name
 
297
            return pathjoin(id2path(entry.parent_id), entry.name)
 
298
            
 
299
        for file_id in old_entries:
 
300
            entry = old_entries[file_id]
 
301
            path = id2path(file_id)
 
302
            if file_id in self.base_tree.inventory:
 
303
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
304
            else:
 
305
                executable = getattr(entry, 'executable', False)
 
306
            new_inventory[file_id] = (path, file_id, entry.parent_id, 
 
307
                                      entry.kind, executable)
 
308
                                      
 
309
            by_path[path] = file_id
 
310
        
 
311
        deletions = 0
 
312
        insertions = 0
 
313
        new_path_list = []
 
314
        for path, file_id in new_entries:
 
315
            if path is None:
 
316
                del new_inventory[file_id]
 
317
                deletions += 1
 
318
            else:
 
319
                new_path_list.append((path, file_id))
 
320
                if file_id not in old_entries:
 
321
                    insertions += 1
 
322
        # Ensure no file is added before its parent
 
323
        new_path_list.sort()
 
324
        for path, file_id in new_path_list:
 
325
            if path == '':
 
326
                parent = None
 
327
            else:
 
328
                parent = by_path[os.path.dirname(path)]
 
329
            abspath = pathjoin(self.this_tree.basedir, path)
 
330
            kind = bzrlib.osutils.file_kind(abspath)
 
331
            if file_id in self.base_tree.inventory:
 
332
                executable = getattr(self.base_tree.inventory[file_id], 'executable', False)
 
333
            else:
 
334
                executable = False
 
335
            new_inventory[file_id] = (path, file_id, parent, kind, executable)
 
336
            by_path[path] = file_id 
 
337
 
 
338
        # Get a list in insertion order
 
339
        new_inventory_list = new_inventory.values()
 
340
        mutter ("""Inventory regeneration:
 
341
    old length: %i insertions: %i deletions: %i new_length: %i"""\
 
342
            % (len(old_entries), insertions, deletions, 
 
343
               len(new_inventory_list)))
 
344
        assert len(new_inventory_list) == len(old_entries) + insertions\
 
345
            - deletions
 
346
        new_inventory_list.sort()
 
347
        return new_inventory_list
 
348
 
 
349
 
 
350
class Merge3Merger(object):
 
351
    """Three-way merger that uses the merge3 text merger"""
 
352
    requires_base = True
 
353
    supports_reprocess = True
 
354
    supports_show_base = True
 
355
    history_based = False
 
356
 
 
357
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
358
                 interesting_ids=None, reprocess=False, show_base=False,
 
359
                 pb=DummyProgress(), pp=None):
 
360
        """Initialize the merger object and perform the merge."""
 
361
        object.__init__(self)
 
362
        self.this_tree = working_tree
 
363
        self.base_tree = base_tree
 
364
        self.other_tree = other_tree
 
365
        self._raw_conflicts = []
 
366
        self.cooked_conflicts = []
 
367
        self.reprocess = reprocess
 
368
        self.show_base = show_base
 
369
        self.pb = pb
 
370
        self.pp = pp
 
371
        if self.pp is None:
 
372
            self.pp = ProgressPhase("Merge phase", 3, self.pb)
 
373
 
 
374
        if interesting_ids is not None:
 
375
            all_ids = interesting_ids
 
376
        else:
 
377
            all_ids = set(base_tree)
 
378
            all_ids.update(other_tree)
 
379
        working_tree.lock_tree_write()
 
380
        self.tt = TreeTransform(working_tree, self.pb)
 
381
        try:
 
382
            self.pp.next_phase()
 
383
            child_pb = ui.ui_factory.nested_progress_bar()
 
384
            try:
 
385
                for num, file_id in enumerate(all_ids):
 
386
                    child_pb.update('Preparing file merge', num, len(all_ids))
 
387
                    self.merge_names(file_id)
 
388
                    file_status = self.merge_contents(file_id)
 
389
                    self.merge_executable(file_id, file_status)
 
390
            finally:
 
391
                child_pb.finished()
 
392
            self.fix_root()
 
393
            self.pp.next_phase()
 
394
            child_pb = ui.ui_factory.nested_progress_bar()
 
395
            try:
 
396
                fs_conflicts = resolve_conflicts(self.tt, child_pb)
 
397
            finally:
 
398
                child_pb.finished()
 
399
            self.cook_conflicts(fs_conflicts)
 
400
            for conflict in self.cooked_conflicts:
 
401
                warning(conflict)
 
402
            self.pp.next_phase()
 
403
            results = self.tt.apply()
 
404
            self.write_modified(results)
 
405
            try:
 
406
                working_tree.add_conflicts(self.cooked_conflicts)
 
407
            except UnsupportedOperation:
 
408
                pass
 
409
        finally:
 
410
            self.tt.finalize()
 
411
            working_tree.unlock()
 
412
            self.pb.clear()
 
413
 
 
414
    def fix_root(self):
 
415
        try:
 
416
            self.tt.final_kind(self.tt.root)
 
417
        except NoSuchFile:
 
418
            self.tt.cancel_deletion(self.tt.root)
 
419
        if self.tt.final_file_id(self.tt.root) is None:
 
420
            self.tt.version_file(self.tt.tree_file_id(self.tt.root), 
 
421
                                 self.tt.root)
 
422
        if self.other_tree.inventory.root is None:
 
423
            return
 
424
        other_root_file_id = self.other_tree.inventory.root.file_id
 
425
        other_root = self.tt.trans_id_file_id(other_root_file_id)
 
426
        if other_root == self.tt.root:
 
427
            return
 
428
        try:
 
429
            self.tt.final_kind(other_root)
 
430
        except NoSuchFile:
 
431
            return
 
432
        self.reparent_children(self.other_tree.inventory.root, self.tt.root)
 
433
        self.tt.cancel_creation(other_root)
 
434
        self.tt.cancel_versioning(other_root)
 
435
 
 
436
    def reparent_children(self, ie, target):
 
437
        for thing, child in ie.children.iteritems():
 
438
            trans_id = self.tt.trans_id_file_id(child.file_id)
 
439
            self.tt.adjust_path(self.tt.final_name(trans_id), target, trans_id)
 
440
 
 
441
    def write_modified(self, results):
 
442
        modified_hashes = {}
 
443
        for path in results.modified_paths:
 
444
            file_id = self.this_tree.path2id(self.this_tree.relpath(path))
 
445
            if file_id is None:
 
446
                continue
 
447
            hash = self.this_tree.get_file_sha1(file_id)
 
448
            if hash is None:
 
449
                continue
 
450
            modified_hashes[file_id] = hash
 
451
        self.this_tree.set_merge_modified(modified_hashes)
 
452
 
 
453
    @staticmethod
 
454
    def parent(entry, file_id):
 
455
        """Determine the parent for a file_id (used as a key method)"""
 
456
        if entry is None:
 
457
            return None
 
458
        return entry.parent_id
 
459
 
 
460
    @staticmethod
 
461
    def name(entry, file_id):
 
462
        """Determine the name for a file_id (used as a key method)"""
 
463
        if entry is None:
 
464
            return None
 
465
        return entry.name
 
466
    
 
467
    @staticmethod
 
468
    def contents_sha1(tree, file_id):
 
469
        """Determine the sha1 of the file contents (used as a key method)."""
 
470
        if file_id not in tree:
 
471
            return None
 
472
        return tree.get_file_sha1(file_id)
 
473
 
 
474
    @staticmethod
 
475
    def executable(tree, file_id):
 
476
        """Determine the executability of a file-id (used as a key method)."""
 
477
        if file_id not in tree:
 
478
            return None
 
479
        if tree.kind(file_id) != "file":
 
480
            return False
 
481
        return tree.is_executable(file_id)
 
482
 
 
483
    @staticmethod
 
484
    def kind(tree, file_id):
 
485
        """Determine the kind of a file-id (used as a key method)."""
 
486
        if file_id not in tree:
 
487
            return None
 
488
        return tree.kind(file_id)
 
489
 
 
490
    @staticmethod
 
491
    def scalar_three_way(this_tree, base_tree, other_tree, file_id, key):
 
492
        """Do a three-way test on a scalar.
 
493
        Return "this", "other" or "conflict", depending whether a value wins.
 
494
        """
 
495
        key_base = key(base_tree, file_id)
 
496
        key_other = key(other_tree, file_id)
 
497
        #if base == other, either they all agree, or only THIS has changed.
 
498
        if key_base == key_other:
 
499
            return "this"
 
500
        key_this = key(this_tree, file_id)
 
501
        if key_this not in (key_base, key_other):
 
502
            return "conflict"
 
503
        # "Ambiguous clean merge"
 
504
        elif key_this == key_other:
 
505
            return "this"
 
506
        else:
 
507
            assert key_this == key_base
 
508
            return "other"
 
509
 
 
510
    def merge_names(self, file_id):
 
511
        """Perform a merge on file_id names and parents"""
 
512
        def get_entry(tree):
 
513
            if file_id in tree.inventory:
 
514
                return tree.inventory[file_id]
 
515
            else:
 
516
                return None
 
517
        this_entry = get_entry(self.this_tree)
 
518
        other_entry = get_entry(self.other_tree)
 
519
        base_entry = get_entry(self.base_tree)
 
520
        name_winner = self.scalar_three_way(this_entry, base_entry, 
 
521
                                            other_entry, file_id, self.name)
 
522
        parent_id_winner = self.scalar_three_way(this_entry, base_entry, 
 
523
                                                 other_entry, file_id, 
 
524
                                                 self.parent)
 
525
        if this_entry is None:
 
526
            if name_winner == "this":
 
527
                name_winner = "other"
 
528
            if parent_id_winner == "this":
 
529
                parent_id_winner = "other"
 
530
        if name_winner == "this" and parent_id_winner == "this":
 
531
            return
 
532
        if name_winner == "conflict":
 
533
            trans_id = self.tt.trans_id_file_id(file_id)
 
534
            self._raw_conflicts.append(('name conflict', trans_id, 
 
535
                                        self.name(this_entry, file_id), 
 
536
                                        self.name(other_entry, file_id)))
 
537
        if parent_id_winner == "conflict":
 
538
            trans_id = self.tt.trans_id_file_id(file_id)
 
539
            self._raw_conflicts.append(('parent conflict', trans_id, 
 
540
                                        self.parent(this_entry, file_id), 
 
541
                                        self.parent(other_entry, file_id)))
 
542
        if other_entry is None:
 
543
            # it doesn't matter whether the result was 'other' or 
 
544
            # 'conflict'-- if there's no 'other', we leave it alone.
 
545
            return
 
546
        # if we get here, name_winner and parent_winner are set to safe values.
 
547
        winner_entry = {"this": this_entry, "other": other_entry, 
 
548
                        "conflict": other_entry}
 
549
        trans_id = self.tt.trans_id_file_id(file_id)
 
550
        parent_id = winner_entry[parent_id_winner].parent_id
 
551
        if parent_id is not None:
 
552
            parent_trans_id = self.tt.trans_id_file_id(parent_id)
 
553
            self.tt.adjust_path(winner_entry[name_winner].name, 
 
554
                                parent_trans_id, trans_id)
 
555
 
 
556
    def merge_contents(self, file_id):
 
557
        """Performa a merge on file_id contents."""
 
558
        def contents_pair(tree):
 
559
            if file_id not in tree:
 
560
                return (None, None)
 
561
            kind = tree.kind(file_id)
 
562
            if kind == "file":
 
563
                contents = tree.get_file_sha1(file_id)
 
564
            elif kind == "symlink":
 
565
                contents = tree.get_symlink_target(file_id)
 
566
            else:
 
567
                contents = None
 
568
            return kind, contents
 
569
 
 
570
        def contents_conflict():
 
571
            trans_id = self.tt.trans_id_file_id(file_id)
 
572
            name = self.tt.final_name(trans_id)
 
573
            parent_id = self.tt.final_parent(trans_id)
 
574
            if file_id in self.this_tree.inventory:
 
575
                self.tt.unversion_file(trans_id)
 
576
                self.tt.delete_contents(trans_id)
 
577
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
578
                                              set_version=True)
 
579
            self._raw_conflicts.append(('contents conflict', file_group))
 
580
 
 
581
        # See SPOT run.  run, SPOT, run.
 
582
        # So we're not QUITE repeating ourselves; we do tricky things with
 
583
        # file kind...
 
584
        base_pair = contents_pair(self.base_tree)
 
585
        other_pair = contents_pair(self.other_tree)
 
586
        if base_pair == other_pair:
 
587
            # OTHER introduced no changes
 
588
            return "unmodified"
 
589
        this_pair = contents_pair(self.this_tree)
 
590
        if this_pair == other_pair:
 
591
            # THIS and OTHER introduced the same changes
 
592
            return "unmodified"
 
593
        else:
 
594
            trans_id = self.tt.trans_id_file_id(file_id)
 
595
            if this_pair == base_pair:
 
596
                # only OTHER introduced changes
 
597
                if file_id in self.this_tree:
 
598
                    # Remove any existing contents
 
599
                    self.tt.delete_contents(trans_id)
 
600
                if file_id in self.other_tree:
 
601
                    # OTHER changed the file
 
602
                    create_by_entry(self.tt, 
 
603
                                    self.other_tree.inventory[file_id], 
 
604
                                    self.other_tree, trans_id)
 
605
                    if file_id not in self.this_tree.inventory:
 
606
                        self.tt.version_file(file_id, trans_id)
 
607
                    return "modified"
 
608
                elif file_id in self.this_tree.inventory:
 
609
                    # OTHER deleted the file
 
610
                    self.tt.unversion_file(trans_id)
 
611
                    return "deleted"
 
612
            #BOTH THIS and OTHER introduced changes; scalar conflict
 
613
            elif this_pair[0] == "file" and other_pair[0] == "file":
 
614
                # THIS and OTHER are both files, so text merge.  Either
 
615
                # BASE is a file, or both converted to files, so at least we
 
616
                # have agreement that output should be a file.
 
617
                try:
 
618
                    self.text_merge(file_id, trans_id)
 
619
                except BinaryFile:
 
620
                    return contents_conflict()
 
621
                if file_id not in self.this_tree.inventory:
 
622
                    self.tt.version_file(file_id, trans_id)
 
623
                try:
 
624
                    self.tt.tree_kind(trans_id)
 
625
                    self.tt.delete_contents(trans_id)
 
626
                except NoSuchFile:
 
627
                    pass
 
628
                return "modified"
 
629
            else:
 
630
                # Scalar conflict, can't text merge.  Dump conflicts
 
631
                return contents_conflict()
 
632
 
 
633
    def get_lines(self, tree, file_id):
 
634
        """Return the lines in a file, or an empty list."""
 
635
        if file_id in tree:
 
636
            return tree.get_file(file_id).readlines()
 
637
        else:
 
638
            return []
 
639
 
 
640
    def text_merge(self, file_id, trans_id):
 
641
        """Perform a three-way text merge on a file_id"""
 
642
        # it's possible that we got here with base as a different type.
 
643
        # if so, we just want two-way text conflicts.
 
644
        if file_id in self.base_tree and \
 
645
            self.base_tree.kind(file_id) == "file":
 
646
            base_lines = self.get_lines(self.base_tree, file_id)
 
647
        else:
 
648
            base_lines = []
 
649
        other_lines = self.get_lines(self.other_tree, file_id)
 
650
        this_lines = self.get_lines(self.this_tree, file_id)
 
651
        m3 = Merge3(base_lines, this_lines, other_lines)
 
652
        start_marker = "!START OF MERGE CONFLICT!" + "I HOPE THIS IS UNIQUE"
 
653
        if self.show_base is True:
 
654
            base_marker = '|' * 7
 
655
        else:
 
656
            base_marker = None
 
657
 
 
658
        def iter_merge3(retval):
 
659
            retval["text_conflicts"] = False
 
660
            for line in m3.merge_lines(name_a = "TREE", 
 
661
                                       name_b = "MERGE-SOURCE", 
 
662
                                       name_base = "BASE-REVISION",
 
663
                                       start_marker=start_marker, 
 
664
                                       base_marker=base_marker,
 
665
                                       reprocess=self.reprocess):
 
666
                if line.startswith(start_marker):
 
667
                    retval["text_conflicts"] = True
 
668
                    yield line.replace(start_marker, '<' * 7)
 
669
                else:
 
670
                    yield line
 
671
        retval = {}
 
672
        merge3_iterator = iter_merge3(retval)
 
673
        self.tt.create_file(merge3_iterator, trans_id)
 
674
        if retval["text_conflicts"] is True:
 
675
            self._raw_conflicts.append(('text conflict', trans_id))
 
676
            name = self.tt.final_name(trans_id)
 
677
            parent_id = self.tt.final_parent(trans_id)
 
678
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
679
                                              this_lines, base_lines,
 
680
                                              other_lines)
 
681
            file_group.append(trans_id)
 
682
 
 
683
    def _dump_conflicts(self, name, parent_id, file_id, this_lines=None, 
 
684
                        base_lines=None, other_lines=None, set_version=False,
 
685
                        no_base=False):
 
686
        """Emit conflict files.
 
687
        If this_lines, base_lines, or other_lines are omitted, they will be
 
688
        determined automatically.  If set_version is true, the .OTHER, .THIS
 
689
        or .BASE (in that order) will be created as versioned files.
 
690
        """
 
691
        data = [('OTHER', self.other_tree, other_lines), 
 
692
                ('THIS', self.this_tree, this_lines)]
 
693
        if not no_base:
 
694
            data.append(('BASE', self.base_tree, base_lines))
 
695
        versioned = False
 
696
        file_group = []
 
697
        for suffix, tree, lines in data:
 
698
            if file_id in tree:
 
699
                trans_id = self._conflict_file(name, parent_id, tree, file_id,
 
700
                                               suffix, lines)
 
701
                file_group.append(trans_id)
 
702
                if set_version and not versioned:
 
703
                    self.tt.version_file(file_id, trans_id)
 
704
                    versioned = True
 
705
        return file_group
 
706
           
 
707
    def _conflict_file(self, name, parent_id, tree, file_id, suffix, 
 
708
                       lines=None):
 
709
        """Emit a single conflict file."""
 
710
        name = name + '.' + suffix
 
711
        trans_id = self.tt.create_path(name, parent_id)
 
712
        entry = tree.inventory[file_id]
 
713
        create_by_entry(self.tt, entry, tree, trans_id, lines)
 
714
        return trans_id
 
715
 
 
716
    def merge_executable(self, file_id, file_status):
 
717
        """Perform a merge on the execute bit."""
 
718
        if file_status == "deleted":
 
719
            return
 
720
        trans_id = self.tt.trans_id_file_id(file_id)
 
721
        try:
 
722
            if self.tt.final_kind(trans_id) != "file":
 
723
                return
 
724
        except NoSuchFile:
 
725
            return
 
726
        winner = self.scalar_three_way(self.this_tree, self.base_tree, 
 
727
                                       self.other_tree, file_id, 
 
728
                                       self.executable)
 
729
        if winner == "conflict":
 
730
        # There must be a None in here, if we have a conflict, but we
 
731
        # need executability since file status was not deleted.
 
732
            if self.executable(self.other_tree, file_id) is None:
 
733
                winner = "this"
 
734
            else:
 
735
                winner = "other"
 
736
        if winner == "this":
 
737
            if file_status == "modified":
 
738
                executability = self.this_tree.is_executable(file_id)
 
739
                if executability is not None:
 
740
                    trans_id = self.tt.trans_id_file_id(file_id)
 
741
                    self.tt.set_executability(executability, trans_id)
 
742
        else:
 
743
            assert winner == "other"
 
744
            if file_id in self.other_tree:
 
745
                executability = self.other_tree.is_executable(file_id)
 
746
            elif file_id in self.this_tree:
 
747
                executability = self.this_tree.is_executable(file_id)
 
748
            elif file_id in self.base_tree:
 
749
                executability = self.base_tree.is_executable(file_id)
 
750
            if executability is not None:
 
751
                trans_id = self.tt.trans_id_file_id(file_id)
 
752
                self.tt.set_executability(executability, trans_id)
 
753
 
 
754
    def cook_conflicts(self, fs_conflicts):
 
755
        """Convert all conflicts into a form that doesn't depend on trans_id"""
 
756
        from conflicts import Conflict
 
757
        name_conflicts = {}
 
758
        self.cooked_conflicts.extend(cook_conflicts(fs_conflicts, self.tt))
 
759
        fp = FinalPaths(self.tt)
 
760
        for conflict in self._raw_conflicts:
 
761
            conflict_type = conflict[0]
 
762
            if conflict_type in ('name conflict', 'parent conflict'):
 
763
                trans_id = conflict[1]
 
764
                conflict_args = conflict[2:]
 
765
                if trans_id not in name_conflicts:
 
766
                    name_conflicts[trans_id] = {}
 
767
                unique_add(name_conflicts[trans_id], conflict_type, 
 
768
                           conflict_args)
 
769
            if conflict_type == 'contents conflict':
 
770
                for trans_id in conflict[1]:
 
771
                    file_id = self.tt.final_file_id(trans_id)
 
772
                    if file_id is not None:
 
773
                        break
 
774
                path = fp.get_path(trans_id)
 
775
                for suffix in ('.BASE', '.THIS', '.OTHER'):
 
776
                    if path.endswith(suffix):
 
777
                        path = path[:-len(suffix)]
 
778
                        break
 
779
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
780
                self.cooked_conflicts.append(c)
 
781
            if conflict_type == 'text conflict':
 
782
                trans_id = conflict[1]
 
783
                path = fp.get_path(trans_id)
 
784
                file_id = self.tt.final_file_id(trans_id)
 
785
                c = Conflict.factory(conflict_type, path=path, file_id=file_id)
 
786
                self.cooked_conflicts.append(c)
 
787
 
 
788
        for trans_id, conflicts in name_conflicts.iteritems():
 
789
            try:
 
790
                this_parent, other_parent = conflicts['parent conflict']
 
791
                assert this_parent != other_parent
 
792
            except KeyError:
 
793
                this_parent = other_parent = \
 
794
                    self.tt.final_file_id(self.tt.final_parent(trans_id))
 
795
            try:
 
796
                this_name, other_name = conflicts['name conflict']
 
797
                assert this_name != other_name
 
798
            except KeyError:
 
799
                this_name = other_name = self.tt.final_name(trans_id)
 
800
            other_path = fp.get_path(trans_id)
 
801
            if this_parent is not None:
 
802
                this_parent_path = \
 
803
                    fp.get_path(self.tt.trans_id_file_id(this_parent))
 
804
                this_path = pathjoin(this_parent_path, this_name)
 
805
            else:
 
806
                this_path = "<deleted>"
 
807
            file_id = self.tt.final_file_id(trans_id)
 
808
            c = Conflict.factory('path conflict', path=this_path,
 
809
                                 conflict_path=other_path, file_id=file_id)
 
810
            self.cooked_conflicts.append(c)
 
811
        self.cooked_conflicts.sort(key=Conflict.sort_key)
 
812
 
 
813
 
 
814
class WeaveMerger(Merge3Merger):
 
815
    """Three-way tree merger, text weave merger."""
 
816
    supports_reprocess = True
 
817
    supports_show_base = False
 
818
 
 
819
    def __init__(self, working_tree, this_tree, base_tree, other_tree, 
 
820
                 interesting_ids=None, pb=DummyProgress(), pp=None,
 
821
                 reprocess=False):
 
822
        self.this_revision_tree = self._get_revision_tree(this_tree)
 
823
        self.other_revision_tree = self._get_revision_tree(other_tree)
 
824
        super(WeaveMerger, self).__init__(working_tree, this_tree, 
 
825
                                          base_tree, other_tree, 
 
826
                                          interesting_ids=interesting_ids, 
 
827
                                          pb=pb, pp=pp, reprocess=reprocess)
 
828
 
 
829
    def _get_revision_tree(self, tree):
 
830
        """Return a revision tree related to this tree.
 
831
        If the tree is a WorkingTree, the basis will be returned.
 
832
        """
 
833
        if getattr(tree, 'get_weave', False) is False:
 
834
            # If we have a WorkingTree, try using the basis
 
835
            return tree.branch.basis_tree()
 
836
        else:
 
837
            return tree
 
838
 
 
839
    def _check_file(self, file_id):
 
840
        """Check that the revision tree's version of the file matches."""
 
841
        for tree, rt in ((self.this_tree, self.this_revision_tree), 
 
842
                         (self.other_tree, self.other_revision_tree)):
 
843
            if rt is tree:
 
844
                continue
 
845
            if tree.get_file_sha1(file_id) != rt.get_file_sha1(file_id):
 
846
                raise WorkingTreeNotRevision(self.this_tree)
 
847
 
 
848
    def _merged_lines(self, file_id):
 
849
        """Generate the merged lines.
 
850
        There is no distinction between lines that are meant to contain <<<<<<<
 
851
        and conflicts.
 
852
        """
 
853
        weave = self.this_revision_tree.get_weave(file_id)
 
854
        this_revision_id = self.this_revision_tree.inventory[file_id].revision
 
855
        other_revision_id = \
 
856
            self.other_revision_tree.inventory[file_id].revision
 
857
        wm = WeaveMerge(weave, this_revision_id, other_revision_id, 
 
858
                        '<<<<<<< TREE\n', '>>>>>>> MERGE-SOURCE\n')
 
859
        return wm.merge_lines(self.reprocess)
 
860
 
 
861
    def text_merge(self, file_id, trans_id):
 
862
        """Perform a (weave) text merge for a given file and file-id.
 
863
        If conflicts are encountered, .THIS and .OTHER files will be emitted,
 
864
        and a conflict will be noted.
 
865
        """
 
866
        self._check_file(file_id)
 
867
        lines, conflicts = self._merged_lines(file_id)
 
868
        lines = list(lines)
 
869
        # Note we're checking whether the OUTPUT is binary in this case, 
 
870
        # because we don't want to get into weave merge guts.
 
871
        check_text_lines(lines)
 
872
        self.tt.create_file(lines, trans_id)
 
873
        if conflicts:
 
874
            self._raw_conflicts.append(('text conflict', trans_id))
 
875
            name = self.tt.final_name(trans_id)
 
876
            parent_id = self.tt.final_parent(trans_id)
 
877
            file_group = self._dump_conflicts(name, parent_id, file_id, 
 
878
                                              no_base=True)
 
879
            file_group.append(trans_id)
 
880
 
 
881
 
 
882
class Diff3Merger(Merge3Merger):
 
883
    """Three-way merger using external diff3 for text merging"""
 
884
 
 
885
    def dump_file(self, temp_dir, name, tree, file_id):
 
886
        out_path = pathjoin(temp_dir, name)
 
887
        out_file = open(out_path, "wb")
 
888
        try:
 
889
            in_file = tree.get_file(file_id)
 
890
            for line in in_file:
 
891
                out_file.write(line)
 
892
        finally:
 
893
            out_file.close()
 
894
        return out_path
 
895
 
 
896
    def text_merge(self, file_id, trans_id):
 
897
        """Perform a diff3 merge using a specified file-id and trans-id.
 
898
        If conflicts are encountered, .BASE, .THIS. and .OTHER conflict files
 
899
        will be dumped, and a will be conflict noted.
 
900
        """
 
901
        import bzrlib.patch
 
902
        temp_dir = osutils.mkdtemp(prefix="bzr-")
 
903
        try:
 
904
            new_file = pathjoin(temp_dir, "new")
 
905
            this = self.dump_file(temp_dir, "this", self.this_tree, file_id)
 
906
            base = self.dump_file(temp_dir, "base", self.base_tree, file_id)
 
907
            other = self.dump_file(temp_dir, "other", self.other_tree, file_id)
 
908
            status = bzrlib.patch.diff3(new_file, this, base, other)
 
909
            if status not in (0, 1):
 
910
                raise BzrError("Unhandled diff3 exit code")
 
911
            f = open(new_file, 'rb')
 
912
            try:
 
913
                self.tt.create_file(f, trans_id)
 
914
            finally:
 
915
                f.close()
 
916
            if status == 1:
 
917
                name = self.tt.final_name(trans_id)
 
918
                parent_id = self.tt.final_parent(trans_id)
 
919
                self._dump_conflicts(name, parent_id, file_id)
 
920
                self._raw_conflicts.append(('text conflict', trans_id))
 
921
        finally:
 
922
            osutils.rmtree(temp_dir)
 
923
 
 
924
 
 
925
def merge_inner(this_branch, other_tree, base_tree, ignore_zero=False,
 
926
                backup_files=False, 
 
927
                merge_type=Merge3Merger, 
 
928
                interesting_ids=None, 
 
929
                show_base=False, 
 
930
                reprocess=False, 
 
931
                other_rev_id=None,
 
932
                interesting_files=None,
 
933
                this_tree=None,
 
934
                pb=DummyProgress()):
 
935
    """Primary interface for merging. 
 
936
 
 
937
        typical use is probably 
 
938
        'merge_inner(branch, branch.get_revision_tree(other_revision),
 
939
                     branch.get_revision_tree(base_revision))'
 
940
        """
 
941
    if this_tree is None:
 
942
        warnings.warn("bzrlib.merge.merge_inner requires a this_tree parameter as of "
 
943
             "bzrlib version 0.8.",
 
944
             DeprecationWarning,
 
945
             stacklevel=2)
 
946
        this_tree = this_branch.bzrdir.open_workingtree()
 
947
    merger = Merger(this_branch, other_tree, base_tree, this_tree=this_tree, 
 
948
                    pb=pb)
 
949
    merger.backup_files = backup_files
 
950
    merger.merge_type = merge_type
 
951
    merger.interesting_ids = interesting_ids
 
952
    merger.ignore_zero = ignore_zero
 
953
    if interesting_files:
 
954
        assert not interesting_ids, ('Only supply interesting_ids'
 
955
                                     ' or interesting_files')
 
956
        merger._set_interesting_files(interesting_files)
 
957
    merger.show_base = show_base
 
958
    merger.reprocess = reprocess
 
959
    merger.other_rev_id = other_rev_id
 
960
    merger.other_basis = other_rev_id
 
961
    return merger.do_merge()
 
962
 
 
963
 
 
964
merge_types = {     "merge3": (Merge3Merger, "Native diff3-style merge"), 
 
965
                     "diff3": (Diff3Merger,  "Merge using external diff3"),
 
966
                     'weave': (WeaveMerger, "Weave-based merge")
 
967
              }
 
968
 
 
969
 
 
970
def merge_type_help():
 
971
    templ = '%s%%7s: %%s' % (' '*12)
 
972
    lines = [templ % (f[0], f[1][1]) for f in merge_types.iteritems()]
 
973
    return '\n'.join(lines)