~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Robert Collins
  • Date: 2005-08-23 06:52:09 UTC
  • mto: (974.1.50) (1185.1.10) (1092.3.1)
  • mto: This revision was merged to the branch mainline in revision 1139.
  • Revision ID: robertc@robertcollins.net-20050823065209-81cd5962c401751b
move io redirection into each test case from the global runner

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Canonical Ltd
2
 
 
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
 
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
 
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
 
18
 
import os
 
1
from bzrlib.merge_core import merge_flex, ApplyMerge3, BackupBeforeChange
 
2
from bzrlib.changeset import generate_changeset, ExceptionConflictHandler
 
3
from bzrlib.changeset import Inventory, Diff3Merge
 
4
from bzrlib import find_branch
 
5
import bzrlib.osutils
 
6
from bzrlib.errors import BzrCommandError
 
7
from bzrlib.delta import compare_trees
 
8
from trace import mutter, warning
 
9
import os.path
19
10
import tempfile
20
11
import shutil
21
12
import errno
22
13
 
23
 
import bzrlib.osutils
24
 
import bzrlib.revision
25
 
from bzrlib.merge_core import merge_flex, ApplyMerge3, BackupBeforeChange
26
 
from bzrlib.changeset import generate_changeset, ExceptionConflictHandler
27
 
from bzrlib.changeset import Inventory, Diff3Merge, ReplaceContents
28
 
from bzrlib.branch import Branch
29
 
from bzrlib.errors import BzrCommandError, UnrelatedBranches, NoCommonAncestor
30
 
from bzrlib.errors import NoCommits
31
 
from bzrlib.delta import compare_trees
32
 
from bzrlib.trace import mutter, warning, note
33
 
from bzrlib.fetch import greedy_fetch, fetch
34
 
from bzrlib.revision import is_ancestor
35
 
from bzrlib.osutils import rename
36
 
from bzrlib.revision import common_ancestor, MultipleRevisionSources
37
 
from bzrlib.errors import NoSuchRevision
38
 
 
39
 
# TODO: build_working_dir can be built on something simpler than merge()
40
 
 
41
 
# FIXME: merge() parameters seem oriented towards the command line
42
 
# NOTABUG: merge is a helper for commandline functions.  merge_inner is the
43
 
#          the core functionality.
44
14
 
45
15
# comments from abentley on irc: merge happens in two stages, each
46
16
# of which generates a changeset object
48
18
# stage 1: generate OLD->OTHER,
49
19
# stage 2: use MINE and OLD->OTHER to generate MINE -> RESULT
50
20
 
 
21
class UnrelatedBranches(BzrCommandError):
 
22
    def __init__(self):
 
23
        msg = "Branches have no common ancestor, and no base revision"\
 
24
            " specified."
 
25
        BzrCommandError.__init__(self, msg)
 
26
 
 
27
 
51
28
class MergeConflictHandler(ExceptionConflictHandler):
52
29
    """Handle conflicts encountered while merging.
53
30
 
55
32
    conflict that are not explicitly handled cause an exception and
56
33
    terminate the merge.
57
34
    """
58
 
    def __init__(self, this_tree, base_tree, other_tree, ignore_zero=False):
59
 
        ExceptionConflictHandler.__init__(self)
 
35
    def __init__(self, dir, ignore_zero=False):
 
36
        ExceptionConflictHandler.__init__(self, dir)
60
37
        self.conflicts = 0
61
38
        self.ignore_zero = ignore_zero
62
 
        self.this_tree = this_tree
63
 
        self.base_tree = base_tree
64
 
        self.other_tree = other_tree
65
39
 
66
40
    def copy(self, source, dest):
67
41
        """Copy the text and mode of a file
95
69
            last_new_name = name
96
70
        new_name = last_new_name+suffix
97
71
        try:
98
 
            rename(name, new_name)
 
72
            os.rename(name, new_name)
99
73
            return new_name
100
74
        except OSError, e:
101
75
            if e.errno != errno.EEXIST and e.errno != errno.ENOTEMPTY:
119
93
        self.add_suffix(this_path, ".THIS")
120
94
        self.dump(base_lines, this_path+".BASE")
121
95
        self.dump(other_lines, this_path+".OTHER")
122
 
        rename(new_file, this_path)
 
96
        os.rename(new_file, this_path)
123
97
        self.conflict("Diff3 conflict encountered in %s" % this_path)
124
98
 
125
99
    def new_contents_conflict(self, filename, other_contents):
126
100
        """Conflicting contents for newly added file."""
127
 
        other_contents(filename + ".OTHER", self, False)
 
101
        self.copy(other_contents, filename + ".OTHER")
128
102
        self.conflict("Conflict in newly added file %s" % filename)
129
103
    
130
104
 
139
113
            % filename)
140
114
        return "skip"
141
115
 
142
 
    def rem_contents_conflict(self, filename, this_contents, base_contents):
143
 
        base_contents(filename+".BASE", self, False)
144
 
        this_contents(filename+".THIS", self, False)
145
 
        return ReplaceContents(this_contents, None)
146
 
 
147
 
    def rem_contents_conflict(self, filename, this_contents, base_contents):
148
 
        base_contents(filename+".BASE", self, False)
149
 
        this_contents(filename+".THIS", self, False)
150
 
        self.conflict("Other branch deleted locally modified file %s" %
151
 
                      filename)
152
 
        return ReplaceContents(this_contents, None)
153
 
 
154
 
    def abs_this_path(self, file_id):
155
 
        """Return the absolute path for a file_id in the this tree."""
156
 
        return self.this_tree.id2abspath(file_id)
157
 
 
158
 
    def add_missing_parents(self, file_id, tree):
159
 
        """If some of the parents for file_id are missing, add them."""
160
 
        entry = tree.inventory[file_id]
161
 
        if entry.parent_id not in self.this_tree:
162
 
            return self.create_all_missing(entry.parent_id, tree)
163
 
        else:
164
 
            return self.abs_this_path(entry.parent_id)
165
 
 
166
 
    def create_all_missing(self, file_id, tree):
167
 
        """Add contents for a file_id and all its parents to a tree."""
168
 
        entry = tree.inventory[file_id]
169
 
        if entry.parent_id is not None and entry.parent_id not in self.this_tree:
170
 
            abspath = self.create_all_missing(entry.parent_id, tree)
171
 
        else:
172
 
            abspath = self.abs_this_path(entry.parent_id)
173
 
        entry_path = os.path.join(abspath, entry.name)
174
 
        if not os.path.isdir(entry_path):
175
 
            self.create(file_id, entry_path, tree)
176
 
        return entry_path
177
 
 
178
 
    def create(self, file_id, path, tree, reverse=False):
179
 
        """Uses tree data to create a filesystem object for the file_id"""
180
 
        from changeset import get_contents
181
 
        get_contents(tree, file_id)(path, self, reverse)
182
 
 
183
 
    def missing_for_merge(self, file_id, other_path):
184
 
        """The file_id doesn't exist in THIS, but does in OTHER and BASE"""
185
 
        self.conflict("Other branch modified locally deleted file %s" %
186
 
                      other_path)
187
 
        parent_dir = self.add_missing_parents(file_id, self.other_tree)
188
 
        stem = os.path.join(parent_dir, os.path.basename(other_path))
189
 
        self.create(file_id, stem+".OTHER", self.other_tree)
190
 
        self.create(file_id, stem+".BASE", self.base_tree)
191
 
 
192
 
    def threeway_contents_conflict(filename, this_contents, base_contents,
193
 
                                   other_contents):
194
 
        self.conflict("Three-way conflict merging %s" % filename)
195
 
 
196
116
    def finalize(self):
197
117
        if not self.ignore_zero:
198
 
            note("%d conflicts encountered.\n" % self.conflicts)
 
118
            print "%d conflicts encountered.\n" % self.conflicts
199
119
            
200
 
def get_tree(treespec, local_branch=None):
 
120
def get_tree(treespec, temp_root, label):
201
121
    location, revno = treespec
202
 
    branch = Branch.open_containing(location)[0]
 
122
    branch = find_branch(location)
203
123
    if revno is None:
204
 
        revision = None
 
124
        base_tree = branch.working_tree()
205
125
    elif revno == -1:
206
 
        revision = branch.last_revision()
207
 
    else:
208
 
        revision = branch.get_rev_id(revno)
209
 
    return branch, get_revid_tree(branch, revision, local_branch)
210
 
 
211
 
def get_revid_tree(branch, revision, local_branch):
212
 
    if revision is None:
213
 
        base_tree = branch.working_tree()
214
 
    else:
215
 
        if local_branch is not None:
216
 
            greedy_fetch(local_branch, branch, revision)
217
 
            base_tree = local_branch.revision_tree(revision)
218
 
        else:
219
 
            base_tree = branch.revision_tree(revision)
220
 
    return base_tree
 
126
        base_tree = branch.basis_tree()
 
127
    else:
 
128
        base_tree = branch.revision_tree(branch.lookup_revision(revno))
 
129
    temp_path = os.path.join(temp_root, label)
 
130
    os.mkdir(temp_path)
 
131
    return branch, MergeTree(base_tree, temp_path)
221
132
 
222
133
 
223
134
def file_exists(tree, file_id):
224
135
    return tree.has_filename(tree.id2path(file_id))
225
136
    
226
137
 
227
 
def build_working_dir(to_dir):
228
 
    """Build a working directory in an empty directory.
229
 
 
230
 
    to_dir is a directory containing branch metadata but no working files,
231
 
    typically constructed by cloning an existing branch. 
232
 
 
233
 
    This is split out as a special idiomatic case of merge.  It could
234
 
    eventually be done by just building the tree directly calling into 
235
 
    lower-level code (e.g. constructing a changeset).
236
 
    """
237
 
    # RBC 20051019 is this not just 'export' ?
238
 
    merge((to_dir, -1), (to_dir, 0), this_dir=to_dir,
239
 
          check_clean=False, ignore_zero=True)
 
138
class MergeTree(object):
 
139
    def __init__(self, tree, tempdir):
 
140
        object.__init__(self)
 
141
        if hasattr(tree, "basedir"):
 
142
            self.root = tree.basedir
 
143
        else:
 
144
            self.root = None
 
145
        self.tree = tree
 
146
        self.tempdir = tempdir
 
147
        os.mkdir(os.path.join(self.tempdir, "texts"))
 
148
        self.cached = {}
 
149
 
 
150
    def __iter__(self):
 
151
        return self.tree.__iter__()
 
152
 
 
153
    def __contains__(self, file_id):
 
154
        return file_id in self.tree
 
155
 
 
156
    def get_file(self, file_id):
 
157
        return self.tree.get_file(file_id)
 
158
 
 
159
    def get_file_sha1(self, id):
 
160
        return self.tree.get_file_sha1(id)
 
161
 
 
162
    def id2path(self, file_id):
 
163
        return self.tree.id2path(file_id)
 
164
 
 
165
    def has_id(self, file_id):
 
166
        return self.tree.has_id(file_id)
 
167
 
 
168
    def readonly_path(self, id):
 
169
        if id not in self.tree:
 
170
            return None
 
171
        if self.root is not None:
 
172
            return self.tree.abspath(self.tree.id2path(id))
 
173
        else:
 
174
            if self.tree.inventory[id].kind in ("directory", "root_directory"):
 
175
                return self.tempdir
 
176
            if not self.cached.has_key(id):
 
177
                path = os.path.join(self.tempdir, "texts", id)
 
178
                outfile = file(path, "wb")
 
179
                outfile.write(self.tree.get_file(id).read())
 
180
                assert(os.path.exists(path))
 
181
                self.cached[id] = path
 
182
            return self.cached[id]
 
183
 
240
184
 
241
185
 
242
186
def merge(other_revision, base_revision,
243
187
          check_clean=True, ignore_zero=False,
244
188
          this_dir=None, backup_files=False, merge_type=ApplyMerge3,
245
 
          file_list=None, show_base=False):
 
189
          file_list=None):
246
190
    """Merge changes into a tree.
247
191
 
248
192
    base_revision
249
 
        tuple(path, revision) Base for three-way merge.
 
193
        Base for three-way merge.
250
194
    other_revision
251
 
        tuple(path, revision) Other revision for three-way merge.
 
195
        Other revision for three-way merge.
252
196
    this_dir
253
197
        Directory to merge changes into; '.' by default.
254
198
    check_clean
255
199
        If true, this_dir must have no uncommitted changes before the
256
200
        merge begins.
257
 
    ignore_zero - If true, suppress the "zero conflicts" message when 
258
 
        there are no conflicts; should be set when doing something we expect
259
 
        to complete perfectly.
260
 
 
261
 
    All available ancestors of other_revision and base_revision are
262
 
    automatically pulled into the branch.
263
201
    """
264
 
    if this_dir is None:
265
 
        this_dir = '.'
266
 
    this_branch = Branch.open_containing(this_dir)[0]
267
 
    this_rev_id = this_branch.last_revision()
268
 
    if this_rev_id is None:
269
 
        raise BzrCommandError("This branch has no commits")
270
 
    if check_clean:
271
 
        changes = compare_trees(this_branch.working_tree(), 
272
 
                                this_branch.basis_tree(), False)
273
 
        if changes.has_changed():
274
 
            raise BzrCommandError("Working tree has uncommitted changes.")
275
 
    other_branch, other_tree = get_tree(other_revision, this_branch)
276
 
    if other_revision[1] == -1:
277
 
        other_rev_id = other_branch.last_revision()
278
 
        if other_rev_id is None:
279
 
            raise NoCommits(other_branch)
280
 
        other_basis = other_rev_id
281
 
    elif other_revision[1] is not None:
282
 
        other_rev_id = other_branch.get_rev_id(other_revision[1])
283
 
        other_basis = other_rev_id
284
 
    else:
285
 
        other_rev_id = None
286
 
        other_basis = other_branch.last_revision()
287
 
        if other_basis is None:
288
 
            raise NoCommits(other_branch)
289
 
    if base_revision == [None, None]:
290
 
        try:
291
 
            base_rev_id = common_ancestor(this_rev_id, other_basis, 
292
 
                                          this_branch)
293
 
        except NoCommonAncestor:
294
 
            raise UnrelatedBranches()
295
 
        base_tree = get_revid_tree(this_branch, base_rev_id, None)
296
 
        base_is_ancestor = True
297
 
    else:
298
 
        base_branch, base_tree = get_tree(base_revision)
299
 
        if base_revision[1] == -1:
300
 
            base_rev_id = base_branch.last_revision()
301
 
        elif base_revision[1] is None:
302
 
            base_rev_id = None
 
202
    tempdir = tempfile.mkdtemp(prefix="bzr-")
 
203
    try:
 
204
        if this_dir is None:
 
205
            this_dir = '.'
 
206
        this_branch = find_branch(this_dir)
 
207
        if check_clean:
 
208
            changes = compare_trees(this_branch.working_tree(), 
 
209
                                    this_branch.basis_tree(), False)
 
210
            if changes.has_changed():
 
211
                raise BzrCommandError("Working tree has uncommitted changes.")
 
212
        other_branch, other_tree = get_tree(other_revision, tempdir, "other")
 
213
        if base_revision == [None, None]:
 
214
            if other_revision[1] == -1:
 
215
                o_revno = None
 
216
            else:
 
217
                o_revno = other_revision[1]
 
218
            base_revno = this_branch.common_ancestor(other_branch, 
 
219
                                                     other_revno=o_revno)[0]
 
220
            if base_revno is None:
 
221
                raise UnrelatedBranches()
 
222
            base_revision = ['.', base_revno]
 
223
        base_branch, base_tree = get_tree(base_revision, tempdir, "base")
 
224
        if file_list is None:
 
225
            interesting_ids = None
303
226
        else:
304
 
            base_rev_id = base_branch.get_rev_id(base_revision[1])
305
 
        fetch(from_branch=base_branch, to_branch=this_branch)
306
 
        base_is_ancestor = is_ancestor(this_rev_id, base_rev_id,
307
 
                                       this_branch)
308
 
    if file_list is None:
309
 
        interesting_ids = None
310
 
    else:
311
 
        interesting_ids = set()
312
 
        this_tree = this_branch.working_tree()
313
 
        for fname in file_list:
314
 
            path = this_tree.relpath(fname)
315
 
            found_id = False
316
 
            for tree in (this_tree, base_tree, other_tree):
317
 
                file_id = tree.inventory.path2id(path)
318
 
                if file_id is not None:
319
 
                    interesting_ids.add(file_id)
320
 
                    found_id = True
321
 
            if not found_id:
322
 
                raise BzrCommandError("%s is not a source file in any"
323
 
                                      " tree." % fname)
324
 
    conflicts = merge_inner(this_branch, other_tree, base_tree, tempdir=None,
325
 
                            ignore_zero=ignore_zero,
326
 
                            backup_files=backup_files, 
327
 
                            merge_type=merge_type,
328
 
                            interesting_ids=interesting_ids,
329
 
                            show_base=show_base)
330
 
    if base_is_ancestor and other_rev_id is not None\
331
 
        and other_rev_id not in this_branch.revision_history():
332
 
        this_branch.add_pending_merge(other_rev_id)
333
 
    return conflicts
 
227
            interesting_ids = set()
 
228
            this_tree = this_branch.working_tree()
 
229
            for fname in file_list:
 
230
                path = this_branch.relpath(fname)
 
231
                found_id = False
 
232
                for tree in (this_tree, base_tree.tree, other_tree.tree):
 
233
                    file_id = tree.inventory.path2id(path)
 
234
                    if file_id is not None:
 
235
                        interesting_ids.add(file_id)
 
236
                        found_id = True
 
237
                if not found_id:
 
238
                    raise BzrCommandError("%s is not a source file in any"
 
239
                                          " tree." % fname)
 
240
        merge_inner(this_branch, other_tree, base_tree, tempdir, 
 
241
                    ignore_zero=ignore_zero, backup_files=backup_files, 
 
242
                    merge_type=merge_type, interesting_ids=interesting_ids)
 
243
    finally:
 
244
        shutil.rmtree(tempdir)
334
245
 
335
246
 
336
247
def set_interesting(inventory_a, inventory_b, interesting_ids):
341
252
             source_file.interesting = source_file.id in interesting_ids
342
253
 
343
254
 
344
 
def merge_inner(this_branch, other_tree, base_tree, tempdir=None, 
345
 
                ignore_zero=False, merge_type=ApplyMerge3, backup_files=False,
346
 
                interesting_ids=None, show_base=False):
347
 
    """Primary interface for merging. 
348
 
 
349
 
    typical use is probably 
350
 
    'merge_inner(branch, branch.get_revision_tree(other_revision),
351
 
                 branch.get_revision_tree(base_revision))'
352
 
    """
353
 
    if tempdir is None:
354
 
        _tempdir = tempfile.mkdtemp(prefix="bzr-")
355
 
    else:
356
 
        _tempdir = tempdir
357
 
    try:
358
 
        return _merge_inner(this_branch, other_tree, base_tree, _tempdir,
359
 
                            ignore_zero, merge_type, backup_files,
360
 
                            interesting_ids,
361
 
                            show_base=show_base)
362
 
    finally:
363
 
        if tempdir is None:
364
 
            shutil.rmtree(_tempdir)
365
 
 
366
 
 
367
 
def _merge_inner(this_branch, other_tree, base_tree, user_tempdir, 
368
 
                ignore_zero=False, merge_type=ApplyMerge3, backup_files=False,
369
 
                interesting_ids=None, show_base=False):
 
255
def generate_cset_optimized(tree_a, tree_b, interesting_ids=None):
 
256
    """Generate a changeset.  If interesting_ids is supplied, only changes
 
257
    to those files will be shown.  Metadata changes are stripped.
 
258
    """ 
 
259
    cset =  generate_changeset(tree_a, tree_b, interesting_ids)
 
260
    for entry in cset.entries.itervalues():
 
261
        entry.metadata_change = None
 
262
    return cset
 
263
 
 
264
 
 
265
def merge_inner(this_branch, other_tree, base_tree, tempdir, 
 
266
                ignore_zero=False, merge_type=ApplyMerge3, backup_files=False,
 
267
                interesting_ids=None):
 
268
 
370
269
    def merge_factory(file_id, base, other):
371
 
        if show_base is True:
372
 
            contents_change = merge_type(file_id, base, other, show_base=True)
373
 
        else:
374
 
            contents_change = merge_type(file_id, base, other)
 
270
        contents_change = merge_type(file_id, base, other)
375
271
        if backup_files:
376
272
            contents_change = BackupBeforeChange(contents_change)
377
273
        return contents_change
378
274
 
379
 
    this_tree = get_tree((this_branch.base, None))[1]
 
275
    this_tree = get_tree((this_branch.base, None), tempdir, "this")[1]
380
276
 
381
277
    def get_inventory(tree):
382
 
        return tree.inventory
 
278
        return tree.tree.inventory
383
279
 
384
 
    conflict_handler = MergeConflictHandler(this_tree, base_tree, other_tree,
385
 
                                            ignore_zero=ignore_zero)
386
280
    inv_changes = merge_flex(this_tree, base_tree, other_tree,
387
 
                             generate_changeset, get_inventory,
388
 
                             conflict_handler,
 
281
                             generate_cset_optimized, get_inventory,
 
282
                             MergeConflictHandler(base_tree.root,
 
283
                                                  ignore_zero=ignore_zero),
389
284
                             merge_factory=merge_factory, 
390
285
                             interesting_ids=interesting_ids)
391
286
 
395
290
            if path == '.':
396
291
                path = ''
397
292
            else:
398
 
                assert path.startswith('.' + os.sep), "path is %s" % path
 
293
                assert path.startswith('./'), "path is %s" % path
399
294
            path = path[2:]
400
295
        adjust_ids.append((path, id))
401
296
    if len(adjust_ids) > 0:
402
 
        this_branch.set_inventory(regen_inventory(this_branch, 
403
 
                                                  this_tree.basedir,
 
297
        this_branch.set_inventory(regen_inventory(this_branch, this_tree.root,
404
298
                                                  adjust_ids))
405
 
    conflicts = conflict_handler.conflicts
406
 
    conflict_handler.finalize()
407
 
    return conflicts
408
299
 
409
300
 
410
301
def regen_inventory(this_branch, root, new_entries):