~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/merge.py

  • Committer: Robert Collins
  • Date: 2005-10-17 23:13:00 UTC
  • mto: This revision was merged to the branch mainline in revision 1462.
  • Revision ID: robertc@robertcollins.net-20051017231300-e1c9e931bcfacd6a
Branch.open_containing now returns a tuple (Branch, relative-path).

This allows direct access to the common case of 'get me this file
from its branch'. (Robert Collins)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
from merge_core import merge_flex, ApplyMerge3, BackupBeforeChange
2
 
from changeset import generate_changeset, ExceptionConflictHandler
3
 
from changeset import Inventory, Diff3Merge
4
 
from bzrlib import find_branch
5
 
import bzrlib.osutils
6
 
from bzrlib.errors import BzrCommandError
7
 
from bzrlib.delta import compare_trees
8
 
from trace import mutter, warning
9
 
import os.path
 
1
# Copyright (C) 2005 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
import os
10
19
import tempfile
11
20
import shutil
12
21
import errno
13
22
 
14
 
class UnrelatedBranches(BzrCommandError):
15
 
    def __init__(self):
16
 
        msg = "Branches have no common ancestor, and no base revision"\
17
 
            " specified."
18
 
        BzrCommandError.__init__(self, msg)
19
 
 
 
23
import bzrlib.osutils
 
24
import bzrlib.revision
 
25
from bzrlib.merge_core import merge_flex, ApplyMerge3, BackupBeforeChange
 
26
from bzrlib.changeset import generate_changeset, ExceptionConflictHandler
 
27
from bzrlib.changeset import Inventory, Diff3Merge, ReplaceContents
 
28
from bzrlib.branch import Branch
 
29
from bzrlib.errors import BzrCommandError, UnrelatedBranches, NoCommonAncestor
 
30
from bzrlib.errors import NoCommits
 
31
from bzrlib.delta import compare_trees
 
32
from bzrlib.trace import mutter, warning, note
 
33
from bzrlib.fetch import greedy_fetch, fetch
 
34
from bzrlib.revision import is_ancestor
 
35
from bzrlib.osutils import rename
 
36
from bzrlib.revision import common_ancestor, MultipleRevisionSources
 
37
from bzrlib.errors import NoSuchRevision
 
38
 
 
39
# TODO: build_working_dir can be built on something simpler than merge()
 
40
 
 
41
# FIXME: merge() parameters seem oriented towards the command line
 
42
# NOTABUG: merge is a helper for commandline functions.  merge_inner is the
 
43
#          the core functionality.
 
44
 
 
45
# comments from abentley on irc: merge happens in two stages, each
 
46
# of which generates a changeset object
 
47
 
 
48
# stage 1: generate OLD->OTHER,
 
49
# stage 2: use MINE and OLD->OTHER to generate MINE -> RESULT
20
50
 
21
51
class MergeConflictHandler(ExceptionConflictHandler):
22
 
    """Handle conflicts encountered while merging"""
23
 
    def __init__(self, dir, ignore_zero=False):
24
 
        ExceptionConflictHandler.__init__(self, dir)
 
52
    """Handle conflicts encountered while merging.
 
53
 
 
54
    This subclasses ExceptionConflictHandler, so that any types of
 
55
    conflict that are not explicitly handled cause an exception and
 
56
    terminate the merge.
 
57
    """
 
58
    def __init__(self, this_tree, base_tree, other_tree, ignore_zero=False):
 
59
        ExceptionConflictHandler.__init__(self)
25
60
        self.conflicts = 0
26
61
        self.ignore_zero = ignore_zero
 
62
        self.this_tree = this_tree
 
63
        self.base_tree = base_tree
 
64
        self.other_tree = other_tree
27
65
 
28
66
    def copy(self, source, dest):
29
67
        """Copy the text and mode of a file
36
74
            d_file.write(line)
37
75
        os.chmod(dest, 0777 & os.stat(source).st_mode)
38
76
 
 
77
    def dump(self, lines, dest):
 
78
        """Copy the text and mode of a file
 
79
        :param source: The path of the file to copy
 
80
        :param dest: The distination file to create
 
81
        """
 
82
        d_file = file(dest, "wb")
 
83
        for line in lines:
 
84
            d_file.write(line)
 
85
 
39
86
    def add_suffix(self, name, suffix, last_new_name=None):
40
87
        """Rename a file to append a suffix.  If the new name exists, the
41
88
        suffix is added repeatedly until a non-existant name is found
48
95
            last_new_name = name
49
96
        new_name = last_new_name+suffix
50
97
        try:
51
 
            os.rename(name, new_name)
 
98
            rename(name, new_name)
52
99
            return new_name
53
100
        except OSError, e:
54
101
            if e.errno != errno.EEXIST and e.errno != errno.ENOTEMPTY:
60
107
        self.conflicts += 1
61
108
        
62
109
 
63
 
    def merge_conflict(self, new_file, this_path, base_path, other_path):
 
110
    def merge_conflict(self, new_file, this_path, base_lines, other_lines):
64
111
        """
65
112
        Handle diff3 conflicts by producing a .THIS, .BASE and .OTHER.  The
66
113
        main file will be a version with diff3 conflicts.
70
117
        :param other_path: Path to the file text for the OTHER tree
71
118
        """
72
119
        self.add_suffix(this_path, ".THIS")
73
 
        self.copy(base_path, this_path+".BASE")
74
 
        self.copy(other_path, this_path+".OTHER")
75
 
        os.rename(new_file, this_path)
 
120
        self.dump(base_lines, this_path+".BASE")
 
121
        self.dump(other_lines, this_path+".OTHER")
 
122
        rename(new_file, this_path)
76
123
        self.conflict("Diff3 conflict encountered in %s" % this_path)
77
124
 
 
125
    def new_contents_conflict(self, filename, other_contents):
 
126
        """Conflicting contents for newly added file."""
 
127
        other.contents.apply(filename + ".OTHER")
 
128
        self.conflict("Conflict in newly added file %s" % filename)
 
129
    
 
130
 
78
131
    def target_exists(self, entry, target, old_path):
79
132
        """Handle the case when the target file or dir exists"""
80
133
        moved_path = self.add_suffix(target, ".moved")
86
139
            % filename)
87
140
        return "skip"
88
141
 
 
142
    def rem_contents_conflict(self, filename, this_contents, base_contents):
 
143
        base_contents(filename+".BASE", self, False)
 
144
        this_contents(filename+".THIS", self, False)
 
145
        return ReplaceContents(this_contents, None)
 
146
 
 
147
    def rem_contents_conflict(self, filename, this_contents, base_contents):
 
148
        base_contents(filename+".BASE", self, False)
 
149
        this_contents(filename+".THIS", self, False)
 
150
        self.conflict("Other branch deleted locally modified file %s" %
 
151
                      filename)
 
152
        return ReplaceContents(this_contents, None)
 
153
 
 
154
    def abs_this_path(self, file_id):
 
155
        """Return the absolute path for a file_id in the this tree."""
 
156
        return self.this_tree.id2abspath(file_id)
 
157
 
 
158
    def add_missing_parents(self, file_id, tree):
 
159
        """If some of the parents for file_id are missing, add them."""
 
160
        entry = tree.inventory[file_id]
 
161
        if entry.parent_id not in self.this_tree:
 
162
            return self.create_all_missing(entry.parent_id, tree)
 
163
        else:
 
164
            return self.abs_this_path(entry.parent_id)
 
165
 
 
166
    def create_all_missing(self, file_id, tree):
 
167
        """Add contents for a file_id and all its parents to a tree."""
 
168
        entry = tree.inventory[file_id]
 
169
        if entry.parent_id is not None and entry.parent_id not in self.this_tree:
 
170
            abspath = self.create_all_missing(entry.parent_id, tree)
 
171
        else:
 
172
            abspath = self.abs_this_path(entry.parent_id)
 
173
        entry_path = os.path.join(abspath, entry.name)
 
174
        if not os.path.isdir(entry_path):
 
175
            self.create(file_id, entry_path, tree)
 
176
        return entry_path
 
177
 
 
178
    def create(self, file_id, path, tree, reverse=False):
 
179
        """Uses tree data to create a filesystem object for the file_id"""
 
180
        from changeset import get_contents
 
181
        get_contents(tree, file_id)(path, self, reverse)
 
182
 
 
183
    def missing_for_merge(self, file_id, other_path):
 
184
        """The file_id doesn't exist in THIS, but does in OTHER and BASE"""
 
185
        self.conflict("Other branch modified locally deleted file %s" %
 
186
                      other_path)
 
187
        parent_dir = self.add_missing_parents(file_id, self.other_tree)
 
188
        stem = os.path.join(parent_dir, os.path.basename(other_path))
 
189
        self.create(file_id, stem+".OTHER", self.other_tree)
 
190
        self.create(file_id, stem+".BASE", self.base_tree)
 
191
 
 
192
    def threeway_contents_conflict(filename, this_contents, base_contents,
 
193
                                   other_contents):
 
194
        self.conflict("Three-way conflict merging %s" % filename)
 
195
 
89
196
    def finalize(self):
90
197
        if not self.ignore_zero:
91
 
            print "%d conflicts encountered.\n" % self.conflicts
 
198
            note("%d conflicts encountered.\n" % self.conflicts)
92
199
            
93
 
class SourceFile(object):
94
 
    def __init__(self, path, id, present=None, isdir=None):
95
 
        self.path = path
96
 
        self.id = id
97
 
        self.present = present
98
 
        self.isdir = isdir
99
 
        self.interesting = True
100
 
 
101
 
    def __repr__(self):
102
 
        return "SourceFile(%s, %s)" % (self.path, self.id)
103
 
 
104
 
def get_tree(treespec, temp_root, label):
 
200
def get_tree(treespec, local_branch=None):
105
201
    location, revno = treespec
106
 
    branch = find_branch(location)
 
202
    branch = Branch.open_containing(location)[0]
107
203
    if revno is None:
 
204
        revision = None
 
205
    elif revno == -1:
 
206
        revision = branch.last_revision()
 
207
    else:
 
208
        revision = branch.get_rev_id(revno)
 
209
    return branch, get_revid_tree(branch, revision, local_branch)
 
210
 
 
211
def get_revid_tree(branch, revision, local_branch):
 
212
    if revision is None:
108
213
        base_tree = branch.working_tree()
109
 
    elif revno == -1:
110
 
        base_tree = branch.basis_tree()
111
214
    else:
112
 
        base_tree = branch.revision_tree(branch.lookup_revision(revno))
113
 
    temp_path = os.path.join(temp_root, label)
114
 
    os.mkdir(temp_path)
115
 
    return branch, MergeTree(base_tree, temp_path)
116
 
 
117
 
 
118
 
def abspath(tree, file_id):
119
 
    path = tree.inventory.id2path(file_id)
120
 
    if path == "":
121
 
        return "./."
122
 
    return "./" + path
 
215
        if local_branch is not None:
 
216
            greedy_fetch(local_branch, branch, revision)
 
217
            base_tree = local_branch.revision_tree(revision)
 
218
        else:
 
219
            base_tree = branch.revision_tree(revision)
 
220
    return base_tree
 
221
 
123
222
 
124
223
def file_exists(tree, file_id):
125
224
    return tree.has_filename(tree.id2path(file_id))
126
225
    
127
 
def inventory_map(tree):
128
 
    inventory = {}
129
 
    for file_id in tree.inventory:
130
 
        path = abspath(tree, file_id)
131
 
        inventory[path] = SourceFile(path, file_id)
132
 
    return inventory
133
 
 
134
 
 
135
 
class MergeTree(object):
136
 
    def __init__(self, tree, tempdir):
137
 
        object.__init__(self)
138
 
        if hasattr(tree, "basedir"):
139
 
            self.root = tree.basedir
140
 
        else:
141
 
            self.root = None
142
 
        self.inventory = inventory_map(tree)
143
 
        self.tree = tree
144
 
        self.tempdir = tempdir
145
 
        os.mkdir(os.path.join(self.tempdir, "texts"))
146
 
        self.cached = {}
147
 
 
148
 
    def readonly_path(self, id):
149
 
        if id not in self.tree:
150
 
            return None
151
 
        if self.root is not None:
152
 
            return self.tree.abspath(self.tree.id2path(id))
153
 
        else:
154
 
            if self.tree.inventory[id].kind in ("directory", "root_directory"):
155
 
                return self.tempdir
156
 
            if not self.cached.has_key(id):
157
 
                path = os.path.join(self.tempdir, "texts", id)
158
 
                outfile = file(path, "wb")
159
 
                outfile.write(self.tree.get_file(id).read())
160
 
                assert(os.path.exists(path))
161
 
                self.cached[id] = path
162
 
            return self.cached[id]
163
 
 
 
226
 
 
227
def build_working_dir(to_dir):
 
228
    """Build a working directory in an empty directory.
 
229
 
 
230
    to_dir is a directory containing branch metadata but no working files,
 
231
    typically constructed by cloning an existing branch. 
 
232
 
 
233
    This is split out as a special idiomatic case of merge.  It could
 
234
    eventually be done by just building the tree directly calling into 
 
235
    lower-level code (e.g. constructing a changeset).
 
236
    """
 
237
    merge((to_dir, -1), (to_dir, 0), this_dir=to_dir,
 
238
          check_clean=False, ignore_zero=True)
164
239
 
165
240
 
166
241
def merge(other_revision, base_revision,
170
245
    """Merge changes into a tree.
171
246
 
172
247
    base_revision
173
 
        Base for three-way merge.
 
248
        tuple(path, revision) Base for three-way merge.
174
249
    other_revision
175
 
        Other revision for three-way merge.
 
250
        tuple(path, revision) Other revision for three-way merge.
176
251
    this_dir
177
252
        Directory to merge changes into; '.' by default.
178
253
    check_clean
179
254
        If true, this_dir must have no uncommitted changes before the
180
255
        merge begins.
 
256
    ignore_zero - If true, suppress the "zero conflicts" message when 
 
257
        there are no conflicts; should be set when doing something we expect
 
258
        to complete perfectly.
 
259
 
 
260
    All available ancestors of other_revision and base_revision are
 
261
    automatically pulled into the branch.
181
262
    """
182
263
    tempdir = tempfile.mkdtemp(prefix="bzr-")
183
264
    try:
184
265
        if this_dir is None:
185
266
            this_dir = '.'
186
 
        this_branch = find_branch(this_dir)
 
267
        this_branch = Branch.open_containing(this_dir)[0]
 
268
        this_rev_id = this_branch.last_revision()
 
269
        if this_rev_id is None:
 
270
            raise BzrCommandError("This branch has no commits")
187
271
        if check_clean:
188
272
            changes = compare_trees(this_branch.working_tree(), 
189
273
                                    this_branch.basis_tree(), False)
190
274
            if changes.has_changed():
191
275
                raise BzrCommandError("Working tree has uncommitted changes.")
192
 
        other_branch, other_tree = get_tree(other_revision, tempdir, "other")
 
276
        other_branch, other_tree = get_tree(other_revision, this_branch)
 
277
        if other_revision[1] == -1:
 
278
            other_rev_id = other_branch.last_revision()
 
279
            if other_rev_id is None:
 
280
                raise NoCommits(other_branch)
 
281
            other_basis = other_rev_id
 
282
        elif other_revision[1] is not None:
 
283
            other_rev_id = other_branch.get_rev_id(other_revision[1])
 
284
            other_basis = other_rev_id
 
285
        else:
 
286
            other_rev_id = None
 
287
            other_basis = other_branch.last_revision()
 
288
            if other_basis is None:
 
289
                raise NoCommits(other_branch)
193
290
        if base_revision == [None, None]:
194
 
            if other_revision[1] == -1:
195
 
                o_revno = None
196
 
            else:
197
 
                o_revno = other_revision[1]
198
 
            base_revno = this_branch.common_ancestor(other_branch, 
199
 
                                                     other_revno=o_revno)[0]
200
 
            if base_revno is None:
 
291
            try:
 
292
                base_rev_id = common_ancestor(this_rev_id, other_basis, 
 
293
                                              this_branch)
 
294
            except NoCommonAncestor:
201
295
                raise UnrelatedBranches()
202
 
            base_revision = ['.', base_revno]
203
 
        base_branch, base_tree = get_tree(base_revision, tempdir, "base")
 
296
            base_tree = get_revid_tree(this_branch, base_rev_id, None)
 
297
            base_is_ancestor = True
 
298
        else:
 
299
            base_branch, base_tree = get_tree(base_revision)
 
300
            if base_revision[1] == -1:
 
301
                base_rev_id = base_branch.last_revision()
 
302
            elif base_revision[1] is None:
 
303
                base_rev_id = None
 
304
            else:
 
305
                base_rev_id = base_branch.get_rev_id(base_revision[1])
 
306
            fetch(from_branch=base_branch, to_branch=this_branch)
 
307
            base_is_ancestor = is_ancestor(this_rev_id, base_rev_id,
 
308
                                           this_branch)
204
309
        if file_list is None:
205
310
            interesting_ids = None
206
311
        else:
207
312
            interesting_ids = set()
208
313
            this_tree = this_branch.working_tree()
209
314
            for fname in file_list:
210
 
                path = this_branch.relpath(fname)
 
315
                path = this_tree.relpath(fname)
211
316
                found_id = False
212
 
                for tree in (this_tree, base_tree.tree, other_tree.tree):
 
317
                for tree in (this_tree, base_tree, other_tree):
213
318
                    file_id = tree.inventory.path2id(path)
214
319
                    if file_id is not None:
215
320
                        interesting_ids.add(file_id)
220
325
        merge_inner(this_branch, other_tree, base_tree, tempdir, 
221
326
                    ignore_zero=ignore_zero, backup_files=backup_files, 
222
327
                    merge_type=merge_type, interesting_ids=interesting_ids)
 
328
        if base_is_ancestor and other_rev_id is not None\
 
329
            and other_rev_id not in this_branch.revision_history():
 
330
            this_branch.add_pending_merge(other_rev_id)
223
331
    finally:
224
332
        shutil.rmtree(tempdir)
225
333
 
232
340
             source_file.interesting = source_file.id in interesting_ids
233
341
 
234
342
 
235
 
def set_optimized(tree_a, tree_b, inventory_a, inventory_b):
236
 
    """Mark files that have changed texts as interesting
237
 
    """
238
 
    for file_id in tree_a.tree.inventory:
239
 
        if file_id not in tree_b.tree.inventory:
240
 
            continue
241
 
        entry_a = tree_a.tree.inventory[file_id]
242
 
        entry_b = tree_b.tree.inventory[file_id]
243
 
        if (entry_a.kind, entry_b.kind) != ("file", "file"):
244
 
            continue
245
 
        if None in (entry_a.text_id, entry_b.text_id):
246
 
            continue
247
 
        if entry_a.text_id != entry_b.text_id:
248
 
            continue
249
 
        inventory_a[abspath(tree_a.tree, file_id)].interesting = False
250
 
        inventory_b[abspath(tree_b.tree, file_id)].interesting = False
251
 
 
252
 
 
253
 
def generate_cset_optimized(tree_a, tree_b, inventory_a, inventory_b,
254
 
                            interesting_ids=None):
255
 
    """Generate a changeset, with preprocessing to select interesting files.
256
 
    using the text_id to mark really-changed files.
257
 
    This permits blazing comparisons when text_ids are present.  It also
258
 
    disables metadata comparison for files with identical texts.
259
 
    """ 
260
 
    if interesting_ids is None:
261
 
        set_optimized(tree_a, tree_b, inventory_a, inventory_b)
262
 
    else:
263
 
        set_interesting(inventory_a, inventory_b, interesting_ids)
264
 
    cset =  generate_changeset(tree_a, tree_b, inventory_a, inventory_b)
265
 
    for entry in cset.entries.itervalues():
266
 
        entry.metadata_change = None
267
 
    return cset
268
 
 
269
 
 
270
343
def merge_inner(this_branch, other_tree, base_tree, tempdir, 
271
344
                ignore_zero=False, merge_type=ApplyMerge3, backup_files=False,
272
345
                interesting_ids=None):
273
346
 
274
 
    def merge_factory(base_file, other_file):
275
 
        contents_change = merge_type(base_file, other_file)
 
347
    def merge_factory(file_id, base, other):
 
348
        contents_change = merge_type(file_id, base, other)
276
349
        if backup_files:
277
350
            contents_change = BackupBeforeChange(contents_change)
278
351
        return contents_change
279
 
    
280
 
    def generate_cset(tree_a, tree_b, inventory_a, inventory_b):
281
 
        return generate_cset_optimized(tree_a, tree_b, inventory_a, inventory_b,
282
 
                                       interesting_ids)
283
352
 
284
 
    this_tree = get_tree((this_branch.base, None), tempdir, "this")[1]
 
353
    this_tree = get_tree((this_branch.base, None))[1]
285
354
 
286
355
    def get_inventory(tree):
287
356
        return tree.inventory
288
357
 
289
358
    inv_changes = merge_flex(this_tree, base_tree, other_tree,
290
 
                             generate_cset, get_inventory,
291
 
                             MergeConflictHandler(base_tree.root,
292
 
                                                  ignore_zero=ignore_zero),
293
 
                             merge_factory=merge_factory)
 
359
                             generate_changeset, get_inventory,
 
360
                             MergeConflictHandler(this_tree, base_tree,
 
361
                             other_tree, ignore_zero=ignore_zero),
 
362
                             merge_factory=merge_factory, 
 
363
                             interesting_ids=interesting_ids)
294
364
 
295
365
    adjust_ids = []
296
366
    for id, path in inv_changes.iteritems():
298
368
            if path == '.':
299
369
                path = ''
300
370
            else:
301
 
                assert path.startswith('./')
 
371
                assert path.startswith('.' + os.sep), "path is %s" % path
302
372
            path = path[2:]
303
373
        adjust_ids.append((path, id))
304
 
    this_branch.set_inventory(regen_inventory(this_branch, this_tree.root, adjust_ids))
 
374
    if len(adjust_ids) > 0:
 
375
        this_branch.set_inventory(regen_inventory(this_branch, 
 
376
                                                  this_tree.basedir,
 
377
                                                  adjust_ids))
305
378
 
306
379
 
307
380
def regen_inventory(this_branch, root, new_entries):
308
381
    old_entries = this_branch.read_working_inventory()
309
382
    new_inventory = {}
310
383
    by_path = {}
 
384
    new_entries_map = {} 
 
385
    for path, file_id in new_entries:
 
386
        if path is None:
 
387
            continue
 
388
        new_entries_map[file_id] = path
 
389
 
 
390
    def id2path(file_id):
 
391
        path = new_entries_map.get(file_id)
 
392
        if path is not None:
 
393
            return path
 
394
        entry = old_entries[file_id]
 
395
        if entry.parent_id is None:
 
396
            return entry.name
 
397
        return os.path.join(id2path(entry.parent_id), entry.name)
 
398
        
311
399
    for file_id in old_entries:
312
400
        entry = old_entries[file_id]
313
 
        path = old_entries.id2path(file_id)
 
401
        path = id2path(file_id)
314
402
        new_inventory[file_id] = (path, file_id, entry.parent_id, entry.kind)
315
403
        by_path[path] = file_id
316
404