~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/diff.py

  • Committer: Martin Pool
  • Date: 2005-09-12 09:00:11 UTC
  • Revision ID: mbp@sourcefrog.net-20050912090011-97e81abfaeeb8948
- fix bug in Inventory.copy() 
  
  must copy inventory top-down so that directories are added before
  their children

Show diffs side-by-side

added added

removed removed

Lines of Context:
15
15
# along with this program; if not, write to the Free Software
16
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
17
 
18
 
from sets import Set
19
 
 
20
 
from trace import mutter
21
 
from errors import BzrError
22
 
 
23
 
 
24
 
def diff_trees(old_tree, new_tree):
25
 
    """Compute diff between two trees.
26
 
 
27
 
    They may be in different branches and may be working or historical
28
 
    trees.
29
 
 
30
 
    This only compares the versioned files, paying no attention to
31
 
    files which are ignored or unknown.  Those can only be present in
32
 
    working trees and can be reported on separately.
33
 
 
34
 
    Yields a sequence of (state, id, old_name, new_name, kind).
35
 
    Each filename and each id is listed only once.
 
18
from bzrlib.trace import mutter
 
19
from bzrlib.errors import BzrError
 
20
from bzrlib.delta import compare_trees
 
21
 
 
22
# TODO: Rather than building a changeset object, we should probably
 
23
# invoke callbacks on an object.  That object can either accumulate a
 
24
# list, write them out directly, etc etc.
 
25
 
 
26
def internal_diff(old_label, oldlines, new_label, newlines, to_file):
 
27
    import difflib
 
28
    
 
29
    # FIXME: difflib is wrong if there is no trailing newline.
 
30
    # The syntax used by patch seems to be "\ No newline at
 
31
    # end of file" following the last diff line from that
 
32
    # file.  This is not trivial to insert into the
 
33
    # unified_diff output and it might be better to just fix
 
34
    # or replace that function.
 
35
 
 
36
    # In the meantime we at least make sure the patch isn't
 
37
    # mangled.
 
38
 
 
39
 
 
40
    # Special workaround for Python2.3, where difflib fails if
 
41
    # both sequences are empty.
 
42
    if not oldlines and not newlines:
 
43
        return
 
44
 
 
45
    ud = difflib.unified_diff(oldlines, newlines,
 
46
                              fromfile=old_label, tofile=new_label)
 
47
 
 
48
    # work-around for difflib being too smart for its own good
 
49
    # if /dev/null is "1,0", patch won't recognize it as /dev/null
 
50
    if not oldlines:
 
51
        ud = list(ud)
 
52
        ud[2] = ud[2].replace('-1,0', '-0,0')
 
53
    elif not newlines:
 
54
        ud = list(ud)
 
55
        ud[2] = ud[2].replace('+1,0', '+0,0')
 
56
 
 
57
    for line in ud:
 
58
        to_file.write(line)
 
59
        if not line.endswith('\n'):
 
60
            to_file.write("\n\\ No newline at end of file\n")
 
61
    print >>to_file
 
62
 
 
63
 
 
64
 
 
65
 
 
66
def external_diff(old_label, oldlines, new_label, newlines, to_file,
 
67
                  diff_opts):
 
68
    """Display a diff by calling out to the external diff program."""
 
69
    import sys
 
70
    
 
71
    if to_file != sys.stdout:
 
72
        raise NotImplementedError("sorry, can't send external diff other than to stdout yet",
 
73
                                  to_file)
 
74
 
 
75
    # make sure our own output is properly ordered before the diff
 
76
    to_file.flush()
 
77
 
 
78
    from tempfile import NamedTemporaryFile
 
79
    import os
 
80
 
 
81
    oldtmpf = NamedTemporaryFile()
 
82
    newtmpf = NamedTemporaryFile()
 
83
 
 
84
    try:
 
85
        # TODO: perhaps a special case for comparing to or from the empty
 
86
        # sequence; can just use /dev/null on Unix
 
87
 
 
88
        # TODO: if either of the files being compared already exists as a
 
89
        # regular named file (e.g. in the working directory) then we can
 
90
        # compare directly to that, rather than copying it.
 
91
 
 
92
        oldtmpf.writelines(oldlines)
 
93
        newtmpf.writelines(newlines)
 
94
 
 
95
        oldtmpf.flush()
 
96
        newtmpf.flush()
 
97
 
 
98
        if not diff_opts:
 
99
            diff_opts = []
 
100
        diffcmd = ['diff',
 
101
                   '--label', old_label,
 
102
                   oldtmpf.name,
 
103
                   '--label', new_label,
 
104
                   newtmpf.name]
 
105
 
 
106
        # diff only allows one style to be specified; they don't override.
 
107
        # note that some of these take optargs, and the optargs can be
 
108
        # directly appended to the options.
 
109
        # this is only an approximate parser; it doesn't properly understand
 
110
        # the grammar.
 
111
        for s in ['-c', '-u', '-C', '-U',
 
112
                  '-e', '--ed',
 
113
                  '-q', '--brief',
 
114
                  '--normal',
 
115
                  '-n', '--rcs',
 
116
                  '-y', '--side-by-side',
 
117
                  '-D', '--ifdef']:
 
118
            for j in diff_opts:
 
119
                if j.startswith(s):
 
120
                    break
 
121
            else:
 
122
                continue
 
123
            break
 
124
        else:
 
125
            diffcmd.append('-u')
 
126
                  
 
127
        if diff_opts:
 
128
            diffcmd.extend(diff_opts)
 
129
 
 
130
        rc = os.spawnvp(os.P_WAIT, 'diff', diffcmd)
 
131
        
 
132
        if rc != 0 and rc != 1:
 
133
            # returns 1 if files differ; that's OK
 
134
            if rc < 0:
 
135
                msg = 'signal %d' % (-rc)
 
136
            else:
 
137
                msg = 'exit code %d' % rc
 
138
                
 
139
            raise BzrError('external diff failed with %s; command: %r' % (rc, diffcmd))
 
140
    finally:
 
141
        oldtmpf.close()                 # and delete
 
142
        newtmpf.close()
 
143
    
 
144
 
 
145
 
 
146
def show_diff(b, revision, specific_files, external_diff_options=None,
 
147
              revision2=None):
 
148
    """Shortcut for showing the diff to the working tree.
 
149
 
 
150
    b
 
151
        Branch.
 
152
 
 
153
    revision
 
154
        None for each, or otherwise the old revision to compare against.
 
155
    
 
156
    The more general form is show_diff_trees(), where the caller
 
157
    supplies any two trees.
36
158
    """
37
 
    ## TODO: Allow specifying a list of files to compare, rather than
38
 
    ## doing the whole tree?  (Not urgent.)
39
 
 
40
 
    ## TODO: Allow diffing any two inventories, not just the
41
 
    ## current one against one.  We mgiht need to specify two
42
 
    ## stores to look for the files if diffing two branches.  That
43
 
    ## might imply this shouldn't be primarily a Branch method.
44
 
 
45
 
    sha_match_cnt = modified_cnt = 0
46
 
 
47
 
    old_it = old_tree.list_files()
48
 
    new_it = new_tree.list_files()
49
 
 
50
 
    def next(it):
51
 
        try:
52
 
            return it.next()
53
 
        except StopIteration:
54
 
            return None
55
 
 
56
 
    old_item = next(old_it)
57
 
    new_item = next(new_it)
58
 
 
59
 
    # We step through the two sorted iterators in parallel, trying to
60
 
    # keep them lined up.
61
 
 
62
 
    while (old_item != None) or (new_item != None):
63
 
        # OK, we still have some remaining on both, but they may be
64
 
        # out of step.        
65
 
        if old_item != None:
66
 
            old_name, old_class, old_kind, old_id = old_item
67
 
        else:
68
 
            old_name = None
69
 
            
70
 
        if new_item != None:
71
 
            new_name, new_class, new_kind, new_id = new_item
72
 
        else:
73
 
            new_name = None
74
 
 
75
 
        if old_item:
76
 
            # can't handle the old tree being a WorkingTree
77
 
            assert old_class == 'V'
78
 
 
79
 
        if new_item and (new_class != 'V'):
80
 
            yield new_class, None, None, new_name, new_kind
81
 
            new_item = next(new_it)
82
 
        elif (not new_item) or (old_item and (old_name < new_name)):
83
 
            if new_tree.has_id(old_id):
84
 
                # will be mentioned as renamed under new name
85
 
                pass
86
 
            else:
87
 
                yield 'D', old_id, old_name, None, old_kind
88
 
            old_item = next(old_it)
89
 
        elif (not old_item) or (new_item and (new_name < old_name)):
90
 
            if old_tree.has_id(new_id):
91
 
                yield 'R', new_id, old_tree.id2path(new_id), new_name, new_kind
92
 
            else:
93
 
                yield 'A', new_id, None, new_name, new_kind
94
 
            new_item = next(new_it)
95
 
        elif old_id != new_id:
96
 
            assert old_name == new_name
97
 
            # both trees have a file of this name, but it is not the
98
 
            # same file.  in other words, the old filename has been
99
 
            # overwritten by either a newly-added or a renamed file.
100
 
            # (should we return something about the overwritten file?)
101
 
            if old_tree.has_id(new_id):
102
 
                # renaming, overlying a deleted file
103
 
                yield 'R', new_id, old_tree.id2path(new_id), new_name, new_kind
104
 
            else:
105
 
                yield 'A', new_id, None, new_name, new_kind
106
 
 
107
 
            new_item = next(new_it)
108
 
            old_item = next(old_it)
109
 
        else:
110
 
            assert old_id == new_id
111
 
            assert old_id != None
112
 
            assert old_name == new_name
113
 
            assert old_kind == new_kind
114
 
 
115
 
            if old_kind == 'directory':
116
 
                yield '.', new_id, old_name, new_name, new_kind
117
 
            elif old_tree.get_file_sha1(old_id) == new_tree.get_file_sha1(old_id):
118
 
                sha_match_cnt += 1
119
 
                yield '.', new_id, old_name, new_name, new_kind
120
 
            else:
121
 
                modified_cnt += 1
122
 
                yield 'M', new_id, old_name, new_name, new_kind
123
 
 
124
 
            new_item = next(new_it)
125
 
            old_item = next(old_it)
126
 
 
127
 
 
128
 
    mutter("diff finished: %d SHA matches, %d modified"
129
 
           % (sha_match_cnt, modified_cnt))
130
 
 
131
 
 
132
 
 
133
 
def show_diff(b, revision, file_list):
134
 
    import difflib, sys, types
135
 
    
 
159
    import sys
 
160
 
136
161
    if revision == None:
137
162
        old_tree = b.basis_tree()
138
163
    else:
139
164
        old_tree = b.revision_tree(b.lookup_revision(revision))
140
 
        
141
 
    new_tree = b.working_tree()
 
165
 
 
166
    if revision2 == None:
 
167
        new_tree = b.working_tree()
 
168
    else:
 
169
        new_tree = b.revision_tree(b.lookup_revision(revision2))
 
170
 
 
171
    show_diff_trees(old_tree, new_tree, sys.stdout, specific_files,
 
172
                    external_diff_options)
 
173
 
 
174
 
 
175
 
 
176
def show_diff_trees(old_tree, new_tree, to_file, specific_files=None,
 
177
                    external_diff_options=None):
 
178
    """Show in text form the changes from one tree to another.
 
179
 
 
180
    to_files
 
181
        If set, include only changes to these files.
 
182
 
 
183
    external_diff_options
 
184
        If set, use an external GNU diff and pass these options.
 
185
    """
142
186
 
143
187
    # TODO: Options to control putting on a prefix or suffix, perhaps as a format string
144
188
    old_label = ''
152
196
    # TODO: Generation of pseudo-diffs for added/deleted files could
153
197
    # be usefully made into a much faster special case.
154
198
 
155
 
    # TODO: Better to return them in sorted order I think.
156
 
 
157
 
    if file_list:
158
 
        file_list = [b.relpath(f) for f in file_list]
159
 
 
160
 
    # FIXME: If given a file list, compare only those files rather
161
 
    # than comparing everything and then throwing stuff away.
 
199
    if external_diff_options:
 
200
        assert isinstance(external_diff_options, basestring)
 
201
        opts = external_diff_options.split()
 
202
        def diff_file(olab, olines, nlab, nlines, to_file):
 
203
            external_diff(olab, olines, nlab, nlines, to_file, opts)
 
204
    else:
 
205
        diff_file = internal_diff
162
206
    
163
 
    for file_state, fid, old_name, new_name, kind in diff_trees(old_tree, new_tree):
164
 
 
165
 
        if file_list and (new_name not in file_list):
166
 
            continue
167
 
        
168
 
        # Don't show this by default; maybe do it if an option is passed
169
 
        # idlabel = '      {%s}' % fid
170
 
        idlabel = ''
171
 
 
172
 
        def diffit(oldlines, newlines, **kw):
173
 
            
174
 
            # FIXME: difflib is wrong if there is no trailing newline.
175
 
            # The syntax used by patch seems to be "\ No newline at
176
 
            # end of file" following the last diff line from that
177
 
            # file.  This is not trivial to insert into the
178
 
            # unified_diff output and it might be better to just fix
179
 
            # or replace that function.
180
 
 
181
 
            # In the meantime we at least make sure the patch isn't
182
 
            # mangled.
183
 
            
184
 
 
185
 
            # Special workaround for Python2.3, where difflib fails if
186
 
            # both sequences are empty.
187
 
            if not oldlines and not newlines:
188
 
                return
189
 
 
190
 
            nonl = False
191
 
 
192
 
            if oldlines and (oldlines[-1][-1] != '\n'):
193
 
                oldlines[-1] += '\n'
194
 
                nonl = True
195
 
            if newlines and (newlines[-1][-1] != '\n'):
196
 
                newlines[-1] += '\n'
197
 
                nonl = True
198
 
 
199
 
            ud = difflib.unified_diff(oldlines, newlines, **kw)
200
 
 
201
 
            # work-around for difflib being too smart for its own good
202
 
            # if /dev/null is "1,0", patch won't recognize it as /dev/null
203
 
            if not oldlines:
204
 
                ud = list(ud)
205
 
                ud[2] = ud[2].replace('-1,0', '-0,0')
206
 
            elif not newlines:
207
 
                ud = list(ud)
208
 
                ud[2] = ud[2].replace('+1,0', '+0,0')
209
 
            
210
 
            sys.stdout.writelines(ud)
211
 
            if nonl:
212
 
                print "\\ No newline at end of file"
213
 
            sys.stdout.write('\n')
214
 
        
215
 
        if file_state in ['.', '?', 'I']:
216
 
            continue
217
 
        elif file_state == 'A':
218
 
            print '*** added %s %r' % (kind, new_name)
219
 
            if kind == 'file':
220
 
                diffit([],
221
 
                       new_tree.get_file(fid).readlines(),
222
 
                       fromfile=DEVNULL,
223
 
                       tofile=new_label + new_name + idlabel)
224
 
        elif file_state == 'D':
225
 
            assert isinstance(old_name, types.StringTypes)
226
 
            print '*** deleted %s %r' % (kind, old_name)
227
 
            if kind == 'file':
228
 
                diffit(old_tree.get_file(fid).readlines(), [],
229
 
                       fromfile=old_label + old_name + idlabel,
230
 
                       tofile=DEVNULL)
231
 
        elif file_state in ['M', 'R']:
232
 
            if file_state == 'M':
233
 
                assert kind == 'file'
234
 
                assert old_name == new_name
235
 
                print '*** modified %s %r' % (kind, new_name)
236
 
            elif file_state == 'R':
237
 
                print '*** renamed %s %r => %r' % (kind, old_name, new_name)
238
 
 
239
 
            if kind == 'file':
240
 
                diffit(old_tree.get_file(fid).readlines(),
241
 
                       new_tree.get_file(fid).readlines(),
242
 
                       fromfile=old_label + old_name + idlabel,
243
 
                       tofile=new_label + new_name)
244
 
        else:
245
 
            raise BzrError("can't represent state %s {%s}" % (file_state, fid))
246
 
 
247
 
 
248
 
 
249
 
class TreeDelta:
250
 
    """Describes changes from one tree to another.
251
 
 
252
 
    Contains four lists:
253
 
 
254
 
    added
255
 
        (path, id)
256
 
    removed
257
 
        (path, id)
258
 
    renamed
259
 
        (oldpath, newpath, id, text_modified)
260
 
    modified
261
 
        (path, id)
262
 
    unchanged
263
 
        (path, id)
264
 
 
265
 
    Each id is listed only once.
266
 
 
267
 
    Files that are both modified and renamed are listed only in
268
 
    renamed, with the text_modified flag true.
269
 
 
270
 
    The lists are normally sorted when the delta is created.
271
 
    """
272
 
    def __init__(self):
273
 
        self.added = []
274
 
        self.removed = []
275
 
        self.renamed = []
276
 
        self.modified = []
277
 
        self.unchanged = []
278
 
 
279
 
    def show(self, to_file, show_ids=False, show_unchanged=False):
280
 
        def show_list(files):
281
 
            for path, fid in files:
282
 
                if show_ids:
283
 
                    print >>to_file, '  %-30s %s' % (path, fid)
284
 
                else:
285
 
                    print >>to_file, ' ', path
286
 
            
287
 
        if self.removed:
288
 
            print >>to_file, 'removed files:'
289
 
            show_list(self.removed)
290
 
                
291
 
        if self.added:
292
 
            print >>to_file, 'added files:'
293
 
            show_list(self.added)
294
 
 
295
 
        if self.renamed:
296
 
            print >>to_file, 'renamed files:'
297
 
            for oldpath, newpath, fid, text_modified in self.renamed:
298
 
                if show_ids:
299
 
                    print >>to_file, '  %s => %s %s' % (oldpath, newpath, fid)
300
 
                else:
301
 
                    print >>to_file, '  %s => %s' % (oldpath, newpath)
302
 
                    
303
 
        if self.modified:
304
 
            print >>to_file, 'modified files:'
305
 
            show_list(self.modified)
306
 
            
307
 
        if show_unchanged and self.unchanged:
308
 
            print >>to_file, 'unchanged files:'
309
 
            show_list(self.unchanged)
310
 
 
311
 
 
312
 
 
313
 
def compare_trees(old_tree, new_tree, want_unchanged):
314
 
    old_inv = old_tree.inventory
315
 
    new_inv = new_tree.inventory
316
 
    delta = TreeDelta()
317
 
    for file_id in old_tree:
318
 
        if file_id in new_tree:
319
 
            old_path = old_inv.id2path(file_id)
320
 
            new_path = new_inv.id2path(file_id)
321
 
 
322
 
            kind = old_inv.get_file_kind(file_id)
323
 
            assert kind in ('file', 'directory', 'symlink', 'root_directory'), \
324
 
                   'invalid file kind %r' % kind
325
 
            if kind == 'file':
326
 
                old_sha1 = old_tree.get_file_sha1(file_id)
327
 
                new_sha1 = new_tree.get_file_sha1(file_id)
328
 
                text_modified = (old_sha1 != new_sha1)
329
 
            else:
330
 
                ## mutter("no text to check for %r %r" % (file_id, kind))
331
 
                text_modified = False
332
 
 
333
 
            # TODO: Can possibly avoid calculating path strings if the
334
 
            # two files are unchanged and their names and parents are
335
 
            # the same and the parents are unchanged all the way up.
336
 
            # May not be worthwhile.
337
 
            
338
 
            if old_path != new_path:
339
 
                delta.renamed.append((old_path, new_path, file_id, text_modified))
340
 
            elif text_modified:
341
 
                delta.modified.append((new_path, file_id))
342
 
            elif want_unchanged:
343
 
                delta.unchanged.append((new_path, file_id))
344
 
        else:
345
 
            delta.removed.append((old_inv.id2path(file_id), file_id))
346
 
    for file_id in new_inv:
347
 
        if file_id in old_inv:
348
 
            continue
349
 
        delta.added.append((new_inv.id2path(file_id), file_id))
350
 
            
351
 
    delta.removed.sort()
352
 
    delta.added.sort()
353
 
    delta.renamed.sort()
354
 
    delta.modified.sort()
355
 
 
356
 
    return delta
 
207
 
 
208
    delta = compare_trees(old_tree, new_tree, want_unchanged=False,
 
209
                          specific_files=specific_files)
 
210
 
 
211
    for path, file_id, kind in delta.removed:
 
212
        print >>to_file, '*** removed %s %r' % (kind, path)
 
213
        if kind == 'file':
 
214
            diff_file(old_label + path,
 
215
                      old_tree.get_file(file_id).readlines(),
 
216
                      DEVNULL, 
 
217
                      [],
 
218
                      to_file)
 
219
 
 
220
    for path, file_id, kind in delta.added:
 
221
        print >>to_file, '*** added %s %r' % (kind, path)
 
222
        if kind == 'file':
 
223
            diff_file(DEVNULL,
 
224
                      [],
 
225
                      new_label + path,
 
226
                      new_tree.get_file(file_id).readlines(),
 
227
                      to_file)
 
228
 
 
229
    for old_path, new_path, file_id, kind, text_modified in delta.renamed:
 
230
        print >>to_file, '*** renamed %s %r => %r' % (kind, old_path, new_path)
 
231
        if text_modified:
 
232
            diff_file(old_label + old_path,
 
233
                      old_tree.get_file(file_id).readlines(),
 
234
                      new_label + new_path,
 
235
                      new_tree.get_file(file_id).readlines(),
 
236
                      to_file)
 
237
 
 
238
    for path, file_id, kind in delta.modified:
 
239
        print >>to_file, '*** modified %s %r' % (kind, path)
 
240
        if kind == 'file':
 
241
            diff_file(old_label + path,
 
242
                      old_tree.get_file(file_id).readlines(),
 
243
                      new_label + path,
 
244
                      new_tree.get_file(file_id).readlines(),
 
245
                      to_file)
 
246
 
 
247
 
 
248
 
 
249
 
 
250