← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/diff.py

  • Committer: Martin Pool
  • Date: 2006-06-05 18:00:36 UTC
  • mto: This revision was merged to the branch mainline in revision 1752.
  • Revision ID: mbp@sourcefrog.net-20060605180036-04f5d0cea94ed999
clean up test kipple

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/diff.py
1
 
#! /usr/bin/env python
2
 
# -*- coding: UTF-8 -*-
 
1
# Copyright (C) 2004, 2005, 2006 Canonical Ltd.
3
2
 
4
3
# This program is free software; you can redistribute it and/or modify
5
4
# it under the terms of the GNU General Public License as published by
15
14
# along with this program; if not, write to the Free Software
16
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
16
 
18
 
from trace import mutter
19
 
from errors import BzrError
20
 
 
 
17
from bzrlib.delta import compare_trees
 
18
from bzrlib.errors import BzrError
 
19
import bzrlib.errors as errors
 
20
from bzrlib.symbol_versioning import *
 
21
from bzrlib.textfile import check_text_lines
 
22
from bzrlib.trace import mutter
21
23
 
22
24
# TODO: Rather than building a changeset object, we should probably
23
25
# invoke callbacks on an object.  That object can either accumulate a
24
26
# list, write them out directly, etc etc.
25
27
 
26
 
def internal_diff(old_label, oldlines, new_label, newlines, to_file):
 
28
def internal_diff(old_filename, oldlines, new_filename, newlines, to_file,
 
29
                  allow_binary=False):
27
30
    import difflib
28
31
    
29
32
    # FIXME: difflib is wrong if there is no trailing newline.
41
44
    # both sequences are empty.
42
45
    if not oldlines and not newlines:
43
46
        return
44
 
 
45
 
    nonl = False
46
 
 
47
 
    if oldlines and (oldlines[-1][-1] != '\n'):
48
 
        oldlines[-1] += '\n'
49
 
        nonl = True
50
 
    if newlines and (newlines[-1][-1] != '\n'):
51
 
        newlines[-1] += '\n'
52
 
        nonl = True
 
47
    
 
48
    if allow_binary is False:
 
49
        check_text_lines(oldlines)
 
50
        check_text_lines(newlines)
53
51
 
54
52
    ud = difflib.unified_diff(oldlines, newlines,
55
 
                              fromfile=old_label, tofile=new_label)
 
53
                              fromfile=old_filename+'\t', 
 
54
                              tofile=new_filename+'\t')
56
55
 
 
56
    ud = list(ud)
57
57
    # work-around for difflib being too smart for its own good
58
58
    # if /dev/null is "1,0", patch won't recognize it as /dev/null
59
59
    if not oldlines:
60
 
        ud = list(ud)
61
60
        ud[2] = ud[2].replace('-1,0', '-0,0')
62
61
    elif not newlines:
63
 
        ud = list(ud)
64
62
        ud[2] = ud[2].replace('+1,0', '+0,0')
 
63
    # work around for difflib emitting random spaces after the label
 
64
    ud[0] = ud[0][:-2] + '\n'
 
65
    ud[1] = ud[1][:-2] + '\n'
65
66
 
66
67
    for line in ud:
67
68
        to_file.write(line)
68
 
    if nonl:
69
 
        print >>to_file, "\\ No newline at end of file"
 
69
        if not line.endswith('\n'):
 
70
            to_file.write("\n\\ No newline at end of file\n")
70
71
    print >>to_file
71
72
 
72
73
 
73
 
 
74
 
 
75
 
def external_diff(old_label, oldlines, new_label, newlines, to_file,
 
74
def external_diff(old_filename, oldlines, new_filename, newlines, to_file,
76
75
                  diff_opts):
77
76
    """Display a diff by calling out to the external diff program."""
78
77
    import sys
107
106
        if not diff_opts:
108
107
            diff_opts = []
109
108
        diffcmd = ['diff',
110
 
                   '--label', old_label,
 
109
                   '--label', old_filename+'\t',
111
110
                   oldtmpf.name,
112
 
                   '--label', new_label,
 
111
                   '--label', new_filename+'\t',
113
112
                   newtmpf.name]
114
113
 
115
114
        # diff only allows one style to be specified; they don't override.
149
148
    finally:
150
149
        oldtmpf.close()                 # and delete
151
150
        newtmpf.close()
152
 
    
153
 
 
154
 
 
155
 
def show_diff(b, revision, specific_files, external_diff_options=None):
 
151
 
 
152
 
 
153
@deprecated_function(zero_eight)
 
154
def show_diff(b, from_spec, specific_files, external_diff_options=None,
 
155
              revision2=None, output=None, b2=None):
156
156
    """Shortcut for showing the diff to the working tree.
157
157
 
 
158
    Please use show_diff_trees instead.
 
159
 
158
160
    b
159
161
        Branch.
160
162
 
161
163
    revision
162
 
        None for each, or otherwise the old revision to compare against.
 
164
        None for 'basis tree', or otherwise the old revision to compare against.
 
165
    
 
166
    The more general form is show_diff_trees(), where the caller
 
167
    supplies any two trees.
 
168
    """
 
169
    if output is None:
 
170
        import sys
 
171
        output = sys.stdout
 
172
 
 
173
    if from_spec is None:
 
174
        old_tree = b.bzrdir.open_workingtree()
 
175
        if b2 is None:
 
176
            old_tree = old_tree = old_tree.basis_tree()
 
177
    else:
 
178
        old_tree = b.repository.revision_tree(from_spec.in_history(b).rev_id)
 
179
 
 
180
    if revision2 is None:
 
181
        if b2 is None:
 
182
            new_tree = b.bzrdir.open_workingtree()
 
183
        else:
 
184
            new_tree = b2.bzrdir.open_workingtree()
 
185
    else:
 
186
        new_tree = b.repository.revision_tree(revision2.in_history(b).rev_id)
 
187
 
 
188
    return show_diff_trees(old_tree, new_tree, output, specific_files,
 
189
                           external_diff_options)
 
190
 
 
191
 
 
192
def diff_cmd_helper(tree, specific_files, external_diff_options, 
 
193
                    old_revision_spec=None, new_revision_spec=None,
 
194
                    old_label='a/', new_label='b/'):
 
195
    """Helper for cmd_diff.
 
196
 
 
197
   tree 
 
198
        A WorkingTree
 
199
 
 
200
    specific_files
 
201
        The specific files to compare, or None
 
202
 
 
203
    external_diff_options
 
204
        If non-None, run an external diff, and pass it these options
 
205
 
 
206
    old_revision_spec
 
207
        If None, use basis tree as old revision, otherwise use the tree for
 
208
        the specified revision. 
 
209
 
 
210
    new_revision_spec
 
211
        If None, use working tree as new revision, otherwise use the tree for
 
212
        the specified revision.
163
213
    
164
214
    The more general form is show_diff_trees(), where the caller
165
215
    supplies any two trees.
166
216
    """
167
217
    import sys
168
 
 
169
 
    if revision == None:
170
 
        old_tree = b.basis_tree()
171
 
    else:
172
 
        old_tree = b.revision_tree(b.lookup_revision(revision))
173
 
        
174
 
    new_tree = b.working_tree()
175
 
 
176
 
    show_diff_trees(old_tree, new_tree, sys.stdout, specific_files,
177
 
                    external_diff_options)
178
 
 
 
218
    output = sys.stdout
 
219
    def spec_tree(spec):
 
220
        revision_id = spec.in_store(tree.branch).rev_id
 
221
        return tree.branch.repository.revision_tree(revision_id)
 
222
    if old_revision_spec is None:
 
223
        old_tree = tree.basis_tree()
 
224
    else:
 
225
        old_tree = spec_tree(old_revision_spec)
 
226
 
 
227
    if new_revision_spec is None:
 
228
        new_tree = tree
 
229
    else:
 
230
        new_tree = spec_tree(new_revision_spec)
 
231
 
 
232
    return show_diff_trees(old_tree, new_tree, sys.stdout, specific_files,
 
233
                           external_diff_options,
 
234
                           old_label=old_label, new_label=new_label)
179
235
 
180
236
 
181
237
def show_diff_trees(old_tree, new_tree, to_file, specific_files=None,
182
 
                    external_diff_options=None):
 
238
                    external_diff_options=None,
 
239
                    old_label='a/', new_label='b/'):
183
240
    """Show in text form the changes from one tree to another.
184
241
 
185
242
    to_files
188
245
    external_diff_options
189
246
        If set, use an external GNU diff and pass these options.
190
247
    """
191
 
 
192
 
    # TODO: Options to control putting on a prefix or suffix, perhaps as a format string
193
 
    old_label = ''
194
 
    new_label = ''
 
248
    old_tree.lock_read()
 
249
    try:
 
250
        new_tree.lock_read()
 
251
        try:
 
252
            return _show_diff_trees(old_tree, new_tree, to_file,
 
253
                                    specific_files, external_diff_options,
 
254
                                    old_label=old_label, new_label=new_label)
 
255
        finally:
 
256
            new_tree.unlock()
 
257
    finally:
 
258
        old_tree.unlock()
 
259
 
 
260
 
 
261
def _show_diff_trees(old_tree, new_tree, to_file,
 
262
                     specific_files, external_diff_options, 
 
263
                     old_label='a/', new_label='b/' ):
195
264
 
196
265
    DEVNULL = '/dev/null'
197
266
    # Windows users, don't panic about this filename -- it is a
201
270
    # TODO: Generation of pseudo-diffs for added/deleted files could
202
271
    # be usefully made into a much faster special case.
203
272
 
 
273
    _raise_if_doubly_unversioned(specific_files, old_tree, new_tree)
 
274
 
204
275
    if external_diff_options:
205
276
        assert isinstance(external_diff_options, basestring)
206
277
        opts = external_diff_options.split()
209
280
    else:
210
281
        diff_file = internal_diff
211
282
    
212
 
 
213
283
    delta = compare_trees(old_tree, new_tree, want_unchanged=False,
214
284
                          specific_files=specific_files)
215
285
 
 
286
    has_changes = 0
216
287
    for path, file_id, kind in delta.removed:
217
 
        print >>to_file, '*** removed %s %r' % (kind, path)
218
 
        if kind == 'file':
219
 
            diff_file(old_label + path,
220
 
                      old_tree.get_file(file_id).readlines(),
221
 
                      DEVNULL, 
222
 
                      [],
223
 
                      to_file)
224
 
 
 
288
        has_changes = 1
 
289
        print >>to_file, '=== removed %s %r' % (kind, path)
 
290
        old_tree.inventory[file_id].diff(diff_file, old_label + path, old_tree,
 
291
                                         DEVNULL, None, None, to_file)
225
292
    for path, file_id, kind in delta.added:
226
 
        print >>to_file, '*** added %s %r' % (kind, path)
227
 
        if kind == 'file':
228
 
            diff_file(DEVNULL,
229
 
                      [],
230
 
                      new_label + path,
231
 
                      new_tree.get_file(file_id).readlines(),
232
 
                      to_file)
233
 
 
234
 
    for old_path, new_path, file_id, kind, text_modified in delta.renamed:
235
 
        print >>to_file, '*** renamed %s %r => %r' % (kind, old_path, new_path)
 
293
        has_changes = 1
 
294
        print >>to_file, '=== added %s %r' % (kind, path)
 
295
        new_tree.inventory[file_id].diff(diff_file, new_label + path, new_tree,
 
296
                                         DEVNULL, None, None, to_file, 
 
297
                                         reverse=True)
 
298
    for (old_path, new_path, file_id, kind,
 
299
         text_modified, meta_modified) in delta.renamed:
 
300
        has_changes = 1
 
301
        prop_str = get_prop_change(meta_modified)
 
302
        print >>to_file, '=== renamed %s %r => %r%s' % (
 
303
                    kind, old_path, new_path, prop_str)
 
304
        _maybe_diff_file_or_symlink(old_label, old_path, old_tree, file_id,
 
305
                                    new_label, new_path, new_tree,
 
306
                                    text_modified, kind, to_file, diff_file)
 
307
    for path, file_id, kind, text_modified, meta_modified in delta.modified:
 
308
        has_changes = 1
 
309
        prop_str = get_prop_change(meta_modified)
 
310
        print >>to_file, '=== modified %s %r%s' % (kind, path, prop_str)
236
311
        if text_modified:
237
 
            diff_file(old_label + old_path,
238
 
                      old_tree.get_file(file_id).readlines(),
239
 
                      new_label + new_path,
240
 
                      new_tree.get_file(file_id).readlines(),
241
 
                      to_file)
242
 
 
243
 
    for path, file_id, kind in delta.modified:
244
 
        print >>to_file, '*** modified %s %r' % (kind, path)
245
 
        if kind == 'file':
246
 
            diff_file(old_label + path,
247
 
                      old_tree.get_file(file_id).readlines(),
248
 
                      new_label + path,
249
 
                      new_tree.get_file(file_id).readlines(),
250
 
                      to_file)
251
 
 
252
 
 
253
 
 
254
 
class TreeDelta(object):
255
 
    """Describes changes from one tree to another.
256
 
 
257
 
    Contains four lists:
258
 
 
259
 
    added
260
 
        (path, id, kind)
261
 
    removed
262
 
        (path, id, kind)
263
 
    renamed
264
 
        (oldpath, newpath, id, kind, text_modified)
265
 
    modified
266
 
        (path, id, kind)
267
 
    unchanged
268
 
        (path, id, kind)
269
 
 
270
 
    Each id is listed only once.
271
 
 
272
 
    Files that are both modified and renamed are listed only in
273
 
    renamed, with the text_modified flag true.
274
 
 
275
 
    Files are only considered renamed if their name has changed or
276
 
    their parent directory has changed.  Renaming a directory
277
 
    does not count as renaming all its contents.
278
 
 
279
 
    The lists are normally sorted when the delta is created.
280
 
    """
281
 
    def __init__(self):
282
 
        self.added = []
283
 
        self.removed = []
284
 
        self.renamed = []
285
 
        self.modified = []
286
 
        self.unchanged = []
287
 
 
288
 
    def __eq__(self, other):
289
 
        if not isinstance(other, TreeDelta):
290
 
            return False
291
 
        return self.added == other.added \
292
 
               and self.removed == other.removed \
293
 
               and self.renamed == other.renamed \
294
 
               and self.modified == other.modified \
295
 
               and self.unchanged == other.unchanged
296
 
 
297
 
    def __ne__(self, other):
298
 
        return not (self == other)
299
 
 
300
 
    def __repr__(self):
301
 
        return "TreeDelta(added=%r, removed=%r, renamed=%r, modified=%r," \
302
 
            " unchanged=%r)" % (self.added, self.removed, self.renamed,
303
 
            self.modified, self.unchanged)
304
 
 
305
 
    def has_changed(self):
306
 
        changes = len(self.added) + len(self.removed) + len(self.renamed)
307
 
        changes += len(self.modified) 
308
 
        return (changes != 0)
309
 
 
310
 
    def touches_file_id(self, file_id):
311
 
        """Return True if file_id is modified by this delta."""
312
 
        for l in self.added, self.removed, self.modified:
313
 
            for v in l:
314
 
                if v[1] == file_id:
315
 
                    return True
316
 
        for v in self.renamed:
317
 
            if v[2] == file_id:
318
 
                return True
319
 
        return False
320
 
            
321
 
 
322
 
    def show(self, to_file, show_ids=False, show_unchanged=False):
323
 
        def show_list(files):
324
 
            for path, fid, kind in files:
325
 
                if kind == 'directory':
326
 
                    path += '/'
327
 
                elif kind == 'symlink':
328
 
                    path += '@'
329
 
                    
330
 
                if show_ids:
331
 
                    print >>to_file, '  %-30s %s' % (path, fid)
332
 
                else:
333
 
                    print >>to_file, ' ', path
334
 
            
335
 
        if self.removed:
336
 
            print >>to_file, 'removed:'
337
 
            show_list(self.removed)
338
 
                
339
 
        if self.added:
340
 
            print >>to_file, 'added:'
341
 
            show_list(self.added)
342
 
 
343
 
        if self.renamed:
344
 
            print >>to_file, 'renamed:'
345
 
            for oldpath, newpath, fid, kind, text_modified in self.renamed:
346
 
                if show_ids:
347
 
                    print >>to_file, '  %s => %s %s' % (oldpath, newpath, fid)
348
 
                else:
349
 
                    print >>to_file, '  %s => %s' % (oldpath, newpath)
350
 
                    
351
 
        if self.modified:
352
 
            print >>to_file, 'modified:'
353
 
            show_list(self.modified)
354
 
            
355
 
        if show_unchanged and self.unchanged:
356
 
            print >>to_file, 'unchanged:'
357
 
            show_list(self.unchanged)
358
 
 
359
 
 
360
 
 
361
 
def compare_trees(old_tree, new_tree, want_unchanged=False, specific_files=None):
362
 
    """Describe changes from one tree to another.
363
 
 
364
 
    Returns a TreeDelta with details of added, modified, renamed, and
365
 
    deleted entries.
366
 
 
367
 
    The root entry is specifically exempt.
368
 
 
369
 
    This only considers versioned files.
370
 
 
371
 
    want_unchanged
372
 
        If true, also list files unchanged from one version to
373
 
        the next.
374
 
 
375
 
    specific_files
376
 
        If true, only check for changes to specified names or
377
 
        files within them.
378
 
    """
379
 
 
380
 
    from osutils import is_inside_any
381
 
    
382
 
    old_inv = old_tree.inventory
383
 
    new_inv = new_tree.inventory
384
 
    delta = TreeDelta()
385
 
    mutter('start compare_trees')
386
 
 
387
 
    # TODO: match for specific files can be rather smarter by finding
388
 
    # the IDs of those files up front and then considering only that.
389
 
 
390
 
    for file_id in old_tree:
391
 
        if file_id in new_tree:
392
 
            old_ie = old_inv[file_id]
393
 
            new_ie = new_inv[file_id]
394
 
 
395
 
            kind = old_ie.kind
396
 
            assert kind == new_ie.kind
397
 
            
398
 
            assert kind in ('file', 'directory', 'symlink', 'root_directory'), \
399
 
                   'invalid file kind %r' % kind
400
 
 
401
 
            if kind == 'root_directory':
402
 
                continue
403
 
            
404
 
            if specific_files:
405
 
                if (not is_inside_any(specific_files, old_inv.id2path(file_id)) 
406
 
                    and not is_inside_any(specific_files, new_inv.id2path(file_id))):
407
 
                    continue
408
 
 
409
 
            if kind == 'file':
410
 
                old_sha1 = old_tree.get_file_sha1(file_id)
411
 
                new_sha1 = new_tree.get_file_sha1(file_id)
412
 
                text_modified = (old_sha1 != new_sha1)
413
 
            else:
414
 
                ## mutter("no text to check for %r %r" % (file_id, kind))
415
 
                text_modified = False
416
 
 
417
 
            # TODO: Can possibly avoid calculating path strings if the
418
 
            # two files are unchanged and their names and parents are
419
 
            # the same and the parents are unchanged all the way up.
420
 
            # May not be worthwhile.
421
 
            
422
 
            if (old_ie.name != new_ie.name
423
 
                or old_ie.parent_id != new_ie.parent_id):
424
 
                delta.renamed.append((old_inv.id2path(file_id),
425
 
                                      new_inv.id2path(file_id),
426
 
                                      file_id, kind,
427
 
                                      text_modified))
428
 
            elif text_modified:
429
 
                delta.modified.append((new_inv.id2path(file_id), file_id, kind))
430
 
            elif want_unchanged:
431
 
                delta.unchanged.append((new_inv.id2path(file_id), file_id, kind))
432
 
        else:
433
 
            kind = old_inv.get_file_kind(file_id)
434
 
            old_path = old_inv.id2path(file_id)
435
 
            if specific_files:
436
 
                if not is_inside_any(specific_files, old_path):
437
 
                    continue
438
 
            delta.removed.append((old_path, file_id, kind))
439
 
 
440
 
    mutter('start looking for new files')
441
 
    for file_id in new_inv:
442
 
        if file_id in old_inv:
443
 
            continue
444
 
        new_path = new_inv.id2path(file_id)
445
 
        if specific_files:
446
 
            if not is_inside_any(specific_files, new_path):
447
 
                continue
448
 
        kind = new_inv.get_file_kind(file_id)
449
 
        delta.added.append((new_path, file_id, kind))
450
 
            
451
 
    delta.removed.sort()
452
 
    delta.added.sort()
453
 
    delta.renamed.sort()
454
 
    delta.modified.sort()
455
 
    delta.unchanged.sort()
456
 
 
457
 
    return delta
 
312
            _maybe_diff_file_or_symlink(old_label, path, old_tree, file_id,
 
313
                                        new_label, path, new_tree,
 
314
                                        True, kind, to_file, diff_file)
 
315
 
 
316
    return has_changes
 
317
 
 
318
 
 
319
def _raise_if_doubly_unversioned(specific_files, old_tree, new_tree):
 
320
    """Complain if paths are not versioned in either tree."""
 
321
    if not specific_files:
 
322
        return
 
323
    old_unversioned = old_tree.filter_unversioned_files(specific_files)
 
324
    new_unversioned = new_tree.filter_unversioned_files(specific_files)
 
325
    unversioned = old_unversioned.intersection(new_unversioned)
 
326
    if unversioned:
 
327
        raise errors.PathsNotVersionedError(sorted(unversioned))
 
328
    
 
329
 
 
330
def _raise_if_nonexistent(paths, old_tree, new_tree):
 
331
    """Complain if paths are not in either inventory or tree.
 
332
 
 
333
    It's OK with the files exist in either tree's inventory, or 
 
334
    if they exist in the tree but are not versioned.
 
335
    
 
336
    This can be used by operations such as bzr status that can accept
 
337
    unknown or ignored files.
 
338
    """
 
339
    mutter("check paths: %r", paths)
 
340
    if not paths:
 
341
        return
 
342
    s = old_tree.filter_unversioned_files(paths)
 
343
    s = new_tree.filter_unversioned_files(s)
 
344
    s = [path for path in s if not new_tree.has_filename(path)]
 
345
    if s:
 
346
        raise errors.PathsDoNotExist(sorted(s))
 
347
 
 
348
 
 
349
def get_prop_change(meta_modified):
 
350
    if meta_modified:
 
351
        return " (properties changed)"
 
352
    else:
 
353
        return  ""
 
354
 
 
355
 
 
356
def _maybe_diff_file_or_symlink(old_label, old_path, old_tree, file_id,
 
357
                                new_label, new_path, new_tree, text_modified,
 
358
                                kind, to_file, diff_file):
 
359
    if text_modified:
 
360
        new_entry = new_tree.inventory[file_id]
 
361
        old_tree.inventory[file_id].diff(diff_file,
 
362
                                         old_label + old_path, old_tree,
 
363
                                         new_label + new_path, new_entry, 
 
364
                                         new_tree, to_file)