← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/diff.py

Exclude more files from dumb-rsync upload

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/diff.py
1
 
#! /usr/bin/env python
2
1
# -*- coding: UTF-8 -*-
3
2
 
4
3
# This program is free software; you can redistribute it and/or modify
15
14
# along with this program; if not, write to the Free Software
16
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
16
 
18
 
from trace import mutter
19
 
from errors import BzrError
20
 
 
 
17
from bzrlib.trace import mutter
 
18
from bzrlib.errors import BzrError
 
19
from bzrlib.delta import compare_trees
21
20
 
22
21
# TODO: Rather than building a changeset object, we should probably
23
22
# invoke callbacks on an object.  That object can either accumulate a
24
23
# list, write them out directly, etc etc.
25
24
 
26
 
def internal_diff(old_label, oldlines, new_label, newlines, to_file):
 
25
def internal_diff(old_filename, oldlines, new_filename, newlines, to_file):
27
26
    import difflib
28
27
    
29
28
    # FIXME: difflib is wrong if there is no trailing newline.
42
41
    if not oldlines and not newlines:
43
42
        return
44
43
 
45
 
    nonl = False
46
 
 
47
 
    if oldlines and (oldlines[-1][-1] != '\n'):
48
 
        oldlines[-1] += '\n'
49
 
        nonl = True
50
 
    if newlines and (newlines[-1][-1] != '\n'):
51
 
        newlines[-1] += '\n'
52
 
        nonl = True
53
 
 
54
44
    ud = difflib.unified_diff(oldlines, newlines,
55
 
                              fromfile=old_label, tofile=new_label)
 
45
                              fromfile=old_filename+'\t', 
 
46
                              tofile=new_filename+'\t')
56
47
 
 
48
    ud = list(ud)
57
49
    # work-around for difflib being too smart for its own good
58
50
    # if /dev/null is "1,0", patch won't recognize it as /dev/null
59
51
    if not oldlines:
60
 
        ud = list(ud)
61
52
        ud[2] = ud[2].replace('-1,0', '-0,0')
62
53
    elif not newlines:
63
 
        ud = list(ud)
64
54
        ud[2] = ud[2].replace('+1,0', '+0,0')
 
55
    # work around for difflib emitting random spaces after the label
 
56
    ud[0] = ud[0][:-2] + '\n'
 
57
    ud[1] = ud[1][:-2] + '\n'
65
58
 
66
59
    for line in ud:
67
60
        to_file.write(line)
68
 
    if nonl:
69
 
        print >>to_file, "\\ No newline at end of file"
 
61
        if not line.endswith('\n'):
 
62
            to_file.write("\n\\ No newline at end of file\n")
70
63
    print >>to_file
71
64
 
72
65
 
73
 
 
74
 
 
75
 
def external_diff(old_label, oldlines, new_label, newlines, to_file,
 
66
def external_diff(old_filename, oldlines, new_filename, newlines, to_file,
76
67
                  diff_opts):
77
68
    """Display a diff by calling out to the external diff program."""
78
69
    import sys
107
98
        if not diff_opts:
108
99
            diff_opts = []
109
100
        diffcmd = ['diff',
110
 
                   '--label', old_label,
 
101
                   '--label', old_filename+'\t',
111
102
                   oldtmpf.name,
112
 
                   '--label', new_label,
 
103
                   '--label', new_filename+'\t',
113
104
                   newtmpf.name]
114
105
 
115
106
        # diff only allows one style to be specified; they don't override.
149
140
    finally:
150
141
        oldtmpf.close()                 # and delete
151
142
        newtmpf.close()
152
 
    
153
 
 
154
 
 
155
 
def show_diff(b, revision, specific_files, external_diff_options=None):
 
143
 
 
144
def show_diff(b, from_spec, specific_files, external_diff_options=None,
 
145
              revision2=None, output=None, b2=None):
156
146
    """Shortcut for showing the diff to the working tree.
157
147
 
158
148
    b
159
149
        Branch.
160
150
 
161
151
    revision
162
 
        None for each, or otherwise the old revision to compare against.
 
152
        None for 'basis tree', or otherwise the old revision to compare against.
163
153
    
164
154
    The more general form is show_diff_trees(), where the caller
165
155
    supplies any two trees.
166
156
    """
167
 
    import sys
168
 
 
169
 
    if revision == None:
170
 
        old_tree = b.basis_tree()
171
 
    else:
172
 
        old_tree = b.revision_tree(b.lookup_revision(revision))
173
 
        
174
 
    new_tree = b.working_tree()
175
 
 
176
 
    show_diff_trees(old_tree, new_tree, sys.stdout, specific_files,
177
 
                    external_diff_options)
 
157
    if output is None:
 
158
        import sys
 
159
        output = sys.stdout
 
160
 
 
161
    if from_spec is None:
 
162
        if b2 is None:
 
163
            old_tree = b.basis_tree()
 
164
        else:
 
165
            old_tree = b.working_tree()
 
166
    else:
 
167
        old_tree = b.revision_tree(from_spec.in_history(b).rev_id)
 
168
 
 
169
    if revision2 is None:
 
170
        if b2 is None:
 
171
            new_tree = b.working_tree()
 
172
        else:
 
173
            new_tree = b2.working_tree()
 
174
    else:
 
175
        new_tree = b.revision_tree(revision2.in_history(b).rev_id)
 
176
 
 
177
    return show_diff_trees(old_tree, new_tree, output, specific_files,
 
178
                           external_diff_options)
178
179
 
179
180
 
180
181
 
213
214
    delta = compare_trees(old_tree, new_tree, want_unchanged=False,
214
215
                          specific_files=specific_files)
215
216
 
 
217
    has_changes = 0
216
218
    for path, file_id, kind in delta.removed:
217
 
        print >>to_file, '*** removed %s %r' % (kind, path)
218
 
        if kind == 'file':
219
 
            diff_file(old_label + path,
220
 
                      old_tree.get_file(file_id).readlines(),
221
 
                      DEVNULL, 
222
 
                      [],
223
 
                      to_file)
224
 
 
 
219
        has_changes = 1
 
220
        print >>to_file, '=== removed %s %r' % (kind, path)
 
221
        old_tree.inventory[file_id].diff(diff_file, old_label + path, old_tree,
 
222
                                         DEVNULL, None, None, to_file)
225
223
    for path, file_id, kind in delta.added:
226
 
        print >>to_file, '*** added %s %r' % (kind, path)
227
 
        if kind == 'file':
228
 
            diff_file(DEVNULL,
229
 
                      [],
230
 
                      new_label + path,
231
 
                      new_tree.get_file(file_id).readlines(),
232
 
                      to_file)
233
 
 
234
 
    for old_path, new_path, file_id, kind, text_modified in delta.renamed:
235
 
        print >>to_file, '*** renamed %s %r => %r' % (kind, old_path, new_path)
 
224
        has_changes = 1
 
225
        print >>to_file, '=== added %s %r' % (kind, path)
 
226
        new_tree.inventory[file_id].diff(diff_file, new_label + path, new_tree,
 
227
                                         DEVNULL, None, None, to_file, 
 
228
                                         reverse=True)
 
229
    for (old_path, new_path, file_id, kind,
 
230
         text_modified, meta_modified) in delta.renamed:
 
231
        has_changes = 1
 
232
        prop_str = get_prop_change(meta_modified)
 
233
        print >>to_file, '=== renamed %s %r => %r%s' % (
 
234
                          kind, old_path, new_path, prop_str)
 
235
        _maybe_diff_file_or_symlink(old_label, old_path, old_tree, file_id,
 
236
                                    new_label, new_path, new_tree,
 
237
                                    text_modified, kind, to_file, diff_file)
 
238
    for path, file_id, kind, text_modified, meta_modified in delta.modified:
 
239
        has_changes = 1
 
240
        prop_str = get_prop_change(meta_modified)
 
241
        print >>to_file, '=== modified %s %r%s' % (kind, path, prop_str)
236
242
        if text_modified:
237
 
            diff_file(old_label + old_path,
238
 
                      old_tree.get_file(file_id).readlines(),
239
 
                      new_label + new_path,
240
 
                      new_tree.get_file(file_id).readlines(),
241
 
                      to_file)
242
 
 
243
 
    for path, file_id, kind in delta.modified:
244
 
        print >>to_file, '*** modified %s %r' % (kind, path)
245
 
        if kind == 'file':
246
 
            diff_file(old_label + path,
247
 
                      old_tree.get_file(file_id).readlines(),
248
 
                      new_label + path,
249
 
                      new_tree.get_file(file_id).readlines(),
250
 
                      to_file)
251
 
 
252
 
 
253
 
 
254
 
class TreeDelta(object):
255
 
    """Describes changes from one tree to another.
256
 
 
257
 
    Contains four lists:
258
 
 
259
 
    added
260
 
        (path, id, kind)
261
 
    removed
262
 
        (path, id, kind)
263
 
    renamed
264
 
        (oldpath, newpath, id, kind, text_modified)
265
 
    modified
266
 
        (path, id, kind)
267
 
    unchanged
268
 
        (path, id, kind)
269
 
 
270
 
    Each id is listed only once.
271
 
 
272
 
    Files that are both modified and renamed are listed only in
273
 
    renamed, with the text_modified flag true.
274
 
 
275
 
    Files are only considered renamed if their name has changed or
276
 
    their parent directory has changed.  Renaming a directory
277
 
    does not count as renaming all its contents.
278
 
 
279
 
    The lists are normally sorted when the delta is created.
280
 
    """
281
 
    def __init__(self):
282
 
        self.added = []
283
 
        self.removed = []
284
 
        self.renamed = []
285
 
        self.modified = []
286
 
        self.unchanged = []
287
 
 
288
 
    def __eq__(self, other):
289
 
        if not isinstance(other, TreeDelta):
290
 
            return False
291
 
        return self.added == other.added \
292
 
               and self.removed == other.removed \
293
 
               and self.renamed == other.renamed \
294
 
               and self.modified == other.modified \
295
 
               and self.unchanged == other.unchanged
296
 
 
297
 
    def __ne__(self, other):
298
 
        return not (self == other)
299
 
 
300
 
    def __repr__(self):
301
 
        return "TreeDelta(added=%r, removed=%r, renamed=%r, modified=%r," \
302
 
            " unchanged=%r)" % (self.added, self.removed, self.renamed,
303
 
            self.modified, self.unchanged)
304
 
 
305
 
    def has_changed(self):
306
 
        changes = len(self.added) + len(self.removed) + len(self.renamed)
307
 
        changes += len(self.modified) 
308
 
        return (changes != 0)
309
 
 
310
 
    def touches_file_id(self, file_id):
311
 
        """Return True if file_id is modified by this delta."""
312
 
        for l in self.added, self.removed, self.modified:
313
 
            for v in l:
314
 
                if v[1] == file_id:
315
 
                    return True
316
 
        for v in self.renamed:
317
 
            if v[2] == file_id:
318
 
                return True
319
 
        return False
320
 
            
321
 
 
322
 
    def show(self, to_file, show_ids=False, show_unchanged=False):
323
 
        def show_list(files):
324
 
            for path, fid, kind in files:
325
 
                if kind == 'directory':
326
 
                    path += '/'
327
 
                elif kind == 'symlink':
328
 
                    path += '@'
329
 
                    
330
 
                if show_ids:
331
 
                    print >>to_file, '  %-30s %s' % (path, fid)
332
 
                else:
333
 
                    print >>to_file, ' ', path
334
 
            
335
 
        if self.removed:
336
 
            print >>to_file, 'removed:'
337
 
            show_list(self.removed)
338
 
                
339
 
        if self.added:
340
 
            print >>to_file, 'added:'
341
 
            show_list(self.added)
342
 
 
343
 
        if self.renamed:
344
 
            print >>to_file, 'renamed:'
345
 
            for oldpath, newpath, fid, kind, text_modified in self.renamed:
346
 
                if show_ids:
347
 
                    print >>to_file, '  %s => %s %s' % (oldpath, newpath, fid)
348
 
                else:
349
 
                    print >>to_file, '  %s => %s' % (oldpath, newpath)
350
 
                    
351
 
        if self.modified:
352
 
            print >>to_file, 'modified:'
353
 
            show_list(self.modified)
354
 
            
355
 
        if show_unchanged and self.unchanged:
356
 
            print >>to_file, 'unchanged:'
357
 
            show_list(self.unchanged)
358
 
 
359
 
 
360
 
 
361
 
def compare_trees(old_tree, new_tree, want_unchanged=False, specific_files=None):
362
 
    """Describe changes from one tree to another.
363
 
 
364
 
    Returns a TreeDelta with details of added, modified, renamed, and
365
 
    deleted entries.
366
 
 
367
 
    The root entry is specifically exempt.
368
 
 
369
 
    This only considers versioned files.
370
 
 
371
 
    want_unchanged
372
 
        If true, also list files unchanged from one version to
373
 
        the next.
374
 
 
375
 
    specific_files
376
 
        If true, only check for changes to specified names or
377
 
        files within them.
378
 
    """
379
 
 
380
 
    from osutils import is_inside_any
 
243
            _maybe_diff_file_or_symlink(old_label, path, old_tree, file_id,
 
244
                                        new_label, path, new_tree,
 
245
                                        True, kind, to_file, diff_file)
 
246
    return has_changes
381
247
    
382
 
    old_inv = old_tree.inventory
383
 
    new_inv = new_tree.inventory
384
 
    delta = TreeDelta()
385
 
    mutter('start compare_trees')
386
 
 
387
 
    # TODO: match for specific files can be rather smarter by finding
388
 
    # the IDs of those files up front and then considering only that.
389
 
 
390
 
    for file_id in old_tree:
391
 
        if file_id in new_tree:
392
 
            old_ie = old_inv[file_id]
393
 
            new_ie = new_inv[file_id]
394
 
 
395
 
            kind = old_ie.kind
396
 
            assert kind == new_ie.kind
397
 
            
398
 
            assert kind in ('file', 'directory', 'symlink', 'root_directory'), \
399
 
                   'invalid file kind %r' % kind
400
 
 
401
 
            if kind == 'root_directory':
402
 
                continue
403
 
            
404
 
            if specific_files:
405
 
                if (not is_inside_any(specific_files, old_inv.id2path(file_id)) 
406
 
                    and not is_inside_any(specific_files, new_inv.id2path(file_id))):
407
 
                    continue
408
 
 
409
 
            if kind == 'file':
410
 
                old_sha1 = old_tree.get_file_sha1(file_id)
411
 
                new_sha1 = new_tree.get_file_sha1(file_id)
412
 
                text_modified = (old_sha1 != new_sha1)
413
 
            else:
414
 
                ## mutter("no text to check for %r %r" % (file_id, kind))
415
 
                text_modified = False
416
 
 
417
 
            # TODO: Can possibly avoid calculating path strings if the
418
 
            # two files are unchanged and their names and parents are
419
 
            # the same and the parents are unchanged all the way up.
420
 
            # May not be worthwhile.
421
 
            
422
 
            if (old_ie.name != new_ie.name
423
 
                or old_ie.parent_id != new_ie.parent_id):
424
 
                delta.renamed.append((old_inv.id2path(file_id),
425
 
                                      new_inv.id2path(file_id),
426
 
                                      file_id, kind,
427
 
                                      text_modified))
428
 
            elif text_modified:
429
 
                delta.modified.append((new_inv.id2path(file_id), file_id, kind))
430
 
            elif want_unchanged:
431
 
                delta.unchanged.append((new_inv.id2path(file_id), file_id, kind))
432
 
        else:
433
 
            kind = old_inv.get_file_kind(file_id)
434
 
            old_path = old_inv.id2path(file_id)
435
 
            if specific_files:
436
 
                if not is_inside_any(specific_files, old_path):
437
 
                    continue
438
 
            delta.removed.append((old_path, file_id, kind))
439
 
 
440
 
    mutter('start looking for new files')
441
 
    for file_id in new_inv:
442
 
        if file_id in old_inv:
443
 
            continue
444
 
        new_path = new_inv.id2path(file_id)
445
 
        if specific_files:
446
 
            if not is_inside_any(specific_files, new_path):
447
 
                continue
448
 
        kind = new_inv.get_file_kind(file_id)
449
 
        delta.added.append((new_path, file_id, kind))
450
 
            
451
 
    delta.removed.sort()
452
 
    delta.added.sort()
453
 
    delta.renamed.sort()
454
 
    delta.modified.sort()
455
 
    delta.unchanged.sort()
456
 
 
457
 
    return delta
 
248
 
 
249
def get_prop_change(meta_modified):
 
250
    if meta_modified:
 
251
        return " (properties changed)"
 
252
    else:
 
253
        return  ""
 
254
 
 
255
 
 
256
def _maybe_diff_file_or_symlink(old_label, old_path, old_tree, file_id,
 
257
                                new_label, new_path, new_tree, text_modified,
 
258
                                kind, to_file, diff_file):
 
259
    if text_modified:
 
260
        new_entry = new_tree.inventory[file_id]
 
261
        old_tree.inventory[file_id].diff(diff_file,
 
262
                                         old_label + old_path, old_tree,
 
263
                                         new_label + new_path, new_entry, 
 
264
                                         new_tree, to_file)