~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/diff.py

  • Committer: John Arbash Meinel
  • Date: 2005-09-15 21:35:53 UTC
  • mfrom: (907.1.57)
  • mto: (1393.2.1)
  • mto: This revision was merged to the branch mainline in revision 1396.
  • Revision ID: john@arbash-meinel.com-20050915213552-a6c83a5ef1e20897
(broken) Transport work is merged in. Tests do not pass yet.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
#! /usr/bin/env python
2
1
# -*- coding: UTF-8 -*-
3
2
 
4
3
# This program is free software; you can redistribute it and/or modify
15
14
# along with this program; if not, write to the Free Software
16
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
16
 
18
 
from sets import Set
19
 
 
20
 
from trace import mutter
21
 
 
22
 
 
23
 
 
24
 
 
25
 
 
26
 
 
27
 
def diff_trees(old_tree, new_tree):
28
 
    """Compute diff between two trees.
29
 
 
30
 
    They may be in different branches and may be working or historical
31
 
    trees.
32
 
 
33
 
    Yields a sequence of (state, id, old_name, new_name, kind).
34
 
    Each filename and each id is listed only once.
35
 
    """
36
 
 
37
 
    ## TODO: Compare files before diffing; only mention those that have changed
38
 
 
39
 
    ## TODO: Set nice names in the headers, maybe include diffstat
40
 
 
41
 
    ## TODO: Perhaps make this a generator rather than using
42
 
    ## a callback object?
43
 
 
44
 
    ## TODO: Allow specifying a list of files to compare, rather than
45
 
    ## doing the whole tree?  (Not urgent.)
46
 
 
47
 
    ## TODO: Allow diffing any two inventories, not just the
48
 
    ## current one against one.  We mgiht need to specify two
49
 
    ## stores to look for the files if diffing two branches.  That
50
 
    ## might imply this shouldn't be primarily a Branch method.
51
 
 
52
 
    ## XXX: This doesn't report on unknown files; that can be done
53
 
    ## from a separate method.
54
 
 
55
 
    old_it = old_tree.list_files()
56
 
    new_it = new_tree.list_files()
57
 
 
58
 
    def next(it):
59
 
        try:
60
 
            return it.next()
61
 
        except StopIteration:
62
 
            return None
63
 
 
64
 
    old_item = next(old_it)
65
 
    new_item = next(new_it)
66
 
 
67
 
    # We step through the two sorted iterators in parallel, trying to
68
 
    # keep them lined up.
69
 
 
70
 
    while (old_item != None) or (new_item != None):
71
 
        # OK, we still have some remaining on both, but they may be
72
 
        # out of step.        
73
 
        if old_item != None:
74
 
            old_name, old_class, old_kind, old_id = old_item
75
 
        else:
76
 
            old_name = None
77
 
            
78
 
        if new_item != None:
79
 
            new_name, new_class, new_kind, new_id = new_item
80
 
        else:
81
 
            new_name = None
82
 
 
83
 
        mutter("   diff pairwise %r" % (old_item,))
84
 
        mutter("                 %r" % (new_item,))
85
 
 
86
 
        if old_item:
87
 
            # can't handle the old tree being a WorkingTree
88
 
            assert old_class == 'V'
89
 
 
90
 
        if new_item and (new_class != 'V'):
91
 
            yield new_class, None, None, new_name, new_kind
92
 
            new_item = next(new_it)
93
 
        elif (not new_item) or (old_item and (old_name < new_name)):
94
 
            mutter("     extra entry in old-tree sequence")
95
 
            if new_tree.has_id(old_id):
96
 
                # will be mentioned as renamed under new name
97
 
                pass
98
 
            else:
99
 
                yield 'D', old_id, old_name, None, old_kind
100
 
            old_item = next(old_it)
101
 
        elif (not old_item) or (new_item and (new_name < old_name)):
102
 
            mutter("     extra entry in new-tree sequence")
103
 
            if old_tree.has_id(new_id):
104
 
                yield 'R', new_id, old_tree.id2path(new_id), new_name, new_kind
105
 
            else:
106
 
                yield 'A', new_id, None, new_name, new_kind
107
 
            new_item = next(new_it)
108
 
        elif old_id != new_id:
109
 
            assert old_name == new_name
110
 
            # both trees have a file of this name, but it is not the
111
 
            # same file.  in other words, the old filename has been
112
 
            # overwritten by either a newly-added or a renamed file.
113
 
            # (should we return something about the overwritten file?)
114
 
            if old_tree.has_id(new_id):
115
 
                # renaming, overlying a deleted file
116
 
                yield 'R', new_id, old_tree.id2path(new_id), new_name, new_kind
117
 
            else:
118
 
                yield 'A', new_id, None, new_name, new_kind
119
 
 
120
 
            new_item = next(new_it)
121
 
            old_item = next(old_it)
122
 
        else:
123
 
            assert old_id == new_id
124
 
            assert old_id != None
125
 
            assert old_name == new_name
126
 
            assert old_kind == new_kind
127
 
 
128
 
            if old_kind == 'directory':
129
 
                yield '.', new_id, old_name, new_name, new_kind
130
 
            elif old_tree.get_file_size(old_id) != new_tree.get_file_size(old_id):
131
 
                mutter("    file size has changed, must be different")
132
 
                yield 'M', new_id, old_name, new_name, new_kind
133
 
            elif old_tree.get_file_sha1(old_id) == new_tree.get_file_sha1(old_id):
134
 
                mutter("      SHA1 indicates they're identical")
135
 
                ## assert compare_files(old_tree.get_file(i), new_tree.get_file(i))
136
 
                yield '.', new_id, old_name, new_name, new_kind
137
 
            else:
138
 
                mutter("      quick compare shows different")
139
 
                yield 'M', new_id, old_name, new_name, new_kind
140
 
 
141
 
            new_item = next(new_it)
142
 
            old_item = next(old_it)
 
17
from bzrlib.trace import mutter
 
18
from bzrlib.errors import BzrError
 
19
from bzrlib.delta import compare_trees
 
20
 
 
21
# TODO: Rather than building a changeset object, we should probably
 
22
# invoke callbacks on an object.  That object can either accumulate a
 
23
# list, write them out directly, etc etc.
 
24
 
 
25
def internal_diff(old_label, oldlines, new_label, newlines, to_file):
 
26
    import difflib
 
27
    
 
28
    # FIXME: difflib is wrong if there is no trailing newline.
 
29
    # The syntax used by patch seems to be "\ No newline at
 
30
    # end of file" following the last diff line from that
 
31
    # file.  This is not trivial to insert into the
 
32
    # unified_diff output and it might be better to just fix
 
33
    # or replace that function.
 
34
 
 
35
    # In the meantime we at least make sure the patch isn't
 
36
    # mangled.
 
37
 
 
38
 
 
39
    # Special workaround for Python2.3, where difflib fails if
 
40
    # both sequences are empty.
 
41
    if not oldlines and not newlines:
 
42
        return
 
43
 
 
44
    ud = difflib.unified_diff(oldlines, newlines,
 
45
                              fromfile=old_label, tofile=new_label)
 
46
 
 
47
    ud = list(ud)
 
48
    # work-around for difflib being too smart for its own good
 
49
    # if /dev/null is "1,0", patch won't recognize it as /dev/null
 
50
    if not oldlines:
 
51
        ud[2] = ud[2].replace('-1,0', '-0,0')
 
52
    elif not newlines:
 
53
        ud[2] = ud[2].replace('+1,0', '+0,0')
 
54
    # work around for difflib emitting random spaces after the label
 
55
    ud[0] = ud[0][:-2] + '\n'
 
56
    ud[1] = ud[1][:-2] + '\n'
 
57
 
 
58
    for line in ud:
 
59
        to_file.write(line)
 
60
        if not line.endswith('\n'):
 
61
            to_file.write("\n\\ No newline at end of file\n")
 
62
    print >>to_file
 
63
 
 
64
 
 
65
 
 
66
 
 
67
def external_diff(old_label, oldlines, new_label, newlines, to_file,
 
68
                  diff_opts):
 
69
    """Display a diff by calling out to the external diff program."""
 
70
    import sys
 
71
    
 
72
    if to_file != sys.stdout:
 
73
        raise NotImplementedError("sorry, can't send external diff other than to stdout yet",
 
74
                                  to_file)
 
75
 
 
76
    # make sure our own output is properly ordered before the diff
 
77
    to_file.flush()
 
78
 
 
79
    from tempfile import NamedTemporaryFile
 
80
    import os
 
81
 
 
82
    oldtmpf = NamedTemporaryFile()
 
83
    newtmpf = NamedTemporaryFile()
 
84
 
 
85
    try:
 
86
        # TODO: perhaps a special case for comparing to or from the empty
 
87
        # sequence; can just use /dev/null on Unix
 
88
 
 
89
        # TODO: if either of the files being compared already exists as a
 
90
        # regular named file (e.g. in the working directory) then we can
 
91
        # compare directly to that, rather than copying it.
 
92
 
 
93
        oldtmpf.writelines(oldlines)
 
94
        newtmpf.writelines(newlines)
 
95
 
 
96
        oldtmpf.flush()
 
97
        newtmpf.flush()
 
98
 
 
99
        if not diff_opts:
 
100
            diff_opts = []
 
101
        diffcmd = ['diff',
 
102
                   '--label', old_label,
 
103
                   oldtmpf.name,
 
104
                   '--label', new_label,
 
105
                   newtmpf.name]
 
106
 
 
107
        # diff only allows one style to be specified; they don't override.
 
108
        # note that some of these take optargs, and the optargs can be
 
109
        # directly appended to the options.
 
110
        # this is only an approximate parser; it doesn't properly understand
 
111
        # the grammar.
 
112
        for s in ['-c', '-u', '-C', '-U',
 
113
                  '-e', '--ed',
 
114
                  '-q', '--brief',
 
115
                  '--normal',
 
116
                  '-n', '--rcs',
 
117
                  '-y', '--side-by-side',
 
118
                  '-D', '--ifdef']:
 
119
            for j in diff_opts:
 
120
                if j.startswith(s):
 
121
                    break
 
122
            else:
 
123
                continue
 
124
            break
 
125
        else:
 
126
            diffcmd.append('-u')
 
127
                  
 
128
        if diff_opts:
 
129
            diffcmd.extend(diff_opts)
 
130
 
 
131
        rc = os.spawnvp(os.P_WAIT, 'diff', diffcmd)
 
132
        
 
133
        if rc != 0 and rc != 1:
 
134
            # returns 1 if files differ; that's OK
 
135
            if rc < 0:
 
136
                msg = 'signal %d' % (-rc)
 
137
            else:
 
138
                msg = 'exit code %d' % rc
 
139
                
 
140
            raise BzrError('external diff failed with %s; command: %r' % (rc, diffcmd))
 
141
    finally:
 
142
        oldtmpf.close()                 # and delete
 
143
        newtmpf.close()
 
144
    
 
145
 
 
146
 
 
147
def show_diff(b, revision, specific_files, external_diff_options=None,
 
148
              revision2=None, output=None):
 
149
    """Shortcut for showing the diff to the working tree.
 
150
 
 
151
    b
 
152
        Branch.
 
153
 
 
154
    revision
 
155
        None for each, or otherwise the old revision to compare against.
 
156
    
 
157
    The more general form is show_diff_trees(), where the caller
 
158
    supplies any two trees.
 
159
    """
 
160
    if output is None:
 
161
        import sys
 
162
        output = sys.stdout
 
163
 
 
164
    if revision == None:
 
165
        old_tree = b.basis_tree()
 
166
    else:
 
167
        old_tree = b.revision_tree(b.lookup_revision(revision))
 
168
 
 
169
    if revision2 == None:
 
170
        new_tree = b.working_tree()
 
171
    else:
 
172
        new_tree = b.revision_tree(b.lookup_revision(revision2))
 
173
 
 
174
    show_diff_trees(old_tree, new_tree, output, specific_files,
 
175
                    external_diff_options)
 
176
 
 
177
 
 
178
 
 
179
def show_diff_trees(old_tree, new_tree, to_file, specific_files=None,
 
180
                    external_diff_options=None):
 
181
    """Show in text form the changes from one tree to another.
 
182
 
 
183
    to_files
 
184
        If set, include only changes to these files.
 
185
 
 
186
    external_diff_options
 
187
        If set, use an external GNU diff and pass these options.
 
188
    """
 
189
 
 
190
    # TODO: Options to control putting on a prefix or suffix, perhaps as a format string
 
191
    old_label = ''
 
192
    new_label = ''
 
193
 
 
194
    DEVNULL = '/dev/null'
 
195
    # Windows users, don't panic about this filename -- it is a
 
196
    # special signal to GNU patch that the file should be created or
 
197
    # deleted respectively.
 
198
 
 
199
    # TODO: Generation of pseudo-diffs for added/deleted files could
 
200
    # be usefully made into a much faster special case.
 
201
 
 
202
    if external_diff_options:
 
203
        assert isinstance(external_diff_options, basestring)
 
204
        opts = external_diff_options.split()
 
205
        def diff_file(olab, olines, nlab, nlines, to_file):
 
206
            external_diff(olab, olines, nlab, nlines, to_file, opts)
 
207
    else:
 
208
        diff_file = internal_diff
 
209
    
 
210
 
 
211
    delta = compare_trees(old_tree, new_tree, want_unchanged=False,
 
212
                          specific_files=specific_files)
 
213
 
 
214
    for path, file_id, kind in delta.removed:
 
215
        print >>to_file, '=== removed %s %r' % (kind, path)
 
216
        if kind == 'file':
 
217
            diff_file(old_label + path,
 
218
                      old_tree.get_file(file_id).readlines(),
 
219
                      DEVNULL, 
 
220
                      [],
 
221
                      to_file)
 
222
 
 
223
    for path, file_id, kind in delta.added:
 
224
        print >>to_file, '=== added %s %r' % (kind, path)
 
225
        if kind == 'file':
 
226
            diff_file(DEVNULL,
 
227
                      [],
 
228
                      new_label + path,
 
229
                      new_tree.get_file(file_id).readlines(),
 
230
                      to_file)
 
231
 
 
232
    for old_path, new_path, file_id, kind, text_modified in delta.renamed:
 
233
        print >>to_file, '=== renamed %s %r => %r' % (kind, old_path, new_path)
 
234
        if text_modified:
 
235
            diff_file(old_label + old_path,
 
236
                      old_tree.get_file(file_id).readlines(),
 
237
                      new_label + new_path,
 
238
                      new_tree.get_file(file_id).readlines(),
 
239
                      to_file)
 
240
 
 
241
    for path, file_id, kind in delta.modified:
 
242
        print >>to_file, '=== modified %s %r' % (kind, path)
 
243
        if kind == 'file':
 
244
            diff_file(old_label + path,
 
245
                      old_tree.get_file(file_id).readlines(),
 
246
                      new_label + path,
 
247
                      new_tree.get_file(file_id).readlines(),
 
248
                      to_file)
 
249
 
 
250
 
 
251
 
143
252
 
144
253