~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/diff.py

  • Committer: Robert Collins
  • Date: 2005-08-23 06:52:09 UTC
  • mto: (974.1.50) (1185.1.10) (1092.3.1)
  • mto: This revision was merged to the branch mainline in revision 1139.
  • Revision ID: robertc@robertcollins.net-20050823065209-81cd5962c401751b
move io redirection into each test case from the global runner

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2004, 2005, 2006 Canonical Ltd.
2
 
#
 
1
#! /usr/bin/env python
 
2
# -*- coding: UTF-8 -*-
 
3
 
3
4
# This program is free software; you can redistribute it and/or modify
4
5
# it under the terms of the GNU General Public License as published by
5
6
# the Free Software Foundation; either version 2 of the License, or
6
7
# (at your option) any later version.
7
 
#
 
8
 
8
9
# This program is distributed in the hope that it will be useful,
9
10
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
11
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
12
# GNU General Public License for more details.
12
 
#
 
13
 
13
14
# You should have received a copy of the GNU General Public License
14
15
# along with this program; if not, write to the Free Software
15
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
17
 
17
 
import errno
18
 
import os
19
 
import subprocess
20
 
import sys
21
 
import tempfile
22
 
import time
23
 
 
24
 
# compatability - plugins import compare_trees from diff!!!
25
 
# deprecated as of 0.10
 
18
from bzrlib.trace import mutter
 
19
from bzrlib.errors import BzrError
26
20
from bzrlib.delta import compare_trees
27
 
from bzrlib.errors import BzrError
28
 
import bzrlib.errors as errors
29
 
import bzrlib.osutils
30
 
from bzrlib.patiencediff import unified_diff
31
 
import bzrlib.patiencediff
32
 
from bzrlib.symbol_versioning import (deprecated_function,
33
 
        zero_eight)
34
 
from bzrlib.textfile import check_text_lines
35
 
from bzrlib.trace import mutter, warning
36
 
 
37
21
 
38
22
# TODO: Rather than building a changeset object, we should probably
39
23
# invoke callbacks on an object.  That object can either accumulate a
40
24
# list, write them out directly, etc etc.
41
25
 
42
 
def internal_diff(old_filename, oldlines, new_filename, newlines, to_file,
43
 
                  allow_binary=False, sequence_matcher=None,
44
 
                  path_encoding='utf8'):
 
26
def internal_diff(old_label, oldlines, new_label, newlines, to_file):
 
27
    import difflib
 
28
    
45
29
    # FIXME: difflib is wrong if there is no trailing newline.
46
30
    # The syntax used by patch seems to be "\ No newline at
47
31
    # end of file" following the last diff line from that
57
41
    # both sequences are empty.
58
42
    if not oldlines and not newlines:
59
43
        return
60
 
    
61
 
    if allow_binary is False:
62
 
        check_text_lines(oldlines)
63
 
        check_text_lines(newlines)
64
 
 
65
 
    if sequence_matcher is None:
66
 
        sequence_matcher = bzrlib.patiencediff.PatienceSequenceMatcher
67
 
    ud = unified_diff(oldlines, newlines,
68
 
                      fromfile=old_filename.encode(path_encoding),
69
 
                      tofile=new_filename.encode(path_encoding),
70
 
                      sequencematcher=sequence_matcher)
71
 
 
72
 
    ud = list(ud)
 
44
 
 
45
    ud = difflib.unified_diff(oldlines, newlines,
 
46
                              fromfile=old_label, tofile=new_label)
 
47
 
73
48
    # work-around for difflib being too smart for its own good
74
49
    # if /dev/null is "1,0", patch won't recognize it as /dev/null
75
50
    if not oldlines:
 
51
        ud = list(ud)
76
52
        ud[2] = ud[2].replace('-1,0', '-0,0')
77
53
    elif not newlines:
 
54
        ud = list(ud)
78
55
        ud[2] = ud[2].replace('+1,0', '+0,0')
79
 
    # work around for difflib emitting random spaces after the label
80
 
    ud[0] = ud[0][:-2] + '\n'
81
 
    ud[1] = ud[1][:-2] + '\n'
82
56
 
83
57
    for line in ud:
84
58
        to_file.write(line)
87
61
    print >>to_file
88
62
 
89
63
 
90
 
def external_diff(old_filename, oldlines, new_filename, newlines, to_file,
 
64
 
 
65
 
 
66
def external_diff(old_label, oldlines, new_label, newlines, to_file,
91
67
                  diff_opts):
92
68
    """Display a diff by calling out to the external diff program."""
93
 
    if hasattr(to_file, 'fileno'):
94
 
        out_file = to_file
95
 
        have_fileno = True
96
 
    else:
97
 
        out_file = subprocess.PIPE
98
 
        have_fileno = False
 
69
    import sys
99
70
    
 
71
    if to_file != sys.stdout:
 
72
        raise NotImplementedError("sorry, can't send external diff other than to stdout yet",
 
73
                                  to_file)
 
74
 
100
75
    # make sure our own output is properly ordered before the diff
101
76
    to_file.flush()
102
77
 
103
 
    oldtmp_fd, old_abspath = tempfile.mkstemp(prefix='bzr-diff-old-')
104
 
    newtmp_fd, new_abspath = tempfile.mkstemp(prefix='bzr-diff-new-')
105
 
    oldtmpf = os.fdopen(oldtmp_fd, 'wb')
106
 
    newtmpf = os.fdopen(newtmp_fd, 'wb')
 
78
    from tempfile import NamedTemporaryFile
 
79
    import os
 
80
 
 
81
    oldtmpf = NamedTemporaryFile()
 
82
    newtmpf = NamedTemporaryFile()
107
83
 
108
84
    try:
109
85
        # TODO: perhaps a special case for comparing to or from the empty
116
92
        oldtmpf.writelines(oldlines)
117
93
        newtmpf.writelines(newlines)
118
94
 
119
 
        oldtmpf.close()
120
 
        newtmpf.close()
 
95
        oldtmpf.flush()
 
96
        newtmpf.flush()
121
97
 
122
98
        if not diff_opts:
123
99
            diff_opts = []
124
100
        diffcmd = ['diff',
125
 
                   '--label', old_filename,
126
 
                   old_abspath,
127
 
                   '--label', new_filename,
128
 
                   new_abspath,
129
 
                   '--binary',
130
 
                  ]
 
101
                   '--label', old_label,
 
102
                   oldtmpf.name,
 
103
                   '--label', new_label,
 
104
                   newtmpf.name]
131
105
 
132
106
        # diff only allows one style to be specified; they don't override.
133
107
        # note that some of these take optargs, and the optargs can be
153
127
        if diff_opts:
154
128
            diffcmd.extend(diff_opts)
155
129
 
156
 
        try:
157
 
            pipe = subprocess.Popen(diffcmd,
158
 
                                    stdin=subprocess.PIPE,
159
 
                                    stdout=out_file)
160
 
        except OSError, e:
161
 
            if e.errno == errno.ENOENT:
162
 
                raise errors.NoDiff(str(e))
163
 
            raise
164
 
        pipe.stdin.close()
165
 
 
166
 
        if not have_fileno:
167
 
            bzrlib.osutils.pumpfile(pipe.stdout, to_file)
168
 
        rc = pipe.wait()
 
130
        rc = os.spawnvp(os.P_WAIT, 'diff', diffcmd)
169
131
        
170
132
        if rc != 0 and rc != 1:
171
133
            # returns 1 if files differ; that's OK
178
140
    finally:
179
141
        oldtmpf.close()                 # and delete
180
142
        newtmpf.close()
181
 
        # Clean up. Warn in case the files couldn't be deleted
182
 
        # (in case windows still holds the file open, but not
183
 
        # if the files have already been deleted)
184
 
        try:
185
 
            os.remove(old_abspath)
186
 
        except OSError, e:
187
 
            if e.errno not in (errno.ENOENT,):
188
 
                warning('Failed to delete temporary file: %s %s',
189
 
                        old_abspath, e)
190
 
        try:
191
 
            os.remove(new_abspath)
192
 
        except OSError:
193
 
            if e.errno not in (errno.ENOENT,):
194
 
                warning('Failed to delete temporary file: %s %s',
195
 
                        new_abspath, e)
196
 
 
197
 
 
198
 
@deprecated_function(zero_eight)
199
 
def show_diff(b, from_spec, specific_files, external_diff_options=None,
200
 
              revision2=None, output=None, b2=None):
 
143
    
 
144
 
 
145
 
 
146
def show_diff(b, revision, specific_files, external_diff_options=None,
 
147
              revision2=None):
201
148
    """Shortcut for showing the diff to the working tree.
202
149
 
203
 
    Please use show_diff_trees instead.
204
 
 
205
150
    b
206
151
        Branch.
207
152
 
208
153
    revision
209
 
        None for 'basis tree', or otherwise the old revision to compare against.
210
 
    
211
 
    The more general form is show_diff_trees(), where the caller
212
 
    supplies any two trees.
213
 
    """
214
 
    if output is None:
215
 
        output = sys.stdout
216
 
 
217
 
    if from_spec is None:
218
 
        old_tree = b.bzrdir.open_workingtree()
219
 
        if b2 is None:
220
 
            old_tree = old_tree = old_tree.basis_tree()
221
 
    else:
222
 
        old_tree = b.repository.revision_tree(from_spec.in_history(b).rev_id)
223
 
 
224
 
    if revision2 is None:
225
 
        if b2 is None:
226
 
            new_tree = b.bzrdir.open_workingtree()
227
 
        else:
228
 
            new_tree = b2.bzrdir.open_workingtree()
229
 
    else:
230
 
        new_tree = b.repository.revision_tree(revision2.in_history(b).rev_id)
231
 
 
232
 
    return show_diff_trees(old_tree, new_tree, output, specific_files,
233
 
                           external_diff_options)
234
 
 
235
 
 
236
 
def diff_cmd_helper(tree, specific_files, external_diff_options, 
237
 
                    old_revision_spec=None, new_revision_spec=None,
238
 
                    old_label='a/', new_label='b/'):
239
 
    """Helper for cmd_diff.
240
 
 
241
 
   tree 
242
 
        A WorkingTree
243
 
 
244
 
    specific_files
245
 
        The specific files to compare, or None
246
 
 
247
 
    external_diff_options
248
 
        If non-None, run an external diff, and pass it these options
249
 
 
250
 
    old_revision_spec
251
 
        If None, use basis tree as old revision, otherwise use the tree for
252
 
        the specified revision. 
253
 
 
254
 
    new_revision_spec
255
 
        If None, use working tree as new revision, otherwise use the tree for
256
 
        the specified revision.
257
 
    
258
 
    The more general form is show_diff_trees(), where the caller
259
 
    supplies any two trees.
260
 
    """
261
 
    def spec_tree(spec):
262
 
        if tree:
263
 
            revision = spec.in_store(tree.branch)
264
 
        else:
265
 
            revision = spec.in_store(None)
266
 
        revision_id = revision.rev_id
267
 
        branch = revision.branch
268
 
        return branch.repository.revision_tree(revision_id)
269
 
    if old_revision_spec is None:
270
 
        old_tree = tree.basis_tree()
271
 
    else:
272
 
        old_tree = spec_tree(old_revision_spec)
273
 
 
274
 
    if new_revision_spec is None:
275
 
        new_tree = tree
276
 
    else:
277
 
        new_tree = spec_tree(new_revision_spec)
278
 
    if new_tree is not tree:
279
 
        extra_trees = (tree,)
280
 
    else:
281
 
        extra_trees = None
282
 
 
283
 
    return show_diff_trees(old_tree, new_tree, sys.stdout, specific_files,
284
 
                           external_diff_options,
285
 
                           old_label=old_label, new_label=new_label,
286
 
                           extra_trees=extra_trees)
 
154
        None for each, or otherwise the old revision to compare against.
 
155
    
 
156
    The more general form is show_diff_trees(), where the caller
 
157
    supplies any two trees.
 
158
    """
 
159
    import sys
 
160
 
 
161
    if revision == None:
 
162
        old_tree = b.basis_tree()
 
163
    else:
 
164
        old_tree = b.revision_tree(b.lookup_revision(revision))
 
165
 
 
166
    if revision2 == None:
 
167
        new_tree = b.working_tree()
 
168
    else:
 
169
        new_tree = b.revision_tree(b.lookup_revision(revision2))
 
170
 
 
171
    show_diff_trees(old_tree, new_tree, sys.stdout, specific_files,
 
172
                    external_diff_options)
 
173
 
287
174
 
288
175
 
289
176
def show_diff_trees(old_tree, new_tree, to_file, specific_files=None,
290
 
                    external_diff_options=None,
291
 
                    old_label='a/', new_label='b/',
292
 
                    extra_trees=None):
 
177
                    external_diff_options=None):
293
178
    """Show in text form the changes from one tree to another.
294
179
 
295
180
    to_files
297
182
 
298
183
    external_diff_options
299
184
        If set, use an external GNU diff and pass these options.
300
 
 
301
 
    extra_trees
302
 
        If set, more Trees to use for looking up file ids
303
185
    """
304
 
    old_tree.lock_read()
305
 
    try:
306
 
        new_tree.lock_read()
307
 
        try:
308
 
            return _show_diff_trees(old_tree, new_tree, to_file,
309
 
                                    specific_files, external_diff_options,
310
 
                                    old_label=old_label, new_label=new_label,
311
 
                                    extra_trees=extra_trees)
312
 
        finally:
313
 
            new_tree.unlock()
314
 
    finally:
315
 
        old_tree.unlock()
316
 
 
317
 
 
318
 
def _show_diff_trees(old_tree, new_tree, to_file,
319
 
                     specific_files, external_diff_options, 
320
 
                     old_label='a/', new_label='b/', extra_trees=None):
321
 
 
322
 
    # GNU Patch uses the epoch date to detect files that are being added
323
 
    # or removed in a diff.
324
 
    EPOCH_DATE = '1970-01-01 00:00:00 +0000'
 
186
 
 
187
    # TODO: Options to control putting on a prefix or suffix, perhaps as a format string
 
188
    old_label = ''
 
189
    new_label = ''
 
190
 
 
191
    DEVNULL = '/dev/null'
 
192
    # Windows users, don't panic about this filename -- it is a
 
193
    # special signal to GNU patch that the file should be created or
 
194
    # deleted respectively.
325
195
 
326
196
    # TODO: Generation of pseudo-diffs for added/deleted files could
327
197
    # be usefully made into a much faster special case.
334
204
    else:
335
205
        diff_file = internal_diff
336
206
    
337
 
    delta = new_tree.changes_from(old_tree,
338
 
        specific_files=specific_files,
339
 
        extra_trees=extra_trees, require_versioned=True)
340
 
 
341
 
    has_changes = 0
 
207
 
 
208
    delta = compare_trees(old_tree, new_tree, want_unchanged=False,
 
209
                          specific_files=specific_files)
 
210
 
342
211
    for path, file_id, kind in delta.removed:
343
 
        has_changes = 1
344
 
        print >>to_file, '=== removed %s %r' % (kind, path.encode('utf8'))
345
 
        old_name = '%s%s\t%s' % (old_label, path,
346
 
                                 _patch_header_date(old_tree, file_id, path))
347
 
        new_name = '%s%s\t%s' % (new_label, path, EPOCH_DATE)
348
 
        old_tree.inventory[file_id].diff(diff_file, old_name, old_tree,
349
 
                                         new_name, None, None, to_file)
 
212
        print >>to_file, '*** removed %s %r' % (kind, path)
 
213
        if kind == 'file':
 
214
            diff_file(old_label + path,
 
215
                      old_tree.get_file(file_id).readlines(),
 
216
                      DEVNULL, 
 
217
                      [],
 
218
                      to_file)
 
219
 
350
220
    for path, file_id, kind in delta.added:
351
 
        has_changes = 1
352
 
        print >>to_file, '=== added %s %r' % (kind, path.encode('utf8'))
353
 
        old_name = '%s%s\t%s' % (old_label, path, EPOCH_DATE)
354
 
        new_name = '%s%s\t%s' % (new_label, path,
355
 
                                 _patch_header_date(new_tree, file_id, path))
356
 
        new_tree.inventory[file_id].diff(diff_file, new_name, new_tree,
357
 
                                         old_name, None, None, to_file, 
358
 
                                         reverse=True)
359
 
    for (old_path, new_path, file_id, kind,
360
 
         text_modified, meta_modified) in delta.renamed:
361
 
        has_changes = 1
362
 
        prop_str = get_prop_change(meta_modified)
363
 
        print >>to_file, '=== renamed %s %r => %r%s' % (
364
 
                    kind, old_path.encode('utf8'),
365
 
                    new_path.encode('utf8'), prop_str)
366
 
        old_name = '%s%s\t%s' % (old_label, old_path,
367
 
                                 _patch_header_date(old_tree, file_id,
368
 
                                                    old_path))
369
 
        new_name = '%s%s\t%s' % (new_label, new_path,
370
 
                                 _patch_header_date(new_tree, file_id,
371
 
                                                    new_path))
372
 
        _maybe_diff_file_or_symlink(old_name, old_tree, file_id,
373
 
                                    new_name, new_tree,
374
 
                                    text_modified, kind, to_file, diff_file)
375
 
    for path, file_id, kind, text_modified, meta_modified in delta.modified:
376
 
        has_changes = 1
377
 
        prop_str = get_prop_change(meta_modified)
378
 
        print >>to_file, '=== modified %s %r%s' % (kind, path.encode('utf8'), prop_str)
379
 
        old_name = '%s%s\t%s' % (old_label, path,
380
 
                                 _patch_header_date(old_tree, file_id, path))
381
 
        new_name = '%s%s\t%s' % (new_label, path,
382
 
                                 _patch_header_date(new_tree, file_id, path))
 
221
        print >>to_file, '*** added %s %r' % (kind, path)
 
222
        if kind == 'file':
 
223
            diff_file(DEVNULL,
 
224
                      [],
 
225
                      new_label + path,
 
226
                      new_tree.get_file(file_id).readlines(),
 
227
                      to_file)
 
228
 
 
229
    for old_path, new_path, file_id, kind, text_modified in delta.renamed:
 
230
        print >>to_file, '*** renamed %s %r => %r' % (kind, old_path, new_path)
383
231
        if text_modified:
384
 
            _maybe_diff_file_or_symlink(old_name, old_tree, file_id,
385
 
                                        new_name, new_tree,
386
 
                                        True, kind, to_file, diff_file)
387
 
 
388
 
    return has_changes
389
 
 
390
 
 
391
 
def _patch_header_date(tree, file_id, path):
392
 
    """Returns a timestamp suitable for use in a patch header."""
393
 
    tm = time.gmtime(tree.get_file_mtime(file_id, path))
394
 
    return time.strftime('%Y-%m-%d %H:%M:%S +0000', tm)
395
 
 
396
 
 
397
 
def _raise_if_nonexistent(paths, old_tree, new_tree):
398
 
    """Complain if paths are not in either inventory or tree.
399
 
 
400
 
    It's OK with the files exist in either tree's inventory, or 
401
 
    if they exist in the tree but are not versioned.
402
 
    
403
 
    This can be used by operations such as bzr status that can accept
404
 
    unknown or ignored files.
405
 
    """
406
 
    mutter("check paths: %r", paths)
407
 
    if not paths:
408
 
        return
409
 
    s = old_tree.filter_unversioned_files(paths)
410
 
    s = new_tree.filter_unversioned_files(s)
411
 
    s = [path for path in s if not new_tree.has_filename(path)]
412
 
    if s:
413
 
        raise errors.PathsDoNotExist(sorted(s))
414
 
 
415
 
 
416
 
def get_prop_change(meta_modified):
417
 
    if meta_modified:
418
 
        return " (properties changed)"
419
 
    else:
420
 
        return  ""
421
 
 
422
 
 
423
 
def _maybe_diff_file_or_symlink(old_path, old_tree, file_id,
424
 
                                new_path, new_tree, text_modified,
425
 
                                kind, to_file, diff_file):
426
 
    if text_modified:
427
 
        new_entry = new_tree.inventory[file_id]
428
 
        old_tree.inventory[file_id].diff(diff_file,
429
 
                                         old_path, old_tree,
430
 
                                         new_path, new_entry, 
431
 
                                         new_tree, to_file)
 
232
            diff_file(old_label + old_path,
 
233
                      old_tree.get_file(file_id).readlines(),
 
234
                      new_label + new_path,
 
235
                      new_tree.get_file(file_id).readlines(),
 
236
                      to_file)
 
237
 
 
238
    for path, file_id, kind in delta.modified:
 
239
        print >>to_file, '*** modified %s %r' % (kind, path)
 
240
        if kind == 'file':
 
241
            diff_file(old_label + path,
 
242
                      old_tree.get_file(file_id).readlines(),
 
243
                      new_label + path,
 
244
                      new_tree.get_file(file_id).readlines(),
 
245
                      to_file)
 
246
 
 
247
 
 
248
 
 
249
 
 
250