← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/diff.py

  • Committer: Vincent Ladeuil
  • Date: 2009-12-14 15:51:36 UTC
  • mto: (4894.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 4895.
  • Revision ID: v.ladeuil+lp@free.fr-20091214155136-rf4nkqvxda9oiw4u
Cleanup tests and tweak the text displayed.

* bzrlib/tests/blackbox/test_update.py:
Fix imports and replace the assertContainsRe with assertEqualDiff
to make the test clearer, more robust and easier to debug.

* bzrlib/tests/commands/test_update.py: 
Fix imports.

* bzrlib/tests/blackbox/test_filtered_view_ops.py: 
Fix imports and strange accesses to base class methods.
(TestViewTreeOperations.test_view_on_update): Avoid os.chdir()
call, simplify string matching assertions.

* bzrlib/builtins.py:
(cmd_update.run): Fix spurious space, get rid of the final '/' for
the base path, don't add a final period (it's a legal char in a
path and would be annoying for people that like to copy/paste).

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/diff.py
1
 
#! /usr/bin/env python
2
 
# -*- coding: UTF-8 -*-
3
 
 
 
1
# Copyright (C) 2004, 2005, 2006 Canonical Ltd.
 
2
#
4
3
# This program is free software; you can redistribute it and/or modify
5
4
# it under the terms of the GNU General Public License as published by
6
5
# the Free Software Foundation; either version 2 of the License, or
7
6
# (at your option) any later version.
8
 
 
 
7
#
9
8
# This program is distributed in the hope that it will be useful,
10
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
11
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12
11
# GNU General Public License for more details.
13
 
 
 
12
#
14
13
# You should have received a copy of the GNU General Public License
15
14
# along with this program; if not, write to the Free Software
16
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
 
 
18
 
from bzrlib.trace import mutter
19
 
from bzrlib.errors import BzrError
20
 
from bzrlib.delta import compare_trees
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
import difflib
 
18
import os
 
19
import re
 
20
import shutil
 
21
import string
 
22
import sys
 
23
 
 
24
from bzrlib.lazy_import import lazy_import
 
25
lazy_import(globals(), """
 
26
import errno
 
27
import subprocess
 
28
import tempfile
 
29
import time
 
30
 
 
31
from bzrlib import (
 
32
    branch as _mod_branch,
 
33
    bzrdir,
 
34
    commands,
 
35
    errors,
 
36
    osutils,
 
37
    patiencediff,
 
38
    textfile,
 
39
    timestamp,
 
40
    views,
 
41
    )
 
42
 
 
43
from bzrlib.workingtree import WorkingTree
 
44
""")
 
45
 
 
46
from bzrlib.symbol_versioning import (
 
47
    deprecated_function,
 
48
    )
 
49
from bzrlib.trace import mutter, note, warning
 
50
 
 
51
 
 
52
class AtTemplate(string.Template):
 
53
    """Templating class that uses @ instead of $."""
 
54
 
 
55
    delimiter = '@'
 
56
 
21
57
 
22
58
# TODO: Rather than building a changeset object, we should probably
23
59
# invoke callbacks on an object.  That object can either accumulate a
24
60
# list, write them out directly, etc etc.
25
61
 
26
 
def internal_diff(old_label, oldlines, new_label, newlines, to_file):
27
 
    import difflib
28
 
    
 
62
 
 
63
class _PrematchedMatcher(difflib.SequenceMatcher):
 
64
    """Allow SequenceMatcher operations to use predetermined blocks"""
 
65
 
 
66
    def __init__(self, matching_blocks):
 
67
        difflib.SequenceMatcher(self, None, None)
 
68
        self.matching_blocks = matching_blocks
 
69
        self.opcodes = None
 
70
 
 
71
 
 
72
def internal_diff(old_filename, oldlines, new_filename, newlines, to_file,
 
73
                  allow_binary=False, sequence_matcher=None,
 
74
                  path_encoding='utf8'):
29
75
    # FIXME: difflib is wrong if there is no trailing newline.
30
76
    # The syntax used by patch seems to be "\ No newline at
31
77
    # end of file" following the last diff line from that
42
88
    if not oldlines and not newlines:
43
89
        return
44
90
 
45
 
    ud = difflib.unified_diff(oldlines, newlines,
46
 
                              fromfile=old_label, tofile=new_label)
47
 
 
 
91
    if allow_binary is False:
 
92
        textfile.check_text_lines(oldlines)
 
93
        textfile.check_text_lines(newlines)
 
94
 
 
95
    if sequence_matcher is None:
 
96
        sequence_matcher = patiencediff.PatienceSequenceMatcher
 
97
    ud = patiencediff.unified_diff(oldlines, newlines,
 
98
                      fromfile=old_filename.encode(path_encoding),
 
99
                      tofile=new_filename.encode(path_encoding),
 
100
                      sequencematcher=sequence_matcher)
 
101
 
 
102
    ud = list(ud)
 
103
    if len(ud) == 0: # Identical contents, nothing to do
 
104
        return
48
105
    # work-around for difflib being too smart for its own good
49
106
    # if /dev/null is "1,0", patch won't recognize it as /dev/null
50
107
    if not oldlines:
51
 
        ud = list(ud)
52
108
        ud[2] = ud[2].replace('-1,0', '-0,0')
53
109
    elif not newlines:
54
 
        ud = list(ud)
55
110
        ud[2] = ud[2].replace('+1,0', '+0,0')
56
111
 
57
112
    for line in ud:
58
113
        to_file.write(line)
59
114
        if not line.endswith('\n'):
60
115
            to_file.write("\n\\ No newline at end of file\n")
61
 
    print >>to_file
62
 
 
63
 
 
64
 
 
65
 
 
66
 
def external_diff(old_label, oldlines, new_label, newlines, to_file,
 
116
    to_file.write('\n')
 
117
 
 
118
 
 
119
def _spawn_external_diff(diffcmd, capture_errors=True):
 
120
    """Spawn the externall diff process, and return the child handle.
 
121
 
 
122
    :param diffcmd: The command list to spawn
 
123
    :param capture_errors: Capture stderr as well as setting LANG=C
 
124
        and LC_ALL=C. This lets us read and understand the output of diff,
 
125
        and respond to any errors.
 
126
    :return: A Popen object.
 
127
    """
 
128
    if capture_errors:
 
129
        # construct minimal environment
 
130
        env = {}
 
131
        path = os.environ.get('PATH')
 
132
        if path is not None:
 
133
            env['PATH'] = path
 
134
        env['LANGUAGE'] = 'C'   # on win32 only LANGUAGE has effect
 
135
        env['LANG'] = 'C'
 
136
        env['LC_ALL'] = 'C'
 
137
        stderr = subprocess.PIPE
 
138
    else:
 
139
        env = None
 
140
        stderr = None
 
141
 
 
142
    try:
 
143
        pipe = subprocess.Popen(diffcmd,
 
144
                                stdin=subprocess.PIPE,
 
145
                                stdout=subprocess.PIPE,
 
146
                                stderr=stderr,
 
147
                                env=env)
 
148
    except OSError, e:
 
149
        if e.errno == errno.ENOENT:
 
150
            raise errors.NoDiff(str(e))
 
151
        raise
 
152
 
 
153
    return pipe
 
154
 
 
155
 
 
156
def external_diff(old_filename, oldlines, new_filename, newlines, to_file,
67
157
                  diff_opts):
68
158
    """Display a diff by calling out to the external diff program."""
69
 
    import sys
70
 
    
71
 
    if to_file != sys.stdout:
72
 
        raise NotImplementedError("sorry, can't send external diff other than to stdout yet",
73
 
                                  to_file)
74
 
 
75
159
    # make sure our own output is properly ordered before the diff
76
160
    to_file.flush()
77
161
 
78
 
    from tempfile import NamedTemporaryFile
79
 
    import os
80
 
 
81
 
    oldtmpf = NamedTemporaryFile()
82
 
    newtmpf = NamedTemporaryFile()
 
162
    oldtmp_fd, old_abspath = tempfile.mkstemp(prefix='bzr-diff-old-')
 
163
    newtmp_fd, new_abspath = tempfile.mkstemp(prefix='bzr-diff-new-')
 
164
    oldtmpf = os.fdopen(oldtmp_fd, 'wb')
 
165
    newtmpf = os.fdopen(newtmp_fd, 'wb')
83
166
 
84
167
    try:
85
168
        # TODO: perhaps a special case for comparing to or from the empty
92
175
        oldtmpf.writelines(oldlines)
93
176
        newtmpf.writelines(newlines)
94
177
 
95
 
        oldtmpf.flush()
96
 
        newtmpf.flush()
 
178
        oldtmpf.close()
 
179
        newtmpf.close()
97
180
 
98
181
        if not diff_opts:
99
182
            diff_opts = []
 
183
        if sys.platform == 'win32':
 
184
            # Popen doesn't do the proper encoding for external commands
 
185
            # Since we are dealing with an ANSI api, use mbcs encoding
 
186
            old_filename = old_filename.encode('mbcs')
 
187
            new_filename = new_filename.encode('mbcs')
100
188
        diffcmd = ['diff',
101
 
                   '--label', old_label,
102
 
                   oldtmpf.name,
103
 
                   '--label', new_label,
104
 
                   newtmpf.name]
 
189
                   '--label', old_filename,
 
190
                   old_abspath,
 
191
                   '--label', new_filename,
 
192
                   new_abspath,
 
193
                   '--binary',
 
194
                  ]
105
195
 
106
196
        # diff only allows one style to be specified; they don't override.
107
197
        # note that some of these take optargs, and the optargs can be
123
213
            break
124
214
        else:
125
215
            diffcmd.append('-u')
126
 
                  
 
216
 
127
217
        if diff_opts:
128
218
            diffcmd.extend(diff_opts)
129
219
 
130
 
        rc = os.spawnvp(os.P_WAIT, 'diff', diffcmd)
131
 
        
132
 
        if rc != 0 and rc != 1:
 
220
        pipe = _spawn_external_diff(diffcmd, capture_errors=True)
 
221
        out,err = pipe.communicate()
 
222
        rc = pipe.returncode
 
223
 
 
224
        # internal_diff() adds a trailing newline, add one here for consistency
 
225
        out += '\n'
 
226
        if rc == 2:
 
227
            # 'diff' gives retcode == 2 for all sorts of errors
 
228
            # one of those is 'Binary files differ'.
 
229
            # Bad options could also be the problem.
 
230
            # 'Binary files' is not a real error, so we suppress that error.
 
231
            lang_c_out = out
 
232
 
 
233
            # Since we got here, we want to make sure to give an i18n error
 
234
            pipe = _spawn_external_diff(diffcmd, capture_errors=False)
 
235
            out, err = pipe.communicate()
 
236
 
 
237
            # Write out the new i18n diff response
 
238
            to_file.write(out+'\n')
 
239
            if pipe.returncode != 2:
 
240
                raise errors.BzrError(
 
241
                               'external diff failed with exit code 2'
 
242
                               ' when run with LANG=C and LC_ALL=C,'
 
243
                               ' but not when run natively: %r' % (diffcmd,))
 
244
 
 
245
            first_line = lang_c_out.split('\n', 1)[0]
 
246
            # Starting with diffutils 2.8.4 the word "binary" was dropped.
 
247
            m = re.match('^(binary )?files.*differ$', first_line, re.I)
 
248
            if m is None:
 
249
                raise errors.BzrError('external diff failed with exit code 2;'
 
250
                                      ' command: %r' % (diffcmd,))
 
251
            else:
 
252
                # Binary files differ, just return
 
253
                return
 
254
 
 
255
        # If we got to here, we haven't written out the output of diff
 
256
        # do so now
 
257
        to_file.write(out)
 
258
        if rc not in (0, 1):
133
259
            # returns 1 if files differ; that's OK
134
260
            if rc < 0:
135
261
                msg = 'signal %d' % (-rc)
136
262
            else:
137
263
                msg = 'exit code %d' % rc
138
 
                
139
 
            raise BzrError('external diff failed with %s; command: %r' % (rc, diffcmd))
 
264
 
 
265
            raise errors.BzrError('external diff failed with %s; command: %r'
 
266
                                  % (rc, diffcmd))
 
267
 
 
268
 
140
269
    finally:
141
270
        oldtmpf.close()                 # and delete
142
271
        newtmpf.close()
143
 
    
144
 
 
145
 
 
146
 
def show_diff(b, revision, specific_files, external_diff_options=None,
147
 
              revision2=None):
148
 
    """Shortcut for showing the diff to the working tree.
149
 
 
150
 
    b
151
 
        Branch.
152
 
 
153
 
    revision
154
 
        None for each, or otherwise the old revision to compare against.
155
 
    
156
 
    The more general form is show_diff_trees(), where the caller
157
 
    supplies any two trees.
 
272
        # Clean up. Warn in case the files couldn't be deleted
 
273
        # (in case windows still holds the file open, but not
 
274
        # if the files have already been deleted)
 
275
        try:
 
276
            os.remove(old_abspath)
 
277
        except OSError, e:
 
278
            if e.errno not in (errno.ENOENT,):
 
279
                warning('Failed to delete temporary file: %s %s',
 
280
                        old_abspath, e)
 
281
        try:
 
282
            os.remove(new_abspath)
 
283
        except OSError:
 
284
            if e.errno not in (errno.ENOENT,):
 
285
                warning('Failed to delete temporary file: %s %s',
 
286
                        new_abspath, e)
 
287
 
 
288
 
 
289
def get_trees_and_branches_to_diff(path_list, revision_specs, old_url, new_url,
 
290
                                   apply_view=True):
 
291
    """Get the trees and specific files to diff given a list of paths.
 
292
 
 
293
    This method works out the trees to be diff'ed and the files of
 
294
    interest within those trees.
 
295
 
 
296
    :param path_list:
 
297
        the list of arguments passed to the diff command
 
298
    :param revision_specs:
 
299
        Zero, one or two RevisionSpecs from the diff command line,
 
300
        saying what revisions to compare.
 
301
    :param old_url:
 
302
        The url of the old branch or tree. If None, the tree to use is
 
303
        taken from the first path, if any, or the current working tree.
 
304
    :param new_url:
 
305
        The url of the new branch or tree. If None, the tree to use is
 
306
        taken from the first path, if any, or the current working tree.
 
307
    :param apply_view:
 
308
        if True and a view is set, apply the view or check that the paths
 
309
        are within it
 
310
    :returns:
 
311
        a tuple of (old_tree, new_tree, old_branch, new_branch,
 
312
        specific_files, extra_trees) where extra_trees is a sequence of
 
313
        additional trees to search in for file-ids.
158
314
    """
159
 
    import sys
160
 
 
161
 
    if revision == None:
162
 
        old_tree = b.basis_tree()
163
 
    else:
164
 
        old_tree = b.revision_tree(b.lookup_revision(revision))
165
 
 
166
 
    if revision2 == None:
167
 
        new_tree = b.working_tree()
168
 
    else:
169
 
        new_tree = b.revision_tree(b.lookup_revision(revision2))
170
 
 
171
 
    show_diff_trees(old_tree, new_tree, sys.stdout, specific_files,
172
 
                    external_diff_options)
173
 
 
 
315
    # Get the old and new revision specs
 
316
    old_revision_spec = None
 
317
    new_revision_spec = None
 
318
    if revision_specs is not None:
 
319
        if len(revision_specs) > 0:
 
320
            old_revision_spec = revision_specs[0]
 
321
            if old_url is None:
 
322
                old_url = old_revision_spec.get_branch()
 
323
        if len(revision_specs) > 1:
 
324
            new_revision_spec = revision_specs[1]
 
325
            if new_url is None:
 
326
                new_url = new_revision_spec.get_branch()
 
327
 
 
328
    other_paths = []
 
329
    make_paths_wt_relative = True
 
330
    consider_relpath = True
 
331
    if path_list is None or len(path_list) == 0:
 
332
        # If no path is given, the current working tree is used
 
333
        default_location = u'.'
 
334
        consider_relpath = False
 
335
    elif old_url is not None and new_url is not None:
 
336
        other_paths = path_list
 
337
        make_paths_wt_relative = False
 
338
    else:
 
339
        default_location = path_list[0]
 
340
        other_paths = path_list[1:]
 
341
 
 
342
    # Get the old location
 
343
    specific_files = []
 
344
    if old_url is None:
 
345
        old_url = default_location
 
346
    working_tree, branch, relpath = \
 
347
        bzrdir.BzrDir.open_containing_tree_or_branch(old_url)
 
348
    if consider_relpath and relpath != '':
 
349
        if working_tree is not None and apply_view:
 
350
            views.check_path_in_view(working_tree, relpath)
 
351
        specific_files.append(relpath)
 
352
    old_tree = _get_tree_to_diff(old_revision_spec, working_tree, branch)
 
353
    old_branch = branch
 
354
 
 
355
    # Get the new location
 
356
    if new_url is None:
 
357
        new_url = default_location
 
358
    if new_url != old_url:
 
359
        working_tree, branch, relpath = \
 
360
            bzrdir.BzrDir.open_containing_tree_or_branch(new_url)
 
361
        if consider_relpath and relpath != '':
 
362
            if working_tree is not None and apply_view:
 
363
                views.check_path_in_view(working_tree, relpath)
 
364
            specific_files.append(relpath)
 
365
    new_tree = _get_tree_to_diff(new_revision_spec, working_tree, branch,
 
366
        basis_is_default=working_tree is None)
 
367
    new_branch = branch
 
368
 
 
369
    # Get the specific files (all files is None, no files is [])
 
370
    if make_paths_wt_relative and working_tree is not None:
 
371
        try:
 
372
            from bzrlib.builtins import safe_relpath_files
 
373
            other_paths = safe_relpath_files(working_tree, other_paths,
 
374
            apply_view=apply_view)
 
375
        except errors.FileInWrongBranch:
 
376
            raise errors.BzrCommandError("Files are in different branches")
 
377
    specific_files.extend(other_paths)
 
378
    if len(specific_files) == 0:
 
379
        specific_files = None
 
380
        if (working_tree is not None and working_tree.supports_views()
 
381
            and apply_view):
 
382
            view_files = working_tree.views.lookup_view()
 
383
            if view_files:
 
384
                specific_files = view_files
 
385
                view_str = views.view_display_str(view_files)
 
386
                note("*** Ignoring files outside view. View is %s" % view_str)
 
387
 
 
388
    # Get extra trees that ought to be searched for file-ids
 
389
    extra_trees = None
 
390
    if working_tree is not None and working_tree not in (old_tree, new_tree):
 
391
        extra_trees = (working_tree,)
 
392
    return old_tree, new_tree, old_branch, new_branch, specific_files, extra_trees
 
393
 
 
394
 
 
395
def _get_tree_to_diff(spec, tree=None, branch=None, basis_is_default=True):
 
396
    if branch is None and tree is not None:
 
397
        branch = tree.branch
 
398
    if spec is None or spec.spec is None:
 
399
        if basis_is_default:
 
400
            if tree is not None:
 
401
                return tree.basis_tree()
 
402
            else:
 
403
                return branch.basis_tree()
 
404
        else:
 
405
            return tree
 
406
    return spec.as_tree(branch)
174
407
 
175
408
 
176
409
def show_diff_trees(old_tree, new_tree, to_file, specific_files=None,
177
 
                    external_diff_options=None):
 
410
                    external_diff_options=None,
 
411
                    old_label='a/', new_label='b/',
 
412
                    extra_trees=None,
 
413
                    path_encoding='utf8',
 
414
                    using=None):
178
415
    """Show in text form the changes from one tree to another.
179
416
 
180
 
    to_files
181
 
        If set, include only changes to these files.
 
417
    to_file
 
418
        The output stream.
 
419
 
 
420
    specific_files
 
421
        Include only changes to these files - None for all changes.
182
422
 
183
423
    external_diff_options
184
424
        If set, use an external GNU diff and pass these options.
 
425
 
 
426
    extra_trees
 
427
        If set, more Trees to use for looking up file ids
 
428
 
 
429
    path_encoding
 
430
        If set, the path will be encoded as specified, otherwise is supposed
 
431
        to be utf8
185
432
    """
186
 
 
187
 
    # TODO: Options to control putting on a prefix or suffix, perhaps as a format string
188
 
    old_label = ''
189
 
    new_label = ''
190
 
 
191
 
    DEVNULL = '/dev/null'
192
 
    # Windows users, don't panic about this filename -- it is a
193
 
    # special signal to GNU patch that the file should be created or
194
 
    # deleted respectively.
195
 
 
196
 
    # TODO: Generation of pseudo-diffs for added/deleted files could
197
 
    # be usefully made into a much faster special case.
198
 
 
199
 
    if external_diff_options:
200
 
        assert isinstance(external_diff_options, basestring)
201
 
        opts = external_diff_options.split()
202
 
        def diff_file(olab, olines, nlab, nlines, to_file):
203
 
            external_diff(olab, olines, nlab, nlines, to_file, opts)
 
433
    old_tree.lock_read()
 
434
    try:
 
435
        if extra_trees is not None:
 
436
            for tree in extra_trees:
 
437
                tree.lock_read()
 
438
        new_tree.lock_read()
 
439
        try:
 
440
            differ = DiffTree.from_trees_options(old_tree, new_tree, to_file,
 
441
                                                 path_encoding,
 
442
                                                 external_diff_options,
 
443
                                                 old_label, new_label, using)
 
444
            return differ.show_diff(specific_files, extra_trees)
 
445
        finally:
 
446
            new_tree.unlock()
 
447
            if extra_trees is not None:
 
448
                for tree in extra_trees:
 
449
                    tree.unlock()
 
450
    finally:
 
451
        old_tree.unlock()
 
452
 
 
453
 
 
454
def _patch_header_date(tree, file_id, path):
 
455
    """Returns a timestamp suitable for use in a patch header."""
 
456
    mtime = tree.get_file_mtime(file_id, path)
 
457
    return timestamp.format_patch_date(mtime)
 
458
 
 
459
 
 
460
def get_executable_change(old_is_x, new_is_x):
 
461
    descr = { True:"+x", False:"-x", None:"??" }
 
462
    if old_is_x != new_is_x:
 
463
        return ["%s to %s" % (descr[old_is_x], descr[new_is_x],)]
204
464
    else:
205
 
        diff_file = internal_diff
206
 
    
207
 
 
208
 
    delta = compare_trees(old_tree, new_tree, want_unchanged=False,
209
 
                          specific_files=specific_files)
210
 
 
211
 
    for path, file_id, kind in delta.removed:
212
 
        print >>to_file, '*** removed %s %r' % (kind, path)
213
 
        if kind == 'file':
214
 
            diff_file(old_label + path,
215
 
                      old_tree.get_file(file_id).readlines(),
216
 
                      DEVNULL, 
217
 
                      [],
218
 
                      to_file)
219
 
 
220
 
    for path, file_id, kind in delta.added:
221
 
        print >>to_file, '*** added %s %r' % (kind, path)
222
 
        if kind == 'file':
223
 
            diff_file(DEVNULL,
224
 
                      [],
225
 
                      new_label + path,
226
 
                      new_tree.get_file(file_id).readlines(),
227
 
                      to_file)
228
 
 
229
 
    for old_path, new_path, file_id, kind, text_modified in delta.renamed:
230
 
        print >>to_file, '*** renamed %s %r => %r' % (kind, old_path, new_path)
231
 
        if text_modified:
232
 
            diff_file(old_label + old_path,
233
 
                      old_tree.get_file(file_id).readlines(),
234
 
                      new_label + new_path,
235
 
                      new_tree.get_file(file_id).readlines(),
236
 
                      to_file)
237
 
 
238
 
    for path, file_id, kind in delta.modified:
239
 
        print >>to_file, '*** modified %s %r' % (kind, path)
240
 
        if kind == 'file':
241
 
            diff_file(old_label + path,
242
 
                      old_tree.get_file(file_id).readlines(),
243
 
                      new_label + path,
244
 
                      new_tree.get_file(file_id).readlines(),
245
 
                      to_file)
246
 
 
247
 
 
248
 
 
249
 
 
250
 
 
 
465
        return []
 
466
 
 
467
 
 
468
class DiffPath(object):
 
469
    """Base type for command object that compare files"""
 
470
 
 
471
    # The type or contents of the file were unsuitable for diffing
 
472
    CANNOT_DIFF = 'CANNOT_DIFF'
 
473
    # The file has changed in a semantic way
 
474
    CHANGED = 'CHANGED'
 
475
    # The file content may have changed, but there is no semantic change
 
476
    UNCHANGED = 'UNCHANGED'
 
477
 
 
478
    def __init__(self, old_tree, new_tree, to_file, path_encoding='utf-8'):
 
479
        """Constructor.
 
480
 
 
481
        :param old_tree: The tree to show as the old tree in the comparison
 
482
        :param new_tree: The tree to show as new in the comparison
 
483
        :param to_file: The file to write comparison data to
 
484
        :param path_encoding: The character encoding to write paths in
 
485
        """
 
486
        self.old_tree = old_tree
 
487
        self.new_tree = new_tree
 
488
        self.to_file = to_file
 
489
        self.path_encoding = path_encoding
 
490
 
 
491
    def finish(self):
 
492
        pass
 
493
 
 
494
    @classmethod
 
495
    def from_diff_tree(klass, diff_tree):
 
496
        return klass(diff_tree.old_tree, diff_tree.new_tree,
 
497
                     diff_tree.to_file, diff_tree.path_encoding)
 
498
 
 
499
    @staticmethod
 
500
    def _diff_many(differs, file_id, old_path, new_path, old_kind, new_kind):
 
501
        for file_differ in differs:
 
502
            result = file_differ.diff(file_id, old_path, new_path, old_kind,
 
503
                                      new_kind)
 
504
            if result is not DiffPath.CANNOT_DIFF:
 
505
                return result
 
506
        else:
 
507
            return DiffPath.CANNOT_DIFF
 
508
 
 
509
 
 
510
class DiffKindChange(object):
 
511
    """Special differ for file kind changes.
 
512
 
 
513
    Represents kind change as deletion + creation.  Uses the other differs
 
514
    to do this.
 
515
    """
 
516
    def __init__(self, differs):
 
517
        self.differs = differs
 
518
 
 
519
    def finish(self):
 
520
        pass
 
521
 
 
522
    @classmethod
 
523
    def from_diff_tree(klass, diff_tree):
 
524
        return klass(diff_tree.differs)
 
525
 
 
526
    def diff(self, file_id, old_path, new_path, old_kind, new_kind):
 
527
        """Perform comparison
 
528
 
 
529
        :param file_id: The file_id of the file to compare
 
530
        :param old_path: Path of the file in the old tree
 
531
        :param new_path: Path of the file in the new tree
 
532
        :param old_kind: Old file-kind of the file
 
533
        :param new_kind: New file-kind of the file
 
534
        """
 
535
        if None in (old_kind, new_kind):
 
536
            return DiffPath.CANNOT_DIFF
 
537
        result = DiffPath._diff_many(self.differs, file_id, old_path,
 
538
                                       new_path, old_kind, None)
 
539
        if result is DiffPath.CANNOT_DIFF:
 
540
            return result
 
541
        return DiffPath._diff_many(self.differs, file_id, old_path, new_path,
 
542
                                     None, new_kind)
 
543
 
 
544
 
 
545
class DiffDirectory(DiffPath):
 
546
 
 
547
    def diff(self, file_id, old_path, new_path, old_kind, new_kind):
 
548
        """Perform comparison between two directories.  (dummy)
 
549
 
 
550
        """
 
551
        if 'directory' not in (old_kind, new_kind):
 
552
            return self.CANNOT_DIFF
 
553
        if old_kind not in ('directory', None):
 
554
            return self.CANNOT_DIFF
 
555
        if new_kind not in ('directory', None):
 
556
            return self.CANNOT_DIFF
 
557
        return self.CHANGED
 
558
 
 
559
 
 
560
class DiffSymlink(DiffPath):
 
561
 
 
562
    def diff(self, file_id, old_path, new_path, old_kind, new_kind):
 
563
        """Perform comparison between two symlinks
 
564
 
 
565
        :param file_id: The file_id of the file to compare
 
566
        :param old_path: Path of the file in the old tree
 
567
        :param new_path: Path of the file in the new tree
 
568
        :param old_kind: Old file-kind of the file
 
569
        :param new_kind: New file-kind of the file
 
570
        """
 
571
        if 'symlink' not in (old_kind, new_kind):
 
572
            return self.CANNOT_DIFF
 
573
        if old_kind == 'symlink':
 
574
            old_target = self.old_tree.get_symlink_target(file_id)
 
575
        elif old_kind is None:
 
576
            old_target = None
 
577
        else:
 
578
            return self.CANNOT_DIFF
 
579
        if new_kind == 'symlink':
 
580
            new_target = self.new_tree.get_symlink_target(file_id)
 
581
        elif new_kind is None:
 
582
            new_target = None
 
583
        else:
 
584
            return self.CANNOT_DIFF
 
585
        return self.diff_symlink(old_target, new_target)
 
586
 
 
587
    def diff_symlink(self, old_target, new_target):
 
588
        if old_target is None:
 
589
            self.to_file.write('=== target is %r\n' % new_target)
 
590
        elif new_target is None:
 
591
            self.to_file.write('=== target was %r\n' % old_target)
 
592
        else:
 
593
            self.to_file.write('=== target changed %r => %r\n' %
 
594
                              (old_target, new_target))
 
595
        return self.CHANGED
 
596
 
 
597
 
 
598
class DiffText(DiffPath):
 
599
 
 
600
    # GNU Patch uses the epoch date to detect files that are being added
 
601
    # or removed in a diff.
 
602
    EPOCH_DATE = '1970-01-01 00:00:00 +0000'
 
603
 
 
604
    def __init__(self, old_tree, new_tree, to_file, path_encoding='utf-8',
 
605
                 old_label='', new_label='', text_differ=internal_diff):
 
606
        DiffPath.__init__(self, old_tree, new_tree, to_file, path_encoding)
 
607
        self.text_differ = text_differ
 
608
        self.old_label = old_label
 
609
        self.new_label = new_label
 
610
        self.path_encoding = path_encoding
 
611
 
 
612
    def diff(self, file_id, old_path, new_path, old_kind, new_kind):
 
613
        """Compare two files in unified diff format
 
614
 
 
615
        :param file_id: The file_id of the file to compare
 
616
        :param old_path: Path of the file in the old tree
 
617
        :param new_path: Path of the file in the new tree
 
618
        :param old_kind: Old file-kind of the file
 
619
        :param new_kind: New file-kind of the file
 
620
        """
 
621
        if 'file' not in (old_kind, new_kind):
 
622
            return self.CANNOT_DIFF
 
623
        from_file_id = to_file_id = file_id
 
624
        if old_kind == 'file':
 
625
            old_date = _patch_header_date(self.old_tree, file_id, old_path)
 
626
        elif old_kind is None:
 
627
            old_date = self.EPOCH_DATE
 
628
            from_file_id = None
 
629
        else:
 
630
            return self.CANNOT_DIFF
 
631
        if new_kind == 'file':
 
632
            new_date = _patch_header_date(self.new_tree, file_id, new_path)
 
633
        elif new_kind is None:
 
634
            new_date = self.EPOCH_DATE
 
635
            to_file_id = None
 
636
        else:
 
637
            return self.CANNOT_DIFF
 
638
        from_label = '%s%s\t%s' % (self.old_label, old_path, old_date)
 
639
        to_label = '%s%s\t%s' % (self.new_label, new_path, new_date)
 
640
        return self.diff_text(from_file_id, to_file_id, from_label, to_label,
 
641
            old_path, new_path)
 
642
 
 
643
    def diff_text(self, from_file_id, to_file_id, from_label, to_label,
 
644
        from_path=None, to_path=None):
 
645
        """Diff the content of given files in two trees
 
646
 
 
647
        :param from_file_id: The id of the file in the from tree.  If None,
 
648
            the file is not present in the from tree.
 
649
        :param to_file_id: The id of the file in the to tree.  This may refer
 
650
            to a different file from from_file_id.  If None,
 
651
            the file is not present in the to tree.
 
652
        :param from_path: The path in the from tree or None if unknown.
 
653
        :param to_path: The path in the to tree or None if unknown.
 
654
        """
 
655
        def _get_text(tree, file_id, path):
 
656
            if file_id is not None:
 
657
                return tree.get_file(file_id, path).readlines()
 
658
            else:
 
659
                return []
 
660
        try:
 
661
            from_text = _get_text(self.old_tree, from_file_id, from_path)
 
662
            to_text = _get_text(self.new_tree, to_file_id, to_path)
 
663
            self.text_differ(from_label, from_text, to_label, to_text,
 
664
                             self.to_file)
 
665
        except errors.BinaryFile:
 
666
            self.to_file.write(
 
667
                  ("Binary files %s and %s differ\n" %
 
668
                  (from_label, to_label)).encode(self.path_encoding))
 
669
        return self.CHANGED
 
670
 
 
671
 
 
672
class DiffFromTool(DiffPath):
 
673
 
 
674
    def __init__(self, command_template, old_tree, new_tree, to_file,
 
675
                 path_encoding='utf-8'):
 
676
        DiffPath.__init__(self, old_tree, new_tree, to_file, path_encoding)
 
677
        self.command_template = command_template
 
678
        self._root = osutils.mkdtemp(prefix='bzr-diff-')
 
679
 
 
680
    @classmethod
 
681
    def from_string(klass, command_string, old_tree, new_tree, to_file,
 
682
                    path_encoding='utf-8'):
 
683
        command_template = commands.shlex_split_unicode(command_string)
 
684
        if '@' not in command_string:
 
685
            command_template.extend(['@old_path', '@new_path'])
 
686
        return klass(command_template, old_tree, new_tree, to_file,
 
687
                     path_encoding)
 
688
 
 
689
    @classmethod
 
690
    def make_from_diff_tree(klass, command_string):
 
691
        def from_diff_tree(diff_tree):
 
692
            return klass.from_string(command_string, diff_tree.old_tree,
 
693
                                     diff_tree.new_tree, diff_tree.to_file)
 
694
        return from_diff_tree
 
695
 
 
696
    def _get_command(self, old_path, new_path):
 
697
        my_map = {'old_path': old_path, 'new_path': new_path}
 
698
        return [AtTemplate(t).substitute(my_map) for t in
 
699
                self.command_template]
 
700
 
 
701
    def _execute(self, old_path, new_path):
 
702
        command = self._get_command(old_path, new_path)
 
703
        try:
 
704
            proc = subprocess.Popen(command, stdout=subprocess.PIPE,
 
705
                                    cwd=self._root)
 
706
        except OSError, e:
 
707
            if e.errno == errno.ENOENT:
 
708
                raise errors.ExecutableMissing(command[0])
 
709
            else:
 
710
                raise
 
711
        self.to_file.write(proc.stdout.read())
 
712
        return proc.wait()
 
713
 
 
714
    def _try_symlink_root(self, tree, prefix):
 
715
        if (getattr(tree, 'abspath', None) is None
 
716
            or not osutils.host_os_dereferences_symlinks()):
 
717
            return False
 
718
        try:
 
719
            os.symlink(tree.abspath(''), osutils.pathjoin(self._root, prefix))
 
720
        except OSError, e:
 
721
            if e.errno != errno.EEXIST:
 
722
                raise
 
723
        return True
 
724
 
 
725
    def _write_file(self, file_id, tree, prefix, relpath, force_temp=False,
 
726
                    allow_write=False):
 
727
        if not force_temp and isinstance(tree, WorkingTree):
 
728
            return tree.abspath(tree.id2path(file_id))
 
729
        
 
730
        full_path = osutils.pathjoin(self._root, prefix, relpath)
 
731
        if not force_temp and self._try_symlink_root(tree, prefix):
 
732
            return full_path
 
733
        parent_dir = osutils.dirname(full_path)
 
734
        try:
 
735
            os.makedirs(parent_dir)
 
736
        except OSError, e:
 
737
            if e.errno != errno.EEXIST:
 
738
                raise
 
739
        source = tree.get_file(file_id, relpath)
 
740
        try:
 
741
            target = open(full_path, 'wb')
 
742
            try:
 
743
                osutils.pumpfile(source, target)
 
744
            finally:
 
745
                target.close()
 
746
        finally:
 
747
            source.close()
 
748
        if not allow_write:
 
749
            osutils.make_readonly(full_path)
 
750
        mtime = tree.get_file_mtime(file_id)
 
751
        os.utime(full_path, (mtime, mtime))
 
752
        return full_path
 
753
 
 
754
    def _prepare_files(self, file_id, old_path, new_path, force_temp=False,
 
755
                       allow_write_new=False):
 
756
        old_disk_path = self._write_file(file_id, self.old_tree, 'old',
 
757
                                         old_path, force_temp)
 
758
        new_disk_path = self._write_file(file_id, self.new_tree, 'new',
 
759
                                         new_path, force_temp,
 
760
                                         allow_write=allow_write_new)
 
761
        return old_disk_path, new_disk_path
 
762
 
 
763
    def finish(self):
 
764
        try:
 
765
            osutils.rmtree(self._root)
 
766
        except OSError, e:
 
767
            if e.errno != errno.ENOENT:
 
768
                mutter("The temporary directory \"%s\" was not "
 
769
                        "cleanly removed: %s." % (self._root, e))
 
770
 
 
771
    def diff(self, file_id, old_path, new_path, old_kind, new_kind):
 
772
        if (old_kind, new_kind) != ('file', 'file'):
 
773
            return DiffPath.CANNOT_DIFF
 
774
        (old_disk_path, new_disk_path) = self._prepare_files(
 
775
                                                file_id, old_path, new_path)
 
776
        self._execute(old_disk_path, new_disk_path)
 
777
 
 
778
    def edit_file(self, file_id):
 
779
        """Use this tool to edit a file.
 
780
 
 
781
        A temporary copy will be edited, and the new contents will be
 
782
        returned.
 
783
 
 
784
        :param file_id: The id of the file to edit.
 
785
        :return: The new contents of the file.
 
786
        """
 
787
        old_path = self.old_tree.id2path(file_id)
 
788
        new_path = self.new_tree.id2path(file_id)
 
789
        new_abs_path = self._prepare_files(file_id, old_path, new_path,
 
790
                                           allow_write_new=True,
 
791
                                           force_temp=True)[1]
 
792
        command = self._get_command(osutils.pathjoin('old', old_path),
 
793
                                    osutils.pathjoin('new', new_path))
 
794
        subprocess.call(command, cwd=self._root)
 
795
        new_file = open(new_abs_path, 'r')
 
796
        try:
 
797
            return new_file.read()
 
798
        finally:
 
799
            new_file.close()
 
800
 
 
801
 
 
802
class DiffTree(object):
 
803
    """Provides textual representations of the difference between two trees.
 
804
 
 
805
    A DiffTree examines two trees and where a file-id has altered
 
806
    between them, generates a textual representation of the difference.
 
807
    DiffTree uses a sequence of DiffPath objects which are each
 
808
    given the opportunity to handle a given altered fileid. The list
 
809
    of DiffPath objects can be extended globally by appending to
 
810
    DiffTree.diff_factories, or for a specific diff operation by
 
811
    supplying the extra_factories option to the appropriate method.
 
812
    """
 
813
 
 
814
    # list of factories that can provide instances of DiffPath objects
 
815
    # may be extended by plugins.
 
816
    diff_factories = [DiffSymlink.from_diff_tree,
 
817
                      DiffDirectory.from_diff_tree]
 
818
 
 
819
    def __init__(self, old_tree, new_tree, to_file, path_encoding='utf-8',
 
820
                 diff_text=None, extra_factories=None):
 
821
        """Constructor
 
822
 
 
823
        :param old_tree: Tree to show as old in the comparison
 
824
        :param new_tree: Tree to show as new in the comparison
 
825
        :param to_file: File to write comparision to
 
826
        :param path_encoding: Character encoding to write paths in
 
827
        :param diff_text: DiffPath-type object to use as a last resort for
 
828
            diffing text files.
 
829
        :param extra_factories: Factories of DiffPaths to try before any other
 
830
            DiffPaths"""
 
831
        if diff_text is None:
 
832
            diff_text = DiffText(old_tree, new_tree, to_file, path_encoding,
 
833
                                 '', '',  internal_diff)
 
834
        self.old_tree = old_tree
 
835
        self.new_tree = new_tree
 
836
        self.to_file = to_file
 
837
        self.path_encoding = path_encoding
 
838
        self.differs = []
 
839
        if extra_factories is not None:
 
840
            self.differs.extend(f(self) for f in extra_factories)
 
841
        self.differs.extend(f(self) for f in self.diff_factories)
 
842
        self.differs.extend([diff_text, DiffKindChange.from_diff_tree(self)])
 
843
 
 
844
    @classmethod
 
845
    def from_trees_options(klass, old_tree, new_tree, to_file,
 
846
                           path_encoding, external_diff_options, old_label,
 
847
                           new_label, using):
 
848
        """Factory for producing a DiffTree.
 
849
 
 
850
        Designed to accept options used by show_diff_trees.
 
851
        :param old_tree: The tree to show as old in the comparison
 
852
        :param new_tree: The tree to show as new in the comparison
 
853
        :param to_file: File to write comparisons to
 
854
        :param path_encoding: Character encoding to use for writing paths
 
855
        :param external_diff_options: If supplied, use the installed diff
 
856
            binary to perform file comparison, using supplied options.
 
857
        :param old_label: Prefix to use for old file labels
 
858
        :param new_label: Prefix to use for new file labels
 
859
        :param using: Commandline to use to invoke an external diff tool
 
860
        """
 
861
        if using is not None:
 
862
            extra_factories = [DiffFromTool.make_from_diff_tree(using)]
 
863
        else:
 
864
            extra_factories = []
 
865
        if external_diff_options:
 
866
            opts = external_diff_options.split()
 
867
            def diff_file(olab, olines, nlab, nlines, to_file):
 
868
                external_diff(olab, olines, nlab, nlines, to_file, opts)
 
869
        else:
 
870
            diff_file = internal_diff
 
871
        diff_text = DiffText(old_tree, new_tree, to_file, path_encoding,
 
872
                             old_label, new_label, diff_file)
 
873
        return klass(old_tree, new_tree, to_file, path_encoding, diff_text,
 
874
                     extra_factories)
 
875
 
 
876
    def show_diff(self, specific_files, extra_trees=None):
 
877
        """Write tree diff to self.to_file
 
878
 
 
879
        :param sepecific_files: the specific files to compare (recursive)
 
880
        :param extra_trees: extra trees to use for mapping paths to file_ids
 
881
        """
 
882
        try:
 
883
            return self._show_diff(specific_files, extra_trees)
 
884
        finally:
 
885
            for differ in self.differs:
 
886
                differ.finish()
 
887
 
 
888
    def _show_diff(self, specific_files, extra_trees):
 
889
        # TODO: Generation of pseudo-diffs for added/deleted files could
 
890
        # be usefully made into a much faster special case.
 
891
        iterator = self.new_tree.iter_changes(self.old_tree,
 
892
                                               specific_files=specific_files,
 
893
                                               extra_trees=extra_trees,
 
894
                                               require_versioned=True)
 
895
        has_changes = 0
 
896
        def changes_key(change):
 
897
            old_path, new_path = change[1]
 
898
            path = new_path
 
899
            if path is None:
 
900
                path = old_path
 
901
            return path
 
902
        def get_encoded_path(path):
 
903
            if path is not None:
 
904
                return path.encode(self.path_encoding, "replace")
 
905
        for (file_id, paths, changed_content, versioned, parent, name, kind,
 
906
             executable) in sorted(iterator, key=changes_key):
 
907
            # The root does not get diffed, and items with no known kind (that
 
908
            # is, missing) in both trees are skipped as well.
 
909
            if parent == (None, None) or kind == (None, None):
 
910
                continue
 
911
            oldpath, newpath = paths
 
912
            oldpath_encoded = get_encoded_path(paths[0])
 
913
            newpath_encoded = get_encoded_path(paths[1])
 
914
            old_present = (kind[0] is not None and versioned[0])
 
915
            new_present = (kind[1] is not None and versioned[1])
 
916
            renamed = (parent[0], name[0]) != (parent[1], name[1])
 
917
 
 
918
            properties_changed = []
 
919
            properties_changed.extend(get_executable_change(executable[0], executable[1]))
 
920
 
 
921
            if properties_changed:
 
922
                prop_str = " (properties changed: %s)" % (", ".join(properties_changed),)
 
923
            else:
 
924
                prop_str = ""
 
925
 
 
926
            if (old_present, new_present) == (True, False):
 
927
                self.to_file.write("=== removed %s '%s'\n" %
 
928
                                   (kind[0], oldpath_encoded))
 
929
                newpath = oldpath
 
930
            elif (old_present, new_present) == (False, True):
 
931
                self.to_file.write("=== added %s '%s'\n" %
 
932
                                   (kind[1], newpath_encoded))
 
933
                oldpath = newpath
 
934
            elif renamed:
 
935
                self.to_file.write("=== renamed %s '%s' => '%s'%s\n" %
 
936
                    (kind[0], oldpath_encoded, newpath_encoded, prop_str))
 
937
            else:
 
938
                # if it was produced by iter_changes, it must be
 
939
                # modified *somehow*, either content or execute bit.
 
940
                self.to_file.write("=== modified %s '%s'%s\n" % (kind[0],
 
941
                                   newpath_encoded, prop_str))
 
942
            if changed_content:
 
943
                self._diff(file_id, oldpath, newpath, kind[0], kind[1])
 
944
                has_changes = 1
 
945
            if renamed:
 
946
                has_changes = 1
 
947
        return has_changes
 
948
 
 
949
    def diff(self, file_id, old_path, new_path):
 
950
        """Perform a diff of a single file
 
951
 
 
952
        :param file_id: file-id of the file
 
953
        :param old_path: The path of the file in the old tree
 
954
        :param new_path: The path of the file in the new tree
 
955
        """
 
956
        try:
 
957
            old_kind = self.old_tree.kind(file_id)
 
958
        except (errors.NoSuchId, errors.NoSuchFile):
 
959
            old_kind = None
 
960
        try:
 
961
            new_kind = self.new_tree.kind(file_id)
 
962
        except (errors.NoSuchId, errors.NoSuchFile):
 
963
            new_kind = None
 
964
        self._diff(file_id, old_path, new_path, old_kind, new_kind)
 
965
 
 
966
 
 
967
    def _diff(self, file_id, old_path, new_path, old_kind, new_kind):
 
968
        result = DiffPath._diff_many(self.differs, file_id, old_path,
 
969
                                       new_path, old_kind, new_kind)
 
970
        if result is DiffPath.CANNOT_DIFF:
 
971
            error_path = new_path
 
972
            if error_path is None:
 
973
                error_path = old_path
 
974
            raise errors.NoDiffFound(error_path)