~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/delta.py

  • Committer: Michael Ellerman
  • Date: 2006-02-28 14:45:51 UTC
  • mto: (1558.1.18 Aaron's integration)
  • mto: This revision was merged to the branch mainline in revision 1586.
  • Revision ID: michael@ellerman.id.au-20060228144551-3d9941ecde4a0b0a
Update contrib/pwk for -p1 diffs from bzr

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
2
 
#
 
1
# -*- coding: UTF-8 -*-
 
2
 
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
#
 
7
 
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
#
 
12
 
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
 
from bzrlib import (
18
 
    errors,
19
 
    osutils,
20
 
    )
21
17
from bzrlib.inventory import InventoryEntry
22
 
from bzrlib.trace import mutter, is_quiet
23
 
from bzrlib.symbol_versioning import deprecated_function
24
 
 
 
18
from bzrlib.trace import mutter
25
19
 
26
20
class TreeDelta(object):
27
21
    """Describes changes from one tree to another.
28
22
 
29
 
    Contains seven lists:
 
23
    Contains four lists:
30
24
 
31
25
    added
32
26
        (path, id, kind)
34
28
        (path, id, kind)
35
29
    renamed
36
30
        (oldpath, newpath, id, kind, text_modified, meta_modified)
37
 
    kind_changed
38
 
        (path, id, old_kind, new_kind)
39
31
    modified
40
32
        (path, id, kind, text_modified, meta_modified)
41
33
    unchanged
42
34
        (path, id, kind)
43
 
    unversioned
44
 
        (path, None, kind)
45
35
 
46
36
    Each id is listed only once.
47
37
 
60
50
        self.added = []
61
51
        self.removed = []
62
52
        self.renamed = []
63
 
        self.kind_changed = []
64
53
        self.modified = []
65
54
        self.unchanged = []
66
 
        self.unversioned = []
67
55
 
68
56
    def __eq__(self, other):
69
57
        if not isinstance(other, TreeDelta):
72
60
               and self.removed == other.removed \
73
61
               and self.renamed == other.renamed \
74
62
               and self.modified == other.modified \
75
 
               and self.unchanged == other.unchanged \
76
 
               and self.kind_changed == other.kind_changed \
77
 
               and self.unversioned == other.unversioned
 
63
               and self.unchanged == other.unchanged
78
64
 
79
65
    def __ne__(self, other):
80
66
        return not (self == other)
81
67
 
82
68
    def __repr__(self):
83
 
        return "TreeDelta(added=%r, removed=%r, renamed=%r," \
84
 
            " kind_changed=%r, modified=%r, unchanged=%r," \
85
 
            " unversioned=%r)" % (self.added,
86
 
            self.removed, self.renamed, self.kind_changed, self.modified,
87
 
            self.unchanged, self.unversioned)
 
69
        return "TreeDelta(added=%r, removed=%r, renamed=%r, modified=%r," \
 
70
            " unchanged=%r)" % (self.added, self.removed, self.renamed,
 
71
            self.modified, self.unchanged)
88
72
 
89
73
    def has_changed(self):
90
74
        return bool(self.modified
91
75
                    or self.added
92
76
                    or self.removed
93
 
                    or self.renamed
94
 
                    or self.kind_changed)
 
77
                    or self.renamed)
95
78
 
96
79
    def touches_file_id(self, file_id):
97
80
        """Return True if file_id is modified by this delta."""
102
85
        for v in self.renamed:
103
86
            if v[2] == file_id:
104
87
                return True
105
 
        for v in self.kind_changed:
106
 
            if v[1] == file_id:
107
 
                return True
108
88
        return False
109
 
 
110
 
 
111
 
    def show(self, to_file, show_ids=False, show_unchanged=False,
112
 
             short_status=False, indent='',
113
 
             filter=None):
114
 
        """Output this delta in status-like form to to_file.
115
 
 
116
 
        :param to_file: A file-like object where the output is displayed.
117
 
 
118
 
        :param show_ids: Output the file ids if True.
119
 
 
120
 
        :param show_unchanged: Output the unchanged files if True.
121
 
 
122
 
        :param short_status: Single-line status if True.
123
 
 
124
 
        :param indent: Added at the beginning of all output lines (for merged
125
 
            revisions).
126
 
 
127
 
        :param filter: A callable receiving a path and a file id and
128
 
            returning True if the path should be displayed.
129
 
        """
130
 
 
131
 
        def decorate_path(path, kind, meta_modified=None):
132
 
            if kind == 'directory':
133
 
                path += '/'
134
 
            elif kind == 'symlink':
135
 
                path += '@'
136
 
            if meta_modified:
137
 
                path += '*'
138
 
            return path
139
 
 
140
 
        def show_more_renamed(item):
141
 
            (oldpath, file_id, kind,
142
 
             text_modified, meta_modified, newpath) = item
143
 
            dec_new_path = decorate_path(newpath, kind, meta_modified)
144
 
            to_file.write(' => %s' % dec_new_path)
145
 
            if text_modified or meta_modified:
146
 
                extra_modified.append((newpath, file_id, kind,
147
 
                                       text_modified, meta_modified))
148
 
 
149
 
        def show_more_kind_changed(item):
150
 
            (path, file_id, old_kind, new_kind) = item
151
 
            to_file.write(' (%s => %s)' % (old_kind, new_kind))
152
 
 
153
 
        def show_path(path, file_id, kind, meta_modified,
154
 
                      default_format, with_file_id_format):
155
 
            dec_path = decorate_path(path, kind, meta_modified)
156
 
            if show_ids:
157
 
                to_file.write(with_file_id_format % dec_path)
158
 
            else:
159
 
                to_file.write(default_format % dec_path)
160
 
 
161
 
        def show_list(files, long_status_name, short_status_letter,
162
 
                      default_format='%s', with_file_id_format='%-30s',
163
 
                      show_more=None):
164
 
            if files:
165
 
                header_shown = False
166
 
                if short_status:
167
 
                    prefix = short_status_letter
 
89
            
 
90
 
 
91
    def show(self, to_file, show_ids=False, show_unchanged=False):
 
92
        def show_list(files):
 
93
            for item in files:
 
94
                path, fid, kind = item[:3]
 
95
 
 
96
                if kind == 'directory':
 
97
                    path += '/'
 
98
                elif kind == 'symlink':
 
99
                    path += '@'
 
100
 
 
101
                if len(item) == 5 and item[4]:
 
102
                    path += '*'
 
103
 
 
104
                if show_ids:
 
105
                    print >>to_file, '  %-30s %s' % (path, fid)
168
106
                else:
169
 
                    prefix = ''
170
 
                prefix = indent + prefix + '  '
171
 
 
172
 
                for item in files:
173
 
                    path, file_id, kind = item[:3]
174
 
                    if (filter is not None and not filter(path, file_id)):
175
 
                        continue
176
 
                    if not header_shown and not short_status:
177
 
                        to_file.write(indent + long_status_name + ':\n')
178
 
                        header_shown = True
179
 
                    meta_modified = None
180
 
                    if len(item) == 5:
181
 
                        meta_modified = item[4]
182
 
 
183
 
                    to_file.write(prefix)
184
 
                    show_path(path, file_id, kind, meta_modified,
185
 
                              default_format, with_file_id_format)
186
 
                    if show_more is not None:
187
 
                        show_more(item)
188
 
                    if show_ids:
189
 
                        to_file.write(' %s' % file_id)
190
 
                    to_file.write('\n')
191
 
 
192
 
        show_list(self.removed, 'removed', 'D')#
193
 
        show_list(self.added, 'added', 'A')
 
107
                    print >>to_file, ' ', path
 
108
            
 
109
        if self.removed:
 
110
            print >>to_file, 'removed:'
 
111
            show_list(self.removed)
 
112
                
 
113
        if self.added:
 
114
            print >>to_file, 'added:'
 
115
            show_list(self.added)
 
116
 
194
117
        extra_modified = []
195
 
        # Reorder self.renamed tuples so that all lists share the same
196
 
        # order for their 3 first fields and that they also begin like
197
 
        # the self.modified tuples
198
 
        renamed = [(p, i, k, tm, mm, np)
199
 
                   for  p, np, i, k, tm, mm  in self.renamed]
200
 
        show_list(renamed, 'renamed', 'R', with_file_id_format='%s',
201
 
                  show_more=show_more_renamed)
202
 
        show_list(self.kind_changed, 'kind changed', 'K',
203
 
                  with_file_id_format='%s',
204
 
                  show_more=show_more_kind_changed)
205
 
        show_list(self.modified + extra_modified, 'modified', 'M')
206
 
        if show_unchanged:
207
 
            show_list(self.unchanged, 'unchanged', 'S')
208
 
 
209
 
        show_list(self.unversioned, 'unknown', ' ')
210
 
 
211
 
    def get_changes_as_text(self, show_ids=False, show_unchanged=False,
212
 
             short_status=False):
213
 
        import StringIO
214
 
        output = StringIO.StringIO()
215
 
        self.show(output, show_ids, show_unchanged, short_status)
216
 
        return output.getvalue()
217
 
 
218
 
 
219
 
def _compare_trees(old_tree, new_tree, want_unchanged, specific_files,
220
 
                   include_root, extra_trees=None,
221
 
                   require_versioned=False, want_unversioned=False):
222
 
    """Worker function that implements Tree.changes_from."""
 
118
 
 
119
        if self.renamed:
 
120
            print >>to_file, 'renamed:'
 
121
            for (oldpath, newpath, fid, kind,
 
122
                 text_modified, meta_modified) in self.renamed:
 
123
                if text_modified or meta_modified:
 
124
                    extra_modified.append((newpath, fid, kind,
 
125
                                           text_modified, meta_modified))
 
126
                if meta_modified:
 
127
                    newpath += '*'
 
128
                if show_ids:
 
129
                    print >>to_file, '  %s => %s %s' % (oldpath, newpath, fid)
 
130
                else:
 
131
                    print >>to_file, '  %s => %s' % (oldpath, newpath)
 
132
                    
 
133
        if self.modified or extra_modified:
 
134
            print >>to_file, 'modified:'
 
135
            show_list(self.modified)
 
136
            show_list(extra_modified)
 
137
            
 
138
        if show_unchanged and self.unchanged:
 
139
            print >>to_file, 'unchanged:'
 
140
            show_list(self.unchanged)
 
141
 
 
142
 
 
143
 
 
144
def compare_trees(old_tree, new_tree, want_unchanged=False, specific_files=None):
 
145
    """Describe changes from one tree to another.
 
146
 
 
147
    Returns a TreeDelta with details of added, modified, renamed, and
 
148
    deleted entries.
 
149
 
 
150
    The root entry is specifically exempt.
 
151
 
 
152
    This only considers versioned files.
 
153
 
 
154
    want_unchanged
 
155
        If true, also list files unchanged from one version to
 
156
        the next.
 
157
 
 
158
    specific_files
 
159
        If true, only check for changes to specified names or
 
160
        files within them.
 
161
    """
 
162
 
 
163
    old_tree.lock_read()
 
164
    try:
 
165
        new_tree.lock_read()
 
166
        try:
 
167
            return _compare_trees(old_tree, new_tree, want_unchanged,
 
168
                                  specific_files)
 
169
        finally:
 
170
            new_tree.unlock()
 
171
    finally:
 
172
        old_tree.unlock()
 
173
 
 
174
 
 
175
def _compare_trees(old_tree, new_tree, want_unchanged, specific_files):
 
176
 
 
177
    from osutils import is_inside_any
 
178
    
 
179
    old_inv = old_tree.inventory
 
180
    new_inv = new_tree.inventory
223
181
    delta = TreeDelta()
224
 
    # mutter('start compare_trees')
225
 
 
226
 
    for (file_id, path, content_change, versioned, parent_id, name, kind,
227
 
         executable) in new_tree.iter_changes(old_tree, want_unchanged,
228
 
            specific_files, extra_trees=extra_trees,
229
 
            require_versioned=require_versioned,
230
 
            want_unversioned=want_unversioned):
231
 
        if versioned == (False, False):
232
 
            delta.unversioned.append((path[1], None, kind[1]))
233
 
            continue
234
 
        if not include_root and (None, None) == parent_id:
235
 
            continue
236
 
        fully_present = tuple((versioned[x] and kind[x] is not None) for
237
 
                              x in range(2))
238
 
        if fully_present[0] != fully_present[1]:
239
 
            if fully_present[1] is True:
240
 
                delta.added.append((path[1], file_id, kind[1]))
241
 
            else:
242
 
                delta.removed.append((path[0], file_id, kind[0]))
243
 
        elif fully_present[0] is False:
244
 
            continue
245
 
        elif name[0] != name[1] or parent_id[0] != parent_id[1]:
246
 
            # If the name changes, or the parent_id changes, we have a rename
247
 
            # (if we move a parent, that doesn't count as a rename for the
248
 
            # file)
249
 
            delta.renamed.append((path[0],
250
 
                                  path[1],
251
 
                                  file_id,
252
 
                                  kind[1],
253
 
                                  content_change,
254
 
                                  (executable[0] != executable[1])))
255
 
        elif kind[0] != kind[1]:
256
 
            delta.kind_changed.append((path[1], file_id, kind[0], kind[1]))
257
 
        elif content_change or executable[0] != executable[1]:
258
 
            delta.modified.append((path[1], file_id, kind[1],
259
 
                                   content_change,
260
 
                                   (executable[0] != executable[1])))
 
182
    mutter('start compare_trees')
 
183
 
 
184
    # TODO: match for specific files can be rather smarter by finding
 
185
    # the IDs of those files up front and then considering only that.
 
186
 
 
187
    for file_id in old_tree:
 
188
        if file_id in new_tree:
 
189
            old_ie = old_inv[file_id]
 
190
            new_ie = new_inv[file_id]
 
191
 
 
192
            kind = old_ie.kind
 
193
            assert kind == new_ie.kind
 
194
            
 
195
            assert kind in InventoryEntry.known_kinds, \
 
196
                   'invalid file kind %r' % kind
 
197
 
 
198
            if kind == 'root_directory':
 
199
                continue
 
200
            
 
201
            if specific_files:
 
202
                if (not is_inside_any(specific_files, old_inv.id2path(file_id)) 
 
203
                    and not is_inside_any(specific_files, new_inv.id2path(file_id))):
 
204
                    continue
 
205
 
 
206
            # temporary hack until all entries are populated before clients 
 
207
            # get them
 
208
            old_path = old_inv.id2path(file_id)
 
209
            new_path = new_inv.id2path(file_id)
 
210
            old_ie._read_tree_state(old_path, old_tree)
 
211
            new_ie._read_tree_state(new_path, new_tree)
 
212
            text_modified, meta_modified = new_ie.detect_changes(old_ie)
 
213
 
 
214
            # TODO: Can possibly avoid calculating path strings if the
 
215
            # two files are unchanged and their names and parents are
 
216
            # the same and the parents are unchanged all the way up.
 
217
            # May not be worthwhile.
 
218
            
 
219
            if (old_ie.name != new_ie.name
 
220
                or old_ie.parent_id != new_ie.parent_id):
 
221
                delta.renamed.append((old_path,
 
222
                                      new_path,
 
223
                                      file_id, kind,
 
224
                                      text_modified, meta_modified))
 
225
            elif text_modified or meta_modified:
 
226
                delta.modified.append((new_path, file_id, kind,
 
227
                                       text_modified, meta_modified))
 
228
            elif want_unchanged:
 
229
                delta.unchanged.append((new_path, file_id, kind))
261
230
        else:
262
 
            delta.unchanged.append((path[1], file_id, kind[1]))
 
231
            kind = old_inv.get_file_kind(file_id)
 
232
            if kind == 'root_directory':
 
233
                continue
 
234
            old_path = old_inv.id2path(file_id)
 
235
            if specific_files:
 
236
                if not is_inside_any(specific_files, old_path):
 
237
                    continue
 
238
            delta.removed.append((old_path, file_id, kind))
263
239
 
 
240
    mutter('start looking for new files')
 
241
    for file_id in new_inv:
 
242
        if file_id in old_inv or file_id not in new_tree:
 
243
            continue
 
244
        kind = new_inv.get_file_kind(file_id)
 
245
        if kind == 'root_directory':
 
246
            continue
 
247
        new_path = new_inv.id2path(file_id)
 
248
        if specific_files:
 
249
            if not is_inside_any(specific_files, new_path):
 
250
                continue
 
251
        delta.added.append((new_path, file_id, kind))
 
252
            
264
253
    delta.removed.sort()
265
254
    delta.added.sort()
266
255
    delta.renamed.sort()
267
 
    # TODO: jam 20060529 These lists shouldn't need to be sorted
268
 
    #       since we added them in alphabetical order.
269
256
    delta.modified.sort()
270
257
    delta.unchanged.sort()
271
258
 
272
259
    return delta
273
 
 
274
 
 
275
 
class _ChangeReporter(object):
276
 
    """Report changes between two trees"""
277
 
 
278
 
    def __init__(self, output=None, suppress_root_add=True,
279
 
                 output_file=None, unversioned_filter=None, view_info=None):
280
 
        """Constructor
281
 
 
282
 
        :param output: a function with the signature of trace.note, i.e.
283
 
            accepts a format and parameters.
284
 
        :param supress_root_add: If true, adding the root will be ignored
285
 
            (i.e. when a tree has just been initted)
286
 
        :param output_file: If supplied, a file-like object to write to.
287
 
            Only one of output and output_file may be supplied.
288
 
        :param unversioned_filter: A filter function to be called on
289
 
            unversioned files. This should return True to ignore a path.
290
 
            By default, no filtering takes place.
291
 
        :param view_info: A tuple of view_name,view_files if only
292
 
            items inside a view are to be reported on, or None for
293
 
            no view filtering.
294
 
        """
295
 
        if output_file is not None:
296
 
            if output is not None:
297
 
                raise BzrError('Cannot specify both output and output_file')
298
 
            def output(fmt, *args):
299
 
                output_file.write((fmt % args) + '\n')
300
 
        self.output = output
301
 
        if self.output is None:
302
 
            from bzrlib import trace
303
 
            self.output = trace.note
304
 
        self.suppress_root_add = suppress_root_add
305
 
        self.modified_map = {'kind changed': 'K',
306
 
                             'unchanged': ' ',
307
 
                             'created': 'N',
308
 
                             'modified': 'M',
309
 
                             'deleted': 'D'}
310
 
        self.versioned_map = {'added': '+', # versioned target
311
 
                              'unchanged': ' ', # versioned in both
312
 
                              'removed': '-', # versioned in source
313
 
                              'unversioned': '?', # versioned in neither
314
 
                              }
315
 
        self.unversioned_filter = unversioned_filter
316
 
        if view_info is None:
317
 
            self.view_name = None
318
 
            self.view_files = []
319
 
        else:
320
 
            self.view_name = view_info[0]
321
 
            self.view_files = view_info[1]
322
 
            self.output("Operating on whole tree but only reporting on "
323
 
                        "'%s' view." % (self.view_name,))
324
 
 
325
 
    def report(self, file_id, paths, versioned, renamed, modified, exe_change,
326
 
               kind):
327
 
        """Report one change to a file
328
 
 
329
 
        :param file_id: The file_id of the file
330
 
        :param path: The old and new paths as generated by Tree.iter_changes.
331
 
        :param versioned: may be 'added', 'removed', 'unchanged', or
332
 
            'unversioned.
333
 
        :param renamed: may be True or False
334
 
        :param modified: may be 'created', 'deleted', 'kind changed',
335
 
            'modified' or 'unchanged'.
336
 
        :param exe_change: True if the execute bit has changed
337
 
        :param kind: A pair of file kinds, as generated by Tree.iter_changes.
338
 
            None indicates no file present.
339
 
        """
340
 
        if is_quiet():
341
 
            return
342
 
        if paths[1] == '' and versioned == 'added' and self.suppress_root_add:
343
 
            return
344
 
        if self.view_files and not osutils.is_inside_any(self.view_files,
345
 
            paths[1]):
346
 
            return
347
 
        if versioned == 'unversioned':
348
 
            # skip ignored unversioned files if needed.
349
 
            if self.unversioned_filter is not None:
350
 
                if self.unversioned_filter(paths[1]):
351
 
                    return
352
 
            # dont show a content change in the output.
353
 
            modified = 'unchanged'
354
 
        # we show both paths in the following situations:
355
 
        # the file versioning is unchanged AND
356
 
        # ( the path is different OR
357
 
        #   the kind is different)
358
 
        if (versioned == 'unchanged' and
359
 
            (renamed or modified == 'kind changed')):
360
 
            if renamed:
361
 
                # on a rename, we show old and new
362
 
                old_path, path = paths
363
 
            else:
364
 
                # if it's not renamed, we're showing both for kind changes
365
 
                # so only show the new path
366
 
                old_path, path = paths[1], paths[1]
367
 
            # if the file is not missing in the source, we show its kind
368
 
            # when we show two paths.
369
 
            if kind[0] is not None:
370
 
                old_path += osutils.kind_marker(kind[0])
371
 
            old_path += " => "
372
 
        elif versioned == 'removed':
373
 
            # not present in target
374
 
            old_path = ""
375
 
            path = paths[0]
376
 
        else:
377
 
            old_path = ""
378
 
            path = paths[1]
379
 
        if renamed:
380
 
            rename = "R"
381
 
        else:
382
 
            rename = self.versioned_map[versioned]
383
 
        # we show the old kind on the new path when the content is deleted.
384
 
        if modified == 'deleted':
385
 
            path += osutils.kind_marker(kind[0])
386
 
        # otherwise we always show the current kind when there is one
387
 
        elif kind[1] is not None:
388
 
            path += osutils.kind_marker(kind[1])
389
 
        if exe_change:
390
 
            exe = '*'
391
 
        else:
392
 
            exe = ' '
393
 
        self.output("%s%s%s %s%s", rename, self.modified_map[modified], exe,
394
 
                    old_path, path)
395
 
 
396
 
 
397
 
def report_changes(change_iterator, reporter):
398
 
    """Report the changes from a change iterator.
399
 
 
400
 
    This is essentially a translation from low-level to medium-level changes.
401
 
    Further processing may be required to produce a human-readable output.
402
 
    Unfortunately, some tree-changing operations are very complex
403
 
    :change_iterator: an iterator or sequence of changes in the format
404
 
        generated by Tree.iter_changes
405
 
    :param reporter: The _ChangeReporter that will report the changes.
406
 
    """
407
 
    versioned_change_map = {
408
 
        (True, True)  : 'unchanged',
409
 
        (True, False) : 'removed',
410
 
        (False, True) : 'added',
411
 
        (False, False): 'unversioned',
412
 
        }
413
 
    for (file_id, path, content_change, versioned, parent_id, name, kind,
414
 
         executable) in change_iterator:
415
 
        exe_change = False
416
 
        # files are "renamed" if they are moved or if name changes, as long
417
 
        # as it had a value
418
 
        if None not in name and None not in parent_id and\
419
 
            (name[0] != name[1] or parent_id[0] != parent_id[1]):
420
 
            renamed = True
421
 
        else:
422
 
            renamed = False
423
 
        if kind[0] != kind[1]:
424
 
            if kind[0] is None:
425
 
                modified = "created"
426
 
            elif kind[1] is None:
427
 
                modified = "deleted"
428
 
            else:
429
 
                modified = "kind changed"
430
 
        else:
431
 
            if content_change:
432
 
                modified = "modified"
433
 
            else:
434
 
                modified = "unchanged"
435
 
            if kind[1] == "file":
436
 
                exe_change = (executable[0] != executable[1])
437
 
        versioned_change = versioned_change_map[versioned]
438
 
        reporter.report(file_id, path, versioned_change, renamed, modified,
439
 
                        exe_change, kind)