← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/delta.py

  • Committer: John Arbash Meinel
  • Date: 2005-09-15 21:35:53 UTC
  • mfrom: (907.1.57)
  • mto: (1393.2.1)
  • mto: This revision was merged to the branch mainline in revision 1396.
  • Revision ID: john@arbash-meinel.com-20050915213552-a6c83a5ef1e20897
(broken) Transport work is merged in. Tests do not pass yet.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/delta.py
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
2
 
#
 
1
# -*- coding: UTF-8 -*-
 
2
 
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
#
 
7
 
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
#
 
12
 
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
17
 
from bzrlib import (
18
 
    errors,
19
 
    osutils,
20
 
    )
21
 
from bzrlib.inventory import InventoryEntry
22
 
from bzrlib.trace import mutter, is_quiet
23
 
from bzrlib.symbol_versioning import deprecated_function
24
 
 
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
from bzrlib.trace import mutter
25
18
 
26
19
class TreeDelta(object):
27
20
    """Describes changes from one tree to another.
28
21
 
29
 
    Contains seven lists:
 
22
    Contains four lists:
30
23
 
31
24
    added
32
25
        (path, id, kind)
33
26
    removed
34
27
        (path, id, kind)
35
28
    renamed
36
 
        (oldpath, newpath, id, kind, text_modified, meta_modified)
37
 
    kind_changed
38
 
        (path, id, old_kind, new_kind)
 
29
        (oldpath, newpath, id, kind, text_modified)
39
30
    modified
40
 
        (path, id, kind, text_modified, meta_modified)
 
31
        (path, id, kind)
41
32
    unchanged
42
33
        (path, id, kind)
43
 
    unversioned
44
 
        (path, None, kind)
45
34
 
46
35
    Each id is listed only once.
47
36
 
48
37
    Files that are both modified and renamed are listed only in
49
 
    renamed, with the text_modified flag true. The text_modified
50
 
    applies either to the content of the file or the target of the
51
 
    symbolic link, depending of the kind of file.
 
38
    renamed, with the text_modified flag true.
52
39
 
53
40
    Files are only considered renamed if their name has changed or
54
41
    their parent directory has changed.  Renaming a directory
60
47
        self.added = []
61
48
        self.removed = []
62
49
        self.renamed = []
63
 
        self.kind_changed = []
64
50
        self.modified = []
65
51
        self.unchanged = []
66
 
        self.unversioned = []
67
52
 
68
53
    def __eq__(self, other):
69
54
        if not isinstance(other, TreeDelta):
72
57
               and self.removed == other.removed \
73
58
               and self.renamed == other.renamed \
74
59
               and self.modified == other.modified \
75
 
               and self.unchanged == other.unchanged \
76
 
               and self.kind_changed == other.kind_changed \
77
 
               and self.unversioned == other.unversioned
 
60
               and self.unchanged == other.unchanged
78
61
 
79
62
    def __ne__(self, other):
80
63
        return not (self == other)
81
64
 
82
65
    def __repr__(self):
83
 
        return "TreeDelta(added=%r, removed=%r, renamed=%r," \
84
 
            " kind_changed=%r, modified=%r, unchanged=%r," \
85
 
            " unversioned=%r)" % (self.added,
86
 
            self.removed, self.renamed, self.kind_changed, self.modified,
87
 
            self.unchanged, self.unversioned)
 
66
        return "TreeDelta(added=%r, removed=%r, renamed=%r, modified=%r," \
 
67
            " unchanged=%r)" % (self.added, self.removed, self.renamed,
 
68
            self.modified, self.unchanged)
88
69
 
89
70
    def has_changed(self):
90
 
        return bool(self.modified
91
 
                    or self.added
92
 
                    or self.removed
93
 
                    or self.renamed
94
 
                    or self.kind_changed)
 
71
        changes = len(self.added) + len(self.removed) + len(self.renamed)
 
72
        changes += len(self.modified) 
 
73
        return (changes != 0)
95
74
 
96
75
    def touches_file_id(self, file_id):
97
76
        """Return True if file_id is modified by this delta."""
102
81
        for v in self.renamed:
103
82
            if v[2] == file_id:
104
83
                return True
105
 
        for v in self.kind_changed:
106
 
            if v[1] == file_id:
107
 
                return True
108
84
        return False
109
 
 
110
 
 
111
 
    def show(self, to_file, show_ids=False, show_unchanged=False,
112
 
             short_status=False, indent='',
113
 
             filter=None):
114
 
        """Output this delta in status-like form to to_file.
115
 
 
116
 
        :param to_file: A file-like object where the output is displayed.
117
 
 
118
 
        :param show_ids: Output the file ids if True.
119
 
 
120
 
        :param show_unchanged: Output the unchanged files if True.
121
 
 
122
 
        :param short_status: Single-line status if True.
123
 
 
124
 
        :param indent: Added at the beginning of all output lines (for merged
125
 
            revisions).
126
 
 
127
 
        :param filter: A callable receiving a path and a file id and
128
 
            returning True if the path should be displayed.
129
 
        """
130
 
 
131
 
        def decorate_path(path, kind, meta_modified=None):
132
 
            if kind == 'directory':
133
 
                path += '/'
134
 
            elif kind == 'symlink':
135
 
                path += '@'
136
 
            if meta_modified:
137
 
                path += '*'
138
 
            return path
139
 
 
140
 
        def show_more_renamed(item):
141
 
            (oldpath, file_id, kind,
142
 
             text_modified, meta_modified, newpath) = item
143
 
            dec_new_path = decorate_path(newpath, kind, meta_modified)
144
 
            to_file.write(' => %s' % dec_new_path)
145
 
            if text_modified or meta_modified:
146
 
                extra_modified.append((newpath, file_id, kind,
147
 
                                       text_modified, meta_modified))
148
 
 
149
 
        def show_more_kind_changed(item):
150
 
            (path, file_id, old_kind, new_kind) = item
151
 
            to_file.write(' (%s => %s)' % (old_kind, new_kind))
152
 
 
153
 
        def show_path(path, file_id, kind, meta_modified,
154
 
                      default_format, with_file_id_format):
155
 
            dec_path = decorate_path(path, kind, meta_modified)
156
 
            if show_ids:
157
 
                to_file.write(with_file_id_format % dec_path)
158
 
            else:
159
 
                to_file.write(default_format % dec_path)
160
 
 
161
 
        def show_list(files, long_status_name, short_status_letter,
162
 
                      default_format='%s', with_file_id_format='%-30s',
163
 
                      show_more=None):
164
 
            if files:
165
 
                header_shown = False
166
 
                if short_status:
167
 
                    prefix = short_status_letter
168
 
                else:
169
 
                    prefix = ''
170
 
                prefix = indent + prefix + '  '
171
 
 
172
 
                for item in files:
173
 
                    path, file_id, kind = item[:3]
174
 
                    if (filter is not None and not filter(path, file_id)):
175
 
                        continue
176
 
                    if not header_shown and not short_status:
177
 
                        to_file.write(indent + long_status_name + ':\n')
178
 
                        header_shown = True
179
 
                    meta_modified = None
180
 
                    if len(item) == 5:
181
 
                        meta_modified = item[4]
182
 
 
183
 
                    to_file.write(prefix)
184
 
                    show_path(path, file_id, kind, meta_modified,
185
 
                              default_format, with_file_id_format)
186
 
                    if show_more is not None:
187
 
                        show_more(item)
188
 
                    if show_ids:
189
 
                        to_file.write(' %s' % file_id)
190
 
                    to_file.write('\n')
191
 
 
192
 
        show_list(self.removed, 'removed', 'D')#
193
 
        show_list(self.added, 'added', 'A')
194
 
        extra_modified = []
195
 
        # Reorder self.renamed tuples so that all lists share the same
196
 
        # order for their 3 first fields and that they also begin like
197
 
        # the self.modified tuples
198
 
        renamed = [(p, i, k, tm, mm, np)
199
 
                   for  p, np, i, k, tm, mm  in self.renamed]
200
 
        show_list(renamed, 'renamed', 'R', with_file_id_format='%s',
201
 
                  show_more=show_more_renamed)
202
 
        show_list(self.kind_changed, 'kind changed', 'K',
203
 
                  with_file_id_format='%s',
204
 
                  show_more=show_more_kind_changed)
205
 
        show_list(self.modified + extra_modified, 'modified', 'M')
206
 
        if show_unchanged:
207
 
            show_list(self.unchanged, 'unchanged', 'S')
208
 
 
209
 
        show_list(self.unversioned, 'unknown', ' ')
210
 
 
211
 
    def get_changes_as_text(self, show_ids=False, show_unchanged=False,
212
 
             short_status=False):
213
 
        import StringIO
214
 
        output = StringIO.StringIO()
215
 
        self.show(output, show_ids, show_unchanged, short_status)
216
 
        return output.getvalue()
217
 
 
218
 
 
219
 
def _compare_trees(old_tree, new_tree, want_unchanged, specific_files,
220
 
                   include_root, extra_trees=None,
221
 
                   require_versioned=False, want_unversioned=False):
222
 
    """Worker function that implements Tree.changes_from."""
 
85
            
 
86
 
 
87
    def show(self, to_file, show_ids=False, show_unchanged=False):
 
88
        def show_list(files):
 
89
            for path, fid, kind in files:
 
90
                if kind == 'directory':
 
91
                    path += '/'
 
92
                elif kind == 'symlink':
 
93
                    path += '@'
 
94
                    
 
95
                if show_ids:
 
96
                    print >>to_file, '  %-30s %s' % (path, fid)
 
97
                else:
 
98
                    print >>to_file, ' ', path
 
99
            
 
100
        if self.removed:
 
101
            print >>to_file, 'removed:'
 
102
            show_list(self.removed)
 
103
                
 
104
        if self.added:
 
105
            print >>to_file, 'added:'
 
106
            show_list(self.added)
 
107
 
 
108
        if self.renamed:
 
109
            print >>to_file, 'renamed:'
 
110
            for oldpath, newpath, fid, kind, text_modified in self.renamed:
 
111
                if show_ids:
 
112
                    print >>to_file, '  %s => %s %s' % (oldpath, newpath, fid)
 
113
                else:
 
114
                    print >>to_file, '  %s => %s' % (oldpath, newpath)
 
115
                    
 
116
        if self.modified:
 
117
            print >>to_file, 'modified:'
 
118
            show_list(self.modified)
 
119
            
 
120
        if show_unchanged and self.unchanged:
 
121
            print >>to_file, 'unchanged:'
 
122
            show_list(self.unchanged)
 
123
 
 
124
 
 
125
 
 
126
def compare_trees(old_tree, new_tree, want_unchanged=False, specific_files=None):
 
127
    """Describe changes from one tree to another.
 
128
 
 
129
    Returns a TreeDelta with details of added, modified, renamed, and
 
130
    deleted entries.
 
131
 
 
132
    The root entry is specifically exempt.
 
133
 
 
134
    This only considers versioned files.
 
135
 
 
136
    want_unchanged
 
137
        If true, also list files unchanged from one version to
 
138
        the next.
 
139
 
 
140
    specific_files
 
141
        If true, only check for changes to specified names or
 
142
        files within them.
 
143
    """
 
144
 
 
145
    from osutils import is_inside_any
 
146
    
 
147
    old_inv = old_tree.inventory
 
148
    new_inv = new_tree.inventory
223
149
    delta = TreeDelta()
224
 
    # mutter('start compare_trees')
225
 
 
226
 
    for (file_id, path, content_change, versioned, parent_id, name, kind,
227
 
         executable) in new_tree.iter_changes(old_tree, want_unchanged,
228
 
            specific_files, extra_trees=extra_trees,
229
 
            require_versioned=require_versioned,
230
 
            want_unversioned=want_unversioned):
231
 
        if versioned == (False, False):
232
 
            delta.unversioned.append((path[1], None, kind[1]))
233
 
            continue
234
 
        if not include_root and (None, None) == parent_id:
235
 
            continue
236
 
        fully_present = tuple((versioned[x] and kind[x] is not None) for
237
 
                              x in range(2))
238
 
        if fully_present[0] != fully_present[1]:
239
 
            if fully_present[1] is True:
240
 
                delta.added.append((path[1], file_id, kind[1]))
 
150
    mutter('start compare_trees')
 
151
 
 
152
    # TODO: match for specific files can be rather smarter by finding
 
153
    # the IDs of those files up front and then considering only that.
 
154
 
 
155
    for file_id in old_tree:
 
156
        if file_id in new_tree:
 
157
            old_ie = old_inv[file_id]
 
158
            new_ie = new_inv[file_id]
 
159
 
 
160
            kind = old_ie.kind
 
161
            assert kind == new_ie.kind
 
162
            
 
163
            assert kind in ('file', 'directory', 'symlink', 'root_directory'), \
 
164
                   'invalid file kind %r' % kind
 
165
 
 
166
            if kind == 'root_directory':
 
167
                continue
 
168
            
 
169
            if specific_files:
 
170
                if (not is_inside_any(specific_files, old_inv.id2path(file_id)) 
 
171
                    and not is_inside_any(specific_files, new_inv.id2path(file_id))):
 
172
                    continue
 
173
 
 
174
            if kind == 'file':
 
175
                old_sha1 = old_tree.get_file_sha1(file_id)
 
176
                new_sha1 = new_tree.get_file_sha1(file_id)
 
177
                text_modified = (old_sha1 != new_sha1)
241
178
            else:
242
 
                delta.removed.append((path[0], file_id, kind[0]))
243
 
        elif fully_present[0] is False:
244
 
            continue
245
 
        elif name[0] != name[1] or parent_id[0] != parent_id[1]:
246
 
            # If the name changes, or the parent_id changes, we have a rename
247
 
            # (if we move a parent, that doesn't count as a rename for the
248
 
            # file)
249
 
            delta.renamed.append((path[0],
250
 
                                  path[1],
251
 
                                  file_id,
252
 
                                  kind[1],
253
 
                                  content_change,
254
 
                                  (executable[0] != executable[1])))
255
 
        elif kind[0] != kind[1]:
256
 
            delta.kind_changed.append((path[1], file_id, kind[0], kind[1]))
257
 
        elif content_change or executable[0] != executable[1]:
258
 
            delta.modified.append((path[1], file_id, kind[1],
259
 
                                   content_change,
260
 
                                   (executable[0] != executable[1])))
 
179
                ## mutter("no text to check for %r %r" % (file_id, kind))
 
180
                text_modified = False
 
181
 
 
182
            # TODO: Can possibly avoid calculating path strings if the
 
183
            # two files are unchanged and their names and parents are
 
184
            # the same and the parents are unchanged all the way up.
 
185
            # May not be worthwhile.
 
186
            
 
187
            if (old_ie.name != new_ie.name
 
188
                or old_ie.parent_id != new_ie.parent_id):
 
189
                delta.renamed.append((old_inv.id2path(file_id),
 
190
                                      new_inv.id2path(file_id),
 
191
                                      file_id, kind,
 
192
                                      text_modified))
 
193
            elif text_modified:
 
194
                delta.modified.append((new_inv.id2path(file_id), file_id, kind))
 
195
            elif want_unchanged:
 
196
                delta.unchanged.append((new_inv.id2path(file_id), file_id, kind))
261
197
        else:
262
 
            delta.unchanged.append((path[1], file_id, kind[1]))
 
198
            kind = old_inv.get_file_kind(file_id)
 
199
            if kind == 'root_directory':
 
200
                continue
 
201
            old_path = old_inv.id2path(file_id)
 
202
            if specific_files:
 
203
                if not is_inside_any(specific_files, old_path):
 
204
                    continue
 
205
            delta.removed.append((old_path, file_id, kind))
263
206
 
 
207
    mutter('start looking for new files')
 
208
    for file_id in new_inv:
 
209
        if file_id in old_inv:
 
210
            continue
 
211
        kind = new_inv.get_file_kind(file_id)
 
212
        if kind == 'root_directory':
 
213
            continue
 
214
        new_path = new_inv.id2path(file_id)
 
215
        if specific_files:
 
216
            if not is_inside_any(specific_files, new_path):
 
217
                continue
 
218
        delta.added.append((new_path, file_id, kind))
 
219
            
264
220
    delta.removed.sort()
265
221
    delta.added.sort()
266
222
    delta.renamed.sort()
267
 
    # TODO: jam 20060529 These lists shouldn't need to be sorted
268
 
    #       since we added them in alphabetical order.
269
223
    delta.modified.sort()
270
224
    delta.unchanged.sort()
271
225
 
272
226
    return delta
273
 
 
274
 
 
275
 
class _ChangeReporter(object):
276
 
    """Report changes between two trees"""
277
 
 
278
 
    def __init__(self, output=None, suppress_root_add=True,
279
 
                 output_file=None, unversioned_filter=None, view_info=None):
280
 
        """Constructor
281
 
 
282
 
        :param output: a function with the signature of trace.note, i.e.
283
 
            accepts a format and parameters.
284
 
        :param supress_root_add: If true, adding the root will be ignored
285
 
            (i.e. when a tree has just been initted)
286
 
        :param output_file: If supplied, a file-like object to write to.
287
 
            Only one of output and output_file may be supplied.
288
 
        :param unversioned_filter: A filter function to be called on
289
 
            unversioned files. This should return True to ignore a path.
290
 
            By default, no filtering takes place.
291
 
        :param view_info: A tuple of view_name,view_files if only
292
 
            items inside a view are to be reported on, or None for
293
 
            no view filtering.
294
 
        """
295
 
        if output_file is not None:
296
 
            if output is not None:
297
 
                raise BzrError('Cannot specify both output and output_file')
298
 
            def output(fmt, *args):
299
 
                output_file.write((fmt % args) + '\n')
300
 
        self.output = output
301
 
        if self.output is None:
302
 
            from bzrlib import trace
303
 
            self.output = trace.note
304
 
        self.suppress_root_add = suppress_root_add
305
 
        self.modified_map = {'kind changed': 'K',
306
 
                             'unchanged': ' ',
307
 
                             'created': 'N',
308
 
                             'modified': 'M',
309
 
                             'deleted': 'D'}
310
 
        self.versioned_map = {'added': '+', # versioned target
311
 
                              'unchanged': ' ', # versioned in both
312
 
                              'removed': '-', # versioned in source
313
 
                              'unversioned': '?', # versioned in neither
314
 
                              }
315
 
        self.unversioned_filter = unversioned_filter
316
 
        if view_info is None:
317
 
            self.view_name = None
318
 
            self.view_files = []
319
 
        else:
320
 
            self.view_name = view_info[0]
321
 
            self.view_files = view_info[1]
322
 
            self.output("Operating on whole tree but only reporting on "
323
 
                        "'%s' view." % (self.view_name,))
324
 
 
325
 
    def report(self, file_id, paths, versioned, renamed, modified, exe_change,
326
 
               kind):
327
 
        """Report one change to a file
328
 
 
329
 
        :param file_id: The file_id of the file
330
 
        :param path: The old and new paths as generated by Tree.iter_changes.
331
 
        :param versioned: may be 'added', 'removed', 'unchanged', or
332
 
            'unversioned.
333
 
        :param renamed: may be True or False
334
 
        :param modified: may be 'created', 'deleted', 'kind changed',
335
 
            'modified' or 'unchanged'.
336
 
        :param exe_change: True if the execute bit has changed
337
 
        :param kind: A pair of file kinds, as generated by Tree.iter_changes.
338
 
            None indicates no file present.
339
 
        """
340
 
        if is_quiet():
341
 
            return
342
 
        if paths[1] == '' and versioned == 'added' and self.suppress_root_add:
343
 
            return
344
 
        if self.view_files and not osutils.is_inside_any(self.view_files,
345
 
            paths[1]):
346
 
            return
347
 
        if versioned == 'unversioned':
348
 
            # skip ignored unversioned files if needed.
349
 
            if self.unversioned_filter is not None:
350
 
                if self.unversioned_filter(paths[1]):
351
 
                    return
352
 
            # dont show a content change in the output.
353
 
            modified = 'unchanged'
354
 
        # we show both paths in the following situations:
355
 
        # the file versioning is unchanged AND
356
 
        # ( the path is different OR
357
 
        #   the kind is different)
358
 
        if (versioned == 'unchanged' and
359
 
            (renamed or modified == 'kind changed')):
360
 
            if renamed:
361
 
                # on a rename, we show old and new
362
 
                old_path, path = paths
363
 
            else:
364
 
                # if it's not renamed, we're showing both for kind changes
365
 
                # so only show the new path
366
 
                old_path, path = paths[1], paths[1]
367
 
            # if the file is not missing in the source, we show its kind
368
 
            # when we show two paths.
369
 
            if kind[0] is not None:
370
 
                old_path += osutils.kind_marker(kind[0])
371
 
            old_path += " => "
372
 
        elif versioned == 'removed':
373
 
            # not present in target
374
 
            old_path = ""
375
 
            path = paths[0]
376
 
        else:
377
 
            old_path = ""
378
 
            path = paths[1]
379
 
        if renamed:
380
 
            rename = "R"
381
 
        else:
382
 
            rename = self.versioned_map[versioned]
383
 
        # we show the old kind on the new path when the content is deleted.
384
 
        if modified == 'deleted':
385
 
            path += osutils.kind_marker(kind[0])
386
 
        # otherwise we always show the current kind when there is one
387
 
        elif kind[1] is not None:
388
 
            path += osutils.kind_marker(kind[1])
389
 
        if exe_change:
390
 
            exe = '*'
391
 
        else:
392
 
            exe = ' '
393
 
        self.output("%s%s%s %s%s", rename, self.modified_map[modified], exe,
394
 
                    old_path, path)
395
 
 
396
 
 
397
 
def report_changes(change_iterator, reporter):
398
 
    """Report the changes from a change iterator.
399
 
 
400
 
    This is essentially a translation from low-level to medium-level changes.
401
 
    Further processing may be required to produce a human-readable output.
402
 
    Unfortunately, some tree-changing operations are very complex
403
 
    :change_iterator: an iterator or sequence of changes in the format
404
 
        generated by Tree.iter_changes
405
 
    :param reporter: The _ChangeReporter that will report the changes.
406
 
    """
407
 
    versioned_change_map = {
408
 
        (True, True)  : 'unchanged',
409
 
        (True, False) : 'removed',
410
 
        (False, True) : 'added',
411
 
        (False, False): 'unversioned',
412
 
        }
413
 
    for (file_id, path, content_change, versioned, parent_id, name, kind,
414
 
         executable) in change_iterator:
415
 
        exe_change = False
416
 
        # files are "renamed" if they are moved or if name changes, as long
417
 
        # as it had a value
418
 
        if None not in name and None not in parent_id and\
419
 
            (name[0] != name[1] or parent_id[0] != parent_id[1]):
420
 
            renamed = True
421
 
        else:
422
 
            renamed = False
423
 
        if kind[0] != kind[1]:
424
 
            if kind[0] is None:
425
 
                modified = "created"
426
 
            elif kind[1] is None:
427
 
                modified = "deleted"
428
 
            else:
429
 
                modified = "kind changed"
430
 
        else:
431
 
            if content_change:
432
 
                modified = "modified"
433
 
            else:
434
 
                modified = "unchanged"
435
 
            if kind[1] == "file":
436
 
                exe_change = (executable[0] != executable[1])
437
 
        versioned_change = versioned_change_map[versioned]
438
 
        reporter.report(file_id, path, versioned_change, renamed, modified,
439
 
                        exe_change, kind)