← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/delta.py

  • Committer: Robert Collins
  • Date: 2009-09-07 03:08:30 UTC
  • mto: This revision was merged to the branch mainline in revision 4690.
  • Revision ID: robertc@robertcollins.net-20090907030830-rf59kt28d550eauj
Milestones language tightning, internal consistency.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/delta.py
1
 
# -*- coding: UTF-8 -*-
2
 
 
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
 
17
from bzrlib import (
 
18
    errors,
 
19
    osutils,
 
20
    )
17
21
from bzrlib.inventory import InventoryEntry
18
 
from bzrlib.trace import mutter
 
22
from bzrlib.trace import mutter, is_quiet
 
23
from bzrlib.symbol_versioning import deprecated_function
 
24
 
19
25
 
20
26
class TreeDelta(object):
21
27
    """Describes changes from one tree to another.
22
28
 
23
 
    Contains four lists:
 
29
    Contains seven lists:
24
30
 
25
31
    added
26
32
        (path, id, kind)
28
34
        (path, id, kind)
29
35
    renamed
30
36
        (oldpath, newpath, id, kind, text_modified, meta_modified)
 
37
    kind_changed
 
38
        (path, id, old_kind, new_kind)
31
39
    modified
32
40
        (path, id, kind, text_modified, meta_modified)
33
41
    unchanged
34
42
        (path, id, kind)
 
43
    unversioned
 
44
        (path, None, kind)
35
45
 
36
46
    Each id is listed only once.
37
47
 
50
60
        self.added = []
51
61
        self.removed = []
52
62
        self.renamed = []
 
63
        self.kind_changed = []
53
64
        self.modified = []
54
65
        self.unchanged = []
 
66
        self.unversioned = []
55
67
 
56
68
    def __eq__(self, other):
57
69
        if not isinstance(other, TreeDelta):
60
72
               and self.removed == other.removed \
61
73
               and self.renamed == other.renamed \
62
74
               and self.modified == other.modified \
63
 
               and self.unchanged == other.unchanged
 
75
               and self.unchanged == other.unchanged \
 
76
               and self.kind_changed == other.kind_changed \
 
77
               and self.unversioned == other.unversioned
64
78
 
65
79
    def __ne__(self, other):
66
80
        return not (self == other)
67
81
 
68
82
    def __repr__(self):
69
 
        return "TreeDelta(added=%r, removed=%r, renamed=%r, modified=%r," \
70
 
            " unchanged=%r)" % (self.added, self.removed, self.renamed,
71
 
            self.modified, self.unchanged)
 
83
        return "TreeDelta(added=%r, removed=%r, renamed=%r," \
 
84
            " kind_changed=%r, modified=%r, unchanged=%r," \
 
85
            " unversioned=%r)" % (self.added,
 
86
            self.removed, self.renamed, self.kind_changed, self.modified,
 
87
            self.unchanged, self.unversioned)
72
88
 
73
89
    def has_changed(self):
74
90
        return bool(self.modified
75
91
                    or self.added
76
92
                    or self.removed
77
 
                    or self.renamed)
 
93
                    or self.renamed
 
94
                    or self.kind_changed)
78
95
 
79
96
    def touches_file_id(self, file_id):
80
97
        """Return True if file_id is modified by this delta."""
85
102
        for v in self.renamed:
86
103
            if v[2] == file_id:
87
104
                return True
 
105
        for v in self.kind_changed:
 
106
            if v[1] == file_id:
 
107
                return True
88
108
        return False
89
 
            
90
 
 
91
 
    def show(self, to_file, show_ids=False, show_unchanged=False):
92
 
        def show_list(files):
93
 
            for item in files:
94
 
                path, fid, kind = item[:3]
95
 
 
96
 
                if kind == 'directory':
97
 
                    path += '/'
98
 
                elif kind == 'symlink':
99
 
                    path += '@'
100
 
 
101
 
                if len(item) == 5 and item[4]:
102
 
                    path += '*'
103
 
 
104
 
                if show_ids:
105
 
                    print >>to_file, '  %-30s %s' % (path, fid)
 
109
 
 
110
 
 
111
    def show(self, to_file, show_ids=False, show_unchanged=False,
 
112
             short_status=False, indent='',
 
113
             filter=None):
 
114
        """Output this delta in status-like form to to_file.
 
115
 
 
116
        :param to_file: A file-like object where the output is displayed.
 
117
 
 
118
        :param show_ids: Output the file ids if True.
 
119
 
 
120
        :param show_unchanged: Output the unchanged files if True.
 
121
 
 
122
        :param short_status: Single-line status if True.
 
123
 
 
124
        :param indent: Added at the beginning of all output lines (for merged
 
125
            revisions).
 
126
 
 
127
        :param filter: A callable receiving a path and a file id and
 
128
            returning True if the path should be displayed.
 
129
        """
 
130
 
 
131
        def decorate_path(path, kind, meta_modified=None):
 
132
            if kind == 'directory':
 
133
                path += '/'
 
134
            elif kind == 'symlink':
 
135
                path += '@'
 
136
            if meta_modified:
 
137
                path += '*'
 
138
            return path
 
139
 
 
140
        def show_more_renamed(item):
 
141
            (oldpath, file_id, kind,
 
142
             text_modified, meta_modified, newpath) = item
 
143
            dec_new_path = decorate_path(newpath, kind, meta_modified)
 
144
            to_file.write(' => %s' % dec_new_path)
 
145
            if text_modified or meta_modified:
 
146
                extra_modified.append((newpath, file_id, kind,
 
147
                                       text_modified, meta_modified))
 
148
 
 
149
        def show_more_kind_changed(item):
 
150
            (path, file_id, old_kind, new_kind) = item
 
151
            to_file.write(' (%s => %s)' % (old_kind, new_kind))
 
152
 
 
153
        def show_path(path, file_id, kind, meta_modified,
 
154
                      default_format, with_file_id_format):
 
155
            dec_path = decorate_path(path, kind, meta_modified)
 
156
            if show_ids:
 
157
                to_file.write(with_file_id_format % dec_path)
 
158
            else:
 
159
                to_file.write(default_format % dec_path)
 
160
 
 
161
        def show_list(files, long_status_name, short_status_letter,
 
162
                      default_format='%s', with_file_id_format='%-30s',
 
163
                      show_more=None):
 
164
            if files:
 
165
                header_shown = False
 
166
                if short_status:
 
167
                    prefix = short_status_letter
106
168
                else:
107
 
                    print >>to_file, ' ', path
108
 
            
109
 
        if self.removed:
110
 
            print >>to_file, 'removed:'
111
 
            show_list(self.removed)
112
 
                
113
 
        if self.added:
114
 
            print >>to_file, 'added:'
115
 
            show_list(self.added)
116
 
 
 
169
                    prefix = ''
 
170
                prefix = indent + prefix + '  '
 
171
 
 
172
                for item in files:
 
173
                    path, file_id, kind = item[:3]
 
174
                    if (filter is not None and not filter(path, file_id)):
 
175
                        continue
 
176
                    if not header_shown and not short_status:
 
177
                        to_file.write(indent + long_status_name + ':\n')
 
178
                        header_shown = True
 
179
                    meta_modified = None
 
180
                    if len(item) == 5:
 
181
                        meta_modified = item[4]
 
182
 
 
183
                    to_file.write(prefix)
 
184
                    show_path(path, file_id, kind, meta_modified,
 
185
                              default_format, with_file_id_format)
 
186
                    if show_more is not None:
 
187
                        show_more(item)
 
188
                    if show_ids:
 
189
                        to_file.write(' %s' % file_id)
 
190
                    to_file.write('\n')
 
191
 
 
192
        show_list(self.removed, 'removed', 'D')#
 
193
        show_list(self.added, 'added', 'A')
117
194
        extra_modified = []
118
 
 
119
 
        if self.renamed:
120
 
            print >>to_file, 'renamed:'
121
 
            for (oldpath, newpath, fid, kind,
122
 
                 text_modified, meta_modified) in self.renamed:
123
 
                if text_modified or meta_modified:
124
 
                    extra_modified.append((newpath, fid, kind,
125
 
                                           text_modified, meta_modified))
126
 
                if meta_modified:
127
 
                    newpath += '*'
128
 
                if show_ids:
129
 
                    print >>to_file, '  %s => %s %s' % (oldpath, newpath, fid)
130
 
                else:
131
 
                    print >>to_file, '  %s => %s' % (oldpath, newpath)
132
 
                    
133
 
        if self.modified or extra_modified:
134
 
            print >>to_file, 'modified:'
135
 
            show_list(self.modified)
136
 
            show_list(extra_modified)
137
 
            
138
 
        if show_unchanged and self.unchanged:
139
 
            print >>to_file, 'unchanged:'
140
 
            show_list(self.unchanged)
141
 
 
142
 
 
143
 
 
144
 
def compare_trees(old_tree, new_tree, want_unchanged=False, specific_files=None):
145
 
    """Describe changes from one tree to another.
146
 
 
147
 
    Returns a TreeDelta with details of added, modified, renamed, and
148
 
    deleted entries.
149
 
 
150
 
    The root entry is specifically exempt.
151
 
 
152
 
    This only considers versioned files.
153
 
 
154
 
    want_unchanged
155
 
        If true, also list files unchanged from one version to
156
 
        the next.
157
 
 
158
 
    specific_files
159
 
        If true, only check for changes to specified names or
160
 
        files within them.
161
 
    """
162
 
 
163
 
    old_tree.lock_read()
164
 
    try:
165
 
        new_tree.lock_read()
166
 
        try:
167
 
            return _compare_trees(old_tree, new_tree, want_unchanged,
168
 
                                  specific_files)
169
 
        finally:
170
 
            new_tree.unlock()
171
 
    finally:
172
 
        old_tree.unlock()
173
 
 
174
 
 
175
 
def _compare_trees(old_tree, new_tree, want_unchanged, specific_files):
176
 
 
177
 
    from osutils import is_inside_any
178
 
    
179
 
    old_inv = old_tree.inventory
180
 
    new_inv = new_tree.inventory
 
195
        # Reorder self.renamed tuples so that all lists share the same
 
196
        # order for their 3 first fields and that they also begin like
 
197
        # the self.modified tuples
 
198
        renamed = [(p, i, k, tm, mm, np)
 
199
                   for  p, np, i, k, tm, mm  in self.renamed]
 
200
        show_list(renamed, 'renamed', 'R', with_file_id_format='%s',
 
201
                  show_more=show_more_renamed)
 
202
        show_list(self.kind_changed, 'kind changed', 'K',
 
203
                  with_file_id_format='%s',
 
204
                  show_more=show_more_kind_changed)
 
205
        show_list(self.modified + extra_modified, 'modified', 'M')
 
206
        if show_unchanged:
 
207
            show_list(self.unchanged, 'unchanged', 'S')
 
208
 
 
209
        show_list(self.unversioned, 'unknown', ' ')
 
210
 
 
211
    def get_changes_as_text(self, show_ids=False, show_unchanged=False,
 
212
             short_status=False):
 
213
        import StringIO
 
214
        output = StringIO.StringIO()
 
215
        self.show(output, show_ids, show_unchanged, short_status)
 
216
        return output.getvalue()
 
217
 
 
218
 
 
219
def _compare_trees(old_tree, new_tree, want_unchanged, specific_files,
 
220
                   include_root, extra_trees=None,
 
221
                   require_versioned=False, want_unversioned=False):
 
222
    """Worker function that implements Tree.changes_from."""
181
223
    delta = TreeDelta()
182
 
    mutter('start compare_trees')
183
 
 
184
 
    # TODO: match for specific files can be rather smarter by finding
185
 
    # the IDs of those files up front and then considering only that.
186
 
 
187
 
    for file_id in old_tree:
188
 
        if file_id in new_tree:
189
 
            old_ie = old_inv[file_id]
190
 
            new_ie = new_inv[file_id]
191
 
 
192
 
            kind = old_ie.kind
193
 
            assert kind == new_ie.kind
194
 
            
195
 
            assert kind in InventoryEntry.known_kinds, \
196
 
                   'invalid file kind %r' % kind
197
 
 
198
 
            if kind == 'root_directory':
199
 
                continue
200
 
            
201
 
            if specific_files:
202
 
                if (not is_inside_any(specific_files, old_inv.id2path(file_id)) 
203
 
                    and not is_inside_any(specific_files, new_inv.id2path(file_id))):
204
 
                    continue
205
 
 
206
 
            # temporary hack until all entries are populated before clients 
207
 
            # get them
208
 
            old_path = old_inv.id2path(file_id)
209
 
            new_path = new_inv.id2path(file_id)
210
 
            old_ie._read_tree_state(old_path, old_tree)
211
 
            new_ie._read_tree_state(new_path, new_tree)
212
 
            text_modified, meta_modified = new_ie.detect_changes(old_ie)
213
 
 
214
 
            # TODO: Can possibly avoid calculating path strings if the
215
 
            # two files are unchanged and their names and parents are
216
 
            # the same and the parents are unchanged all the way up.
217
 
            # May not be worthwhile.
218
 
            
219
 
            if (old_ie.name != new_ie.name
220
 
                or old_ie.parent_id != new_ie.parent_id):
221
 
                delta.renamed.append((old_path,
222
 
                                      new_path,
223
 
                                      file_id, kind,
224
 
                                      text_modified, meta_modified))
225
 
            elif text_modified or meta_modified:
226
 
                delta.modified.append((new_path, file_id, kind,
227
 
                                       text_modified, meta_modified))
228
 
            elif want_unchanged:
229
 
                delta.unchanged.append((new_path, file_id, kind))
 
224
    # mutter('start compare_trees')
 
225
 
 
226
    for (file_id, path, content_change, versioned, parent_id, name, kind,
 
227
         executable) in new_tree.iter_changes(old_tree, want_unchanged,
 
228
            specific_files, extra_trees=extra_trees,
 
229
            require_versioned=require_versioned,
 
230
            want_unversioned=want_unversioned):
 
231
        if versioned == (False, False):
 
232
            delta.unversioned.append((path[1], None, kind[1]))
 
233
            continue
 
234
        if not include_root and (None, None) == parent_id:
 
235
            continue
 
236
        fully_present = tuple((versioned[x] and kind[x] is not None) for
 
237
                              x in range(2))
 
238
        if fully_present[0] != fully_present[1]:
 
239
            if fully_present[1] is True:
 
240
                delta.added.append((path[1], file_id, kind[1]))
 
241
            else:
 
242
                delta.removed.append((path[0], file_id, kind[0]))
 
243
        elif fully_present[0] is False:
 
244
            continue
 
245
        elif name[0] != name[1] or parent_id[0] != parent_id[1]:
 
246
            # If the name changes, or the parent_id changes, we have a rename
 
247
            # (if we move a parent, that doesn't count as a rename for the
 
248
            # file)
 
249
            delta.renamed.append((path[0],
 
250
                                  path[1],
 
251
                                  file_id,
 
252
                                  kind[1],
 
253
                                  content_change,
 
254
                                  (executable[0] != executable[1])))
 
255
        elif kind[0] != kind[1]:
 
256
            delta.kind_changed.append((path[1], file_id, kind[0], kind[1]))
 
257
        elif content_change or executable[0] != executable[1]:
 
258
            delta.modified.append((path[1], file_id, kind[1],
 
259
                                   content_change,
 
260
                                   (executable[0] != executable[1])))
230
261
        else:
231
 
            kind = old_inv.get_file_kind(file_id)
232
 
            if kind == 'root_directory':
233
 
                continue
234
 
            old_path = old_inv.id2path(file_id)
235
 
            if specific_files:
236
 
                if not is_inside_any(specific_files, old_path):
237
 
                    continue
238
 
            delta.removed.append((old_path, file_id, kind))
 
262
            delta.unchanged.append((path[1], file_id, kind[1]))
239
263
 
240
 
    mutter('start looking for new files')
241
 
    for file_id in new_inv:
242
 
        if file_id in old_inv or file_id not in new_tree:
243
 
            continue
244
 
        kind = new_inv.get_file_kind(file_id)
245
 
        if kind == 'root_directory':
246
 
            continue
247
 
        new_path = new_inv.id2path(file_id)
248
 
        if specific_files:
249
 
            if not is_inside_any(specific_files, new_path):
250
 
                continue
251
 
        delta.added.append((new_path, file_id, kind))
252
 
            
253
264
    delta.removed.sort()
254
265
    delta.added.sort()
255
266
    delta.renamed.sort()
 
267
    # TODO: jam 20060529 These lists shouldn't need to be sorted
 
268
    #       since we added them in alphabetical order.
256
269
    delta.modified.sort()
257
270
    delta.unchanged.sort()
258
271
 
259
272
    return delta
 
273
 
 
274
 
 
275
class _ChangeReporter(object):
 
276
    """Report changes between two trees"""
 
277
 
 
278
    def __init__(self, output=None, suppress_root_add=True,
 
279
                 output_file=None, unversioned_filter=None, view_info=None):
 
280
        """Constructor
 
281
 
 
282
        :param output: a function with the signature of trace.note, i.e.
 
283
            accepts a format and parameters.
 
284
        :param supress_root_add: If true, adding the root will be ignored
 
285
            (i.e. when a tree has just been initted)
 
286
        :param output_file: If supplied, a file-like object to write to.
 
287
            Only one of output and output_file may be supplied.
 
288
        :param unversioned_filter: A filter function to be called on
 
289
            unversioned files. This should return True to ignore a path.
 
290
            By default, no filtering takes place.
 
291
        :param view_info: A tuple of view_name,view_files if only
 
292
            items inside a view are to be reported on, or None for
 
293
            no view filtering.
 
294
        """
 
295
        if output_file is not None:
 
296
            if output is not None:
 
297
                raise BzrError('Cannot specify both output and output_file')
 
298
            def output(fmt, *args):
 
299
                output_file.write((fmt % args) + '\n')
 
300
        self.output = output
 
301
        if self.output is None:
 
302
            from bzrlib import trace
 
303
            self.output = trace.note
 
304
        self.suppress_root_add = suppress_root_add
 
305
        self.modified_map = {'kind changed': 'K',
 
306
                             'unchanged': ' ',
 
307
                             'created': 'N',
 
308
                             'modified': 'M',
 
309
                             'deleted': 'D'}
 
310
        self.versioned_map = {'added': '+', # versioned target
 
311
                              'unchanged': ' ', # versioned in both
 
312
                              'removed': '-', # versioned in source
 
313
                              'unversioned': '?', # versioned in neither
 
314
                              }
 
315
        self.unversioned_filter = unversioned_filter
 
316
        if view_info is None:
 
317
            self.view_name = None
 
318
            self.view_files = []
 
319
        else:
 
320
            self.view_name = view_info[0]
 
321
            self.view_files = view_info[1]
 
322
            self.output("Operating on whole tree but only reporting on "
 
323
                        "'%s' view." % (self.view_name,))
 
324
 
 
325
    def report(self, file_id, paths, versioned, renamed, modified, exe_change,
 
326
               kind):
 
327
        """Report one change to a file
 
328
 
 
329
        :param file_id: The file_id of the file
 
330
        :param path: The old and new paths as generated by Tree.iter_changes.
 
331
        :param versioned: may be 'added', 'removed', 'unchanged', or
 
332
            'unversioned.
 
333
        :param renamed: may be True or False
 
334
        :param modified: may be 'created', 'deleted', 'kind changed',
 
335
            'modified' or 'unchanged'.
 
336
        :param exe_change: True if the execute bit has changed
 
337
        :param kind: A pair of file kinds, as generated by Tree.iter_changes.
 
338
            None indicates no file present.
 
339
        """
 
340
        if is_quiet():
 
341
            return
 
342
        if paths[1] == '' and versioned == 'added' and self.suppress_root_add:
 
343
            return
 
344
        if self.view_files and not osutils.is_inside_any(self.view_files,
 
345
            paths[1]):
 
346
            return
 
347
        if versioned == 'unversioned':
 
348
            # skip ignored unversioned files if needed.
 
349
            if self.unversioned_filter is not None:
 
350
                if self.unversioned_filter(paths[1]):
 
351
                    return
 
352
            # dont show a content change in the output.
 
353
            modified = 'unchanged'
 
354
        # we show both paths in the following situations:
 
355
        # the file versioning is unchanged AND
 
356
        # ( the path is different OR
 
357
        #   the kind is different)
 
358
        if (versioned == 'unchanged' and
 
359
            (renamed or modified == 'kind changed')):
 
360
            if renamed:
 
361
                # on a rename, we show old and new
 
362
                old_path, path = paths
 
363
            else:
 
364
                # if it's not renamed, we're showing both for kind changes
 
365
                # so only show the new path
 
366
                old_path, path = paths[1], paths[1]
 
367
            # if the file is not missing in the source, we show its kind
 
368
            # when we show two paths.
 
369
            if kind[0] is not None:
 
370
                old_path += osutils.kind_marker(kind[0])
 
371
            old_path += " => "
 
372
        elif versioned == 'removed':
 
373
            # not present in target
 
374
            old_path = ""
 
375
            path = paths[0]
 
376
        else:
 
377
            old_path = ""
 
378
            path = paths[1]
 
379
        if renamed:
 
380
            rename = "R"
 
381
        else:
 
382
            rename = self.versioned_map[versioned]
 
383
        # we show the old kind on the new path when the content is deleted.
 
384
        if modified == 'deleted':
 
385
            path += osutils.kind_marker(kind[0])
 
386
        # otherwise we always show the current kind when there is one
 
387
        elif kind[1] is not None:
 
388
            path += osutils.kind_marker(kind[1])
 
389
        if exe_change:
 
390
            exe = '*'
 
391
        else:
 
392
            exe = ' '
 
393
        self.output("%s%s%s %s%s", rename, self.modified_map[modified], exe,
 
394
                    old_path, path)
 
395
 
 
396
 
 
397
def report_changes(change_iterator, reporter):
 
398
    """Report the changes from a change iterator.
 
399
 
 
400
    This is essentially a translation from low-level to medium-level changes.
 
401
    Further processing may be required to produce a human-readable output.
 
402
    Unfortunately, some tree-changing operations are very complex
 
403
    :change_iterator: an iterator or sequence of changes in the format
 
404
        generated by Tree.iter_changes
 
405
    :param reporter: The _ChangeReporter that will report the changes.
 
406
    """
 
407
    versioned_change_map = {
 
408
        (True, True)  : 'unchanged',
 
409
        (True, False) : 'removed',
 
410
        (False, True) : 'added',
 
411
        (False, False): 'unversioned',
 
412
        }
 
413
    for (file_id, path, content_change, versioned, parent_id, name, kind,
 
414
         executable) in change_iterator:
 
415
        exe_change = False
 
416
        # files are "renamed" if they are moved or if name changes, as long
 
417
        # as it had a value
 
418
        if None not in name and None not in parent_id and\
 
419
            (name[0] != name[1] or parent_id[0] != parent_id[1]):
 
420
            renamed = True
 
421
        else:
 
422
            renamed = False
 
423
        if kind[0] != kind[1]:
 
424
            if kind[0] is None:
 
425
                modified = "created"
 
426
            elif kind[1] is None:
 
427
                modified = "deleted"
 
428
            else:
 
429
                modified = "kind changed"
 
430
        else:
 
431
            if content_change:
 
432
                modified = "modified"
 
433
            else:
 
434
                modified = "unchanged"
 
435
            if kind[1] == "file":
 
436
                exe_change = (executable[0] != executable[1])
 
437
        versioned_change = versioned_change_map[versioned]
 
438
        reporter.report(file_id, path, versioned_change, renamed, modified,
 
439
                        exe_change, kind)