~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/delta.py

  • Committer: Blake Winton
  • Date: 2007-10-16 18:26:12 UTC
  • mto: This revision was merged to the branch mainline in revision 2921.
  • Revision ID: bwinton@latte.ca-20071016182612-e06wjvlzzdw0vwki
Fix test failures

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical
2
 
 
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
 
17
from bzrlib import (
 
18
    errors,
 
19
    osutils,
 
20
    )
17
21
from bzrlib.inventory import InventoryEntry
18
22
from bzrlib.trace import mutter
 
23
from bzrlib.symbol_versioning import deprecated_function
19
24
 
20
25
 
21
26
class TreeDelta(object):
33
38
        (path, id, kind, text_modified, meta_modified)
34
39
    unchanged
35
40
        (path, id, kind)
 
41
    unversioned
 
42
        (path, kind)
36
43
 
37
44
    Each id is listed only once.
38
45
 
51
58
        self.added = []
52
59
        self.removed = []
53
60
        self.renamed = []
 
61
        self.kind_changed = []
54
62
        self.modified = []
55
63
        self.unchanged = []
 
64
        self.unversioned = []
56
65
 
57
66
    def __eq__(self, other):
58
67
        if not isinstance(other, TreeDelta):
61
70
               and self.removed == other.removed \
62
71
               and self.renamed == other.renamed \
63
72
               and self.modified == other.modified \
64
 
               and self.unchanged == other.unchanged
 
73
               and self.unchanged == other.unchanged \
 
74
               and self.kind_changed == other.kind_changed \
 
75
               and self.unversioned == other.unversioned
65
76
 
66
77
    def __ne__(self, other):
67
78
        return not (self == other)
68
79
 
69
80
    def __repr__(self):
70
 
        return "TreeDelta(added=%r, removed=%r, renamed=%r, modified=%r," \
71
 
            " unchanged=%r)" % (self.added, self.removed, self.renamed,
72
 
            self.modified, self.unchanged)
 
81
        return "TreeDelta(added=%r, removed=%r, renamed=%r," \
 
82
            " kind_changed=%r, modified=%r, unchanged=%r," \
 
83
            " unversioned=%r)" % (self.added,
 
84
            self.removed, self.renamed, self.kind_changed, self.modified,
 
85
            self.unchanged, self.unversioned)
73
86
 
74
87
    def has_changed(self):
75
88
        return bool(self.modified
76
89
                    or self.added
77
90
                    or self.removed
78
 
                    or self.renamed)
 
91
                    or self.renamed
 
92
                    or self.kind_changed)
79
93
 
80
94
    def touches_file_id(self, file_id):
81
95
        """Return True if file_id is modified by this delta."""
86
100
        for v in self.renamed:
87
101
            if v[2] == file_id:
88
102
                return True
 
103
        for v in self.kind_changed:
 
104
            if v[1] == file_id:
 
105
                return True
89
106
        return False
90
107
            
91
108
 
92
 
    def show(self, to_file, show_ids=False, show_unchanged=False):
93
 
        def show_list(files):
 
109
    def show(self, to_file, show_ids=False, show_unchanged=False,
 
110
             short_status=False, indent=''):
 
111
        """output this delta in status-like form to to_file."""
 
112
        def show_list(files, short_status_letter=''):
94
113
            for item in files:
95
114
                path, fid, kind = item[:3]
96
115
 
103
122
                    path += '*'
104
123
 
105
124
                if show_ids:
106
 
                    print >>to_file, '  %-30s %s' % (path, fid)
 
125
                    to_file.write(indent + '%s  %-30s %s\n' % (short_status_letter,
 
126
                        path, fid))
107
127
                else:
108
 
                    print >>to_file, ' ', path
 
128
                    to_file.write(indent + '%s  %s\n' % (short_status_letter, path))
109
129
            
110
130
        if self.removed:
111
 
            print >>to_file, 'removed:'
112
 
            show_list(self.removed)
 
131
            if not short_status:
 
132
                to_file.write(indent + 'removed:\n')
 
133
                show_list(self.removed)
 
134
            else:
 
135
                show_list(self.removed, 'D')
113
136
                
114
137
        if self.added:
115
 
            print >>to_file, 'added:'
116
 
            show_list(self.added)
 
138
            if not short_status:
 
139
                to_file.write(indent + 'added:\n')
 
140
                show_list(self.added)
 
141
            else:
 
142
                show_list(self.added, 'A')
117
143
 
118
144
        extra_modified = []
119
145
 
120
146
        if self.renamed:
121
 
            print >>to_file, 'renamed:'
 
147
            short_status_letter = 'R'
 
148
            if not short_status:
 
149
                to_file.write(indent + 'renamed:\n')
 
150
                short_status_letter = ''
122
151
            for (oldpath, newpath, fid, kind,
123
152
                 text_modified, meta_modified) in self.renamed:
124
153
                if text_modified or meta_modified:
127
156
                if meta_modified:
128
157
                    newpath += '*'
129
158
                if show_ids:
130
 
                    print >>to_file, '  %s => %s %s' % (oldpath, newpath, fid)
131
 
                else:
132
 
                    print >>to_file, '  %s => %s' % (oldpath, newpath)
133
 
                    
 
159
                    to_file.write(indent + '%s  %s => %s %s\n' % (
 
160
                        short_status_letter, oldpath, newpath, fid))
 
161
                else:
 
162
                    to_file.write(indent + '%s  %s => %s\n' % (
 
163
                        short_status_letter, oldpath, newpath))
 
164
 
 
165
        if self.kind_changed:
 
166
            if short_status:
 
167
                short_status_letter = 'K'
 
168
            else:
 
169
                to_file.write(indent + 'kind changed:\n')
 
170
                short_status_letter = ''
 
171
            for (path, fid, old_kind, new_kind) in self.kind_changed:
 
172
                if show_ids:
 
173
                    suffix = ' '+fid
 
174
                else:
 
175
                    suffix = ''
 
176
                to_file.write(indent + '%s  %s (%s => %s)%s\n' % (
 
177
                    short_status_letter, path, old_kind, new_kind, suffix))
 
178
 
134
179
        if self.modified or extra_modified:
135
 
            print >>to_file, 'modified:'
136
 
            show_list(self.modified)
137
 
            show_list(extra_modified)
 
180
            short_status_letter = 'M'
 
181
            if not short_status:
 
182
                to_file.write(indent + 'modified:\n')
 
183
                short_status_letter = ''
 
184
            show_list(self.modified, short_status_letter)
 
185
            show_list(extra_modified, short_status_letter)
138
186
            
139
187
        if show_unchanged and self.unchanged:
140
 
            print >>to_file, 'unchanged:'
141
 
            show_list(self.unchanged)
142
 
 
143
 
 
144
 
 
145
 
def compare_trees(old_tree, new_tree, want_unchanged=False, specific_files=None):
146
 
    """Describe changes from one tree to another.
147
 
 
148
 
    Returns a TreeDelta with details of added, modified, renamed, and
149
 
    deleted entries.
150
 
 
151
 
    The root entry is specifically exempt.
152
 
 
153
 
    This only considers versioned files.
154
 
 
155
 
    want_unchanged
156
 
        If true, also list files unchanged from one version to
157
 
        the next.
158
 
 
159
 
    specific_files
160
 
        If true, only check for changes to specified names or
161
 
        files within them.  Any unversioned files given have no effect
162
 
        (but this might change in the future).
163
 
    """
164
 
    # NB: show_status depends on being able to pass in non-versioned files and
165
 
    # report them as unknown
166
 
    old_tree.lock_read()
167
 
    try:
168
 
        new_tree.lock_read()
169
 
        try:
170
 
            return _compare_trees(old_tree, new_tree, want_unchanged,
171
 
                                  specific_files)
172
 
        finally:
173
 
            new_tree.unlock()
174
 
    finally:
175
 
        old_tree.unlock()
176
 
 
177
 
 
178
 
def _compare_trees(old_tree, new_tree, want_unchanged, specific_files):
179
 
 
180
 
    from osutils import is_inside_any
181
 
    
182
 
    old_inv = old_tree.inventory
183
 
    new_inv = new_tree.inventory
 
188
            if not short_status:
 
189
                to_file.write(indent + 'unchanged:\n')
 
190
                show_list(self.unchanged)
 
191
            else:
 
192
                show_list(self.unchanged, 'S')
 
193
 
 
194
        if self.unversioned:
 
195
            to_file.write(indent + 'unknown:\n')
 
196
            show_list(self.unversioned)
 
197
 
 
198
    def get_changes_as_text(self, show_ids=False, show_unchanged=False,
 
199
             short_status=False):
 
200
        import StringIO
 
201
        output = StringIO.StringIO()
 
202
        self.show(output, show_ids, show_unchanged, short_status)
 
203
        return output.getvalue()
 
204
 
 
205
 
 
206
def _compare_trees(old_tree, new_tree, want_unchanged, specific_files,
 
207
                   include_root, extra_trees=None,
 
208
                   require_versioned=False, want_unversioned=False):
 
209
    """Worker function that implements Tree.changes_from."""
184
210
    delta = TreeDelta()
185
 
    mutter('start compare_trees')
186
 
 
187
 
    # TODO: Rather than iterating over the whole tree and then filtering, we
188
 
    # could diff just the specified files (if any) and their subtrees.  
189
 
    # Perhaps should take a list of file-ids instead?   Need to indicate any
190
 
    # ids or names which were not found in the trees.
191
 
 
192
 
    old_files = old_tree.list_files()
193
 
    new_files = new_tree.list_files()
194
 
 
195
 
    more_old = True
196
 
    more_new = True
197
 
 
198
 
    added = {}
199
 
    removed = {}
200
 
 
201
 
    def get_next(iter):
202
 
        try:
203
 
            return iter.next()
204
 
        except StopIteration:
205
 
            return None, None, None, None, None
206
 
    old_path, old_class, old_kind, old_file_id, old_entry = get_next(old_files)
207
 
    new_path, new_class, new_kind, new_file_id, new_entry = get_next(new_files)
208
 
 
209
 
 
210
 
    def check_matching(old_path, old_entry, new_path, new_entry):
211
 
        """We have matched up 2 file_ids, check for changes."""
212
 
        assert old_entry.kind == new_entry.kind
213
 
 
214
 
        if old_entry.kind == 'root_directory':
215
 
            return
216
 
 
217
 
        if specific_files:
218
 
            if (not is_inside_any(specific_files, old_path)
219
 
                and not is_inside_any(specific_files, new_path)):
220
 
                return
221
 
 
222
 
        # temporary hack until all entries are populated before clients 
223
 
        # get them
224
 
        old_entry._read_tree_state(old_path, old_tree)
225
 
        new_entry._read_tree_state(new_path, new_tree)
226
 
        text_modified, meta_modified = new_entry.detect_changes(old_entry)
227
 
        
228
 
        # If the name changes, or the parent_id changes, we have a rename
229
 
        # (if we move a parent, that doesn't count as a rename for the file)
230
 
        if (old_entry.name != new_entry.name 
231
 
            or old_entry.parent_id != new_entry.parent_id):
232
 
            delta.renamed.append((old_path,
233
 
                                  new_path,
234
 
                                  old_entry.file_id, old_entry.kind,
235
 
                                  text_modified, meta_modified))
236
 
        elif text_modified or meta_modified:
237
 
            delta.modified.append((new_path, new_entry.file_id, new_entry.kind,
238
 
                                   text_modified, meta_modified))
239
 
        elif want_unchanged:
240
 
            delta.unchanged.append((new_path, new_entry.file_id, new_entry.kind))
241
 
 
242
 
 
243
 
    def handle_old(path, entry):
244
 
        """old entry without a new entry match
245
 
 
246
 
        Check to see if a matching new entry was already seen as an
247
 
        added file, and switch the pair into being a rename.
248
 
        Otherwise just mark the old entry being removed.
249
 
        """
250
 
        if entry.file_id in added:
251
 
            # Actually this is a rename, we found a new file_id earlier
252
 
            # at a different location, so it is no-longer added
253
 
            x_new_path, x_new_entry = added.pop(entry.file_id)
254
 
            check_matching(path, entry, x_new_path, x_new_entry)
255
 
        else:
256
 
            # We have an old_file_id which doesn't line up with a new_file_id
257
 
            # So this file looks to be removed
258
 
            assert entry.file_id not in removed
259
 
            removed[entry.file_id] = path, entry
260
 
 
261
 
    def handle_new(path, entry):
262
 
        """new entry without an old entry match
263
 
        
264
 
        Check to see if a matching old entry was already seen as a
265
 
        removal, and change the pair into a rename.
266
 
        Otherwise just mark the new entry as an added file.
267
 
        """
268
 
        if entry.file_id in removed:
269
 
            # We saw this file_id earlier at an old different location
270
 
            # it is no longer removed, just renamed
271
 
            x_old_path, x_old_entry = removed.pop(entry.file_id)
272
 
            check_matching(x_old_path, x_old_entry, path, entry)
273
 
        else:
274
 
            # We have a new file which does not match an old file
275
 
            # mark it as added
276
 
            assert entry.file_id not in added
277
 
            added[entry.file_id] = path, entry
278
 
 
279
 
    while old_path or new_path:
280
 
        # list_files() returns files in alphabetical path sorted order
281
 
        if old_path == new_path:
282
 
            if old_file_id == new_file_id:
283
 
                # This is the common case, the files are in the same place
284
 
                # check if there were any content changes
285
 
 
286
 
                if old_file_id is None:
287
 
                    # We have 2 unversioned files, no deltas possible???
288
 
                    pass
289
 
                else:
290
 
                    check_matching(old_path, old_entry, new_path, new_entry)
 
211
    # mutter('start compare_trees')
 
212
 
 
213
    for (file_id, path, content_change, versioned, parent_id, name, kind,
 
214
         executable) in new_tree._iter_changes(old_tree, want_unchanged,
 
215
            specific_files, extra_trees=extra_trees,
 
216
            require_versioned=require_versioned,
 
217
            want_unversioned=want_unversioned):
 
218
        if versioned == (False, False):
 
219
            delta.unversioned.append((path[1], None, kind[1]))
 
220
            continue
 
221
        if not include_root and (None, None) == parent_id:
 
222
            continue
 
223
        fully_present = tuple((versioned[x] and kind[x] is not None) for
 
224
                              x in range(2))
 
225
        if fully_present[0] != fully_present[1]:
 
226
            if fully_present[1] is True:
 
227
                delta.added.append((path[1], file_id, kind[1]))
291
228
            else:
292
 
                # The ids don't match, so we have to handle them both
293
 
                # separately.
294
 
                if old_file_id is not None:
295
 
                    handle_old(old_path, old_entry)
296
 
 
297
 
                if new_file_id is not None:
298
 
                    handle_new(new_path, new_entry)
299
 
 
300
 
            # The two entries were at the same path, so increment both sides
301
 
            old_path, old_class, old_kind, old_file_id, old_entry = get_next(old_files)
302
 
            new_path, new_class, new_kind, new_file_id, new_entry = get_next(new_files)
303
 
        elif new_path is None or (old_path is not None and old_path < new_path):
304
 
            # Assume we don't match, only process old_path
305
 
            if old_file_id is not None:
306
 
                handle_old(old_path, old_entry)
307
 
            # old_path came first, so increment it, trying to match up
308
 
            old_path, old_class, old_kind, old_file_id, old_entry = get_next(old_files)
309
 
        elif new_path is not None:
310
 
            # new_path came first, so increment it, trying to match up
311
 
            if new_file_id is not None:
312
 
                handle_new(new_path, new_entry)
313
 
            new_path, new_class, new_kind, new_file_id, new_entry = get_next(new_files)
314
 
 
315
 
    # Now we have a set of added and removed files, mark them all
316
 
    for old_path, old_entry in removed.itervalues():
317
 
        if specific_files:
318
 
            if not is_inside_any(specific_files, old_path):
319
 
                continue
320
 
        delta.removed.append((old_path, old_entry.file_id, old_entry.kind))
321
 
    for new_path, new_entry in added.itervalues():
322
 
        if specific_files:
323
 
            if not is_inside_any(specific_files, new_path):
324
 
                continue
325
 
        delta.added.append((new_path, new_entry.file_id, new_entry.kind))
 
229
                assert fully_present[0] is True
 
230
                delta.removed.append((path[0], file_id, kind[0]))
 
231
        elif fully_present[0] is False:
 
232
            continue
 
233
        elif name[0] != name[1] or parent_id[0] != parent_id[1]:
 
234
            # If the name changes, or the parent_id changes, we have a rename
 
235
            # (if we move a parent, that doesn't count as a rename for the
 
236
            # file)
 
237
            delta.renamed.append((path[0],
 
238
                                  path[1],
 
239
                                  file_id,
 
240
                                  kind[1],
 
241
                                  content_change,
 
242
                                  (executable[0] != executable[1])))
 
243
        elif kind[0] != kind[1]:
 
244
            delta.kind_changed.append((path[1], file_id, kind[0], kind[1]))
 
245
        elif content_change is True or executable[0] != executable[1]:
 
246
            delta.modified.append((path[1], file_id, kind[1],
 
247
                                   content_change,
 
248
                                   (executable[0] != executable[1])))
 
249
        else:
 
250
            delta.unchanged.append((path[1], file_id, kind[1]))
326
251
 
327
252
    delta.removed.sort()
328
253
    delta.added.sort()
333
258
    delta.unchanged.sort()
334
259
 
335
260
    return delta
 
261
 
 
262
 
 
263
class _ChangeReporter(object):
 
264
    """Report changes between two trees"""
 
265
 
 
266
    def __init__(self, output=None, suppress_root_add=True,
 
267
                 output_file=None, unversioned_filter=None):
 
268
        """Constructor
 
269
 
 
270
        :param output: a function with the signature of trace.note, i.e.
 
271
            accepts a format and parameters.
 
272
        :param supress_root_add: If true, adding the root will be ignored
 
273
            (i.e. when a tree has just been initted)
 
274
        :param output_file: If supplied, a file-like object to write to.
 
275
            Only one of output and output_file may be supplied.
 
276
        :param unversioned_filter: A filter function to be called on 
 
277
            unversioned files. This should return True to ignore a path.
 
278
            By default, no filtering takes place.
 
279
        """
 
280
        if output_file is not None:
 
281
            if output is not None:
 
282
                raise BzrError('Cannot specify both output and output_file')
 
283
            def output(fmt, *args):
 
284
                output_file.write((fmt % args) + '\n')
 
285
        self.output = output
 
286
        if self.output is None:
 
287
            from bzrlib import trace
 
288
            self.output = trace.note
 
289
        self.suppress_root_add = suppress_root_add
 
290
        self.modified_map = {'kind changed': 'K',
 
291
                             'unchanged': ' ',
 
292
                             'created': 'N',
 
293
                             'modified': 'M',
 
294
                             'deleted': 'D'}
 
295
        self.versioned_map = {'added': '+', # versioned target
 
296
                              'unchanged': ' ', # versioned in both
 
297
                              'removed': '-', # versioned in source
 
298
                              'unversioned': '?', # versioned in neither
 
299
                              }
 
300
        self.unversioned_filter = unversioned_filter
 
301
 
 
302
    def report(self, file_id, paths, versioned, renamed, modified, exe_change,
 
303
               kind):
 
304
        """Report one change to a file
 
305
 
 
306
        :param file_id: The file_id of the file
 
307
        :param path: The old and new paths as generated by Tree._iter_changes.
 
308
        :param versioned: may be 'added', 'removed', 'unchanged', or
 
309
            'unversioned.
 
310
        :param renamed: may be True or False
 
311
        :param modified: may be 'created', 'deleted', 'kind changed',
 
312
            'modified' or 'unchanged'.
 
313
        :param exe_change: True if the execute bit has changed
 
314
        :param kind: A pair of file kinds, as generated by Tree._iter_changes.
 
315
            None indicates no file present.
 
316
        """
 
317
        if paths[1] == '' and versioned == 'added' and self.suppress_root_add:
 
318
            return
 
319
        if versioned == 'unversioned':
 
320
            # skip ignored unversioned files if needed.
 
321
            if self.unversioned_filter is not None:
 
322
                if self.unversioned_filter(paths[1]):
 
323
                    return
 
324
            # dont show a content change in the output.
 
325
            modified = 'unchanged'
 
326
        # we show both paths in the following situations:
 
327
        # the file versioning is unchanged AND
 
328
        # ( the path is different OR
 
329
        #   the kind is different)
 
330
        if (versioned == 'unchanged' and
 
331
            (renamed or modified == 'kind changed')):
 
332
            if renamed:
 
333
                # on a rename, we show old and new
 
334
                old_path, path = paths
 
335
            else:
 
336
                # if its not renamed, we're showing both for kind changes
 
337
                # so only show the new path
 
338
                old_path, path = paths[1], paths[1]
 
339
            # if the file is not missing in the source, we show its kind
 
340
            # when we show two paths.
 
341
            if kind[0] is not None:
 
342
                old_path += osutils.kind_marker(kind[0])
 
343
            old_path += " => "
 
344
        elif versioned == 'removed':
 
345
            # not present in target
 
346
            old_path = ""
 
347
            path = paths[0]
 
348
        else:
 
349
            old_path = ""
 
350
            path = paths[1]
 
351
        if renamed:
 
352
            rename = "R"
 
353
        else:
 
354
            rename = self.versioned_map[versioned]
 
355
        # we show the old kind on the new path when the content is deleted.
 
356
        if modified == 'deleted':
 
357
            path += osutils.kind_marker(kind[0])
 
358
        # otherwise we always show the current kind when there is one
 
359
        elif kind[1] is not None:
 
360
            path += osutils.kind_marker(kind[1])
 
361
        if exe_change:
 
362
            exe = '*'
 
363
        else:
 
364
            exe = ' '
 
365
        self.output("%s%s%s %s%s", rename, self.modified_map[modified], exe,
 
366
                    old_path, path)
 
367
 
 
368
 
 
369
def report_changes(change_iterator, reporter):
 
370
    """Report the changes from a change iterator.
 
371
 
 
372
    This is essentially a translation from low-level to medium-level changes.
 
373
    Further processing may be required to produce a human-readable output.
 
374
    Unfortunately, some tree-changing operations are very complex
 
375
    :change_iterator: an iterator or sequence of changes in the format
 
376
        generated by Tree._iter_changes
 
377
    :param reporter: The _ChangeReporter that will report the changes.
 
378
    """
 
379
    versioned_change_map = {
 
380
        (True, True)  : 'unchanged',
 
381
        (True, False) : 'removed',
 
382
        (False, True) : 'added',
 
383
        (False, False): 'unversioned',
 
384
        }
 
385
    for (file_id, path, content_change, versioned, parent_id, name, kind,
 
386
         executable) in change_iterator:
 
387
        exe_change = False
 
388
        # files are "renamed" if they are moved or if name changes, as long
 
389
        # as it had a value
 
390
        if None not in name and None not in parent_id and\
 
391
            (name[0] != name[1] or parent_id[0] != parent_id[1]):
 
392
            renamed = True
 
393
        else:
 
394
            renamed = False
 
395
        if kind[0] != kind[1]:
 
396
            if kind[0] is None:
 
397
                modified = "created"
 
398
            elif kind[1] is None:
 
399
                modified = "deleted"
 
400
            else:
 
401
                modified = "kind changed"
 
402
        else:
 
403
            if content_change:
 
404
                modified = "modified"
 
405
            else:
 
406
                modified = "unchanged"
 
407
            if kind[1] == "file":
 
408
                exe_change = (executable[0] != executable[1])
 
409
        versioned_change = versioned_change_map[versioned]
 
410
        reporter.report(file_id, path, versioned_change, renamed, modified,
 
411
                        exe_change, kind)