← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/delta.py

Factor out another win32 special case and add platform independent tests for it.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/delta.py
1
 
#! /usr/bin/env python
2
 
# -*- coding: UTF-8 -*-
 
1
# Copyright (C) 2005, 2006 Canonical
3
2
 
4
3
# This program is free software; you can redistribute it and/or modify
5
4
# it under the terms of the GNU General Public License as published by
15
14
# along with this program; if not, write to the Free Software
16
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
16
 
 
17
from bzrlib.inventory import InventoryEntry
18
18
from bzrlib.trace import mutter
19
19
 
 
20
 
20
21
class TreeDelta(object):
21
22
    """Describes changes from one tree to another.
22
23
 
27
28
    removed
28
29
        (path, id, kind)
29
30
    renamed
30
 
        (oldpath, newpath, id, kind, text_modified)
 
31
        (oldpath, newpath, id, kind, text_modified, meta_modified)
31
32
    modified
32
 
        (path, id, kind)
 
33
        (path, id, kind, text_modified, meta_modified)
33
34
    unchanged
34
35
        (path, id, kind)
35
36
 
36
37
    Each id is listed only once.
37
38
 
38
39
    Files that are both modified and renamed are listed only in
39
 
    renamed, with the text_modified flag true.
 
40
    renamed, with the text_modified flag true. The text_modified
 
41
    applies either to the the content of the file or the target of the
 
42
    symbolic link, depending of the kind of file.
40
43
 
41
44
    Files are only considered renamed if their name has changed or
42
45
    their parent directory has changed.  Renaming a directory
88
91
 
89
92
    def show(self, to_file, show_ids=False, show_unchanged=False):
90
93
        def show_list(files):
91
 
            for path, fid, kind in files:
 
94
            for item in files:
 
95
                path, fid, kind = item[:3]
 
96
 
92
97
                if kind == 'directory':
93
98
                    path += '/'
94
99
                elif kind == 'symlink':
95
100
                    path += '@'
96
 
                    
 
101
 
 
102
                if len(item) == 5 and item[4]:
 
103
                    path += '*'
 
104
 
97
105
                if show_ids:
98
106
                    print >>to_file, '  %-30s %s' % (path, fid)
99
107
                else:
107
115
            print >>to_file, 'added:'
108
116
            show_list(self.added)
109
117
 
 
118
        extra_modified = []
 
119
 
110
120
        if self.renamed:
111
121
            print >>to_file, 'renamed:'
112
 
            for oldpath, newpath, fid, kind, text_modified in self.renamed:
 
122
            for (oldpath, newpath, fid, kind,
 
123
                 text_modified, meta_modified) in self.renamed:
 
124
                if text_modified or meta_modified:
 
125
                    extra_modified.append((newpath, fid, kind,
 
126
                                           text_modified, meta_modified))
 
127
                if meta_modified:
 
128
                    newpath += '*'
113
129
                if show_ids:
114
130
                    print >>to_file, '  %s => %s %s' % (oldpath, newpath, fid)
115
131
                else:
116
132
                    print >>to_file, '  %s => %s' % (oldpath, newpath)
117
133
                    
118
 
        if self.modified:
 
134
        if self.modified or extra_modified:
119
135
            print >>to_file, 'modified:'
120
136
            show_list(self.modified)
 
137
            show_list(extra_modified)
121
138
            
122
139
        if show_unchanged and self.unchanged:
123
140
            print >>to_file, 'unchanged:'
141
158
 
142
159
    specific_files
143
160
        If true, only check for changes to specified names or
144
 
        files within them.
 
161
        files within them.  Any unversioned files given have no effect
 
162
        (but this might change in the future).
145
163
    """
 
164
    # NB: show_status depends on being able to pass in non-versioned files and
 
165
    # report them as unknown
 
166
    old_tree.lock_read()
 
167
    try:
 
168
        new_tree.lock_read()
 
169
        try:
 
170
            return _compare_trees(old_tree, new_tree, want_unchanged,
 
171
                                  specific_files)
 
172
        finally:
 
173
            new_tree.unlock()
 
174
    finally:
 
175
        old_tree.unlock()
 
176
 
 
177
 
 
178
def _compare_trees(old_tree, new_tree, want_unchanged, specific_files):
146
179
 
147
180
    from osutils import is_inside_any
148
181
    
151
184
    delta = TreeDelta()
152
185
    mutter('start compare_trees')
153
186
 
154
 
    # TODO: match for specific files can be rather smarter by finding
155
 
    # the IDs of those files up front and then considering only that.
156
 
 
157
 
    for file_id in old_tree:
158
 
        if file_id in new_tree:
159
 
            old_ie = old_inv[file_id]
160
 
            new_ie = new_inv[file_id]
161
 
 
162
 
            kind = old_ie.kind
163
 
            assert kind == new_ie.kind
164
 
            
165
 
            assert kind in ('file', 'directory', 'symlink', 'root_directory'), \
166
 
                   'invalid file kind %r' % kind
167
 
 
168
 
            if kind == 'root_directory':
169
 
                continue
170
 
            
171
 
            if specific_files:
172
 
                if (not is_inside_any(specific_files, old_inv.id2path(file_id)) 
173
 
                    and not is_inside_any(specific_files, new_inv.id2path(file_id))):
174
 
                    continue
175
 
 
176
 
            if kind == 'file':
177
 
                old_sha1 = old_tree.get_file_sha1(file_id)
178
 
                new_sha1 = new_tree.get_file_sha1(file_id)
179
 
                text_modified = (old_sha1 != new_sha1)
 
187
    # TODO: Rather than iterating over the whole tree and then filtering, we
 
188
    # could diff just the specified files (if any) and their subtrees.  
 
189
    # Perhaps should take a list of file-ids instead?   Need to indicate any
 
190
    # ids or names which were not found in the trees.
 
191
 
 
192
    old_files = old_tree.list_files()
 
193
    new_files = new_tree.list_files()
 
194
 
 
195
    more_old = True
 
196
    more_new = True
 
197
 
 
198
    added = {}
 
199
    removed = {}
 
200
 
 
201
    def get_next(iter):
 
202
        try:
 
203
            return iter.next()
 
204
        except StopIteration:
 
205
            return None, None, None, None, None
 
206
    old_path, old_class, old_kind, old_file_id, old_entry = get_next(old_files)
 
207
    new_path, new_class, new_kind, new_file_id, new_entry = get_next(new_files)
 
208
 
 
209
 
 
210
    def check_matching(old_path, old_entry, new_path, new_entry):
 
211
        """We have matched up 2 file_ids, check for changes."""
 
212
        assert old_entry.kind == new_entry.kind
 
213
 
 
214
        if old_entry.kind == 'root_directory':
 
215
            return
 
216
 
 
217
        if specific_files:
 
218
            if (not is_inside_any(specific_files, old_path)
 
219
                and not is_inside_any(specific_files, new_path)):
 
220
                return
 
221
 
 
222
        # temporary hack until all entries are populated before clients 
 
223
        # get them
 
224
        old_entry._read_tree_state(old_path, old_tree)
 
225
        new_entry._read_tree_state(new_path, new_tree)
 
226
        text_modified, meta_modified = new_entry.detect_changes(old_entry)
 
227
        
 
228
        # If the name changes, or the parent_id changes, we have a rename
 
229
        # (if we move a parent, that doesn't count as a rename for the file)
 
230
        if (old_entry.name != new_entry.name 
 
231
            or old_entry.parent_id != new_entry.parent_id):
 
232
            delta.renamed.append((old_path,
 
233
                                  new_path,
 
234
                                  old_entry.file_id, old_entry.kind,
 
235
                                  text_modified, meta_modified))
 
236
        elif text_modified or meta_modified:
 
237
            delta.modified.append((new_path, new_entry.file_id, new_entry.kind,
 
238
                                   text_modified, meta_modified))
 
239
        elif want_unchanged:
 
240
            delta.unchanged.append((new_path, new_entry.file_id, new_entry.kind))
 
241
 
 
242
 
 
243
    def handle_old(path, entry):
 
244
        """old entry without a new entry match
 
245
 
 
246
        Check to see if a matching new entry was already seen as an
 
247
        added file, and switch the pair into being a rename.
 
248
        Otherwise just mark the old entry being removed.
 
249
        """
 
250
        if entry.file_id in added:
 
251
            # Actually this is a rename, we found a new file_id earlier
 
252
            # at a different location, so it is no-longer added
 
253
            x_new_path, x_new_entry = added.pop(entry.file_id)
 
254
            check_matching(path, entry, x_new_path, x_new_entry)
 
255
        else:
 
256
            # We have an old_file_id which doesn't line up with a new_file_id
 
257
            # So this file looks to be removed
 
258
            assert entry.file_id not in removed
 
259
            removed[entry.file_id] = path, entry
 
260
 
 
261
    def handle_new(path, entry):
 
262
        """new entry without an old entry match
 
263
        
 
264
        Check to see if a matching old entry was already seen as a
 
265
        removal, and change the pair into a rename.
 
266
        Otherwise just mark the new entry as an added file.
 
267
        """
 
268
        if entry.file_id in removed:
 
269
            # We saw this file_id earlier at an old different location
 
270
            # it is no longer removed, just renamed
 
271
            x_old_path, x_old_entry = removed.pop(entry.file_id)
 
272
            check_matching(x_old_path, x_old_entry, path, entry)
 
273
        else:
 
274
            # We have a new file which does not match an old file
 
275
            # mark it as added
 
276
            assert entry.file_id not in added
 
277
            added[entry.file_id] = path, entry
 
278
 
 
279
    while old_path or new_path:
 
280
        # list_files() returns files in alphabetical path sorted order
 
281
        if old_path == new_path:
 
282
            if old_file_id == new_file_id:
 
283
                # This is the common case, the files are in the same place
 
284
                # check if there were any content changes
 
285
 
 
286
                if old_file_id is None:
 
287
                    # We have 2 unversioned files, no deltas possible???
 
288
                    pass
 
289
                else:
 
290
                    check_matching(old_path, old_entry, new_path, new_entry)
180
291
            else:
181
 
                ## mutter("no text to check for %r %r" % (file_id, kind))
182
 
                text_modified = False
183
 
 
184
 
            # TODO: Can possibly avoid calculating path strings if the
185
 
            # two files are unchanged and their names and parents are
186
 
            # the same and the parents are unchanged all the way up.
187
 
            # May not be worthwhile.
188
 
            
189
 
            if (old_ie.name != new_ie.name
190
 
                or old_ie.parent_id != new_ie.parent_id):
191
 
                delta.renamed.append((old_inv.id2path(file_id),
192
 
                                      new_inv.id2path(file_id),
193
 
                                      file_id, kind,
194
 
                                      text_modified))
195
 
            elif text_modified:
196
 
                delta.modified.append((new_inv.id2path(file_id), file_id, kind))
197
 
            elif want_unchanged:
198
 
                delta.unchanged.append((new_inv.id2path(file_id), file_id, kind))
199
 
        else:
200
 
            kind = old_inv.get_file_kind(file_id)
201
 
            if kind == 'root_directory':
 
292
                # The ids don't match, so we have to handle them both
 
293
                # separately.
 
294
                if old_file_id is not None:
 
295
                    handle_old(old_path, old_entry)
 
296
 
 
297
                if new_file_id is not None:
 
298
                    handle_new(new_path, new_entry)
 
299
 
 
300
            # The two entries were at the same path, so increment both sides
 
301
            old_path, old_class, old_kind, old_file_id, old_entry = get_next(old_files)
 
302
            new_path, new_class, new_kind, new_file_id, new_entry = get_next(new_files)
 
303
        elif new_path is None or (old_path is not None and old_path < new_path):
 
304
            # Assume we don't match, only process old_path
 
305
            if old_file_id is not None:
 
306
                handle_old(old_path, old_entry)
 
307
            # old_path came first, so increment it, trying to match up
 
308
            old_path, old_class, old_kind, old_file_id, old_entry = get_next(old_files)
 
309
        elif new_path is not None:
 
310
            # new_path came first, so increment it, trying to match up
 
311
            if new_file_id is not None:
 
312
                handle_new(new_path, new_entry)
 
313
            new_path, new_class, new_kind, new_file_id, new_entry = get_next(new_files)
 
314
 
 
315
    # Now we have a set of added and removed files, mark them all
 
316
    for old_path, old_entry in removed.itervalues():
 
317
        if specific_files:
 
318
            if not is_inside_any(specific_files, old_path):
202
319
                continue
203
 
            old_path = old_inv.id2path(file_id)
204
 
            if specific_files:
205
 
                if not is_inside_any(specific_files, old_path):
206
 
                    continue
207
 
            delta.removed.append((old_path, file_id, kind))
208
 
 
209
 
    mutter('start looking for new files')
210
 
    for file_id in new_inv:
211
 
        if file_id in old_inv:
212
 
            continue
213
 
        kind = new_inv.get_file_kind(file_id)
214
 
        if kind == 'root_directory':
215
 
            continue
216
 
        new_path = new_inv.id2path(file_id)
 
320
        delta.removed.append((old_path, old_entry.file_id, old_entry.kind))
 
321
    for new_path, new_entry in added.itervalues():
217
322
        if specific_files:
218
323
            if not is_inside_any(specific_files, new_path):
219
324
                continue
220
 
        delta.added.append((new_path, file_id, kind))
221
 
            
 
325
        delta.added.append((new_path, new_entry.file_id, new_entry.kind))
 
326
 
222
327
    delta.removed.sort()
223
328
    delta.added.sort()
224
329
    delta.renamed.sort()
 
330
    # TODO: jam 20060529 These lists shouldn't need to be sorted
 
331
    #       since we added them in alphabetical order.
225
332
    delta.modified.sort()
226
333
    delta.unchanged.sort()
227
334