~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/delta.py

Merge Jan's benchmarks.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006 Canonical
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
from bzrlib.inventory import InventoryEntry
 
18
from bzrlib.trace import mutter
 
19
from bzrlib.symbol_versioning import deprecated_function, zero_ten
 
20
 
 
21
 
 
22
class TreeDelta(object):
 
23
    """Describes changes from one tree to another.
 
24
 
 
25
    Contains four lists:
 
26
 
 
27
    added
 
28
        (path, id, kind)
 
29
    removed
 
30
        (path, id, kind)
 
31
    renamed
 
32
        (oldpath, newpath, id, kind, text_modified, meta_modified)
 
33
    modified
 
34
        (path, id, kind, text_modified, meta_modified)
 
35
    unchanged
 
36
        (path, id, kind)
 
37
 
 
38
    Each id is listed only once.
 
39
 
 
40
    Files that are both modified and renamed are listed only in
 
41
    renamed, with the text_modified flag true. The text_modified
 
42
    applies either to the the content of the file or the target of the
 
43
    symbolic link, depending of the kind of file.
 
44
 
 
45
    Files are only considered renamed if their name has changed or
 
46
    their parent directory has changed.  Renaming a directory
 
47
    does not count as renaming all its contents.
 
48
 
 
49
    The lists are normally sorted when the delta is created.
 
50
    """
 
51
    def __init__(self):
 
52
        self.added = []
 
53
        self.removed = []
 
54
        self.renamed = []
 
55
        self.modified = []
 
56
        self.unchanged = []
 
57
 
 
58
    def __eq__(self, other):
 
59
        if not isinstance(other, TreeDelta):
 
60
            return False
 
61
        return self.added == other.added \
 
62
               and self.removed == other.removed \
 
63
               and self.renamed == other.renamed \
 
64
               and self.modified == other.modified \
 
65
               and self.unchanged == other.unchanged
 
66
 
 
67
    def __ne__(self, other):
 
68
        return not (self == other)
 
69
 
 
70
    def __repr__(self):
 
71
        return "TreeDelta(added=%r, removed=%r, renamed=%r, modified=%r," \
 
72
            " unchanged=%r)" % (self.added, self.removed, self.renamed,
 
73
            self.modified, self.unchanged)
 
74
 
 
75
    def has_changed(self):
 
76
        return bool(self.modified
 
77
                    or self.added
 
78
                    or self.removed
 
79
                    or self.renamed)
 
80
 
 
81
    def touches_file_id(self, file_id):
 
82
        """Return True if file_id is modified by this delta."""
 
83
        for l in self.added, self.removed, self.modified:
 
84
            for v in l:
 
85
                if v[1] == file_id:
 
86
                    return True
 
87
        for v in self.renamed:
 
88
            if v[2] == file_id:
 
89
                return True
 
90
        return False
 
91
            
 
92
 
 
93
    def show(self, to_file, show_ids=False, show_unchanged=False):
 
94
        """output this delta in status-like form to to_file."""
 
95
        def show_list(files):
 
96
            for item in files:
 
97
                path, fid, kind = item[:3]
 
98
 
 
99
                if kind == 'directory':
 
100
                    path += '/'
 
101
                elif kind == 'symlink':
 
102
                    path += '@'
 
103
 
 
104
                if len(item) == 5 and item[4]:
 
105
                    path += '*'
 
106
 
 
107
                if show_ids:
 
108
                    print >>to_file, '  %-30s %s' % (path, fid)
 
109
                else:
 
110
                    print >>to_file, ' ', path
 
111
            
 
112
        if self.removed:
 
113
            print >>to_file, 'removed:'
 
114
            show_list(self.removed)
 
115
                
 
116
        if self.added:
 
117
            print >>to_file, 'added:'
 
118
            show_list(self.added)
 
119
 
 
120
        extra_modified = []
 
121
 
 
122
        if self.renamed:
 
123
            print >>to_file, 'renamed:'
 
124
            for (oldpath, newpath, fid, kind,
 
125
                 text_modified, meta_modified) in self.renamed:
 
126
                if text_modified or meta_modified:
 
127
                    extra_modified.append((newpath, fid, kind,
 
128
                                           text_modified, meta_modified))
 
129
                if meta_modified:
 
130
                    newpath += '*'
 
131
                if show_ids:
 
132
                    print >>to_file, '  %s => %s %s' % (oldpath, newpath, fid)
 
133
                else:
 
134
                    print >>to_file, '  %s => %s' % (oldpath, newpath)
 
135
                    
 
136
        if self.modified or extra_modified:
 
137
            print >>to_file, 'modified:'
 
138
            show_list(self.modified)
 
139
            show_list(extra_modified)
 
140
            
 
141
        if show_unchanged and self.unchanged:
 
142
            print >>to_file, 'unchanged:'
 
143
            show_list(self.unchanged)
 
144
 
 
145
 
 
146
@deprecated_function(zero_ten)
 
147
def compare_trees(old_tree, new_tree, want_unchanged=False,
 
148
                  specific_files=None, extra_trees=None,
 
149
                  require_versioned=False):
 
150
    """compare_trees was deprecated in 0.10. Please see Tree.changes_from."""
 
151
    return new_tree.changes_from(old_tree,
 
152
        want_unchanged=want_unchanged,
 
153
        specific_files=specific_files,
 
154
        extra_trees=extra_trees,
 
155
        require_versioned=require_versioned)
 
156
 
 
157
 
 
158
def _compare_trees(old_tree, new_tree, want_unchanged, specific_file_ids):
 
159
 
 
160
    from osutils import is_inside_any
 
161
    
 
162
    old_inv = old_tree.inventory
 
163
    new_inv = new_tree.inventory
 
164
    delta = TreeDelta()
 
165
    # mutter('start compare_trees')
 
166
 
 
167
    # TODO: Rather than iterating over the whole tree and then filtering, we
 
168
    # could diff just the specified files (if any) and their subtrees.  
 
169
 
 
170
    old_files = old_tree.list_files()
 
171
    new_files = new_tree.list_files()
 
172
 
 
173
    more_old = True
 
174
    more_new = True
 
175
 
 
176
    added = {}
 
177
    removed = {}
 
178
 
 
179
    def get_next(iter):
 
180
        try:
 
181
            return iter.next()
 
182
        except StopIteration:
 
183
            return None, None, None, None, None
 
184
    old_path, old_class, old_kind, old_file_id, old_entry = get_next(old_files)
 
185
    new_path, new_class, new_kind, new_file_id, new_entry = get_next(new_files)
 
186
 
 
187
 
 
188
    def check_matching(old_path, old_entry, new_path, new_entry):
 
189
        """We have matched up 2 file_ids, check for changes."""
 
190
        assert old_entry.kind == new_entry.kind
 
191
 
 
192
        if old_entry.kind == 'root_directory':
 
193
            return
 
194
 
 
195
        if specific_file_ids:
 
196
            if (old_entry.file_id not in specific_file_ids and 
 
197
                new_entry.file_id not in specific_file_ids):
 
198
                return
 
199
 
 
200
        # temporary hack until all entries are populated before clients 
 
201
        # get them
 
202
        old_entry._read_tree_state(old_path, old_tree)
 
203
        new_entry._read_tree_state(new_path, new_tree)
 
204
        text_modified, meta_modified = new_entry.detect_changes(old_entry)
 
205
        
 
206
        # If the name changes, or the parent_id changes, we have a rename
 
207
        # (if we move a parent, that doesn't count as a rename for the file)
 
208
        if (old_entry.name != new_entry.name 
 
209
            or old_entry.parent_id != new_entry.parent_id):
 
210
            delta.renamed.append((old_path,
 
211
                                  new_path,
 
212
                                  old_entry.file_id, old_entry.kind,
 
213
                                  text_modified, meta_modified))
 
214
        elif text_modified or meta_modified:
 
215
            delta.modified.append((new_path, new_entry.file_id, new_entry.kind,
 
216
                                   text_modified, meta_modified))
 
217
        elif want_unchanged:
 
218
            delta.unchanged.append((new_path, new_entry.file_id, new_entry.kind))
 
219
 
 
220
 
 
221
    def handle_old(path, entry):
 
222
        """old entry without a new entry match
 
223
 
 
224
        Check to see if a matching new entry was already seen as an
 
225
        added file, and switch the pair into being a rename.
 
226
        Otherwise just mark the old entry being removed.
 
227
        """
 
228
        if entry.file_id in added:
 
229
            # Actually this is a rename, we found a new file_id earlier
 
230
            # at a different location, so it is no-longer added
 
231
            x_new_path, x_new_entry = added.pop(entry.file_id)
 
232
            check_matching(path, entry, x_new_path, x_new_entry)
 
233
        else:
 
234
            # We have an old_file_id which doesn't line up with a new_file_id
 
235
            # So this file looks to be removed
 
236
            assert entry.file_id not in removed
 
237
            removed[entry.file_id] = path, entry
 
238
 
 
239
    def handle_new(path, entry):
 
240
        """new entry without an old entry match
 
241
        
 
242
        Check to see if a matching old entry was already seen as a
 
243
        removal, and change the pair into a rename.
 
244
        Otherwise just mark the new entry as an added file.
 
245
        """
 
246
        if entry.file_id in removed:
 
247
            # We saw this file_id earlier at an old different location
 
248
            # it is no longer removed, just renamed
 
249
            x_old_path, x_old_entry = removed.pop(entry.file_id)
 
250
            check_matching(x_old_path, x_old_entry, path, entry)
 
251
        else:
 
252
            # We have a new file which does not match an old file
 
253
            # mark it as added
 
254
            assert entry.file_id not in added
 
255
            added[entry.file_id] = path, entry
 
256
 
 
257
    while old_path or new_path:
 
258
        # list_files() returns files in alphabetical path sorted order
 
259
        if old_path == new_path:
 
260
            if old_file_id == new_file_id:
 
261
                # This is the common case, the files are in the same place
 
262
                # check if there were any content changes
 
263
 
 
264
                if old_file_id is None:
 
265
                    # We have 2 unversioned files, no deltas possible???
 
266
                    pass
 
267
                else:
 
268
                    check_matching(old_path, old_entry, new_path, new_entry)
 
269
            else:
 
270
                # The ids don't match, so we have to handle them both
 
271
                # separately.
 
272
                if old_file_id is not None:
 
273
                    handle_old(old_path, old_entry)
 
274
 
 
275
                if new_file_id is not None:
 
276
                    handle_new(new_path, new_entry)
 
277
 
 
278
            # The two entries were at the same path, so increment both sides
 
279
            old_path, old_class, old_kind, old_file_id, old_entry = get_next(old_files)
 
280
            new_path, new_class, new_kind, new_file_id, new_entry = get_next(new_files)
 
281
        elif new_path is None or (old_path is not None and old_path < new_path):
 
282
            # Assume we don't match, only process old_path
 
283
            if old_file_id is not None:
 
284
                handle_old(old_path, old_entry)
 
285
            # old_path came first, so increment it, trying to match up
 
286
            old_path, old_class, old_kind, old_file_id, old_entry = get_next(old_files)
 
287
        elif new_path is not None:
 
288
            # new_path came first, so increment it, trying to match up
 
289
            if new_file_id is not None:
 
290
                handle_new(new_path, new_entry)
 
291
            new_path, new_class, new_kind, new_file_id, new_entry = get_next(new_files)
 
292
 
 
293
    # Now we have a set of added and removed files, mark them all
 
294
    for old_path, old_entry in removed.itervalues():
 
295
        if specific_file_ids:
 
296
            if not old_entry.file_id in specific_file_ids:
 
297
                continue
 
298
        delta.removed.append((old_path, old_entry.file_id, old_entry.kind))
 
299
    for new_path, new_entry in added.itervalues():
 
300
        if specific_file_ids:
 
301
            if not new_entry.file_id in specific_file_ids:
 
302
                continue
 
303
        delta.added.append((new_path, new_entry.file_id, new_entry.kind))
 
304
 
 
305
    delta.removed.sort()
 
306
    delta.added.sort()
 
307
    delta.renamed.sort()
 
308
    # TODO: jam 20060529 These lists shouldn't need to be sorted
 
309
    #       since we added them in alphabetical order.
 
310
    delta.modified.sort()
 
311
    delta.unchanged.sort()
 
312
 
 
313
    return delta