← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/delta.py

  • Committer: John Arbash Meinel
  • Date: 2006-08-16 20:43:43 UTC
  • mto: This revision was merged to the branch mainline in revision 1942.
  • Revision ID: john@arbash-meinel.com-20060816204343-2485bd147bd7e253
Write a benchmark for the XML serializer

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/delta.py
1
 
# -*- coding: UTF-8 -*-
2
 
 
 
1
# Copyright (C) 2005, 2006 Canonical
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
 
17
from bzrlib.inventory import InventoryEntry
17
18
from bzrlib.trace import mutter
 
19
from bzrlib.symbol_versioning import deprecated_function, zero_nine
 
20
 
18
21
 
19
22
class TreeDelta(object):
20
23
    """Describes changes from one tree to another.
26
29
    removed
27
30
        (path, id, kind)
28
31
    renamed
29
 
        (oldpath, newpath, id, kind, text_modified)
 
32
        (oldpath, newpath, id, kind, text_modified, meta_modified)
30
33
    modified
31
 
        (path, id, kind)
 
34
        (path, id, kind, text_modified, meta_modified)
32
35
    unchanged
33
36
        (path, id, kind)
34
37
 
35
38
    Each id is listed only once.
36
39
 
37
40
    Files that are both modified and renamed are listed only in
38
 
    renamed, with the text_modified flag true.
 
41
    renamed, with the text_modified flag true. The text_modified
 
42
    applies either to the the content of the file or the target of the
 
43
    symbolic link, depending of the kind of file.
39
44
 
40
45
    Files are only considered renamed if their name has changed or
41
46
    their parent directory has changed.  Renaming a directory
68
73
            self.modified, self.unchanged)
69
74
 
70
75
    def has_changed(self):
71
 
        changes = len(self.added) + len(self.removed) + len(self.renamed)
72
 
        changes += len(self.modified) 
73
 
        return (changes != 0)
 
76
        return bool(self.modified
 
77
                    or self.added
 
78
                    or self.removed
 
79
                    or self.renamed)
74
80
 
75
81
    def touches_file_id(self, file_id):
76
82
        """Return True if file_id is modified by this delta."""
85
91
            
86
92
 
87
93
    def show(self, to_file, show_ids=False, show_unchanged=False):
 
94
        """output this delta in status-like form to to_file."""
88
95
        def show_list(files):
89
 
            for path, fid, kind in files:
 
96
            for item in files:
 
97
                path, fid, kind = item[:3]
 
98
 
90
99
                if kind == 'directory':
91
100
                    path += '/'
92
101
                elif kind == 'symlink':
93
102
                    path += '@'
94
 
                    
 
103
 
 
104
                if len(item) == 5 and item[4]:
 
105
                    path += '*'
 
106
 
95
107
                if show_ids:
96
108
                    print >>to_file, '  %-30s %s' % (path, fid)
97
109
                else:
105
117
            print >>to_file, 'added:'
106
118
            show_list(self.added)
107
119
 
 
120
        extra_modified = []
 
121
 
108
122
        if self.renamed:
109
123
            print >>to_file, 'renamed:'
110
 
            for oldpath, newpath, fid, kind, text_modified in self.renamed:
 
124
            for (oldpath, newpath, fid, kind,
 
125
                 text_modified, meta_modified) in self.renamed:
 
126
                if text_modified or meta_modified:
 
127
                    extra_modified.append((newpath, fid, kind,
 
128
                                           text_modified, meta_modified))
 
129
                if meta_modified:
 
130
                    newpath += '*'
111
131
                if show_ids:
112
132
                    print >>to_file, '  %s => %s %s' % (oldpath, newpath, fid)
113
133
                else:
114
134
                    print >>to_file, '  %s => %s' % (oldpath, newpath)
115
135
                    
116
 
        if self.modified:
 
136
        if self.modified or extra_modified:
117
137
            print >>to_file, 'modified:'
118
138
            show_list(self.modified)
 
139
            show_list(extra_modified)
119
140
            
120
141
        if show_unchanged and self.unchanged:
121
142
            print >>to_file, 'unchanged:'
122
143
            show_list(self.unchanged)
123
144
 
124
145
 
125
 
 
126
 
def compare_trees(old_tree, new_tree, want_unchanged=False, specific_files=None):
127
 
    """Describe changes from one tree to another.
128
 
 
129
 
    Returns a TreeDelta with details of added, modified, renamed, and
130
 
    deleted entries.
131
 
 
132
 
    The root entry is specifically exempt.
133
 
 
134
 
    This only considers versioned files.
135
 
 
136
 
    want_unchanged
137
 
        If true, also list files unchanged from one version to
138
 
        the next.
139
 
 
140
 
    specific_files
141
 
        If true, only check for changes to specified names or
142
 
        files within them.
143
 
    """
 
146
@deprecated_function(zero_nine)
 
147
def compare_trees(old_tree, new_tree, want_unchanged=False,
 
148
                  specific_files=None, extra_trees=None,
 
149
                  require_versioned=False):
 
150
    """compare_trees was deprecated in 0.10. Please see Tree.changes_from."""
 
151
    return new_tree.changes_from(old_tree,
 
152
        want_unchanged=want_unchanged,
 
153
        specific_files=specific_files,
 
154
        extra_trees=extra_trees,
 
155
        require_versioned=require_versioned)
 
156
 
 
157
 
 
158
def _compare_trees(old_tree, new_tree, want_unchanged, specific_file_ids):
144
159
 
145
160
    from osutils import is_inside_any
146
161
    
147
162
    old_inv = old_tree.inventory
148
163
    new_inv = new_tree.inventory
149
164
    delta = TreeDelta()
150
 
    mutter('start compare_trees')
151
 
 
152
 
    # TODO: match for specific files can be rather smarter by finding
153
 
    # the IDs of those files up front and then considering only that.
154
 
 
155
 
    for file_id in old_tree:
156
 
        if file_id in new_tree:
157
 
            old_ie = old_inv[file_id]
158
 
            new_ie = new_inv[file_id]
159
 
 
160
 
            kind = old_ie.kind
161
 
            assert kind == new_ie.kind
162
 
            
163
 
            assert kind in ('file', 'directory', 'symlink', 'root_directory'), \
164
 
                   'invalid file kind %r' % kind
165
 
 
166
 
            if kind == 'root_directory':
167
 
                continue
168
 
            
169
 
            if specific_files:
170
 
                if (not is_inside_any(specific_files, old_inv.id2path(file_id)) 
171
 
                    and not is_inside_any(specific_files, new_inv.id2path(file_id))):
172
 
                    continue
173
 
 
174
 
            if kind == 'file':
175
 
                old_sha1 = old_tree.get_file_sha1(file_id)
176
 
                new_sha1 = new_tree.get_file_sha1(file_id)
177
 
                text_modified = (old_sha1 != new_sha1)
 
165
    # mutter('start compare_trees')
 
166
 
 
167
    # TODO: Rather than iterating over the whole tree and then filtering, we
 
168
    # could diff just the specified files (if any) and their subtrees.  
 
169
 
 
170
    old_files = old_tree.list_files()
 
171
    new_files = new_tree.list_files()
 
172
 
 
173
    more_old = True
 
174
    more_new = True
 
175
 
 
176
    added = {}
 
177
    removed = {}
 
178
 
 
179
    def get_next(iter):
 
180
        try:
 
181
            return iter.next()
 
182
        except StopIteration:
 
183
            return None, None, None, None, None
 
184
    old_path, old_class, old_kind, old_file_id, old_entry = get_next(old_files)
 
185
    new_path, new_class, new_kind, new_file_id, new_entry = get_next(new_files)
 
186
 
 
187
 
 
188
    def check_matching(old_path, old_entry, new_path, new_entry):
 
189
        """We have matched up 2 file_ids, check for changes."""
 
190
        assert old_entry.kind == new_entry.kind
 
191
 
 
192
        if specific_file_ids:
 
193
            if (old_entry.file_id not in specific_file_ids and 
 
194
                new_entry.file_id not in specific_file_ids):
 
195
                return
 
196
 
 
197
        # temporary hack until all entries are populated before clients 
 
198
        # get them
 
199
        old_entry._read_tree_state(old_path, old_tree)
 
200
        new_entry._read_tree_state(new_path, new_tree)
 
201
        text_modified, meta_modified = new_entry.detect_changes(old_entry)
 
202
        
 
203
        # If the name changes, or the parent_id changes, we have a rename
 
204
        # (if we move a parent, that doesn't count as a rename for the file)
 
205
        if (old_entry.name != new_entry.name 
 
206
            or old_entry.parent_id != new_entry.parent_id):
 
207
            delta.renamed.append((old_path,
 
208
                                  new_path,
 
209
                                  old_entry.file_id, old_entry.kind,
 
210
                                  text_modified, meta_modified))
 
211
        elif text_modified or meta_modified:
 
212
            delta.modified.append((new_path, new_entry.file_id, new_entry.kind,
 
213
                                   text_modified, meta_modified))
 
214
        elif want_unchanged:
 
215
            delta.unchanged.append((new_path, new_entry.file_id, new_entry.kind))
 
216
 
 
217
 
 
218
    def handle_old(path, entry):
 
219
        """old entry without a new entry match
 
220
 
 
221
        Check to see if a matching new entry was already seen as an
 
222
        added file, and switch the pair into being a rename.
 
223
        Otherwise just mark the old entry being removed.
 
224
        """
 
225
        if entry.file_id in added:
 
226
            # Actually this is a rename, we found a new file_id earlier
 
227
            # at a different location, so it is no-longer added
 
228
            x_new_path, x_new_entry = added.pop(entry.file_id)
 
229
            check_matching(path, entry, x_new_path, x_new_entry)
 
230
        else:
 
231
            # We have an old_file_id which doesn't line up with a new_file_id
 
232
            # So this file looks to be removed
 
233
            assert entry.file_id not in removed
 
234
            removed[entry.file_id] = path, entry
 
235
 
 
236
    def handle_new(path, entry):
 
237
        """new entry without an old entry match
 
238
        
 
239
        Check to see if a matching old entry was already seen as a
 
240
        removal, and change the pair into a rename.
 
241
        Otherwise just mark the new entry as an added file.
 
242
        """
 
243
        if entry.file_id in removed:
 
244
            # We saw this file_id earlier at an old different location
 
245
            # it is no longer removed, just renamed
 
246
            x_old_path, x_old_entry = removed.pop(entry.file_id)
 
247
            check_matching(x_old_path, x_old_entry, path, entry)
 
248
        else:
 
249
            # We have a new file which does not match an old file
 
250
            # mark it as added
 
251
            assert entry.file_id not in added
 
252
            added[entry.file_id] = path, entry
 
253
 
 
254
    while old_path or new_path:
 
255
        # list_files() returns files in alphabetical path sorted order
 
256
        if old_path == new_path:
 
257
            if old_file_id == new_file_id:
 
258
                # This is the common case, the files are in the same place
 
259
                # check if there were any content changes
 
260
 
 
261
                if old_file_id is None:
 
262
                    # We have 2 unversioned files, no deltas possible???
 
263
                    pass
 
264
                else:
 
265
                    check_matching(old_path, old_entry, new_path, new_entry)
178
266
            else:
179
 
                ## mutter("no text to check for %r %r" % (file_id, kind))
180
 
                text_modified = False
181
 
 
182
 
            # TODO: Can possibly avoid calculating path strings if the
183
 
            # two files are unchanged and their names and parents are
184
 
            # the same and the parents are unchanged all the way up.
185
 
            # May not be worthwhile.
186
 
            
187
 
            if (old_ie.name != new_ie.name
188
 
                or old_ie.parent_id != new_ie.parent_id):
189
 
                delta.renamed.append((old_inv.id2path(file_id),
190
 
                                      new_inv.id2path(file_id),
191
 
                                      file_id, kind,
192
 
                                      text_modified))
193
 
            elif text_modified:
194
 
                delta.modified.append((new_inv.id2path(file_id), file_id, kind))
195
 
            elif want_unchanged:
196
 
                delta.unchanged.append((new_inv.id2path(file_id), file_id, kind))
197
 
        else:
198
 
            kind = old_inv.get_file_kind(file_id)
199
 
            if kind == 'root_directory':
200
 
                continue
201
 
            old_path = old_inv.id2path(file_id)
202
 
            if specific_files:
203
 
                if not is_inside_any(specific_files, old_path):
204
 
                    continue
205
 
            delta.removed.append((old_path, file_id, kind))
206
 
 
207
 
    mutter('start looking for new files')
208
 
    for file_id in new_inv:
209
 
        if file_id in old_inv:
210
 
            continue
211
 
        kind = new_inv.get_file_kind(file_id)
212
 
        if kind == 'root_directory':
213
 
            continue
214
 
        new_path = new_inv.id2path(file_id)
215
 
        if specific_files:
216
 
            if not is_inside_any(specific_files, new_path):
217
 
                continue
218
 
        delta.added.append((new_path, file_id, kind))
219
 
            
 
267
                # The ids don't match, so we have to handle them both
 
268
                # separately.
 
269
                if old_file_id is not None:
 
270
                    handle_old(old_path, old_entry)
 
271
 
 
272
                if new_file_id is not None:
 
273
                    handle_new(new_path, new_entry)
 
274
 
 
275
            # The two entries were at the same path, so increment both sides
 
276
            old_path, old_class, old_kind, old_file_id, old_entry = get_next(old_files)
 
277
            new_path, new_class, new_kind, new_file_id, new_entry = get_next(new_files)
 
278
        elif new_path is None or (old_path is not None and old_path < new_path):
 
279
            # Assume we don't match, only process old_path
 
280
            if old_file_id is not None:
 
281
                handle_old(old_path, old_entry)
 
282
            # old_path came first, so increment it, trying to match up
 
283
            old_path, old_class, old_kind, old_file_id, old_entry = get_next(old_files)
 
284
        elif new_path is not None:
 
285
            # new_path came first, so increment it, trying to match up
 
286
            if new_file_id is not None:
 
287
                handle_new(new_path, new_entry)
 
288
            new_path, new_class, new_kind, new_file_id, new_entry = get_next(new_files)
 
289
 
 
290
    # Now we have a set of added and removed files, mark them all
 
291
    for old_path, old_entry in removed.itervalues():
 
292
        if specific_file_ids:
 
293
            if not old_entry.file_id in specific_file_ids:
 
294
                continue
 
295
        delta.removed.append((old_path, old_entry.file_id, old_entry.kind))
 
296
    for new_path, new_entry in added.itervalues():
 
297
        if specific_file_ids:
 
298
            if not new_entry.file_id in specific_file_ids:
 
299
                continue
 
300
        delta.added.append((new_path, new_entry.file_id, new_entry.kind))
 
301
 
220
302
    delta.removed.sort()
221
303
    delta.added.sort()
222
304
    delta.renamed.sort()
 
305
    # TODO: jam 20060529 These lists shouldn't need to be sorted
 
306
    #       since we added them in alphabetical order.
223
307
    delta.modified.sort()
224
308
    delta.unchanged.sort()
225
309