← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/xml8.py

  • Committer: John Arbash Meinel
  • Date: 2010-02-17 17:11:16 UTC
  • mfrom: (4797.2.17 2.1)
  • mto: (4797.2.18 2.1)
  • mto: This revision was merged to the branch mainline in revision 5055.
  • Revision ID: john@arbash-meinel.com-20100217171116-h7t9223ystbnx5h8
merge bzr.2.1 in preparation for NEWS entry.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/xml8.py
1
 
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
import cStringIO
18
18
import re
22
22
    errors,
23
23
    inventory,
24
24
    revision as _mod_revision,
25
 
    )
26
 
from bzrlib.xml_serializer import SubElement, Element, Serializer
 
25
    trace,
 
26
    )
 
27
from bzrlib.xml_serializer import (
 
28
    Element,
 
29
    SubElement,
 
30
    XMLSerializer,
 
31
    escape_invalid_chars,
 
32
    )
27
33
from bzrlib.inventory import ROOT_ID, Inventory, InventoryEntry
28
34
from bzrlib.revision import Revision
29
35
from bzrlib.errors import BzrError
91
97
    # to check if None, rather than try/KeyError
92
98
    text = _map.get(unicode_or_utf8_str)
93
99
    if text is None:
94
 
        if unicode_or_utf8_str.__class__ == unicode:
 
100
        if unicode_or_utf8_str.__class__ is unicode:
95
101
            # The alternative policy is to do a regular UTF8 encoding
96
102
            # and then escape only XML meta characters.
97
103
            # Performance is equivalent once you use cache_utf8. *However*
127
133
    # This is fairly optimized because we know what cElementTree does, this is
128
134
    # not meant as a generic function for all cases. Because it is possible for
129
135
    # an 8-bit string to not be ascii or valid utf8.
130
 
    if a_str.__class__ == unicode:
 
136
    if a_str.__class__ is unicode:
131
137
        return _encode_utf8(a_str)
132
138
    else:
133
 
        return _get_cached_ascii(a_str)
 
139
        return intern(a_str)
134
140
 
135
141
 
136
142
def _clear_cache():
138
144
    _to_escaped_map.clear()
139
145
 
140
146
 
141
 
class Serializer_v5(Serializer):
142
 
    """Version 5 serializer
 
147
class Serializer_v8(XMLSerializer):
 
148
    """This serialiser adds rich roots.
143
149
 
144
 
    Packs objects into XML and vice versa.
 
150
    Its revision format number matches its inventory number.
145
151
    """
146
 
    
 
152
 
147
153
    __slots__ = []
148
154
 
 
155
    root_id = None
149
156
    support_altered_by_hack = True
150
157
    # This format supports the altered-by hack that reads file ids directly out
151
158
    # of the versionedfile, without doing XML parsing.
152
159
 
153
160
    supported_kinds = set(['file', 'directory', 'symlink'])
154
 
    format_num = '5'
155
 
 
156
 
    def write_inventory_to_string(self, inv):
157
 
        """Just call write_inventory with a StringIO and return the value"""
 
161
    format_num = '8'
 
162
    revision_format_num = None
 
163
 
 
164
    def _check_revisions(self, inv):
 
165
        """Extension point for subclasses to check during serialisation.
 
166
 
 
167
        :param inv: An inventory about to be serialised, to be checked.
 
168
        :raises: AssertionError if an error has occurred.
 
169
        """
 
170
        if inv.revision_id is None:
 
171
            raise AssertionError("inv.revision_id is None")
 
172
        if inv.root.revision is None:
 
173
            raise AssertionError("inv.root.revision is None")
 
174
 
 
175
    def _check_cache_size(self, inv_size, entry_cache):
 
176
        """Check that the entry_cache is large enough.
 
177
 
 
178
        We want the cache to be ~2x the size of an inventory. The reason is
 
179
        because we use a FIFO cache, and how Inventory records are likely to
 
180
        change. In general, you have a small number of records which change
 
181
        often, and a lot of records which do not change at all. So when the
 
182
        cache gets full, you actually flush out a lot of the records you are
 
183
        interested in, which means you need to recreate all of those records.
 
184
        An LRU Cache would be better, but the overhead negates the cache
 
185
        coherency benefit.
 
186
 
 
187
        One way to look at it, only the size of the cache > len(inv) is your
 
188
        'working' set. And in general, it shouldn't be a problem to hold 2
 
189
        inventories in memory anyway.
 
190
 
 
191
        :param inv_size: The number of entries in an inventory.
 
192
        """
 
193
        if entry_cache is None:
 
194
            return
 
195
        # 1.5 times might also be reasonable.
 
196
        recommended_min_cache_size = inv_size * 1.5
 
197
        if entry_cache.cache_size() < recommended_min_cache_size:
 
198
            recommended_cache_size = inv_size * 2
 
199
            trace.mutter('Resizing the inventory entry cache from %d to %d',
 
200
                         entry_cache.cache_size(), recommended_cache_size)
 
201
            entry_cache.resize(recommended_cache_size)
 
202
 
 
203
    def write_inventory_to_lines(self, inv):
 
204
        """Return a list of lines with the encoded inventory."""
 
205
        return self.write_inventory(inv, None)
 
206
 
 
207
    def write_inventory_to_string(self, inv, working=False):
 
208
        """Just call write_inventory with a StringIO and return the value.
 
209
 
 
210
        :param working: If True skip history data - text_sha1, text_size,
 
211
            reference_revision, symlink_target.
 
212
        """
158
213
        sio = cStringIO.StringIO()
159
 
        self.write_inventory(inv, sio)
 
214
        self.write_inventory(inv, sio, working)
160
215
        return sio.getvalue()
161
216
 
162
 
    def write_inventory(self, inv, f):
 
217
    def write_inventory(self, inv, f, working=False):
163
218
        """Write inventory to a file.
164
 
        
 
219
 
165
220
        :param inv: the inventory to write.
166
 
        :param f: the file to write.
 
221
        :param f: the file to write. (May be None if the lines are the desired
 
222
            output).
 
223
        :param working: If True skip history data - text_sha1, text_size,
 
224
            reference_revision, symlink_target.
 
225
        :return: The inventory as a list of lines.
167
226
        """
168
227
        _ensure_utf8_re()
 
228
        self._check_revisions(inv)
169
229
        output = []
170
230
        append = output.append
171
231
        self._append_inventory_root(append, inv)
173
233
        # Skip the root
174
234
        root_path, root_ie = entries.next()
175
235
        for path, ie in entries:
176
 
            self._append_entry(append, ie)
 
236
            if ie.parent_id != self.root_id:
 
237
                parent_str = ' parent_id="'
 
238
                parent_id  = _encode_and_escape(ie.parent_id)
 
239
            else:
 
240
                parent_str = ''
 
241
                parent_id  = ''
 
242
            if ie.kind == 'file':
 
243
                if ie.executable:
 
244
                    executable = ' executable="yes"'
 
245
                else:
 
246
                    executable = ''
 
247
                if not working:
 
248
                    append('<file%s file_id="%s name="%s%s%s revision="%s '
 
249
                        'text_sha1="%s" text_size="%d" />\n' % (
 
250
                        executable, _encode_and_escape(ie.file_id),
 
251
                        _encode_and_escape(ie.name), parent_str, parent_id,
 
252
                        _encode_and_escape(ie.revision), ie.text_sha1,
 
253
                        ie.text_size))
 
254
                else:
 
255
                    append('<file%s file_id="%s name="%s%s%s />\n' % (
 
256
                        executable, _encode_and_escape(ie.file_id),
 
257
                        _encode_and_escape(ie.name), parent_str, parent_id))
 
258
            elif ie.kind == 'directory':
 
259
                if not working:
 
260
                    append('<directory file_id="%s name="%s%s%s revision="%s '
 
261
                        '/>\n' % (
 
262
                        _encode_and_escape(ie.file_id),
 
263
                        _encode_and_escape(ie.name),
 
264
                        parent_str, parent_id,
 
265
                        _encode_and_escape(ie.revision)))
 
266
                else:
 
267
                    append('<directory file_id="%s name="%s%s%s />\n' % (
 
268
                        _encode_and_escape(ie.file_id),
 
269
                        _encode_and_escape(ie.name),
 
270
                        parent_str, parent_id))
 
271
            elif ie.kind == 'symlink':
 
272
                if not working:
 
273
                    append('<symlink file_id="%s name="%s%s%s revision="%s '
 
274
                        'symlink_target="%s />\n' % (
 
275
                        _encode_and_escape(ie.file_id),
 
276
                        _encode_and_escape(ie.name),
 
277
                        parent_str, parent_id,
 
278
                        _encode_and_escape(ie.revision),
 
279
                        _encode_and_escape(ie.symlink_target)))
 
280
                else:
 
281
                    append('<symlink file_id="%s name="%s%s%s />\n' % (
 
282
                        _encode_and_escape(ie.file_id),
 
283
                        _encode_and_escape(ie.name),
 
284
                        parent_str, parent_id))
 
285
            elif ie.kind == 'tree-reference':
 
286
                if ie.kind not in self.supported_kinds:
 
287
                    raise errors.UnsupportedInventoryKind(ie.kind)
 
288
                if not working:
 
289
                    append('<tree-reference file_id="%s name="%s%s%s '
 
290
                        'revision="%s reference_revision="%s />\n' % (
 
291
                        _encode_and_escape(ie.file_id),
 
292
                        _encode_and_escape(ie.name),
 
293
                        parent_str, parent_id,
 
294
                        _encode_and_escape(ie.revision),
 
295
                        _encode_and_escape(ie.reference_revision)))
 
296
                else:
 
297
                    append('<tree-reference file_id="%s name="%s%s%s />\n' % (
 
298
                        _encode_and_escape(ie.file_id),
 
299
                        _encode_and_escape(ie.name),
 
300
                        parent_str, parent_id))
 
301
            else:
 
302
                raise errors.UnsupportedInventoryKind(ie.kind)
177
303
        append('</inventory>\n')
178
 
        f.writelines(output)
 
304
        if f is not None:
 
305
            f.writelines(output)
179
306
        # Just to keep the cache from growing without bounds
180
307
        # but we may actually not want to do clear the cache
181
308
        #_clear_cache()
 
309
        return output
182
310
 
183
311
    def _append_inventory_root(self, append, inv):
184
312
        """Append the inventory root to output."""
185
 
        append('<inventory')
186
 
        if inv.root.file_id not in (None, ROOT_ID):
187
 
            append(' file_id="')
188
 
            append(_encode_and_escape(inv.root.file_id))
189
 
        append(' format="5"')
190
313
        if inv.revision_id is not None:
191
 
            append(' revision_id="')
192
 
            append(_encode_and_escape(inv.revision_id))
193
 
        append('>\n')
194
 
        
195
 
    def _append_entry(self, append, ie):
196
 
        """Convert InventoryEntry to XML element and append to output."""
197
 
        # TODO: should just be a plain assertion
198
 
        if ie.kind not in self.supported_kinds:
199
 
            raise errors.UnsupportedInventoryKind(ie.kind)
200
 
 
201
 
        append("<")
202
 
        append(ie.kind)
203
 
        if ie.executable:
204
 
            append(' executable="yes"')
205
 
        append(' file_id="')
206
 
        append(_encode_and_escape(ie.file_id))
207
 
        append(' name="')
208
 
        append(_encode_and_escape(ie.name))
209
 
        if self._parent_condition(ie):
210
 
            assert isinstance(ie.parent_id, basestring)
211
 
            append(' parent_id="')
212
 
            append(_encode_and_escape(ie.parent_id))
213
 
        if ie.revision is not None:
214
 
            append(' revision="')
215
 
            append(_encode_and_escape(ie.revision))
216
 
        if ie.symlink_target is not None:
217
 
            append(' symlink_target="')
218
 
            append(_encode_and_escape(ie.symlink_target))
219
 
        if ie.text_sha1 is not None:
220
 
            append(' text_sha1="')
221
 
            append(ie.text_sha1)
222
 
            append('"')
223
 
        if ie.text_size is not None:
224
 
            append(' text_size="%d"' % ie.text_size)
225
 
        if getattr(ie, 'reference_revision', None) is not None:
226
 
            append(' reference_revision="')
227
 
            append(_encode_and_escape(ie.reference_revision))
228
 
        append(" />\n")
229
 
        return
230
 
 
231
 
    def _parent_condition(self, ie):
232
 
        return ie.parent_id != ROOT_ID
 
314
            revid1 = ' revision_id="'
 
315
            revid2 = _encode_and_escape(inv.revision_id)
 
316
        else:
 
317
            revid1 = ""
 
318
            revid2 = ""
 
319
        append('<inventory format="%s"%s%s>\n' % (
 
320
            self.format_num, revid1, revid2))
 
321
        append('<directory file_id="%s name="%s revision="%s />\n' % (
 
322
            _encode_and_escape(inv.root.file_id),
 
323
            _encode_and_escape(inv.root.name),
 
324
            _encode_and_escape(inv.root.revision)))
233
325
 
234
326
    def _pack_revision(self, rev):
235
327
        """Revision object -> xml tree"""
240
332
        revision_id = rev.revision_id
241
333
        if isinstance(revision_id, str):
242
334
            revision_id = decode_utf8(revision_id)
 
335
        format_num = self.format_num
 
336
        if self.revision_format_num is not None:
 
337
            format_num = self.revision_format_num
243
338
        root = Element('revision',
244
339
                       committer = rev.committer,
245
340
                       timestamp = '%.3f' % rev.timestamp,
246
341
                       revision_id = revision_id,
247
342
                       inventory_sha1 = rev.inventory_sha1,
248
 
                       format='5',
 
343
                       format=format_num,
249
344
                       )
250
345
        if rev.timezone is not None:
251
346
            root.set('timezone', str(rev.timezone))
252
347
        root.text = '\n'
253
348
        msg = SubElement(root, 'message')
254
 
        msg.text = rev.message
 
349
        msg.text = escape_invalid_chars(rev.message)[0]
255
350
        msg.tail = '\n'
256
351
        if rev.parent_ids:
257
352
            pelts = SubElement(root, 'parents')
258
353
            pelts.tail = pelts.text = '\n'
259
354
            for parent_id in rev.parent_ids:
260
 
                assert isinstance(parent_id, basestring)
261
355
                _mod_revision.check_not_reserved_id(parent_id)
262
356
                p = SubElement(pelts, 'revision_ref')
263
357
                p.tail = '\n'
271
365
    def _pack_revision_properties(self, rev, under_element):
272
366
        top_elt = SubElement(under_element, 'properties')
273
367
        for prop_name, prop_value in sorted(rev.properties.items()):
274
 
            assert isinstance(prop_name, basestring) 
275
 
            assert isinstance(prop_value, basestring) 
276
368
            prop_elt = SubElement(top_elt, 'property')
277
369
            prop_elt.set('name', prop_name)
278
370
            prop_elt.text = prop_value
279
371
            prop_elt.tail = '\n'
280
372
        top_elt.tail = '\n'
281
373
 
282
 
    def _unpack_inventory(self, elt):
283
 
        """Construct from XML Element
284
 
        """
285
 
        assert elt.tag == 'inventory'
286
 
        root_id = elt.get('file_id') or ROOT_ID
287
 
        root_id = _get_utf8_or_ascii(root_id)
288
 
 
 
374
    def _unpack_inventory(self, elt, revision_id=None, entry_cache=None,
 
375
                          return_from_cache=False):
 
376
        """Construct from XML Element"""
 
377
        if elt.tag != 'inventory':
 
378
            raise errors.UnexpectedInventoryFormat('Root tag is %r' % elt.tag)
289
379
        format = elt.get('format')
290
 
        if format is not None:
291
 
            if format != '5':
292
 
                raise BzrError("invalid format version %r on inventory"
293
 
                                % format)
 
380
        if format != self.format_num:
 
381
            raise errors.UnexpectedInventoryFormat('Invalid format version %r'
 
382
                                                   % format)
294
383
        revision_id = elt.get('revision_id')
295
384
        if revision_id is not None:
296
385
            revision_id = cache_utf8.encode(revision_id)
297
 
        inv = Inventory(root_id, revision_id=revision_id)
 
386
        inv = inventory.Inventory(root_id=None, revision_id=revision_id)
298
387
        for e in elt:
299
 
            ie = self._unpack_entry(e)
300
 
            if ie.parent_id is None:
301
 
                ie.parent_id = root_id
 
388
            ie = self._unpack_entry(e, entry_cache=entry_cache,
 
389
                                    return_from_cache=return_from_cache)
302
390
            inv.add(ie)
 
391
        self._check_cache_size(len(inv), entry_cache)
303
392
        return inv
304
393
 
305
 
    def _unpack_entry(self, elt):
 
394
    def _unpack_entry(self, elt, entry_cache=None, return_from_cache=False):
 
395
        elt_get = elt.get
 
396
        file_id = elt_get('file_id')
 
397
        revision = elt_get('revision')
 
398
        # Check and see if we have already unpacked this exact entry
 
399
        # Some timings for "repo.revision_trees(last_100_revs)"
 
400
        #               bzr     mysql
 
401
        #   unmodified  4.1s    40.8s
 
402
        #   using lru   3.5s
 
403
        #   using fifo  2.83s   29.1s
 
404
        #   lru._cache  2.8s
 
405
        #   dict        2.75s   26.8s
 
406
        #   inv.add     2.5s    26.0s
 
407
        #   no_copy     2.00s   20.5s
 
408
        #   no_c,dict   1.95s   18.0s
 
409
        # Note that a cache of 10k nodes is more than sufficient to hold all of
 
410
        # the inventory for the last 100 revs for bzr, but not for mysql (20k
 
411
        # is enough for mysql, which saves the same 2s as using a dict)
 
412
 
 
413
        # Breakdown of mysql using time.clock()
 
414
        #   4.1s    2 calls to element.get for file_id, revision_id
 
415
        #   4.5s    cache_hit lookup
 
416
        #   7.1s    InventoryFile.copy()
 
417
        #   2.4s    InventoryDirectory.copy()
 
418
        #   0.4s    decoding unique entries
 
419
        #   1.6s    decoding entries after FIFO fills up
 
420
        #   0.8s    Adding nodes to FIFO (including flushes)
 
421
        #   0.1s    cache miss lookups
 
422
        # Using an LRU cache
 
423
        #   4.1s    2 calls to element.get for file_id, revision_id
 
424
        #   9.9s    cache_hit lookup
 
425
        #   10.8s   InventoryEntry.copy()
 
426
        #   0.3s    cache miss lookus
 
427
        #   1.2s    decoding entries
 
428
        #   1.0s    adding nodes to LRU
 
429
        if entry_cache is not None and revision is not None:
 
430
            key = (file_id, revision)
 
431
            try:
 
432
                # We copy it, because some operations may mutate it
 
433
                cached_ie = entry_cache[key]
 
434
            except KeyError:
 
435
                pass
 
436
            else:
 
437
                # Only copying directory entries drops us 2.85s => 2.35s
 
438
                if return_from_cache:
 
439
                    if cached_ie.kind == 'directory':
 
440
                        return cached_ie.copy()
 
441
                    return cached_ie
 
442
                return cached_ie.copy()
 
443
 
306
444
        kind = elt.tag
307
445
        if not InventoryEntry.versionable_kind(kind):
308
446
            raise AssertionError('unsupported entry kind %s' % kind)
309
447
 
310
448
        get_cached = _get_utf8_or_ascii
311
449
 
312
 
        parent_id = elt.get('parent_id')
 
450
        file_id = get_cached(file_id)
 
451
        if revision is not None:
 
452
            revision = get_cached(revision)
 
453
        parent_id = elt_get('parent_id')
313
454
        if parent_id is not None:
314
455
            parent_id = get_cached(parent_id)
315
 
        file_id = get_cached(elt.get('file_id'))
316
456
 
317
457
        if kind == 'directory':
318
458
            ie = inventory.InventoryDirectory(file_id,
319
 
                                              elt.get('name'),
 
459
                                              elt_get('name'),
320
460
                                              parent_id)
321
461
        elif kind == 'file':
322
462
            ie = inventory.InventoryFile(file_id,
323
 
                                         elt.get('name'),
 
463
                                         elt_get('name'),
324
464
                                         parent_id)
325
 
            ie.text_sha1 = elt.get('text_sha1')
326
 
            if elt.get('executable') == 'yes':
 
465
            ie.text_sha1 = elt_get('text_sha1')
 
466
            if elt_get('executable') == 'yes':
327
467
                ie.executable = True
328
 
            v = elt.get('text_size')
 
468
            v = elt_get('text_size')
329
469
            ie.text_size = v and int(v)
330
470
        elif kind == 'symlink':
331
471
            ie = inventory.InventoryLink(file_id,
332
 
                                         elt.get('name'),
 
472
                                         elt_get('name'),
333
473
                                         parent_id)
334
 
            ie.symlink_target = elt.get('symlink_target')
 
474
            ie.symlink_target = elt_get('symlink_target')
335
475
        else:
336
476
            raise errors.UnsupportedInventoryKind(kind)
337
 
        revision = elt.get('revision')
338
 
        if revision is not None:
339
 
            revision = get_cached(revision)
340
477
        ie.revision = revision
 
478
        if revision is not None and entry_cache is not None:
 
479
            # We cache a copy() because callers like to mutate objects, and
 
480
            # that would cause the item in cache to mutate as well.
 
481
            # This has a small effect on many-inventory performance, because
 
482
            # the majority fraction is spent in cache hits, not misses.
 
483
            entry_cache[key] = ie.copy()
341
484
 
342
485
        return ie
343
486
 
344
487
    def _unpack_revision(self, elt):
345
488
        """XML Element -> Revision object"""
346
 
        assert elt.tag == 'revision'
347
489
        format = elt.get('format')
 
490
        format_num = self.format_num
 
491
        if self.revision_format_num is not None:
 
492
            format_num = self.revision_format_num
348
493
        if format is not None:
349
 
            if format != '5':
350
 
                raise BzrError("invalid format version %r on inventory"
 
494
            if format != format_num:
 
495
                raise BzrError("invalid format version %r on revision"
351
496
                                % format)
352
497
        get_cached = _get_utf8_or_ascii
353
498
        rev = Revision(committer = elt.get('committer'),
357
502
                       )
358
503
        parents = elt.find('parents') or []
359
504
        for p in parents:
360
 
            assert p.tag == 'revision_ref', \
361
 
                   "bad parent node tag %r" % p.tag
362
505
            rev.parent_ids.append(get_cached(p.get('revision_id')))
363
506
        self._unpack_revision_properties(elt, rev)
364
507
        v = elt.get('timezone')
372
515
    def _unpack_revision_properties(self, elt, rev):
373
516
        """Unpack properties onto a revision."""
374
517
        props_elt = elt.find('properties')
375
 
        assert len(rev.properties) == 0
376
518
        if not props_elt:
377
519
            return
378
520
        for prop_elt in props_elt:
379
 
            assert prop_elt.tag == 'property', \
380
 
                "bad tag under properties list: %r" % prop_elt.tag
 
521
            if prop_elt.tag != 'property':
 
522
                raise AssertionError(
 
523
                    "bad tag under properties list: %r" % prop_elt.tag)
381
524
            name = prop_elt.get('name')
382
525
            value = prop_elt.text
383
526
            # If a property had an empty value ('') cElementTree reads
385
528
            # properties have string values
386
529
            if value is None:
387
530
                value = ''
388
 
            assert name not in rev.properties, \
389
 
                "repeated property %r" % name
 
531
            if name in rev.properties:
 
532
                raise AssertionError("repeated property %r" % name)
390
533
            rev.properties[name] = value
391
534
 
392
535
 
393
 
serializer_v5 = Serializer_v5()
 
536
serializer_v8 = Serializer_v8()