← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/xml8.py

  • Committer: Martin von Gagern
  • Date: 2010-04-20 08:47:38 UTC
  • mfrom: (5167 +trunk)
  • mto: This revision was merged to the branch mainline in revision 5195.
  • Revision ID: martin.vgagern@gmx.net-20100420084738-ygymnqmdllzrhpfn
merge trunk

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/xml8.py
1
 
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
import cStringIO
18
18
import re
22
22
    errors,
23
23
    inventory,
24
24
    revision as _mod_revision,
25
 
    )
26
 
from bzrlib.xml_serializer import SubElement, Element, Serializer
 
25
    trace,
 
26
    )
 
27
from bzrlib.xml_serializer import (
 
28
    Element,
 
29
    SubElement,
 
30
    XMLSerializer,
 
31
    escape_invalid_chars,
 
32
    )
27
33
from bzrlib.inventory import ROOT_ID, Inventory, InventoryEntry
28
34
from bzrlib.revision import Revision
29
35
from bzrlib.errors import BzrError
91
97
    # to check if None, rather than try/KeyError
92
98
    text = _map.get(unicode_or_utf8_str)
93
99
    if text is None:
94
 
        if unicode_or_utf8_str.__class__ == unicode:
 
100
        if unicode_or_utf8_str.__class__ is unicode:
95
101
            # The alternative policy is to do a regular UTF8 encoding
96
102
            # and then escape only XML meta characters.
97
103
            # Performance is equivalent once you use cache_utf8. *However*
127
133
    # This is fairly optimized because we know what cElementTree does, this is
128
134
    # not meant as a generic function for all cases. Because it is possible for
129
135
    # an 8-bit string to not be ascii or valid utf8.
130
 
    if a_str.__class__ == unicode:
 
136
    if a_str.__class__ is unicode:
131
137
        return _encode_utf8(a_str)
132
138
    else:
133
 
        return _get_cached_ascii(a_str)
 
139
        return intern(a_str)
134
140
 
135
141
 
136
142
def _clear_cache():
138
144
    _to_escaped_map.clear()
139
145
 
140
146
 
141
 
class Serializer_v8(Serializer):
 
147
class Serializer_v8(XMLSerializer):
142
148
    """This serialiser adds rich roots.
143
149
 
144
150
    Its revision format number matches its inventory number.
159
165
        """Extension point for subclasses to check during serialisation.
160
166
 
161
167
        :param inv: An inventory about to be serialised, to be checked.
162
 
        :raises: AssertionError if an error has occured.
 
168
        :raises: AssertionError if an error has occurred.
163
169
        """
164
170
        if inv.revision_id is None:
165
 
            raise AssertionError()
 
171
            raise AssertionError("inv.revision_id is None")
166
172
        if inv.root.revision is None:
167
 
            raise AssertionError()
 
173
            raise AssertionError("inv.root.revision is None")
 
174
 
 
175
    def _check_cache_size(self, inv_size, entry_cache):
 
176
        """Check that the entry_cache is large enough.
 
177
 
 
178
        We want the cache to be ~2x the size of an inventory. The reason is
 
179
        because we use a FIFO cache, and how Inventory records are likely to
 
180
        change. In general, you have a small number of records which change
 
181
        often, and a lot of records which do not change at all. So when the
 
182
        cache gets full, you actually flush out a lot of the records you are
 
183
        interested in, which means you need to recreate all of those records.
 
184
        An LRU Cache would be better, but the overhead negates the cache
 
185
        coherency benefit.
 
186
 
 
187
        One way to look at it, only the size of the cache > len(inv) is your
 
188
        'working' set. And in general, it shouldn't be a problem to hold 2
 
189
        inventories in memory anyway.
 
190
 
 
191
        :param inv_size: The number of entries in an inventory.
 
192
        """
 
193
        if entry_cache is None:
 
194
            return
 
195
        # 1.5 times might also be reasonable.
 
196
        recommended_min_cache_size = inv_size * 1.5
 
197
        if entry_cache.cache_size() < recommended_min_cache_size:
 
198
            recommended_cache_size = inv_size * 2
 
199
            trace.mutter('Resizing the inventory entry cache from %d to %d',
 
200
                         entry_cache.cache_size(), recommended_cache_size)
 
201
            entry_cache.resize(recommended_cache_size)
168
202
 
169
203
    def write_inventory_to_lines(self, inv):
170
204
        """Return a list of lines with the encoded inventory."""
182
216
 
183
217
    def write_inventory(self, inv, f, working=False):
184
218
        """Write inventory to a file.
185
 
        
 
219
 
186
220
        :param inv: the inventory to write.
187
221
        :param f: the file to write. (May be None if the lines are the desired
188
222
            output).
312
346
            root.set('timezone', str(rev.timezone))
313
347
        root.text = '\n'
314
348
        msg = SubElement(root, 'message')
315
 
        msg.text = rev.message
 
349
        msg.text = escape_invalid_chars(rev.message)[0]
316
350
        msg.tail = '\n'
317
351
        if rev.parent_ids:
318
352
            pelts = SubElement(root, 'parents')
337
371
            prop_elt.tail = '\n'
338
372
        top_elt.tail = '\n'
339
373
 
340
 
    def _unpack_inventory(self, elt, revision_id=None):
 
374
    def _unpack_inventory(self, elt, revision_id=None, entry_cache=None,
 
375
                          return_from_cache=False):
341
376
        """Construct from XML Element"""
342
377
        if elt.tag != 'inventory':
343
378
            raise errors.UnexpectedInventoryFormat('Root tag is %r' % elt.tag)
350
385
            revision_id = cache_utf8.encode(revision_id)
351
386
        inv = inventory.Inventory(root_id=None, revision_id=revision_id)
352
387
        for e in elt:
353
 
            ie = self._unpack_entry(e)
 
388
            ie = self._unpack_entry(e, entry_cache=entry_cache,
 
389
                                    return_from_cache=return_from_cache)
354
390
            inv.add(ie)
 
391
        self._check_cache_size(len(inv), entry_cache)
355
392
        return inv
356
393
 
357
 
    def _unpack_entry(self, elt):
 
394
    def _unpack_entry(self, elt, entry_cache=None, return_from_cache=False):
 
395
        elt_get = elt.get
 
396
        file_id = elt_get('file_id')
 
397
        revision = elt_get('revision')
 
398
        # Check and see if we have already unpacked this exact entry
 
399
        # Some timings for "repo.revision_trees(last_100_revs)"
 
400
        #               bzr     mysql
 
401
        #   unmodified  4.1s    40.8s
 
402
        #   using lru   3.5s
 
403
        #   using fifo  2.83s   29.1s
 
404
        #   lru._cache  2.8s
 
405
        #   dict        2.75s   26.8s
 
406
        #   inv.add     2.5s    26.0s
 
407
        #   no_copy     2.00s   20.5s
 
408
        #   no_c,dict   1.95s   18.0s
 
409
        # Note that a cache of 10k nodes is more than sufficient to hold all of
 
410
        # the inventory for the last 100 revs for bzr, but not for mysql (20k
 
411
        # is enough for mysql, which saves the same 2s as using a dict)
 
412
 
 
413
        # Breakdown of mysql using time.clock()
 
414
        #   4.1s    2 calls to element.get for file_id, revision_id
 
415
        #   4.5s    cache_hit lookup
 
416
        #   7.1s    InventoryFile.copy()
 
417
        #   2.4s    InventoryDirectory.copy()
 
418
        #   0.4s    decoding unique entries
 
419
        #   1.6s    decoding entries after FIFO fills up
 
420
        #   0.8s    Adding nodes to FIFO (including flushes)
 
421
        #   0.1s    cache miss lookups
 
422
        # Using an LRU cache
 
423
        #   4.1s    2 calls to element.get for file_id, revision_id
 
424
        #   9.9s    cache_hit lookup
 
425
        #   10.8s   InventoryEntry.copy()
 
426
        #   0.3s    cache miss lookus
 
427
        #   1.2s    decoding entries
 
428
        #   1.0s    adding nodes to LRU
 
429
        if entry_cache is not None and revision is not None:
 
430
            key = (file_id, revision)
 
431
            try:
 
432
                # We copy it, because some operations may mutate it
 
433
                cached_ie = entry_cache[key]
 
434
            except KeyError:
 
435
                pass
 
436
            else:
 
437
                # Only copying directory entries drops us 2.85s => 2.35s
 
438
                if return_from_cache:
 
439
                    if cached_ie.kind == 'directory':
 
440
                        return cached_ie.copy()
 
441
                    return cached_ie
 
442
                return cached_ie.copy()
 
443
 
358
444
        kind = elt.tag
359
445
        if not InventoryEntry.versionable_kind(kind):
360
446
            raise AssertionError('unsupported entry kind %s' % kind)
361
447
 
362
448
        get_cached = _get_utf8_or_ascii
363
449
 
364
 
        parent_id = elt.get('parent_id')
 
450
        file_id = get_cached(file_id)
 
451
        if revision is not None:
 
452
            revision = get_cached(revision)
 
453
        parent_id = elt_get('parent_id')
365
454
        if parent_id is not None:
366
455
            parent_id = get_cached(parent_id)
367
 
        file_id = get_cached(elt.get('file_id'))
368
456
 
369
457
        if kind == 'directory':
370
458
            ie = inventory.InventoryDirectory(file_id,
371
 
                                              elt.get('name'),
 
459
                                              elt_get('name'),
372
460
                                              parent_id)
373
461
        elif kind == 'file':
374
462
            ie = inventory.InventoryFile(file_id,
375
 
                                         elt.get('name'),
 
463
                                         elt_get('name'),
376
464
                                         parent_id)
377
 
            ie.text_sha1 = elt.get('text_sha1')
378
 
            if elt.get('executable') == 'yes':
 
465
            ie.text_sha1 = elt_get('text_sha1')
 
466
            if elt_get('executable') == 'yes':
379
467
                ie.executable = True
380
 
            v = elt.get('text_size')
 
468
            v = elt_get('text_size')
381
469
            ie.text_size = v and int(v)
382
470
        elif kind == 'symlink':
383
471
            ie = inventory.InventoryLink(file_id,
384
 
                                         elt.get('name'),
 
472
                                         elt_get('name'),
385
473
                                         parent_id)
386
 
            ie.symlink_target = elt.get('symlink_target')
 
474
            ie.symlink_target = elt_get('symlink_target')
387
475
        else:
388
476
            raise errors.UnsupportedInventoryKind(kind)
389
 
        revision = elt.get('revision')
390
 
        if revision is not None:
391
 
            revision = get_cached(revision)
392
477
        ie.revision = revision
 
478
        if revision is not None and entry_cache is not None:
 
479
            # We cache a copy() because callers like to mutate objects, and
 
480
            # that would cause the item in cache to mutate as well.
 
481
            # This has a small effect on many-inventory performance, because
 
482
            # the majority fraction is spent in cache hits, not misses.
 
483
            entry_cache[key] = ie.copy()
393
484
 
394
485
        return ie
395
486