← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/xml8.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2008-10-02 17:28:44 UTC
  • mfrom: (3744.2.2 merge_reprocess)
  • Revision ID: pqm@pqm.ubuntu.com-20081002172844-d6df1l8dzpsqzyup
(jam) For 'bzr merge' enable '--reprocess' by default whenever
        '--show-base' is not set.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/xml8.py
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
import cStringIO
18
18
import re
21
21
    cache_utf8,
22
22
    errors,
23
23
    inventory,
24
 
    lazy_regex,
25
24
    revision as _mod_revision,
26
 
    trace,
27
 
    )
28
 
from bzrlib.xml_serializer import (
29
 
    Element,
30
 
    SubElement,
31
 
    XMLSerializer,
32
 
    escape_invalid_chars,
33
 
    )
34
 
from bzrlib.inventory import InventoryEntry
 
25
    )
 
26
from bzrlib.xml_serializer import SubElement, Element, Serializer
 
27
from bzrlib.inventory import ROOT_ID, Inventory, InventoryEntry
35
28
from bzrlib.revision import Revision
36
29
from bzrlib.errors import BzrError
37
30
 
46
39
    ">":">",
47
40
    }
48
41
 
49
 
_xml_unescape_map = {
50
 
    'apos':"'",
51
 
    'quot':'"',
52
 
    'amp':'&',
53
 
    'lt':'<',
54
 
    'gt':'>'
55
 
}
56
 
 
57
 
 
58
 
def _unescaper(match, _map=_xml_unescape_map):
59
 
    code = match.group(1)
60
 
    try:
61
 
        return _map[code]
62
 
    except KeyError:
63
 
        if not code.startswith('#'):
64
 
            raise
65
 
        return unichr(int(code[1:])).encode('utf8')
66
 
 
67
 
 
68
 
_unescape_re = None
69
 
 
70
 
 
71
 
def _unescape_xml(data):
72
 
    """Unescape predefined XML entities in a string of data."""
73
 
    global _unescape_re
74
 
    if _unescape_re is None:
75
 
        _unescape_re = re.compile('\&([^;]*);')
76
 
    return _unescape_re.sub(_unescaper, data)
77
 
 
78
42
 
79
43
def _ensure_utf8_re():
80
44
    """Make sure the _utf8_re and _unicode_re regexes have been compiled."""
127
91
    # to check if None, rather than try/KeyError
128
92
    text = _map.get(unicode_or_utf8_str)
129
93
    if text is None:
130
 
        if unicode_or_utf8_str.__class__ is unicode:
 
94
        if unicode_or_utf8_str.__class__ == unicode:
131
95
            # The alternative policy is to do a regular UTF8 encoding
132
96
            # and then escape only XML meta characters.
133
97
            # Performance is equivalent once you use cache_utf8. *However*
163
127
    # This is fairly optimized because we know what cElementTree does, this is
164
128
    # not meant as a generic function for all cases. Because it is possible for
165
129
    # an 8-bit string to not be ascii or valid utf8.
166
 
    if a_str.__class__ is unicode:
 
130
    if a_str.__class__ == unicode:
167
131
        return _encode_utf8(a_str)
168
132
    else:
169
 
        return intern(a_str)
 
133
        return _get_cached_ascii(a_str)
170
134
 
171
135
 
172
136
def _clear_cache():
174
138
    _to_escaped_map.clear()
175
139
 
176
140
 
177
 
class Serializer_v8(XMLSerializer):
 
141
class Serializer_v8(Serializer):
178
142
    """This serialiser adds rich roots.
179
143
 
180
144
    Its revision format number matches its inventory number.
191
155
    format_num = '8'
192
156
    revision_format_num = None
193
157
 
194
 
    # The search regex used by xml based repositories to determine what things
195
 
    # where changed in a single commit.
196
 
    _file_ids_altered_regex = lazy_regex.lazy_compile(
197
 
        r'file_id="(?P<file_id>[^"]+)"'
198
 
        r'.* revision="(?P<revision_id>[^"]+)"'
199
 
        )
200
 
 
201
158
    def _check_revisions(self, inv):
202
159
        """Extension point for subclasses to check during serialisation.
203
160
 
204
161
        :param inv: An inventory about to be serialised, to be checked.
205
 
        :raises: AssertionError if an error has occurred.
 
162
        :raises: AssertionError if an error has occured.
206
163
        """
207
164
        if inv.revision_id is None:
208
 
            raise AssertionError("inv.revision_id is None")
 
165
            raise AssertionError()
209
166
        if inv.root.revision is None:
210
 
            raise AssertionError("inv.root.revision is None")
211
 
 
212
 
    def _check_cache_size(self, inv_size, entry_cache):
213
 
        """Check that the entry_cache is large enough.
214
 
 
215
 
        We want the cache to be ~2x the size of an inventory. The reason is
216
 
        because we use a FIFO cache, and how Inventory records are likely to
217
 
        change. In general, you have a small number of records which change
218
 
        often, and a lot of records which do not change at all. So when the
219
 
        cache gets full, you actually flush out a lot of the records you are
220
 
        interested in, which means you need to recreate all of those records.
221
 
        An LRU Cache would be better, but the overhead negates the cache
222
 
        coherency benefit.
223
 
 
224
 
        One way to look at it, only the size of the cache > len(inv) is your
225
 
        'working' set. And in general, it shouldn't be a problem to hold 2
226
 
        inventories in memory anyway.
227
 
 
228
 
        :param inv_size: The number of entries in an inventory.
229
 
        """
230
 
        if entry_cache is None:
231
 
            return
232
 
        # 1.5 times might also be reasonable.
233
 
        recommended_min_cache_size = inv_size * 1.5
234
 
        if entry_cache.cache_size() < recommended_min_cache_size:
235
 
            recommended_cache_size = inv_size * 2
236
 
            trace.mutter('Resizing the inventory entry cache from %d to %d',
237
 
                         entry_cache.cache_size(), recommended_cache_size)
238
 
            entry_cache.resize(recommended_cache_size)
 
167
            raise AssertionError()
239
168
 
240
169
    def write_inventory_to_lines(self, inv):
241
170
        """Return a list of lines with the encoded inventory."""
253
182
 
254
183
    def write_inventory(self, inv, f, working=False):
255
184
        """Write inventory to a file.
256
 
 
 
185
        
257
186
        :param inv: the inventory to write.
258
187
        :param f: the file to write. (May be None if the lines are the desired
259
188
            output).
383
312
            root.set('timezone', str(rev.timezone))
384
313
        root.text = '\n'
385
314
        msg = SubElement(root, 'message')
386
 
        msg.text = escape_invalid_chars(rev.message)[0]
 
315
        msg.text = rev.message
387
316
        msg.tail = '\n'
388
317
        if rev.parent_ids:
389
318
            pelts = SubElement(root, 'parents')
408
337
            prop_elt.tail = '\n'
409
338
        top_elt.tail = '\n'
410
339
 
411
 
    def _unpack_inventory(self, elt, revision_id=None, entry_cache=None,
412
 
                          return_from_cache=False):
 
340
    def _unpack_inventory(self, elt, revision_id=None):
413
341
        """Construct from XML Element"""
414
342
        if elt.tag != 'inventory':
415
343
            raise errors.UnexpectedInventoryFormat('Root tag is %r' % elt.tag)
422
350
            revision_id = cache_utf8.encode(revision_id)
423
351
        inv = inventory.Inventory(root_id=None, revision_id=revision_id)
424
352
        for e in elt:
425
 
            ie = self._unpack_entry(e, entry_cache=entry_cache,
426
 
                                    return_from_cache=return_from_cache)
 
353
            ie = self._unpack_entry(e)
427
354
            inv.add(ie)
428
 
        self._check_cache_size(len(inv), entry_cache)
429
355
        return inv
430
356
 
431
 
    def _unpack_entry(self, elt, entry_cache=None, return_from_cache=False):
432
 
        elt_get = elt.get
433
 
        file_id = elt_get('file_id')
434
 
        revision = elt_get('revision')
435
 
        # Check and see if we have already unpacked this exact entry
436
 
        # Some timings for "repo.revision_trees(last_100_revs)"
437
 
        #               bzr     mysql
438
 
        #   unmodified  4.1s    40.8s
439
 
        #   using lru   3.5s
440
 
        #   using fifo  2.83s   29.1s
441
 
        #   lru._cache  2.8s
442
 
        #   dict        2.75s   26.8s
443
 
        #   inv.add     2.5s    26.0s
444
 
        #   no_copy     2.00s   20.5s
445
 
        #   no_c,dict   1.95s   18.0s
446
 
        # Note that a cache of 10k nodes is more than sufficient to hold all of
447
 
        # the inventory for the last 100 revs for bzr, but not for mysql (20k
448
 
        # is enough for mysql, which saves the same 2s as using a dict)
449
 
 
450
 
        # Breakdown of mysql using time.clock()
451
 
        #   4.1s    2 calls to element.get for file_id, revision_id
452
 
        #   4.5s    cache_hit lookup
453
 
        #   7.1s    InventoryFile.copy()
454
 
        #   2.4s    InventoryDirectory.copy()
455
 
        #   0.4s    decoding unique entries
456
 
        #   1.6s    decoding entries after FIFO fills up
457
 
        #   0.8s    Adding nodes to FIFO (including flushes)
458
 
        #   0.1s    cache miss lookups
459
 
        # Using an LRU cache
460
 
        #   4.1s    2 calls to element.get for file_id, revision_id
461
 
        #   9.9s    cache_hit lookup
462
 
        #   10.8s   InventoryEntry.copy()
463
 
        #   0.3s    cache miss lookus
464
 
        #   1.2s    decoding entries
465
 
        #   1.0s    adding nodes to LRU
466
 
        if entry_cache is not None and revision is not None:
467
 
            key = (file_id, revision)
468
 
            try:
469
 
                # We copy it, because some operations may mutate it
470
 
                cached_ie = entry_cache[key]
471
 
            except KeyError:
472
 
                pass
473
 
            else:
474
 
                # Only copying directory entries drops us 2.85s => 2.35s
475
 
                if return_from_cache:
476
 
                    if cached_ie.kind == 'directory':
477
 
                        return cached_ie.copy()
478
 
                    return cached_ie
479
 
                return cached_ie.copy()
480
 
 
 
357
    def _unpack_entry(self, elt):
481
358
        kind = elt.tag
482
359
        if not InventoryEntry.versionable_kind(kind):
483
360
            raise AssertionError('unsupported entry kind %s' % kind)
484
361
 
485
362
        get_cached = _get_utf8_or_ascii
486
363
 
487
 
        file_id = get_cached(file_id)
488
 
        if revision is not None:
489
 
            revision = get_cached(revision)
490
 
        parent_id = elt_get('parent_id')
 
364
        parent_id = elt.get('parent_id')
491
365
        if parent_id is not None:
492
366
            parent_id = get_cached(parent_id)
 
367
        file_id = get_cached(elt.get('file_id'))
493
368
 
494
369
        if kind == 'directory':
495
370
            ie = inventory.InventoryDirectory(file_id,
496
 
                                              elt_get('name'),
 
371
                                              elt.get('name'),
497
372
                                              parent_id)
498
373
        elif kind == 'file':
499
374
            ie = inventory.InventoryFile(file_id,
500
 
                                         elt_get('name'),
 
375
                                         elt.get('name'),
501
376
                                         parent_id)
502
 
            ie.text_sha1 = elt_get('text_sha1')
503
 
            if elt_get('executable') == 'yes':
 
377
            ie.text_sha1 = elt.get('text_sha1')
 
378
            if elt.get('executable') == 'yes':
504
379
                ie.executable = True
505
 
            v = elt_get('text_size')
 
380
            v = elt.get('text_size')
506
381
            ie.text_size = v and int(v)
507
382
        elif kind == 'symlink':
508
383
            ie = inventory.InventoryLink(file_id,
509
 
                                         elt_get('name'),
 
384
                                         elt.get('name'),
510
385
                                         parent_id)
511
 
            ie.symlink_target = elt_get('symlink_target')
 
386
            ie.symlink_target = elt.get('symlink_target')
512
387
        else:
513
388
            raise errors.UnsupportedInventoryKind(kind)
 
389
        revision = elt.get('revision')
 
390
        if revision is not None:
 
391
            revision = get_cached(revision)
514
392
        ie.revision = revision
515
 
        if revision is not None and entry_cache is not None:
516
 
            # We cache a copy() because callers like to mutate objects, and
517
 
            # that would cause the item in cache to mutate as well.
518
 
            # This has a small effect on many-inventory performance, because
519
 
            # the majority fraction is spent in cache hits, not misses.
520
 
            entry_cache[key] = ie.copy()
521
393
 
522
394
        return ie
523
395
 
569
441
                raise AssertionError("repeated property %r" % name)
570
442
            rev.properties[name] = value
571
443
 
572
 
    def _find_text_key_references(self, line_iterator):
573
 
        """Core routine for extracting references to texts from inventories.
574
 
 
575
 
        This performs the translation of xml lines to revision ids.
576
 
 
577
 
        :param line_iterator: An iterator of lines, origin_version_id
578
 
        :return: A dictionary mapping text keys ((fileid, revision_id) tuples)
579
 
            to whether they were referred to by the inventory of the
580
 
            revision_id that they contain. Note that if that revision_id was
581
 
            not part of the line_iterator's output then False will be given -
582
 
            even though it may actually refer to that key.
583
 
        """
584
 
        if not self.support_altered_by_hack:
585
 
            raise AssertionError(
586
 
                "_find_text_key_references only "
587
 
                "supported for branches which store inventory as unnested xml"
588
 
                ", not on %r" % self)
589
 
        result = {}
590
 
 
591
 
        # this code needs to read every new line in every inventory for the
592
 
        # inventories [revision_ids]. Seeing a line twice is ok. Seeing a line
593
 
        # not present in one of those inventories is unnecessary but not
594
 
        # harmful because we are filtering by the revision id marker in the
595
 
        # inventory lines : we only select file ids altered in one of those
596
 
        # revisions. We don't need to see all lines in the inventory because
597
 
        # only those added in an inventory in rev X can contain a revision=X
598
 
        # line.
599
 
        unescape_revid_cache = {}
600
 
        unescape_fileid_cache = {}
601
 
 
602
 
        # jam 20061218 In a big fetch, this handles hundreds of thousands
603
 
        # of lines, so it has had a lot of inlining and optimizing done.
604
 
        # Sorry that it is a little bit messy.
605
 
        # Move several functions to be local variables, since this is a long
606
 
        # running loop.
607
 
        search = self._file_ids_altered_regex.search
608
 
        unescape = _unescape_xml
609
 
        setdefault = result.setdefault
610
 
        for line, line_key in line_iterator:
611
 
            match = search(line)
612
 
            if match is None:
613
 
                continue
614
 
            # One call to match.group() returning multiple items is quite a
615
 
            # bit faster than 2 calls to match.group() each returning 1
616
 
            file_id, revision_id = match.group('file_id', 'revision_id')
617
 
 
618
 
            # Inlining the cache lookups helps a lot when you make 170,000
619
 
            # lines and 350k ids, versus 8.4 unique ids.
620
 
            # Using a cache helps in 2 ways:
621
 
            #   1) Avoids unnecessary decoding calls
622
 
            #   2) Re-uses cached strings, which helps in future set and
623
 
            #      equality checks.
624
 
            # (2) is enough that removing encoding entirely along with
625
 
            # the cache (so we are using plain strings) results in no
626
 
            # performance improvement.
627
 
            try:
628
 
                revision_id = unescape_revid_cache[revision_id]
629
 
            except KeyError:
630
 
                unescaped = unescape(revision_id)
631
 
                unescape_revid_cache[revision_id] = unescaped
632
 
                revision_id = unescaped
633
 
 
634
 
            # Note that unconditionally unescaping means that we deserialise
635
 
            # every fileid, which for general 'pull' is not great, but we don't
636
 
            # really want to have some many fulltexts that this matters anyway.
637
 
            # RBC 20071114.
638
 
            try:
639
 
                file_id = unescape_fileid_cache[file_id]
640
 
            except KeyError:
641
 
                unescaped = unescape(file_id)
642
 
                unescape_fileid_cache[file_id] = unescaped
643
 
                file_id = unescaped
644
 
 
645
 
            key = (file_id, revision_id)
646
 
            setdefault(key, False)
647
 
            if revision_id == line_key[-1]:
648
 
                result[key] = True
649
 
        return result
650
 
 
651
444
 
652
445
serializer_v8 = Serializer_v8()