← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/xml8.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2011-08-17 18:13:57 UTC
  • mfrom: (5268.7.29 transport-segments)
  • Revision ID: pqm@pqm.ubuntu.com-20110817181357-y5q5eth1hk8bl3om
(jelmer) Allow specifying the colocated branch to use in the branch URL,
 and retrieving the branch name using ControlDir._get_selected_branch.
 (Jelmer Vernooij)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/xml8.py
1
 
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
import cStringIO
18
18
import re
21
21
    cache_utf8,
22
22
    errors,
23
23
    inventory,
 
24
    lazy_regex,
24
25
    revision as _mod_revision,
25
 
    )
26
 
from bzrlib.xml_serializer import SubElement, Element, Serializer
27
 
from bzrlib.inventory import ROOT_ID, Inventory, InventoryEntry
 
26
    trace,
 
27
    )
 
28
from bzrlib.xml_serializer import (
 
29
    Element,
 
30
    SubElement,
 
31
    XMLSerializer,
 
32
    escape_invalid_chars,
 
33
    )
 
34
from bzrlib.inventory import InventoryEntry
28
35
from bzrlib.revision import Revision
29
36
from bzrlib.errors import BzrError
30
37
 
39
46
    ">":">",
40
47
    }
41
48
 
 
49
_xml_unescape_map = {
 
50
    'apos':"'",
 
51
    'quot':'"',
 
52
    'amp':'&',
 
53
    'lt':'<',
 
54
    'gt':'>'
 
55
}
 
56
 
 
57
 
 
58
def _unescaper(match, _map=_xml_unescape_map):
 
59
    code = match.group(1)
 
60
    try:
 
61
        return _map[code]
 
62
    except KeyError:
 
63
        if not code.startswith('#'):
 
64
            raise
 
65
        return unichr(int(code[1:])).encode('utf8')
 
66
 
 
67
 
 
68
_unescape_re = None
 
69
 
 
70
 
 
71
def _unescape_xml(data):
 
72
    """Unescape predefined XML entities in a string of data."""
 
73
    global _unescape_re
 
74
    if _unescape_re is None:
 
75
        _unescape_re = re.compile('\&([^;]*);')
 
76
    return _unescape_re.sub(_unescaper, data)
 
77
 
42
78
 
43
79
def _ensure_utf8_re():
44
80
    """Make sure the _utf8_re and _unicode_re regexes have been compiled."""
91
127
    # to check if None, rather than try/KeyError
92
128
    text = _map.get(unicode_or_utf8_str)
93
129
    if text is None:
94
 
        if unicode_or_utf8_str.__class__ == unicode:
 
130
        if unicode_or_utf8_str.__class__ is unicode:
95
131
            # The alternative policy is to do a regular UTF8 encoding
96
132
            # and then escape only XML meta characters.
97
133
            # Performance is equivalent once you use cache_utf8. *However*
127
163
    # This is fairly optimized because we know what cElementTree does, this is
128
164
    # not meant as a generic function for all cases. Because it is possible for
129
165
    # an 8-bit string to not be ascii or valid utf8.
130
 
    if a_str.__class__ == unicode:
 
166
    if a_str.__class__ is unicode:
131
167
        return _encode_utf8(a_str)
132
168
    else:
133
 
        return _get_cached_ascii(a_str)
 
169
        return intern(a_str)
134
170
 
135
171
 
136
172
def _clear_cache():
138
174
    _to_escaped_map.clear()
139
175
 
140
176
 
141
 
class Serializer_v8(Serializer):
 
177
class Serializer_v8(XMLSerializer):
142
178
    """This serialiser adds rich roots.
143
179
 
144
180
    Its revision format number matches its inventory number.
155
191
    format_num = '8'
156
192
    revision_format_num = None
157
193
 
 
194
    # The search regex used by xml based repositories to determine what things
 
195
    # where changed in a single commit.
 
196
    _file_ids_altered_regex = lazy_regex.lazy_compile(
 
197
        r'file_id="(?P<file_id>[^"]+)"'
 
198
        r'.* revision="(?P<revision_id>[^"]+)"'
 
199
        )
 
200
 
158
201
    def _check_revisions(self, inv):
159
202
        """Extension point for subclasses to check during serialisation.
160
203
 
161
204
        :param inv: An inventory about to be serialised, to be checked.
162
 
        :raises: AssertionError if an error has occured.
 
205
        :raises: AssertionError if an error has occurred.
163
206
        """
164
207
        if inv.revision_id is None:
165
 
            raise AssertionError()
 
208
            raise AssertionError("inv.revision_id is None")
166
209
        if inv.root.revision is None:
167
 
            raise AssertionError()
 
210
            raise AssertionError("inv.root.revision is None")
 
211
 
 
212
    def _check_cache_size(self, inv_size, entry_cache):
 
213
        """Check that the entry_cache is large enough.
 
214
 
 
215
        We want the cache to be ~2x the size of an inventory. The reason is
 
216
        because we use a FIFO cache, and how Inventory records are likely to
 
217
        change. In general, you have a small number of records which change
 
218
        often, and a lot of records which do not change at all. So when the
 
219
        cache gets full, you actually flush out a lot of the records you are
 
220
        interested in, which means you need to recreate all of those records.
 
221
        An LRU Cache would be better, but the overhead negates the cache
 
222
        coherency benefit.
 
223
 
 
224
        One way to look at it, only the size of the cache > len(inv) is your
 
225
        'working' set. And in general, it shouldn't be a problem to hold 2
 
226
        inventories in memory anyway.
 
227
 
 
228
        :param inv_size: The number of entries in an inventory.
 
229
        """
 
230
        if entry_cache is None:
 
231
            return
 
232
        # 1.5 times might also be reasonable.
 
233
        recommended_min_cache_size = inv_size * 1.5
 
234
        if entry_cache.cache_size() < recommended_min_cache_size:
 
235
            recommended_cache_size = inv_size * 2
 
236
            trace.mutter('Resizing the inventory entry cache from %d to %d',
 
237
                         entry_cache.cache_size(), recommended_cache_size)
 
238
            entry_cache.resize(recommended_cache_size)
168
239
 
169
240
    def write_inventory_to_lines(self, inv):
170
241
        """Return a list of lines with the encoded inventory."""
182
253
 
183
254
    def write_inventory(self, inv, f, working=False):
184
255
        """Write inventory to a file.
185
 
        
 
256
 
186
257
        :param inv: the inventory to write.
187
258
        :param f: the file to write. (May be None if the lines are the desired
188
259
            output).
312
383
            root.set('timezone', str(rev.timezone))
313
384
        root.text = '\n'
314
385
        msg = SubElement(root, 'message')
315
 
        msg.text = rev.message
 
386
        msg.text = escape_invalid_chars(rev.message)[0]
316
387
        msg.tail = '\n'
317
388
        if rev.parent_ids:
318
389
            pelts = SubElement(root, 'parents')
337
408
            prop_elt.tail = '\n'
338
409
        top_elt.tail = '\n'
339
410
 
340
 
    def _unpack_inventory(self, elt, revision_id=None):
 
411
    def _unpack_inventory(self, elt, revision_id=None, entry_cache=None,
 
412
                          return_from_cache=False):
341
413
        """Construct from XML Element"""
342
414
        if elt.tag != 'inventory':
343
415
            raise errors.UnexpectedInventoryFormat('Root tag is %r' % elt.tag)
350
422
            revision_id = cache_utf8.encode(revision_id)
351
423
        inv = inventory.Inventory(root_id=None, revision_id=revision_id)
352
424
        for e in elt:
353
 
            ie = self._unpack_entry(e)
 
425
            ie = self._unpack_entry(e, entry_cache=entry_cache,
 
426
                                    return_from_cache=return_from_cache)
354
427
            inv.add(ie)
 
428
        self._check_cache_size(len(inv), entry_cache)
355
429
        return inv
356
430
 
357
 
    def _unpack_entry(self, elt):
 
431
    def _unpack_entry(self, elt, entry_cache=None, return_from_cache=False):
 
432
        elt_get = elt.get
 
433
        file_id = elt_get('file_id')
 
434
        revision = elt_get('revision')
 
435
        # Check and see if we have already unpacked this exact entry
 
436
        # Some timings for "repo.revision_trees(last_100_revs)"
 
437
        #               bzr     mysql
 
438
        #   unmodified  4.1s    40.8s
 
439
        #   using lru   3.5s
 
440
        #   using fifo  2.83s   29.1s
 
441
        #   lru._cache  2.8s
 
442
        #   dict        2.75s   26.8s
 
443
        #   inv.add     2.5s    26.0s
 
444
        #   no_copy     2.00s   20.5s
 
445
        #   no_c,dict   1.95s   18.0s
 
446
        # Note that a cache of 10k nodes is more than sufficient to hold all of
 
447
        # the inventory for the last 100 revs for bzr, but not for mysql (20k
 
448
        # is enough for mysql, which saves the same 2s as using a dict)
 
449
 
 
450
        # Breakdown of mysql using time.clock()
 
451
        #   4.1s    2 calls to element.get for file_id, revision_id
 
452
        #   4.5s    cache_hit lookup
 
453
        #   7.1s    InventoryFile.copy()
 
454
        #   2.4s    InventoryDirectory.copy()
 
455
        #   0.4s    decoding unique entries
 
456
        #   1.6s    decoding entries after FIFO fills up
 
457
        #   0.8s    Adding nodes to FIFO (including flushes)
 
458
        #   0.1s    cache miss lookups
 
459
        # Using an LRU cache
 
460
        #   4.1s    2 calls to element.get for file_id, revision_id
 
461
        #   9.9s    cache_hit lookup
 
462
        #   10.8s   InventoryEntry.copy()
 
463
        #   0.3s    cache miss lookus
 
464
        #   1.2s    decoding entries
 
465
        #   1.0s    adding nodes to LRU
 
466
        if entry_cache is not None and revision is not None:
 
467
            key = (file_id, revision)
 
468
            try:
 
469
                # We copy it, because some operations may mutate it
 
470
                cached_ie = entry_cache[key]
 
471
            except KeyError:
 
472
                pass
 
473
            else:
 
474
                # Only copying directory entries drops us 2.85s => 2.35s
 
475
                if return_from_cache:
 
476
                    if cached_ie.kind == 'directory':
 
477
                        return cached_ie.copy()
 
478
                    return cached_ie
 
479
                return cached_ie.copy()
 
480
 
358
481
        kind = elt.tag
359
482
        if not InventoryEntry.versionable_kind(kind):
360
483
            raise AssertionError('unsupported entry kind %s' % kind)
361
484
 
362
485
        get_cached = _get_utf8_or_ascii
363
486
 
364
 
        parent_id = elt.get('parent_id')
 
487
        file_id = get_cached(file_id)
 
488
        if revision is not None:
 
489
            revision = get_cached(revision)
 
490
        parent_id = elt_get('parent_id')
365
491
        if parent_id is not None:
366
492
            parent_id = get_cached(parent_id)
367
 
        file_id = get_cached(elt.get('file_id'))
368
493
 
369
494
        if kind == 'directory':
370
495
            ie = inventory.InventoryDirectory(file_id,
371
 
                                              elt.get('name'),
 
496
                                              elt_get('name'),
372
497
                                              parent_id)
373
498
        elif kind == 'file':
374
499
            ie = inventory.InventoryFile(file_id,
375
 
                                         elt.get('name'),
 
500
                                         elt_get('name'),
376
501
                                         parent_id)
377
 
            ie.text_sha1 = elt.get('text_sha1')
378
 
            if elt.get('executable') == 'yes':
 
502
            ie.text_sha1 = elt_get('text_sha1')
 
503
            if elt_get('executable') == 'yes':
379
504
                ie.executable = True
380
 
            v = elt.get('text_size')
 
505
            v = elt_get('text_size')
381
506
            ie.text_size = v and int(v)
382
507
        elif kind == 'symlink':
383
508
            ie = inventory.InventoryLink(file_id,
384
 
                                         elt.get('name'),
 
509
                                         elt_get('name'),
385
510
                                         parent_id)
386
 
            ie.symlink_target = elt.get('symlink_target')
 
511
            ie.symlink_target = elt_get('symlink_target')
387
512
        else:
388
513
            raise errors.UnsupportedInventoryKind(kind)
389
 
        revision = elt.get('revision')
390
 
        if revision is not None:
391
 
            revision = get_cached(revision)
392
514
        ie.revision = revision
 
515
        if revision is not None and entry_cache is not None:
 
516
            # We cache a copy() because callers like to mutate objects, and
 
517
            # that would cause the item in cache to mutate as well.
 
518
            # This has a small effect on many-inventory performance, because
 
519
            # the majority fraction is spent in cache hits, not misses.
 
520
            entry_cache[key] = ie.copy()
393
521
 
394
522
        return ie
395
523
 
441
569
                raise AssertionError("repeated property %r" % name)
442
570
            rev.properties[name] = value
443
571
 
 
572
    def _find_text_key_references(self, line_iterator):
 
573
        """Core routine for extracting references to texts from inventories.
 
574
 
 
575
        This performs the translation of xml lines to revision ids.
 
576
 
 
577
        :param line_iterator: An iterator of lines, origin_version_id
 
578
        :return: A dictionary mapping text keys ((fileid, revision_id) tuples)
 
579
            to whether they were referred to by the inventory of the
 
580
            revision_id that they contain. Note that if that revision_id was
 
581
            not part of the line_iterator's output then False will be given -
 
582
            even though it may actually refer to that key.
 
583
        """
 
584
        if not self.support_altered_by_hack:
 
585
            raise AssertionError(
 
586
                "_find_text_key_references only "
 
587
                "supported for branches which store inventory as unnested xml"
 
588
                ", not on %r" % self)
 
589
        result = {}
 
590
 
 
591
        # this code needs to read every new line in every inventory for the
 
592
        # inventories [revision_ids]. Seeing a line twice is ok. Seeing a line
 
593
        # not present in one of those inventories is unnecessary but not
 
594
        # harmful because we are filtering by the revision id marker in the
 
595
        # inventory lines : we only select file ids altered in one of those
 
596
        # revisions. We don't need to see all lines in the inventory because
 
597
        # only those added in an inventory in rev X can contain a revision=X
 
598
        # line.
 
599
        unescape_revid_cache = {}
 
600
        unescape_fileid_cache = {}
 
601
 
 
602
        # jam 20061218 In a big fetch, this handles hundreds of thousands
 
603
        # of lines, so it has had a lot of inlining and optimizing done.
 
604
        # Sorry that it is a little bit messy.
 
605
        # Move several functions to be local variables, since this is a long
 
606
        # running loop.
 
607
        search = self._file_ids_altered_regex.search
 
608
        unescape = _unescape_xml
 
609
        setdefault = result.setdefault
 
610
        for line, line_key in line_iterator:
 
611
            match = search(line)
 
612
            if match is None:
 
613
                continue
 
614
            # One call to match.group() returning multiple items is quite a
 
615
            # bit faster than 2 calls to match.group() each returning 1
 
616
            file_id, revision_id = match.group('file_id', 'revision_id')
 
617
 
 
618
            # Inlining the cache lookups helps a lot when you make 170,000
 
619
            # lines and 350k ids, versus 8.4 unique ids.
 
620
            # Using a cache helps in 2 ways:
 
621
            #   1) Avoids unnecessary decoding calls
 
622
            #   2) Re-uses cached strings, which helps in future set and
 
623
            #      equality checks.
 
624
            # (2) is enough that removing encoding entirely along with
 
625
            # the cache (so we are using plain strings) results in no
 
626
            # performance improvement.
 
627
            try:
 
628
                revision_id = unescape_revid_cache[revision_id]
 
629
            except KeyError:
 
630
                unescaped = unescape(revision_id)
 
631
                unescape_revid_cache[revision_id] = unescaped
 
632
                revision_id = unescaped
 
633
 
 
634
            # Note that unconditionally unescaping means that we deserialise
 
635
            # every fileid, which for general 'pull' is not great, but we don't
 
636
            # really want to have some many fulltexts that this matters anyway.
 
637
            # RBC 20071114.
 
638
            try:
 
639
                file_id = unescape_fileid_cache[file_id]
 
640
            except KeyError:
 
641
                unescaped = unescape(file_id)
 
642
                unescape_fileid_cache[file_id] = unescaped
 
643
                file_id = unescaped
 
644
 
 
645
            key = (file_id, revision_id)
 
646
            setdefault(key, False)
 
647
            if revision_id == line_key[-1]:
 
648
                result[key] = True
 
649
        return result
 
650
 
444
651
 
445
652
serializer_v8 = Serializer_v8()