← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/xml8.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2010-03-25 00:02:51 UTC
  • mfrom: (5106.1.1 version-bump)
  • Revision ID: pqm@pqm.ubuntu.com-20100325000251-bwsv5c5d3l9x3lnn
(Jelmer) Bump API version for 2.2.0.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/xml8.py
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
from __future__ import absolute_import
18
 
 
19
17
import cStringIO
 
18
import re
20
19
 
21
20
from bzrlib import (
22
21
    cache_utf8,
23
 
    lazy_regex,
 
22
    errors,
 
23
    inventory,
24
24
    revision as _mod_revision,
25
25
    trace,
26
26
    )
28
28
    Element,
29
29
    SubElement,
30
30
    XMLSerializer,
31
 
    encode_and_escape,
32
31
    escape_invalid_chars,
33
 
    get_utf8_or_ascii,
34
 
    serialize_inventory_flat,
35
 
    unpack_inventory_entry,
36
 
    unpack_inventory_flat,
37
32
    )
 
33
from bzrlib.inventory import ROOT_ID, Inventory, InventoryEntry
38
34
from bzrlib.revision import Revision
39
35
from bzrlib.errors import BzrError
40
36
 
41
37
 
42
 
_xml_unescape_map = {
43
 
    'apos':"'",
44
 
    'quot':'"',
45
 
    'amp':'&',
46
 
    'lt':'<',
47
 
    'gt':'>'
48
 
}
49
 
 
50
 
 
51
 
def _unescaper(match, _map=_xml_unescape_map):
52
 
    code = match.group(1)
53
 
    try:
54
 
        return _map[code]
55
 
    except KeyError:
56
 
        if not code.startswith('#'):
57
 
            raise
58
 
        return unichr(int(code[1:])).encode('utf8')
59
 
 
60
 
 
61
 
_unescape_re = lazy_regex.lazy_compile('\&([^;]*);')
62
 
 
63
 
def _unescape_xml(data):
64
 
    """Unescape predefined XML entities in a string of data."""
65
 
    return _unescape_re.sub(_unescaper, data)
 
38
_utf8_re = None
 
39
_unicode_re = None
 
40
_xml_escape_map = {
 
41
    "&":'&amp;',
 
42
    "'":"&apos;", # FIXME: overkill
 
43
    "\"":"&quot;",
 
44
    "<":"&lt;",
 
45
    ">":"&gt;",
 
46
    }
 
47
 
 
48
 
 
49
def _ensure_utf8_re():
 
50
    """Make sure the _utf8_re and _unicode_re regexes have been compiled."""
 
51
    global _utf8_re, _unicode_re
 
52
    if _utf8_re is None:
 
53
        _utf8_re = re.compile('[&<>\'\"]|[\x80-\xff]+')
 
54
    if _unicode_re is None:
 
55
        _unicode_re = re.compile(u'[&<>\'\"\u0080-\uffff]')
 
56
 
 
57
 
 
58
def _unicode_escape_replace(match, _map=_xml_escape_map):
 
59
    """Replace a string of non-ascii, non XML safe characters with their escape
 
60
 
 
61
    This will escape both Standard XML escapes, like <>"', etc.
 
62
    As well as escaping non ascii characters, because ElementTree did.
 
63
    This helps us remain compatible to older versions of bzr. We may change
 
64
    our policy in the future, though.
 
65
    """
 
66
    # jam 20060816 Benchmarks show that try/KeyError is faster if you
 
67
    # expect the entity to rarely miss. There is about a 10% difference
 
68
    # in overall time. But if you miss frequently, then if None is much
 
69
    # faster. For our use case, we *rarely* have a revision id, file id
 
70
    # or path name that is unicode. So use try/KeyError.
 
71
    try:
 
72
        return _map[match.group()]
 
73
    except KeyError:
 
74
        return "&#%d;" % ord(match.group())
 
75
 
 
76
 
 
77
def _utf8_escape_replace(match, _map=_xml_escape_map):
 
78
    """Escape utf8 characters into XML safe ones.
 
79
 
 
80
    This uses 2 tricks. It is either escaping "standard" characters, like "&<>,
 
81
    or it is handling characters with the high-bit set. For ascii characters,
 
82
    we just lookup the replacement in the dictionary. For everything else, we
 
83
    decode back into Unicode, and then use the XML escape code.
 
84
    """
 
85
    try:
 
86
        return _map[match.group()]
 
87
    except KeyError:
 
88
        return ''.join('&#%d;' % ord(uni_chr)
 
89
                       for uni_chr in match.group().decode('utf8'))
 
90
 
 
91
 
 
92
_to_escaped_map = {}
 
93
 
 
94
def _encode_and_escape(unicode_or_utf8_str, _map=_to_escaped_map):
 
95
    """Encode the string into utf8, and escape invalid XML characters"""
 
96
    # We frequently get entities we have not seen before, so it is better
 
97
    # to check if None, rather than try/KeyError
 
98
    text = _map.get(unicode_or_utf8_str)
 
99
    if text is None:
 
100
        if unicode_or_utf8_str.__class__ is unicode:
 
101
            # The alternative policy is to do a regular UTF8 encoding
 
102
            # and then escape only XML meta characters.
 
103
            # Performance is equivalent once you use cache_utf8. *However*
 
104
            # this makes the serialized texts incompatible with old versions
 
105
            # of bzr. So no net gain. (Perhaps the read code would handle utf8
 
106
            # better than entity escapes, but cElementTree seems to do just fine
 
107
            # either way)
 
108
            text = str(_unicode_re.sub(_unicode_escape_replace,
 
109
                                       unicode_or_utf8_str)) + '"'
 
110
        else:
 
111
            # Plain strings are considered to already be in utf-8 so we do a
 
112
            # slightly different method for escaping.
 
113
            text = _utf8_re.sub(_utf8_escape_replace,
 
114
                                unicode_or_utf8_str) + '"'
 
115
        _map[unicode_or_utf8_str] = text
 
116
    return text
 
117
 
 
118
 
 
119
def _get_utf8_or_ascii(a_str,
 
120
                       _encode_utf8=cache_utf8.encode,
 
121
                       _get_cached_ascii=cache_utf8.get_cached_ascii):
 
122
    """Return a cached version of the string.
 
123
 
 
124
    cElementTree will return a plain string if the XML is plain ascii. It only
 
125
    returns Unicode when it needs to. We want to work in utf-8 strings. So if
 
126
    cElementTree returns a plain string, we can just return the cached version.
 
127
    If it is Unicode, then we need to encode it.
 
128
 
 
129
    :param a_str: An 8-bit string or Unicode as returned by
 
130
                  cElementTree.Element.get()
 
131
    :return: A utf-8 encoded 8-bit string.
 
132
    """
 
133
    # This is fairly optimized because we know what cElementTree does, this is
 
134
    # not meant as a generic function for all cases. Because it is possible for
 
135
    # an 8-bit string to not be ascii or valid utf8.
 
136
    if a_str.__class__ is unicode:
 
137
        return _encode_utf8(a_str)
 
138
    else:
 
139
        return intern(a_str)
 
140
 
 
141
 
 
142
def _clear_cache():
 
143
    """Clean out the unicode => escaped map"""
 
144
    _to_escaped_map.clear()
66
145
 
67
146
 
68
147
class Serializer_v8(XMLSerializer):
82
161
    format_num = '8'
83
162
    revision_format_num = None
84
163
 
85
 
    # The search regex used by xml based repositories to determine what things
86
 
    # where changed in a single commit.
87
 
    _file_ids_altered_regex = lazy_regex.lazy_compile(
88
 
        r'file_id="(?P<file_id>[^"]+)"'
89
 
        r'.* revision="(?P<revision_id>[^"]+)"'
90
 
        )
91
 
 
92
164
    def _check_revisions(self, inv):
93
165
        """Extension point for subclasses to check during serialisation.
94
166
 
152
224
            reference_revision, symlink_target.
153
225
        :return: The inventory as a list of lines.
154
226
        """
 
227
        _ensure_utf8_re()
 
228
        self._check_revisions(inv)
155
229
        output = []
156
230
        append = output.append
157
231
        self._append_inventory_root(append, inv)
158
 
        serialize_inventory_flat(inv, append,
159
 
            self.root_id, self.supported_kinds, working)
 
232
        entries = inv.iter_entries()
 
233
        # Skip the root
 
234
        root_path, root_ie = entries.next()
 
235
        for path, ie in entries:
 
236
            if ie.parent_id != self.root_id:
 
237
                parent_str = ' parent_id="'
 
238
                parent_id  = _encode_and_escape(ie.parent_id)
 
239
            else:
 
240
                parent_str = ''
 
241
                parent_id  = ''
 
242
            if ie.kind == 'file':
 
243
                if ie.executable:
 
244
                    executable = ' executable="yes"'
 
245
                else:
 
246
                    executable = ''
 
247
                if not working:
 
248
                    append('<file%s file_id="%s name="%s%s%s revision="%s '
 
249
                        'text_sha1="%s" text_size="%d" />\n' % (
 
250
                        executable, _encode_and_escape(ie.file_id),
 
251
                        _encode_and_escape(ie.name), parent_str, parent_id,
 
252
                        _encode_and_escape(ie.revision), ie.text_sha1,
 
253
                        ie.text_size))
 
254
                else:
 
255
                    append('<file%s file_id="%s name="%s%s%s />\n' % (
 
256
                        executable, _encode_and_escape(ie.file_id),
 
257
                        _encode_and_escape(ie.name), parent_str, parent_id))
 
258
            elif ie.kind == 'directory':
 
259
                if not working:
 
260
                    append('<directory file_id="%s name="%s%s%s revision="%s '
 
261
                        '/>\n' % (
 
262
                        _encode_and_escape(ie.file_id),
 
263
                        _encode_and_escape(ie.name),
 
264
                        parent_str, parent_id,
 
265
                        _encode_and_escape(ie.revision)))
 
266
                else:
 
267
                    append('<directory file_id="%s name="%s%s%s />\n' % (
 
268
                        _encode_and_escape(ie.file_id),
 
269
                        _encode_and_escape(ie.name),
 
270
                        parent_str, parent_id))
 
271
            elif ie.kind == 'symlink':
 
272
                if not working:
 
273
                    append('<symlink file_id="%s name="%s%s%s revision="%s '
 
274
                        'symlink_target="%s />\n' % (
 
275
                        _encode_and_escape(ie.file_id),
 
276
                        _encode_and_escape(ie.name),
 
277
                        parent_str, parent_id,
 
278
                        _encode_and_escape(ie.revision),
 
279
                        _encode_and_escape(ie.symlink_target)))
 
280
                else:
 
281
                    append('<symlink file_id="%s name="%s%s%s />\n' % (
 
282
                        _encode_and_escape(ie.file_id),
 
283
                        _encode_and_escape(ie.name),
 
284
                        parent_str, parent_id))
 
285
            elif ie.kind == 'tree-reference':
 
286
                if ie.kind not in self.supported_kinds:
 
287
                    raise errors.UnsupportedInventoryKind(ie.kind)
 
288
                if not working:
 
289
                    append('<tree-reference file_id="%s name="%s%s%s '
 
290
                        'revision="%s reference_revision="%s />\n' % (
 
291
                        _encode_and_escape(ie.file_id),
 
292
                        _encode_and_escape(ie.name),
 
293
                        parent_str, parent_id,
 
294
                        _encode_and_escape(ie.revision),
 
295
                        _encode_and_escape(ie.reference_revision)))
 
296
                else:
 
297
                    append('<tree-reference file_id="%s name="%s%s%s />\n' % (
 
298
                        _encode_and_escape(ie.file_id),
 
299
                        _encode_and_escape(ie.name),
 
300
                        parent_str, parent_id))
 
301
            else:
 
302
                raise errors.UnsupportedInventoryKind(ie.kind)
 
303
        append('</inventory>\n')
160
304
        if f is not None:
161
305
            f.writelines(output)
162
306
        # Just to keep the cache from growing without bounds
168
312
        """Append the inventory root to output."""
169
313
        if inv.revision_id is not None:
170
314
            revid1 = ' revision_id="'
171
 
            revid2 = encode_and_escape(inv.revision_id)
 
315
            revid2 = _encode_and_escape(inv.revision_id)
172
316
        else:
173
317
            revid1 = ""
174
318
            revid2 = ""
175
319
        append('<inventory format="%s"%s%s>\n' % (
176
320
            self.format_num, revid1, revid2))
177
321
        append('<directory file_id="%s name="%s revision="%s />\n' % (
178
 
            encode_and_escape(inv.root.file_id),
179
 
            encode_and_escape(inv.root.name),
180
 
            encode_and_escape(inv.root.revision)))
 
322
            _encode_and_escape(inv.root.file_id),
 
323
            _encode_and_escape(inv.root.name),
 
324
            _encode_and_escape(inv.root.revision)))
181
325
 
182
326
    def _pack_revision(self, rev):
183
327
        """Revision object -> xml tree"""
227
371
            prop_elt.tail = '\n'
228
372
        top_elt.tail = '\n'
229
373
 
230
 
    def _unpack_entry(self, elt, entry_cache=None, return_from_cache=False):
231
 
        # This is here because it's overridden by xml7
232
 
        return unpack_inventory_entry(elt, entry_cache,
233
 
                return_from_cache)
234
 
 
235
374
    def _unpack_inventory(self, elt, revision_id=None, entry_cache=None,
236
375
                          return_from_cache=False):
237
376
        """Construct from XML Element"""
238
 
        inv = unpack_inventory_flat(elt, self.format_num, self._unpack_entry,
239
 
            entry_cache, return_from_cache)
 
377
        if elt.tag != 'inventory':
 
378
            raise errors.UnexpectedInventoryFormat('Root tag is %r' % elt.tag)
 
379
        format = elt.get('format')
 
380
        if format != self.format_num:
 
381
            raise errors.UnexpectedInventoryFormat('Invalid format version %r'
 
382
                                                   % format)
 
383
        revision_id = elt.get('revision_id')
 
384
        if revision_id is not None:
 
385
            revision_id = cache_utf8.encode(revision_id)
 
386
        inv = inventory.Inventory(root_id=None, revision_id=revision_id)
 
387
        for e in elt:
 
388
            ie = self._unpack_entry(e, entry_cache=entry_cache,
 
389
                                    return_from_cache=return_from_cache)
 
390
            inv.add(ie)
240
391
        self._check_cache_size(len(inv), entry_cache)
241
392
        return inv
242
393
 
 
394
    def _unpack_entry(self, elt, entry_cache=None, return_from_cache=False):
 
395
        elt_get = elt.get
 
396
        file_id = elt_get('file_id')
 
397
        revision = elt_get('revision')
 
398
        # Check and see if we have already unpacked this exact entry
 
399
        # Some timings for "repo.revision_trees(last_100_revs)"
 
400
        #               bzr     mysql
 
401
        #   unmodified  4.1s    40.8s
 
402
        #   using lru   3.5s
 
403
        #   using fifo  2.83s   29.1s
 
404
        #   lru._cache  2.8s
 
405
        #   dict        2.75s   26.8s
 
406
        #   inv.add     2.5s    26.0s
 
407
        #   no_copy     2.00s   20.5s
 
408
        #   no_c,dict   1.95s   18.0s
 
409
        # Note that a cache of 10k nodes is more than sufficient to hold all of
 
410
        # the inventory for the last 100 revs for bzr, but not for mysql (20k
 
411
        # is enough for mysql, which saves the same 2s as using a dict)
 
412
 
 
413
        # Breakdown of mysql using time.clock()
 
414
        #   4.1s    2 calls to element.get for file_id, revision_id
 
415
        #   4.5s    cache_hit lookup
 
416
        #   7.1s    InventoryFile.copy()
 
417
        #   2.4s    InventoryDirectory.copy()
 
418
        #   0.4s    decoding unique entries
 
419
        #   1.6s    decoding entries after FIFO fills up
 
420
        #   0.8s    Adding nodes to FIFO (including flushes)
 
421
        #   0.1s    cache miss lookups
 
422
        # Using an LRU cache
 
423
        #   4.1s    2 calls to element.get for file_id, revision_id
 
424
        #   9.9s    cache_hit lookup
 
425
        #   10.8s   InventoryEntry.copy()
 
426
        #   0.3s    cache miss lookus
 
427
        #   1.2s    decoding entries
 
428
        #   1.0s    adding nodes to LRU
 
429
        if entry_cache is not None and revision is not None:
 
430
            key = (file_id, revision)
 
431
            try:
 
432
                # We copy it, because some operations may mutate it
 
433
                cached_ie = entry_cache[key]
 
434
            except KeyError:
 
435
                pass
 
436
            else:
 
437
                # Only copying directory entries drops us 2.85s => 2.35s
 
438
                if return_from_cache:
 
439
                    if cached_ie.kind == 'directory':
 
440
                        return cached_ie.copy()
 
441
                    return cached_ie
 
442
                return cached_ie.copy()
 
443
 
 
444
        kind = elt.tag
 
445
        if not InventoryEntry.versionable_kind(kind):
 
446
            raise AssertionError('unsupported entry kind %s' % kind)
 
447
 
 
448
        get_cached = _get_utf8_or_ascii
 
449
 
 
450
        file_id = get_cached(file_id)
 
451
        if revision is not None:
 
452
            revision = get_cached(revision)
 
453
        parent_id = elt_get('parent_id')
 
454
        if parent_id is not None:
 
455
            parent_id = get_cached(parent_id)
 
456
 
 
457
        if kind == 'directory':
 
458
            ie = inventory.InventoryDirectory(file_id,
 
459
                                              elt_get('name'),
 
460
                                              parent_id)
 
461
        elif kind == 'file':
 
462
            ie = inventory.InventoryFile(file_id,
 
463
                                         elt_get('name'),
 
464
                                         parent_id)
 
465
            ie.text_sha1 = elt_get('text_sha1')
 
466
            if elt_get('executable') == 'yes':
 
467
                ie.executable = True
 
468
            v = elt_get('text_size')
 
469
            ie.text_size = v and int(v)
 
470
        elif kind == 'symlink':
 
471
            ie = inventory.InventoryLink(file_id,
 
472
                                         elt_get('name'),
 
473
                                         parent_id)
 
474
            ie.symlink_target = elt_get('symlink_target')
 
475
        else:
 
476
            raise errors.UnsupportedInventoryKind(kind)
 
477
        ie.revision = revision
 
478
        if revision is not None and entry_cache is not None:
 
479
            # We cache a copy() because callers like to mutate objects, and
 
480
            # that would cause the item in cache to mutate as well.
 
481
            # This has a small effect on many-inventory performance, because
 
482
            # the majority fraction is spent in cache hits, not misses.
 
483
            entry_cache[key] = ie.copy()
 
484
 
 
485
        return ie
 
486
 
243
487
    def _unpack_revision(self, elt):
244
488
        """XML Element -> Revision object"""
245
489
        format = elt.get('format')
250
494
            if format != format_num:
251
495
                raise BzrError("invalid format version %r on revision"
252
496
                                % format)
253
 
        get_cached = get_utf8_or_ascii
 
497
        get_cached = _get_utf8_or_ascii
254
498
        rev = Revision(committer = elt.get('committer'),
255
499
                       timestamp = float(elt.get('timestamp')),
256
500
                       revision_id = get_cached(elt.get('revision_id')),
288
532
                raise AssertionError("repeated property %r" % name)
289
533
            rev.properties[name] = value
290
534
 
291
 
    def _find_text_key_references(self, line_iterator):
292
 
        """Core routine for extracting references to texts from inventories.
293
 
 
294
 
        This performs the translation of xml lines to revision ids.
295
 
 
296
 
        :param line_iterator: An iterator of lines, origin_version_id
297
 
        :return: A dictionary mapping text keys ((fileid, revision_id) tuples)
298
 
            to whether they were referred to by the inventory of the
299
 
            revision_id that they contain. Note that if that revision_id was
300
 
            not part of the line_iterator's output then False will be given -
301
 
            even though it may actually refer to that key.
302
 
        """
303
 
        if not self.support_altered_by_hack:
304
 
            raise AssertionError(
305
 
                "_find_text_key_references only "
306
 
                "supported for branches which store inventory as unnested xml"
307
 
                ", not on %r" % self)
308
 
        result = {}
309
 
 
310
 
        # this code needs to read every new line in every inventory for the
311
 
        # inventories [revision_ids]. Seeing a line twice is ok. Seeing a line
312
 
        # not present in one of those inventories is unnecessary but not
313
 
        # harmful because we are filtering by the revision id marker in the
314
 
        # inventory lines : we only select file ids altered in one of those
315
 
        # revisions. We don't need to see all lines in the inventory because
316
 
        # only those added in an inventory in rev X can contain a revision=X
317
 
        # line.
318
 
        unescape_revid_cache = {}
319
 
        unescape_fileid_cache = {}
320
 
 
321
 
        # jam 20061218 In a big fetch, this handles hundreds of thousands
322
 
        # of lines, so it has had a lot of inlining and optimizing done.
323
 
        # Sorry that it is a little bit messy.
324
 
        # Move several functions to be local variables, since this is a long
325
 
        # running loop.
326
 
        search = self._file_ids_altered_regex.search
327
 
        unescape = _unescape_xml
328
 
        setdefault = result.setdefault
329
 
        for line, line_key in line_iterator:
330
 
            match = search(line)
331
 
            if match is None:
332
 
                continue
333
 
            # One call to match.group() returning multiple items is quite a
334
 
            # bit faster than 2 calls to match.group() each returning 1
335
 
            file_id, revision_id = match.group('file_id', 'revision_id')
336
 
 
337
 
            # Inlining the cache lookups helps a lot when you make 170,000
338
 
            # lines and 350k ids, versus 8.4 unique ids.
339
 
            # Using a cache helps in 2 ways:
340
 
            #   1) Avoids unnecessary decoding calls
341
 
            #   2) Re-uses cached strings, which helps in future set and
342
 
            #      equality checks.
343
 
            # (2) is enough that removing encoding entirely along with
344
 
            # the cache (so we are using plain strings) results in no
345
 
            # performance improvement.
346
 
            try:
347
 
                revision_id = unescape_revid_cache[revision_id]
348
 
            except KeyError:
349
 
                unescaped = unescape(revision_id)
350
 
                unescape_revid_cache[revision_id] = unescaped
351
 
                revision_id = unescaped
352
 
 
353
 
            # Note that unconditionally unescaping means that we deserialise
354
 
            # every fileid, which for general 'pull' is not great, but we don't
355
 
            # really want to have some many fulltexts that this matters anyway.
356
 
            # RBC 20071114.
357
 
            try:
358
 
                file_id = unescape_fileid_cache[file_id]
359
 
            except KeyError:
360
 
                unescaped = unescape(file_id)
361
 
                unescape_fileid_cache[file_id] = unescaped
362
 
                file_id = unescaped
363
 
 
364
 
            key = (file_id, revision_id)
365
 
            setdefault(key, False)
366
 
            if revision_id == line_key[-1]:
367
 
                result[key] = True
368
 
        return result
369
 
 
370
535
 
371
536
serializer_v8 = Serializer_v8()