← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/cache_utf8.py

  • Committer: Andrew Bennetts
  • Date: 2007-03-28 07:08:42 UTC
  • mfrom: (2380 +trunk)
  • mto: (2018.5.146 hpss)
  • mto: This revision was merged to the branch mainline in revision 2414.
  • Revision ID: andrew.bennetts@canonical.com-20070328070842-r843houy668oxb9o
Merge from bzr.dev.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/cache_utf8.py
24
24
 
25
25
_utf8_encode = codecs.getencoder("utf-8")
26
26
_utf8_decode = codecs.getdecoder("utf-8")
 
27
def _utf8_decode_with_None(bytestring, _utf8_decode=_utf8_decode):
 
28
    """wrap _utf8_decode to support None->None for optional strings.
 
29
 
 
30
    Also, only return the Unicode portion, since we don't care about the second
 
31
    return value.
 
32
    """
 
33
    if bytestring is None:
 
34
        return None
 
35
    else:
 
36
        return _utf8_decode(bytestring)[0]
27
37
 
28
38
# Map revisions from and to utf8 encoding
29
39
# Whenever we do an encode/decode operation, we save the result, so that
61
71
    try:
62
72
        return _utf8_to_uni[utf8_str]
63
73
    except KeyError:
64
 
        _utf8_to_uni[utf8_str] = unicode_str = _utf8_decode(utf8_str)[0]
 
74
        unicode_str = _utf8_decode(utf8_str)[0]
 
75
        _utf8_to_uni[utf8_str] = unicode_str
65
76
        _uni_to_utf8[unicode_str] = utf8_str
66
77
        return unicode_str
67
78
 
78
89
    return decode(encode(unicode_str))
79
90
 
80
91
 
 
92
def get_cached_utf8(utf8_str):
 
93
    """Return a cached version of the utf-8 string.
 
94
 
 
95
    Get a cached version of this string (similar to intern()).
 
96
    At present, this will be decoded to ensure it is a utf-8 string. In the
 
97
    future this might change to simply caching the string.
 
98
    """
 
99
    return encode(decode(utf8_str))
 
100
 
 
101
 
 
102
def get_cached_ascii(ascii_str,
 
103
                     _uni_to_utf8=_unicode_to_utf8_map,
 
104
                     _utf8_to_uni=_utf8_to_unicode_map):
 
105
    """This is a string which is identical in utf-8 and unicode."""
 
106
    # We don't need to do any encoding, but we want _utf8_to_uni to return a
 
107
    # real Unicode string. Unicode and plain strings of this type will have the
 
108
    # same hash, so we can just use it as the key in _uni_to_utf8, but we need
 
109
    # the return value to be different in _utf8_to_uni
 
110
    ascii_str = _uni_to_utf8.setdefault(ascii_str, ascii_str)
 
111
    _utf8_to_uni.setdefault(ascii_str, unicode(ascii_str))
 
112
    return ascii_str
 
113
 
 
114
 
81
115
def clear_encoding_cache():
82
116
    """Clear the encoding and decoding caches"""
83
117
    _unicode_to_utf8_map.clear()