← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/_rio_pyx.pyx

  • Committer: Jelmer Vernooij
  • Date: 2009-05-14 11:11:02 UTC
  • mto: (4290.1.9 rio-serializer2)
  • mto: This revision was merged to the branch mainline in revision 4368.
  • Revision ID: jelmer@samba.org-20090514111102-v9dxbsj3r83jkato
Provide custom implementation of _read_stanza_utf8 in Pyrex.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/_rio_pyx.pyx
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
 
17
"""Pyrex implementation of _read_stanza_*."""
 
18
 
 
19
import re
 
20
 
 
21
from bzrlib.rio import Stanza
 
22
 
 
23
_tag_re = re.compile(r'^[-a-zA-Z0-9_]+$')
 
24
def _valid_tag(tag):
 
25
    return bool(_tag_re.match(tag))
 
26
 
 
27
 
 
28
def _read_stanza_utf8(line_iter):
 
29
    stanza = Stanza()
 
30
    tag = None
 
31
    accum_value = None
 
32
 
 
33
    # TODO: jam 20060922 This code should raise real errors rather than
 
34
    #       using 'assert' to process user input, or raising ValueError
 
35
    #       rather than a more specific error.
 
36
    for line in line_iter:
 
37
        if line is None or line == '':
 
38
            break       # end of file
 
39
        if line == '\n':
 
40
            break       # end of stanza
 
41
        real_l = line
 
42
        if line[0] == '\t': # continues previous value
 
43
            if tag is None:
 
44
                raise ValueError('invalid continuation line %r' % real_l)
 
45
            accum_value.append('\n' + line[1:-1])
 
46
        else: # new tag:value line
 
47
            if tag is not None:
 
48
                stanza.add(tag, ''.join(accum_value).decode('utf-8'))
 
49
            try:
 
50
                colon_index = line.index(': ')
 
51
            except ValueError:
 
52
                raise ValueError('tag/value separator not found in line %r'
 
53
                                 % real_l)
 
54
            tag = line[:colon_index]
 
55
            if not _valid_tag(tag):
 
56
                raise ValueError("invalid rio tag %r" % (tag,))
 
57
            accum_value = line[colon_index+2:-1]
 
58
    if tag is not None: # add last tag-value
 
59
        stanza.add(tag, ''.join(accum_value).decode('utf-8'))
 
60
        return stanza
 
61
    else:     # didn't see any content
 
62
        return None
 
63
 
 
64
 
 
65
def _read_stanza_unicode(unicode_iter):
 
66
    stanza = Stanza()
 
67
    tag = None
 
68
    accum_value = None
 
69
 
 
70
    # TODO: jam 20060922 This code should raise real errors rather than
 
71
    #       using 'assert' to process user input, or raising ValueError
 
72
    #       rather than a more specific error.
 
73
    for line in unicode_iter:
 
74
        if line is None or line == '':
 
75
            break       # end of file
 
76
        if line == '\n':
 
77
            break       # end of stanza
 
78
        real_l = line
 
79
        if line[0] == '\t': # continues previous value
 
80
            if tag is None:
 
81
                raise ValueError('invalid continuation line %r' % real_l)
 
82
            accum_value += '\n' + line[1:-1]
 
83
        else: # new tag:value line
 
84
            if tag is not None:
 
85
                stanza.add(tag, accum_value)
 
86
            try:
 
87
                colon_index = line.index(': ')
 
88
            except ValueError:
 
89
                raise ValueError('tag/value separator not found in line %r'
 
90
                                 % real_l)
 
91
            tag = str(line[:colon_index])
 
92
            if not _valid_tag(tag):
 
93
                raise ValueError("invalid rio tag %r" % (tag,))
 
94
            accum_value = line[colon_index+2:-1]
 
95
 
 
96
    if tag is not None: # add last tag-value
 
97
        stanza.add(tag, accum_value)
 
98
        return stanza
 
99
    else:     # didn't see any content
 
100
        return None
 
101
 
17
102