← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/rio.py

  • Committer: John Arbash Meinel
  • Date: 2013-05-19 14:29:37 UTC
  • mfrom: (6437.63.9 2.5)
  • mto: (6437.63.10 2.5)
  • mto: This revision was merged to the branch mainline in revision 6575.
  • Revision ID: john@arbash-meinel.com-20130519142937-21ykz2n2y2f22za9
Merge in the actual 2.5 branch. It seems I failed before

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/rio.py
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
from __future__ import absolute_import
16
18
 
17
19
# \subsection{\emph{rio} - simple text metaformat}
18
 
# 
 
20
#
19
21
# \emph{r} stands for `restricted', `reproducible', or `rfc822-like'.
20
 
# 
 
22
#
21
23
# The stored data consists of a series of \emph{stanzas}, each of which contains
22
24
# \emph{fields} identified by an ascii name, with Unicode or string contents.
23
 
# The field tag is constrained to alphanumeric characters.  
 
25
# The field tag is constrained to alphanumeric characters.
24
26
# There may be more than one field in a stanza with the same name.
25
 
# 
 
27
#
26
28
# The format itself does not deal with character encoding issues, though
27
29
# the result will normally be written in Unicode.
28
 
# 
 
30
#
29
31
# The format is intended to be simple enough that there is exactly one character
30
32
# stream representation of an object and vice versa, and that this relation
31
33
# will continue to hold for future versions of bzr.
32
34
 
33
35
import re
34
36
 
 
37
from bzrlib import osutils
35
38
from bzrlib.iterablefile import IterableFile
36
39
 
37
40
# XXX: some redundancy is allowing to write stanzas in isolation as well as
38
 
# through a writer object.  
 
41
# through a writer object.
39
42
 
40
43
class RioWriter(object):
41
44
    def __init__(self, to_file):
44
47
 
45
48
    def write_stanza(self, stanza):
46
49
        if self._soft_nl:
47
 
            print >>self._to_file
 
50
            self._to_file.write('\n')
48
51
        stanza.write(self._to_file)
49
52
        self._soft_nl = True
50
53
 
51
54
 
52
55
class RioReader(object):
53
56
    """Read stanzas from a file as a sequence
54
 
    
55
 
    to_file can be anything that can be enumerated as a sequence of 
 
57
 
 
58
    to_file can be anything that can be enumerated as a sequence of
56
59
    lines (with newlines.)
57
60
    """
58
61
    def __init__(self, from_file):
93
96
class Stanza(object):
94
97
    """One stanza for rio.
95
98
 
96
 
    Each stanza contains a set of named fields.  
97
 
    
 
99
    Each stanza contains a set of named fields.
 
100
 
98
101
    Names must be non-empty ascii alphanumeric plus _.  Names can be repeated
99
102
    within a stanza.  Names are case-sensitive.  The ordering of fields is
100
103
    preserved.
116
119
 
117
120
    def add(self, tag, value):
118
121
        """Append a name and value to the stanza."""
119
 
        assert valid_tag(tag), \
120
 
            ("invalid tag %r" % tag)
 
122
        if not valid_tag(tag):
 
123
            raise ValueError("invalid tag %r" % (tag,))
121
124
        if isinstance(value, str):
122
125
            value = unicode(value)
123
126
        elif isinstance(value, unicode):
128
131
            raise TypeError("invalid type for rio value: %r of type %s"
129
132
                            % (value, type(value)))
130
133
        self.items.append((tag, value))
131
 
        
 
134
 
 
135
    @classmethod
 
136
    def from_pairs(cls, pairs):
 
137
        ret = cls()
 
138
        ret.items = pairs
 
139
        return ret
 
140
 
132
141
    def __contains__(self, find_tag):
133
142
        """True if there is any field in this stanza with the given tag."""
134
143
        for tag, value in self.items:
157
166
 
158
167
    def to_lines(self):
159
168
        """Generate sequence of lines for external version of this file.
160
 
        
 
169
 
161
170
        The lines are always utf-8 encoded strings.
162
171
        """
163
172
        if not self.items:
165
174
            return []
166
175
        result = []
167
176
        for tag, value in self.items:
168
 
            assert isinstance(tag, str), type(tag)
169
 
            assert isinstance(value, unicode)
170
177
            if value == '':
171
178
                result.append(tag + ': \n')
172
179
            elif '\n' in value:
193
200
 
194
201
        result = []
195
202
        for tag, value in self.items:
196
 
            if value == '':
197
 
                result.append(tag + ': \n')
198
 
            elif '\n' in value:
 
203
            if value == u'':
 
204
                result.append(tag + u': \n')
 
205
            elif u'\n' in value:
199
206
                # don't want splitlines behaviour on empty lines
200
 
                val_lines = value.split('\n')
201
 
                result.append(tag + ': ' + val_lines[0] + '\n')
 
207
                val_lines = value.split(u'\n')
 
208
                result.append(tag + u': ' + val_lines[0] + u'\n')
202
209
                for line in val_lines[1:]:
203
 
                    result.append('\t' + line + '\n')
 
210
                    result.append(u'\t' + line + u'\n')
204
211
            else:
205
 
                result.append(tag + ': ' + value + '\n')
 
212
                result.append(tag + u': ' + value + u'\n')
206
213
        return u''.join(result)
207
214
 
208
215
    def write(self, to_file):
235
242
        """
236
243
        d = {}
237
244
        for tag, value in self.items:
238
 
            assert tag not in d
239
245
            d[tag] = value
240
246
        return d
241
 
         
242
 
_tag_re = re.compile(r'^[-a-zA-Z0-9_]+$')
 
247
 
 
248
 
243
249
def valid_tag(tag):
244
 
    return bool(_tag_re.match(tag))
 
250
    return _valid_tag(tag)
245
251
 
246
252
 
247
253
def read_stanza(line_iter):
248
254
    """Return new Stanza read from list of lines or a file
249
 
    
 
255
 
250
256
    Returns one Stanza that was read, or returns None at end of file.  If a
251
257
    blank line follows the stanza, it is consumed.  It's not an error for
252
258
    there to be no blank at end of file.  If there is a blank file at the
253
 
    start of the input this is really an empty stanza and that is returned. 
 
259
    start of the input this is really an empty stanza and that is returned.
254
260
 
255
261
    Only the stanza lines and the trailing blank (if any) are consumed
256
262
    from the line_iter.
257
263
 
258
264
    The raw lines must be in utf-8 encoding.
259
265
    """
260
 
    unicode_iter = (line.decode('utf-8') for line in line_iter)
261
 
    return read_stanza_unicode(unicode_iter)
 
266
    return _read_stanza_utf8(line_iter)
262
267
 
263
268
 
264
269
def read_stanza_unicode(unicode_iter):
278
283
    :return: A Stanza object if there are any lines in the file.
279
284
        None otherwise
280
285
    """
281
 
    stanza = Stanza()
282
 
    tag = None
283
 
    accum_value = None
284
 
    
285
 
    # TODO: jam 20060922 This code should raise real errors rather than
286
 
    #       using 'assert' to process user input, or raising ValueError
287
 
    #       rather than a more specific error.
288
 
 
289
 
    for line in unicode_iter:
290
 
        if line is None or line == '':
291
 
            break       # end of file
292
 
        if line == '\n':
293
 
            break       # end of stanza
294
 
        assert line.endswith('\n')
295
 
        real_l = line
296
 
        if line[0] == '\t': # continues previous value
297
 
            if tag is None:
298
 
                raise ValueError('invalid continuation line %r' % real_l)
299
 
            accum_value += '\n' + line[1:-1]
300
 
        else: # new tag:value line
301
 
            if tag is not None:
302
 
                stanza.add(tag, accum_value)
303
 
            try:
304
 
                colon_index = line.index(': ')
305
 
            except ValueError:
306
 
                raise ValueError('tag/value separator not found in line %r'
307
 
                                 % real_l)
308
 
            tag = str(line[:colon_index])
309
 
            assert valid_tag(tag), \
310
 
                    "invalid rio tag %r" % tag
311
 
            accum_value = line[colon_index+2:-1]
312
 
 
313
 
    if tag is not None: # add last tag-value
314
 
        stanza.add(tag, accum_value)
315
 
        return stanza
316
 
    else:     # didn't see any content
317
 
        return None    
 
286
    return _read_stanza_unicode(unicode_iter)
318
287
 
319
288
 
320
289
def to_patch_lines(stanza, max_width=72):
327
296
    :param max_width: The maximum number of characters per physical line.
328
297
    :return: a list of lines
329
298
    """
330
 
    assert max_width > 6
 
299
    if max_width <= 6:
 
300
        raise ValueError(max_width)
331
301
    max_rio_width = max_width - 4
332
302
    lines = []
333
303
    for pline in stanza.to_lines():
373
343
    for line in line_iter:
374
344
        if line.startswith('# '):
375
345
            line = line[2:]
376
 
        else:
377
 
            assert line.startswith('#')
 
346
        elif line.startswith('#'):
378
347
            line = line[1:]
 
348
        else:
 
349
            raise ValueError("bad line %r" % (line,))
379
350
        if last_line is not None and len(line) > 2:
380
351
            line = line[2:]
381
352
        line = re.sub('\r', '', line)
401
372
    :return: a Stanza
402
373
    """
403
374
    return read_stanza(_patch_stanza_iter(line_iter))
 
375
 
 
376
 
 
377
try:
 
378
    from bzrlib._rio_pyx import (
 
379
        _read_stanza_utf8,
 
380
        _read_stanza_unicode,
 
381
        _valid_tag,
 
382
        )
 
383
except ImportError, e:
 
384
    osutils.failed_to_load_extension(e)
 
385
    from bzrlib._rio_py import (
 
386
       _read_stanza_utf8,
 
387
       _read_stanza_unicode,
 
388
       _valid_tag,
 
389
       )