~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/util/configobj/configobj.py

  • Committer: Martin Pool
  • Date: 2006-03-03 08:55:34 UTC
  • mto: This revision was merged to the branch mainline in revision 1593.
  • Revision ID: mbp@sourcefrog.net-20060303085534-d24a8118f4ce571a
Add some tests that format7 repo creates the right lock type

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
# configobj.py
2
2
# A config file reader/writer that supports nested sections in config files.
3
 
# Copyright (C) 2005-2008 Michael Foord, Nicola Larosa
 
3
# Copyright (C) 2005 Michael Foord, Nicola Larosa
4
4
# E-mail: fuzzyman AT voidspace DOT org DOT uk
5
5
#         nico AT tekNico DOT net
6
6
 
18
18
 
19
19
from __future__ import generators
20
20
 
 
21
"""
 
22
    >>> z = ConfigObj()
 
23
    >>> z['a'] = 'a'
 
24
    >>> z['sect'] = {
 
25
    ...    'subsect': {
 
26
    ...         'a': 'fish',
 
27
    ...         'b': 'wobble',
 
28
    ...     },
 
29
    ...     'member': 'value',
 
30
    ... }
 
31
    >>> x = ConfigObj(z.write())
 
32
    >>> z == x
 
33
    1
 
34
"""
 
35
 
21
36
import sys
22
37
INTP_VER = sys.version_info[:2]
23
38
if INTP_VER < (2, 2):
24
39
    raise RuntimeError("Python v.2.2 or later needed")
25
40
 
26
41
import os, re
27
 
compiler = None
28
 
# Bzr modification: Disabled import of 'compiler' module
29
 
# bzr doesn't use the 'unrepr' feature of configobj, so importing compiler just
30
 
# wastes several milliseconds on every single bzr invocation.
31
 
#   -- Andrew Bennetts, 2008-10-14
32
 
#try:
33
 
#    import compiler
34
 
#except ImportError:
35
 
#    # for IronPython
36
 
#    pass
37
42
from types import StringTypes
38
43
from warnings import warn
39
 
try:
40
 
    from codecs import BOM_UTF8, BOM_UTF16, BOM_UTF16_BE, BOM_UTF16_LE
41
 
except ImportError:
42
 
    # Python 2.2 does not have these
43
 
    # UTF-8
44
 
    BOM_UTF8 = '\xef\xbb\xbf'
45
 
    # UTF-16, little endian
46
 
    BOM_UTF16_LE = '\xff\xfe'
47
 
    # UTF-16, big endian
48
 
    BOM_UTF16_BE = '\xfe\xff'
49
 
    if sys.byteorder == 'little':
50
 
        # UTF-16, native endianness
51
 
        BOM_UTF16 = BOM_UTF16_LE
52
 
    else:
53
 
        # UTF-16, native endianness
54
 
        BOM_UTF16 = BOM_UTF16_BE
 
44
from codecs import BOM_UTF8, BOM_UTF16, BOM_UTF16_BE, BOM_UTF16_LE
55
45
 
56
46
# A dictionary mapping BOM to
57
47
# the encoding to decode with, and what to set the
92
82
    None: BOM_UTF8
93
83
    }
94
84
 
95
 
 
96
 
def match_utf8(encoding):
97
 
    return BOM_LIST.get(encoding.lower()) == 'utf_8'
98
 
 
99
 
 
100
 
# Quote strings used for writing values
101
 
squot = "'%s'"
102
 
dquot = '"%s"'
103
 
noquot = "%s"
104
 
wspace_plus = ' \r\t\n\v\t\'"'
105
 
tsquot = '"""%s"""'
106
 
tdquot = "'''%s'''"
 
85
try:
 
86
    from validate import VdtMissingValue
 
87
except ImportError:
 
88
    VdtMissingValue = None
107
89
 
108
90
try:
109
91
    enumerate
121
103
    True, False = 1, 0
122
104
 
123
105
 
124
 
__version__ = '4.5.2'
 
106
__version__ = '4.2.0beta2'
125
107
 
126
108
__revision__ = '$Id: configobj.py 156 2006-01-31 14:57:08Z fuzzyman $'
127
109
 
128
110
__docformat__ = "restructuredtext en"
129
111
 
 
112
# NOTE: Does it make sense to have the following in __all__ ?
 
113
# NOTE: DEFAULT_INDENT_TYPE, NUM_INDENT_SPACES, MAX_INTERPOL_DEPTH
 
114
# NOTE: If used as from configobj import...
 
115
# NOTE: They are effectively read only
130
116
__all__ = (
131
117
    '__version__',
132
118
    'DEFAULT_INDENT_TYPE',
133
 
    'DEFAULT_INTERPOLATION',
 
119
    'NUM_INDENT_SPACES',
 
120
    'MAX_INTERPOL_DEPTH',
134
121
    'ConfigObjError',
135
122
    'NestingError',
136
123
    'ParseError',
139
126
    'ConfigObj',
140
127
    'SimpleVal',
141
128
    'InterpolationError',
142
 
    'InterpolationLoopError',
 
129
    'InterpolationDepthError',
143
130
    'MissingInterpolationOption',
144
131
    'RepeatSectionError',
145
 
    'ReloadError',
146
 
    'UnreprError',
147
 
    'UnknownType',
148
132
    '__docformat__',
149
133
    'flatten_errors',
150
134
)
151
135
 
152
 
DEFAULT_INTERPOLATION = 'configparser'
153
 
DEFAULT_INDENT_TYPE = '    '
 
136
DEFAULT_INDENT_TYPE = ' '
 
137
NUM_INDENT_SPACES = 4
154
138
MAX_INTERPOL_DEPTH = 10
155
139
 
156
140
OPTION_DEFAULTS = {
165
149
    'indent_type': None,
166
150
    'encoding': None,
167
151
    'default_encoding': None,
168
 
    'unrepr': False,
169
 
    'write_empty_values': False,
170
152
}
171
153
 
172
 
 
173
 
 
174
 
def getObj(s):
175
 
    s = "a=" + s
176
 
    if compiler is None:
177
 
        raise ImportError('compiler module not available')
178
 
    p = compiler.parse(s)
179
 
    return p.getChildren()[1].getChildren()[0].getChildren()[1]
180
 
 
181
 
 
182
 
class UnknownType(Exception):
183
 
    pass
184
 
 
185
 
 
186
 
class Builder(object):
187
 
    
188
 
    def build(self, o):
189
 
        m = getattr(self, 'build_' + o.__class__.__name__, None)
190
 
        if m is None:
191
 
            raise UnknownType(o.__class__.__name__)
192
 
        return m(o)
193
 
    
194
 
    def build_List(self, o):
195
 
        return map(self.build, o.getChildren())
196
 
    
197
 
    def build_Const(self, o):
198
 
        return o.value
199
 
    
200
 
    def build_Dict(self, o):
201
 
        d = {}
202
 
        i = iter(map(self.build, o.getChildren()))
203
 
        for el in i:
204
 
            d[el] = i.next()
205
 
        return d
206
 
    
207
 
    def build_Tuple(self, o):
208
 
        return tuple(self.build_List(o))
209
 
    
210
 
    def build_Name(self, o):
211
 
        if o.name == 'None':
212
 
            return None
213
 
        if o.name == 'True':
214
 
            return True
215
 
        if o.name == 'False':
216
 
            return False
217
 
        
218
 
        # An undefined Name
219
 
        raise UnknownType('Undefined Name')
220
 
    
221
 
    def build_Add(self, o):
222
 
        real, imag = map(self.build_Const, o.getChildren())
223
 
        try:
224
 
            real = float(real)
225
 
        except TypeError:
226
 
            raise UnknownType('Add')
227
 
        if not isinstance(imag, complex) or imag.real != 0.0:
228
 
            raise UnknownType('Add')
229
 
        return real+imag
230
 
    
231
 
    def build_Getattr(self, o):
232
 
        parent = self.build(o.expr)
233
 
        return getattr(parent, o.attrname)
234
 
    
235
 
    def build_UnarySub(self, o):
236
 
        return -self.build_Const(o.getChildren()[0])
237
 
    
238
 
    def build_UnaryAdd(self, o):
239
 
        return self.build_Const(o.getChildren()[0])
240
 
 
241
 
 
242
 
_builder = Builder()
243
 
 
244
 
 
245
 
def unrepr(s):
246
 
    if not s:
247
 
        return s
248
 
    return _builder.build(getObj(s))
249
 
 
250
 
 
251
 
 
252
154
class ConfigObjError(SyntaxError):
253
155
    """
254
156
    This is the base class for all errors that ConfigObj raises.
255
157
    It is a subclass of SyntaxError.
 
158
    
 
159
    >>> raise ConfigObjError
 
160
    Traceback (most recent call last):
 
161
    ConfigObjError
256
162
    """
257
 
    def __init__(self, msg='', line_number=None, line=''):
 
163
    def __init__(self, message='', line_number=None, line=''):
258
164
        self.line = line
259
165
        self.line_number = line_number
260
 
        self.msg = msg
261
 
        SyntaxError.__init__(self, msg)
262
 
 
 
166
        self.message = message
 
167
        SyntaxError.__init__(self, message)
263
168
 
264
169
class NestingError(ConfigObjError):
265
170
    """
266
171
    This error indicates a level of nesting that doesn't match.
 
172
    
 
173
    >>> raise NestingError
 
174
    Traceback (most recent call last):
 
175
    NestingError
267
176
    """
268
177
 
269
 
 
270
178
class ParseError(ConfigObjError):
271
179
    """
272
180
    This error indicates that a line is badly written.
273
181
    It is neither a valid ``key = value`` line,
274
182
    nor a valid section marker line.
275
 
    """
276
 
 
277
 
 
278
 
class ReloadError(IOError):
279
 
    """
280
 
    A 'reload' operation failed.
281
 
    This exception is a subclass of ``IOError``.
282
 
    """
283
 
    def __init__(self):
284
 
        IOError.__init__(self, 'reload failed, filename is not set.')
285
 
 
 
183
    
 
184
    >>> raise ParseError
 
185
    Traceback (most recent call last):
 
186
    ParseError
 
187
    """
286
188
 
287
189
class DuplicateError(ConfigObjError):
288
190
    """
289
191
    The keyword or section specified already exists.
 
192
    
 
193
    >>> raise DuplicateError
 
194
    Traceback (most recent call last):
 
195
    DuplicateError
290
196
    """
291
197
 
292
 
 
293
198
class ConfigspecError(ConfigObjError):
294
199
    """
295
200
    An error occured whilst parsing a configspec.
 
201
    
 
202
    >>> raise ConfigspecError
 
203
    Traceback (most recent call last):
 
204
    ConfigspecError
296
205
    """
297
206
 
298
 
 
299
207
class InterpolationError(ConfigObjError):
300
208
    """Base class for the two interpolation errors."""
301
209
 
302
 
 
303
 
class InterpolationLoopError(InterpolationError):
 
210
class InterpolationDepthError(InterpolationError):
304
211
    """Maximum interpolation depth exceeded in string interpolation."""
305
212
 
306
213
    def __init__(self, option):
 
214
        """
 
215
        >>> raise InterpolationDepthError('yoda')
 
216
        Traceback (most recent call last):
 
217
        InterpolationDepthError: max interpolation depth exceeded in value "yoda".
 
218
        """
307
219
        InterpolationError.__init__(
308
220
            self,
309
 
            'interpolation loop detected in value "%s".' % option)
310
 
 
 
221
            'max interpolation depth exceeded in value "%s".' % option)
311
222
 
312
223
class RepeatSectionError(ConfigObjError):
313
224
    """
314
225
    This error indicates additional sections in a section with a
315
226
    ``__many__`` (repeated) section.
 
227
    
 
228
    >>> raise RepeatSectionError
 
229
    Traceback (most recent call last):
 
230
    RepeatSectionError
316
231
    """
317
232
 
318
 
 
319
233
class MissingInterpolationOption(InterpolationError):
320
234
    """A value specified for interpolation was missing."""
321
235
 
322
236
    def __init__(self, option):
 
237
        """
 
238
        >>> raise MissingInterpolationOption('yoda')
 
239
        Traceback (most recent call last):
 
240
        MissingInterpolationOption: missing option "yoda" in interpolation.
 
241
        """
323
242
        InterpolationError.__init__(
324
243
            self,
325
244
            'missing option "%s" in interpolation.' % option)
326
245
 
327
 
 
328
 
class UnreprError(ConfigObjError):
329
 
    """An error parsing in unrepr mode."""
330
 
 
331
 
 
332
 
 
333
 
class InterpolationEngine(object):
334
 
    """
335
 
    A helper class to help perform string interpolation.
336
 
 
337
 
    This class is an abstract base class; its descendants perform
338
 
    the actual work.
339
 
    """
340
 
 
341
 
    # compiled regexp to use in self.interpolate()
342
 
    _KEYCRE = re.compile(r"%\(([^)]*)\)s")
343
 
 
344
 
    def __init__(self, section):
345
 
        # the Section instance that "owns" this engine
346
 
        self.section = section
347
 
 
348
 
 
349
 
    def interpolate(self, key, value):
350
 
        def recursive_interpolate(key, value, section, backtrail):
351
 
            """The function that does the actual work.
352
 
 
353
 
            ``value``: the string we're trying to interpolate.
354
 
            ``section``: the section in which that string was found
355
 
            ``backtrail``: a dict to keep track of where we've been,
356
 
            to detect and prevent infinite recursion loops
357
 
 
358
 
            This is similar to a depth-first-search algorithm.
359
 
            """
360
 
            # Have we been here already?
361
 
            if backtrail.has_key((key, section.name)):
362
 
                # Yes - infinite loop detected
363
 
                raise InterpolationLoopError(key)
364
 
            # Place a marker on our backtrail so we won't come back here again
365
 
            backtrail[(key, section.name)] = 1
366
 
 
367
 
            # Now start the actual work
368
 
            match = self._KEYCRE.search(value)
369
 
            while match:
370
 
                # The actual parsing of the match is implementation-dependent,
371
 
                # so delegate to our helper function
372
 
                k, v, s = self._parse_match(match)
373
 
                if k is None:
374
 
                    # That's the signal that no further interpolation is needed
375
 
                    replacement = v
376
 
                else:
377
 
                    # Further interpolation may be needed to obtain final value
378
 
                    replacement = recursive_interpolate(k, v, s, backtrail)
379
 
                # Replace the matched string with its final value
380
 
                start, end = match.span()
381
 
                value = ''.join((value[:start], replacement, value[end:]))
382
 
                new_search_start = start + len(replacement)
383
 
                # Pick up the next interpolation key, if any, for next time
384
 
                # through the while loop
385
 
                match = self._KEYCRE.search(value, new_search_start)
386
 
 
387
 
            # Now safe to come back here again; remove marker from backtrail
388
 
            del backtrail[(key, section.name)]
389
 
 
390
 
            return value
391
 
 
392
 
        # Back in interpolate(), all we have to do is kick off the recursive
393
 
        # function with appropriate starting values
394
 
        value = recursive_interpolate(key, value, self.section, {})
395
 
        return value
396
 
 
397
 
 
398
 
    def _fetch(self, key):
399
 
        """Helper function to fetch values from owning section.
400
 
 
401
 
        Returns a 2-tuple: the value, and the section where it was found.
402
 
        """
403
 
        # switch off interpolation before we try and fetch anything !
404
 
        save_interp = self.section.main.interpolation
405
 
        self.section.main.interpolation = False
406
 
 
407
 
        # Start at section that "owns" this InterpolationEngine
408
 
        current_section = self.section
409
 
        while True:
410
 
            # try the current section first
411
 
            val = current_section.get(key)
412
 
            if val is not None:
413
 
                break
414
 
            # try "DEFAULT" next
415
 
            val = current_section.get('DEFAULT', {}).get(key)
416
 
            if val is not None:
417
 
                break
418
 
            # move up to parent and try again
419
 
            # top-level's parent is itself
420
 
            if current_section.parent is current_section:
421
 
                # reached top level, time to give up
422
 
                break
423
 
            current_section = current_section.parent
424
 
 
425
 
        # restore interpolation to previous value before returning
426
 
        self.section.main.interpolation = save_interp
427
 
        if val is None:
428
 
            raise MissingInterpolationOption(key)
429
 
        return val, current_section
430
 
 
431
 
 
432
 
    def _parse_match(self, match):
433
 
        """Implementation-dependent helper function.
434
 
 
435
 
        Will be passed a match object corresponding to the interpolation
436
 
        key we just found (e.g., "%(foo)s" or "$foo"). Should look up that
437
 
        key in the appropriate config file section (using the ``_fetch()``
438
 
        helper function) and return a 3-tuple: (key, value, section)
439
 
 
440
 
        ``key`` is the name of the key we're looking for
441
 
        ``value`` is the value found for that key
442
 
        ``section`` is a reference to the section where it was found
443
 
 
444
 
        ``key`` and ``section`` should be None if no further
445
 
        interpolation should be performed on the resulting value
446
 
        (e.g., if we interpolated "$$" and returned "$").
447
 
        """
448
 
        raise NotImplementedError()
449
 
    
450
 
 
451
 
 
452
 
class ConfigParserInterpolation(InterpolationEngine):
453
 
    """Behaves like ConfigParser."""
454
 
    _KEYCRE = re.compile(r"%\(([^)]*)\)s")
455
 
 
456
 
    def _parse_match(self, match):
457
 
        key = match.group(1)
458
 
        value, section = self._fetch(key)
459
 
        return key, value, section
460
 
 
461
 
 
462
 
 
463
 
class TemplateInterpolation(InterpolationEngine):
464
 
    """Behaves like string.Template."""
465
 
    _delimiter = '$'
466
 
    _KEYCRE = re.compile(r"""
467
 
        \$(?:
468
 
          (?P<escaped>\$)              |   # Two $ signs
469
 
          (?P<named>[_a-z][_a-z0-9]*)  |   # $name format
470
 
          {(?P<braced>[^}]*)}              # ${name} format
471
 
        )
472
 
        """, re.IGNORECASE | re.VERBOSE)
473
 
 
474
 
    def _parse_match(self, match):
475
 
        # Valid name (in or out of braces): fetch value from section
476
 
        key = match.group('named') or match.group('braced')
477
 
        if key is not None:
478
 
            value, section = self._fetch(key)
479
 
            return key, value, section
480
 
        # Escaped delimiter (e.g., $$): return single delimiter
481
 
        if match.group('escaped') is not None:
482
 
            # Return None for key and section to indicate it's time to stop
483
 
            return None, self._delimiter, None
484
 
        # Anything else: ignore completely, just return it unchanged
485
 
        return None, match.group(), None
486
 
 
487
 
 
488
 
interpolation_engines = {
489
 
    'configparser': ConfigParserInterpolation,
490
 
    'template': TemplateInterpolation,
491
 
}
492
 
 
493
 
 
494
 
 
495
246
class Section(dict):
496
247
    """
497
248
    A dictionary-like object that represents a section in a config file.
498
249
    
499
 
    It does string interpolation if the 'interpolation' attribute
 
250
    It does string interpolation if the 'interpolate' attribute
500
251
    of the 'main' object is set to True.
501
252
    
502
 
    Interpolation is tried first from this object, then from the 'DEFAULT'
503
 
    section of this object, next from the parent and its 'DEFAULT' section,
504
 
    and so on until the main object is reached.
 
253
    Interpolation is tried first from the 'DEFAULT' section of this object,
 
254
    next from the 'DEFAULT' section of the parent, lastly the main object.
505
255
    
506
256
    A Section will behave like an ordered dictionary - following the
507
257
    order of the ``scalars`` and ``sections`` attributes.
510
260
    Iteration follows the order: scalars, then sections.
511
261
    """
512
262
 
 
263
    _KEYCRE = re.compile(r"%\(([^)]*)\)s|.")
 
264
 
513
265
    def __init__(self, parent, depth, main, indict=None, name=None):
514
266
        """
515
267
        * parent is the section above
526
278
        self.main = main
527
279
        # level of nesting depth of this Section
528
280
        self.depth = depth
 
281
        # the sequence of scalar values in this Section
 
282
        self.scalars = []
 
283
        # the sequence of sections in this Section
 
284
        self.sections = []
529
285
        # purely for information
530
286
        self.name = name
531
 
        #
532
 
        self._initialise()
533
 
        # we do this explicitly so that __setitem__ is used properly
534
 
        # (rather than just passing to ``dict.__init__``)
535
 
        for entry, value in indict.iteritems():
536
 
            self[entry] = value
537
 
            
538
 
            
539
 
    def _initialise(self):
540
 
        # the sequence of scalar values in this Section
541
 
        self.scalars = []
542
 
        # the sequence of sections in this Section
543
 
        self.sections = []
544
287
        # for comments :-)
545
288
        self.comments = {}
546
289
        self.inline_comments = {}
547
290
        # for the configspec
548
291
        self.configspec = {}
549
 
        self._order = []
550
 
        self._configspec_comments = {}
551
 
        self._configspec_inline_comments = {}
552
 
        self._cs_section_comments = {}
553
 
        self._cs_section_inline_comments = {}
554
292
        # for defaults
555
293
        self.defaults = []
556
 
        self.default_values = {}
557
 
 
558
 
 
559
 
    def _interpolate(self, key, value):
560
 
        try:
561
 
            # do we already have an interpolation engine?
562
 
            engine = self._interpolation_engine
563
 
        except AttributeError:
564
 
            # not yet: first time running _interpolate(), so pick the engine
565
 
            name = self.main.interpolation
566
 
            if name == True:  # note that "if name:" would be incorrect here
567
 
                # backwards-compatibility: interpolation=True means use default
568
 
                name = DEFAULT_INTERPOLATION
569
 
            name = name.lower()  # so that "Template", "template", etc. all work
570
 
            class_ = interpolation_engines.get(name, None)
571
 
            if class_ is None:
572
 
                # invalid value for self.main.interpolation
573
 
                self.main.interpolation = False
574
 
                return value
 
294
        #
 
295
        # we do this explicitly so that __setitem__ is used properly
 
296
        # (rather than just passing to ``dict.__init__``)
 
297
        for entry in indict:
 
298
            self[entry] = indict[entry]
 
299
 
 
300
    def _interpolate(self, value):
 
301
        """Nicked from ConfigParser."""
 
302
        depth = MAX_INTERPOL_DEPTH
 
303
        # loop through this until it's done
 
304
        while depth:
 
305
            depth -= 1
 
306
            if value.find("%(") != -1:
 
307
                value = self._KEYCRE.sub(self._interpolation_replace, value)
575
308
            else:
576
 
                # save reference to engine so we don't have to do this again
577
 
                engine = self._interpolation_engine = class_(self)
578
 
        # let the engine do the actual work
579
 
        return engine.interpolate(key, value)
 
309
                break
 
310
        else:
 
311
            raise InterpolationDepthError(value)
 
312
        return value
580
313
 
 
314
    def _interpolation_replace(self, match):
 
315
        """ """
 
316
        s = match.group(1)
 
317
        if s is None:
 
318
            return match.group()
 
319
        else:
 
320
            # switch off interpolation before we try and fetch anything !
 
321
            self.main.interpolation = False
 
322
            # try the 'DEFAULT' member of *this section* first
 
323
            val = self.get('DEFAULT', {}).get(s)
 
324
            # try the 'DEFAULT' member of the *parent section* next
 
325
            if val is None:
 
326
                val = self.parent.get('DEFAULT', {}).get(s)
 
327
            # last, try the 'DEFAULT' member of the *main section*
 
328
            if val is None:
 
329
                val = self.main.get('DEFAULT', {}).get(s)
 
330
            self.main.interpolation = True
 
331
            if val is None:
 
332
                raise MissingInterpolationOption(s)
 
333
            return val
581
334
 
582
335
    def __getitem__(self, key):
583
336
        """Fetch the item and do string interpolation."""
584
337
        val = dict.__getitem__(self, key)
585
338
        if self.main.interpolation and isinstance(val, StringTypes):
586
 
            return self._interpolate(key, val)
 
339
            return self._interpolate(val)
587
340
        return val
588
341
 
589
 
 
590
 
    def __setitem__(self, key, value, unrepr=False):
 
342
    def __setitem__(self, key, value):
591
343
        """
592
344
        Correctly set a value.
593
345
        
597
349
        Keys must be strings.
598
350
        Values need only be strings (or lists of strings) if
599
351
        ``main.stringify`` is set.
600
 
        
601
 
        `unrepr`` must be set when setting a value to a dictionary, without
602
 
        creating a new sub-section.
603
352
        """
604
353
        if not isinstance(key, StringTypes):
605
 
            raise ValueError('The key "%s" is not a string.' % key)
606
 
        
 
354
            raise ValueError, 'The key "%s" is not a string.' % key
607
355
        # add the comment
608
356
        if not self.comments.has_key(key):
609
357
            self.comments[key] = []
616
364
            if not self.has_key(key):
617
365
                self.sections.append(key)
618
366
            dict.__setitem__(self, key, value)
619
 
        elif isinstance(value, dict) and not unrepr:
 
367
        elif isinstance(value, dict):
620
368
            # First create the new depth level,
621
369
            # then create the section
622
370
            if not self.has_key(key):
640
388
                elif isinstance(value, (list, tuple)):
641
389
                    for entry in value:
642
390
                        if not isinstance(entry, StringTypes):
643
 
                            raise TypeError('Value is not a string "%s".' % entry)
 
391
                            raise TypeError, (
 
392
                                'Value is not a string "%s".' % entry)
644
393
                else:
645
 
                    raise TypeError('Value is not a string "%s".' % value)
 
394
                    raise TypeError, 'Value is not a string "%s".' % value
646
395
            dict.__setitem__(self, key, value)
647
396
 
648
 
 
649
397
    def __delitem__(self, key):
650
398
        """Remove items from the sequence when deleting."""
651
399
        dict. __delitem__(self, key)
656
404
        del self.comments[key]
657
405
        del self.inline_comments[key]
658
406
 
659
 
 
660
407
    def get(self, key, default=None):
661
408
        """A version of ``get`` that doesn't bypass string interpolation."""
662
409
        try:
664
411
        except KeyError:
665
412
            return default
666
413
 
667
 
 
668
414
    def update(self, indict):
669
415
        """
670
416
        A version of update that uses our ``__setitem__``.
674
420
 
675
421
 
676
422
    def pop(self, key, *args):
677
 
        """
678
 
        'D.pop(k[,d]) -> v, remove specified key and return the corresponding value.
679
 
        If key is not found, d is returned if given, otherwise KeyError is raised'
680
 
        """
 
423
        """ """
681
424
        val = dict.pop(self, key, *args)
682
425
        if key in self.scalars:
683
426
            del self.comments[key]
688
431
            del self.inline_comments[key]
689
432
            self.sections.remove(key)
690
433
        if self.main.interpolation and isinstance(val, StringTypes):
691
 
            return self._interpolate(key, val)
 
434
            return self._interpolate(val)
692
435
        return val
693
436
 
694
 
 
695
437
    def popitem(self):
696
438
        """Pops the first (key,val)"""
697
439
        sequence = (self.scalars + self.sections)
698
440
        if not sequence:
699
 
            raise KeyError(": 'popitem(): dictionary is empty'")
 
441
            raise KeyError, ": 'popitem(): dictionary is empty'"
700
442
        key = sequence[0]
701
443
        val =  self[key]
702
444
        del self[key]
703
445
        return key, val
704
446
 
705
 
 
706
447
    def clear(self):
707
448
        """
708
449
        A version of clear that also affects scalars/sections
718
459
        self.inline_comments = {}
719
460
        self.configspec = {}
720
461
 
721
 
 
722
462
    def setdefault(self, key, default=None):
723
463
        """A version of setdefault that sets sequence if appropriate."""
724
464
        try:
727
467
            self[key] = default
728
468
            return self[key]
729
469
 
730
 
 
731
470
    def items(self):
732
 
        """D.items() -> list of D's (key, value) pairs, as 2-tuples"""
 
471
        """ """
733
472
        return zip((self.scalars + self.sections), self.values())
734
473
 
735
 
 
736
474
    def keys(self):
737
 
        """D.keys() -> list of D's keys"""
 
475
        """ """
738
476
        return (self.scalars + self.sections)
739
477
 
740
 
 
741
478
    def values(self):
742
 
        """D.values() -> list of D's values"""
 
479
        """ """
743
480
        return [self[key] for key in (self.scalars + self.sections)]
744
481
 
745
 
 
746
482
    def iteritems(self):
747
 
        """D.iteritems() -> an iterator over the (key, value) items of D"""
 
483
        """ """
748
484
        return iter(self.items())
749
485
 
750
 
 
751
486
    def iterkeys(self):
752
 
        """D.iterkeys() -> an iterator over the keys of D"""
 
487
        """ """
753
488
        return iter((self.scalars + self.sections))
754
489
 
755
490
    __iter__ = iterkeys
756
491
 
757
 
 
758
492
    def itervalues(self):
759
 
        """D.itervalues() -> an iterator over the values of D"""
 
493
        """ """
760
494
        return iter(self.values())
761
495
 
762
 
 
763
496
    def __repr__(self):
764
 
        """x.__repr__() <==> repr(x)"""
765
497
        return '{%s}' % ', '.join([('%s: %s' % (repr(key), repr(self[key])))
766
498
            for key in (self.scalars + self.sections)])
767
499
 
768
500
    __str__ = __repr__
769
 
    __str__.__doc__ = "x.__str__() <==> str(x)"
770
 
 
771
501
 
772
502
    # Extra methods - not in a normal dictionary
773
503
 
789
519
            this_entry = self[entry]
790
520
            if isinstance(this_entry, Section):
791
521
                this_entry = this_entry.dict()
792
 
            elif isinstance(this_entry, list):
 
522
            elif isinstance(this_entry, (list, tuple)):
793
523
                # create a copy rather than a reference
794
524
                this_entry = list(this_entry)
795
 
            elif isinstance(this_entry, tuple):
796
 
                # create a copy rather than a reference
797
 
                this_entry = tuple(this_entry)
798
525
            newdict[entry] = this_entry
799
526
        return newdict
800
527
 
801
 
 
802
528
    def merge(self, indict):
803
529
        """
804
530
        A recursive update - useful for merging config files.
825
551
            else:   
826
552
                self[key] = val
827
553
 
828
 
 
829
554
    def rename(self, oldkey, newkey):
830
555
        """
831
556
        Change a keyname to another, without changing position in sequence.
840
565
        elif oldkey in self.sections:
841
566
            the_list = self.sections
842
567
        else:
843
 
            raise KeyError('Key "%s" not found.' % oldkey)
 
568
            raise KeyError, 'Key "%s" not found.' % oldkey
844
569
        pos = the_list.index(oldkey)
845
570
        #
846
571
        val = self[oldkey]
855
580
        self.comments[newkey] = comm
856
581
        self.inline_comments[newkey] = inline_comment
857
582
 
858
 
 
859
583
    def walk(self, function, raise_errors=True,
860
584
            call_on_sections=False, **keywargs):
861
585
        """
940
664
                **keywargs)
941
665
        return out
942
666
 
943
 
 
944
667
    def decode(self, encoding):
945
668
        """
946
669
        Decode all strings and values to unicode, using the specified encoding.
966
689
        >>> a == m
967
690
        1
968
691
        """
969
 
        warn('use of ``decode`` is deprecated.', DeprecationWarning)
970
 
        def decode(section, key, encoding=encoding, warn=True):
 
692
        def decode(section, key, encoding=encoding):
971
693
            """ """
972
694
            val = section[key]
973
695
            if isinstance(val, (list, tuple)):
984
706
        # using ``call_on_sections`` allows us to modify section names
985
707
        self.walk(decode, call_on_sections=True)
986
708
 
987
 
 
988
709
    def encode(self, encoding):
989
710
        """
990
711
        Encode all strings and values from unicode,
993
714
        Works with subsections and list values.
994
715
        Uses the ``walk`` method.
995
716
        """
996
 
        warn('use of ``encode`` is deprecated.', DeprecationWarning)
997
717
        def encode(section, key, encoding=encoding):
998
718
            """ """
999
719
            val = section[key]
1010
730
            section[newkey] = newval
1011
731
        self.walk(encode, call_on_sections=True)
1012
732
 
1013
 
 
1014
733
    def istrue(self, key):
1015
734
        """A deprecated version of ``as_bool``."""
1016
735
        warn('use of ``istrue`` is deprecated. Use ``as_bool`` method '
1017
736
                'instead.', DeprecationWarning)
1018
737
        return self.as_bool(key)
1019
738
 
1020
 
 
1021
739
    def as_bool(self, key):
1022
740
        """
1023
741
        Accepts a key as input. The corresponding value must be a string or
1054
772
        else:
1055
773
            try:
1056
774
                if not isinstance(val, StringTypes):
1057
 
                    # TODO: Why do we raise a KeyError here?
1058
 
                    raise KeyError()
 
775
                    raise KeyError
1059
776
                else:
1060
777
                    return self.main._bools[val.lower()]
1061
778
            except KeyError:
1062
779
                raise ValueError('Value "%s" is neither True nor False' % val)
1063
780
 
1064
 
 
1065
781
    def as_int(self, key):
1066
782
        """
1067
783
        A convenience method which coerces the specified value to an integer.
1084
800
        """
1085
801
        return int(self[key])
1086
802
 
1087
 
 
1088
803
    def as_float(self, key):
1089
804
        """
1090
805
        A convenience method which coerces the specified value to a float.
1105
820
        3.2000000000000002
1106
821
        """
1107
822
        return float(self[key])
1108
 
 
1109
 
 
1110
 
    def restore_default(self, key):
1111
 
        """
1112
 
        Restore (and return) default value for the specified key.
1113
 
        
1114
 
        This method will only work for a ConfigObj that was created
1115
 
        with a configspec and has been validated.
1116
 
        
1117
 
        If there is no default value for this key, ``KeyError`` is raised.
1118
 
        """
1119
 
        default = self.default_values[key]
1120
 
        dict.__setitem__(self, key, default)
1121
 
        if key not in self.defaults:
1122
 
            self.defaults.append(key)
1123
 
        return default
1124
 
 
1125
823
    
1126
 
    def restore_defaults(self):
1127
 
        """
1128
 
        Recursively restore default values to all members
1129
 
        that have them.
1130
 
        
1131
 
        This method will only work for a ConfigObj that was created
1132
 
        with a configspec and has been validated.
1133
 
        
1134
 
        It doesn't delete or modify entries without default values.
1135
 
        """
1136
 
        for key in self.default_values:
1137
 
            self.restore_default(key)
1138
 
            
1139
 
        for section in self.sections:
1140
 
            self[section].restore_defaults()
1141
 
 
1142
824
 
1143
825
class ConfigObj(Section):
1144
 
    """An object to read, create, and write config files."""
 
826
    """
 
827
    An object to read, create, and write config files.
 
828
    
 
829
    Testing with duplicate keys and sections.
 
830
    
 
831
    >>> c = '''
 
832
    ... [hello]
 
833
    ... member = value
 
834
    ... [hello again]
 
835
    ... member = value
 
836
    ... [ "hello" ]
 
837
    ... member = value
 
838
    ... '''
 
839
    >>> ConfigObj(c.split('\\n'), raise_errors = True)
 
840
    Traceback (most recent call last):
 
841
    DuplicateError: Duplicate section name at line 5.
 
842
    
 
843
    >>> d = '''
 
844
    ... [hello]
 
845
    ... member = value
 
846
    ... [hello again]
 
847
    ... member1 = value
 
848
    ... member2 = value
 
849
    ... 'member1' = value
 
850
    ... [ "and again" ]
 
851
    ... member = value
 
852
    ... '''
 
853
    >>> ConfigObj(d.split('\\n'), raise_errors = True)
 
854
    Traceback (most recent call last):
 
855
    DuplicateError: Duplicate keyword name at line 6.
 
856
    """
1145
857
 
1146
858
    _keyword = re.compile(r'''^ # line start
1147
859
        (\s*)                   # indentation
1171
883
 
1172
884
    # this regexp pulls list values out as a single string
1173
885
    # or single values and comments
1174
 
    # FIXME: this regex adds a '' to the end of comma terminated lists
1175
 
    #   workaround in ``_handle_value``
1176
886
    _valueexp = re.compile(r'''^
1177
887
        (?:
1178
888
            (?:
1181
891
                        (?:
1182
892
                            (?:".*?")|              # double quotes
1183
893
                            (?:'.*?')|              # single quotes
1184
 
                            (?:[^'",\#][^,\#]*?)    # unquoted
 
894
                            (?:[^'",\#][^,\#]*?)       # unquoted
1185
895
                        )
1186
896
                        \s*,\s*                     # comma
1187
897
                    )*      # match all list items ending in a comma (if any)
1189
899
                (
1190
900
                    (?:".*?")|                      # double quotes
1191
901
                    (?:'.*?')|                      # single quotes
1192
 
                    (?:[^'",\#\s][^,]*?)|           # unquoted
1193
 
                    (?:(?<!,))                      # Empty value
 
902
                    (?:[^'",\#\s][^,]*?)             # unquoted
1194
903
                )?          # last item in a list - or string value
1195
904
            )|
1196
905
            (,)             # alternatively a single comma - empty list
1216
925
        (
1217
926
            (?:".*?")|          # double quotes
1218
927
            (?:'.*?')|          # single quotes
1219
 
            (?:[^'"\#].*?)|     # unquoted
1220
 
            (?:)                # Empty value
 
928
            (?:[^'"\#].*?)      # unquoted
1221
929
        )
1222
930
        \s*(\#.*)?              # optional comment
1223
931
        $''',
1242
950
        'true': True, 'false': False,
1243
951
        }
1244
952
 
1245
 
 
1246
953
    def __init__(self, infile=None, options=None, **kwargs):
1247
954
        """
1248
 
        Parse a config file or create a config file object.
 
955
        Parse or create a config file object.
1249
956
        
1250
957
        ``ConfigObj(infile=None, options=None, **kwargs)``
1251
958
        """
1252
 
        # init the superclass
1253
 
        Section.__init__(self, self, 0, self)
1254
 
        
1255
959
        if infile is None:
1256
960
            infile = []
1257
961
        if options is None:
1258
962
            options = {}
1259
 
        else:
1260
 
            options = dict(options)
1261
 
            
1262
963
        # keyword arguments take precedence over an options dictionary
1263
964
        options.update(kwargs)
1264
 
        
 
965
        # init the superclass
 
966
        Section.__init__(self, self, 0, self)
 
967
        #
1265
968
        defaults = OPTION_DEFAULTS.copy()
 
969
        for entry in options.keys():
 
970
            if entry not in defaults.keys():
 
971
                raise TypeError, 'Unrecognised option "%s".' % entry
1266
972
        # TODO: check the values too.
1267
 
        for entry in options:
1268
 
            if entry not in defaults:
1269
 
                raise TypeError('Unrecognised option "%s".' % entry)
1270
 
        
 
973
        #
1271
974
        # Add any explicit options to the defaults
1272
975
        defaults.update(options)
1273
 
        self._initialise(defaults)
1274
 
        configspec = defaults['configspec']
1275
 
        self._original_configspec = configspec
1276
 
        self._load(infile, configspec)
1277
 
        
1278
 
        
1279
 
    def _load(self, infile, configspec):
 
976
        #
 
977
        # initialise a few variables
 
978
        self.filename = None
 
979
        self._errors = []
 
980
        self.raise_errors = defaults['raise_errors']
 
981
        self.interpolation = defaults['interpolation']
 
982
        self.list_values = defaults['list_values']
 
983
        self.create_empty = defaults['create_empty']
 
984
        self.file_error = defaults['file_error']
 
985
        self.stringify = defaults['stringify']
 
986
        self.indent_type = defaults['indent_type']
 
987
        self.encoding = defaults['encoding']
 
988
        self.default_encoding = defaults['default_encoding']
 
989
        self.BOM = False
 
990
        self.newlines = None
 
991
        #
 
992
        self.initial_comment = []
 
993
        self.final_comment = []
 
994
        #
1280
995
        if isinstance(infile, StringTypes):
1281
996
            self.filename = infile
1282
997
            if os.path.isfile(infile):
1283
 
                h = open(infile, 'rb')
1284
 
                infile = h.read() or []
1285
 
                h.close()
 
998
                infile = open(infile).read() or []
1286
999
            elif self.file_error:
1287
1000
                # raise an error if the file doesn't exist
1288
 
                raise IOError('Config file not found: "%s".' % self.filename)
 
1001
                raise IOError, 'Config file not found: "%s".' % self.filename
1289
1002
            else:
1290
1003
                # file doesn't already exist
1291
1004
                if self.create_empty:
1292
1005
                    # this is a good test that the filename specified
1293
 
                    # isn't impossible - like on a non-existent device
 
1006
                    # isn't impossible - like on a non existent device
1294
1007
                    h = open(infile, 'w')
1295
1008
                    h.write('')
1296
1009
                    h.close()
1297
1010
                infile = []
1298
 
                
1299
1011
        elif isinstance(infile, (list, tuple)):
1300
1012
            infile = list(infile)
1301
 
            
1302
1013
        elif isinstance(infile, dict):
1303
1014
            # initialise self
1304
1015
            # the Section class handles creating subsections
1305
1016
            if isinstance(infile, ConfigObj):
1306
1017
                # get a copy of our ConfigObj
1307
1018
                infile = infile.dict()
1308
 
                
1309
1019
            for entry in infile:
1310
1020
                self[entry] = infile[entry]
1311
1021
            del self._errors
1312
 
            
1313
 
            if configspec is not None:
1314
 
                self._handle_configspec(configspec)
 
1022
            if defaults['configspec'] is not None:
 
1023
                self._handle_configspec(defaults['configspec'])
1315
1024
            else:
1316
1025
                self.configspec = None
1317
1026
            return
1318
 
        
1319
 
        elif getattr(infile, 'read', None) is not None:
 
1027
        elif hasattr(infile, 'read'):
1320
1028
            # This supports file like objects
1321
1029
            infile = infile.read() or []
1322
1030
            # needs splitting into lines - but needs doing *after* decoding
1323
1031
            # in case it's not an 8 bit encoding
1324
1032
        else:
1325
 
            raise TypeError('infile must be a filename, file like object, or list of lines.')
1326
 
        
 
1033
            raise TypeError, ('infile must be a filename,'
 
1034
                ' file like object, or list of lines.')
 
1035
        #
1327
1036
        if infile:
1328
1037
            # don't do it for the empty ConfigObj
1329
1038
            infile = self._handle_bom(infile)
1332
1041
            # Set the newlines attribute (first line ending it finds)
1333
1042
            # and strip trailing '\n' or '\r' from lines
1334
1043
            for line in infile:
1335
 
                if (not line) or (line[-1] not in ('\r', '\n', '\r\n')):
 
1044
                if (not line) or (line[-1] not in '\r\n'):
1336
1045
                    continue
1337
1046
                for end in ('\r\n', '\n', '\r'):
1338
1047
                    if line.endswith(end):
1339
1048
                        self.newlines = end
1340
1049
                        break
1341
1050
                break
1342
 
 
1343
1051
            infile = [line.rstrip('\r\n') for line in infile]
1344
 
            
 
1052
        #
1345
1053
        self._parse(infile)
1346
1054
        # if we had any errors, now is the time to raise them
1347
1055
        if self._errors:
1348
 
            info = "at line %s." % self._errors[0].line_number
1349
 
            if len(self._errors) > 1:
1350
 
                msg = "Parsing failed with several errors.\nFirst error %s" % info
1351
 
                error = ConfigObjError(msg)
1352
 
            else:
1353
 
                error = self._errors[0]
 
1056
            error = ConfigObjError("Parsing failed.")
1354
1057
            # set the errors attribute; it's a list of tuples:
1355
1058
            # (error_type, message, line_number)
1356
1059
            error.errors = self._errors
1359
1062
            raise error
1360
1063
        # delete private attributes
1361
1064
        del self._errors
1362
 
        
1363
 
        if configspec is None:
 
1065
        #
 
1066
        if defaults['configspec'] is None:
1364
1067
            self.configspec = None
1365
1068
        else:
1366
 
            self._handle_configspec(configspec)
1367
 
    
1368
 
    
1369
 
    def _initialise(self, options=None):
1370
 
        if options is None:
1371
 
            options = OPTION_DEFAULTS
1372
 
            
1373
 
        # initialise a few variables
1374
 
        self.filename = None
1375
 
        self._errors = []
1376
 
        self.raise_errors = options['raise_errors']
1377
 
        self.interpolation = options['interpolation']
1378
 
        self.list_values = options['list_values']
1379
 
        self.create_empty = options['create_empty']
1380
 
        self.file_error = options['file_error']
1381
 
        self.stringify = options['stringify']
1382
 
        self.indent_type = options['indent_type']
1383
 
        self.encoding = options['encoding']
1384
 
        self.default_encoding = options['default_encoding']
1385
 
        self.BOM = False
1386
 
        self.newlines = None
1387
 
        self.write_empty_values = options['write_empty_values']
1388
 
        self.unrepr = options['unrepr']
1389
 
        
1390
 
        self.initial_comment = []
1391
 
        self.final_comment = []
1392
 
        self.configspec = {}
1393
 
        
1394
 
        # Clear section attributes as well
1395
 
        Section._initialise(self)
1396
 
        
1397
 
        
1398
 
    def __repr__(self):
1399
 
        return ('ConfigObj({%s})' % 
1400
 
                ', '.join([('%s: %s' % (repr(key), repr(self[key]))) 
1401
 
                for key in (self.scalars + self.sections)]))
1402
 
    
1403
 
    
 
1069
            self._handle_configspec(defaults['configspec'])
 
1070
 
1404
1071
    def _handle_bom(self, infile):
1405
1072
        """
1406
1073
        Handle any BOM, and decode if necessary.
1426
1093
        if ((self.encoding is not None) and
1427
1094
            (self.encoding.lower() not in BOM_LIST)):
1428
1095
            # No need to check for a BOM
1429
 
            # the encoding specified doesn't have one
 
1096
            # encoding specified doesn't have one
1430
1097
            # just decode
1431
1098
            return self._decode(infile, self.encoding)
1432
 
        
 
1099
        #
1433
1100
        if isinstance(infile, (list, tuple)):
1434
1101
            line = infile[0]
1435
1102
        else:
1451
1118
                        ##self.BOM = True
1452
1119
                        # Don't need to remove BOM
1453
1120
                        return self._decode(infile, encoding)
1454
 
                    
 
1121
                #
1455
1122
                # If we get this far, will *probably* raise a DecodeError
1456
1123
                # As it doesn't appear to start with a BOM
1457
1124
                return self._decode(infile, self.encoding)
1458
 
            
 
1125
            #
1459
1126
            # Must be UTF8
1460
1127
            BOM = BOM_SET[enc]
1461
1128
            if not line.startswith(BOM):
1462
1129
                return self._decode(infile, self.encoding)
1463
 
            
 
1130
            #
1464
1131
            newline = line[len(BOM):]
1465
 
            
 
1132
            #
1466
1133
            # BOM removed
1467
1134
            if isinstance(infile, (list, tuple)):
1468
1135
                infile[0] = newline
1470
1137
                infile = newline
1471
1138
            self.BOM = True
1472
1139
            return self._decode(infile, self.encoding)
1473
 
        
 
1140
        #
1474
1141
        # No encoding specified - so we need to check for UTF8/UTF16
1475
1142
        for BOM, (encoding, final_encoding) in BOMS.items():
1476
1143
            if not line.startswith(BOM):
1494
1161
                        return infile
1495
1162
                # UTF16 - have to decode
1496
1163
                return self._decode(infile, encoding)
1497
 
            
 
1164
        #
1498
1165
        # No BOM discovered and no encoding specified, just return
1499
1166
        if isinstance(infile, StringTypes):
1500
1167
            # infile read from a file will be a single string
1501
1168
            return infile.splitlines(True)
1502
 
        return infile
1503
 
 
1504
 
 
1505
 
    def _a_to_u(self, aString):
1506
 
        """Decode ASCII strings to unicode if a self.encoding is specified."""
1507
 
        if self.encoding:
1508
 
            return aString.decode('ascii')
1509
 
        else:
1510
 
            return aString
1511
 
 
 
1169
        else:
 
1170
            return infile
 
1171
 
 
1172
    def _a_to_u(self, string):
 
1173
        """Decode ascii strings to unicode if a self.encoding is specified."""
 
1174
        if not self.encoding:
 
1175
            return string
 
1176
        else:
 
1177
            return string.decode('ascii')
1512
1178
 
1513
1179
    def _decode(self, infile, encoding):
1514
1180
        """
1528
1194
                infile[i] = line.decode(encoding)
1529
1195
        return infile
1530
1196
 
1531
 
 
1532
1197
    def _decode_element(self, line):
1533
1198
        """Decode element to unicode if necessary."""
1534
1199
        if not self.encoding:
1537
1202
            return line.decode(self.default_encoding)
1538
1203
        return line
1539
1204
 
1540
 
 
1541
1205
    def _str(self, value):
1542
1206
        """
1543
1207
        Used by ``stringify`` within validate, to turn non-string values
1548
1212
        else:
1549
1213
            return value
1550
1214
 
1551
 
 
1552
1215
    def _parse(self, infile):
1553
 
        """Actually parse the config file."""
1554
 
        temp_list_values = self.list_values
1555
 
        if self.unrepr:
1556
 
            self.list_values = False
1557
 
            
 
1216
        """
 
1217
        Actually parse the config file
 
1218
        
 
1219
        Testing Interpolation
 
1220
        
 
1221
        >>> c = ConfigObj()
 
1222
        >>> c['DEFAULT'] = {
 
1223
        ...     'b': 'goodbye',
 
1224
        ...     'userdir': 'c:\\\\home',
 
1225
        ...     'c': '%(d)s',
 
1226
        ...     'd': '%(c)s'
 
1227
        ... }
 
1228
        >>> c['section'] = {
 
1229
        ...     'a': '%(datadir)s\\\\some path\\\\file.py',
 
1230
        ...     'b': '%(userdir)s\\\\some path\\\\file.py',
 
1231
        ...     'c': 'Yo %(a)s',
 
1232
        ...     'd': '%(not_here)s',
 
1233
        ...     'e': '%(c)s',
 
1234
        ... }
 
1235
        >>> c['section']['DEFAULT'] = {
 
1236
        ...     'datadir': 'c:\\\\silly_test',
 
1237
        ...     'a': 'hello - %(b)s',
 
1238
        ... }
 
1239
        >>> c['section']['a'] == 'c:\\\\silly_test\\\\some path\\\\file.py'
 
1240
        1
 
1241
        >>> c['section']['b'] == 'c:\\\\home\\\\some path\\\\file.py'
 
1242
        1
 
1243
        >>> c['section']['c'] == 'Yo hello - goodbye'
 
1244
        1
 
1245
        
 
1246
        Switching Interpolation Off
 
1247
        
 
1248
        >>> c.interpolation = False
 
1249
        >>> c['section']['a'] == '%(datadir)s\\\\some path\\\\file.py'
 
1250
        1
 
1251
        >>> c['section']['b'] == '%(userdir)s\\\\some path\\\\file.py'
 
1252
        1
 
1253
        >>> c['section']['c'] == 'Yo %(a)s'
 
1254
        1
 
1255
        
 
1256
        Testing the interpolation errors.
 
1257
        
 
1258
        >>> c.interpolation = True
 
1259
        >>> c['section']['d']
 
1260
        Traceback (most recent call last):
 
1261
        MissingInterpolationOption: missing option "not_here" in interpolation.
 
1262
        >>> c['section']['e']
 
1263
        Traceback (most recent call last):
 
1264
        InterpolationDepthError: max interpolation depth exceeded in value "%(c)s".
 
1265
        
 
1266
        Testing our quoting.
 
1267
        
 
1268
        >>> i._quote('\"""\'\'\'')
 
1269
        Traceback (most recent call last):
 
1270
        SyntaxError: EOF while scanning triple-quoted string
 
1271
        >>> try:
 
1272
        ...     i._quote('\\n', multiline=False)
 
1273
        ... except ConfigObjError, e:
 
1274
        ...    e.msg
 
1275
        'Value "\\n" cannot be safely quoted.'
 
1276
        >>> k._quote(' "\' ', multiline=False)
 
1277
        Traceback (most recent call last):
 
1278
        SyntaxError: EOL while scanning single-quoted string
 
1279
        
 
1280
        Testing with "stringify" off.
 
1281
        >>> c.stringify = False
 
1282
        >>> c['test'] = 1
 
1283
        Traceback (most recent call last):
 
1284
        TypeError: Value is not a string "1".
 
1285
        """
1558
1286
        comment_list = []
1559
1287
        done_start = False
1560
1288
        this_section = self
1561
1289
        maxline = len(infile) - 1
1562
1290
        cur_index = -1
1563
1291
        reset_comment = False
1564
 
        
1565
1292
        while cur_index < maxline:
1566
1293
            if reset_comment:
1567
1294
                comment_list = []
1573
1300
                reset_comment = False
1574
1301
                comment_list.append(line)
1575
1302
                continue
1576
 
            
1577
1303
            if not done_start:
1578
1304
                # preserve initial comment
1579
1305
                self.initial_comment = comment_list
1580
1306
                comment_list = []
1581
1307
                done_start = True
1582
 
                
1583
1308
            reset_comment = True
1584
1309
            # first we check if it's a section marker
1585
1310
            mat = self._sectionmarker.match(line)
 
1311
##            print >> sys.stderr, sline, mat
1586
1312
            if mat is not None:
1587
1313
                # is a section line
1588
 
                (indent, sect_open, sect_name, sect_close, comment) = mat.groups()
 
1314
                (indent, sect_open, sect_name, sect_close, comment) = (
 
1315
                    mat.groups())
1589
1316
                if indent and (self.indent_type is None):
1590
 
                    self.indent_type = indent
 
1317
                    self.indent_type = indent[0]
1591
1318
                cur_depth = sect_open.count('[')
1592
1319
                if cur_depth != sect_close.count(']'):
1593
 
                    self._handle_error("Cannot compute the section depth at line %s.",
1594
 
                                       NestingError, infile, cur_index)
 
1320
                    self._handle_error(
 
1321
                        "Cannot compute the section depth at line %s.",
 
1322
                        NestingError, infile, cur_index)
1595
1323
                    continue
1596
 
                
1597
1324
                if cur_depth < this_section.depth:
1598
1325
                    # the new section is dropping back to a previous level
1599
1326
                    try:
1600
 
                        parent = self._match_depth(this_section,
1601
 
                                                   cur_depth).parent
 
1327
                        parent = self._match_depth(
 
1328
                            this_section,
 
1329
                            cur_depth).parent
1602
1330
                    except SyntaxError:
1603
 
                        self._handle_error("Cannot compute nesting level at line %s.",
1604
 
                                           NestingError, infile, cur_index)
 
1331
                        self._handle_error(
 
1332
                            "Cannot compute nesting level at line %s.",
 
1333
                            NestingError, infile, cur_index)
1605
1334
                        continue
1606
1335
                elif cur_depth == this_section.depth:
1607
1336
                    # the new section is a sibling of the current section
1610
1339
                    # the new section is a child the current section
1611
1340
                    parent = this_section
1612
1341
                else:
1613
 
                    self._handle_error("Section too nested at line %s.",
1614
 
                                       NestingError, infile, cur_index)
1615
 
                    
 
1342
                    self._handle_error(
 
1343
                        "Section too nested at line %s.",
 
1344
                        NestingError, infile, cur_index)
 
1345
                #
1616
1346
                sect_name = self._unquote(sect_name)
1617
1347
                if parent.has_key(sect_name):
1618
 
                    self._handle_error('Duplicate section name at line %s.',
1619
 
                                       DuplicateError, infile, cur_index)
 
1348
##                    print >> sys.stderr, sect_name
 
1349
                    self._handle_error(
 
1350
                        'Duplicate section name at line %s.',
 
1351
                        DuplicateError, infile, cur_index)
1620
1352
                    continue
1621
 
                
1622
1353
                # create the new section
1623
1354
                this_section = Section(
1624
1355
                    parent,
1628
1359
                parent[sect_name] = this_section
1629
1360
                parent.inline_comments[sect_name] = comment
1630
1361
                parent.comments[sect_name] = comment_list
 
1362
##                print >> sys.stderr, parent[sect_name] is this_section
1631
1363
                continue
1632
1364
            #
1633
1365
            # it's not a section marker,
1634
1366
            # so it should be a valid ``key = value`` line
1635
1367
            mat = self._keyword.match(line)
1636
 
            if mat is None:
1637
 
                # it neither matched as a keyword
1638
 
                # or a section marker
1639
 
                self._handle_error(
1640
 
                    'Invalid line at line "%s".',
1641
 
                    ParseError, infile, cur_index)
1642
 
            else:
 
1368
##            print >> sys.stderr, sline, mat
 
1369
            if mat is not None:
1643
1370
                # is a keyword value
1644
1371
                # value will include any inline comment
1645
1372
                (indent, key, value) = mat.groups()
1646
1373
                if indent and (self.indent_type is None):
1647
 
                    self.indent_type = indent
 
1374
                    self.indent_type = indent[0]
1648
1375
                # check for a multiline value
1649
1376
                if value[:3] in ['"""', "'''"]:
1650
1377
                    try:
1655
1382
                            'Parse error in value at line %s.',
1656
1383
                            ParseError, infile, cur_index)
1657
1384
                        continue
1658
 
                    else:
1659
 
                        if self.unrepr:
1660
 
                            comment = ''
1661
 
                            try:
1662
 
                                value = unrepr(value)
1663
 
                            except Exception, e:
1664
 
                                if type(e) == UnknownType:
1665
 
                                    msg = 'Unknown name or type in value at line %s.'
1666
 
                                else:
1667
 
                                    msg = 'Parse error in value at line %s.'
1668
 
                                self._handle_error(msg, UnreprError, infile,
1669
 
                                    cur_index)
1670
 
                                continue
1671
1385
                else:
1672
 
                    if self.unrepr:
1673
 
                        comment = ''
1674
 
                        try:
1675
 
                            value = unrepr(value)
1676
 
                        except Exception, e:
1677
 
                            if isinstance(e, UnknownType):
1678
 
                                msg = 'Unknown name or type in value at line %s.'
1679
 
                            else:
1680
 
                                msg = 'Parse error in value at line %s.'
1681
 
                            self._handle_error(msg, UnreprError, infile,
1682
 
                                cur_index)
1683
 
                            continue
1684
 
                    else:
1685
 
                        # extract comment and lists
1686
 
                        try:
1687
 
                            (value, comment) = self._handle_value(value)
1688
 
                        except SyntaxError:
1689
 
                            self._handle_error(
1690
 
                                'Parse error in value at line %s.',
1691
 
                                ParseError, infile, cur_index)
1692
 
                            continue
 
1386
                    # extract comment and lists
 
1387
                    try:
 
1388
                        (value, comment) = self._handle_value(value)
 
1389
                    except SyntaxError:
 
1390
                        self._handle_error(
 
1391
                            'Parse error in value at line %s.',
 
1392
                            ParseError, infile, cur_index)
 
1393
                        continue
1693
1394
                #
 
1395
##                print >> sys.stderr, sline
1694
1396
                key = self._unquote(key)
1695
1397
                if this_section.has_key(key):
1696
1398
                    self._handle_error(
1697
1399
                        'Duplicate keyword name at line %s.',
1698
1400
                        DuplicateError, infile, cur_index)
1699
1401
                    continue
1700
 
                # add the key.
1701
 
                # we set unrepr because if we have got this far we will never
1702
 
                # be creating a new section
1703
 
                this_section.__setitem__(key, value, unrepr=True)
 
1402
                # add the key
 
1403
##                print >> sys.stderr, this_section.name
 
1404
                this_section[key] = value
1704
1405
                this_section.inline_comments[key] = comment
1705
1406
                this_section.comments[key] = comment_list
 
1407
##                print >> sys.stderr, key, this_section[key]
 
1408
##                if this_section.name is not None:
 
1409
##                    print >> sys.stderr, this_section
 
1410
##                    print >> sys.stderr, this_section.parent
 
1411
##                    print >> sys.stderr, this_section.parent[this_section.name]
1706
1412
                continue
1707
 
        #
 
1413
            #
 
1414
            # it neither matched as a keyword
 
1415
            # or a section marker
 
1416
            self._handle_error(
 
1417
                'Invalid line at line "%s".',
 
1418
                ParseError, infile, cur_index)
1708
1419
        if self.indent_type is None:
1709
1420
            # no indentation used, set the type accordingly
1710
1421
            self.indent_type = ''
1711
 
 
1712
1422
        # preserve the final comment
1713
1423
        if not self and not self.initial_comment:
1714
1424
            self.initial_comment = comment_list
1715
 
        elif not reset_comment:
 
1425
        else:
1716
1426
            self.final_comment = comment_list
1717
 
        self.list_values = temp_list_values
1718
 
 
1719
1427
 
1720
1428
    def _match_depth(self, sect, depth):
1721
1429
        """
1728
1436
        while depth < sect.depth:
1729
1437
            if sect is sect.parent:
1730
1438
                # we've reached the top level already
1731
 
                raise SyntaxError()
 
1439
                raise SyntaxError
1732
1440
            sect = sect.parent
1733
1441
        if sect.depth == depth:
1734
1442
            return sect
1735
1443
        # shouldn't get here
1736
 
        raise SyntaxError()
1737
 
 
 
1444
        raise SyntaxError
1738
1445
 
1739
1446
    def _handle_error(self, text, ErrorClass, infile, cur_index):
1740
1447
        """
1744
1451
        The error will have occured at ``cur_index``
1745
1452
        """
1746
1453
        line = infile[cur_index]
1747
 
        cur_index += 1
1748
1454
        message = text % cur_index
1749
1455
        error = ErrorClass(message, cur_index, line)
1750
1456
        if self.raise_errors:
1754
1460
        # reraise when parsing has finished
1755
1461
        self._errors.append(error)
1756
1462
 
1757
 
 
1758
1463
    def _unquote(self, value):
1759
1464
        """Return an unquoted version of a value"""
1760
1465
        if (value[0] == value[-1]) and (value[0] in ('"', "'")):
1761
1466
            value = value[1:-1]
1762
1467
        return value
1763
1468
 
1764
 
 
1765
1469
    def _quote(self, value, multiline=True):
1766
1470
        """
1767
1471
        Return a safely quoted version of a value.
1776
1480
        Obey list syntax for empty and single member lists.
1777
1481
        
1778
1482
        If ``list_values=False`` then the value is only quoted if it contains
1779
 
        a ``\n`` (is multiline) or '#'.
1780
 
        
1781
 
        If ``write_empty_values`` is set, and the value is an empty string, it
1782
 
        won't be quoted.
 
1483
        a ``\n`` (is multiline).
1783
1484
        """
1784
 
        if multiline and self.write_empty_values and value == '':
1785
 
            # Only if multiline is set, so that it is used for values not
1786
 
            # keys, and not values that are part of a list
1787
 
            return ''
1788
 
        
1789
 
        if multiline and isinstance(value, (list, tuple)):
 
1485
        if isinstance(value, (list, tuple)):
1790
1486
            if not value:
1791
1487
                return ','
1792
1488
            elif len(value) == 1:
1797
1493
            if self.stringify:
1798
1494
                value = str(value)
1799
1495
            else:
1800
 
                raise TypeError('Value "%s" is not a string.' % value)
1801
 
 
 
1496
                raise TypeError, 'Value "%s" is not a string.' % value
 
1497
        squot = "'%s'"
 
1498
        dquot = '"%s"'
 
1499
        noquot = "%s"
 
1500
        wspace_plus = ' \r\t\n\v\t\'"'
 
1501
        tsquot = '"""%s"""'
 
1502
        tdquot = "'''%s'''"
1802
1503
        if not value:
1803
1504
            return '""'
1804
 
        
1805
 
        no_lists_no_quotes = not self.list_values and '\n' not in value and '#' not in value
1806
 
        need_triple = multiline and ((("'" in value) and ('"' in value)) or ('\n' in value ))
1807
 
        hash_triple_quote = multiline and not need_triple and ("'" in value) and ('"' in value) and ('#' in value)
1808
 
        check_for_single = (no_lists_no_quotes or not need_triple) and not hash_triple_quote
1809
 
        
1810
 
        if check_for_single:
 
1505
        if (not self.list_values and '\n' not in value) or not (multiline and
 
1506
                ((("'" in value) and ('"' in value)) or ('\n' in value))):
1811
1507
            if not self.list_values:
1812
1508
                # we don't quote if ``list_values=False``
1813
1509
                quot = noquot
1814
1510
            # for normal values either single or double quotes will do
1815
1511
            elif '\n' in value:
1816
1512
                # will only happen if multiline is off - e.g. '\n' in key
1817
 
                raise ConfigObjError('Value "%s" cannot be safely quoted.' % value)
 
1513
                raise ConfigObjError, ('Value "%s" cannot be safely quoted.' %
 
1514
                    value)
1818
1515
            elif ((value[0] not in wspace_plus) and
1819
1516
                    (value[-1] not in wspace_plus) and
1820
1517
                    (',' not in value)):
1821
1518
                quot = noquot
1822
1519
            else:
1823
 
                quot = self._get_single_quote(value)
 
1520
                if ("'" in value) and ('"' in value):
 
1521
                    raise ConfigObjError, (
 
1522
                        'Value "%s" cannot be safely quoted.' % value)
 
1523
                elif '"' in value:
 
1524
                    quot = squot
 
1525
                else:
 
1526
                    quot = dquot
1824
1527
        else:
1825
1528
            # if value has '\n' or "'" *and* '"', it will need triple quotes
1826
 
            quot = self._get_triple_quote(value)
1827
 
        
1828
 
        if quot == noquot and '#' in value and self.list_values:
1829
 
            quot = self._get_single_quote(value)
1830
 
                
 
1529
            if (value.find('"""') != -1) and (value.find("'''") != -1):
 
1530
                raise ConfigObjError, (
 
1531
                    'Value "%s" cannot be safely quoted.' % value)
 
1532
            if value.find('"""') == -1:
 
1533
                quot = tdquot
 
1534
            else:
 
1535
                quot = tsquot
1831
1536
        return quot % value
1832
 
    
1833
 
    
1834
 
    def _get_single_quote(self, value):
1835
 
        if ("'" in value) and ('"' in value):
1836
 
            raise ConfigObjError('Value "%s" cannot be safely quoted.' % value)
1837
 
        elif '"' in value:
1838
 
            quot = squot
1839
 
        else:
1840
 
            quot = dquot
1841
 
        return quot
1842
 
    
1843
 
    
1844
 
    def _get_triple_quote(self, value):
1845
 
        if (value.find('"""') != -1) and (value.find("'''") != -1):
1846
 
            raise ConfigObjError('Value "%s" cannot be safely quoted.' % value)
1847
 
        if value.find('"""') == -1:
1848
 
            quot = tdquot
1849
 
        else:
1850
 
            quot = tsquot 
1851
 
        return quot
1852
 
 
1853
1537
 
1854
1538
    def _handle_value(self, value):
1855
1539
        """
1856
1540
        Given a value string, unquote, remove comment,
1857
1541
        handle lists. (including empty and single member lists)
 
1542
        
 
1543
        Testing list values.
 
1544
        
 
1545
        >>> testconfig3 = '''
 
1546
        ... a = ,
 
1547
        ... b = test,
 
1548
        ... c = test1, test2   , test3
 
1549
        ... d = test1, test2, test3,
 
1550
        ... '''
 
1551
        >>> d = ConfigObj(testconfig3.split('\\n'), raise_errors=True)
 
1552
        >>> d['a'] == []
 
1553
        1
 
1554
        >>> d['b'] == ['test']
 
1555
        1
 
1556
        >>> d['c'] == ['test1', 'test2', 'test3']
 
1557
        1
 
1558
        >>> d['d'] == ['test1', 'test2', 'test3']
 
1559
        1
 
1560
        
 
1561
        Testing with list values off.
 
1562
        
 
1563
        >>> e = ConfigObj(
 
1564
        ...     testconfig3.split('\\n'),
 
1565
        ...     raise_errors=True,
 
1566
        ...     list_values=False)
 
1567
        >>> e['a'] == ','
 
1568
        1
 
1569
        >>> e['b'] == 'test,'
 
1570
        1
 
1571
        >>> e['c'] == 'test1, test2   , test3'
 
1572
        1
 
1573
        >>> e['d'] == 'test1, test2, test3,'
 
1574
        1
 
1575
        
 
1576
        Testing creating from a dictionary.
 
1577
        
 
1578
        >>> f = {
 
1579
        ...     'key1': 'val1',
 
1580
        ...     'key2': 'val2',
 
1581
        ...     'section 1': {
 
1582
        ...         'key1': 'val1',
 
1583
        ...         'key2': 'val2',
 
1584
        ...         'section 1b': {
 
1585
        ...             'key1': 'val1',
 
1586
        ...             'key2': 'val2',
 
1587
        ...         },
 
1588
        ...     },
 
1589
        ...     'section 2': {
 
1590
        ...         'key1': 'val1',
 
1591
        ...         'key2': 'val2',
 
1592
        ...         'section 2b': {
 
1593
        ...             'key1': 'val1',
 
1594
        ...             'key2': 'val2',
 
1595
        ...         },
 
1596
        ...     },
 
1597
        ...      'key3': 'val3',
 
1598
        ... }
 
1599
        >>> g = ConfigObj(f)
 
1600
        >>> f == g
 
1601
        1
 
1602
        
 
1603
        Testing we correctly detect badly built list values (4 of them).
 
1604
        
 
1605
        >>> testconfig4 = '''
 
1606
        ... config = 3,4,,
 
1607
        ... test = 3,,4
 
1608
        ... fish = ,,
 
1609
        ... dummy = ,,hello, goodbye
 
1610
        ... '''
 
1611
        >>> try:
 
1612
        ...     ConfigObj(testconfig4.split('\\n'))
 
1613
        ... except ConfigObjError, e:
 
1614
        ...     len(e.errors)
 
1615
        4
 
1616
        
 
1617
        Testing we correctly detect badly quoted values (4 of them).
 
1618
        
 
1619
        >>> testconfig5 = '''
 
1620
        ... config = "hello   # comment
 
1621
        ... test = 'goodbye
 
1622
        ... fish = 'goodbye   # comment
 
1623
        ... dummy = "hello again
 
1624
        ... '''
 
1625
        >>> try:
 
1626
        ...     ConfigObj(testconfig5.split('\\n'))
 
1627
        ... except ConfigObjError, e:
 
1628
        ...     len(e.errors)
 
1629
        4
1858
1630
        """
1859
1631
        # do we look for lists in values ?
1860
1632
        if not self.list_values:
1861
1633
            mat = self._nolistvalue.match(value)
1862
1634
            if mat is None:
1863
 
                raise SyntaxError()
 
1635
                raise SyntaxError
 
1636
            (value, comment) = mat.groups()
1864
1637
            # NOTE: we don't unquote here
1865
 
            return mat.groups()
1866
 
        #
 
1638
            return (value, comment)
1867
1639
        mat = self._valueexp.match(value)
1868
1640
        if mat is None:
1869
1641
            # the value is badly constructed, probably badly quoted,
1870
1642
            # or an invalid list
1871
 
            raise SyntaxError()
 
1643
            raise SyntaxError
1872
1644
        (list_values, single, empty_list, comment) = mat.groups()
1873
1645
        if (list_values == '') and (single is None):
1874
1646
            # change this if you want to accept empty values
1875
 
            raise SyntaxError()
 
1647
            raise SyntaxError
1876
1648
        # NOTE: note there is no error handling from here if the regex
1877
1649
        # is wrong: then incorrect values will slip through
1878
1650
        if empty_list is not None:
1879
1651
            # the single comma - meaning an empty list
1880
1652
            return ([], comment)
1881
1653
        if single is not None:
1882
 
            # handle empty values
1883
 
            if list_values and not single:
1884
 
                # FIXME: the '' is a workaround because our regex now matches
1885
 
                #   '' at the end of a list if it has a trailing comma
1886
 
                single = None
1887
 
            else:
1888
 
                single = single or '""'
1889
 
                single = self._unquote(single)
 
1654
            single = self._unquote(single)
1890
1655
        if list_values == '':
1891
1656
            # not a list value
1892
1657
            return (single, comment)
1896
1661
            the_list += [single]
1897
1662
        return (the_list, comment)
1898
1663
 
1899
 
 
1900
1664
    def _multiline(self, value, infile, cur_index, maxline):
1901
 
        """Extract the value, where we are in a multiline situation."""
 
1665
        """
 
1666
        Extract the value, where we are in a multiline situation
 
1667
        
 
1668
        Testing multiline values.
 
1669
        
 
1670
        >>> i == {
 
1671
        ...     'name4': ' another single line value ',
 
1672
        ...     'multi section': {
 
1673
        ...         'name4': '\\n        Well, this is a\\n        multiline '
 
1674
        ...             'value\\n        ',
 
1675
        ...         'name2': '\\n        Well, this is a\\n        multiline '
 
1676
        ...             'value\\n        ',
 
1677
        ...         'name3': '\\n        Well, this is a\\n        multiline '
 
1678
        ...             'value\\n        ',
 
1679
        ...         'name1': '\\n        Well, this is a\\n        multiline '
 
1680
        ...             'value\\n        ',
 
1681
        ...     },
 
1682
        ...     'name2': ' another single line value ',
 
1683
        ...     'name3': ' a single line value ',
 
1684
        ...     'name1': ' a single line value ',
 
1685
        ... }
 
1686
        1
 
1687
        """
1902
1688
        quot = value[:3]
1903
1689
        newvalue = value[3:]
1904
1690
        single_line = self._triple_quote[quot][0]
1910
1696
            return retval
1911
1697
        elif newvalue.find(quot) != -1:
1912
1698
            # somehow the triple quote is missing
1913
 
            raise SyntaxError()
 
1699
            raise SyntaxError
1914
1700
        #
1915
1701
        while cur_index < maxline:
1916
1702
            cur_index += 1
1923
1709
                break
1924
1710
        else:
1925
1711
            # we've got to the end of the config, oops...
1926
 
            raise SyntaxError()
 
1712
            raise SyntaxError
1927
1713
        mat = multi_line.match(line)
1928
1714
        if mat is None:
1929
1715
            # a badly formed line
1930
 
            raise SyntaxError()
 
1716
            raise SyntaxError
1931
1717
        (value, comment) = mat.groups()
1932
1718
        return (newvalue + value, comment, cur_index)
1933
1719
 
1934
 
 
1935
1720
    def _handle_configspec(self, configspec):
1936
1721
        """Parse the configspec."""
1937
 
        # FIXME: Should we check that the configspec was created with the 
1938
 
        #        correct settings ? (i.e. ``list_values=False``)
1939
 
        if not isinstance(configspec, ConfigObj):
1940
 
            try:
1941
 
                configspec = ConfigObj(configspec,
1942
 
                                       raise_errors=True,
1943
 
                                       file_error=True,
1944
 
                                       list_values=False)
1945
 
            except ConfigObjError, e:
1946
 
                # FIXME: Should these errors have a reference
1947
 
                #        to the already parsed ConfigObj ?
1948
 
                raise ConfigspecError('Parsing configspec failed: %s' % e)
1949
 
            except IOError, e:
1950
 
                raise IOError('Reading configspec failed: %s' % e)
1951
 
        
 
1722
        try:
 
1723
            configspec = ConfigObj(
 
1724
                configspec,
 
1725
                raise_errors=True,
 
1726
                file_error=True,
 
1727
                list_values=False)
 
1728
        except ConfigObjError, e:
 
1729
            # FIXME: Should these errors have a reference
 
1730
            # to the already parsed ConfigObj ?
 
1731
            raise ConfigspecError('Parsing configspec failed: %s' % e)
 
1732
        except IOError, e:
 
1733
            raise IOError('Reading configspec failed: %s' % e)
1952
1734
        self._set_configspec_value(configspec, self)
1953
1735
 
1954
 
 
1955
1736
    def _set_configspec_value(self, configspec, section):
1956
1737
        """Used to recursively set configspec values."""
1957
1738
        if '__many__' in configspec.sections:
1958
1739
            section.configspec['__many__'] = configspec['__many__']
1959
1740
            if len(configspec.sections) > 1:
1960
1741
                # FIXME: can we supply any useful information here ?
1961
 
                raise RepeatSectionError()
1962
 
            
1963
 
        if getattr(configspec, 'initial_comment', None) is not None:
1964
 
            section._configspec_initial_comment = configspec.initial_comment
1965
 
            section._configspec_final_comment = configspec.final_comment
1966
 
            section._configspec_encoding = configspec.encoding
1967
 
            section._configspec_BOM = configspec.BOM
1968
 
            section._configspec_newlines = configspec.newlines
1969
 
            section._configspec_indent_type = configspec.indent_type
1970
 
            
 
1742
                raise RepeatSectionError
1971
1743
        for entry in configspec.scalars:
1972
 
            section._configspec_comments[entry] = configspec.comments[entry]
1973
 
            section._configspec_inline_comments[entry] = configspec.inline_comments[entry]
1974
1744
            section.configspec[entry] = configspec[entry]
1975
 
            section._order.append(entry)
1976
 
            
1977
1745
        for entry in configspec.sections:
1978
1746
            if entry == '__many__':
1979
1747
                continue
1980
 
            
1981
 
            section._cs_section_comments[entry] = configspec.comments[entry]
1982
 
            section._cs_section_inline_comments[entry] = configspec.inline_comments[entry]
1983
1748
            if not section.has_key(entry):
1984
1749
                section[entry] = {}
1985
1750
            self._set_configspec_value(configspec[entry], section[entry])
1986
1751
 
1987
 
 
1988
1752
    def _handle_repeat(self, section, configspec):
1989
1753
        """Dynamically assign configspec for repeated section."""
1990
1754
        try:
1995
1759
                                if isinstance(configspec[entry], dict)]
1996
1760
            scalar_keys = [entry for entry in configspec 
1997
1761
                                if not isinstance(configspec[entry], dict)]
1998
 
            
1999
1762
        if '__many__' in section_keys and len(section_keys) > 1:
2000
1763
            # FIXME: can we supply any useful information here ?
2001
 
            raise RepeatSectionError()
2002
 
        
 
1764
            raise RepeatSectionError
2003
1765
        scalars = {}
2004
1766
        sections = {}
2005
1767
        for entry in scalar_keys:
2011
1773
                scalars[entry] = val
2012
1774
                continue
2013
1775
            sections[entry] = val
2014
 
            
 
1776
        #
2015
1777
        section.configspec = scalars
2016
1778
        for entry in sections:
2017
1779
            if not section.has_key(entry):
2018
1780
                section[entry] = {}
2019
1781
            self._handle_repeat(section[entry], sections[entry])
2020
1782
 
2021
 
 
2022
1783
    def _write_line(self, indent_string, entry, this_entry, comment):
2023
1784
        """Write an individual line, for the write method"""
2024
1785
        # NOTE: the calls to self._quote here handles non-StringType values.
2025
 
        if not self.unrepr:
2026
 
            val = self._decode_element(self._quote(this_entry))
2027
 
        else:
2028
 
            val = repr(this_entry)
2029
 
        return '%s%s%s%s%s' % (indent_string,
2030
 
                               self._decode_element(self._quote(entry, multiline=False)),
2031
 
                               self._a_to_u(' = '),
2032
 
                               val,
2033
 
                               self._decode_element(comment))
2034
 
 
 
1786
        return '%s%s%s%s%s' % (
 
1787
            indent_string,
 
1788
            self._decode_element(self._quote(entry, multiline=False)),
 
1789
            self._a_to_u(' = '),
 
1790
            self._decode_element(self._quote(this_entry)),
 
1791
            self._decode_element(comment))
2035
1792
 
2036
1793
    def _write_marker(self, indent_string, depth, entry, comment):
2037
1794
        """Write a section marker line"""
2038
 
        return '%s%s%s%s%s' % (indent_string,
2039
 
                               self._a_to_u('[' * depth),
2040
 
                               self._quote(self._decode_element(entry), multiline=False),
2041
 
                               self._a_to_u(']' * depth),
2042
 
                               self._decode_element(comment))
2043
 
 
 
1795
        return '%s%s%s%s%s' % (
 
1796
            indent_string,
 
1797
            self._a_to_u('[' * depth),
 
1798
            self._quote(self._decode_element(entry), multiline=False),
 
1799
            self._a_to_u(']' * depth),
 
1800
            self._decode_element(comment))
2044
1801
 
2045
1802
    def _handle_comment(self, comment):
2046
 
        """Deal with a comment."""
 
1803
        """
 
1804
        Deal with a comment.
 
1805
        
 
1806
        >>> filename = a.filename
 
1807
        >>> a.filename = None
 
1808
        >>> values = a.write()
 
1809
        >>> index = 0
 
1810
        >>> while index < 23:
 
1811
        ...     index += 1
 
1812
        ...     line = values[index-1]
 
1813
        ...     assert line.endswith('# comment ' + str(index))
 
1814
        >>> a.filename = filename
 
1815
        
 
1816
        >>> start_comment = ['# Initial Comment', '', '#']
 
1817
        >>> end_comment = ['', '#', '# Final Comment']
 
1818
        >>> newconfig = start_comment + testconfig1.split('\\n') + end_comment
 
1819
        >>> nc = ConfigObj(newconfig)
 
1820
        >>> nc.initial_comment
 
1821
        ['# Initial Comment', '', '#']
 
1822
        >>> nc.final_comment
 
1823
        ['', '#', '# Final Comment']
 
1824
        >>> nc.initial_comment == start_comment
 
1825
        1
 
1826
        >>> nc.final_comment == end_comment
 
1827
        1
 
1828
        """
2047
1829
        if not comment:
2048
1830
            return ''
2049
 
        start = self.indent_type
 
1831
        if self.indent_type == '\t':
 
1832
            start = self._a_to_u('\t')
 
1833
        else:
 
1834
            start = self._a_to_u(' ' * NUM_INDENT_SPACES)
2050
1835
        if not comment.startswith('#'):
2051
 
            start += self._a_to_u(' # ')
 
1836
            start += _a_to_u('# ')
2052
1837
        return (start + comment)
2053
1838
 
 
1839
    def _compute_indent_string(self, depth):
 
1840
        """
 
1841
        Compute the indent string, according to current indent_type and depth
 
1842
        """
 
1843
        if self.indent_type == '':
 
1844
            # no indentation at all
 
1845
            return ''
 
1846
        if self.indent_type == '\t':
 
1847
            return '\t' * depth
 
1848
        if self.indent_type == ' ':
 
1849
            return ' ' * NUM_INDENT_SPACES * depth
 
1850
        raise SyntaxError
2054
1851
 
2055
1852
    # Public methods
2056
1853
 
2066
1863
        >>> a.filename = filename
2067
1864
        >>> a == ConfigObj('test.ini', raise_errors=True)
2068
1865
        1
 
1866
        >>> os.remove('test.ini')
 
1867
        >>> b.filename = 'test.ini'
 
1868
        >>> b.write()
 
1869
        >>> b == ConfigObj('test.ini', raise_errors=True)
 
1870
        1
 
1871
        >>> os.remove('test.ini')
 
1872
        >>> i.filename = 'test.ini'
 
1873
        >>> i.write()
 
1874
        >>> i == ConfigObj('test.ini', raise_errors=True)
 
1875
        1
 
1876
        >>> os.remove('test.ini')
 
1877
        >>> a = ConfigObj()
 
1878
        >>> a['DEFAULT'] = {'a' : 'fish'}
 
1879
        >>> a['a'] = '%(a)s'
 
1880
        >>> a.write()
 
1881
        ['a = %(a)s', '[DEFAULT]', 'a = fish']
2069
1882
        """
2070
1883
        if self.indent_type is None:
2071
1884
            # this can be true if initialised from a dictionary
2072
1885
            self.indent_type = DEFAULT_INDENT_TYPE
2073
 
            
 
1886
        #
2074
1887
        out = []
2075
1888
        cs = self._a_to_u('#')
2076
1889
        csp = self._a_to_u('# ')
2084
1897
                if stripped_line and not stripped_line.startswith(cs):
2085
1898
                    line = csp + line
2086
1899
                out.append(line)
2087
 
                
2088
 
        indent_string = self.indent_type * section.depth
 
1900
        #
 
1901
        indent_string = self._a_to_u(
 
1902
            self._compute_indent_string(section.depth))
2089
1903
        for entry in (section.scalars + section.sections):
2090
1904
            if entry in section.defaults:
2091
1905
                # don't write out default values
2097
1911
                out.append(indent_string + comment_line)
2098
1912
            this_entry = section[entry]
2099
1913
            comment = self._handle_comment(section.inline_comments[entry])
2100
 
            
 
1914
            #
2101
1915
            if isinstance(this_entry, dict):
2102
1916
                # a section
2103
1917
                out.append(self._write_marker(
2112
1926
                    entry,
2113
1927
                    this_entry,
2114
1928
                    comment))
2115
 
                
 
1929
        #
2116
1930
        if section is self:
2117
1931
            for line in self.final_comment:
2118
1932
                line = self._decode_element(line)
2121
1935
                    line = csp + line
2122
1936
                out.append(line)
2123
1937
            self.interpolation = int_val
2124
 
            
 
1938
        #
2125
1939
        if section is not self:
2126
1940
            return out
2127
 
        
 
1941
        #
2128
1942
        if (self.filename is None) and (outfile is None):
2129
1943
            # output a list of lines
2130
1944
            # might need to encode
2138
1952
                    out.append('')
2139
1953
                out[0] = BOM_UTF8 + out[0]
2140
1954
            return out
2141
 
        
 
1955
        #
2142
1956
        # Turn the list to a string, joined with correct newlines
2143
 
        newline = self.newlines or os.linesep
2144
 
        output = self._a_to_u(newline).join(out)
 
1957
        output = (self._a_to_u(self.newlines or os.linesep)
 
1958
            ).join(out)
2145
1959
        if self.encoding:
2146
1960
            output = output.encode(self.encoding)
2147
 
        if self.BOM and ((self.encoding is None) or match_utf8(self.encoding)):
 
1961
        if (self.BOM and ((self.encoding is None) or
 
1962
            (BOM_LIST.get(self.encoding.lower()) == 'utf_8'))):
2148
1963
            # Add the UTF8 BOM
2149
1964
            output = BOM_UTF8 + output
2150
 
            
2151
 
        if not output.endswith(newline):
2152
 
            output += newline
2153
1965
        if outfile is not None:
2154
1966
            outfile.write(output)
2155
1967
        else:
2156
 
            h = open(self.filename, 'wb')
 
1968
            h = open(self.filename, 'w')
2157
1969
            h.write(output)
2158
1970
            h.close()
2159
1971
 
2160
 
 
2161
 
    def validate(self, validator, preserve_errors=False, copy=False,
2162
 
                 section=None):
 
1972
    def validate(self, validator, preserve_errors=False, section=None):
2163
1973
        """
2164
1974
        Test the ConfigObj against a configspec.
2165
1975
        
2184
1994
        If ``preserve_errors`` is ``True`` (``False`` is default) then instead
2185
1995
        of a marking a fail with a ``False``, it will preserve the actual
2186
1996
        exception object. This can contain info about the reason for failure.
2187
 
        For example the ``VdtValueTooSmallError`` indicates that the value
 
1997
        For example the ``VdtValueTooSmallError`` indeicates that the value
2188
1998
        supplied was too small. If a value (or section) is missing it will
2189
1999
        still be marked as ``False``.
2190
2000
        
2193
2003
        You can then use the ``flatten_errors`` function to turn your nested
2194
2004
        results dictionary into a flattened list of failures - useful for
2195
2005
        displaying meaningful error messages.
 
2006
        
 
2007
        >>> try:
 
2008
        ...     from validate import Validator
 
2009
        ... except ImportError:
 
2010
        ...     print >> sys.stderr, 'Cannot import the Validator object, skipping the related tests'
 
2011
        ... else:
 
2012
        ...     config = '''
 
2013
        ...     test1=40
 
2014
        ...     test2=hello
 
2015
        ...     test3=3
 
2016
        ...     test4=5.0
 
2017
        ...     [section]
 
2018
        ...         test1=40
 
2019
        ...         test2=hello
 
2020
        ...         test3=3
 
2021
        ...         test4=5.0
 
2022
        ...         [[sub section]]
 
2023
        ...             test1=40
 
2024
        ...             test2=hello
 
2025
        ...             test3=3
 
2026
        ...             test4=5.0
 
2027
        ... '''.split('\\n')
 
2028
        ...     configspec = '''
 
2029
        ...     test1= integer(30,50)
 
2030
        ...     test2= string
 
2031
        ...     test3=integer
 
2032
        ...     test4=float(6.0)
 
2033
        ...     [section ]
 
2034
        ...         test1=integer(30,50)
 
2035
        ...         test2=string
 
2036
        ...         test3=integer
 
2037
        ...         test4=float(6.0)
 
2038
        ...         [[sub section]]
 
2039
        ...             test1=integer(30,50)
 
2040
        ...             test2=string
 
2041
        ...             test3=integer
 
2042
        ...             test4=float(6.0)
 
2043
        ...     '''.split('\\n')
 
2044
        ...     val = Validator()
 
2045
        ...     c1 = ConfigObj(config, configspec=configspec)
 
2046
        ...     test = c1.validate(val)
 
2047
        ...     test == {
 
2048
        ...         'test1': True,
 
2049
        ...         'test2': True,
 
2050
        ...         'test3': True,
 
2051
        ...         'test4': False,
 
2052
        ...         'section': {
 
2053
        ...             'test1': True,
 
2054
        ...             'test2': True,
 
2055
        ...             'test3': True,
 
2056
        ...             'test4': False,
 
2057
        ...             'sub section': {
 
2058
        ...                 'test1': True,
 
2059
        ...                 'test2': True,
 
2060
        ...                 'test3': True,
 
2061
        ...                 'test4': False,
 
2062
        ...             },
 
2063
        ...         },
 
2064
        ...     }
 
2065
        1
 
2066
        >>> val.check(c1.configspec['test4'], c1['test4'])
 
2067
        Traceback (most recent call last):
 
2068
        VdtValueTooSmallError: the value "5.0" is too small.
 
2069
        
 
2070
        >>> val_test_config = '''
 
2071
        ...     key = 0
 
2072
        ...     key2 = 1.1
 
2073
        ...     [section]
 
2074
        ...     key = some text
 
2075
        ...     key2 = 1.1, 3.0, 17, 6.8
 
2076
        ...         [[sub-section]]
 
2077
        ...         key = option1
 
2078
        ...         key2 = True'''.split('\\n')
 
2079
        >>> val_test_configspec = '''
 
2080
        ...     key = integer
 
2081
        ...     key2 = float
 
2082
        ...     [section]
 
2083
        ...     key = string
 
2084
        ...     key2 = float_list(4)
 
2085
        ...        [[sub-section]]
 
2086
        ...        key = option(option1, option2)
 
2087
        ...        key2 = boolean'''.split('\\n')
 
2088
        >>> val_test = ConfigObj(val_test_config, configspec=val_test_configspec)
 
2089
        >>> val_test.validate(val)
 
2090
        1
 
2091
        >>> val_test['key'] = 'text not a digit'
 
2092
        >>> val_res = val_test.validate(val)
 
2093
        >>> val_res == {'key2': True, 'section': True, 'key': False}
 
2094
        1
 
2095
        >>> configspec = '''
 
2096
        ...     test1=integer(30,50, default=40)
 
2097
        ...     test2=string(default="hello")
 
2098
        ...     test3=integer(default=3)
 
2099
        ...     test4=float(6.0, default=6.0)
 
2100
        ...     [section ]
 
2101
        ...         test1=integer(30,50, default=40)
 
2102
        ...         test2=string(default="hello")
 
2103
        ...         test3=integer(default=3)
 
2104
        ...         test4=float(6.0, default=6.0)
 
2105
        ...         [[sub section]]
 
2106
        ...             test1=integer(30,50, default=40)
 
2107
        ...             test2=string(default="hello")
 
2108
        ...             test3=integer(default=3)
 
2109
        ...             test4=float(6.0, default=6.0)
 
2110
        ...     '''.split('\\n')
 
2111
        >>> default_test = ConfigObj(['test1=30'], configspec=configspec)
 
2112
        >>> default_test
 
2113
        {'test1': '30', 'section': {'sub section': {}}}
 
2114
        >>> default_test.validate(val)
 
2115
        1
 
2116
        >>> default_test == {
 
2117
        ...     'test1': 30,
 
2118
        ...     'test2': 'hello',
 
2119
        ...     'test3': 3,
 
2120
        ...     'test4': 6.0,
 
2121
        ...     'section': {
 
2122
        ...         'test1': 40,
 
2123
        ...         'test2': 'hello',
 
2124
        ...         'test3': 3,
 
2125
        ...         'test4': 6.0,
 
2126
        ...         'sub section': {
 
2127
        ...             'test1': 40,
 
2128
        ...             'test3': 3,
 
2129
        ...             'test2': 'hello',
 
2130
        ...             'test4': 6.0,
 
2131
        ...         },
 
2132
        ...     },
 
2133
        ... }
 
2134
        1
 
2135
        
 
2136
        Now testing with repeated sections : BIG TEST
 
2137
        
 
2138
        >>> repeated_1 = '''
 
2139
        ... [dogs]
 
2140
        ...     [[__many__]] # spec for a dog
 
2141
        ...         fleas = boolean(default=True)
 
2142
        ...         tail = option(long, short, default=long)
 
2143
        ...         name = string(default=rover)
 
2144
        ...         [[[__many__]]]  # spec for a puppy
 
2145
        ...             name = string(default="son of rover")
 
2146
        ...             age = float(default=0.0)
 
2147
        ... [cats]
 
2148
        ...     [[__many__]] # spec for a cat
 
2149
        ...         fleas = boolean(default=True)
 
2150
        ...         tail = option(long, short, default=short)
 
2151
        ...         name = string(default=pussy)
 
2152
        ...         [[[__many__]]] # spec for a kitten
 
2153
        ...             name = string(default="son of pussy")
 
2154
        ...             age = float(default=0.0)
 
2155
        ...         '''.split('\\n')
 
2156
        >>> repeated_2 = '''
 
2157
        ... [dogs]
 
2158
        ... 
 
2159
        ...     # blank dogs with puppies
 
2160
        ...     # should be filled in by the configspec
 
2161
        ...     [[dog1]]
 
2162
        ...         [[[puppy1]]]
 
2163
        ...         [[[puppy2]]]
 
2164
        ...         [[[puppy3]]]
 
2165
        ...     [[dog2]]
 
2166
        ...         [[[puppy1]]]
 
2167
        ...         [[[puppy2]]]
 
2168
        ...         [[[puppy3]]]
 
2169
        ...     [[dog3]]
 
2170
        ...         [[[puppy1]]]
 
2171
        ...         [[[puppy2]]]
 
2172
        ...         [[[puppy3]]]
 
2173
        ... [cats]
 
2174
        ... 
 
2175
        ...     # blank cats with kittens
 
2176
        ...     # should be filled in by the configspec
 
2177
        ...     [[cat1]]
 
2178
        ...         [[[kitten1]]]
 
2179
        ...         [[[kitten2]]]
 
2180
        ...         [[[kitten3]]]
 
2181
        ...     [[cat2]]
 
2182
        ...         [[[kitten1]]]
 
2183
        ...         [[[kitten2]]]
 
2184
        ...         [[[kitten3]]]
 
2185
        ...     [[cat3]]
 
2186
        ...         [[[kitten1]]]
 
2187
        ...         [[[kitten2]]]
 
2188
        ...         [[[kitten3]]]
 
2189
        ... '''.split('\\n')
 
2190
        >>> repeated_3 = '''
 
2191
        ... [dogs]
 
2192
        ... 
 
2193
        ...     [[dog1]]
 
2194
        ...     [[dog2]]
 
2195
        ...     [[dog3]]
 
2196
        ... [cats]
 
2197
        ... 
 
2198
        ...     [[cat1]]
 
2199
        ...     [[cat2]]
 
2200
        ...     [[cat3]]
 
2201
        ... '''.split('\\n')
 
2202
        >>> repeated_4 = '''
 
2203
        ... [__many__]
 
2204
        ... 
 
2205
        ...     name = string(default=Michael)
 
2206
        ...     age = float(default=0.0)
 
2207
        ...     sex = option(m, f, default=m)
 
2208
        ... '''.split('\\n')
 
2209
        >>> repeated_5 = '''
 
2210
        ... [cats]
 
2211
        ... [[__many__]]
 
2212
        ...     fleas = boolean(default=True)
 
2213
        ...     tail = option(long, short, default=short)
 
2214
        ...     name = string(default=pussy)
 
2215
        ...     [[[description]]]
 
2216
        ...         height = float(default=3.3)
 
2217
        ...         weight = float(default=6)
 
2218
        ...         [[[[coat]]]]
 
2219
        ...             fur = option(black, grey, brown, "tortoise shell", default=black)
 
2220
        ...             condition = integer(0,10, default=5)
 
2221
        ... '''.split('\\n')
 
2222
        >>> from validate import Validator
 
2223
        >>> val= Validator()
 
2224
        >>> repeater = ConfigObj(repeated_2, configspec=repeated_1)
 
2225
        >>> repeater.validate(val)
 
2226
        1
 
2227
        >>> repeater == {
 
2228
        ...     'dogs': {
 
2229
        ...         'dog1': {
 
2230
        ...             'fleas': True,
 
2231
        ...             'tail': 'long',
 
2232
        ...             'name': 'rover',
 
2233
        ...             'puppy1': {'name': 'son of rover', 'age': 0.0},
 
2234
        ...             'puppy2': {'name': 'son of rover', 'age': 0.0},
 
2235
        ...             'puppy3': {'name': 'son of rover', 'age': 0.0},
 
2236
        ...         },
 
2237
        ...         'dog2': {
 
2238
        ...             'fleas': True,
 
2239
        ...             'tail': 'long',
 
2240
        ...             'name': 'rover',
 
2241
        ...             'puppy1': {'name': 'son of rover', 'age': 0.0},
 
2242
        ...             'puppy2': {'name': 'son of rover', 'age': 0.0},
 
2243
        ...             'puppy3': {'name': 'son of rover', 'age': 0.0},
 
2244
        ...         },
 
2245
        ...         'dog3': {
 
2246
        ...             'fleas': True,
 
2247
        ...             'tail': 'long',
 
2248
        ...             'name': 'rover',
 
2249
        ...             'puppy1': {'name': 'son of rover', 'age': 0.0},
 
2250
        ...             'puppy2': {'name': 'son of rover', 'age': 0.0},
 
2251
        ...             'puppy3': {'name': 'son of rover', 'age': 0.0},
 
2252
        ...         },
 
2253
        ...     },
 
2254
        ...     'cats': {
 
2255
        ...         'cat1': {
 
2256
        ...             'fleas': True,
 
2257
        ...             'tail': 'short',
 
2258
        ...             'name': 'pussy',
 
2259
        ...             'kitten1': {'name': 'son of pussy', 'age': 0.0},
 
2260
        ...             'kitten2': {'name': 'son of pussy', 'age': 0.0},
 
2261
        ...             'kitten3': {'name': 'son of pussy', 'age': 0.0},
 
2262
        ...         },
 
2263
        ...         'cat2': {
 
2264
        ...             'fleas': True,
 
2265
        ...             'tail': 'short',
 
2266
        ...             'name': 'pussy',
 
2267
        ...             'kitten1': {'name': 'son of pussy', 'age': 0.0},
 
2268
        ...             'kitten2': {'name': 'son of pussy', 'age': 0.0},
 
2269
        ...             'kitten3': {'name': 'son of pussy', 'age': 0.0},
 
2270
        ...         },
 
2271
        ...         'cat3': {
 
2272
        ...             'fleas': True,
 
2273
        ...             'tail': 'short',
 
2274
        ...             'name': 'pussy',
 
2275
        ...             'kitten1': {'name': 'son of pussy', 'age': 0.0},
 
2276
        ...             'kitten2': {'name': 'son of pussy', 'age': 0.0},
 
2277
        ...             'kitten3': {'name': 'son of pussy', 'age': 0.0},
 
2278
        ...         },
 
2279
        ...     },
 
2280
        ... }
 
2281
        1
 
2282
        >>> repeater = ConfigObj(repeated_3, configspec=repeated_1)
 
2283
        >>> repeater.validate(val)
 
2284
        1
 
2285
        >>> repeater == {
 
2286
        ...     'cats': {
 
2287
        ...         'cat1': {'fleas': True, 'tail': 'short', 'name': 'pussy'},
 
2288
        ...         'cat2': {'fleas': True, 'tail': 'short', 'name': 'pussy'},
 
2289
        ...         'cat3': {'fleas': True, 'tail': 'short', 'name': 'pussy'},
 
2290
        ...     },
 
2291
        ...     'dogs': {
 
2292
        ...         'dog1': {'fleas': True, 'tail': 'long', 'name': 'rover'},
 
2293
        ...         'dog2': {'fleas': True, 'tail': 'long', 'name': 'rover'},
 
2294
        ...         'dog3': {'fleas': True, 'tail': 'long', 'name': 'rover'},
 
2295
        ...     },
 
2296
        ... }
 
2297
        1
 
2298
        >>> repeater = ConfigObj(configspec=repeated_4)
 
2299
        >>> repeater['Michael'] = {}
 
2300
        >>> repeater.validate(val)
 
2301
        1
 
2302
        >>> repeater == {
 
2303
        ...     'Michael': {'age': 0.0, 'name': 'Michael', 'sex': 'm'},
 
2304
        ... }
 
2305
        1
 
2306
        >>> repeater = ConfigObj(repeated_3, configspec=repeated_5)
 
2307
        >>> repeater == {
 
2308
        ...     'dogs': {'dog1': {}, 'dog2': {}, 'dog3': {}},
 
2309
        ...     'cats': {'cat1': {}, 'cat2': {}, 'cat3': {}},
 
2310
        ... }
 
2311
        1
 
2312
        >>> repeater.validate(val)
 
2313
        1
 
2314
        >>> repeater == {
 
2315
        ...     'dogs': {'dog1': {}, 'dog2': {}, 'dog3': {}},
 
2316
        ...     'cats': {
 
2317
        ...         'cat1': {
 
2318
        ...             'fleas': True,
 
2319
        ...             'tail': 'short',
 
2320
        ...             'name': 'pussy',
 
2321
        ...             'description': {
 
2322
        ...                 'weight': 6.0,
 
2323
        ...                 'height': 3.2999999999999998,
 
2324
        ...                 'coat': {'fur': 'black', 'condition': 5},
 
2325
        ...             },
 
2326
        ...         },
 
2327
        ...         'cat2': {
 
2328
        ...             'fleas': True,
 
2329
        ...             'tail': 'short',
 
2330
        ...             'name': 'pussy',
 
2331
        ...             'description': {
 
2332
        ...                 'weight': 6.0,
 
2333
        ...                 'height': 3.2999999999999998,
 
2334
        ...                 'coat': {'fur': 'black', 'condition': 5},
 
2335
        ...             },
 
2336
        ...         },
 
2337
        ...         'cat3': {
 
2338
        ...             'fleas': True,
 
2339
        ...             'tail': 'short',
 
2340
        ...             'name': 'pussy',
 
2341
        ...             'description': {
 
2342
        ...                 'weight': 6.0,
 
2343
        ...                 'height': 3.2999999999999998,
 
2344
        ...                 'coat': {'fur': 'black', 'condition': 5},
 
2345
        ...             },
 
2346
        ...         },
 
2347
        ...     },
 
2348
        ... }
 
2349
        1
 
2350
        
 
2351
        Test that interpolation is preserved for validated string values.
 
2352
        Also check that interpolation works in configspecs.
 
2353
        >>> t = ConfigObj()
 
2354
        >>> t['DEFAULT'] = {}
 
2355
        >>> t['DEFAULT']['test'] = 'a'
 
2356
        >>> t['test'] = '%(test)s'
 
2357
        >>> t['test']
 
2358
        'a'
 
2359
        >>> v = Validator()
 
2360
        >>> t.configspec = {'test': 'string'}
 
2361
        >>> t.validate(v)
 
2362
        1
 
2363
        >>> t.interpolation = False
 
2364
        >>> t
 
2365
        {'test': '%(test)s', 'DEFAULT': {'test': 'a'}}
 
2366
        >>> specs = [
 
2367
        ...    'interpolated string  = string(default="fuzzy-%(man)s")',
 
2368
        ...    '[DEFAULT]',
 
2369
        ...    'man = wuzzy',
 
2370
        ...    ]
 
2371
        >>> c = ConfigObj(configspec=specs)
 
2372
        >>> c.validate(v)
 
2373
        1
 
2374
        >>> c['interpolated string']
 
2375
        'fuzzy-wuzzy'
 
2376
        
 
2377
        FIXME: Above tests will fail if we couldn't import Validator (the ones
 
2378
        that don't raise errors will produce different output and still fail as
 
2379
        tests)
2196
2380
        """
2197
2381
        if section is None:
2198
2382
            if self.configspec is None:
2199
 
                raise ValueError('No configspec supplied.')
 
2383
                raise ValueError, 'No configspec supplied.'
2200
2384
            if preserve_errors:
2201
 
                # We do this once to remove a top level dependency on the validate module
2202
 
                # Which makes importing configobj faster
2203
 
                from validate import VdtMissingValue
2204
 
                self._vdtMissingValue = VdtMissingValue
 
2385
                if VdtMissingValue is None:
 
2386
                    raise ImportError('Missing validate module.')
2205
2387
            section = self
2206
2388
        #
2207
2389
        spec_section = section.configspec
2208
 
        if copy and getattr(section, '_configspec_initial_comment', None) is not None:
2209
 
            section.initial_comment = section._configspec_initial_comment
2210
 
            section.final_comment = section._configspec_final_comment
2211
 
            section.encoding = section._configspec_encoding
2212
 
            section.BOM = section._configspec_BOM
2213
 
            section.newlines = section._configspec_newlines
2214
 
            section.indent_type = section._configspec_indent_type
2215
 
            
2216
2390
        if '__many__' in section.configspec:
2217
2391
            many = spec_section['__many__']
2218
2392
            # dynamically assign the configspecs
2223
2397
        out = {}
2224
2398
        ret_true = True
2225
2399
        ret_false = True
2226
 
        order = [k for k in section._order if k in spec_section]
2227
 
        order += [k for k in spec_section if k not in order]
2228
 
        for entry in order:
 
2400
        for entry in spec_section:
2229
2401
            if entry == '__many__':
2230
2402
                continue
2231
2403
            if (not entry in section.scalars) or (entry in section.defaults):
2233
2405
                # or entries from defaults
2234
2406
                missing = True
2235
2407
                val = None
2236
 
                if copy and not entry in section.scalars:
2237
 
                    # copy comments
2238
 
                    section.comments[entry] = (
2239
 
                        section._configspec_comments.get(entry, []))
2240
 
                    section.inline_comments[entry] = (
2241
 
                        section._configspec_inline_comments.get(entry, ''))
2242
 
                #
2243
2408
            else:
2244
2409
                missing = False
2245
2410
                val = section[entry]
2249
2414
                                        missing=missing
2250
2415
                                        )
2251
2416
            except validator.baseErrorClass, e:
2252
 
                if not preserve_errors or isinstance(e, self._vdtMissingValue):
 
2417
                if not preserve_errors or isinstance(e, VdtMissingValue):
2253
2418
                    out[entry] = False
2254
2419
                else:
2255
2420
                    # preserve the error
2257
2422
                    ret_false = False
2258
2423
                ret_true = False
2259
2424
            else:
2260
 
                try: 
2261
 
                    section.default_values.pop(entry, None)
2262
 
                except AttributeError: 
2263
 
                    # For Python 2.2 compatibility
2264
 
                    try:
2265
 
                        del section.default_values[entry]
2266
 
                    except KeyError:
2267
 
                        pass
2268
 
                    
2269
 
                if getattr(validator, 'get_default_value', None) is not None:
2270
 
                    try: 
2271
 
                        section.default_values[entry] = validator.get_default_value(spec_section[entry])
2272
 
                    except KeyError:
2273
 
                        # No default
2274
 
                        pass
2275
 
                    
2276
2425
                ret_false = False
2277
2426
                out[entry] = True
2278
2427
                if self.stringify or missing:
2289
2438
                            check = self._str(check)
2290
2439
                    if (check != val) or missing:
2291
2440
                        section[entry] = check
2292
 
                if not copy and missing and entry not in section.defaults:
 
2441
                if missing and entry not in section.defaults:
2293
2442
                    section.defaults.append(entry)
2294
 
        # Missing sections will have been created as empty ones when the
2295
 
        # configspec was read.
 
2443
        #
 
2444
        # FIXME: Will this miss missing sections ?
2296
2445
        for entry in section.sections:
2297
 
            # FIXME: this means DEFAULT is not copied in copy mode
2298
2446
            if section is self and entry == 'DEFAULT':
2299
2447
                continue
2300
 
            if copy:
2301
 
                section.comments[entry] = section._cs_section_comments[entry]
2302
 
                section.inline_comments[entry] = (
2303
 
                    section._cs_section_inline_comments[entry])
2304
2448
            check = self.validate(validator, preserve_errors=preserve_errors,
2305
 
                copy=copy, section=section[entry])
 
2449
                section=section[entry])
2306
2450
            out[entry] = check
2307
2451
            if check == False:
2308
2452
                ret_true = False
2316
2460
            return True
2317
2461
        elif ret_false:
2318
2462
            return False
2319
 
        return out
2320
 
 
2321
 
 
2322
 
    def reset(self):
2323
 
        """Clear ConfigObj instance and restore to 'freshly created' state."""
2324
 
        self.clear()
2325
 
        self._initialise()
2326
 
        # FIXME: Should be done by '_initialise', but ConfigObj constructor (and reload)
2327
 
        #        requires an empty dictionary
2328
 
        self.configspec = None
2329
 
        # Just to be sure ;-)
2330
 
        self._original_configspec = None
2331
 
        
2332
 
        
2333
 
    def reload(self):
2334
 
        """
2335
 
        Reload a ConfigObj from file.
2336
 
        
2337
 
        This method raises a ``ReloadError`` if the ConfigObj doesn't have
2338
 
        a filename attribute pointing to a file.
2339
 
        """
2340
 
        if not isinstance(self.filename, StringTypes):
2341
 
            raise ReloadError()
2342
 
 
2343
 
        filename = self.filename
2344
 
        current_options = {}
2345
 
        for entry in OPTION_DEFAULTS:
2346
 
            if entry == 'configspec':
2347
 
                continue
2348
 
            current_options[entry] = getattr(self, entry)
2349
 
            
2350
 
        configspec = self._original_configspec
2351
 
        current_options['configspec'] = configspec
2352
 
            
2353
 
        self.clear()
2354
 
        self._initialise(current_options)
2355
 
        self._load(filename, configspec)
2356
 
        
2357
 
 
 
2463
        else:
 
2464
            return out
2358
2465
 
2359
2466
class SimpleVal(object):
2360
2467
    """
2366
2473
    method of your ``ConfigObj``. ``validate`` will return ``True`` if all
2367
2474
    members are present, or a dictionary with True/False meaning
2368
2475
    present/missing. (Whole missing sections will be replaced with ``False``)
 
2476
    
 
2477
    >>> val = SimpleVal()
 
2478
    >>> config = '''
 
2479
    ... test1=40
 
2480
    ... test2=hello
 
2481
    ... test3=3
 
2482
    ... test4=5.0
 
2483
    ... [section]
 
2484
    ... test1=40
 
2485
    ... test2=hello
 
2486
    ... test3=3
 
2487
    ... test4=5.0
 
2488
    ...     [[sub section]]
 
2489
    ...     test1=40
 
2490
    ...     test2=hello
 
2491
    ...     test3=3
 
2492
    ...     test4=5.0
 
2493
    ... '''.split('\\n')
 
2494
    >>> configspec = '''
 
2495
    ... test1=''
 
2496
    ... test2=''
 
2497
    ... test3=''
 
2498
    ... test4=''
 
2499
    ... [section]
 
2500
    ... test1=''
 
2501
    ... test2=''
 
2502
    ... test3=''
 
2503
    ... test4=''
 
2504
    ...     [[sub section]]
 
2505
    ...     test1=''
 
2506
    ...     test2=''
 
2507
    ...     test3=''
 
2508
    ...     test4=''
 
2509
    ... '''.split('\\n')
 
2510
    >>> o = ConfigObj(config, configspec=configspec)
 
2511
    >>> o.validate(val)
 
2512
    1
 
2513
    >>> o = ConfigObj(configspec=configspec)
 
2514
    >>> o.validate(val)
 
2515
    0
2369
2516
    """
2370
2517
    
2371
2518
    def __init__(self):
2374
2521
    def check(self, check, member, missing=False):
2375
2522
        """A dummy check method, always returns the value unchanged."""
2376
2523
        if missing:
2377
 
            raise self.baseErrorClass()
 
2524
            raise self.baseErrorClass
2378
2525
        return member
2379
2526
 
2380
 
 
2381
2527
# Check / processing functions for options
2382
2528
def flatten_errors(cfg, res, levels=None, results=None):
2383
2529
    """
2411
2557
    
2412
2558
    For example *The value "3" is of the wrong type*.
2413
2559
    
 
2560
    # FIXME: is the ordering of the output arbitrary ?
2414
2561
    >>> import validate
2415
2562
    >>> vtor = validate.Validator()
2416
2563
    >>> my_ini = '''
2502
2649
    return results
2503
2650
 
2504
2651
 
2505
 
"""*A programming language is a medium of expression.* - Paul Graham"""
 
2652
# FIXME: test error code for badly built multiline values
 
2653
# FIXME: test handling of StringIO
 
2654
# FIXME: test interpolation with writing
 
2655
 
 
2656
def _doctest():
 
2657
    """
 
2658
    Dummy function to hold some of the doctests.
 
2659
    
 
2660
    >>> a.depth
 
2661
    0
 
2662
    >>> a == {
 
2663
    ...     'key2': 'val',
 
2664
    ...     'key1': 'val',
 
2665
    ...     'lev1c': {
 
2666
    ...         'lev2c': {
 
2667
    ...             'lev3c': {
 
2668
    ...                 'key1': 'val',
 
2669
    ...             },
 
2670
    ...         },
 
2671
    ...     },
 
2672
    ...     'lev1b': {
 
2673
    ...         'key2': 'val',
 
2674
    ...         'key1': 'val',
 
2675
    ...         'lev2ba': {
 
2676
    ...             'key1': 'val',
 
2677
    ...         },
 
2678
    ...         'lev2bb': {
 
2679
    ...             'key1': 'val',
 
2680
    ...         },
 
2681
    ...     },
 
2682
    ...     'lev1a': {
 
2683
    ...         'key2': 'val',
 
2684
    ...         'key1': 'val',
 
2685
    ...     },
 
2686
    ... }
 
2687
    1
 
2688
    >>> b.depth
 
2689
    0
 
2690
    >>> b == {
 
2691
    ...     'key3': 'val3',
 
2692
    ...     'key2': 'val2',
 
2693
    ...     'key1': 'val1',
 
2694
    ...     'section 1': {
 
2695
    ...         'keys11': 'val1',
 
2696
    ...         'keys13': 'val3',
 
2697
    ...         'keys12': 'val2',
 
2698
    ...     },
 
2699
    ...     'section 2': {
 
2700
    ...         'section 2 sub 1': {
 
2701
    ...             'fish': '3',
 
2702
    ...     },
 
2703
    ...     'keys21': 'val1',
 
2704
    ...     'keys22': 'val2',
 
2705
    ...     'keys23': 'val3',
 
2706
    ...     },
 
2707
    ... }
 
2708
    1
 
2709
    >>> t = '''
 
2710
    ... 'a' = b # !"$%^&*(),::;'@~#= 33
 
2711
    ... "b" = b #= 6, 33
 
2712
    ... ''' .split('\\n')
 
2713
    >>> t2 = ConfigObj(t)
 
2714
    >>> assert t2 == {'a': 'b', 'b': 'b'}
 
2715
    >>> t2.inline_comments['b'] = ''
 
2716
    >>> del t2['a']
 
2717
    >>> assert t2.write() == ['','b = b', '']
 
2718
    
 
2719
    # Test ``list_values=False`` stuff
 
2720
    >>> c = '''
 
2721
    ...     key1 = no quotes
 
2722
    ...     key2 = 'single quotes'
 
2723
    ...     key3 = "double quotes"
 
2724
    ...     key4 = "list", 'with', several, "quotes"
 
2725
    ...     '''
 
2726
    >>> cfg = ConfigObj(c.splitlines(), list_values=False)
 
2727
    >>> cfg == {'key1': 'no quotes', 'key2': "'single quotes'", 
 
2728
    ... 'key3': '"double quotes"', 
 
2729
    ... 'key4': '"list", \\'with\\', several, "quotes"'
 
2730
    ... }
 
2731
    1
 
2732
    >>> cfg = ConfigObj(list_values=False)
 
2733
    >>> cfg['key1'] = 'Multiline\\nValue'
 
2734
    >>> cfg['key2'] = '''"Value" with 'quotes' !'''
 
2735
    >>> cfg.write()
 
2736
    ["key1 = '''Multiline\\nValue'''", 'key2 = "Value" with \\'quotes\\' !']
 
2737
    >>> cfg.list_values = True
 
2738
    >>> cfg.write() == ["key1 = '''Multiline\\nValue'''",
 
2739
    ... 'key2 = \\'\\'\\'"Value" with \\'quotes\\' !\\'\\'\\'']
 
2740
    1
 
2741
    
 
2742
    Test flatten_errors:
 
2743
    
 
2744
    >>> from validate import Validator, VdtValueTooSmallError
 
2745
    >>> config = '''
 
2746
    ...     test1=40
 
2747
    ...     test2=hello
 
2748
    ...     test3=3
 
2749
    ...     test4=5.0
 
2750
    ...     [section]
 
2751
    ...         test1=40
 
2752
    ...         test2=hello
 
2753
    ...         test3=3
 
2754
    ...         test4=5.0
 
2755
    ...         [[sub section]]
 
2756
    ...             test1=40
 
2757
    ...             test2=hello
 
2758
    ...             test3=3
 
2759
    ...             test4=5.0
 
2760
    ... '''.split('\\n')
 
2761
    >>> configspec = '''
 
2762
    ...     test1= integer(30,50)
 
2763
    ...     test2= string
 
2764
    ...     test3=integer
 
2765
    ...     test4=float(6.0)
 
2766
    ...     [section ]
 
2767
    ...         test1=integer(30,50)
 
2768
    ...         test2=string
 
2769
    ...         test3=integer
 
2770
    ...         test4=float(6.0)
 
2771
    ...         [[sub section]]
 
2772
    ...             test1=integer(30,50)
 
2773
    ...             test2=string
 
2774
    ...             test3=integer
 
2775
    ...             test4=float(6.0)
 
2776
    ...     '''.split('\\n')
 
2777
    >>> val = Validator()
 
2778
    >>> c1 = ConfigObj(config, configspec=configspec)
 
2779
    >>> res = c1.validate(val)
 
2780
    >>> flatten_errors(c1, res) == [([], 'test4', False), (['section', 
 
2781
    ...     'sub section'], 'test4', False), (['section'], 'test4', False)]
 
2782
    True
 
2783
    >>> res = c1.validate(val, preserve_errors=True)
 
2784
    >>> check = flatten_errors(c1, res)
 
2785
    >>> check[0][:2]
 
2786
    ([], 'test4')
 
2787
    >>> check[1][:2]
 
2788
    (['section', 'sub section'], 'test4')
 
2789
    >>> check[2][:2]
 
2790
    (['section'], 'test4')
 
2791
    >>> for entry in check:
 
2792
    ...     isinstance(entry[2], VdtValueTooSmallError)
 
2793
    ...     print str(entry[2])
 
2794
    True
 
2795
    the value "5.0" is too small.
 
2796
    True
 
2797
    the value "5.0" is too small.
 
2798
    True
 
2799
    the value "5.0" is too small.
 
2800
    
 
2801
    Test unicode handling, BOM, write witha file like object and line endings :
 
2802
    >>> u_base = '''
 
2803
    ... # initial comment
 
2804
    ...     # inital comment 2
 
2805
    ... 
 
2806
    ... test1 = some value
 
2807
    ... # comment
 
2808
    ... test2 = another value    # inline comment
 
2809
    ... # section comment
 
2810
    ... [section]    # inline comment
 
2811
    ...     test = test    # another inline comment
 
2812
    ...     test2 = test2
 
2813
    ... 
 
2814
    ... # final comment
 
2815
    ... # final comment2
 
2816
    ... '''
 
2817
    >>> u = u_base.encode('utf_8').splitlines(True)
 
2818
    >>> u[0] = BOM_UTF8 + u[0]
 
2819
    >>> uc = ConfigObj(u)
 
2820
    >>> uc.encoding = None
 
2821
    >>> uc.BOM == True
 
2822
    1
 
2823
    >>> uc == {'test1': 'some value', 'test2': 'another value',
 
2824
    ... 'section': {'test': 'test', 'test2': 'test2'}}
 
2825
    1
 
2826
    >>> uc = ConfigObj(u, encoding='utf_8', default_encoding='latin-1')
 
2827
    >>> uc.BOM
 
2828
    1
 
2829
    >>> isinstance(uc['test1'], unicode)
 
2830
    1
 
2831
    >>> uc.encoding
 
2832
    'utf_8'
 
2833
    >>> uc.newlines
 
2834
    '\\n'
 
2835
    >>> uc['latin1'] = "This costs lot's of "
 
2836
    >>> a_list = uc.write()
 
2837
    >>> len(a_list)
 
2838
    15
 
2839
    >>> isinstance(a_list[0], str)
 
2840
    1
 
2841
    >>> a_list[0].startswith(BOM_UTF8)
 
2842
    1
 
2843
    >>> u = u_base.replace('\\n', '\\r\\n').encode('utf_8').splitlines(True)
 
2844
    >>> uc = ConfigObj(u)
 
2845
    >>> uc.newlines
 
2846
    '\\r\\n'
 
2847
    >>> uc.newlines = '\\r'
 
2848
    >>> from cStringIO import StringIO
 
2849
    >>> file_like = StringIO()
 
2850
    >>> uc.write(file_like)
 
2851
    >>> file_like.seek(0)
 
2852
    >>> uc2 = ConfigObj(file_like)
 
2853
    >>> uc2 == uc
 
2854
    1
 
2855
    >>> uc2.filename == None
 
2856
    1
 
2857
    >>> uc2.newlines == '\\r'
 
2858
    1
 
2859
    """
 
2860
 
 
2861
if __name__ == '__main__':
 
2862
    # run the code tests in doctest format
 
2863
    #
 
2864
    testconfig1 = """\
 
2865
    key1= val    # comment 1
 
2866
    key2= val    # comment 2
 
2867
    # comment 3
 
2868
    [lev1a]     # comment 4
 
2869
    key1= val    # comment 5
 
2870
    key2= val    # comment 6
 
2871
    # comment 7
 
2872
    [lev1b]    # comment 8
 
2873
    key1= val    # comment 9
 
2874
    key2= val    # comment 10
 
2875
    # comment 11
 
2876
        [[lev2ba]]    # comment 12
 
2877
        key1= val    # comment 13
 
2878
        # comment 14
 
2879
        [[lev2bb]]    # comment 15
 
2880
        key1= val    # comment 16
 
2881
    # comment 17
 
2882
    [lev1c]    # comment 18
 
2883
    # comment 19
 
2884
        [[lev2c]]    # comment 20
 
2885
        # comment 21
 
2886
            [[[lev3c]]]    # comment 22
 
2887
            key1 = val    # comment 23"""
 
2888
    #
 
2889
    testconfig2 = """\
 
2890
                        key1 = 'val1'
 
2891
                        key2 =   "val2"
 
2892
                        key3 = val3
 
2893
                        ["section 1"] # comment
 
2894
                        keys11 = val1
 
2895
                        keys12 = val2
 
2896
                        keys13 = val3
 
2897
                        [section 2]
 
2898
                        keys21 = val1
 
2899
                        keys22 = val2
 
2900
                        keys23 = val3
 
2901
                        
 
2902
                            [['section 2 sub 1']]
 
2903
                            fish = 3
 
2904
    """
 
2905
    #
 
2906
    testconfig6 = '''
 
2907
    name1 = """ a single line value """ # comment
 
2908
    name2 = \''' another single line value \''' # comment
 
2909
    name3 = """ a single line value """
 
2910
    name4 = \''' another single line value \'''
 
2911
        [ "multi section" ]
 
2912
        name1 = """
 
2913
        Well, this is a
 
2914
        multiline value
 
2915
        """
 
2916
        name2 = \'''
 
2917
        Well, this is a
 
2918
        multiline value
 
2919
        \'''
 
2920
        name3 = """
 
2921
        Well, this is a
 
2922
        multiline value
 
2923
        """     # a comment
 
2924
        name4 = \'''
 
2925
        Well, this is a
 
2926
        multiline value
 
2927
        \'''  # I guess this is a comment too
 
2928
    '''
 
2929
    #
 
2930
    import doctest
 
2931
    m = sys.modules.get('__main__')
 
2932
    globs = m.__dict__.copy()
 
2933
    a = ConfigObj(testconfig1.split('\n'), raise_errors=True)
 
2934
    b = ConfigObj(testconfig2.split('\n'), raise_errors=True)
 
2935
    i = ConfigObj(testconfig6.split('\n'), raise_errors=True)
 
2936
    globs.update({
 
2937
        'INTP_VER': INTP_VER,
 
2938
        'a': a,
 
2939
        'b': b,
 
2940
        'i': i,
 
2941
    })
 
2942
    doctest.testmod(m, globs=globs)
 
2943
 
 
2944
"""
 
2945
    BUGS
 
2946
    ====
 
2947
    
 
2948
    None known.
 
2949
    
 
2950
    TODO
 
2951
    ====
 
2952
    
 
2953
    Better support for configuration from multiple files, including tracking
 
2954
    *where* the original file came from and writing changes to the correct
 
2955
    file.
 
2956
    
 
2957
    
 
2958
    Make ``newline`` an option (as well as an attribute) ?
 
2959
    
 
2960
    ``UTF16`` encoded files, when returned as a list of lines, will have the
 
2961
    BOM at the start of every line. Should this be removed from all but the
 
2962
    first line ?
 
2963
    
 
2964
    Option to set warning type for unicode decode ? (Defaults to strict).
 
2965
    
 
2966
    A method to optionally remove uniform indentation from multiline values.
 
2967
    (do as an example of using ``walk`` - along with string-escape)
 
2968
    
 
2969
    Should the results dictionary from validate be an ordered dictionary if
 
2970
    `odict <http://www.voidspace.org.uk/python/odict.html>`_ is available ?
 
2971
    
 
2972
    Implement a better ``__repr__`` ? (``ConfigObj({})``)
 
2973
    
 
2974
    Implement some of the sequence methods (which include slicing) from the
 
2975
    newer ``odict`` ?
 
2976
    
 
2977
    INCOMPATIBLE CHANGES
 
2978
    ====================
 
2979
    
 
2980
    (I have removed a lot of needless complications - this list is probably not
 
2981
    conclusive, many option/attribute/method names have changed)
 
2982
    
 
2983
    Case sensitive
 
2984
    
 
2985
    The only valid divider is '='
 
2986
    
 
2987
    We've removed line continuations with '\'
 
2988
    
 
2989
    No recursive lists in values
 
2990
    
 
2991
    No empty section
 
2992
    
 
2993
    No distinction between flatfiles and non flatfiles
 
2994
    
 
2995
    Change in list syntax - use commas to indicate list, not parentheses
 
2996
    (square brackets and parentheses are no longer recognised as lists)
 
2997
    
 
2998
    ';' is no longer valid for comments and no multiline comments
 
2999
    
 
3000
    No attribute access
 
3001
    
 
3002
    We don't allow empty values - have to use '' or ""
 
3003
    
 
3004
    In ConfigObj 3 - setting a non-flatfile member to ``None`` would
 
3005
    initialise it as an empty section.
 
3006
    
 
3007
    The escape entities '&mjf-lf;' and '&mjf-quot;' have gone
 
3008
    replaced by triple quote, multiple line values.
 
3009
    
 
3010
    The ``newline``, ``force_return``, and ``default`` options have gone
 
3011
    
 
3012
    The ``encoding`` and ``backup_encoding`` methods have gone - replaced
 
3013
    with the ``encode`` and ``decode`` methods.
 
3014
    
 
3015
    ``fileerror`` and ``createempty`` options have become ``file_error`` and
 
3016
    ``create_empty``
 
3017
    
 
3018
    Partial configspecs (for specifying the order members should be written
 
3019
    out and which should be present) have gone. The configspec is no longer
 
3020
    used to specify order for the ``write`` method.
 
3021
    
 
3022
    Exceeding the maximum depth of recursion in string interpolation now
 
3023
    raises an error ``InterpolationDepthError``.
 
3024
    
 
3025
    Specifying a value for interpolation which doesn't exist now raises an
 
3026
    error ``MissingInterpolationOption`` (instead of merely being ignored).
 
3027
    
 
3028
    The ``writein`` method has been removed.
 
3029
    
 
3030
    The comments attribute is now a list (``inline_comments`` equates to the
 
3031
    old comments attribute)
 
3032
    
 
3033
    ISSUES
 
3034
    ======
 
3035
    
 
3036
    ``validate`` doesn't report *extra* values or sections.
 
3037
    
 
3038
    You can't have a keyword with the same name as a section (in the same
 
3039
    section). They are both dictionary keys - so they would overlap.
 
3040
    
 
3041
    ConfigObj doesn't quote and unquote values if ``list_values=False``.
 
3042
    This means that leading or trailing whitespace in values will be lost when
 
3043
    writing. (Unless you manually quote).
 
3044
    
 
3045
    Interpolation checks first the 'DEFAULT' subsection of the current
 
3046
    section, next it checks the 'DEFAULT' section of the parent section,
 
3047
    last it checks the 'DEFAULT' section of the main section.
 
3048
    
 
3049
    Logically a 'DEFAULT' section should apply to all subsections of the *same
 
3050
    parent* - this means that checking the 'DEFAULT' subsection in the
 
3051
    *current section* is not necessarily logical ?
 
3052
    
 
3053
    In order to simplify unicode support (which is possibly of limited value
 
3054
    in a config file) I have removed automatic support and added the
 
3055
    ``encode`` and ``decode methods, which can be used to transform keys and
 
3056
    entries. Because the regex looks for specific values on inital parsing
 
3057
    (i.e. the quotes and the equals signs) it can only read ascii compatible
 
3058
    encodings. For unicode use ``UTF8``, which is ASCII compatible.
 
3059
    
 
3060
    Does it matter that we don't support the ':' divider, which is supported
 
3061
    by ``ConfigParser`` ?
 
3062
    
 
3063
    The regular expression correctly removes the value -
 
3064
    ``"'hello', 'goodbye'"`` and then unquote just removes the front and
 
3065
    back quotes (called from ``_handle_value``). What should we do ??
 
3066
    (*ought* to raise exception because it's an invalid value if lists are
 
3067
    off *sigh*. This is not what you want if you want to do your own list
 
3068
    processing - would be *better* in this case not to unquote.)
 
3069
    
 
3070
    String interpolation and validation don't play well together. When
 
3071
    validation changes type it sets the value. This will correctly fetch the
 
3072
    value using interpolation - but then overwrite the interpolation reference.
 
3073
    If the value is unchanged by validation (it's a string) - but other types
 
3074
    will be.
 
3075
    
 
3076
    
 
3077
    List Value Syntax
 
3078
    =================
 
3079
    
 
3080
    List values allow you to specify multiple values for a keyword. This
 
3081
    maps to a list as the resulting Python object when parsed.
 
3082
    
 
3083
    The syntax for lists is easy. A list is a comma separated set of values.
 
3084
    If these values contain quotes, the hash mark, or commas, then the values
 
3085
    can be surrounded by quotes. e.g. : ::
 
3086
    
 
3087
        keyword = value1, 'value 2', "value 3"
 
3088
    
 
3089
    If a value needs to be a list, but only has one member, then you indicate
 
3090
    this with a trailing comma. e.g. : ::
 
3091
    
 
3092
        keyword = "single value",
 
3093
    
 
3094
    If a value needs to be a list, but it has no members, then you indicate
 
3095
    this with a single comma. e.g. : ::
 
3096
    
 
3097
        keyword = ,     # an empty list
 
3098
    
 
3099
    Using triple quotes it will be possible for single values to contain
 
3100
    newlines and *both* single quotes and double quotes. Triple quotes aren't
 
3101
    allowed in list values. This means that the members of list values can't
 
3102
    contain carriage returns (or line feeds :-) or both quote values.
 
3103
      
 
3104
    CHANGELOG
 
3105
    =========
 
3106
    
 
3107
    2006/02/04
 
3108
    ----------
 
3109
    
 
3110
    Removed ``BOM_UTF8`` from ``__all__``.
 
3111
    
 
3112
    The ``BOM`` attribute has become a boolean. (Defaults to ``False``.) It is
 
3113
    *only* ``True`` for the ``UTF16`` encoding.
 
3114
    
 
3115
    File like objects no longer need a ``seek`` attribute.
 
3116
    
 
3117
    ConfigObj no longer keeps a reference to file like objects. Instead the
 
3118
    ``write`` method takes a file like object as an optional argument. (Which
 
3119
    will be used in preference of the ``filename`` attribute if htat exists as
 
3120
    well.)
 
3121
    
 
3122
    Full unicode support added. New options/attributes ``encoding``,
 
3123
    ``default_encoding``.
 
3124
    
 
3125
    utf16 files decoded to unicode.
 
3126
    
 
3127
    If ``BOM`` is ``True``, but no encoding specified, then the utf8 BOM is
 
3128
    written out at the start of the file. (It will normally only be ``True`` if
 
3129
    the utf8 BOM was found when the file was read.)
 
3130
    
 
3131
    File paths are *not* converted to absolute paths, relative paths will
 
3132
    remain relative as the ``filename`` attribute.
 
3133
    
 
3134
    Fixed bug where ``final_comment`` wasn't returned if ``write`` is returning
 
3135
    a list of lines.
 
3136
    
 
3137
    2006/01/31
 
3138
    ----------
 
3139
    
 
3140
    Added ``True``, ``False``, and ``enumerate`` if they are not defined.
 
3141
    (``True`` and ``False`` are needed for *early* versions of Python 2.2,
 
3142
    ``enumerate`` is needed for all versions ofPython 2.2)
 
3143
    
 
3144
    Deprecated ``istrue``, replaced it with ``as_bool``.
 
3145
    
 
3146
    Added ``as_int`` and ``as_float``.
 
3147
    
 
3148
    utf8 and utf16 BOM handled in an endian agnostic way.
 
3149
    
 
3150
    2005/12/14
 
3151
    ----------
 
3152
    
 
3153
    Validation no longer done on the 'DEFAULT' section (only in the root
 
3154
    level). This allows interpolation in configspecs.
 
3155
    
 
3156
    Change in validation syntax implemented in validate 0.2.1
 
3157
    
 
3158
    4.1.0
 
3159
    
 
3160
    2005/12/10
 
3161
    ----------
 
3162
    
 
3163
    Added ``merge``, a recursive update.
 
3164
    
 
3165
    Added ``preserve_errors`` to ``validate`` and the ``flatten_errors``
 
3166
    example function.
 
3167
    
 
3168
    Thanks to Matthew Brett for suggestions and helping me iron out bugs.
 
3169
    
 
3170
    Fixed bug where a config file is *all* comment, the comment will now be
 
3171
    ``initial_comment`` rather than ``final_comment``.
 
3172
    
 
3173
    2005/12/02
 
3174
    ----------
 
3175
    
 
3176
    Fixed bug in ``create_empty``. Thanks to Paul Jimenez for the report.
 
3177
    
 
3178
    2005/11/04
 
3179
    ----------
 
3180
    
 
3181
    Fixed bug in ``Section.walk`` when transforming names as well as values.
 
3182
    
 
3183
    Added the ``istrue`` method. (Fetches the boolean equivalent of a string
 
3184
    value).
 
3185
    
 
3186
    Fixed ``list_values=False`` - they are now only quoted/unquoted if they
 
3187
    are multiline values.
 
3188
    
 
3189
    List values are written as ``item, item`` rather than ``item,item``.
 
3190
    
 
3191
    4.0.1
 
3192
    
 
3193
    2005/10/09
 
3194
    ----------
 
3195
    
 
3196
    Fixed typo in ``write`` method. (Testing for the wrong value when resetting
 
3197
    ``interpolation``).
 
3198
 
 
3199
    4.0.0 Final
 
3200
    
 
3201
    2005/09/16
 
3202
    ----------
 
3203
    
 
3204
    Fixed bug in ``setdefault`` - creating a new section *wouldn't* return
 
3205
    a reference to the new section.
 
3206
    
 
3207
    2005/09/09
 
3208
    ----------
 
3209
    
 
3210
    Removed ``PositionError``.
 
3211
    
 
3212
    Allowed quotes around keys as documented.
 
3213
    
 
3214
    Fixed bug with commas in comments. (matched as a list value)
 
3215
    
 
3216
    Beta 5
 
3217
    
 
3218
    2005/09/07
 
3219
    ----------
 
3220
    
 
3221
    Fixed bug in initialising ConfigObj from a ConfigObj.
 
3222
    
 
3223
    Changed the mailing list address.
 
3224
    
 
3225
    Beta 4
 
3226
    
 
3227
    2005/09/03
 
3228
    ----------
 
3229
    
 
3230
    Fixed bug in ``Section.__delitem__`` oops.
 
3231
    
 
3232
    2005/08/28
 
3233
    ----------
 
3234
    
 
3235
    Interpolation is switched off before writing out files.
 
3236
    
 
3237
    Fixed bug in handling ``StringIO`` instances. (Thanks to report from
 
3238
    "Gustavo Niemeyer" <gustavo@niemeyer.net>)
 
3239
    
 
3240
    Moved the doctests from the ``__init__`` method to a separate function.
 
3241
    (For the sake of IDE calltips).
 
3242
    
 
3243
    Beta 3
 
3244
    
 
3245
    2005/08/26
 
3246
    ----------
 
3247
    
 
3248
    String values unchanged by validation *aren't* reset. This preserves
 
3249
    interpolation in string values.
 
3250
    
 
3251
    2005/08/18
 
3252
    ----------
 
3253
    
 
3254
    None from a default is turned to '' if stringify is off - because setting 
 
3255
    a value to None raises an error.
 
3256
    
 
3257
    Version 4.0.0-beta2
 
3258
    
 
3259
    2005/08/16
 
3260
    ----------
 
3261
    
 
3262
    By Nicola Larosa
 
3263
    
 
3264
    Actually added the RepeatSectionError class ;-)
 
3265
    
 
3266
    2005/08/15
 
3267
    ----------
 
3268
    
 
3269
    If ``stringify`` is off - list values are preserved by the ``validate``
 
3270
    method. (Bugfix)
 
3271
    
 
3272
    2005/08/14
 
3273
    ----------
 
3274
    
 
3275
    By Michael Foord
 
3276
    
 
3277
    Fixed ``simpleVal``.
 
3278
    
 
3279
    Added ``RepeatSectionError`` error if you have additional sections in a
 
3280
    section with a ``__many__`` (repeated) section.
 
3281
    
 
3282
    By Nicola Larosa
 
3283
    
 
3284
    Reworked the ConfigObj._parse, _handle_error and _multiline methods:
 
3285
    mutated the self._infile, self._index and self._maxline attributes into
 
3286
    local variables and method parameters
 
3287
    
 
3288
    Reshaped the ConfigObj._multiline method to better reflect its semantics
 
3289
    
 
3290
    Changed the "default_test" test in ConfigObj.validate to check the fix for
 
3291
    the bug in validate.Validator.check
 
3292
    
 
3293
    2005/08/13
 
3294
    ----------
 
3295
    
 
3296
    By Nicola Larosa
 
3297
    
 
3298
    Updated comments at top
 
3299
    
 
3300
    2005/08/11
 
3301
    ----------
 
3302
    
 
3303
    By Michael Foord
 
3304
    
 
3305
    Implemented repeated sections.
 
3306
    
 
3307
    By Nicola Larosa
 
3308
    
 
3309
    Added test for interpreter version: raises RuntimeError if earlier than
 
3310
    2.2
 
3311
    
 
3312
    2005/08/10
 
3313
    ----------
 
3314
   
 
3315
    By Michael Foord
 
3316
     
 
3317
    Implemented default values in configspecs.
 
3318
    
 
3319
    By Nicola Larosa
 
3320
    
 
3321
    Fixed naked except: clause in validate that was silencing the fact
 
3322
    that Python2.2 does not have dict.pop
 
3323
    
 
3324
    2005/08/08
 
3325
    ----------
 
3326
    
 
3327
    By Michael Foord
 
3328
    
 
3329
    Bug fix causing error if file didn't exist.
 
3330
    
 
3331
    2005/08/07
 
3332
    ----------
 
3333
    
 
3334
    By Nicola Larosa
 
3335
    
 
3336
    Adjusted doctests for Python 2.2.3 compatibility
 
3337
    
 
3338
    2005/08/04
 
3339
    ----------
 
3340
    
 
3341
    By Michael Foord
 
3342
    
 
3343
    Added the inline_comments attribute
 
3344
    
 
3345
    We now preserve and rewrite all comments in the config file
 
3346
    
 
3347
    configspec is now a section attribute
 
3348
    
 
3349
    The validate method changes values in place
 
3350
    
 
3351
    Added InterpolationError
 
3352
    
 
3353
    The errors now have line number, line, and message attributes. This
 
3354
    simplifies error handling
 
3355
    
 
3356
    Added __docformat__
 
3357
    
 
3358
    2005/08/03
 
3359
    ----------
 
3360
    
 
3361
    By Michael Foord
 
3362
    
 
3363
    Fixed bug in Section.pop (now doesn't raise KeyError if a default value
 
3364
    is specified)
 
3365
    
 
3366
    Replaced ``basestring`` with ``types.StringTypes``
 
3367
    
 
3368
    Removed the ``writein`` method
 
3369
    
 
3370
    Added __version__
 
3371
    
 
3372
    2005/07/29
 
3373
    ----------
 
3374
    
 
3375
    By Nicola Larosa
 
3376
    
 
3377
    Indentation in config file is not significant anymore, subsections are
 
3378
    designated by repeating square brackets
 
3379
    
 
3380
    Adapted all tests and docs to the new format
 
3381
    
 
3382
    2005/07/28
 
3383
    ----------
 
3384
    
 
3385
    By Nicola Larosa
 
3386
    
 
3387
    Added more tests
 
3388
    
 
3389
    2005/07/23
 
3390
    ----------
 
3391
    
 
3392
    By Nicola Larosa
 
3393
    
 
3394
    Reformatted final docstring in ReST format, indented it for easier folding
 
3395
    
 
3396
    Code tests converted to doctest format, and scattered them around
 
3397
    in various docstrings
 
3398
    
 
3399
    Walk method rewritten using scalars and sections attributes
 
3400
    
 
3401
    2005/07/22
 
3402
    ----------
 
3403
    
 
3404
    By Nicola Larosa
 
3405
    
 
3406
    Changed Validator and SimpleVal "test" methods to "check"
 
3407
    
 
3408
    More code cleanup
 
3409
    
 
3410
    2005/07/21
 
3411
    ----------
 
3412
    
 
3413
    Changed Section.sequence to Section.scalars and Section.sections
 
3414
    
 
3415
    Added Section.configspec
 
3416
    
 
3417
    Sections in the root section now have no extra indentation
 
3418
    
 
3419
    Comments now better supported in Section and preserved by ConfigObj
 
3420
    
 
3421
    Comments also written out
 
3422
    
 
3423
    Implemented initial_comment and final_comment
 
3424
    
 
3425
    A scalar value after a section will now raise an error
 
3426
    
 
3427
    2005/07/20
 
3428
    ----------
 
3429
    
 
3430
    Fixed a couple of bugs
 
3431
    
 
3432
    Can now pass a tuple instead of a list
 
3433
    
 
3434
    Simplified dict and walk methods
 
3435
    
 
3436
    Added __str__ to Section
 
3437
    
 
3438
    2005/07/10
 
3439
    ----------
 
3440
    
 
3441
    By Nicola Larosa
 
3442
    
 
3443
    More code cleanup
 
3444
    
 
3445
    2005/07/08
 
3446
    ----------
 
3447
    
 
3448
    The stringify option implemented. On by default.
 
3449
    
 
3450
    2005/07/07
 
3451
    ----------
 
3452
    
 
3453
    Renamed private attributes with a single underscore prefix.
 
3454
    
 
3455
    Changes to interpolation - exceeding recursion depth, or specifying a
 
3456
    missing value, now raise errors.
 
3457
    
 
3458
    Changes for Python 2.2 compatibility. (changed boolean tests - removed
 
3459
    ``is True`` and ``is False``)
 
3460
    
 
3461
    Added test for duplicate section and member (and fixed bug)
 
3462
    
 
3463
    2005/07/06
 
3464
    ----------
 
3465
    
 
3466
    By Nicola Larosa
 
3467
    
 
3468
    Code cleanup
 
3469
    
 
3470
    2005/07/02
 
3471
    ----------
 
3472
    
 
3473
    Version 0.1.0
 
3474
    
 
3475
    Now properly handles values including comments and lists.
 
3476
    
 
3477
    Better error handling.
 
3478
    
 
3479
    String interpolation.
 
3480
    
 
3481
    Some options implemented.
 
3482
    
 
3483
    You can pass a Section a dictionary to initialise it.
 
3484
    
 
3485
    Setting a Section member to a dictionary will create a Section instance.
 
3486
    
 
3487
    2005/06/26
 
3488
    ----------
 
3489
    
 
3490
    Version 0.0.1
 
3491
    
 
3492
    Experimental reader.
 
3493
    
 
3494
    A reasonably elegant implementation - a basic reader in 160 lines of code.
 
3495
    
 
3496
    *A programming language is a medium of expression.* - Paul Graham
 
3497
"""
 
3498