~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/config.py

(gz) Change minimum required testtools version for selftest to 0.9.5 for
 unicode fixes (Martin [gz])

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#   Authors: Robert Collins <robert.collins@canonical.com>
3
3
#            and others
4
4
#
63
63
"""
64
64
 
65
65
import os
66
 
import string
67
66
import sys
68
67
 
69
68
from bzrlib import commands
70
69
from bzrlib.decorators import needs_write_lock
71
70
from bzrlib.lazy_import import lazy_import
72
71
lazy_import(globals(), """
 
72
import errno
73
73
import fnmatch
74
74
import re
75
75
from cStringIO import StringIO
82
82
    errors,
83
83
    lockdir,
84
84
    mail_client,
85
 
    mergetools,
86
85
    osutils,
87
86
    registry,
88
87
    symbol_versioning,
129
128
STORE_BRANCH = 3
130
129
STORE_GLOBAL = 4
131
130
 
132
 
 
133
 
class ConfigObj(configobj.ConfigObj):
134
 
 
135
 
    def __init__(self, infile=None, **kwargs):
136
 
        # We define our own interpolation mechanism calling it option expansion
137
 
        super(ConfigObj, self).__init__(infile=infile,
138
 
                                        interpolation=False,
139
 
                                        **kwargs)
140
 
 
141
 
 
142
 
    def get_bool(self, section, key):
143
 
        return self[section].as_bool(key)
144
 
 
145
 
    def get_value(self, section, name):
146
 
        # Try [] for the old DEFAULT section.
147
 
        if section == "DEFAULT":
148
 
            try:
149
 
                return self[name]
150
 
            except KeyError:
151
 
                pass
152
 
        return self[section][name]
153
 
 
154
 
 
155
 
# FIXME: Until we can guarantee that each config file is loaded once and and
156
 
# only once for a given bzrlib session, we don't want to re-read the file every
157
 
# time we query for an option so we cache the value (bad ! watch out for tests
158
 
# needing to restore the proper value).This shouldn't be part of 2.4.0 final,
159
 
# yell at mgz^W vila and the RM if this is still present at that time
160
 
# -- vila 20110219
161
 
_expand_default_value = None
162
 
def _get_expand_default_value():
163
 
    global _expand_default_value
164
 
    if _expand_default_value is not None:
165
 
        return _expand_default_value
166
 
    conf = GlobalConfig()
167
 
    # Note that we must not use None for the expand value below or we'll run
168
 
    # into infinite recursion. Using False really would be quite silly ;)
169
 
    expand = conf.get_user_option_as_bool('bzr.config.expand', expand=True)
170
 
    if expand is None:
171
 
        # This is an opt-in feature, you *really* need to clearly say you want
172
 
        # to activate it !
173
 
        expand = False
174
 
    _expand_default_value = expand
175
 
    return expand
 
131
_ConfigObj = None
 
132
def ConfigObj(*args, **kwargs):
 
133
    global _ConfigObj
 
134
    if _ConfigObj is None:
 
135
        class ConfigObj(configobj.ConfigObj):
 
136
 
 
137
            def get_bool(self, section, key):
 
138
                return self[section].as_bool(key)
 
139
 
 
140
            def get_value(self, section, name):
 
141
                # Try [] for the old DEFAULT section.
 
142
                if section == "DEFAULT":
 
143
                    try:
 
144
                        return self[name]
 
145
                    except KeyError:
 
146
                        pass
 
147
                return self[section][name]
 
148
        _ConfigObj = ConfigObj
 
149
    return _ConfigObj(*args, **kwargs)
176
150
 
177
151
 
178
152
class Config(object):
214
188
    def _get_signing_policy(self):
215
189
        """Template method to override signature creation policy."""
216
190
 
217
 
    option_ref_re = None
218
 
 
219
 
    def expand_options(self, string, env=None):
220
 
        """Expand option references in the string in the configuration context.
221
 
 
222
 
        :param string: The string containing option to expand.
223
 
 
224
 
        :param env: An option dict defining additional configuration options or
225
 
            overriding existing ones.
226
 
 
227
 
        :returns: The expanded string.
228
 
        """
229
 
        return self._expand_options_in_string(string, env)
230
 
 
231
 
    def _expand_options_in_list(self, slist, env=None, _ref_stack=None):
232
 
        """Expand options in  a list of strings in the configuration context.
233
 
 
234
 
        :param slist: A list of strings.
235
 
 
236
 
        :param env: An option dict defining additional configuration options or
237
 
            overriding existing ones.
238
 
 
239
 
        :param _ref_stack: Private list containing the options being
240
 
            expanded to detect loops.
241
 
 
242
 
        :returns: The flatten list of expanded strings.
243
 
        """
244
 
        # expand options in each value separately flattening lists
245
 
        result = []
246
 
        for s in slist:
247
 
            value = self._expand_options_in_string(s, env, _ref_stack)
248
 
            if isinstance(value, list):
249
 
                result.extend(value)
250
 
            else:
251
 
                result.append(value)
252
 
        return result
253
 
 
254
 
    def _expand_options_in_string(self, string, env=None, _ref_stack=None):
255
 
        """Expand options in the string in the configuration context.
256
 
 
257
 
        :param string: The string to be expanded.
258
 
 
259
 
        :param env: An option dict defining additional configuration options or
260
 
            overriding existing ones.
261
 
 
262
 
        :param _ref_stack: Private list containing the options being
263
 
            expanded to detect loops.
264
 
 
265
 
        :returns: The expanded string.
266
 
        """
267
 
        if string is None:
268
 
            # Not much to expand there
269
 
            return None
270
 
        if _ref_stack is None:
271
 
            # What references are currently resolved (to detect loops)
272
 
            _ref_stack = []
273
 
        if self.option_ref_re is None:
274
 
            # We want to match the most embedded reference first (i.e. for
275
 
            # '{{foo}}' we will get '{foo}',
276
 
            # for '{bar{baz}}' we will get '{baz}'
277
 
            self.option_ref_re = re.compile('({[^{}]+})')
278
 
        result = string
279
 
        # We need to iterate until no more refs appear ({{foo}} will need two
280
 
        # iterations for example).
281
 
        while True:
282
 
            raw_chunks = self.option_ref_re.split(result)
283
 
            if len(raw_chunks) == 1:
284
 
                # Shorcut the trivial case: no refs
285
 
                return result
286
 
            chunks = []
287
 
            list_value = False
288
 
            # Split will isolate refs so that every other chunk is a ref
289
 
            chunk_is_ref = False
290
 
            for chunk in raw_chunks:
291
 
                if not chunk_is_ref:
292
 
                    if chunk:
293
 
                        # Keep only non-empty strings (or we get bogus empty
294
 
                        # slots when a list value is involved).
295
 
                        chunks.append(chunk)
296
 
                    chunk_is_ref = True
297
 
                else:
298
 
                    name = chunk[1:-1]
299
 
                    if name in _ref_stack:
300
 
                        raise errors.OptionExpansionLoop(string, _ref_stack)
301
 
                    _ref_stack.append(name)
302
 
                    value = self._expand_option(name, env, _ref_stack)
303
 
                    if value is None:
304
 
                        raise errors.ExpandingUnknownOption(name, string)
305
 
                    if isinstance(value, list):
306
 
                        list_value = True
307
 
                        chunks.extend(value)
308
 
                    else:
309
 
                        chunks.append(value)
310
 
                    _ref_stack.pop()
311
 
                    chunk_is_ref = False
312
 
            if list_value:
313
 
                # Once a list appears as the result of an expansion, all
314
 
                # callers will get a list result. This allows a consistent
315
 
                # behavior even when some options in the expansion chain
316
 
                # defined as strings (no comma in their value) but their
317
 
                # expanded value is a list.
318
 
                return self._expand_options_in_list(chunks, env, _ref_stack)
319
 
            else:
320
 
                result = ''.join(chunks)
321
 
        return result
322
 
 
323
 
    def _expand_option(self, name, env, _ref_stack):
324
 
        if env is not None and name in env:
325
 
            # Special case, values provided in env takes precedence over
326
 
            # anything else
327
 
            value = env[name]
328
 
        else:
329
 
            # FIXME: This is a limited implementation, what we really need is a
330
 
            # way to query the bzr config for the value of an option,
331
 
            # respecting the scope rules (That is, once we implement fallback
332
 
            # configs, getting the option value should restart from the top
333
 
            # config, not the current one) -- vila 20101222
334
 
            value = self.get_user_option(name, expand=False)
335
 
            if isinstance(value, list):
336
 
                value = self._expand_options_in_list(value, env, _ref_stack)
337
 
            else:
338
 
                value = self._expand_options_in_string(value, env, _ref_stack)
339
 
        return value
340
 
 
341
191
    def _get_user_option(self, option_name):
342
192
        """Template method to provide a user option."""
343
193
        return None
344
194
 
345
 
    def get_user_option(self, option_name, expand=None):
346
 
        """Get a generic option - no special process, no default.
347
 
 
348
 
        :param option_name: The queried option.
349
 
 
350
 
        :param expand: Whether options references should be expanded.
351
 
 
352
 
        :returns: The value of the option.
353
 
        """
354
 
        if expand is None:
355
 
            expand = _get_expand_default_value()
356
 
        value = self._get_user_option(option_name)
357
 
        if expand:
358
 
            if isinstance(value, list):
359
 
                value = self._expand_options_in_list(value)
360
 
            elif isinstance(value, dict):
361
 
                trace.warning('Cannot expand "%s":'
362
 
                              ' Dicts do not support option expansion'
363
 
                              % (option_name,))
364
 
            else:
365
 
                value = self._expand_options_in_string(value)
366
 
        return value
367
 
 
368
 
    def get_user_option_as_bool(self, option_name, expand=None):
 
195
    def get_user_option(self, option_name):
 
196
        """Get a generic option - no special process, no default."""
 
197
        return self._get_user_option(option_name)
 
198
 
 
199
    def get_user_option_as_bool(self, option_name):
369
200
        """Get a generic option as a boolean - no special process, no default.
370
201
 
371
202
        :return None if the option doesn't exist or its value can't be
372
203
            interpreted as a boolean. Returns True or False otherwise.
373
204
        """
374
 
        s = self.get_user_option(option_name, expand=expand)
 
205
        s = self._get_user_option(option_name)
375
206
        if s is None:
376
207
            # The option doesn't exist
377
208
            return None
382
213
                          s, option_name)
383
214
        return val
384
215
 
385
 
    def get_user_option_as_list(self, option_name, expand=None):
 
216
    def get_user_option_as_list(self, option_name):
386
217
        """Get a generic option as a list - no special process, no default.
387
218
 
388
219
        :return None if the option doesn't exist. Returns the value as a list
389
220
            otherwise.
390
221
        """
391
 
        l = self.get_user_option(option_name, expand=expand)
 
222
        l = self._get_user_option(option_name)
392
223
        if isinstance(l, (str, unicode)):
393
 
            # A single value, most probably the user forgot (or didn't care to
394
 
            # add) the final ','
 
224
            # A single value, most probably the user forgot the final ','
395
225
            l = [l]
396
226
        return l
397
227
 
441
271
        the concrete policy type is checked, and finally
442
272
        $EMAIL is examined.
443
273
        If no username can be found, errors.NoWhoami exception is raised.
 
274
 
 
275
        TODO: Check it's reasonably well-formed.
444
276
        """
445
277
        v = os.environ.get('BZR_EMAIL')
446
278
        if v:
447
279
            return v.decode(osutils.get_user_encoding())
 
280
 
448
281
        v = self._get_user_id()
449
282
        if v:
450
283
            return v
 
284
 
451
285
        v = os.environ.get('EMAIL')
452
286
        if v:
453
287
            return v.decode(osutils.get_user_encoding())
454
 
        name, email = _auto_user_id()
455
 
        if name and email:
456
 
            return '%s <%s>' % (name, email)
457
 
        elif email:
458
 
            return email
 
288
 
459
289
        raise errors.NoWhoami()
460
290
 
461
291
    def ensure_username(self):
527
357
        else:
528
358
            return True
529
359
 
530
 
    def get_merge_tools(self):
531
 
        tools = {}
532
 
        for (oname, value, section, conf_id, parser) in self._get_options():
533
 
            if oname.startswith('bzr.mergetool.'):
534
 
                tool_name = oname[len('bzr.mergetool.'):]
535
 
                tools[tool_name] = value
536
 
        trace.mutter('loaded merge tools: %r' % tools)
537
 
        return tools
538
 
 
539
 
    def find_merge_tool(self, name):
540
 
        # We fake a defaults mechanism here by checking if the given name can 
541
 
        # be found in the known_merge_tools if it's not found in the config.
542
 
        # This should be done through the proposed config defaults mechanism
543
 
        # when it becomes available in the future.
544
 
        command_line = (self.get_user_option('bzr.mergetool.%s' % name,
545
 
                                             expand=False)
546
 
                        or mergetools.known_merge_tools.get(name, None))
547
 
        return command_line
548
 
 
549
360
 
550
361
class IniBasedConfig(Config):
551
362
    """A configuration policy that draws from ini files."""
842
653
    def __init__(self, file_name):
843
654
        super(LockableConfig, self).__init__(file_name=file_name)
844
655
        self.dir = osutils.dirname(osutils.safe_unicode(self.file_name))
845
 
        # FIXME: It doesn't matter that we don't provide possible_transports
846
 
        # below since this is currently used only for local config files ;
847
 
        # local transports are not shared. But if/when we start using
848
 
        # LockableConfig for other kind of transports, we will need to reuse
849
 
        # whatever connection is already established -- vila 20100929
850
656
        self.transport = transport.get_transport(self.dir)
851
657
        self._lock = lockdir.LockDir(self.transport, 'lock')
852
658
 
967
773
        super(LockableConfig, self).remove_user_option(option_name,
968
774
                                                       section_name)
969
775
 
970
 
def _iter_for_location_by_parts(sections, location):
971
 
    """Keep only the sessions matching the specified location.
972
 
 
973
 
    :param sections: An iterable of section names.
974
 
 
975
 
    :param location: An url or a local path to match against.
976
 
 
977
 
    :returns: An iterator of (section, extra_path, nb_parts) where nb is the
978
 
        number of path components in the section name, section is the section
979
 
        name and extra_path is the difference between location and the section
980
 
        name.
981
 
    """
982
 
    location_parts = location.rstrip('/').split('/')
983
 
 
984
 
    for section in sections:
985
 
        # location is a local path if possible, so we need
986
 
        # to convert 'file://' urls to local paths if necessary.
987
 
 
988
 
        # FIXME: I don't think the above comment is still up to date,
989
 
        # LocationConfig is always instantiated with an url -- vila 2011-04-07
990
 
 
991
 
        # This also avoids having file:///path be a more exact
992
 
        # match than '/path'.
993
 
 
994
 
        # FIXME: Not sure about the above either, but since the path components
995
 
        # are compared in sync, adding two empty components (//) is likely to
996
 
        # trick the comparison and also trick the check on the number of
997
 
        # components, so we *should* take only the relevant part of the url. On
998
 
        # the other hand, this means 'file://' urls *can't* be used in sections
999
 
        # so more work is probably needed -- vila 2011-04-07
1000
 
 
1001
 
        if section.startswith('file://'):
1002
 
            section_path = urlutils.local_path_from_url(section)
1003
 
        else:
1004
 
            section_path = section
1005
 
        section_parts = section_path.rstrip('/').split('/')
1006
 
 
1007
 
        matched = True
1008
 
        if len(section_parts) > len(location_parts):
1009
 
            # More path components in the section, they can't match
1010
 
            matched = False
1011
 
        else:
1012
 
            # Rely on zip truncating in length to the length of the shortest
1013
 
            # argument sequence.
1014
 
            names = zip(location_parts, section_parts)
1015
 
            for name in names:
1016
 
                if not fnmatch.fnmatch(name[0], name[1]):
1017
 
                    matched = False
1018
 
                    break
1019
 
        if not matched:
1020
 
            continue
1021
 
        # build the path difference between the section and the location
1022
 
        extra_path = '/'.join(location_parts[len(section_parts):])
1023
 
        yield section, extra_path, len(section_parts)
1024
 
 
1025
776
 
1026
777
class LocationConfig(LockableConfig):
1027
778
    """A configuration object that gives the policy for a location."""
1056
807
 
1057
808
    def _get_matching_sections(self):
1058
809
        """Return an ordered list of section names matching this location."""
1059
 
        matches = list(_iter_for_location_by_parts(self._get_parser(),
1060
 
                                                   self.location))
 
810
        sections = self._get_parser()
 
811
        location_names = self.location.split('/')
 
812
        if self.location.endswith('/'):
 
813
            del location_names[-1]
 
814
        matches=[]
 
815
        for section in sections:
 
816
            # location is a local path if possible, so we need
 
817
            # to convert 'file://' urls to local paths if necessary.
 
818
            # This also avoids having file:///path be a more exact
 
819
            # match than '/path'.
 
820
            if section.startswith('file://'):
 
821
                section_path = urlutils.local_path_from_url(section)
 
822
            else:
 
823
                section_path = section
 
824
            section_names = section_path.split('/')
 
825
            if section.endswith('/'):
 
826
                del section_names[-1]
 
827
            names = zip(location_names, section_names)
 
828
            matched = True
 
829
            for name in names:
 
830
                if not fnmatch.fnmatch(name[0], name[1]):
 
831
                    matched = False
 
832
                    break
 
833
            if not matched:
 
834
                continue
 
835
            # so, for the common prefix they matched.
 
836
            # if section is longer, no match.
 
837
            if len(section_names) > len(location_names):
 
838
                continue
 
839
            matches.append((len(section_names), section,
 
840
                            '/'.join(location_names[len(section_names):])))
1061
841
        # put the longest (aka more specific) locations first
1062
 
        matches.sort(
1063
 
            key=lambda (section, extra_path, length): (length, section),
1064
 
            reverse=True)
1065
 
        for (section, extra_path, length) in matches:
1066
 
            yield section, extra_path
 
842
        matches.sort(reverse=True)
 
843
        sections = []
 
844
        for (length, section, extra_path) in matches:
 
845
            sections.append((section, extra_path))
1067
846
            # should we stop looking for parent configs here?
1068
847
            try:
1069
848
                if self._get_parser()[section].as_bool('ignore_parents'):
1070
849
                    break
1071
850
            except KeyError:
1072
851
                pass
 
852
        return sections
1073
853
 
1074
854
    def _get_sections(self, name=None):
1075
855
        """See IniBasedConfig._get_sections()."""
1343
1123
def config_dir():
1344
1124
    """Return per-user configuration directory.
1345
1125
 
1346
 
    By default this is %APPDATA%/bazaar/2.0 on Windows, ~/.bazaar on Mac OS X
1347
 
    and Linux.  On Linux, if there is a $XDG_CONFIG_HOME/bazaar directory,
1348
 
    that will be used instead.
 
1126
    By default this is ~/.bazaar/
1349
1127
 
1350
1128
    TODO: Global option --config-dir to override this.
1351
1129
    """
1352
1130
    base = os.environ.get('BZR_HOME', None)
1353
1131
    if sys.platform == 'win32':
1354
 
        # environ variables on Windows are in user encoding/mbcs. So decode
1355
 
        # before using one
1356
 
        if base is not None:
1357
 
            base = base.decode('mbcs')
1358
1132
        if base is None:
1359
1133
            base = win32utils.get_appdata_location_unicode()
1360
1134
        if base is None:
1361
1135
            base = os.environ.get('HOME', None)
1362
 
            if base is not None:
1363
 
                base = base.decode('mbcs')
1364
1136
        if base is None:
1365
1137
            raise errors.BzrError('You must have one of BZR_HOME, APPDATA,'
1366
1138
                                  ' or HOME set')
1367
1139
        return osutils.pathjoin(base, 'bazaar', '2.0')
1368
 
    elif sys.platform == 'darwin':
1369
 
        if base is None:
1370
 
            # this takes into account $HOME
1371
 
            base = os.path.expanduser("~")
1372
 
        return osutils.pathjoin(base, '.bazaar')
1373
1140
    else:
1374
1141
        if base is None:
1375
 
 
1376
 
            xdg_dir = os.environ.get('XDG_CONFIG_HOME', None)
1377
 
            if xdg_dir is None:
1378
 
                xdg_dir = osutils.pathjoin(os.path.expanduser("~"), ".config")
1379
 
            xdg_dir = osutils.pathjoin(xdg_dir, 'bazaar')
1380
 
            if osutils.isdir(xdg_dir):
1381
 
                trace.mutter(
1382
 
                    "Using configuration in XDG directory %s." % xdg_dir)
1383
 
                return xdg_dir
1384
 
 
1385
1142
            base = os.path.expanduser("~")
1386
1143
        return osutils.pathjoin(base, ".bazaar")
1387
1144
 
1433
1190
        return os.path.expanduser('~/.cache')
1434
1191
 
1435
1192
 
1436
 
def _get_default_mail_domain():
1437
 
    """If possible, return the assumed default email domain.
1438
 
 
1439
 
    :returns: string mail domain, or None.
1440
 
    """
1441
 
    if sys.platform == 'win32':
1442
 
        # No implementation yet; patches welcome
1443
 
        return None
1444
 
    try:
1445
 
        f = open('/etc/mailname')
1446
 
    except (IOError, OSError), e:
1447
 
        return None
1448
 
    try:
1449
 
        domain = f.read().strip()
1450
 
        return domain
1451
 
    finally:
1452
 
        f.close()
1453
 
 
1454
 
 
1455
 
def _auto_user_id():
1456
 
    """Calculate automatic user identification.
1457
 
 
1458
 
    :returns: (realname, email), either of which may be None if they can't be
1459
 
    determined.
1460
 
 
1461
 
    Only used when none is set in the environment or the id file.
1462
 
 
1463
 
    This only returns an email address if we can be fairly sure the 
1464
 
    address is reasonable, ie if /etc/mailname is set on unix.
1465
 
 
1466
 
    This doesn't use the FQDN as the default domain because that may be 
1467
 
    slow, and it doesn't use the hostname alone because that's not normally 
1468
 
    a reasonable address.
1469
 
    """
1470
 
    if sys.platform == 'win32':
1471
 
        # No implementation to reliably determine Windows default mail
1472
 
        # address; please add one.
1473
 
        return None, None
1474
 
 
1475
 
    default_mail_domain = _get_default_mail_domain()
1476
 
    if not default_mail_domain:
1477
 
        return None, None
1478
 
 
1479
 
    import pwd
1480
 
    uid = os.getuid()
1481
 
    try:
1482
 
        w = pwd.getpwuid(uid)
1483
 
    except KeyError:
1484
 
        mutter('no passwd entry for uid %d?' % uid)
1485
 
        return None, None
1486
 
 
1487
 
    # we try utf-8 first, because on many variants (like Linux),
1488
 
    # /etc/passwd "should" be in utf-8, and because it's unlikely to give
1489
 
    # false positives.  (many users will have their user encoding set to
1490
 
    # latin-1, which cannot raise UnicodeError.)
1491
 
    try:
1492
 
        gecos = w.pw_gecos.decode('utf-8')
1493
 
        encoding = 'utf-8'
1494
 
    except UnicodeError:
1495
 
        try:
1496
 
            encoding = osutils.get_user_encoding()
1497
 
            gecos = w.pw_gecos.decode(encoding)
1498
 
        except UnicodeError, e:
1499
 
            mutter("cannot decode passwd entry %s" % w)
1500
 
            return None, None
1501
 
    try:
1502
 
        username = w.pw_name.decode(encoding)
1503
 
    except UnicodeError, e:
1504
 
        mutter("cannot decode passwd entry %s" % w)
1505
 
        return None, None
1506
 
 
1507
 
    comma = gecos.find(',')
1508
 
    if comma == -1:
1509
 
        realname = gecos
1510
 
    else:
1511
 
        realname = gecos[:comma]
1512
 
 
1513
 
    return realname, (username + '@' + default_mail_domain)
1514
 
 
1515
 
 
1516
1193
def parse_username(username):
1517
1194
    """Parse e-mail username and return a (name, address) tuple."""
1518
1195
    match = re.match(r'(.*?)\s*<?([\w+.-]+@[\w+.-]+)>?', username)