~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/plugin.py

  • Committer: Patch Queue Manager
  • Date: 2016-04-21 04:10:52 UTC
  • mfrom: (6616.1.1 fix-en-user-guide)
  • Revision ID: pqm@pqm.ubuntu.com-20160421041052-clcye7ns1qcl2n7w
(richard-wilbur) Ensure build of English use guide always uses English text
 even when user's locale specifies a different language. (Jelmer Vernooij)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2004, 2005, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
 
18
17
"""bzr python plugin support.
19
18
 
20
19
When load_plugins() is invoked, any python module in any directory in
30
29
called.
31
30
"""
32
31
 
 
32
from __future__ import absolute_import
 
33
 
33
34
import os
34
35
import sys
35
36
 
36
37
from bzrlib import osutils
37
38
 
38
39
from bzrlib.lazy_import import lazy_import
39
 
 
40
40
lazy_import(globals(), """
41
41
import imp
42
42
import re
49
49
    errors,
50
50
    trace,
51
51
    )
 
52
from bzrlib.i18n import gettext
52
53
from bzrlib import plugins as _mod_plugins
53
54
""")
54
55
 
55
 
from bzrlib.symbol_versioning import (
56
 
    deprecated_function,
57
 
    deprecated_in,
58
 
    )
59
 
 
60
56
 
61
57
DEFAULT_PLUGIN_PATH = None
62
58
_loaded = False
63
 
 
64
 
@deprecated_function(deprecated_in((2, 0, 0)))
65
 
def get_default_plugin_path():
66
 
    """Get the DEFAULT_PLUGIN_PATH"""
67
 
    global DEFAULT_PLUGIN_PATH
68
 
    if DEFAULT_PLUGIN_PATH is None:
69
 
        DEFAULT_PLUGIN_PATH = osutils.pathjoin(config.config_dir(), 'plugins')
70
 
    return DEFAULT_PLUGIN_PATH
 
59
_plugins_disabled = False
 
60
 
 
61
 
 
62
plugin_warnings = {}
 
63
# Map from plugin name, to list of string warnings about eg plugin
 
64
# dependencies.
 
65
 
 
66
 
 
67
def are_plugins_disabled():
 
68
    return _plugins_disabled
71
69
 
72
70
 
73
71
def disable_plugins():
75
73
 
76
74
    Future calls to load_plugins() will be ignored.
77
75
    """
 
76
    global _plugins_disabled
 
77
    _plugins_disabled = True
78
78
    load_plugins([])
79
79
 
80
80
 
 
81
def describe_plugins(show_paths=False):
 
82
    """Generate text description of plugins.
 
83
 
 
84
    Includes both those that have loaded, and those that failed to 
 
85
    load.
 
86
 
 
87
    :param show_paths: If true,
 
88
    :returns: Iterator of text lines (including newlines.)
 
89
    """
 
90
    from inspect import getdoc
 
91
    loaded_plugins = plugins()
 
92
    all_names = sorted(list(set(
 
93
        loaded_plugins.keys() + plugin_warnings.keys())))
 
94
    for name in all_names:
 
95
        if name in loaded_plugins:
 
96
            plugin = loaded_plugins[name]
 
97
            version = plugin.__version__
 
98
            if version == 'unknown':
 
99
                version = ''
 
100
            yield '%s %s\n' % (name, version)
 
101
            d = getdoc(plugin.module)
 
102
            if d:
 
103
                doc = d.split('\n')[0]
 
104
            else:
 
105
                doc = '(no description)'
 
106
            yield ("  %s\n" % doc)
 
107
            if show_paths:
 
108
                yield ("   %s\n" % plugin.path())
 
109
            del plugin
 
110
        else:
 
111
            yield "%s (failed to load)\n" % name
 
112
        if name in plugin_warnings:
 
113
            for line in plugin_warnings[name]:
 
114
                yield "  ** " + line + '\n'
 
115
        yield '\n'
 
116
 
 
117
 
81
118
def _strip_trailing_sep(path):
82
119
    return path.rstrip("\\/")
83
120
 
84
121
 
 
122
def _get_specific_plugin_paths(paths):
 
123
    """Returns the plugin paths from a string describing the associations.
 
124
 
 
125
    :param paths: A string describing the paths associated with the plugins.
 
126
 
 
127
    :returns: A list of (plugin name, path) tuples.
 
128
 
 
129
    For example, if paths is my_plugin@/test/my-test:her_plugin@/production/her,
 
130
    [('my_plugin', '/test/my-test'), ('her_plugin', '/production/her')] 
 
131
    will be returned.
 
132
 
 
133
    Note that ':' in the example above depends on the os.
 
134
    """
 
135
    if not paths:
 
136
        return []
 
137
    specs = []
 
138
    for spec in paths.split(os.pathsep):
 
139
        try:
 
140
            name, path = spec.split('@')
 
141
        except ValueError:
 
142
            raise errors.BzrCommandError(gettext(
 
143
                '"%s" is not a valid <plugin_name>@<plugin_path> description ')
 
144
                % spec)
 
145
        specs.append((name, path))
 
146
    return specs
 
147
 
 
148
 
85
149
def set_plugins_path(path=None):
86
150
    """Set the path for plugins to be loaded from.
87
151
 
92
156
    if path is None:
93
157
        path = get_standard_plugins_path()
94
158
    _mod_plugins.__path__ = path
 
159
    PluginImporter.reset()
 
160
    # Set up a blacklist for disabled plugins
 
161
    disabled_plugins = os.environ.get('BZR_DISABLE_PLUGINS', None)
 
162
    if disabled_plugins is not None:
 
163
        for name in disabled_plugins.split(os.pathsep):
 
164
            PluginImporter.blacklist.add('bzrlib.plugins.' + name)
 
165
    # Set up a the specific paths for plugins
 
166
    for plugin_name, plugin_path in _get_specific_plugin_paths(os.environ.get(
 
167
            'BZR_PLUGINS_AT', None)):
 
168
            PluginImporter.specific_paths[
 
169
                'bzrlib.plugins.%s' % plugin_name] = plugin_path
95
170
    return path
96
171
 
97
172
 
180
255
    paths = []
181
256
    for p in env_paths + defaults:
182
257
        if p.startswith('+'):
183
 
            # Resolve reference if they are known
 
258
            # Resolve references if they are known
184
259
            try:
185
260
                p = refs[p[1:]]
186
261
            except KeyError:
187
 
                # Leave them untouched otherwise, user may have paths starting
188
 
                # with '+'...
 
262
                # Leave them untouched so user can still use paths starting
 
263
                # with '+'
189
264
                pass
190
265
        _append_new_path(paths, p)
191
266
 
199
274
    """Load bzrlib plugins.
200
275
 
201
276
    The environment variable BZR_PLUGIN_PATH is considered a delimited
202
 
    set of paths to look through. Each entry is searched for *.py
 
277
    set of paths to look through. Each entry is searched for `*.py`
203
278
    files (and whatever other extensions are used in the platform,
204
 
    such as *.pyd).
 
279
    such as `*.pyd`).
205
280
 
206
 
    load_from_dirs() provides the underlying mechanism and is called with
 
281
    load_from_path() provides the underlying mechanism and is called with
207
282
    the default directory list to provide the normal behaviour.
208
283
 
209
284
    :param path: The list of paths to search for plugins.  By default,
232
307
 
233
308
    The python module path for bzrlib.plugins will be modified to be 'dirs'.
234
309
    """
 
310
    # Explicitly load the plugins with a specific path
 
311
    for fullname, path in PluginImporter.specific_paths.iteritems():
 
312
        name = fullname[len('bzrlib.plugins.'):]
 
313
        _load_plugin_module(name, path)
 
314
 
235
315
    # We need to strip the trailing separators here as well as in the
236
316
    # set_plugins_path function because calling code can pass anything in to
237
317
    # this function, and since it sets plugins.__path__, it should set it to
251
331
load_from_dirs = load_from_path
252
332
 
253
333
 
 
334
def _find_plugin_module(dir, name):
 
335
    """Check if there is a valid python module that can be loaded as a plugin.
 
336
 
 
337
    :param dir: The directory where the search is performed.
 
338
    :param path: An existing file path, either a python file or a package
 
339
        directory.
 
340
 
 
341
    :return: (name, path, description) name is the module name, path is the
 
342
        file to load and description is the tuple returned by
 
343
        imp.get_suffixes().
 
344
    """
 
345
    path = osutils.pathjoin(dir, name)
 
346
    if os.path.isdir(path):
 
347
        # Check for a valid __init__.py file, valid suffixes depends on -O and
 
348
        # can be .py, .pyc and .pyo
 
349
        for suffix, mode, kind in imp.get_suffixes():
 
350
            if kind not in (imp.PY_SOURCE, imp.PY_COMPILED):
 
351
                # We don't recognize compiled modules (.so, .dll, etc)
 
352
                continue
 
353
            init_path = osutils.pathjoin(path, '__init__' + suffix)
 
354
            if os.path.isfile(init_path):
 
355
                return name, init_path, (suffix, mode, kind)
 
356
    else:
 
357
        for suffix, mode, kind in imp.get_suffixes():
 
358
            if name.endswith(suffix):
 
359
                # Clean up the module name
 
360
                name = name[:-len(suffix)]
 
361
                if kind == imp.C_EXTENSION and name.endswith('module'):
 
362
                    name = name[:-len('module')]
 
363
                return name, path, (suffix, mode, kind)
 
364
    # There is no python module here
 
365
    return None, None, (None, None, None)
 
366
 
 
367
 
 
368
def record_plugin_warning(plugin_name, warning_message):
 
369
    trace.mutter(warning_message)
 
370
    plugin_warnings.setdefault(plugin_name, []).append(warning_message)
 
371
 
 
372
 
 
373
def _load_plugin_module(name, dir):
 
374
    """Load plugin name from dir.
 
375
 
 
376
    :param name: The plugin name in the bzrlib.plugins namespace.
 
377
    :param dir: The directory the plugin is loaded from for error messages.
 
378
    """
 
379
    if ('bzrlib.plugins.%s' % name) in PluginImporter.blacklist:
 
380
        return
 
381
    try:
 
382
        exec "import bzrlib.plugins.%s" % name in {}
 
383
    except KeyboardInterrupt:
 
384
        raise
 
385
    except errors.IncompatibleAPI, e:
 
386
        warning_message = (
 
387
            "Unable to load plugin %r. It requested API version "
 
388
            "%s of module %s but the minimum exported version is %s, and "
 
389
            "the maximum is %s" %
 
390
            (name, e.wanted, e.api, e.minimum, e.current))
 
391
        record_plugin_warning(name, warning_message)
 
392
    except Exception, e:
 
393
        trace.warning("%s" % e)
 
394
        if re.search('\.|-| ', name):
 
395
            sanitised_name = re.sub('[-. ]', '_', name)
 
396
            if sanitised_name.startswith('bzr_'):
 
397
                sanitised_name = sanitised_name[len('bzr_'):]
 
398
            trace.warning("Unable to load %r in %r as a plugin because the "
 
399
                    "file path isn't a valid module name; try renaming "
 
400
                    "it to %r." % (name, dir, sanitised_name))
 
401
        else:
 
402
            record_plugin_warning(
 
403
                name,
 
404
                'Unable to load plugin %r from %r' % (name, dir))
 
405
        trace.log_exception_quietly()
 
406
        if 'error' in debug.debug_flags:
 
407
            trace.print_exception(sys.exc_info(), sys.stderr)
 
408
 
 
409
 
254
410
def load_from_dir(d):
255
411
    """Load the plugins in directory d.
256
412
 
257
413
    d must be in the plugins module path already.
 
414
    This function is called once for each directory in the module path.
258
415
    """
259
 
    # Get the list of valid python suffixes for __init__.py?
260
 
    # this includes .py, .pyc, and .pyo (depending on if we are running -O)
261
 
    # but it doesn't include compiled modules (.so, .dll, etc)
262
 
    valid_suffixes = [suffix for suffix, mod_type, flags in imp.get_suffixes()
263
 
                              if flags in (imp.PY_SOURCE, imp.PY_COMPILED)]
264
 
    package_entries = ['__init__'+suffix for suffix in valid_suffixes]
265
416
    plugin_names = set()
266
 
    for f in os.listdir(d):
267
 
        path = osutils.pathjoin(d, f)
268
 
        if os.path.isdir(path):
269
 
            for entry in package_entries:
270
 
                # This directory should be a package, and thus added to
271
 
                # the list
272
 
                if os.path.isfile(osutils.pathjoin(path, entry)):
273
 
                    break
274
 
            else: # This directory is not a package
275
 
                continue
276
 
        else:
277
 
            for suffix_info in imp.get_suffixes():
278
 
                if f.endswith(suffix_info[0]):
279
 
                    f = f[:-len(suffix_info[0])]
280
 
                    if suffix_info[2] == imp.C_EXTENSION and f.endswith('module'):
281
 
                        f = f[:-len('module')]
282
 
                    break
 
417
    for p in os.listdir(d):
 
418
        name, path, desc = _find_plugin_module(d, p)
 
419
        if name is not None:
 
420
            if name == '__init__':
 
421
                # We do nothing with the __init__.py file in directories from
 
422
                # the bzrlib.plugins module path, we may want to, one day
 
423
                # -- vila 20100316.
 
424
                continue # We don't load __init__.py in the plugins dirs
 
425
            elif getattr(_mod_plugins, name, None) is not None:
 
426
                # The module has already been loaded from another directory
 
427
                # during a previous call.
 
428
                # FIXME: There should be a better way to report masked plugins
 
429
                # -- vila 20100316
 
430
                trace.mutter('Plugin name %s already loaded', name)
283
431
            else:
284
 
                continue
285
 
        if f == '__init__':
286
 
            continue # We don't load __init__.py again in the plugin dir
287
 
        elif getattr(_mod_plugins, f, None):
288
 
            trace.mutter('Plugin name %s already loaded', f)
289
 
        else:
290
 
            # trace.mutter('add plugin name %s', f)
291
 
            plugin_names.add(f)
 
432
                plugin_names.add(name)
292
433
 
293
434
    for name in plugin_names:
294
 
        try:
295
 
            exec "import bzrlib.plugins.%s" % name in {}
296
 
        except KeyboardInterrupt:
297
 
            raise
298
 
        except errors.IncompatibleAPI, e:
299
 
            trace.warning("Unable to load plugin %r. It requested API version "
300
 
                "%s of module %s but the minimum exported version is %s, and "
301
 
                "the maximum is %s" %
302
 
                (name, e.wanted, e.api, e.minimum, e.current))
303
 
        except Exception, e:
304
 
            trace.warning("%s" % e)
305
 
            ## import pdb; pdb.set_trace()
306
 
            if re.search('\.|-| ', name):
307
 
                sanitised_name = re.sub('[-. ]', '_', name)
308
 
                if sanitised_name.startswith('bzr_'):
309
 
                    sanitised_name = sanitised_name[len('bzr_'):]
310
 
                trace.warning("Unable to load %r in %r as a plugin because the "
311
 
                        "file path isn't a valid module name; try renaming "
312
 
                        "it to %r." % (name, d, sanitised_name))
313
 
            else:
314
 
                trace.warning('Unable to load plugin %r from %r' % (name, d))
315
 
            trace.log_exception_quietly()
316
 
            if 'error' in debug.debug_flags:
317
 
                trace.print_exception(sys.exc_info(), sys.stderr)
 
435
        _load_plugin_module(name, d)
318
436
 
319
437
 
320
438
def plugins():
329
447
    return result
330
448
 
331
449
 
 
450
def format_concise_plugin_list():
 
451
    """Return a string holding a concise list of plugins and their version.
 
452
    """
 
453
    items = []
 
454
    for name, a_plugin in sorted(plugins().items()):
 
455
        items.append("%s[%s]" %
 
456
            (name, a_plugin.__version__))
 
457
    return ', '.join(items)
 
458
 
 
459
 
 
460
 
332
461
class PluginsHelpIndex(object):
333
462
    """A help index that returns help topics for plugins."""
334
463
 
379
508
            result = self.module.__doc__
380
509
        if result[-1] != '\n':
381
510
            result += '\n'
382
 
        # there is code duplicated here and in bzrlib/help_topic.py's
383
 
        # matching Topic code. This should probably be factored in
384
 
        # to a helper function and a common base class.
385
 
        if additional_see_also is not None:
386
 
            see_also = sorted(set(additional_see_also))
387
 
        else:
388
 
            see_also = None
389
 
        if see_also:
390
 
            result += 'See also: '
391
 
            result += ', '.join(see_also)
392
 
            result += '\n'
 
511
        from bzrlib import help_topics
 
512
        result += help_topics._format_see_also(additional_see_also)
393
513
        return result
394
514
 
395
515
    def get_help_topic(self):
396
 
        """Return the modules help topic - its __name__ after bzrlib.plugins.."""
 
516
        """Return the module help topic: its basename."""
397
517
        return self.module.__name__[len('bzrlib.plugins.'):]
398
518
 
399
519
 
477
597
        return version_string
478
598
 
479
599
    __version__ = property(_get__version__)
 
600
 
 
601
 
 
602
class _PluginImporter(object):
 
603
    """An importer tailored to bzr specific needs.
 
604
 
 
605
    This is a singleton that takes care of:
 
606
    - disabled plugins specified in 'blacklist',
 
607
    - plugins that needs to be loaded from specific directories.
 
608
    """
 
609
 
 
610
    def __init__(self):
 
611
        self.reset()
 
612
 
 
613
    def reset(self):
 
614
        self.blacklist = set()
 
615
        self.specific_paths = {}
 
616
 
 
617
    def find_module(self, fullname, parent_path=None):
 
618
        """Search a plugin module.
 
619
 
 
620
        Disabled plugins raise an import error, plugins with specific paths
 
621
        returns a specific loader.
 
622
 
 
623
        :return: None if the plugin doesn't need special handling, self
 
624
            otherwise.
 
625
        """
 
626
        if not fullname.startswith('bzrlib.plugins.'):
 
627
            return None
 
628
        if fullname in self.blacklist:
 
629
            raise ImportError('%s is disabled' % fullname)
 
630
        if fullname in self.specific_paths:
 
631
            return self
 
632
        return None
 
633
 
 
634
    def load_module(self, fullname):
 
635
        """Load a plugin from a specific directory (or file)."""
 
636
        # We are called only for specific paths
 
637
        plugin_path = self.specific_paths[fullname]
 
638
        loading_path = None
 
639
        if os.path.isdir(plugin_path):
 
640
            for suffix, mode, kind in imp.get_suffixes():
 
641
                if kind not in (imp.PY_SOURCE, imp.PY_COMPILED):
 
642
                    # We don't recognize compiled modules (.so, .dll, etc)
 
643
                    continue
 
644
                init_path = osutils.pathjoin(plugin_path, '__init__' + suffix)
 
645
                if os.path.isfile(init_path):
 
646
                    # We've got a module here and load_module needs specific
 
647
                    # parameters.
 
648
                    loading_path = plugin_path
 
649
                    suffix = ''
 
650
                    mode = ''
 
651
                    kind = imp.PKG_DIRECTORY
 
652
                    break
 
653
        else:
 
654
            for suffix, mode, kind in imp.get_suffixes():
 
655
                if plugin_path.endswith(suffix):
 
656
                    loading_path = plugin_path
 
657
                    break
 
658
        if loading_path is None:
 
659
            raise ImportError('%s cannot be loaded from %s'
 
660
                              % (fullname, plugin_path))
 
661
        if kind is imp.PKG_DIRECTORY:
 
662
            f = None
 
663
        else:
 
664
            f = open(loading_path, mode)
 
665
        try:
 
666
            mod = imp.load_module(fullname, f, loading_path,
 
667
                                  (suffix, mode, kind))
 
668
            mod.__package__ = fullname
 
669
            return mod
 
670
        finally:
 
671
            if f is not None:
 
672
                f.close()
 
673
 
 
674
 
 
675
# Install a dedicated importer for plugins requiring special handling
 
676
PluginImporter = _PluginImporter()
 
677
sys.meta_path.append(PluginImporter)