~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/plugin.py

  • Committer: Vincent Ladeuil
  • Date: 2010-03-10 09:33:04 UTC
  • mto: (5082.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 5083.
  • Revision ID: v.ladeuil+lp@free.fr-20100310093304-4245t4tazd4sxoav
Cleanup test from overly cautious checks.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2004, 2005, 2007, 2008, 2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
 
17
 
17
18
"""bzr python plugin support.
18
19
 
19
20
When load_plugins() is invoked, any python module in any directory in
29
30
called.
30
31
"""
31
32
 
32
 
from __future__ import absolute_import
33
 
 
34
33
import os
35
34
import sys
36
35
 
37
36
from bzrlib import osutils
38
37
 
39
38
from bzrlib.lazy_import import lazy_import
 
39
 
40
40
lazy_import(globals(), """
41
41
import imp
42
42
import re
49
49
    errors,
50
50
    trace,
51
51
    )
52
 
from bzrlib.i18n import gettext
53
52
from bzrlib import plugins as _mod_plugins
54
53
""")
55
54
 
 
55
from bzrlib.symbol_versioning import (
 
56
    deprecated_function,
 
57
    deprecated_in,
 
58
    )
 
59
 
56
60
 
57
61
DEFAULT_PLUGIN_PATH = None
58
62
_loaded = False
59
63
_plugins_disabled = False
60
64
 
61
65
 
62
 
plugin_warnings = {}
63
 
# Map from plugin name, to list of string warnings about eg plugin
64
 
# dependencies.
65
 
 
66
 
 
67
66
def are_plugins_disabled():
68
67
    return _plugins_disabled
69
68
 
70
69
 
 
70
@deprecated_function(deprecated_in((2, 0, 0)))
 
71
def get_default_plugin_path():
 
72
    """Get the DEFAULT_PLUGIN_PATH"""
 
73
    global DEFAULT_PLUGIN_PATH
 
74
    if DEFAULT_PLUGIN_PATH is None:
 
75
        DEFAULT_PLUGIN_PATH = osutils.pathjoin(config.config_dir(), 'plugins')
 
76
    return DEFAULT_PLUGIN_PATH
 
77
 
 
78
 
71
79
def disable_plugins():
72
80
    """Disable loading plugins.
73
81
 
78
86
    load_plugins([])
79
87
 
80
88
 
81
 
def describe_plugins(show_paths=False):
82
 
    """Generate text description of plugins.
83
 
 
84
 
    Includes both those that have loaded, and those that failed to 
85
 
    load.
86
 
 
87
 
    :param show_paths: If true,
88
 
    :returns: Iterator of text lines (including newlines.)
89
 
    """
90
 
    from inspect import getdoc
91
 
    loaded_plugins = plugins()
92
 
    all_names = sorted(list(set(
93
 
        loaded_plugins.keys() + plugin_warnings.keys())))
94
 
    for name in all_names:
95
 
        if name in loaded_plugins:
96
 
            plugin = loaded_plugins[name]
97
 
            version = plugin.__version__
98
 
            if version == 'unknown':
99
 
                version = ''
100
 
            yield '%s %s\n' % (name, version)
101
 
            d = getdoc(plugin.module)
102
 
            if d:
103
 
                doc = d.split('\n')[0]
104
 
            else:
105
 
                doc = '(no description)'
106
 
            yield ("  %s\n" % doc)
107
 
            if show_paths:
108
 
                yield ("   %s\n" % plugin.path())
109
 
            del plugin
110
 
        else:
111
 
            yield "%s (failed to load)\n" % name
112
 
        if name in plugin_warnings:
113
 
            for line in plugin_warnings[name]:
114
 
                yield "  ** " + line + '\n'
115
 
        yield '\n'
116
 
 
117
 
 
118
89
def _strip_trailing_sep(path):
119
90
    return path.rstrip("\\/")
120
91
 
121
92
 
122
 
def _get_specific_plugin_paths(paths):
123
 
    """Returns the plugin paths from a string describing the associations.
124
 
 
125
 
    :param paths: A string describing the paths associated with the plugins.
126
 
 
127
 
    :returns: A list of (plugin name, path) tuples.
128
 
 
129
 
    For example, if paths is my_plugin@/test/my-test:her_plugin@/production/her,
130
 
    [('my_plugin', '/test/my-test'), ('her_plugin', '/production/her')] 
131
 
    will be returned.
132
 
 
133
 
    Note that ':' in the example above depends on the os.
134
 
    """
135
 
    if not paths:
136
 
        return []
137
 
    specs = []
138
 
    for spec in paths.split(os.pathsep):
139
 
        try:
140
 
            name, path = spec.split('@')
141
 
        except ValueError:
142
 
            raise errors.BzrCommandError(gettext(
143
 
                '"%s" is not a valid <plugin_name>@<plugin_path> description ')
144
 
                % spec)
145
 
        specs.append((name, path))
146
 
    return specs
147
 
 
148
 
 
149
93
def set_plugins_path(path=None):
150
94
    """Set the path for plugins to be loaded from.
151
95
 
156
100
    if path is None:
157
101
        path = get_standard_plugins_path()
158
102
    _mod_plugins.__path__ = path
159
 
    PluginImporter.reset()
160
 
    # Set up a blacklist for disabled plugins
161
 
    disabled_plugins = os.environ.get('BZR_DISABLE_PLUGINS', None)
162
 
    if disabled_plugins is not None:
163
 
        for name in disabled_plugins.split(os.pathsep):
164
 
            PluginImporter.blacklist.add('bzrlib.plugins.' + name)
165
 
    # Set up a the specific paths for plugins
166
 
    for plugin_name, plugin_path in _get_specific_plugin_paths(os.environ.get(
167
 
            'BZR_PLUGINS_AT', None)):
168
 
            PluginImporter.specific_paths[
169
 
                'bzrlib.plugins.%s' % plugin_name] = plugin_path
170
103
    return path
171
104
 
172
105
 
255
188
    paths = []
256
189
    for p in env_paths + defaults:
257
190
        if p.startswith('+'):
258
 
            # Resolve references if they are known
 
191
            # Resolve reference if they are known
259
192
            try:
260
193
                p = refs[p[1:]]
261
194
            except KeyError:
262
 
                # Leave them untouched so user can still use paths starting
263
 
                # with '+'
 
195
                # Leave them untouched otherwise, user may have paths starting
 
196
                # with '+'...
264
197
                pass
265
198
        _append_new_path(paths, p)
266
199
 
274
207
    """Load bzrlib plugins.
275
208
 
276
209
    The environment variable BZR_PLUGIN_PATH is considered a delimited
277
 
    set of paths to look through. Each entry is searched for `*.py`
 
210
    set of paths to look through. Each entry is searched for *.py
278
211
    files (and whatever other extensions are used in the platform,
279
 
    such as `*.pyd`).
 
212
    such as *.pyd).
280
213
 
281
 
    load_from_path() provides the underlying mechanism and is called with
 
214
    load_from_dirs() provides the underlying mechanism and is called with
282
215
    the default directory list to provide the normal behaviour.
283
216
 
284
217
    :param path: The list of paths to search for plugins.  By default,
307
240
 
308
241
    The python module path for bzrlib.plugins will be modified to be 'dirs'.
309
242
    """
310
 
    # Explicitly load the plugins with a specific path
311
 
    for fullname, path in PluginImporter.specific_paths.iteritems():
312
 
        name = fullname[len('bzrlib.plugins.'):]
313
 
        _load_plugin_module(name, path)
314
 
 
315
243
    # We need to strip the trailing separators here as well as in the
316
244
    # set_plugins_path function because calling code can pass anything in to
317
245
    # this function, and since it sets plugins.__path__, it should set it to
331
259
load_from_dirs = load_from_path
332
260
 
333
261
 
334
 
def _find_plugin_module(dir, name):
335
 
    """Check if there is a valid python module that can be loaded as a plugin.
336
 
 
337
 
    :param dir: The directory where the search is performed.
338
 
    :param path: An existing file path, either a python file or a package
339
 
        directory.
340
 
 
341
 
    :return: (name, path, description) name is the module name, path is the
342
 
        file to load and description is the tuple returned by
343
 
        imp.get_suffixes().
344
 
    """
345
 
    path = osutils.pathjoin(dir, name)
346
 
    if os.path.isdir(path):
347
 
        # Check for a valid __init__.py file, valid suffixes depends on -O and
348
 
        # can be .py, .pyc and .pyo
349
 
        for suffix, mode, kind in imp.get_suffixes():
350
 
            if kind not in (imp.PY_SOURCE, imp.PY_COMPILED):
351
 
                # We don't recognize compiled modules (.so, .dll, etc)
352
 
                continue
353
 
            init_path = osutils.pathjoin(path, '__init__' + suffix)
354
 
            if os.path.isfile(init_path):
355
 
                return name, init_path, (suffix, mode, kind)
356
 
    else:
357
 
        for suffix, mode, kind in imp.get_suffixes():
358
 
            if name.endswith(suffix):
359
 
                # Clean up the module name
360
 
                name = name[:-len(suffix)]
361
 
                if kind == imp.C_EXTENSION and name.endswith('module'):
362
 
                    name = name[:-len('module')]
363
 
                return name, path, (suffix, mode, kind)
364
 
    # There is no python module here
365
 
    return None, None, (None, None, None)
366
 
 
367
 
 
368
 
def record_plugin_warning(plugin_name, warning_message):
369
 
    trace.mutter(warning_message)
370
 
    plugin_warnings.setdefault(plugin_name, []).append(warning_message)
371
 
 
372
 
 
373
 
def _load_plugin_module(name, dir):
374
 
    """Load plugin name from dir.
375
 
 
376
 
    :param name: The plugin name in the bzrlib.plugins namespace.
377
 
    :param dir: The directory the plugin is loaded from for error messages.
378
 
    """
379
 
    if ('bzrlib.plugins.%s' % name) in PluginImporter.blacklist:
380
 
        return
381
 
    try:
382
 
        exec "import bzrlib.plugins.%s" % name in {}
383
 
    except KeyboardInterrupt:
384
 
        raise
385
 
    except errors.IncompatibleAPI, e:
386
 
        warning_message = (
387
 
            "Unable to load plugin %r. It requested API version "
388
 
            "%s of module %s but the minimum exported version is %s, and "
389
 
            "the maximum is %s" %
390
 
            (name, e.wanted, e.api, e.minimum, e.current))
391
 
        record_plugin_warning(name, warning_message)
392
 
    except Exception, e:
393
 
        trace.warning("%s" % e)
394
 
        if re.search('\.|-| ', name):
395
 
            sanitised_name = re.sub('[-. ]', '_', name)
396
 
            if sanitised_name.startswith('bzr_'):
397
 
                sanitised_name = sanitised_name[len('bzr_'):]
398
 
            trace.warning("Unable to load %r in %r as a plugin because the "
399
 
                    "file path isn't a valid module name; try renaming "
400
 
                    "it to %r." % (name, dir, sanitised_name))
401
 
        else:
402
 
            record_plugin_warning(
403
 
                name,
404
 
                'Unable to load plugin %r from %r' % (name, dir))
405
 
        trace.log_exception_quietly()
406
 
        if 'error' in debug.debug_flags:
407
 
            trace.print_exception(sys.exc_info(), sys.stderr)
408
 
 
409
 
 
410
262
def load_from_dir(d):
411
263
    """Load the plugins in directory d.
412
264
 
413
265
    d must be in the plugins module path already.
414
 
    This function is called once for each directory in the module path.
415
266
    """
 
267
    # Get the list of valid python suffixes for __init__.py?
 
268
    # this includes .py, .pyc, and .pyo (depending on if we are running -O)
 
269
    # but it doesn't include compiled modules (.so, .dll, etc)
 
270
    valid_suffixes = [suffix for suffix, mod_type, flags in imp.get_suffixes()
 
271
                              if flags in (imp.PY_SOURCE, imp.PY_COMPILED)]
 
272
    package_entries = ['__init__'+suffix for suffix in valid_suffixes]
416
273
    plugin_names = set()
417
 
    for p in os.listdir(d):
418
 
        name, path, desc = _find_plugin_module(d, p)
419
 
        if name is not None:
420
 
            if name == '__init__':
421
 
                # We do nothing with the __init__.py file in directories from
422
 
                # the bzrlib.plugins module path, we may want to, one day
423
 
                # -- vila 20100316.
424
 
                continue # We don't load __init__.py in the plugins dirs
425
 
            elif getattr(_mod_plugins, name, None) is not None:
426
 
                # The module has already been loaded from another directory
427
 
                # during a previous call.
428
 
                # FIXME: There should be a better way to report masked plugins
429
 
                # -- vila 20100316
430
 
                trace.mutter('Plugin name %s already loaded', name)
 
274
    for f in os.listdir(d):
 
275
        path = osutils.pathjoin(d, f)
 
276
        if os.path.isdir(path):
 
277
            for entry in package_entries:
 
278
                # This directory should be a package, and thus added to
 
279
                # the list
 
280
                if os.path.isfile(osutils.pathjoin(path, entry)):
 
281
                    break
 
282
            else: # This directory is not a package
 
283
                continue
 
284
        else:
 
285
            for suffix_info in imp.get_suffixes():
 
286
                if f.endswith(suffix_info[0]):
 
287
                    f = f[:-len(suffix_info[0])]
 
288
                    if suffix_info[2] == imp.C_EXTENSION and f.endswith('module'):
 
289
                        f = f[:-len('module')]
 
290
                    break
431
291
            else:
432
 
                plugin_names.add(name)
 
292
                continue
 
293
        if f == '__init__':
 
294
            continue # We don't load __init__.py again in the plugin dir
 
295
        elif getattr(_mod_plugins, f, None):
 
296
            trace.mutter('Plugin name %s already loaded', f)
 
297
        else:
 
298
            # trace.mutter('add plugin name %s', f)
 
299
            plugin_names.add(f)
433
300
 
434
301
    for name in plugin_names:
435
 
        _load_plugin_module(name, d)
 
302
        try:
 
303
            exec "import bzrlib.plugins.%s" % name in {}
 
304
        except KeyboardInterrupt:
 
305
            raise
 
306
        except errors.IncompatibleAPI, e:
 
307
            trace.warning("Unable to load plugin %r. It requested API version "
 
308
                "%s of module %s but the minimum exported version is %s, and "
 
309
                "the maximum is %s" %
 
310
                (name, e.wanted, e.api, e.minimum, e.current))
 
311
        except Exception, e:
 
312
            trace.warning("%s" % e)
 
313
            ## import pdb; pdb.set_trace()
 
314
            if re.search('\.|-| ', name):
 
315
                sanitised_name = re.sub('[-. ]', '_', name)
 
316
                if sanitised_name.startswith('bzr_'):
 
317
                    sanitised_name = sanitised_name[len('bzr_'):]
 
318
                trace.warning("Unable to load %r in %r as a plugin because the "
 
319
                        "file path isn't a valid module name; try renaming "
 
320
                        "it to %r." % (name, d, sanitised_name))
 
321
            else:
 
322
                trace.warning('Unable to load plugin %r from %r' % (name, d))
 
323
            trace.log_exception_quietly()
 
324
            if 'error' in debug.debug_flags:
 
325
                trace.print_exception(sys.exc_info(), sys.stderr)
436
326
 
437
327
 
438
328
def plugins():
447
337
    return result
448
338
 
449
339
 
450
 
def format_concise_plugin_list():
451
 
    """Return a string holding a concise list of plugins and their version.
452
 
    """
453
 
    items = []
454
 
    for name, a_plugin in sorted(plugins().items()):
455
 
        items.append("%s[%s]" %
456
 
            (name, a_plugin.__version__))
457
 
    return ', '.join(items)
458
 
 
459
 
 
460
 
 
461
340
class PluginsHelpIndex(object):
462
341
    """A help index that returns help topics for plugins."""
463
342
 
508
387
            result = self.module.__doc__
509
388
        if result[-1] != '\n':
510
389
            result += '\n'
511
 
        from bzrlib import help_topics
512
 
        result += help_topics._format_see_also(additional_see_also)
 
390
        # there is code duplicated here and in bzrlib/help_topic.py's
 
391
        # matching Topic code. This should probably be factored in
 
392
        # to a helper function and a common base class.
 
393
        if additional_see_also is not None:
 
394
            see_also = sorted(set(additional_see_also))
 
395
        else:
 
396
            see_also = None
 
397
        if see_also:
 
398
            result += 'See also: '
 
399
            result += ', '.join(see_also)
 
400
            result += '\n'
513
401
        return result
514
402
 
515
403
    def get_help_topic(self):
516
 
        """Return the module help topic: its basename."""
 
404
        """Return the modules help topic - its __name__ after bzrlib.plugins.."""
517
405
        return self.module.__name__[len('bzrlib.plugins.'):]
518
406
 
519
407
 
597
485
        return version_string
598
486
 
599
487
    __version__ = property(_get__version__)
600
 
 
601
 
 
602
 
class _PluginImporter(object):
603
 
    """An importer tailored to bzr specific needs.
604
 
 
605
 
    This is a singleton that takes care of:
606
 
    - disabled plugins specified in 'blacklist',
607
 
    - plugins that needs to be loaded from specific directories.
608
 
    """
609
 
 
610
 
    def __init__(self):
611
 
        self.reset()
612
 
 
613
 
    def reset(self):
614
 
        self.blacklist = set()
615
 
        self.specific_paths = {}
616
 
 
617
 
    def find_module(self, fullname, parent_path=None):
618
 
        """Search a plugin module.
619
 
 
620
 
        Disabled plugins raise an import error, plugins with specific paths
621
 
        returns a specific loader.
622
 
 
623
 
        :return: None if the plugin doesn't need special handling, self
624
 
            otherwise.
625
 
        """
626
 
        if not fullname.startswith('bzrlib.plugins.'):
627
 
            return None
628
 
        if fullname in self.blacklist:
629
 
            raise ImportError('%s is disabled' % fullname)
630
 
        if fullname in self.specific_paths:
631
 
            return self
632
 
        return None
633
 
 
634
 
    def load_module(self, fullname):
635
 
        """Load a plugin from a specific directory (or file)."""
636
 
        # We are called only for specific paths
637
 
        plugin_path = self.specific_paths[fullname]
638
 
        loading_path = None
639
 
        if os.path.isdir(plugin_path):
640
 
            for suffix, mode, kind in imp.get_suffixes():
641
 
                if kind not in (imp.PY_SOURCE, imp.PY_COMPILED):
642
 
                    # We don't recognize compiled modules (.so, .dll, etc)
643
 
                    continue
644
 
                init_path = osutils.pathjoin(plugin_path, '__init__' + suffix)
645
 
                if os.path.isfile(init_path):
646
 
                    # We've got a module here and load_module needs specific
647
 
                    # parameters.
648
 
                    loading_path = plugin_path
649
 
                    suffix = ''
650
 
                    mode = ''
651
 
                    kind = imp.PKG_DIRECTORY
652
 
                    break
653
 
        else:
654
 
            for suffix, mode, kind in imp.get_suffixes():
655
 
                if plugin_path.endswith(suffix):
656
 
                    loading_path = plugin_path
657
 
                    break
658
 
        if loading_path is None:
659
 
            raise ImportError('%s cannot be loaded from %s'
660
 
                              % (fullname, plugin_path))
661
 
        if kind is imp.PKG_DIRECTORY:
662
 
            f = None
663
 
        else:
664
 
            f = open(loading_path, mode)
665
 
        try:
666
 
            mod = imp.load_module(fullname, f, loading_path,
667
 
                                  (suffix, mode, kind))
668
 
            mod.__package__ = fullname
669
 
            return mod
670
 
        finally:
671
 
            if f is not None:
672
 
                f.close()
673
 
 
674
 
 
675
 
# Install a dedicated importer for plugins requiring special handling
676
 
PluginImporter = _PluginImporter()
677
 
sys.meta_path.append(PluginImporter)