~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/plugin.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2010-09-01 08:02:42 UTC
  • mfrom: (5390.3.3 faster-revert-593560)
  • Revision ID: pqm@pqm.ubuntu.com-20100901080242-esg62ody4frwmy66
(spiv) Avoid repeatedly calling self.target.all_file_ids() in
 InterTree.iter_changes. (Andrew Bennetts)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2004, 2005, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
52
52
from bzrlib import plugins as _mod_plugins
53
53
""")
54
54
 
55
 
from bzrlib.symbol_versioning import deprecated_function
 
55
from bzrlib.symbol_versioning import (
 
56
    deprecated_function,
 
57
    deprecated_in,
 
58
    )
56
59
 
57
60
 
58
61
DEFAULT_PLUGIN_PATH = None
59
62
_loaded = False
60
 
 
61
 
def get_default_plugin_path():
62
 
    """Get the DEFAULT_PLUGIN_PATH"""
63
 
    global DEFAULT_PLUGIN_PATH
64
 
    if DEFAULT_PLUGIN_PATH is None:
65
 
        DEFAULT_PLUGIN_PATH = osutils.pathjoin(config.config_dir(), 'plugins')
66
 
    return DEFAULT_PLUGIN_PATH
 
63
_plugins_disabled = False
 
64
 
 
65
 
 
66
def are_plugins_disabled():
 
67
    return _plugins_disabled
67
68
 
68
69
 
69
70
def disable_plugins():
71
72
 
72
73
    Future calls to load_plugins() will be ignored.
73
74
    """
 
75
    global _plugins_disabled
 
76
    _plugins_disabled = True
74
77
    load_plugins([])
75
78
 
76
79
 
78
81
    return path.rstrip("\\/")
79
82
 
80
83
 
 
84
def _get_specific_plugin_paths(paths):
 
85
    """Returns the plugin paths from a string describing the associations.
 
86
 
 
87
    :param paths: A string describing the paths associated with the plugins.
 
88
 
 
89
    :returns: A list of (plugin name, path) tuples.
 
90
 
 
91
    For example, if paths is my_plugin@/test/my-test:her_plugin@/production/her,
 
92
    [('my_plugin', '/test/my-test'), ('her_plugin', '/production/her')] 
 
93
    will be returned.
 
94
 
 
95
    Note that ':' in the example above depends on the os.
 
96
    """
 
97
    if not paths:
 
98
        return []
 
99
    specs = []
 
100
    for spec in paths.split(os.pathsep):
 
101
        try:
 
102
            name, path = spec.split('@')
 
103
        except ValueError:
 
104
            raise errors.BzrCommandError(
 
105
                '"%s" is not a valid <plugin_name>@<plugin_path> description '
 
106
                % spec)
 
107
        specs.append((name, path))
 
108
    return specs
 
109
 
 
110
 
81
111
def set_plugins_path(path=None):
82
112
    """Set the path for plugins to be loaded from.
83
113
 
88
118
    if path is None:
89
119
        path = get_standard_plugins_path()
90
120
    _mod_plugins.__path__ = path
 
121
    PluginImporter.reset()
 
122
    # Set up a blacklist for disabled plugins
 
123
    disabled_plugins = os.environ.get('BZR_DISABLE_PLUGINS', None)
 
124
    if disabled_plugins is not None:
 
125
        for name in disabled_plugins.split(os.pathsep):
 
126
            PluginImporter.blacklist.add('bzrlib.plugins.' + name)
 
127
    # Set up a the specific paths for plugins
 
128
    for plugin_name, plugin_path in _get_specific_plugin_paths(os.environ.get(
 
129
            'BZR_PLUGINS_AT', None)):
 
130
            PluginImporter.specific_paths[
 
131
                'bzrlib.plugins.%s' % plugin_name] = plugin_path
91
132
    return path
92
133
 
93
134
 
94
 
def get_standard_plugins_path():
95
 
    """Determine a plugin path suitable for general use."""
96
 
    path = os.environ.get('BZR_PLUGIN_PATH',
97
 
                          get_default_plugin_path()).split(os.pathsep)
98
 
    # Get rid of trailing slashes, since Python can't handle them when
99
 
    # it tries to import modules.
100
 
    path = map(_strip_trailing_sep, path)
 
135
def _append_new_path(paths, new_path):
 
136
    """Append a new path if it set and not already known."""
 
137
    if new_path is not None and new_path not in paths:
 
138
        paths.append(new_path)
 
139
    return paths
 
140
 
 
141
 
 
142
def get_core_plugin_path():
 
143
    core_path = None
101
144
    bzr_exe = bool(getattr(sys, 'frozen', None))
102
145
    if bzr_exe:    # expand path for bzr.exe
103
146
        # We need to use relative path to system-wide plugin
110
153
        # then plugins directory is
111
154
        # C:\Program Files\Bazaar\plugins
112
155
        # so relative path is ../../../plugins
113
 
        path.append(osutils.abspath(osutils.pathjoin(
114
 
            osutils.dirname(__file__), '../../../plugins')))
115
 
    if not bzr_exe:     # don't look inside library.zip
 
156
        core_path = osutils.abspath(osutils.pathjoin(
 
157
                osutils.dirname(__file__), '../../../plugins'))
 
158
    else:     # don't look inside library.zip
116
159
        # search the plugin path before the bzrlib installed dir
117
 
        path.append(os.path.dirname(_mod_plugins.__file__))
118
 
    # search the arch independent path if we can determine that and
119
 
    # the plugin is found nowhere else
120
 
    if sys.platform != 'win32':
121
 
        try:
122
 
            from distutils.sysconfig import get_python_lib
123
 
        except ImportError:
124
 
            # If distutuils is not available, we just won't add that path
125
 
            pass
126
 
        else:
127
 
            archless_path = osutils.pathjoin(get_python_lib(), 'bzrlib',
128
 
                    'plugins')
129
 
            if archless_path not in path:
130
 
                path.append(archless_path)
131
 
    return path
 
160
        core_path = os.path.dirname(_mod_plugins.__file__)
 
161
    return core_path
 
162
 
 
163
 
 
164
def get_site_plugin_path():
 
165
    """Returns the path for the site installed plugins."""
 
166
    if sys.platform == 'win32':
 
167
        # We don't have (yet) a good answer for windows since that is certainly
 
168
        # related to the way we build the installers. -- vila20090821
 
169
        return None
 
170
    site_path = None
 
171
    try:
 
172
        from distutils.sysconfig import get_python_lib
 
173
    except ImportError:
 
174
        # If distutuils is not available, we just don't know where they are
 
175
        pass
 
176
    else:
 
177
        site_path = osutils.pathjoin(get_python_lib(), 'bzrlib', 'plugins')
 
178
    return site_path
 
179
 
 
180
 
 
181
def get_user_plugin_path():
 
182
    return osutils.pathjoin(config.config_dir(), 'plugins')
 
183
 
 
184
 
 
185
def get_standard_plugins_path():
 
186
    """Determine a plugin path suitable for general use."""
 
187
    # Ad-Hoc default: core is not overriden by site but user can overrides both
 
188
    # The rationale is that:
 
189
    # - 'site' comes last, because these plugins should always be available and
 
190
    #   are supposed to be in sync with the bzr installed on site.
 
191
    # - 'core' comes before 'site' so that running bzr from sources or a user
 
192
    #   installed version overrides the site version.
 
193
    # - 'user' comes first, because... user is always right.
 
194
    # - the above rules clearly defines which plugin version will be loaded if
 
195
    #   several exist. Yet, it is sometimes desirable to disable some directory
 
196
    #   so that a set of plugins is disabled as once. This can be done via
 
197
    #   -site, -core, -user.
 
198
 
 
199
    env_paths = os.environ.get('BZR_PLUGIN_PATH', '+user').split(os.pathsep)
 
200
    defaults = ['+core', '+site']
 
201
 
 
202
    # The predefined references
 
203
    refs = dict(core=get_core_plugin_path(),
 
204
                site=get_site_plugin_path(),
 
205
                user=get_user_plugin_path())
 
206
 
 
207
    # Unset paths that should be removed
 
208
    for k,v in refs.iteritems():
 
209
        removed = '-%s' % k
 
210
        # defaults can never mention removing paths as that will make it
 
211
        # impossible for the user to revoke these removals.
 
212
        if removed in env_paths:
 
213
            env_paths.remove(removed)
 
214
            refs[k] = None
 
215
 
 
216
    # Expand references
 
217
    paths = []
 
218
    for p in env_paths + defaults:
 
219
        if p.startswith('+'):
 
220
            # Resolve references if they are known
 
221
            try:
 
222
                p = refs[p[1:]]
 
223
            except KeyError:
 
224
                # Leave them untouched so user can still use paths starting
 
225
                # with '+'
 
226
                pass
 
227
        _append_new_path(paths, p)
 
228
 
 
229
    # Get rid of trailing slashes, since Python can't handle them when
 
230
    # it tries to import modules.
 
231
    paths = map(_strip_trailing_sep, paths)
 
232
    return paths
132
233
 
133
234
 
134
235
def load_plugins(path=None):
139
240
    files (and whatever other extensions are used in the platform,
140
241
    such as *.pyd).
141
242
 
142
 
    load_from_dirs() provides the underlying mechanism and is called with
 
243
    load_from_path() provides the underlying mechanism and is called with
143
244
    the default directory list to provide the normal behaviour.
144
245
 
145
246
    :param path: The list of paths to search for plugins.  By default,
168
269
 
169
270
    The python module path for bzrlib.plugins will be modified to be 'dirs'.
170
271
    """
 
272
    # Explicitly load the plugins with a specific path
 
273
    for fullname, path in PluginImporter.specific_paths.iteritems():
 
274
        name = fullname[len('bzrlib.plugins.'):]
 
275
        _load_plugin_module(name, path)
 
276
 
171
277
    # We need to strip the trailing separators here as well as in the
172
278
    # set_plugins_path function because calling code can pass anything in to
173
279
    # this function, and since it sets plugins.__path__, it should set it to
187
293
load_from_dirs = load_from_path
188
294
 
189
295
 
 
296
def _find_plugin_module(dir, name):
 
297
    """Check if there is a valid python module that can be loaded as a plugin.
 
298
 
 
299
    :param dir: The directory where the search is performed.
 
300
    :param path: An existing file path, either a python file or a package
 
301
        directory.
 
302
 
 
303
    :return: (name, path, description) name is the module name, path is the
 
304
        file to load and description is the tuple returned by
 
305
        imp.get_suffixes().
 
306
    """
 
307
    path = osutils.pathjoin(dir, name)
 
308
    if os.path.isdir(path):
 
309
        # Check for a valid __init__.py file, valid suffixes depends on -O and
 
310
        # can be .py, .pyc and .pyo
 
311
        for suffix, mode, kind in imp.get_suffixes():
 
312
            if kind not in (imp.PY_SOURCE, imp.PY_COMPILED):
 
313
                # We don't recognize compiled modules (.so, .dll, etc)
 
314
                continue
 
315
            init_path = osutils.pathjoin(path, '__init__' + suffix)
 
316
            if os.path.isfile(init_path):
 
317
                return name, init_path, (suffix, mode, kind)
 
318
    else:
 
319
        for suffix, mode, kind in imp.get_suffixes():
 
320
            if name.endswith(suffix):
 
321
                # Clean up the module name
 
322
                name = name[:-len(suffix)]
 
323
                if kind == imp.C_EXTENSION and name.endswith('module'):
 
324
                    name = name[:-len('module')]
 
325
                return name, path, (suffix, mode, kind)
 
326
    # There is no python module here
 
327
    return None, None, (None, None, None)
 
328
 
 
329
 
 
330
def _load_plugin_module(name, dir):
 
331
    """Load plugin name from dir.
 
332
 
 
333
    :param name: The plugin name in the bzrlib.plugins namespace.
 
334
    :param dir: The directory the plugin is loaded from for error messages.
 
335
    """
 
336
    if ('bzrlib.plugins.%s' % name) in PluginImporter.blacklist:
 
337
        return
 
338
    try:
 
339
        exec "import bzrlib.plugins.%s" % name in {}
 
340
    except KeyboardInterrupt:
 
341
        raise
 
342
    except errors.IncompatibleAPI, e:
 
343
        trace.warning("Unable to load plugin %r. It requested API version "
 
344
            "%s of module %s but the minimum exported version is %s, and "
 
345
            "the maximum is %s" %
 
346
            (name, e.wanted, e.api, e.minimum, e.current))
 
347
    except Exception, e:
 
348
        trace.warning("%s" % e)
 
349
        if re.search('\.|-| ', name):
 
350
            sanitised_name = re.sub('[-. ]', '_', name)
 
351
            if sanitised_name.startswith('bzr_'):
 
352
                sanitised_name = sanitised_name[len('bzr_'):]
 
353
            trace.warning("Unable to load %r in %r as a plugin because the "
 
354
                    "file path isn't a valid module name; try renaming "
 
355
                    "it to %r." % (name, dir, sanitised_name))
 
356
        else:
 
357
            trace.warning('Unable to load plugin %r from %r' % (name, dir))
 
358
        trace.log_exception_quietly()
 
359
        if 'error' in debug.debug_flags:
 
360
            trace.print_exception(sys.exc_info(), sys.stderr)
 
361
 
 
362
 
190
363
def load_from_dir(d):
191
364
    """Load the plugins in directory d.
192
365
 
193
366
    d must be in the plugins module path already.
 
367
    This function is called once for each directory in the module path.
194
368
    """
195
 
    # Get the list of valid python suffixes for __init__.py?
196
 
    # this includes .py, .pyc, and .pyo (depending on if we are running -O)
197
 
    # but it doesn't include compiled modules (.so, .dll, etc)
198
 
    valid_suffixes = [suffix for suffix, mod_type, flags in imp.get_suffixes()
199
 
                              if flags in (imp.PY_SOURCE, imp.PY_COMPILED)]
200
 
    package_entries = ['__init__'+suffix for suffix in valid_suffixes]
201
369
    plugin_names = set()
202
 
    for f in os.listdir(d):
203
 
        path = osutils.pathjoin(d, f)
204
 
        if os.path.isdir(path):
205
 
            for entry in package_entries:
206
 
                # This directory should be a package, and thus added to
207
 
                # the list
208
 
                if os.path.isfile(osutils.pathjoin(path, entry)):
209
 
                    break
210
 
            else: # This directory is not a package
211
 
                continue
212
 
        else:
213
 
            for suffix_info in imp.get_suffixes():
214
 
                if f.endswith(suffix_info[0]):
215
 
                    f = f[:-len(suffix_info[0])]
216
 
                    if suffix_info[2] == imp.C_EXTENSION and f.endswith('module'):
217
 
                        f = f[:-len('module')]
218
 
                    break
 
370
    for p in os.listdir(d):
 
371
        name, path, desc = _find_plugin_module(d, p)
 
372
        if name is not None:
 
373
            if name == '__init__':
 
374
                # We do nothing with the __init__.py file in directories from
 
375
                # the bzrlib.plugins module path, we may want to, one day
 
376
                # -- vila 20100316.
 
377
                continue # We don't load __init__.py in the plugins dirs
 
378
            elif getattr(_mod_plugins, name, None) is not None:
 
379
                # The module has already been loaded from another directory
 
380
                # during a previous call.
 
381
                # FIXME: There should be a better way to report masked plugins
 
382
                # -- vila 20100316
 
383
                trace.mutter('Plugin name %s already loaded', name)
219
384
            else:
220
 
                continue
221
 
        if f == '__init__':
222
 
            continue # We don't load __init__.py again in the plugin dir
223
 
        elif getattr(_mod_plugins, f, None):
224
 
            trace.mutter('Plugin name %s already loaded', f)
225
 
        else:
226
 
            # trace.mutter('add plugin name %s', f)
227
 
            plugin_names.add(f)
 
385
                plugin_names.add(name)
228
386
 
229
387
    for name in plugin_names:
230
 
        try:
231
 
            exec "import bzrlib.plugins.%s" % name in {}
232
 
        except KeyboardInterrupt:
233
 
            raise
234
 
        except errors.IncompatibleAPI, e:
235
 
            trace.warning("Unable to load plugin %r. It requested API version "
236
 
                "%s of module %s but the minimum exported version is %s, and "
237
 
                "the maximum is %s" %
238
 
                (name, e.wanted, e.api, e.minimum, e.current))
239
 
        except Exception, e:
240
 
            trace.warning("%s" % e)
241
 
            ## import pdb; pdb.set_trace()
242
 
            if re.search('\.|-| ', name):
243
 
                sanitised_name = re.sub('[-. ]', '_', name)
244
 
                if sanitised_name.startswith('bzr_'):
245
 
                    sanitised_name = sanitised_name[len('bzr_'):]
246
 
                trace.warning("Unable to load %r in %r as a plugin because the "
247
 
                        "file path isn't a valid module name; try renaming "
248
 
                        "it to %r." % (name, d, sanitised_name))
249
 
            else:
250
 
                trace.warning('Unable to load plugin %r from %r' % (name, d))
251
 
            trace.log_exception_quietly()
252
 
            if 'error' in debug.debug_flags:
253
 
                trace.print_exception(sys.exc_info(), sys.stderr)
 
388
        _load_plugin_module(name, d)
254
389
 
255
390
 
256
391
def plugins():
413
548
        return version_string
414
549
 
415
550
    __version__ = property(_get__version__)
 
551
 
 
552
 
 
553
class _PluginImporter(object):
 
554
    """An importer tailored to bzr specific needs.
 
555
 
 
556
    This is a singleton that takes care of:
 
557
    - disabled plugins specified in 'blacklist',
 
558
    - plugins that needs to be loaded from specific directories.
 
559
    """
 
560
 
 
561
    def __init__(self):
 
562
        self.reset()
 
563
 
 
564
    def reset(self):
 
565
        self.blacklist = set()
 
566
        self.specific_paths = {}
 
567
 
 
568
    def find_module(self, fullname, parent_path=None):
 
569
        """Search a plugin module.
 
570
 
 
571
        Disabled plugins raise an import error, plugins with specific paths
 
572
        returns a specific loader.
 
573
 
 
574
        :return: None if the plugin doesn't need special handling, self
 
575
            otherwise.
 
576
        """
 
577
        if not fullname.startswith('bzrlib.plugins.'):
 
578
            return None
 
579
        if fullname in self.blacklist:
 
580
            raise ImportError('%s is disabled' % fullname)
 
581
        if fullname in self.specific_paths:
 
582
            return self
 
583
        return None
 
584
 
 
585
    def load_module(self, fullname):
 
586
        """Load a plugin from a specific directory."""
 
587
        # We are called only for specific paths
 
588
        plugin_path = self.specific_paths[fullname]
 
589
        loading_path = None
 
590
        if os.path.isdir(plugin_path):
 
591
            for suffix, mode, kind in imp.get_suffixes():
 
592
                if kind not in (imp.PY_SOURCE, imp.PY_COMPILED):
 
593
                    # We don't recognize compiled modules (.so, .dll, etc)
 
594
                    continue
 
595
                init_path = osutils.pathjoin(plugin_path, '__init__' + suffix)
 
596
                if os.path.isfile(init_path):
 
597
                    # We've got a module here and load_module needs specific
 
598
                    # parameters.
 
599
                    loading_path = plugin_path
 
600
                    suffix = ''
 
601
                    mode = ''
 
602
                    kind = imp.PKG_DIRECTORY
 
603
                    break
 
604
        else:
 
605
            for suffix, mode, kind in imp.get_suffixes():
 
606
                if plugin_path.endswith(suffix):
 
607
                    loading_path = plugin_path
 
608
                    break
 
609
        if loading_path is None:
 
610
            raise ImportError('%s cannot be loaded from %s'
 
611
                              % (fullname, plugin_path))
 
612
        if kind is imp.PKG_DIRECTORY:
 
613
            f = None
 
614
        else:
 
615
            f = open(loading_path, mode)
 
616
        try:
 
617
            mod = imp.load_module(fullname, f, loading_path,
 
618
                                  (suffix, mode, kind))
 
619
            mod.__package__ = fullname
 
620
            return mod
 
621
        finally:
 
622
            if f is not None:
 
623
                f.close()
 
624
 
 
625
 
 
626
# Install a dedicated importer for plugins requiring special handling
 
627
PluginImporter = _PluginImporter()
 
628
sys.meta_path.append(PluginImporter)