~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/plugin.py

  • Committer: John Arbash Meinel
  • Date: 2009-03-27 22:29:55 UTC
  • mto: (3735.39.2 clean)
  • mto: This revision was merged to the branch mainline in revision 4280.
  • Revision ID: john@arbash-meinel.com-20090327222955-utifmfm888zerixt
Implement apply_delta_to_source which doesn't have to malloc another string.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2004, 2005, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
52
52
from bzrlib import plugins as _mod_plugins
53
53
""")
54
54
 
55
 
from bzrlib.symbol_versioning import (
56
 
    deprecated_function,
57
 
    deprecated_in,
58
 
    )
 
55
from bzrlib.symbol_versioning import deprecated_function
59
56
 
60
57
 
61
58
DEFAULT_PLUGIN_PATH = None
62
59
_loaded = False
63
 
_plugins_disabled = False
64
 
 
65
 
 
66
 
def are_plugins_disabled():
67
 
    return _plugins_disabled
 
60
 
 
61
def get_default_plugin_path():
 
62
    """Get the DEFAULT_PLUGIN_PATH"""
 
63
    global DEFAULT_PLUGIN_PATH
 
64
    if DEFAULT_PLUGIN_PATH is None:
 
65
        DEFAULT_PLUGIN_PATH = osutils.pathjoin(config.config_dir(), 'plugins')
 
66
    return DEFAULT_PLUGIN_PATH
68
67
 
69
68
 
70
69
def disable_plugins():
72
71
 
73
72
    Future calls to load_plugins() will be ignored.
74
73
    """
75
 
    global _plugins_disabled
76
 
    _plugins_disabled = True
77
74
    load_plugins([])
78
75
 
79
76
 
81
78
    return path.rstrip("\\/")
82
79
 
83
80
 
84
 
def _get_specific_plugin_paths(paths):
85
 
    """Returns the plugin paths from a string describing the associations.
86
 
 
87
 
    :param paths: A string describing the paths associated with the plugins.
88
 
 
89
 
    :returns: A list of (plugin name, path) tuples.
90
 
 
91
 
    For example, if paths is my_plugin@/test/my-test:her_plugin@/production/her,
92
 
    [('my_plugin', '/test/my-test'), ('her_plugin', '/production/her')] 
93
 
    will be returned.
94
 
 
95
 
    Note that ':' in the example above depends on the os.
96
 
    """
97
 
    if not paths:
98
 
        return []
99
 
    specs = []
100
 
    for spec in paths.split(os.pathsep):
101
 
        try:
102
 
            name, path = spec.split('@')
103
 
        except ValueError:
104
 
            raise errors.BzrCommandError(
105
 
                '"%s" is not a valid <plugin_name>@<plugin_path> description '
106
 
                % spec)
107
 
        specs.append((name, path))
108
 
    return specs
109
 
 
110
 
 
111
81
def set_plugins_path(path=None):
112
82
    """Set the path for plugins to be loaded from.
113
83
 
118
88
    if path is None:
119
89
        path = get_standard_plugins_path()
120
90
    _mod_plugins.__path__ = path
121
 
    PluginImporter.reset()
122
 
    # Set up a blacklist for disabled plugins
123
 
    disabled_plugins = os.environ.get('BZR_DISABLE_PLUGINS', None)
124
 
    if disabled_plugins is not None:
125
 
        for name in disabled_plugins.split(os.pathsep):
126
 
            PluginImporter.blacklist.add('bzrlib.plugins.' + name)
127
 
    # Set up a the specific paths for plugins
128
 
    for plugin_name, plugin_path in _get_specific_plugin_paths(os.environ.get(
129
 
            'BZR_PLUGINS_AT', None)):
130
 
            PluginImporter.specific_paths[
131
 
                'bzrlib.plugins.%s' % plugin_name] = plugin_path
132
91
    return path
133
92
 
134
93
 
135
 
def _append_new_path(paths, new_path):
136
 
    """Append a new path if it set and not already known."""
137
 
    if new_path is not None and new_path not in paths:
138
 
        paths.append(new_path)
139
 
    return paths
140
 
 
141
 
 
142
 
def get_core_plugin_path():
143
 
    core_path = None
 
94
def get_standard_plugins_path():
 
95
    """Determine a plugin path suitable for general use."""
 
96
    path = os.environ.get('BZR_PLUGIN_PATH',
 
97
                          get_default_plugin_path()).split(os.pathsep)
 
98
    # Get rid of trailing slashes, since Python can't handle them when
 
99
    # it tries to import modules.
 
100
    path = map(_strip_trailing_sep, path)
144
101
    bzr_exe = bool(getattr(sys, 'frozen', None))
145
102
    if bzr_exe:    # expand path for bzr.exe
146
103
        # We need to use relative path to system-wide plugin
153
110
        # then plugins directory is
154
111
        # C:\Program Files\Bazaar\plugins
155
112
        # so relative path is ../../../plugins
156
 
        core_path = osutils.abspath(osutils.pathjoin(
157
 
                osutils.dirname(__file__), '../../../plugins'))
158
 
    else:     # don't look inside library.zip
 
113
        path.append(osutils.abspath(osutils.pathjoin(
 
114
            osutils.dirname(__file__), '../../../plugins')))
 
115
    if not bzr_exe:     # don't look inside library.zip
159
116
        # search the plugin path before the bzrlib installed dir
160
 
        core_path = os.path.dirname(_mod_plugins.__file__)
161
 
    return core_path
162
 
 
163
 
 
164
 
def get_site_plugin_path():
165
 
    """Returns the path for the site installed plugins."""
166
 
    if sys.platform == 'win32':
167
 
        # We don't have (yet) a good answer for windows since that is certainly
168
 
        # related to the way we build the installers. -- vila20090821
169
 
        return None
170
 
    site_path = None
171
 
    try:
172
 
        from distutils.sysconfig import get_python_lib
173
 
    except ImportError:
174
 
        # If distutuils is not available, we just don't know where they are
175
 
        pass
176
 
    else:
177
 
        site_path = osutils.pathjoin(get_python_lib(), 'bzrlib', 'plugins')
178
 
    return site_path
179
 
 
180
 
 
181
 
def get_user_plugin_path():
182
 
    return osutils.pathjoin(config.config_dir(), 'plugins')
183
 
 
184
 
 
185
 
def get_standard_plugins_path():
186
 
    """Determine a plugin path suitable for general use."""
187
 
    # Ad-Hoc default: core is not overriden by site but user can overrides both
188
 
    # The rationale is that:
189
 
    # - 'site' comes last, because these plugins should always be available and
190
 
    #   are supposed to be in sync with the bzr installed on site.
191
 
    # - 'core' comes before 'site' so that running bzr from sources or a user
192
 
    #   installed version overrides the site version.
193
 
    # - 'user' comes first, because... user is always right.
194
 
    # - the above rules clearly defines which plugin version will be loaded if
195
 
    #   several exist. Yet, it is sometimes desirable to disable some directory
196
 
    #   so that a set of plugins is disabled as once. This can be done via
197
 
    #   -site, -core, -user.
198
 
 
199
 
    env_paths = os.environ.get('BZR_PLUGIN_PATH', '+user').split(os.pathsep)
200
 
    defaults = ['+core', '+site']
201
 
 
202
 
    # The predefined references
203
 
    refs = dict(core=get_core_plugin_path(),
204
 
                site=get_site_plugin_path(),
205
 
                user=get_user_plugin_path())
206
 
 
207
 
    # Unset paths that should be removed
208
 
    for k,v in refs.iteritems():
209
 
        removed = '-%s' % k
210
 
        # defaults can never mention removing paths as that will make it
211
 
        # impossible for the user to revoke these removals.
212
 
        if removed in env_paths:
213
 
            env_paths.remove(removed)
214
 
            refs[k] = None
215
 
 
216
 
    # Expand references
217
 
    paths = []
218
 
    for p in env_paths + defaults:
219
 
        if p.startswith('+'):
220
 
            # Resolve references if they are known
221
 
            try:
222
 
                p = refs[p[1:]]
223
 
            except KeyError:
224
 
                # Leave them untouched so user can still use paths starting
225
 
                # with '+'
226
 
                pass
227
 
        _append_new_path(paths, p)
228
 
 
229
 
    # Get rid of trailing slashes, since Python can't handle them when
230
 
    # it tries to import modules.
231
 
    paths = map(_strip_trailing_sep, paths)
232
 
    return paths
 
117
        path.append(os.path.dirname(_mod_plugins.__file__))
 
118
    # search the arch independent path if we can determine that and
 
119
    # the plugin is found nowhere else
 
120
    if sys.platform != 'win32':
 
121
        try:
 
122
            from distutils.sysconfig import get_python_lib
 
123
        except ImportError:
 
124
            # If distutuils is not available, we just won't add that path
 
125
            pass
 
126
        else:
 
127
            archless_path = osutils.pathjoin(get_python_lib(), 'bzrlib',
 
128
                    'plugins')
 
129
            if archless_path not in path:
 
130
                path.append(archless_path)
 
131
    return path
233
132
 
234
133
 
235
134
def load_plugins(path=None):
240
139
    files (and whatever other extensions are used in the platform,
241
140
    such as *.pyd).
242
141
 
243
 
    load_from_path() provides the underlying mechanism and is called with
 
142
    load_from_dirs() provides the underlying mechanism and is called with
244
143
    the default directory list to provide the normal behaviour.
245
144
 
246
145
    :param path: The list of paths to search for plugins.  By default,
269
168
 
270
169
    The python module path for bzrlib.plugins will be modified to be 'dirs'.
271
170
    """
272
 
    # Explicitly load the plugins with a specific path
273
 
    for fullname, path in PluginImporter.specific_paths.iteritems():
274
 
        name = fullname[len('bzrlib.plugins.'):]
275
 
        _load_plugin_module(name, path)
276
 
 
277
171
    # We need to strip the trailing separators here as well as in the
278
172
    # set_plugins_path function because calling code can pass anything in to
279
173
    # this function, and since it sets plugins.__path__, it should set it to
293
187
load_from_dirs = load_from_path
294
188
 
295
189
 
296
 
def _find_plugin_module(dir, name):
297
 
    """Check if there is a valid python module that can be loaded as a plugin.
298
 
 
299
 
    :param dir: The directory where the search is performed.
300
 
    :param path: An existing file path, either a python file or a package
301
 
        directory.
302
 
 
303
 
    :return: (name, path, description) name is the module name, path is the
304
 
        file to load and description is the tuple returned by
305
 
        imp.get_suffixes().
306
 
    """
307
 
    path = osutils.pathjoin(dir, name)
308
 
    if os.path.isdir(path):
309
 
        # Check for a valid __init__.py file, valid suffixes depends on -O and
310
 
        # can be .py, .pyc and .pyo
311
 
        for suffix, mode, kind in imp.get_suffixes():
312
 
            if kind not in (imp.PY_SOURCE, imp.PY_COMPILED):
313
 
                # We don't recognize compiled modules (.so, .dll, etc)
314
 
                continue
315
 
            init_path = osutils.pathjoin(path, '__init__' + suffix)
316
 
            if os.path.isfile(init_path):
317
 
                return name, init_path, (suffix, mode, kind)
318
 
    else:
319
 
        for suffix, mode, kind in imp.get_suffixes():
320
 
            if name.endswith(suffix):
321
 
                # Clean up the module name
322
 
                name = name[:-len(suffix)]
323
 
                if kind == imp.C_EXTENSION and name.endswith('module'):
324
 
                    name = name[:-len('module')]
325
 
                return name, path, (suffix, mode, kind)
326
 
    # There is no python module here
327
 
    return None, None, (None, None, None)
328
 
 
329
 
 
330
 
def _load_plugin_module(name, dir):
331
 
    """Load plugin name from dir.
332
 
 
333
 
    :param name: The plugin name in the bzrlib.plugins namespace.
334
 
    :param dir: The directory the plugin is loaded from for error messages.
335
 
    """
336
 
    if ('bzrlib.plugins.%s' % name) in PluginImporter.blacklist:
337
 
        return
338
 
    try:
339
 
        exec "import bzrlib.plugins.%s" % name in {}
340
 
    except KeyboardInterrupt:
341
 
        raise
342
 
    except errors.IncompatibleAPI, e:
343
 
        trace.warning("Unable to load plugin %r. It requested API version "
344
 
            "%s of module %s but the minimum exported version is %s, and "
345
 
            "the maximum is %s" %
346
 
            (name, e.wanted, e.api, e.minimum, e.current))
347
 
    except Exception, e:
348
 
        trace.warning("%s" % e)
349
 
        if re.search('\.|-| ', name):
350
 
            sanitised_name = re.sub('[-. ]', '_', name)
351
 
            if sanitised_name.startswith('bzr_'):
352
 
                sanitised_name = sanitised_name[len('bzr_'):]
353
 
            trace.warning("Unable to load %r in %r as a plugin because the "
354
 
                    "file path isn't a valid module name; try renaming "
355
 
                    "it to %r." % (name, dir, sanitised_name))
356
 
        else:
357
 
            trace.warning('Unable to load plugin %r from %r' % (name, dir))
358
 
        trace.log_exception_quietly()
359
 
        if 'error' in debug.debug_flags:
360
 
            trace.print_exception(sys.exc_info(), sys.stderr)
361
 
 
362
 
 
363
190
def load_from_dir(d):
364
191
    """Load the plugins in directory d.
365
192
 
366
193
    d must be in the plugins module path already.
367
 
    This function is called once for each directory in the module path.
368
194
    """
 
195
    # Get the list of valid python suffixes for __init__.py?
 
196
    # this includes .py, .pyc, and .pyo (depending on if we are running -O)
 
197
    # but it doesn't include compiled modules (.so, .dll, etc)
 
198
    valid_suffixes = [suffix for suffix, mod_type, flags in imp.get_suffixes()
 
199
                              if flags in (imp.PY_SOURCE, imp.PY_COMPILED)]
 
200
    package_entries = ['__init__'+suffix for suffix in valid_suffixes]
369
201
    plugin_names = set()
370
 
    for p in os.listdir(d):
371
 
        name, path, desc = _find_plugin_module(d, p)
372
 
        if name is not None:
373
 
            if name == '__init__':
374
 
                # We do nothing with the __init__.py file in directories from
375
 
                # the bzrlib.plugins module path, we may want to, one day
376
 
                # -- vila 20100316.
377
 
                continue # We don't load __init__.py in the plugins dirs
378
 
            elif getattr(_mod_plugins, name, None) is not None:
379
 
                # The module has already been loaded from another directory
380
 
                # during a previous call.
381
 
                # FIXME: There should be a better way to report masked plugins
382
 
                # -- vila 20100316
383
 
                trace.mutter('Plugin name %s already loaded', name)
 
202
    for f in os.listdir(d):
 
203
        path = osutils.pathjoin(d, f)
 
204
        if os.path.isdir(path):
 
205
            for entry in package_entries:
 
206
                # This directory should be a package, and thus added to
 
207
                # the list
 
208
                if os.path.isfile(osutils.pathjoin(path, entry)):
 
209
                    break
 
210
            else: # This directory is not a package
 
211
                continue
 
212
        else:
 
213
            for suffix_info in imp.get_suffixes():
 
214
                if f.endswith(suffix_info[0]):
 
215
                    f = f[:-len(suffix_info[0])]
 
216
                    if suffix_info[2] == imp.C_EXTENSION and f.endswith('module'):
 
217
                        f = f[:-len('module')]
 
218
                    break
384
219
            else:
385
 
                plugin_names.add(name)
 
220
                continue
 
221
        if f == '__init__':
 
222
            continue # We don't load __init__.py again in the plugin dir
 
223
        elif getattr(_mod_plugins, f, None):
 
224
            trace.mutter('Plugin name %s already loaded', f)
 
225
        else:
 
226
            # trace.mutter('add plugin name %s', f)
 
227
            plugin_names.add(f)
386
228
 
387
229
    for name in plugin_names:
388
 
        _load_plugin_module(name, d)
 
230
        try:
 
231
            exec "import bzrlib.plugins.%s" % name in {}
 
232
        except KeyboardInterrupt:
 
233
            raise
 
234
        except errors.IncompatibleAPI, e:
 
235
            trace.warning("Unable to load plugin %r. It requested API version "
 
236
                "%s of module %s but the minimum exported version is %s, and "
 
237
                "the maximum is %s" %
 
238
                (name, e.wanted, e.api, e.minimum, e.current))
 
239
        except Exception, e:
 
240
            trace.warning("%s" % e)
 
241
            ## import pdb; pdb.set_trace()
 
242
            if re.search('\.|-| ', name):
 
243
                sanitised_name = re.sub('[-. ]', '_', name)
 
244
                if sanitised_name.startswith('bzr_'):
 
245
                    sanitised_name = sanitised_name[len('bzr_'):]
 
246
                trace.warning("Unable to load %r in %r as a plugin because the "
 
247
                        "file path isn't a valid module name; try renaming "
 
248
                        "it to %r." % (name, d, sanitised_name))
 
249
            else:
 
250
                trace.warning('Unable to load plugin %r from %r' % (name, d))
 
251
            trace.log_exception_quietly()
 
252
            if 'error' in debug.debug_flags:
 
253
                trace.print_exception(sys.exc_info(), sys.stderr)
389
254
 
390
255
 
391
256
def plugins():
548
413
        return version_string
549
414
 
550
415
    __version__ = property(_get__version__)
551
 
 
552
 
 
553
 
class _PluginImporter(object):
554
 
    """An importer tailored to bzr specific needs.
555
 
 
556
 
    This is a singleton that takes care of:
557
 
    - disabled plugins specified in 'blacklist',
558
 
    - plugins that needs to be loaded from specific directories.
559
 
    """
560
 
 
561
 
    def __init__(self):
562
 
        self.reset()
563
 
 
564
 
    def reset(self):
565
 
        self.blacklist = set()
566
 
        self.specific_paths = {}
567
 
 
568
 
    def find_module(self, fullname, parent_path=None):
569
 
        """Search a plugin module.
570
 
 
571
 
        Disabled plugins raise an import error, plugins with specific paths
572
 
        returns a specific loader.
573
 
 
574
 
        :return: None if the plugin doesn't need special handling, self
575
 
            otherwise.
576
 
        """
577
 
        if not fullname.startswith('bzrlib.plugins.'):
578
 
            return None
579
 
        if fullname in self.blacklist:
580
 
            raise ImportError('%s is disabled' % fullname)
581
 
        if fullname in self.specific_paths:
582
 
            return self
583
 
        return None
584
 
 
585
 
    def load_module(self, fullname):
586
 
        """Load a plugin from a specific directory."""
587
 
        # We are called only for specific paths
588
 
        plugin_path = self.specific_paths[fullname]
589
 
        loading_path = None
590
 
        if os.path.isdir(plugin_path):
591
 
            for suffix, mode, kind in imp.get_suffixes():
592
 
                if kind not in (imp.PY_SOURCE, imp.PY_COMPILED):
593
 
                    # We don't recognize compiled modules (.so, .dll, etc)
594
 
                    continue
595
 
                init_path = osutils.pathjoin(plugin_path, '__init__' + suffix)
596
 
                if os.path.isfile(init_path):
597
 
                    # We've got a module here and load_module needs specific
598
 
                    # parameters.
599
 
                    loading_path = plugin_path
600
 
                    suffix = ''
601
 
                    mode = ''
602
 
                    kind = imp.PKG_DIRECTORY
603
 
                    break
604
 
        else:
605
 
            for suffix, mode, kind in imp.get_suffixes():
606
 
                if plugin_path.endswith(suffix):
607
 
                    loading_path = plugin_path
608
 
                    break
609
 
        if loading_path is None:
610
 
            raise ImportError('%s cannot be loaded from %s'
611
 
                              % (fullname, plugin_path))
612
 
        if kind is imp.PKG_DIRECTORY:
613
 
            f = None
614
 
        else:
615
 
            f = open(loading_path, mode)
616
 
        try:
617
 
            mod = imp.load_module(fullname, f, loading_path,
618
 
                                  (suffix, mode, kind))
619
 
            mod.__package__ = fullname
620
 
            return mod
621
 
        finally:
622
 
            if f is not None:
623
 
                f.close()
624
 
 
625
 
 
626
 
# Install a dedicated importer for plugins requiring special handling
627
 
PluginImporter = _PluginImporter()
628
 
sys.meta_path.append(PluginImporter)