← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to setup.py

https://launchpad.net/bugs/524184
NEWS section template into a separate file

Show diffs side-by-side

added added

removed removed

Lines of Context:
setup.py
40
40
    'url':          'http://www.bazaar-vcs.org/',
41
41
    'description':  'Friendly distributed version control system',
42
42
    'license':      'GNU GPL v2',
43
 
    'download_url': 'http://bazaar-vcs.org/Download',
 
43
    'download_url': 'https://launchpad.net/bzr/+download',
44
44
    'long_description': get_long_description(),
45
45
    'classifiers': [
46
46
        'Development Status :: 6 - Mature',
65
65
            'package_data': {'bzrlib': ['doc/api/*.txt',
66
66
                                        'tests/test_patches_data/*',
67
67
                                        'help_topics/en/*.txt',
 
68
                                        'tests/ssl_certs/server_without_pass.key',
 
69
                                        'tests/ssl_certs/server_with_pass.key',
 
70
                                        'tests/ssl_certs/server.crt'
68
71
                                       ]},
69
72
           }
70
73
 
93
96
BZRLIB['packages'] = get_bzrlib_packages()
94
97
 
95
98
 
 
99
from distutils import log
96
100
from distutils.core import setup
97
101
from distutils.command.install_scripts import install_scripts
 
102
from distutils.command.install_data import install_data
98
103
from distutils.command.build import build
99
104
 
100
105
###############################
143
148
    """Customized build distutils action.
144
149
    Generate bzr.1.
145
150
    """
 
151
 
146
152
    def run(self):
147
153
        build.run(self)
148
154
 
149
 
        import generate_docs
 
155
        from tools import generate_docs
150
156
        generate_docs.main(argv=["bzr", "man"])
151
157
 
152
158
 
174
180
    from distutils.command.build_ext import build_ext
175
181
else:
176
182
    have_pyrex = True
 
183
    from Pyrex.Compiler.Version import version as pyrex_version
177
184
 
178
185
 
179
186
class build_ext_if_possible(build_ext):
180
187
 
 
188
    user_options = build_ext.user_options + [
 
189
        ('allow-python-fallback', None,
 
190
         "When an extension cannot be built, allow falling"
 
191
         " back to the pure-python implementation.")
 
192
        ]
 
193
 
 
194
    def initialize_options(self):
 
195
        build_ext.initialize_options(self)
 
196
        self.allow_python_fallback = False
 
197
 
181
198
    def run(self):
182
199
        try:
183
200
            build_ext.run(self)
184
201
        except DistutilsPlatformError, e:
 
202
            if not self.allow_python_fallback:
 
203
                log.warn('\n  Cannot build extensions.\n'
 
204
                         '  Use "build_ext --allow-python-fallback" to use'
 
205
                         ' slower python implementations instead.\n')
 
206
                raise
185
207
            log.warn(str(e))
186
 
            log.warn('Extensions cannot be built, '
187
 
                     'will use the Python versions instead')
 
208
            log.warn('\n  Extensions cannot be built.\n'
 
209
                     '  Using the slower Python implementations instead.\n')
188
210
 
189
211
    def build_extension(self, ext):
190
212
        try:
191
213
            build_ext.build_extension(self, ext)
192
214
        except CCompilerError:
193
 
            log.warn('Building of "%s" extension failed, '
194
 
                     'will use the Python version instead' % (ext.name,))
 
215
            if not self.allow_python_fallback:
 
216
                log.warn('\n  Cannot build extension "%s".\n'
 
217
                         '  Use "build_ext --allow-python-fallback" to use'
 
218
                         ' slower python implementations instead.\n'
 
219
                         % (ext.name,))
 
220
                raise
 
221
            log.warn('\n  Building of "%s" extension failed.\n'
 
222
                     '  Using the slower Python implementation instead.'
 
223
                     % (ext.name,))
195
224
 
196
225
 
197
226
# Override the build_ext if we have Pyrex available
199
228
unavailable_files = []
200
229
 
201
230
 
202
 
def add_pyrex_extension(module_name, **kwargs):
 
231
def add_pyrex_extension(module_name, libraries=None, extra_source=[]):
203
232
    """Add a pyrex module to build.
204
233
 
205
234
    This will use Pyrex to auto-generate the .c file if it is available.
215
244
    path = module_name.replace('.', '/')
216
245
    pyrex_name = path + '.pyx'
217
246
    c_name = path + '.c'
 
247
    define_macros = []
 
248
    if sys.platform == 'win32':
 
249
        # pyrex uses the macro WIN32 to detect the platform, even though it
 
250
        # should be using something like _WIN32 or MS_WINDOWS, oh well, we can
 
251
        # give it the right value.
 
252
        define_macros.append(('WIN32', None))
218
253
    if have_pyrex:
219
 
        ext_modules.append(Extension(module_name, [pyrex_name]))
 
254
        source = [pyrex_name]
220
255
    else:
221
256
        if not os.path.isfile(c_name):
222
257
            unavailable_files.append(c_name)
 
258
            return
223
259
        else:
224
 
            ext_modules.append(Extension(module_name, [c_name]))
225
 
 
226
 
 
227
 
add_pyrex_extension('bzrlib._dirstate_helpers_c')
228
 
add_pyrex_extension('bzrlib._knit_load_data_c')
229
 
ext_modules.append(Extension('bzrlib._patiencediff_c', ['bzrlib/_patiencediff_c.c']))
 
260
            source = [c_name]
 
261
    source.extend(extra_source)
 
262
    ext_modules.append(Extension(module_name, source,
 
263
        define_macros=define_macros, libraries=libraries))
 
264
 
 
265
 
 
266
add_pyrex_extension('bzrlib._annotator_pyx')
 
267
add_pyrex_extension('bzrlib._bencode_pyx')
 
268
add_pyrex_extension('bzrlib._btree_serializer_pyx')
 
269
add_pyrex_extension('bzrlib._chunks_to_lines_pyx')
 
270
add_pyrex_extension('bzrlib._groupcompress_pyx',
 
271
                    extra_source=['bzrlib/diff-delta.c'])
 
272
add_pyrex_extension('bzrlib._knit_load_data_pyx')
 
273
add_pyrex_extension('bzrlib._known_graph_pyx')
 
274
add_pyrex_extension('bzrlib._rio_pyx')
 
275
if sys.platform == 'win32':
 
276
    add_pyrex_extension('bzrlib._dirstate_helpers_pyx',
 
277
                        libraries=['Ws2_32'])
 
278
    add_pyrex_extension('bzrlib._walkdirs_win32')
 
279
    z_lib = 'zdll'
 
280
else:
 
281
    if have_pyrex and pyrex_version.startswith('0.9.4'):
 
282
        # Pyrex 0.9.4.1 fails to compile this extension correctly
 
283
        # The code it generates re-uses a "local" pointer and
 
284
        # calls "PY_DECREF" after having set it to NULL. (It mixes PY_XDECREF
 
285
        # which is NULL safe with PY_DECREF which is not.)
 
286
        # <https://bugs.edge.launchpad.net/bzr/+bug/449372>
 
287
        # <https://bugs.edge.launchpad.net/bzr/+bug/276868>
 
288
        print 'Cannot build extension "bzrlib._dirstate_helpers_pyx" using'
 
289
        print 'your version of pyrex "%s". Please upgrade your pyrex' % (
 
290
            pyrex_version,)
 
291
        print 'install. For now, the non-compiled (python) version will'
 
292
        print 'be used instead.'
 
293
    else:
 
294
        add_pyrex_extension('bzrlib._dirstate_helpers_pyx')
 
295
    add_pyrex_extension('bzrlib._readdir_pyx')
 
296
    z_lib = 'z'
 
297
add_pyrex_extension('bzrlib._chk_map_pyx', libraries=[z_lib])
 
298
ext_modules.append(Extension('bzrlib._patiencediff_c',
 
299
                             ['bzrlib/_patiencediff_c.c']))
230
300
 
231
301
 
232
302
if unavailable_files:
236
306
    print
237
307
 
238
308
 
 
309
def get_tbzr_py2exe_info(includes, excludes, packages, console_targets,
 
310
                         gui_targets, data_files):
 
311
    packages.append('tbzrcommands')
 
312
 
 
313
    # ModuleFinder can't handle runtime changes to __path__, but
 
314
    # win32com uses them.  Hook this in so win32com.shell is found.
 
315
    import modulefinder
 
316
    import win32com
 
317
    import cPickle as pickle
 
318
    for p in win32com.__path__[1:]:
 
319
        modulefinder.AddPackagePath("win32com", p)
 
320
    for extra in ["win32com.shell"]:
 
321
        __import__(extra)
 
322
        m = sys.modules[extra]
 
323
        for p in m.__path__[1:]:
 
324
            modulefinder.AddPackagePath(extra, p)
 
325
 
 
326
    # TBZR points to the TBZR directory
 
327
    tbzr_root = os.environ["TBZR"]
 
328
 
 
329
    # Ensure tbzrlib itself is on sys.path
 
330
    sys.path.append(tbzr_root)
 
331
 
 
332
    packages.append("tbzrlib")
 
333
 
 
334
    # collect up our icons.
 
335
    cwd = os.getcwd()
 
336
    ico_root = os.path.join(tbzr_root, 'tbzrlib', 'resources')
 
337
    icos = [] # list of (path_root, relative_ico_path)
 
338
    # First always bzr's icon and its in the root of the bzr tree.
 
339
    icos.append(('', 'bzr.ico'))
 
340
    for root, dirs, files in os.walk(ico_root):
 
341
        icos.extend([(ico_root, os.path.join(root, f)[len(ico_root)+1:])
 
342
                     for f in files if f.endswith('.ico')])
 
343
    # allocate an icon ID for each file and the full path to the ico
 
344
    icon_resources = [(rid, os.path.join(ico_dir, ico_name))
 
345
                      for rid, (ico_dir, ico_name) in enumerate(icos)]
 
346
    # create a string resource with the mapping.  Might as well save the
 
347
    # runtime some effort and write a pickle.
 
348
    # Runtime expects unicode objects with forward-slash seps.
 
349
    fse = sys.getfilesystemencoding()
 
350
    map_items = [(f.replace('\\', '/').decode(fse), rid)
 
351
                 for rid, (_, f) in enumerate(icos)]
 
352
    ico_map = dict(map_items)
 
353
    # Create a new resource type of 'ICON_MAP', and use ID=1
 
354
    other_resources = [ ("ICON_MAP", 1, pickle.dumps(ico_map))]
 
355
 
 
356
    excludes.extend("""pywin pywin.dialogs pywin.dialogs.list
 
357
                       win32ui crawler.Crawler""".split())
 
358
 
 
359
    # tbzrcache executables - a "console" version for debugging and a
 
360
    # GUI version that is generally used.
 
361
    tbzrcache = dict(
 
362
        script = os.path.join(tbzr_root, "scripts", "tbzrcache.py"),
 
363
        icon_resources = icon_resources,
 
364
        other_resources = other_resources,
 
365
    )
 
366
    console_targets.append(tbzrcache)
 
367
 
 
368
    # Make a windows version which is the same except for the base name.
 
369
    tbzrcachew = tbzrcache.copy()
 
370
    tbzrcachew["dest_base"]="tbzrcachew"
 
371
    gui_targets.append(tbzrcachew)
 
372
 
 
373
    # ditto for the tbzrcommand tool
 
374
    tbzrcommand = dict(
 
375
        script = os.path.join(tbzr_root, "scripts", "tbzrcommand.py"),
 
376
        icon_resources = [(0,'bzr.ico')],
 
377
    )
 
378
    console_targets.append(tbzrcommand)
 
379
    tbzrcommandw = tbzrcommand.copy()
 
380
    tbzrcommandw["dest_base"]="tbzrcommandw"
 
381
    gui_targets.append(tbzrcommandw)
 
382
    
 
383
    # A utility to see python output from both C++ and Python based shell
 
384
    # extensions
 
385
    tracer = dict(script=os.path.join(tbzr_root, "scripts", "tbzrtrace.py"))
 
386
    console_targets.append(tracer)
 
387
 
 
388
    # The C++ implemented shell extensions.
 
389
    dist_dir = os.path.join(tbzr_root, "shellext", "build")
 
390
    data_files.append(('', [os.path.join(dist_dir, 'tbzrshellext_x86.dll')]))
 
391
    data_files.append(('', [os.path.join(dist_dir, 'tbzrshellext_x64.dll')]))
 
392
 
 
393
 
 
394
def get_qbzr_py2exe_info(includes, excludes, packages, data_files):
 
395
    # PyQt4 itself still escapes the plugin detection code for some reason...
 
396
    packages.append('PyQt4')
 
397
    excludes.append('PyQt4.elementtree.ElementTree')
 
398
    includes.append('sip') # extension module required for Qt.
 
399
    packages.append('pygments') # colorizer for qbzr
 
400
    packages.append('docutils') # html formatting
 
401
    includes.append('win32event')  # for qsubprocess stuff
 
402
    # but we can avoid many Qt4 Dlls.
 
403
    dll_excludes.extend(
 
404
        """QtAssistantClient4.dll QtCLucene4.dll QtDesigner4.dll
 
405
        QtHelp4.dll QtNetwork4.dll QtOpenGL4.dll QtScript4.dll
 
406
        QtSql4.dll QtTest4.dll QtWebKit4.dll QtXml4.dll
 
407
        qscintilla2.dll""".split())
 
408
    # the qt binaries might not be on PATH...
 
409
    # They seem to install to a place like C:\Python25\PyQt4\*
 
410
    # Which is not the same as C:\Python25\Lib\site-packages\PyQt4
 
411
    pyqt_dir = os.path.join(sys.prefix, "PyQt4")
 
412
    pyqt_bin_dir = os.path.join(pyqt_dir, "bin")
 
413
    if os.path.isdir(pyqt_bin_dir):
 
414
        path = os.environ.get("PATH", "")
 
415
        if pyqt_bin_dir.lower() not in [p.lower() for p in path.split(os.pathsep)]:
 
416
            os.environ["PATH"] = path + os.pathsep + pyqt_bin_dir
 
417
    # also add all imageformat plugins to distribution
 
418
    # We will look in 2 places, dirname(PyQt4.__file__) and pyqt_dir
 
419
    base_dirs_to_check = []
 
420
    if os.path.isdir(pyqt_dir):
 
421
        base_dirs_to_check.append(pyqt_dir)
 
422
    try:
 
423
        import PyQt4
 
424
    except ImportError:
 
425
        pass
 
426
    else:
 
427
        pyqt4_base_dir = os.path.dirname(PyQt4.__file__)
 
428
        if pyqt4_base_dir != pyqt_dir:
 
429
            base_dirs_to_check.append(pyqt4_base_dir)
 
430
    if not base_dirs_to_check:
 
431
        log.warn("Can't find PyQt4 installation -> not including imageformat"
 
432
                 " plugins")
 
433
    else:
 
434
        files = []
 
435
        for base_dir in base_dirs_to_check:
 
436
            plug_dir = os.path.join(base_dir, 'plugins', 'imageformats')
 
437
            if os.path.isdir(plug_dir):
 
438
                for fname in os.listdir(plug_dir):
 
439
                    # Include plugin dlls, but not debugging dlls
 
440
                    fullpath = os.path.join(plug_dir, fname)
 
441
                    if fname.endswith('.dll') and not fname.endswith('d4.dll'):
 
442
                        files.append(fullpath)
 
443
        if files:
 
444
            data_files.append(('imageformats', files))
 
445
        else:
 
446
            log.warn('PyQt4 was found, but we could not find any imageformat'
 
447
                     ' plugins. Are you sure your configuration is correct?')
 
448
 
 
449
 
 
450
def get_svn_py2exe_info(includes, excludes, packages):
 
451
    packages.append('subvertpy')
 
452
 
 
453
 
239
454
if 'bdist_wininst' in sys.argv:
240
455
    def find_docs():
241
456
        docs = []
286
501
        version_number.append(str(i))
287
502
    version_str = '.'.join(version_number)
288
503
 
 
504
    # An override to install_data used only by py2exe builds, which arranges
 
505
    # to byte-compile any .py files in data_files (eg, our plugins)
 
506
    # Necessary as we can't rely on the user having the relevant permissions
 
507
    # to the "Program Files" directory to generate them on the fly.
 
508
    class install_data_with_bytecompile(install_data):
 
509
        def run(self):
 
510
            from distutils.util import byte_compile
 
511
 
 
512
            install_data.run(self)
 
513
 
 
514
            py2exe = self.distribution.get_command_obj('py2exe', False)
 
515
            optimize = py2exe.optimize
 
516
            compile_names = [f for f in self.outfiles if f.endswith('.py')]
 
517
            byte_compile(compile_names,
 
518
                         optimize=optimize,
 
519
                         force=self.force, prefix=self.install_dir,
 
520
                         dry_run=self.dry_run)
 
521
            if optimize:
 
522
                suffix = 'o'
 
523
            else:
 
524
                suffix = 'c'
 
525
            self.outfiles.extend([f + suffix for f in compile_names])
 
526
    # end of class install_data_with_bytecompile
 
527
 
289
528
    target = py2exe.build_exe.Target(script = "bzr",
290
529
                                     dest_base = "bzr",
291
530
                                     icon_resources = [(0,'bzr.ico')],
293
532
                                     version = version_str,
294
533
                                     description = META_INFO['description'],
295
534
                                     author = META_INFO['author'],
296
 
                                     copyright = "(c) Canonical Ltd, 2005-2007",
 
535
                                     copyright = "(c) Canonical Ltd, 2005-2009",
297
536
                                     company_name = "Canonical Ltd.",
298
537
                                     comments = META_INFO['description'],
299
538
                                    )
318
557
        import warnings
319
558
        warnings.warn('Unknown Python version.\n'
320
559
                      'Please check setup.py script for compatibility.')
 
560
 
 
561
    # Although we currently can't enforce it, we consider it an error for
 
562
    # py2exe to report any files are "missing".  Such modules we know aren't
 
563
    # used should be listed here.
 
564
    excludes = """Tkinter psyco ElementPath r_hmac
 
565
                  ImaginaryModule cElementTree elementtree.ElementTree
 
566
                  Crypto.PublicKey._fastmath
 
567
                  medusa medusa.filesys medusa.ftp_server
 
568
                  tools
 
569
                  resource validate""".split()
 
570
    dll_excludes = []
 
571
 
321
572
    # email package from std python library use lazy import,
322
573
    # so we need to explicitly add all package
323
574
    additional_packages.add('email')
 
575
    # And it uses funky mappings to conver to 'Oldname' to 'newname'.  As
 
576
    # a result, packages like 'email.Parser' show as missing.  Tell py2exe
 
577
    # to exclude them.
 
578
    import email
 
579
    for oldname in getattr(email, '_LOWERNAMES', []):
 
580
        excludes.append("email." + oldname)
 
581
    for oldname in getattr(email, '_MIMENAMES', []):
 
582
        excludes.append("email.MIME" + oldname)
324
583
 
325
584
    # text files for help topis
326
585
    text_topics = glob.glob('bzrlib/help_topics/en/*.txt')
328
587
 
329
588
    # built-in plugins
330
589
    plugins_files = []
 
590
    # XXX - should we consider having the concept of an 'official' build,
 
591
    # which hard-codes the list of plugins, gets more upset if modules are
 
592
    # missing, etc?
 
593
    plugins = None # will be a set after plugin sniffing...
331
594
    for root, dirs, files in os.walk('bzrlib/plugins'):
 
595
        if root == 'bzrlib/plugins':
 
596
            plugins = set(dirs)
 
597
            # We ship plugins as normal files on the file-system - however,
 
598
            # the build process can cause *some* of these plugin files to end
 
599
            # up in library.zip. Thus, we saw (eg) "plugins/svn/test" in
 
600
            # library.zip, and then saw import errors related to that as the
 
601
            # rest of the svn plugin wasn't. So we tell py2exe to leave the
 
602
            # plugins out of the .zip file
 
603
            excludes.extend(["bzrlib.plugins." + d for d in dirs])
332
604
        x = []
333
605
        for i in files:
334
 
            if not i.endswith('.py'):
 
606
            if os.path.splitext(i)[1] not in [".py", ".pyd", ".dll", ".mo"]:
335
607
                continue
336
608
            if i == '__init__.py' and root == 'bzrlib/plugins':
337
609
                continue
345
617
    mf.run_package('bzrlib/plugins')
346
618
    packs, mods = mf.get_result()
347
619
    additional_packages.update(packs)
 
620
    includes.extend(mods)
 
621
 
 
622
    console_targets = [target,
 
623
                       'tools/win32/bzr_postinstall.py',
 
624
                       ]
 
625
    gui_targets = []
 
626
    data_files = topics_files + plugins_files
 
627
 
 
628
    if 'qbzr' in plugins:
 
629
        get_qbzr_py2exe_info(includes, excludes, packages, data_files)
 
630
 
 
631
    if 'svn' in plugins:
 
632
        get_svn_py2exe_info(includes, excludes, packages)
 
633
 
 
634
    if "TBZR" in os.environ:
 
635
        # TORTOISE_OVERLAYS_MSI_WIN32 must be set to the location of the
 
636
        # TortoiseOverlays MSI installer file. It is in the TSVN svn repo and
 
637
        # can be downloaded from (username=guest, blank password):
 
638
        # http://tortoisesvn.tigris.org/svn/tortoisesvn/TortoiseOverlays
 
639
        # look for: version-1.0.4/bin/TortoiseOverlays-1.0.4.11886-win32.msi
 
640
        # Ditto for TORTOISE_OVERLAYS_MSI_X64, pointing at *-x64.msi.
 
641
        for needed in ('TORTOISE_OVERLAYS_MSI_WIN32',
 
642
                       'TORTOISE_OVERLAYS_MSI_X64'):
 
643
            url = ('http://guest:@tortoisesvn.tigris.org/svn/tortoisesvn'
 
644
                   '/TortoiseOverlays')
 
645
            if not os.path.isfile(os.environ.get(needed, '<nofile>')):
 
646
                raise RuntimeError(
 
647
                    "\nPlease set %s to the location of the relevant"
 
648
                    "\nTortoiseOverlays .msi installer file."
 
649
                    " The installers can be found at"
 
650
                    "\n  %s"
 
651
                    "\ncheck in the version-X.Y.Z/bin/ subdir" % (needed, url))
 
652
        get_tbzr_py2exe_info(includes, excludes, packages, console_targets,
 
653
                             gui_targets, data_files)
 
654
    else:
 
655
        # print this warning to stderr as output is redirected, so it is seen
 
656
        # at build time.  Also to stdout so it appears in the log
 
657
        for f in (sys.stderr, sys.stdout):
 
658
            print >> f, \
 
659
                "Skipping TBZR binaries - please set TBZR to a directory to enable"
348
660
 
349
661
    # MSWSOCK.dll is a system-specific library, which py2exe accidentally pulls
350
662
    # in on Vista.
 
663
    dll_excludes.extend(["MSWSOCK.dll", "MSVCP60.dll", "powrprof.dll"])
351
664
    options_list = {"py2exe": {"packages": packages + list(additional_packages),
352
 
                               "includes": includes + mods,
353
 
                               "excludes": ["Tkinter", "medusa", "tools"],
354
 
                               "dll_excludes": ["MSWSOCK.dll"],
 
665
                               "includes": includes,
 
666
                               "excludes": excludes,
 
667
                               "dll_excludes": dll_excludes,
355
668
                               "dist_dir": "win32_bzr.exe",
 
669
                               "optimize": 1,
356
670
                              },
357
671
                   }
 
672
 
358
673
    setup(options=options_list,
359
 
          console=[target,
360
 
                   'tools/win32/bzr_postinstall.py',
361
 
                  ],
 
674
          console=console_targets,
 
675
          windows=gui_targets,
362
676
          zipfile='lib/library.zip',
363
 
          data_files=topics_files + plugins_files,
 
677
          data_files=data_files,
 
678
          cmdclass={'install_data': install_data_with_bytecompile},
364
679
          )
365
680
 
366
681
else:
367
682
    # ad-hoc for easy_install
368
683
    DATA_FILES = []
369
684
    if not 'bdist_egg' in sys.argv:
370
 
        # generate and install bzr.1 only with plain install, not easy_install one
 
685
        # generate and install bzr.1 only with plain install, not the
 
686
        # easy_install one
371
687
        DATA_FILES = [('man/man1', ['bzr.1'])]
372
688
 
373
689
    # std setup