~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to setup.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2008-03-16 14:01:20 UTC
  • mfrom: (3280.2.5 integration)
  • Revision ID: pqm@pqm.ubuntu.com-20080316140120-i3yq8yr1l66m11h7
Start 1.4 development

Show diffs side-by-side

added added

removed removed

Lines of Context:
95
95
 
96
96
from distutils.core import setup
97
97
from distutils.command.install_scripts import install_scripts
98
 
from distutils.command.install_data import install_data
99
98
from distutils.command.build import build
100
99
 
101
100
###############################
144
143
    """Customized build distutils action.
145
144
    Generate bzr.1.
146
145
    """
147
 
 
148
146
    def run(self):
149
147
        build.run(self)
150
148
 
176
174
    from distutils.command.build_ext import build_ext
177
175
else:
178
176
    have_pyrex = True
179
 
    from Pyrex.Compiler.Version import version as pyrex_version
180
177
 
181
178
 
182
179
class build_ext_if_possible(build_ext):
183
180
 
184
 
    user_options = build_ext.user_options + [
185
 
        ('allow-python-fallback', None,
186
 
         "When an extension cannot be built, allow falling"
187
 
         " back to the pure-python implementation.")
188
 
        ]
189
 
 
190
 
    def initialize_options(self):
191
 
        build_ext.initialize_options(self)
192
 
        self.allow_python_fallback = False
193
 
 
194
181
    def run(self):
195
182
        try:
196
183
            build_ext.run(self)
197
184
        except DistutilsPlatformError, e:
198
 
            if not self.allow_python_fallback:
199
 
                log.warn('\n  Cannot build extensions.\n'
200
 
                         '  Use "build_ext --allow-python-fallback" to use'
201
 
                         ' slower python implementations instead.\n')
202
 
                raise
203
185
            log.warn(str(e))
204
 
            log.warn('\n  Extensions cannot be built.\n'
205
 
                     '  Using the slower Python implementations instead.\n')
 
186
            log.warn('Extensions cannot be built, '
 
187
                     'will use the Python versions instead')
206
188
 
207
189
    def build_extension(self, ext):
208
190
        try:
209
191
            build_ext.build_extension(self, ext)
210
192
        except CCompilerError:
211
 
            if not self.allow_python_fallback:
212
 
                log.warn('\n  Cannot build extension "%s".\n'
213
 
                         '  Use "build_ext --allow-python-fallback" to use'
214
 
                         ' slower python implementations instead.\n'
215
 
                         % (ext.name,))
216
 
                raise
217
 
            log.warn('\n  Building of "%s" extension failed.\n'
218
 
                     '  Using the slower Python implementation instead.'
219
 
                     % (ext.name,))
 
193
            log.warn('Building of "%s" extension failed, '
 
194
                     'will use the Python version instead' % (ext.name,))
220
195
 
221
196
 
222
197
# Override the build_ext if we have Pyrex available
224
199
unavailable_files = []
225
200
 
226
201
 
227
 
def add_pyrex_extension(module_name, libraries=None, extra_source=[]):
 
202
def add_pyrex_extension(module_name, **kwargs):
228
203
    """Add a pyrex module to build.
229
204
 
230
205
    This will use Pyrex to auto-generate the .c file if it is available.
240
215
    path = module_name.replace('.', '/')
241
216
    pyrex_name = path + '.pyx'
242
217
    c_name = path + '.c'
243
 
    define_macros = []
244
 
    if sys.platform == 'win32':
245
 
        # pyrex uses the macro WIN32 to detect the platform, even though it should
246
 
        # be using something like _WIN32 or MS_WINDOWS, oh well, we can give it the
247
 
        # right value.
248
 
        define_macros.append(('WIN32', None))
249
218
    if have_pyrex:
250
 
        source = [pyrex_name]
 
219
        ext_modules.append(Extension(module_name, [pyrex_name]))
251
220
    else:
252
221
        if not os.path.isfile(c_name):
253
222
            unavailable_files.append(c_name)
254
 
            return
255
223
        else:
256
 
            source = [c_name]
257
 
    source.extend(extra_source)
258
 
    ext_modules.append(Extension(module_name, source,
259
 
        define_macros=define_macros, libraries=libraries))
260
 
 
261
 
 
262
 
add_pyrex_extension('bzrlib._btree_serializer_c')
263
 
add_pyrex_extension('bzrlib._groupcompress_pyx',
264
 
                    extra_source=['bzrlib/diff-delta.c'])
265
 
add_pyrex_extension('bzrlib._chunks_to_lines_pyx')
 
224
            ext_modules.append(Extension(module_name, [c_name]))
 
225
 
 
226
 
 
227
add_pyrex_extension('bzrlib._dirstate_helpers_c')
266
228
add_pyrex_extension('bzrlib._knit_load_data_c')
267
 
add_pyrex_extension('bzrlib._rio_pyx')
268
 
add_pyrex_extension('bzrlib._chk_map_pyx', libraries=['z'])
269
 
if sys.platform == 'win32':
270
 
    add_pyrex_extension('bzrlib._dirstate_helpers_c',
271
 
                        libraries=['Ws2_32'])
272
 
    add_pyrex_extension('bzrlib._walkdirs_win32')
273
 
else:
274
 
    if have_pyrex and pyrex_version == '0.9.4.1':
275
 
        # Pyrex 0.9.4.1 fails to compile this extension correctly
276
 
        # The code it generates re-uses a "local" pointer and
277
 
        # calls "PY_DECREF" after having set it to NULL. (It mixes PY_XDECREF
278
 
        # which is NULL safe with PY_DECREF which is not.)
279
 
        print 'Cannot build extension "bzrlib._dirstate_helpers_c" using'
280
 
        print 'your version of pyrex "%s". Please upgrade your pyrex' % (
281
 
            pyrex_version,)
282
 
        print 'install. For now, the non-compiled (python) version will'
283
 
        print 'be used instead.'
284
 
    else:
285
 
        add_pyrex_extension('bzrlib._dirstate_helpers_c')
286
 
    add_pyrex_extension('bzrlib._readdir_pyx')
287
229
ext_modules.append(Extension('bzrlib._patiencediff_c', ['bzrlib/_patiencediff_c.c']))
288
230
 
289
231
 
294
236
    print
295
237
 
296
238
 
297
 
def get_tbzr_py2exe_info(includes, excludes, packages, console_targets,
298
 
                         gui_targets, data_files):
299
 
    packages.append('tbzrcommands')
300
 
 
301
 
    # ModuleFinder can't handle runtime changes to __path__, but
302
 
    # win32com uses them.  Hook this in so win32com.shell is found.
303
 
    import modulefinder
304
 
    import win32com
305
 
    import cPickle as pickle
306
 
    for p in win32com.__path__[1:]:
307
 
        modulefinder.AddPackagePath("win32com", p)
308
 
    for extra in ["win32com.shell"]:
309
 
        __import__(extra)
310
 
        m = sys.modules[extra]
311
 
        for p in m.__path__[1:]:
312
 
            modulefinder.AddPackagePath(extra, p)
313
 
 
314
 
    # TBZR points to the TBZR directory
315
 
    tbzr_root = os.environ["TBZR"]
316
 
 
317
 
    # Ensure tbzrlib itself is on sys.path
318
 
    sys.path.append(tbzr_root)
319
 
 
320
 
    # Ensure our COM "entry-point" is on sys.path
321
 
    sys.path.append(os.path.join(tbzr_root, "shellext", "python"))
322
 
 
323
 
    packages.append("tbzrlib")
324
 
 
325
 
    # collect up our icons.
326
 
    cwd = os.getcwd()
327
 
    ico_root = os.path.join(tbzr_root, 'tbzrlib', 'resources')
328
 
    icos = [] # list of (path_root, relative_ico_path)
329
 
    # First always bzr's icon and its in the root of the bzr tree.
330
 
    icos.append(('', 'bzr.ico'))
331
 
    for root, dirs, files in os.walk(ico_root):
332
 
        icos.extend([(ico_root, os.path.join(root, f)[len(ico_root)+1:])
333
 
                     for f in files if f.endswith('.ico')])
334
 
    # allocate an icon ID for each file and the full path to the ico
335
 
    icon_resources = [(rid, os.path.join(ico_dir, ico_name))
336
 
                      for rid, (ico_dir, ico_name) in enumerate(icos)]
337
 
    # create a string resource with the mapping.  Might as well save the
338
 
    # runtime some effort and write a pickle.
339
 
    # Runtime expects unicode objects with forward-slash seps.
340
 
    fse = sys.getfilesystemencoding()
341
 
    map_items = [(f.replace('\\', '/').decode(fse), rid)
342
 
                 for rid, (_, f) in enumerate(icos)]
343
 
    ico_map = dict(map_items)
344
 
    # Create a new resource type of 'ICON_MAP', and use ID=1
345
 
    other_resources = [ ("ICON_MAP", 1, pickle.dumps(ico_map))]
346
 
 
347
 
    excludes.extend("""pywin pywin.dialogs pywin.dialogs.list
348
 
                       win32ui crawler.Crawler""".split())
349
 
 
350
 
    # NOTE: We still create a DLL version of the Python implemented shell
351
 
    # extension for testing purposes - but it is *not* registered by
352
 
    # default - our C++ one is instead.  To discourage people thinking
353
 
    # this DLL is still necessary, its called 'tbzr_old.dll'
354
 
    tbzr = dict(
355
 
        modules=["tbzr"],
356
 
        create_exe = False, # we only want a .dll
357
 
        dest_base = 'tbzr_old',
358
 
    )
359
 
    com_targets.append(tbzr)
360
 
 
361
 
    # tbzrcache executables - a "console" version for debugging and a
362
 
    # GUI version that is generally used.
363
 
    tbzrcache = dict(
364
 
        script = os.path.join(tbzr_root, "scripts", "tbzrcache.py"),
365
 
        icon_resources = icon_resources,
366
 
        other_resources = other_resources,
367
 
    )
368
 
    console_targets.append(tbzrcache)
369
 
 
370
 
    # Make a windows version which is the same except for the base name.
371
 
    tbzrcachew = tbzrcache.copy()
372
 
    tbzrcachew["dest_base"]="tbzrcachew"
373
 
    gui_targets.append(tbzrcachew)
374
 
 
375
 
    # ditto for the tbzrcommand tool
376
 
    tbzrcommand = dict(
377
 
        script = os.path.join(tbzr_root, "scripts", "tbzrcommand.py"),
378
 
        icon_resources = [(0,'bzr.ico')],
379
 
    )
380
 
    console_targets.append(tbzrcommand)
381
 
    tbzrcommandw = tbzrcommand.copy()
382
 
    tbzrcommandw["dest_base"]="tbzrcommandw"
383
 
    gui_targets.append(tbzrcommandw)
384
 
    
385
 
    # A utility to see python output from both C++ and Python based shell
386
 
    # extensions
387
 
    tracer = dict(script=os.path.join(tbzr_root, "scripts", "tbzrtrace.py"))
388
 
    console_targets.append(tracer)
389
 
 
390
 
    # The C++ implemented shell extensions.
391
 
    dist_dir = os.path.join(tbzr_root, "shellext", "cpp", "tbzrshellext",
392
 
                            "build", "dist")
393
 
    data_files.append(('', [os.path.join(dist_dir, 'tbzrshellext_x86.dll')]))
394
 
    data_files.append(('', [os.path.join(dist_dir, 'tbzrshellext_x64.dll')]))
395
 
 
396
 
 
397
 
def get_qbzr_py2exe_info(includes, excludes, packages):
398
 
    # PyQt4 itself still escapes the plugin detection code for some reason...
399
 
    packages.append('PyQt4')
400
 
    excludes.append('PyQt4.elementtree.ElementTree')
401
 
    includes.append('sip') # extension module required for Qt.
402
 
    packages.append('pygments') # colorizer for qbzr
403
 
    packages.append('docutils') # html formatting
404
 
    # but we can avoid many Qt4 Dlls.
405
 
    dll_excludes.extend(
406
 
        """QtAssistantClient4.dll QtCLucene4.dll QtDesigner4.dll
407
 
        QtHelp4.dll QtNetwork4.dll QtOpenGL4.dll QtScript4.dll
408
 
        QtSql4.dll QtTest4.dll QtWebKit4.dll QtXml4.dll
409
 
        qscintilla2.dll""".split())
410
 
    # the qt binaries might not be on PATH...
411
 
    qt_dir = os.path.join(sys.prefix, "PyQt4", "bin")
412
 
    path = os.environ.get("PATH","")
413
 
    if qt_dir.lower() not in [p.lower() for p in path.split(os.pathsep)]:
414
 
        os.environ["PATH"] = path + os.pathsep + qt_dir
415
 
 
416
 
 
417
 
def get_svn_py2exe_info(includes, excludes, packages):
418
 
    packages.append('subvertpy')
419
 
 
420
 
 
421
239
if 'bdist_wininst' in sys.argv:
422
240
    def find_docs():
423
241
        docs = []
468
286
        version_number.append(str(i))
469
287
    version_str = '.'.join(version_number)
470
288
 
471
 
    # An override to install_data used only by py2exe builds, which arranges
472
 
    # to byte-compile any .py files in data_files (eg, our plugins)
473
 
    # Necessary as we can't rely on the user having the relevant permissions
474
 
    # to the "Program Files" directory to generate them on the fly.
475
 
    class install_data_with_bytecompile(install_data):
476
 
        def run(self):
477
 
            from distutils.util import byte_compile
478
 
 
479
 
            install_data.run(self)
480
 
 
481
 
            py2exe = self.distribution.get_command_obj('py2exe', False)
482
 
            optimize = py2exe.optimize
483
 
            compile_names = [f for f in self.outfiles if f.endswith('.py')]
484
 
            byte_compile(compile_names,
485
 
                         optimize=optimize,
486
 
                         force=self.force, prefix=self.install_dir,
487
 
                         dry_run=self.dry_run)
488
 
            if optimize:
489
 
                suffix = 'o'
490
 
            else:
491
 
                suffix = 'c'
492
 
            self.outfiles.extend([f + suffix for f in compile_names])
493
 
    # end of class install_data_with_bytecompile
494
 
 
495
289
    target = py2exe.build_exe.Target(script = "bzr",
496
290
                                     dest_base = "bzr",
497
291
                                     icon_resources = [(0,'bzr.ico')],
524
318
        import warnings
525
319
        warnings.warn('Unknown Python version.\n'
526
320
                      'Please check setup.py script for compatibility.')
527
 
 
528
 
    # Although we currently can't enforce it, we consider it an error for
529
 
    # py2exe to report any files are "missing".  Such modules we know aren't
530
 
    # used should be listed here.
531
 
    excludes = """Tkinter psyco ElementPath r_hmac
532
 
                  ImaginaryModule cElementTree elementtree.ElementTree
533
 
                  Crypto.PublicKey._fastmath
534
 
                  medusa medusa.filesys medusa.ftp_server
535
 
                  tools tools.doc_generate
536
 
                  resource validate""".split()
537
 
    dll_excludes = []
538
 
 
539
321
    # email package from std python library use lazy import,
540
322
    # so we need to explicitly add all package
541
323
    additional_packages.add('email')
542
 
    # And it uses funky mappings to conver to 'Oldname' to 'newname'.  As
543
 
    # a result, packages like 'email.Parser' show as missing.  Tell py2exe
544
 
    # to exclude them.
545
 
    import email
546
 
    for oldname in getattr(email, '_LOWERNAMES', []):
547
 
        excludes.append("email." + oldname)
548
 
    for oldname in getattr(email, '_MIMENAMES', []):
549
 
        excludes.append("email.MIME" + oldname)
550
324
 
551
325
    # text files for help topis
552
326
    text_topics = glob.glob('bzrlib/help_topics/en/*.txt')
554
328
 
555
329
    # built-in plugins
556
330
    plugins_files = []
557
 
    # XXX - should we consider having the concept of an 'official' build,
558
 
    # which hard-codes the list of plugins, gets more upset if modules are
559
 
    # missing, etc?
560
 
    plugins = None # will be a set after plugin sniffing...
561
331
    for root, dirs, files in os.walk('bzrlib/plugins'):
562
 
        if root == 'bzrlib/plugins':
563
 
            plugins = set(dirs)
564
 
            # We ship plugins as normal files on the file-system - however,
565
 
            # the build process can cause *some* of these plugin files to end
566
 
            # up in library.zip. Thus, we saw (eg) "plugins/svn/test" in
567
 
            # library.zip, and then saw import errors related to that as the
568
 
            # rest of the svn plugin wasn't. So we tell py2exe to leave the
569
 
            # plugins out of the .zip file
570
 
            excludes.extend(["bzrlib.plugins." + d for d in dirs])
571
332
        x = []
572
333
        for i in files:
573
 
            if os.path.splitext(i)[1] not in [".py", ".pyd", ".dll", ".mo"]:
 
334
            if not i.endswith('.py'):
574
335
                continue
575
336
            if i == '__init__.py' and root == 'bzrlib/plugins':
576
337
                continue
584
345
    mf.run_package('bzrlib/plugins')
585
346
    packs, mods = mf.get_result()
586
347
    additional_packages.update(packs)
587
 
    includes.extend(mods)
588
 
 
589
 
    console_targets = [target,
590
 
                       'tools/win32/bzr_postinstall.py',
591
 
                       ]
592
 
    gui_targets = []
593
 
    com_targets = []
594
 
    data_files = topics_files + plugins_files
595
 
 
596
 
    if 'qbzr' in plugins:
597
 
        get_qbzr_py2exe_info(includes, excludes, packages)
598
 
 
599
 
    if 'svn' in plugins:
600
 
        get_svn_py2exe_info(includes, excludes, packages)
601
 
 
602
 
    if "TBZR" in os.environ:
603
 
        # TORTOISE_OVERLAYS_MSI_WIN32 must be set to the location of the
604
 
        # TortoiseOverlays MSI installer file. It is in the TSVN svn repo and
605
 
        # can be downloaded from (username=guest, blank password):
606
 
        # http://tortoisesvn.tigris.org/svn/tortoisesvn/TortoiseOverlays
607
 
        # look for: version-1.0.4/bin/TortoiseOverlays-1.0.4.11886-win32.msi
608
 
        # Ditto for TORTOISE_OVERLAYS_MSI_X64, pointing at *-x64.msi.
609
 
        for needed in ('TORTOISE_OVERLAYS_MSI_WIN32',
610
 
                       'TORTOISE_OVERLAYS_MSI_X64'):
611
 
            url = ('http://guest:@tortoisesvn.tigris.org/svn/tortoisesvn'
612
 
                   '/TortoiseOverlays')
613
 
            if not os.path.isfile(os.environ.get(needed, '<nofile>')):
614
 
                raise RuntimeError(
615
 
                    "\nPlease set %s to the location of the relevant"
616
 
                    "\nTortoiseOverlays .msi installer file."
617
 
                    " The installers can be found at"
618
 
                    "\n  %s"
619
 
                    "\ncheck in the version-X.Y.Z/bin/ subdir" % (needed, url))
620
 
        get_tbzr_py2exe_info(includes, excludes, packages, console_targets,
621
 
                             gui_targets, data_files)
622
 
    else:
623
 
        # print this warning to stderr as output is redirected, so it is seen
624
 
        # at build time.  Also to stdout so it appears in the log
625
 
        for f in (sys.stderr, sys.stdout):
626
 
            print >> f, \
627
 
                "Skipping TBZR binaries - please set TBZR to a directory to enable"
628
 
 
629
 
    # MSWSOCK.dll is a system-specific library, which py2exe accidentally pulls
630
 
    # in on Vista.
631
 
    dll_excludes.extend(["MSWSOCK.dll", "MSVCP60.dll", "powrprof.dll"])
 
348
 
632
349
    options_list = {"py2exe": {"packages": packages + list(additional_packages),
633
 
                               "includes": includes,
634
 
                               "excludes": excludes,
635
 
                               "dll_excludes": dll_excludes,
 
350
                               "includes": includes + mods,
 
351
                               "excludes": ["Tkinter", "medusa", "tools"],
636
352
                               "dist_dir": "win32_bzr.exe",
637
 
                               "optimize": 1,
638
353
                              },
639
354
                   }
640
 
 
641
355
    setup(options=options_list,
642
 
          console=console_targets,
643
 
          windows=gui_targets,
644
 
          com_server=com_targets,
 
356
          console=[target,
 
357
                   'tools/win32/bzr_postinstall.py',
 
358
                  ],
645
359
          zipfile='lib/library.zip',
646
 
          data_files=data_files,
647
 
          cmdclass={'install_data': install_data_with_bytecompile},
 
360
          data_files=topics_files + plugins_files,
648
361
          )
649
362
 
650
363
else: