~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to doc/developers/testing.txt

  • Committer: Martin Pool
  • Date: 2010-02-10 02:03:20 UTC
  • mto: This revision was merged to the branch mainline in revision 5027.
  • Revision ID: mbp@canonical.com-20100210020320-ebyrm44ig7maa4f5
Add import tariff tests

Show diffs side-by-side

added added

removed removed

Lines of Context:
368
368
        ''')
369
369
 
370
370
 
371
 
 
372
 
.. Effort tests
373
 
.. ~~~~~~~~~~~~
374
 
 
 
371
Import tariff tests
 
372
-------------------
 
373
 
 
374
`bzrlib.tests.test_import_tariff` has some tests that measure how many
 
375
Python modules are loaded to run some representative commands.
 
376
 
 
377
We want to avoid loading code unnecessarily, for reasons including:
 
378
 
 
379
* Python modules are interpreted when they're loaded, either to define
 
380
  classes or modules or perhaps to initialize some structures.
 
381
 
 
382
* With a cold cache we may incur blocking real disk IO for each module.
 
383
 
 
384
* Some modules depend on many others.
 
385
 
 
386
* Some optional modules such as `testtools` are meant to be soft
 
387
  dependencies and only needed for particular cases.  If they're loaded in
 
388
  other cases then bzr may break for people who don't have those modules.
 
389
  
 
390
`test_import_tarrif` allows us to check that removal of imports doesn't
 
391
regress.
 
392
 
 
393
This is done by running the command in a subprocess with
 
394
``--profile-imports``.  Starting a whole Python interpreter is pretty
 
395
slow, so we don't want exhaustive testing here, but just enough to guard
 
396
against distinct fixed problems.
 
397
 
 
398
Assertions about precisely what is loaded tend to be brittle so we instead
 
399
make assertions that particular things aren't loaded.
 
400
 
 
401
Unless selftest is run with ``--no-plugins``, modules will be loaded in
 
402
the usual way and checks made on what they cause to be loaded.  This is
 
403
probably worth checking into, because many bzr users have at least some
 
404
plugins installed (and they're included in binary installers).
 
405
 
 
406
In theory, plugins might have a good reason to load almost anything:
 
407
someone might write a plugin that opens a network connection or pops up a
 
408
gui window every time you run 'bzr status'.  However, it's more likely
 
409
that the code to do these things is just being loaded accidentally.  We
 
410
might eventually need to have a way to make exceptions for particular
 
411
plugins.
 
412
 
 
413
Some things to check:
 
414
 
 
415
* non-GUI commands shouldn't load GUI libraries
 
416
 
 
417
* operations on bzr native formats sholudn't load foreign branch libraries
 
418
 
 
419
* network code shouldn't be loaded for purely local operations
 
420
 
 
421
* particularly expensive Python built-in modules shouldn't be loaded
 
422
  unless there is a good reason
375
423
 
376
424
 
377
425
Skipping tests