~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to doc/developers/testing.txt

  • Committer: Jelmer Vernooij
  • Date: 2011-12-16 16:40:10 UTC
  • mto: This revision was merged to the branch mainline in revision 6391.
  • Revision ID: jelmer@samba.org-20111216164010-z3hy00xrnclnkf7a
Update tests.

Show diffs side-by-side

added added

removed removed

Lines of Context:
329
329
We make selective use of doctests__.  In general they should provide
330
330
*examples* within the API documentation which can incidentally be tested.  We
331
331
don't try to test every important case using doctests |--| regular Python
332
 
tests are generally a better solution.  That is, we just use doctests to
333
 
make our documentation testable, rather than as a way to make tests.
 
332
tests are generally a better solution.  That is, we just use doctests to make
 
333
our documentation testable, rather than as a way to make tests. Be aware that
 
334
doctests are not as well isolated as the unit tests, if you need more
 
335
isolation, you're likely want to write unit tests anyway if only to get a
 
336
better control of the test environment.
334
337
 
335
338
Most of these are in ``bzrlib/doc/api``.  More additions are welcome.
336
339
 
337
340
  __ http://docs.python.org/lib/module-doctest.html
338
341
 
 
342
There is an `assertDoctestExampleMatches` method in
 
343
`bzrlib.tests.TestCase` that allows you to match against doctest-style
 
344
string templates (including ``...`` to skip sections) from regular Python
 
345
tests.
 
346
 
339
347
 
340
348
Shell-like tests
341
349
----------------
367
375
The execution stops as soon as an expected output or an expected error is not
368
376
matched.
369
377
 
370
 
When no output is specified, any ouput from the command is accepted
371
 
and execution continue.
 
378
If output occurs and no output is expected, the execution stops and the
 
379
test fails.  If unexpected output occurs on the standard error, then
 
380
execution stops and the test fails.
372
381
 
373
382
If an error occurs and no expected error is specified, the execution stops.
374
383
 
447
456
    def test_unshelve_keep(self):
448
457
        # some setup here
449
458
        script.run_script(self, '''
450
 
            $ bzr add file
451
 
            $ bzr shelve --all -m Foo
 
459
            $ bzr add -q file
 
460
            $ bzr shelve -q --all -m Foo
452
461
            $ bzr shelve --list
453
462
            1: Foo
454
 
            $ bzr unshelve --keep
 
463
            $ bzr unshelve -q --keep
455
464
            $ bzr shelve --list
456
465
            1: Foo
457
466
            $ cat file
471
480
            yes
472
481
            """)
473
482
 
 
483
To avoid having to specify "-q" for all commands whose output is
 
484
irrelevant, the run_script() method may be passed the keyword argument
 
485
``null_output_matches_anything=True``.  For example::
 
486
 
 
487
    def test_ignoring_null_output(self):
 
488
        self.run_script("""
 
489
            $ bzr init
 
490
            $ bzr ci -m 'first revision' --unchanged
 
491
            $ bzr log --line
 
492
            1: ...
 
493
            """, null_output_matches_anything=True)
 
494
           
 
495
 
474
496
Import tariff tests
475
497
-------------------
476
498
 
494
516
regress.
495
517
 
496
518
This is done by running the command in a subprocess with
497
 
``--profile-imports``.  Starting a whole Python interpreter is pretty
498
 
slow, so we don't want exhaustive testing here, but just enough to guard
499
 
against distinct fixed problems.
 
519
``PYTHON_VERBOSE=1``.  Starting a whole Python interpreter is pretty slow,
 
520
so we don't want exhaustive testing here, but just enough to guard against
 
521
distinct fixed problems.
500
522
 
501
523
Assertions about precisely what is loaded tend to be brittle so we instead
502
524
make assertions that particular things aren't loaded.
723
745
        _test_needs_features = [features.apport]
724
746
 
725
747
 
 
748
Testing translations
 
749
-----------------------
 
750
 
 
751
Translations are disabled by default in tests.  If you want to test
 
752
that code is translated you can use the ``ZzzTranslations`` class from
 
753
``test_i18n``::
 
754
 
 
755
    self.overrideAttr(i18n, '_translations', ZzzTranslations())
 
756
 
 
757
And check the output strings look like ``u"zz\xe5{{output}}"``.
 
758
 
 
759
To test the gettext setup and usage you override i18n.installed back
 
760
to self.i18nInstalled and _translations to None, see
 
761
test_i18n.TestInstall.
 
762
 
 
763
 
726
764
Testing deprecated code
727
765
-----------------------
728
766
 
843
881
 
844
882
    class TestCheckout(TestCase):
845
883
 
846
 
    variations = multiply_scenarios(
847
 
        VaryByRepositoryFormat(), 
848
 
        VaryByTreeFormat(),
849
 
        )
 
884
        scenarios = multiply_scenarios(
 
885
            VaryByRepositoryFormat(), 
 
886
            VaryByTreeFormat(),
 
887
            )
850
888
 
851
889
The `load_tests` declaration or definition should be near the top of the
852
890
file so its effect can be seen.
954
992
 
955
993
Please see bzrlib.treebuilder for more details.
956
994
 
 
995
PreviewTree
 
996
~~~~~~~~~~~
 
997
 
 
998
PreviewTrees are based on TreeTransforms.  This means they can represent
 
999
virtually any state that a WorkingTree can have, including unversioned files.
 
1000
They can be used to test the output of anything that produces TreeTransforms,
 
1001
such as merge algorithms and revert.  They can also be used to test anything
 
1002
that takes arbitrary Trees as its input.
 
1003
 
 
1004
::
 
1005
 
 
1006
  # Get an empty tree to base the transform on.
 
1007
  b = self.make_branch('.')
 
1008
  empty_tree = b.repository.revision_tree(_mod_revision.NULL_REVISION)
 
1009
  tt = TransformPreview(empty_tree)
 
1010
  self.addCleanup(tt.finalize)
 
1011
  # Empty trees don't have a root, so add it first.
 
1012
  root = tt.new_directory('', ROOT_PARENT, 'tree-root')
 
1013
  # Set the contents of a file.
 
1014
  tt.new_file('new-file', root, 'contents', 'file-id')
 
1015
  preview = tt.get_preview_tree()
 
1016
  # Test the contents.
 
1017
  self.assertEqual('contents', preview.get_file_text('file-id'))
 
1018
 
 
1019
PreviewTrees can stack, with each tree falling back to the previous::
 
1020
 
 
1021
  tt2 = TransformPreview(preview)
 
1022
  self.addCleanup(tt2.finalize)
 
1023
  tt2.new_file('new-file2', tt2.root, 'contents2', 'file-id2')
 
1024
  preview2 = tt2.get_preview_tree()
 
1025
  self.assertEqual('contents', preview2.get_file_text('file-id'))
 
1026
  self.assertEqual('contents2', preview2.get_file_text('file-id2'))
 
1027
 
957
1028
 
958
1029
Temporarily changing state
959
1030
~~~~~~~~~~~~~~~~~~~~~~~~~~
963
1034
 
964
1035
    self.overrideAttr(osutils, '_cached_user_encoding', 'latin-1')
965
1036
 
 
1037
This should be used with discretion; sometimes it's better to make the
 
1038
underlying code more testable so that you don't need to rely on monkey
 
1039
patching.
 
1040
 
 
1041
 
 
1042
Observing calls to a function
 
1043
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
1044
 
 
1045
Sometimes it's useful to observe how a function is called, typically when
 
1046
calling it has side effects but the side effects are not easy to observe
 
1047
from a test case.  For instance the function may be expensive and we want
 
1048
to assert it is not called too many times, or it has effects on the
 
1049
machine that are safe to run during a test but not easy to measure.  In
 
1050
these cases, you can use `recordCalls` which will monkey-patch in a
 
1051
wrapper that records when the function is called.
 
1052
 
 
1053
 
 
1054
Temporarily changing environment variables
 
1055
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
1056
 
 
1057
If yout test needs to temporarily change some environment variable value
 
1058
(which generally means you want it restored at the end), you can use::
 
1059
 
 
1060
    self.overrideEnv('BZR_ENV_VAR', 'new_value')
 
1061
 
 
1062
If you want to remove a variable from the environment, you should use the
 
1063
special ``None`` value::
 
1064
 
 
1065
    self.overrideEnv('PATH', None)
 
1066
 
 
1067
If you add a new feature which depends on a new environment variable, make
 
1068
sure it behaves properly when this variable is not defined (if applicable) and
 
1069
if you need to enforce a specific default value, check the
 
1070
``TestCase._cleanEnvironment`` in ``bzrlib.tests.__init__.py`` which defines a
 
1071
proper set of values for all tests.
 
1072
 
966
1073
Cleaning up
967
1074
~~~~~~~~~~~
968
1075
 
998
1105
 
999
1106
    tc qdisc add dev lo root handle 1: prio
1000
1107
    tc qdisc add dev lo parent 1:3 handle 30: netem delay 500ms 
1001
 
    tc qdisc add dev lo parent 30:1 handle 40: prio
1002
 
    tc filter add dev lo protocol ip parent 1:0 prio 3 u32 match ip dport 4155 0xffff flowid 1:3 handle 800::800
1003
 
    tc filter add dev lo protocol ip parent 1:0 prio 3 u32 match ip sport 4155 0xffff flowid 1:3 handle 800::801
 
1108
    tc filter add dev lo protocol ip parent 1:0 prio 3 u32 match ip dport 4155 0xffff flowid 1:3 
 
1109
    tc filter add dev lo protocol ip parent 1:0 prio 3 u32 match ip sport 4155 0xffff flowid 1:3 
1004
1110
 
1005
1111
and to remove this::
1006
1112