← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/selftest/TestUtil.py

merge merge tweaks from aaron, which includes latest .dev

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/selftest/TestUtil.py
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (c) 2004 Canonical Limited
2
2
#       Author: Robert Collins <robert.collins@canonical.com>
3
3
#
4
4
# This program is free software; you can redistribute it and/or modify
13
13
#
14
14
# You should have received a copy of the GNU General Public License
15
15
# along with this program; if not, write to the Free Software
16
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
17
#
18
18
 
19
19
import sys
20
20
import logging
21
21
import unittest
22
 
import weakref
23
 
 
24
 
from bzrlib import pyutils
25
 
 
26
 
# Mark this python module as being part of the implementation
27
 
# of unittest: this gives us better tracebacks where the last
28
 
# shown frame is the test code, not our assertXYZ.
29
 
__unittest = 1
30
22
 
31
23
 
32
24
class LogCollector(logging.Handler):
33
 
 
34
25
    def __init__(self):
35
26
        logging.Handler.__init__(self)
36
27
        self.records=[]
37
 
 
38
28
    def emit(self, record):
39
29
        self.records.append(record.getMessage())
40
30
 
52
42
def visitTests(suite, visitor):
53
43
    """A foreign method for visiting the tests in a test suite."""
54
44
    for test in suite._tests:
55
 
        #Abusing types to avoid monkey patching unittest.TestCase.
 
45
        #Abusing types to avoid monkey patching unittest.TestCase. 
56
46
        # Maybe that would be better?
57
47
        try:
58
48
            test.visit(visitor)
63
53
                visitor.visitSuite(test)
64
54
                visitTests(test, visitor)
65
55
            else:
66
 
                print "unvisitable non-unittest.TestCase element %r (%r)" % (
67
 
                    test, test.__class__)
68
 
 
69
 
 
70
 
class FailedCollectionCase(unittest.TestCase):
71
 
    """Pseudo-test to run and report failure if given case was uncollected"""
72
 
 
73
 
    def __init__(self, case):
74
 
        super(FailedCollectionCase, self).__init__("fail_uncollected")
75
 
        # GZ 2011-09-16: Maybe catch errors from id() method as cases may be
76
 
        #                in a bit of a funny state by now.
77
 
        self._problem_case_id = case.id()
78
 
 
79
 
    def id(self):
80
 
        if self._problem_case_id[-1:] == ")":
81
 
            return self._problem_case_id[:-1] + ",uncollected)"
82
 
        return self._problem_case_id + "(uncollected)"
83
 
 
84
 
    def fail_uncollected(self):
85
 
        self.fail("Uncollected test case: " + self._problem_case_id)
86
 
 
 
56
                print "unvisitable non-unittest.TestCase element %r (%r)" % (test, test.__class__)
 
57
    
87
58
 
88
59
class TestSuite(unittest.TestSuite):
89
60
    """I am an extended TestSuite with a visitor interface.
96
67
        visitor.visitSuite(self)
97
68
        visitTests(self, visitor)
98
69
 
99
 
    def run(self, result):
100
 
        """Run the tests in the suite, discarding references after running."""
101
 
        tests = list(self)
102
 
        tests.reverse()
103
 
        self._tests = []
104
 
        stored_count = 0
105
 
        count_stored_tests = getattr(result, "_count_stored_tests", int)
106
 
        from bzrlib.tests import selftest_debug_flags
107
 
        notify = "uncollected_cases" in selftest_debug_flags
108
 
        while tests:
109
 
            if result.shouldStop:
110
 
                self._tests = reversed(tests)
111
 
                break
112
 
            case = _run_and_collect_case(tests.pop(), result)()
113
 
            new_stored_count = count_stored_tests()
114
 
            if case is not None and isinstance(case, unittest.TestCase):
115
 
                if stored_count == new_stored_count and notify:
116
 
                    # Testcase didn't fail, but somehow is still alive
117
 
                    FailedCollectionCase(case).run(result)
118
 
                    # Adding a new failure so need to reupdate the count
119
 
                    new_stored_count = count_stored_tests()
120
 
                # GZ 2011-09-16: Previously zombied the case at this point by
121
 
                #                clearing the dict as fallback, skip for now.
122
 
            stored_count = new_stored_count
123
 
        return result
124
 
 
125
 
 
126
 
def _run_and_collect_case(case, res):
127
 
    """Run test case against result and use weakref to drop the refcount"""
128
 
    case.run(res)
129
 
    return weakref.ref(case)
130
 
 
131
70
 
132
71
class TestLoader(unittest.TestLoader):
133
 
    """Custom TestLoader to extend the stock python one."""
134
 
 
 
72
    """Custome TestLoader to set the right TestSuite class."""
135
73
    suiteClass = TestSuite
136
 
    # Memoize test names by test class dict
137
 
    test_func_names = {}
138
 
 
139
 
    def loadTestsFromModuleNames(self, names):
140
 
        """use a custom means to load tests from modules.
141
 
 
142
 
        There is an undesirable glitch in the python TestLoader where a
143
 
        import error is ignore. We think this can be solved by ensuring the
144
 
        requested name is resolvable, if its not raising the original error.
145
 
        """
146
 
        result = self.suiteClass()
147
 
        for name in names:
148
 
            result.addTests(self.loadTestsFromModuleName(name))
149
 
        return result
150
 
 
151
 
    def loadTestsFromModuleName(self, name):
152
 
        result = self.suiteClass()
153
 
        module = pyutils.get_named_object(name)
154
 
 
155
 
        result.addTests(self.loadTestsFromModule(module))
156
 
        return result
157
 
 
158
 
    def loadTestsFromModule(self, module):
159
 
        """Load tests from a module object.
160
 
 
161
 
        This extension of the python test loader looks for an attribute
162
 
        load_tests in the module object, and if not found falls back to the
163
 
        regular python loadTestsFromModule.
164
 
 
165
 
        If a load_tests attribute is found, it is called and the result is
166
 
        returned.
167
 
 
168
 
        load_tests should be defined like so:
169
 
        >>> def load_tests(standard_tests, module, loader):
170
 
        >>>    pass
171
 
 
172
 
        standard_tests is the tests found by the stock TestLoader in the
173
 
        module, module and loader are the module and loader instances.
174
 
 
175
 
        For instance, to run every test twice, you might do:
176
 
        >>> def load_tests(standard_tests, module, loader):
177
 
        >>>     result = loader.suiteClass()
178
 
        >>>     for test in iter_suite_tests(standard_tests):
179
 
        >>>         result.addTests([test, test])
180
 
        >>>     return result
181
 
        """
182
 
        if sys.version_info < (2, 7):
183
 
            basic_tests = super(TestLoader, self).loadTestsFromModule(module)
184
 
        else:
185
 
            # GZ 2010-07-19: Python 2.7 unittest also uses load_tests but with
186
 
            #                a different and incompatible signature
187
 
            basic_tests = super(TestLoader, self).loadTestsFromModule(module,
188
 
                use_load_tests=False)
189
 
        load_tests = getattr(module, "load_tests", None)
190
 
        if load_tests is not None:
191
 
            return load_tests(basic_tests, module, self)
192
 
        else:
193
 
            return basic_tests
194
 
 
195
 
    def getTestCaseNames(self, test_case_class):
196
 
        test_fn_names = self.test_func_names.get(test_case_class, None)
197
 
        if test_fn_names is not None:
198
 
            # We already know them
199
 
            return test_fn_names
200
 
 
201
 
        test_fn_names = unittest.TestLoader.getTestCaseNames(self,
202
 
                                                             test_case_class)
203
 
        self.test_func_names[test_case_class] = test_fn_names
204
 
        return test_fn_names
205
 
 
206
 
 
207
 
class FilteredByModuleTestLoader(TestLoader):
208
 
    """A test loader that import only the needed modules."""
209
 
 
210
 
    def __init__(self, needs_module):
211
 
        """Constructor.
212
 
 
213
 
        :param needs_module: a callable taking a module name as a
214
 
            parameter returing True if the module should be loaded.
215
 
        """
216
 
        TestLoader.__init__(self)
217
 
        self.needs_module = needs_module
218
 
 
219
 
    def loadTestsFromModuleName(self, name):
220
 
        if self.needs_module(name):
221
 
            return TestLoader.loadTestsFromModuleName(self, name)
222
 
        else:
223
 
            return self.suiteClass()
224
 
 
225
74
 
226
75
class TestVisitor(object):
227
76
    """A visitor for Tests"""
228
 
 
229
77
    def visitSuite(self, aTestSuite):
230
78
        pass
231
 
 
232
79
    def visitCase(self, aTestCase):
233
80
        pass