~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/selftest/__init__.py

  • Committer: Martin Pool
  • Date: 2005-07-06 01:04:08 UTC
  • Revision ID: mbp@sourcefrog.net-20050706010408-6a5f429ee8eb3824
- Merge3.find_sync_regions() - avoid problems with iters on python2.3 by 
  just stepping through arrays; also make this return a list rather than 
  being a generator.

  Thanks very much to John for the report and help debugging.

Show diffs side-by-side

added added

removed removed

Lines of Context:
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
 
18
 
import logging
19
 
import unittest
20
 
import tempfile
21
 
import os
22
 
import sys
23
 
 
24
 
from testsweet import run_suite
25
 
import bzrlib.commands
26
 
 
27
 
import bzrlib.trace
28
 
import bzrlib.fetch
29
 
 
30
 
MODULES_TO_TEST = []
31
 
MODULES_TO_DOCTEST = []
32
 
 
33
 
from logging import debug, warning, error
34
 
 
35
 
 
36
 
class TestCase(unittest.TestCase):
37
 
    """Base class for bzr unit tests.
 
18
from unittest import TestResult, TestCase
 
19
 
 
20
try:
 
21
    import shutil
 
22
    from subprocess import call, Popen, PIPE
 
23
except ImportError, e:
 
24
    import sys
 
25
    sys.stderr.write("testbzr: sorry, this test suite requires the subprocess module\n"
 
26
                     "this is shipped with python2.4 and available separately for 2.3\n")
 
27
    raise
 
28
 
 
29
 
 
30
class CommandFailed(Exception):
 
31
    pass
 
32
 
 
33
 
 
34
class TestBase(TestCase):
 
35
    """Base class for bzr test cases.
 
36
 
 
37
    Just defines some useful helper functions; doesn't actually test
 
38
    anything.
 
39
    """
38
40
    
39
 
    Tests that need access to disk resources should subclass 
40
 
    FunctionalTestCase not TestCase.
41
 
 
42
 
    Error and debug log messages are redirected from their usual
43
 
    location into a temporary file, the contents of which can be
44
 
    retrieved by _get_log().
45
 
       
46
 
    There are also convenience functions to invoke bzr's command-line
47
 
    routine, and to build and check bzr trees."""
48
 
 
 
41
    # TODO: Special methods to invoke bzr, so that we can run it
 
42
    # through a specified Python intepreter
 
43
 
 
44
    OVERRIDE_PYTHON = None # to run with alternative python 'python'
49
45
    BZRPATH = 'bzr'
50
46
 
51
 
    def setUp(self):
52
 
        # this replaces the default testsweet.TestCase; we don't want logging changed
53
 
        unittest.TestCase.setUp(self)
54
 
        bzrlib.trace.disable_default_logging()
55
 
        self._enable_file_logging()
56
 
 
57
 
 
58
 
    def _enable_file_logging(self):
59
 
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
60
 
 
61
 
        self._log_file = os.fdopen(fileno, 'w+')
62
 
 
63
 
        hdlr = logging.StreamHandler(self._log_file)
64
 
        hdlr.setLevel(logging.DEBUG)
65
 
        hdlr.setFormatter(logging.Formatter('%(levelname)4.4s  %(message)s'))
66
 
        logging.getLogger('').addHandler(hdlr)
67
 
        logging.getLogger('').setLevel(logging.DEBUG)
68
 
        self._log_hdlr = hdlr
69
 
        debug('opened log file %s', name)
70
 
        
71
 
        self._log_file_name = name
72
 
 
73
 
        
74
 
    def tearDown(self):
75
 
        logging.getLogger('').removeHandler(self._log_hdlr)
76
 
        bzrlib.trace.enable_default_logging()
77
 
        logging.debug('%s teardown', self.id())
78
 
        self._log_file.close()
79
 
        unittest.TestCase.tearDown(self)
80
 
 
81
 
 
82
 
    def log(self, *args):
83
 
        logging.debug(*args)
84
 
 
85
 
    def _get_log(self):
86
 
        """Return as a string the log for this test"""
87
 
        return open(self._log_file_name).read()
88
 
 
89
 
    def run_bzr(self, *args, **kwargs):
90
 
        """Invoke bzr, as if it were run from the command line.
91
 
 
92
 
        This should be the main method for tests that want to exercise the
93
 
        overall behavior of the bzr application (rather than a unit test
94
 
        or a functional test of the library.)
95
 
 
96
 
        Much of the old code runs bzr by forking a new copy of Python, but
97
 
        that is slower, harder to debug, and generally not necessary.
98
 
        """
99
 
        retcode = kwargs.get('retcode', 0)
100
 
        result = self.apply_redirected(None, None, None,
101
 
                                       bzrlib.commands.run_bzr, args)
102
 
        self.assertEquals(result, retcode)
103
 
        
104
 
    def check_inventory_shape(self, inv, shape):
105
 
        """
106
 
        Compare an inventory to a list of expected names.
107
 
 
108
 
        Fail if they are not precisely equal.
109
 
        """
110
 
        extras = []
111
 
        shape = list(shape)             # copy
112
 
        for path, ie in inv.entries():
113
 
            name = path.replace('\\', '/')
114
 
            if ie.kind == 'dir':
115
 
                name = name + '/'
116
 
            if name in shape:
117
 
                shape.remove(name)
118
 
            else:
119
 
                extras.append(name)
120
 
        if shape:
121
 
            self.fail("expected paths not found in inventory: %r" % shape)
122
 
        if extras:
123
 
            self.fail("unexpected paths found in inventory: %r" % extras)
124
 
 
125
 
BzrTestBase = TestCase
126
 
 
127
 
     
128
 
class FunctionalTestCase(TestCase):
129
 
    """Base class for tests that perform function testing - running bzr,
130
 
    using files on disk, and similar activities.
131
 
 
132
 
    InTempDir is an old alias for FunctionalTestCase.
133
 
    """
134
 
 
135
 
    TEST_ROOT = None
136
 
    _TEST_NAME = 'test'
137
 
    OVERRIDE_PYTHON = 'python'
138
 
 
139
 
    def check_file_contents(self, filename, expect):
140
 
        self.log("check contents of file %s" % filename)
141
 
        contents = file(filename, 'r').read()
142
 
        if contents != expect:
143
 
            self.log("expected: %r" % expect)
144
 
            self.log("actually: %r" % contents)
145
 
            self.fail("contents of %s not as expected")
146
 
 
147
 
    def _make_test_root(self):
148
 
        import os
149
 
        import shutil
150
 
        import tempfile
151
 
        
152
 
        if FunctionalTestCase.TEST_ROOT is not None:
153
 
            return
154
 
        FunctionalTestCase.TEST_ROOT = os.path.abspath(
155
 
                                 tempfile.mkdtemp(suffix='.tmp',
156
 
                                                  prefix=self._TEST_NAME + '-',
157
 
                                                  dir=os.curdir))
158
 
    
159
 
        # make a fake bzr directory there to prevent any tests propagating
160
 
        # up onto the source directory's real branch
161
 
        os.mkdir(os.path.join(FunctionalTestCase.TEST_ROOT, '.bzr'))
162
 
 
163
 
    def setUp(self):
164
 
        super(FunctionalTestCase, self).setUp()
165
 
        import os
166
 
        self._make_test_root()
167
 
        self._currentdir = os.getcwdu()
168
 
        self.test_dir = os.path.join(self.TEST_ROOT, self.id())
169
 
        os.mkdir(self.test_dir)
170
 
        os.chdir(self.test_dir)
171
 
        
172
 
    def tearDown(self):
173
 
        import os
174
 
        os.chdir(self._currentdir)
175
 
        super(FunctionalTestCase, self).tearDown()
176
 
 
177
 
    def _formcmd(self, cmd):
 
47
    _log_buf = ""
 
48
 
 
49
 
 
50
    def formcmd(self, cmd):
178
51
        if isinstance(cmd, basestring):
179
52
            cmd = cmd.split()
 
53
 
180
54
        if cmd[0] == 'bzr':
181
55
            cmd[0] = self.BZRPATH
182
56
            if self.OVERRIDE_PYTHON:
183
57
                cmd.insert(0, self.OVERRIDE_PYTHON)
 
58
 
184
59
        self.log('$ %r' % cmd)
 
60
 
185
61
        return cmd
186
62
 
 
63
 
187
64
    def runcmd(self, cmd, retcode=0):
188
65
        """Run one command and check the return code.
189
66
 
192
69
        If a single string is based, it is split into words.
193
70
        For commands that are not simple space-separated words, please
194
71
        pass a list instead."""
195
 
        try:
196
 
            import shutil
197
 
            from subprocess import call
198
 
        except ImportError, e:
199
 
            _need_subprocess()
200
 
            raise
201
 
        cmd = self._formcmd(cmd)
 
72
        cmd = self.formcmd(cmd)
 
73
 
202
74
        self.log('$ ' + ' '.join(cmd))
203
 
        actual_retcode = call(cmd, stdout=self._log_file, stderr=self._log_file)
 
75
        actual_retcode = call(cmd, stdout=self.TEST_LOG, stderr=self.TEST_LOG)
 
76
 
204
77
        if retcode != actual_retcode:
205
78
            raise CommandFailed("test failed: %r returned %d, expected %d"
206
79
                                % (cmd, actual_retcode, retcode))
207
80
 
 
81
 
208
82
    def backtick(self, cmd, retcode=0):
209
83
        """Run a command and return its output"""
210
 
        try:
211
 
            import shutil
212
 
            from subprocess import Popen, PIPE
213
 
        except ImportError, e:
214
 
            _need_subprocess()
215
 
            raise
216
 
 
217
 
        cmd = self._formcmd(cmd)
218
 
        child = Popen(cmd, stdout=PIPE, stderr=self._log_file)
 
84
        cmd = self.formcmd(cmd)
 
85
        child = Popen(cmd, stdout=PIPE, stderr=self.TEST_LOG)
219
86
        outd, errd = child.communicate()
220
87
        self.log(outd)
221
88
        actual_retcode = child.wait()
248
115
                f = file(name, 'wt')
249
116
                print >>f, "contents of", name
250
117
                f.close()
251
 
                
252
 
 
253
 
    def apply_redirected(self, stdin=None, stdout=None, stderr=None,
254
 
                         a_callable=None, *args, **kwargs):
255
 
        """Call callable with redirected std io pipes.
256
 
 
257
 
        Returns the return code."""
258
 
        from StringIO import StringIO
259
 
        if not callable(a_callable):
260
 
            raise ValueError("a_callable must be callable.")
261
 
        if stdin is None:
262
 
            stdin = StringIO("")
263
 
        if stdout is None:
264
 
            stdout = self._log_file
265
 
        if stderr is None:
266
 
            stderr = self._log_file
267
 
        real_stdin = sys.stdin
268
 
        real_stdout = sys.stdout
269
 
        real_stderr = sys.stderr
270
 
        result = None
271
 
        try:
272
 
            sys.stdout = stdout
273
 
            sys.stderr = stderr
274
 
            sys.stdin = stdin
275
 
            result = a_callable(*args, **kwargs)
276
 
        finally:
277
 
            sys.stdout = real_stdout
278
 
            sys.stderr = real_stderr
279
 
            sys.stdin = real_stdin
280
 
        return result
281
 
 
282
 
 
283
 
InTempDir = FunctionalTestCase
284
 
 
285
 
 
286
 
class MetaTestLog(TestCase):
287
 
    def test_logging(self):
288
 
        """Test logs are captured when a test fails."""
289
 
        logging.info('an info message')
290
 
        warning('something looks dodgy...')
291
 
        logging.debug('hello, test is running')
292
 
        ##assert 0
293
 
 
294
 
 
295
 
def selftest(verbose=False, pattern=".*"):
296
 
    return run_suite(test_suite(), 'testbzr', verbose=verbose, pattern=pattern)
297
 
 
298
 
 
299
 
def test_suite():
300
 
    from bzrlib.selftest.TestUtil import TestLoader, TestSuite
301
 
    import bzrlib, bzrlib.store, bzrlib.inventory, bzrlib.branch
302
 
    import bzrlib.osutils, bzrlib.commands, bzrlib.merge3, bzrlib.plugin
 
118
 
 
119
 
 
120
    def log(self, msg):
 
121
        """Log a message to a progress file"""
 
122
        self._log_buf = self._log_buf + str(msg) + '\n'
 
123
        print >>self.TEST_LOG, msg
 
124
 
 
125
 
 
126
    def check_inventory_shape(self, inv, shape):
 
127
        """
 
128
        Compare an inventory to a list of expected names.
 
129
 
 
130
        Fail if they are not precisely equal.
 
131
        """
 
132
        extras = []
 
133
        shape = list(shape)             # copy
 
134
        for path, ie in inv.entries():
 
135
            name = path.replace('\\', '/')
 
136
            if ie.kind == 'dir':
 
137
                name = name + '/'
 
138
            if name in shape:
 
139
                shape.remove(name)
 
140
            else:
 
141
                extras.append(name)
 
142
        if shape:
 
143
            self.fail("expected paths not found in inventory: %r" % shape)
 
144
        if extras:
 
145
            self.fail("unexpected paths found in inventory: %r" % extras)
 
146
 
 
147
 
 
148
    def check_file_contents(self, filename, expect):
 
149
        self.log("check contents of file %s" % filename)
 
150
        contents = file(filename, 'r').read()
 
151
        if contents != expect:
 
152
            self.log("expected: %r" % expected)
 
153
            self.log("actually: %r" % contents)
 
154
            self.fail("contents of %s not as expected")
 
155
            
 
156
 
 
157
 
 
158
class InTempDir(TestBase):
 
159
    """Base class for tests run in a temporary branch."""
 
160
    def setUp(self):
 
161
        import os
 
162
        self.test_dir = os.path.join(self.TEST_ROOT, self.__class__.__name__)
 
163
        os.mkdir(self.test_dir)
 
164
        os.chdir(self.test_dir)
 
165
        
 
166
    def tearDown(self):
 
167
        import os
 
168
        os.chdir(self.TEST_ROOT)
 
169
 
 
170
 
 
171
 
 
172
 
 
173
 
 
174
class _MyResult(TestResult):
 
175
    """
 
176
    Custom TestResult.
 
177
 
 
178
    No special behaviour for now.
 
179
    """
 
180
    def __init__(self, out):
 
181
        self.out = out
 
182
        TestResult.__init__(self)
 
183
 
 
184
    def startTest(self, test):
 
185
        # TODO: Maybe show test.shortDescription somewhere?
 
186
        print >>self.out, '%-60.60s' % test.id(),
 
187
        self.out.flush()
 
188
        TestResult.startTest(self, test)
 
189
 
 
190
    def stopTest(self, test):
 
191
        # print
 
192
        TestResult.stopTest(self, test)
 
193
 
 
194
 
 
195
    def addError(self, test, err):
 
196
        print >>self.out, 'ERROR'
 
197
        TestResult.addError(self, test, err)
 
198
        _show_test_failure('error', test, err, self.out)
 
199
 
 
200
    def addFailure(self, test, err):
 
201
        print >>self.out, 'FAILURE'
 
202
        TestResult.addFailure(self, test, err)
 
203
        _show_test_failure('failure', test, err, self.out)
 
204
 
 
205
    def addSuccess(self, test):
 
206
        print >>self.out, 'OK'
 
207
        TestResult.addSuccess(self, test)
 
208
 
 
209
 
 
210
 
 
211
def selftest():
 
212
    from unittest import TestLoader, TestSuite
 
213
    import bzrlib, bzrlib.store, bzrlib.inventory, bzrlib.branch, bzrlib.osutils, bzrlib.commands
 
214
 
 
215
    import bzrlib.selftest.whitebox
 
216
    import bzrlib.selftest.blackbox
 
217
    import bzrlib.selftest.versioning
 
218
    import bzrlib.selftest.testmerge3
 
219
    import bzrlib.merge_core
303
220
    from doctest import DocTestSuite
304
221
    import os
305
222
    import shutil
306
223
    import time
307
224
    import sys
308
225
 
309
 
    global MODULES_TO_TEST, MODULES_TO_DOCTEST
310
 
 
311
 
    testmod_names = \
312
 
                  ['bzrlib.selftest.MetaTestLog',
313
 
                   'bzrlib.selftest.testinv',
314
 
                   'bzrlib.selftest.testfetch',
315
 
                   'bzrlib.selftest.versioning',
316
 
                   'bzrlib.selftest.whitebox',
317
 
                   'bzrlib.selftest.testmerge3',
318
 
                   'bzrlib.selftest.testhashcache',
319
 
                   'bzrlib.selftest.teststatus',
320
 
                   'bzrlib.selftest.testlog',
321
 
                   'bzrlib.selftest.blackbox',
322
 
                   'bzrlib.selftest.testrevisionnamespaces',
323
 
                   'bzrlib.selftest.testbranch',
324
 
                   'bzrlib.selftest.testrevision',
325
 
                   'bzrlib.selftest.test_merge_core',
326
 
                   'bzrlib.selftest.test_smart_add',
327
 
                   'bzrlib.selftest.testdiff',
328
 
                   'bzrlib.fetch'
329
 
                   ]
330
 
 
331
 
    for m in (bzrlib.store, bzrlib.inventory, bzrlib.branch,
332
 
              bzrlib.osutils, bzrlib.commands, bzrlib.merge3):
333
 
        if m not in MODULES_TO_DOCTEST:
334
 
            MODULES_TO_DOCTEST.append(m)
335
 
 
336
 
    TestCase.BZRPATH = os.path.join(os.path.realpath(os.path.dirname(bzrlib.__path__[0])), 'bzr')
337
 
    print '%-30s %s' % ('bzr binary', TestCase.BZRPATH)
 
226
    TestBase.BZRPATH = os.path.join(os.path.realpath(os.path.dirname(bzrlib.__path__[0])), 'bzr')
 
227
    print '%-30s %s' % ('bzr binary', TestBase.BZRPATH)
 
228
 
 
229
    _setup_test_log()
 
230
    _setup_test_dir()
338
231
    print
 
232
 
339
233
    suite = TestSuite()
340
 
    suite.addTest(TestLoader().loadTestsFromNames(testmod_names))
341
 
    for m in MODULES_TO_TEST:
342
 
         suite.addTest(TestLoader().loadTestsFromModule(m))
343
 
    for m in (MODULES_TO_DOCTEST):
 
234
    tl = TestLoader()
 
235
 
 
236
    # should also test bzrlib.merge_core, but they seem to be out of date with
 
237
    # the code.
 
238
 
 
239
    for m in bzrlib.selftest.whitebox, \
 
240
            bzrlib.selftest.versioning, \
 
241
            bzrlib.selftest.testmerge3:
 
242
        suite.addTest(tl.loadTestsFromModule(m))
 
243
 
 
244
    for m in bzrlib.store, bzrlib.inventory, bzrlib.branch, bzrlib.osutils, \
 
245
            bzrlib.commands, \
 
246
            bzrlib.merge3:
344
247
        suite.addTest(DocTestSuite(m))
345
 
    for p in bzrlib.plugin.all_plugins:
346
 
        if hasattr(p, 'test_suite'):
347
 
            suite.addTest(p.test_suite())
348
 
    return suite
 
248
 
 
249
    suite.addTest(bzrlib.selftest.blackbox.suite())
 
250
 
 
251
    # save stdout & stderr so there's no leakage from code-under-test
 
252
    real_stdout = sys.stdout
 
253
    real_stderr = sys.stderr
 
254
    sys.stdout = sys.stderr = TestBase.TEST_LOG
 
255
    try:
 
256
        result = _MyResult(real_stdout)
 
257
        suite.run(result)
 
258
    finally:
 
259
        sys.stdout = real_stdout
 
260
        sys.stderr = real_stderr
 
261
 
 
262
    _show_results(result)
 
263
 
 
264
    return result.wasSuccessful()
 
265
 
 
266
 
 
267
 
 
268
 
 
269
def _setup_test_log():
 
270
    import time
 
271
    import os
 
272
    
 
273
    log_filename = os.path.abspath('testbzr.log')
 
274
    TestBase.TEST_LOG = open(log_filename, 'wt', buffering=1) # line buffered
 
275
 
 
276
    print >>TestBase.TEST_LOG, "bzr tests run at " + time.ctime()
 
277
    print '%-30s %s' % ('test log', log_filename)
 
278
 
 
279
 
 
280
def _setup_test_dir():
 
281
    import os
 
282
    import shutil
 
283
    
 
284
    TestBase.ORIG_DIR = os.getcwdu()
 
285
    TestBase.TEST_ROOT = os.path.abspath("testbzr.tmp")
 
286
 
 
287
    print '%-30s %s' % ('running tests in', TestBase.TEST_ROOT)
 
288
 
 
289
    if os.path.exists(TestBase.TEST_ROOT):
 
290
        shutil.rmtree(TestBase.TEST_ROOT)
 
291
    os.mkdir(TestBase.TEST_ROOT)
 
292
    os.chdir(TestBase.TEST_ROOT)
 
293
 
 
294
    # make a fake bzr directory there to prevent any tests propagating
 
295
    # up onto the source directory's real branch
 
296
    os.mkdir(os.path.join(TestBase.TEST_ROOT, '.bzr'))
 
297
 
 
298
    
 
299
 
 
300
def _show_results(result):
 
301
     print
 
302
     print '%4d tests run' % result.testsRun
 
303
     print '%4d errors' % len(result.errors)
 
304
     print '%4d failures' % len(result.failures)
 
305
 
 
306
 
 
307
 
 
308
def _show_test_failure(kind, case, exc_info, out):
 
309
    from traceback import print_exception
 
310
    
 
311
    print >>out, '-' * 60
 
312
    print >>out, case
 
313
    
 
314
    desc = case.shortDescription()
 
315
    if desc:
 
316
        print >>out, '   (%s)' % desc
 
317
         
 
318
    print_exception(exc_info[0], exc_info[1], exc_info[2], None, out)
 
319
        
 
320
    if isinstance(case, TestBase):
 
321
        print >>out
 
322
        print >>out, 'log from this test:'
 
323
        print >>out, case._log_buf
 
324
         
 
325
    print >>out, '-' * 60
 
326
    
349
327