~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: John Arbash Meinel
  • Date: 2006-07-02 05:45:50 UTC
  • mto: This revision was merged to the branch mainline in revision 1851.
  • Revision ID: john@arbash-meinel.com-20060702054550-e535f24da694acb7
make_entry refuses to create non-normalized entries.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 by Canonical Ltd
 
1
# Copyright (C) 2005, 2006 by Canonical Ltd
2
2
 
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
 
23
 
 
24
# NOTE: Some classes in here use camelCaseNaming() rather than
 
25
# underscore_naming().  That's for consistency with unittest; it's not the
 
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
 
27
# new assertFoo() methods.
 
28
 
 
29
import codecs
18
30
from cStringIO import StringIO
 
31
import difflib
 
32
import doctest
 
33
import errno
19
34
import logging
20
 
import unittest
21
 
import tempfile
22
35
import os
 
36
import re
 
37
import shlex
 
38
import stat
 
39
from subprocess import Popen, PIPE
23
40
import sys
24
 
import errno
25
 
import subprocess
26
 
import shutil
27
 
import re
28
 
 
 
41
import tempfile
 
42
import unittest
 
43
import time
 
44
 
 
45
 
 
46
import bzrlib.branch
 
47
import bzrlib.bzrdir as bzrdir
29
48
import bzrlib.commands
 
49
import bzrlib.bundle.serializer
 
50
import bzrlib.errors as errors
 
51
import bzrlib.inventory
 
52
import bzrlib.iterablefile
 
53
import bzrlib.lockdir
 
54
try:
 
55
    import bzrlib.lsprof
 
56
except ImportError:
 
57
    # lsprof not available
 
58
    pass
 
59
from bzrlib.merge import merge_inner
 
60
import bzrlib.merge3
 
61
import bzrlib.osutils
 
62
import bzrlib.osutils as osutils
 
63
import bzrlib.plugin
 
64
import bzrlib.progress as progress
 
65
from bzrlib.revision import common_ancestor
 
66
import bzrlib.store
30
67
import bzrlib.trace
31
 
import bzrlib.fetch
32
 
from bzrlib.selftest import TestUtil
33
 
from bzrlib.selftest.TestUtil import TestLoader, TestSuite
 
68
from bzrlib.transport import get_transport
 
69
import bzrlib.transport
 
70
from bzrlib.transport.local import LocalRelpathServer
 
71
from bzrlib.transport.readonly import ReadonlyServer
 
72
from bzrlib.trace import mutter
 
73
from bzrlib.tests import TestUtil
 
74
from bzrlib.tests.TestUtil import (
 
75
                          TestSuite,
 
76
                          TestLoader,
 
77
                          )
 
78
from bzrlib.tests.treeshape import build_tree_contents
 
79
import bzrlib.urlutils as urlutils
 
80
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
34
81
 
 
82
default_transport = LocalRelpathServer
35
83
 
36
84
MODULES_TO_TEST = []
37
 
MODULES_TO_DOCTEST = []
38
 
 
39
 
from logging import debug, warning, error
40
 
 
41
 
 
42
 
 
43
 
class EarlyStoppingTestResultAdapter(object):
44
 
    """An adapter for TestResult to stop at the first first failure or error"""
45
 
 
46
 
    def __init__(self, result):
47
 
        self._result = result
48
 
 
49
 
    def addError(self, test, err):
50
 
        self._result.addError(test, err)
51
 
        self._result.stop()
52
 
 
53
 
    def addFailure(self, test, err):
54
 
        self._result.addFailure(test, err)
55
 
        self._result.stop()
56
 
 
57
 
    def __getattr__(self, name):
58
 
        return getattr(self._result, name)
59
 
 
60
 
    def __setattr__(self, name, value):
61
 
        if name == '_result':
62
 
            object.__setattr__(self, name, value)
63
 
        return setattr(self._result, name, value)
 
85
MODULES_TO_DOCTEST = [
 
86
                      bzrlib.branch,
 
87
                      bzrlib.bundle.serializer,
 
88
                      bzrlib.commands,
 
89
                      bzrlib.errors,
 
90
                      bzrlib.inventory,
 
91
                      bzrlib.iterablefile,
 
92
                      bzrlib.lockdir,
 
93
                      bzrlib.merge3,
 
94
                      bzrlib.option,
 
95
                      bzrlib.osutils,
 
96
                      bzrlib.store
 
97
                      ]
 
98
 
 
99
 
 
100
def packages_to_test():
 
101
    """Return a list of packages to test.
 
102
 
 
103
    The packages are not globally imported so that import failures are
 
104
    triggered when running selftest, not when importing the command.
 
105
    """
 
106
    import bzrlib.doc
 
107
    import bzrlib.tests.blackbox
 
108
    import bzrlib.tests.branch_implementations
 
109
    import bzrlib.tests.bzrdir_implementations
 
110
    import bzrlib.tests.interrepository_implementations
 
111
    import bzrlib.tests.interversionedfile_implementations
 
112
    import bzrlib.tests.repository_implementations
 
113
    import bzrlib.tests.revisionstore_implementations
 
114
    import bzrlib.tests.workingtree_implementations
 
115
    return [
 
116
            bzrlib.doc,
 
117
            bzrlib.tests.blackbox,
 
118
            bzrlib.tests.branch_implementations,
 
119
            bzrlib.tests.bzrdir_implementations,
 
120
            bzrlib.tests.interrepository_implementations,
 
121
            bzrlib.tests.interversionedfile_implementations,
 
122
            bzrlib.tests.repository_implementations,
 
123
            bzrlib.tests.revisionstore_implementations,
 
124
            bzrlib.tests.workingtree_implementations,
 
125
            ]
64
126
 
65
127
 
66
128
class _MyResult(unittest._TextTestResult):
67
 
    """
68
 
    Custom TestResult.
69
 
 
70
 
    No special behaviour for now.
71
 
    """
 
129
    """Custom TestResult.
 
130
 
 
131
    Shows output in a different format, including displaying runtime for tests.
 
132
    """
 
133
    stop_early = False
 
134
    
 
135
    def __init__(self, stream, descriptions, verbosity, pb=None):
 
136
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
137
        self.pb = pb
 
138
    
 
139
    def extractBenchmarkTime(self, testCase):
 
140
        """Add a benchmark time for the current test case."""
 
141
        self._benchmarkTime = getattr(testCase, "_benchtime", None)
 
142
    
 
143
    def _elapsedTestTimeString(self):
 
144
        """Return a time string for the overall time the current test has taken."""
 
145
        return self._formatTime(time.time() - self._start_time)
 
146
 
 
147
    def _testTimeString(self):
 
148
        if self._benchmarkTime is not None:
 
149
            return "%s/%s" % (
 
150
                self._formatTime(self._benchmarkTime),
 
151
                self._elapsedTestTimeString())
 
152
        else:
 
153
            return "      %s" % self._elapsedTestTimeString()
 
154
 
 
155
    def _formatTime(self, seconds):
 
156
        """Format seconds as milliseconds with leading spaces."""
 
157
        return "%5dms" % (1000 * seconds)
 
158
 
 
159
    def _ellipsise_unimportant_words(self, a_string, final_width,
 
160
                                   keep_start=False):
 
161
        """Add ellipses (sp?) for overly long strings.
 
162
        
 
163
        :param keep_start: If true preserve the start of a_string rather
 
164
                           than the end of it.
 
165
        """
 
166
        if keep_start:
 
167
            if len(a_string) > final_width:
 
168
                result = a_string[:final_width-3] + '...'
 
169
            else:
 
170
                result = a_string
 
171
        else:
 
172
            if len(a_string) > final_width:
 
173
                result = '...' + a_string[3-final_width:]
 
174
            else:
 
175
                result = a_string
 
176
        return result.ljust(final_width)
72
177
 
73
178
    def startTest(self, test):
74
179
        unittest.TestResult.startTest(self, test)
75
 
        # TODO: Maybe show test.shortDescription somewhere?
76
 
        what = test.shortDescription() or test.id()        
 
180
        # In a short description, the important words are in
 
181
        # the beginning, but in an id, the important words are
 
182
        # at the end
 
183
        SHOW_DESCRIPTIONS = False
 
184
 
 
185
        if not self.showAll and self.dots and self.pb is not None:
 
186
            final_width = 13
 
187
        else:
 
188
            final_width = osutils.terminal_width()
 
189
            final_width = final_width - 15 - 8
 
190
        what = None
 
191
        if SHOW_DESCRIPTIONS:
 
192
            what = test.shortDescription()
 
193
            if what:
 
194
                what = self._ellipsise_unimportant_words(what, final_width, keep_start=True)
 
195
        if what is None:
 
196
            what = test.id()
 
197
            if what.startswith('bzrlib.tests.'):
 
198
                what = what[13:]
 
199
            what = self._ellipsise_unimportant_words(what, final_width)
77
200
        if self.showAll:
78
 
            self.stream.write('%-70.70s' % what)
 
201
            self.stream.write(what)
 
202
        elif self.dots and self.pb is not None:
 
203
            self.pb.update(what, self.testsRun - 1, None)
79
204
        self.stream.flush()
 
205
        self._recordTestStartTime()
 
206
 
 
207
    def _recordTestStartTime(self):
 
208
        """Record that a test has started."""
 
209
        self._start_time = time.time()
80
210
 
81
211
    def addError(self, test, err):
82
 
        super(_MyResult, self).addError(test, err)
 
212
        if isinstance(err[1], TestSkipped):
 
213
            return self.addSkipped(test, err)    
 
214
        unittest.TestResult.addError(self, test, err)
 
215
        self.extractBenchmarkTime(test)
 
216
        if self.showAll:
 
217
            self.stream.writeln("ERROR %s" % self._testTimeString())
 
218
        elif self.dots and self.pb is None:
 
219
            self.stream.write('E')
 
220
        elif self.dots:
 
221
            self.pb.update(self._ellipsise_unimportant_words('ERROR', 13), self.testsRun, None)
83
222
        self.stream.flush()
 
223
        if self.stop_early:
 
224
            self.stop()
84
225
 
85
226
    def addFailure(self, test, err):
86
 
        super(_MyResult, self).addFailure(test, err)
 
227
        unittest.TestResult.addFailure(self, test, err)
 
228
        self.extractBenchmarkTime(test)
 
229
        if self.showAll:
 
230
            self.stream.writeln(" FAIL %s" % self._testTimeString())
 
231
        elif self.dots and self.pb is None:
 
232
            self.stream.write('F')
 
233
        elif self.dots:
 
234
            self.pb.update(self._ellipsise_unimportant_words('FAIL', 13), self.testsRun, None)
87
235
        self.stream.flush()
 
236
        if self.stop_early:
 
237
            self.stop()
88
238
 
89
239
    def addSuccess(self, test):
 
240
        self.extractBenchmarkTime(test)
90
241
        if self.showAll:
91
 
            self.stream.writeln('OK')
92
 
        elif self.dots:
 
242
            self.stream.writeln('   OK %s' % self._testTimeString())
 
243
            for bench_called, stats in getattr(test, '_benchcalls', []):
 
244
                self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
245
                stats.pprint(file=self.stream)
 
246
        elif self.dots and self.pb is None:
93
247
            self.stream.write('~')
 
248
        elif self.dots:
 
249
            self.pb.update(self._ellipsise_unimportant_words('OK', 13), self.testsRun, None)
94
250
        self.stream.flush()
95
251
        unittest.TestResult.addSuccess(self, test)
96
252
 
 
253
    def addSkipped(self, test, skip_excinfo):
 
254
        self.extractBenchmarkTime(test)
 
255
        if self.showAll:
 
256
            print >>self.stream, ' SKIP %s' % self._testTimeString()
 
257
            print >>self.stream, '     %s' % skip_excinfo[1]
 
258
        elif self.dots and self.pb is None:
 
259
            self.stream.write('S')
 
260
        elif self.dots:
 
261
            self.pb.update(self._ellipsise_unimportant_words('SKIP', 13), self.testsRun, None)
 
262
        self.stream.flush()
 
263
        # seems best to treat this as success from point-of-view of unittest
 
264
        # -- it actually does nothing so it barely matters :)
 
265
        try:
 
266
            test.tearDown()
 
267
        except KeyboardInterrupt:
 
268
            raise
 
269
        except:
 
270
            self.addError(test, test.__exc_info())
 
271
        else:
 
272
            unittest.TestResult.addSuccess(self, test)
 
273
 
97
274
    def printErrorList(self, flavour, errors):
98
275
        for test, err in errors:
99
276
            self.stream.writeln(self.separator1)
100
 
            self.stream.writeln("%s: %s" % (flavour,self.getDescription(test)))
101
 
            if hasattr(test, '_get_log'):
102
 
                self.stream.writeln()
103
 
                self.stream.writeln('log from this test:')
 
277
            self.stream.writeln("%s: %s" % (flavour, self.getDescription(test)))
 
278
            if getattr(test, '_get_log', None) is not None:
 
279
                print >>self.stream
 
280
                print >>self.stream, \
 
281
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-')
104
282
                print >>self.stream, test._get_log()
 
283
                print >>self.stream, \
 
284
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-')
105
285
            self.stream.writeln(self.separator2)
106
286
            self.stream.writeln("%s" % err)
107
287
 
108
288
 
109
 
class TextTestRunner(unittest.TextTestRunner):
 
289
class TextTestRunner(object):
 
290
    stop_on_failure = False
 
291
 
 
292
    def __init__(self,
 
293
                 stream=sys.stderr,
 
294
                 descriptions=0,
 
295
                 verbosity=1,
 
296
                 keep_output=False,
 
297
                 pb=None):
 
298
        self.stream = unittest._WritelnDecorator(stream)
 
299
        self.descriptions = descriptions
 
300
        self.verbosity = verbosity
 
301
        self.keep_output = keep_output
 
302
        self.pb = pb
110
303
 
111
304
    def _makeResult(self):
112
 
        result = _MyResult(self.stream, self.descriptions, self.verbosity)
113
 
        return EarlyStoppingTestResultAdapter(result)
 
305
        result = _MyResult(self.stream,
 
306
                           self.descriptions,
 
307
                           self.verbosity,
 
308
                           pb=self.pb)
 
309
        result.stop_early = self.stop_on_failure
 
310
        return result
 
311
 
 
312
    def run(self, test):
 
313
        "Run the given test case or test suite."
 
314
        result = self._makeResult()
 
315
        startTime = time.time()
 
316
        if self.pb is not None:
 
317
            self.pb.update('Running tests', 0, test.countTestCases())
 
318
        test.run(result)
 
319
        stopTime = time.time()
 
320
        timeTaken = stopTime - startTime
 
321
        result.printErrors()
 
322
        self.stream.writeln(result.separator2)
 
323
        run = result.testsRun
 
324
        self.stream.writeln("Ran %d test%s in %.3fs" %
 
325
                            (run, run != 1 and "s" or "", timeTaken))
 
326
        self.stream.writeln()
 
327
        if not result.wasSuccessful():
 
328
            self.stream.write("FAILED (")
 
329
            failed, errored = map(len, (result.failures, result.errors))
 
330
            if failed:
 
331
                self.stream.write("failures=%d" % failed)
 
332
            if errored:
 
333
                if failed: self.stream.write(", ")
 
334
                self.stream.write("errors=%d" % errored)
 
335
            self.stream.writeln(")")
 
336
        else:
 
337
            self.stream.writeln("OK")
 
338
        if self.pb is not None:
 
339
            self.pb.update('Cleaning up', 0, 1)
 
340
        # This is still a little bogus, 
 
341
        # but only a little. Folk not using our testrunner will
 
342
        # have to delete their temp directories themselves.
 
343
        test_root = TestCaseInTempDir.TEST_ROOT
 
344
        if result.wasSuccessful() or not self.keep_output:
 
345
            if test_root is not None:
 
346
                # If LANG=C we probably have created some bogus paths
 
347
                # which rmtree(unicode) will fail to delete
 
348
                # so make sure we are using rmtree(str) to delete everything
 
349
                # except on win32, where rmtree(str) will fail
 
350
                # since it doesn't have the property of byte-stream paths
 
351
                # (they are either ascii or mbcs)
 
352
                if sys.platform == 'win32':
 
353
                    # make sure we are using the unicode win32 api
 
354
                    test_root = unicode(test_root)
 
355
                else:
 
356
                    test_root = test_root.encode(
 
357
                        sys.getfilesystemencoding())
 
358
                osutils.rmtree(test_root)
 
359
        else:
 
360
            if self.pb is not None:
 
361
                self.pb.note("Failed tests working directories are in '%s'\n",
 
362
                             test_root)
 
363
            else:
 
364
                self.stream.writeln(
 
365
                    "Failed tests working directories are in '%s'\n" %
 
366
                    test_root)
 
367
        TestCaseInTempDir.TEST_ROOT = None
 
368
        if self.pb is not None:
 
369
            self.pb.clear()
 
370
        return result
114
371
 
115
372
 
116
373
def iter_suite_tests(suite):
134
391
class CommandFailed(Exception):
135
392
    pass
136
393
 
 
394
 
 
395
class StringIOWrapper(object):
 
396
    """A wrapper around cStringIO which just adds an encoding attribute.
 
397
    
 
398
    Internally we can check sys.stdout to see what the output encoding
 
399
    should be. However, cStringIO has no encoding attribute that we can
 
400
    set. So we wrap it instead.
 
401
    """
 
402
    encoding='ascii'
 
403
    _cstring = None
 
404
 
 
405
    def __init__(self, s=None):
 
406
        if s is not None:
 
407
            self.__dict__['_cstring'] = StringIO(s)
 
408
        else:
 
409
            self.__dict__['_cstring'] = StringIO()
 
410
 
 
411
    def __getattr__(self, name, getattr=getattr):
 
412
        return getattr(self.__dict__['_cstring'], name)
 
413
 
 
414
    def __setattr__(self, name, val):
 
415
        if name == 'encoding':
 
416
            self.__dict__['encoding'] = val
 
417
        else:
 
418
            return setattr(self._cstring, name, val)
 
419
 
 
420
 
137
421
class TestCase(unittest.TestCase):
138
422
    """Base class for bzr unit tests.
139
423
    
142
426
 
143
427
    Error and debug log messages are redirected from their usual
144
428
    location into a temporary file, the contents of which can be
145
 
    retrieved by _get_log().
 
429
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
 
430
    so that it can also capture file IO.  When the test completes this file
 
431
    is read into memory and removed from disk.
146
432
       
147
433
    There are also convenience functions to invoke bzr's command-line
148
 
    routine, and to build and check bzr trees."""
149
 
 
150
 
    BZRPATH = 'bzr'
 
434
    routine, and to build and check bzr trees.
 
435
   
 
436
    In addition to the usual method of overriding tearDown(), this class also
 
437
    allows subclasses to register functions into the _cleanups list, which is
 
438
    run in order as the object is torn down.  It's less likely this will be
 
439
    accidentally overlooked.
 
440
    """
 
441
 
 
442
    _log_file_name = None
 
443
    _log_contents = ''
 
444
    # record lsprof data when performing benchmark calls.
 
445
    _gather_lsprof_in_benchmarks = False
 
446
 
 
447
    def __init__(self, methodName='testMethod'):
 
448
        super(TestCase, self).__init__(methodName)
 
449
        self._cleanups = []
151
450
 
152
451
    def setUp(self):
153
452
        unittest.TestCase.setUp(self)
 
453
        self._cleanEnvironment()
154
454
        bzrlib.trace.disable_default_logging()
155
 
        self._enable_file_logging()
156
 
 
157
 
 
158
 
    def _enable_file_logging(self):
 
455
        self._startLogFile()
 
456
        self._benchcalls = []
 
457
        self._benchtime = None
 
458
 
 
459
    def _ndiff_strings(self, a, b):
 
460
        """Return ndiff between two strings containing lines.
 
461
        
 
462
        A trailing newline is added if missing to make the strings
 
463
        print properly."""
 
464
        if b and b[-1] != '\n':
 
465
            b += '\n'
 
466
        if a and a[-1] != '\n':
 
467
            a += '\n'
 
468
        difflines = difflib.ndiff(a.splitlines(True),
 
469
                                  b.splitlines(True),
 
470
                                  linejunk=lambda x: False,
 
471
                                  charjunk=lambda x: False)
 
472
        return ''.join(difflines)
 
473
 
 
474
    def assertEqualDiff(self, a, b, message=None):
 
475
        """Assert two texts are equal, if not raise an exception.
 
476
        
 
477
        This is intended for use with multi-line strings where it can 
 
478
        be hard to find the differences by eye.
 
479
        """
 
480
        # TODO: perhaps override assertEquals to call this for strings?
 
481
        if a == b:
 
482
            return
 
483
        if message is None:
 
484
            message = "texts not equal:\n"
 
485
        raise AssertionError(message + 
 
486
                             self._ndiff_strings(a, b))      
 
487
        
 
488
    def assertEqualMode(self, mode, mode_test):
 
489
        self.assertEqual(mode, mode_test,
 
490
                         'mode mismatch %o != %o' % (mode, mode_test))
 
491
 
 
492
    def assertStartsWith(self, s, prefix):
 
493
        if not s.startswith(prefix):
 
494
            raise AssertionError('string %r does not start with %r' % (s, prefix))
 
495
 
 
496
    def assertEndsWith(self, s, suffix):
 
497
        """Asserts that s ends with suffix."""
 
498
        if not s.endswith(suffix):
 
499
            raise AssertionError('string %r does not end with %r' % (s, suffix))
 
500
 
 
501
    def assertContainsRe(self, haystack, needle_re):
 
502
        """Assert that a contains something matching a regular expression."""
 
503
        if not re.search(needle_re, haystack):
 
504
            raise AssertionError('pattern "%s" not found in "%s"'
 
505
                    % (needle_re, haystack))
 
506
 
 
507
    def assertNotContainsRe(self, haystack, needle_re):
 
508
        """Assert that a does not match a regular expression"""
 
509
        if re.search(needle_re, haystack):
 
510
            raise AssertionError('pattern "%s" found in "%s"'
 
511
                    % (needle_re, haystack))
 
512
 
 
513
    def assertSubset(self, sublist, superlist):
 
514
        """Assert that every entry in sublist is present in superlist."""
 
515
        missing = []
 
516
        for entry in sublist:
 
517
            if entry not in superlist:
 
518
                missing.append(entry)
 
519
        if len(missing) > 0:
 
520
            raise AssertionError("value(s) %r not present in container %r" % 
 
521
                                 (missing, superlist))
 
522
 
 
523
    def assertIs(self, left, right):
 
524
        if not (left is right):
 
525
            raise AssertionError("%r is not %r." % (left, right))
 
526
 
 
527
    def assertTransportMode(self, transport, path, mode):
 
528
        """Fail if a path does not have mode mode.
 
529
        
 
530
        If modes are not supported on this transport, the assertion is ignored.
 
531
        """
 
532
        if not transport._can_roundtrip_unix_modebits():
 
533
            return
 
534
        path_stat = transport.stat(path)
 
535
        actual_mode = stat.S_IMODE(path_stat.st_mode)
 
536
        self.assertEqual(mode, actual_mode,
 
537
            'mode of %r incorrect (%o != %o)' % (path, mode, actual_mode))
 
538
 
 
539
    def assertIsInstance(self, obj, kls):
 
540
        """Fail if obj is not an instance of kls"""
 
541
        if not isinstance(obj, kls):
 
542
            self.fail("%r is an instance of %s rather than %s" % (
 
543
                obj, obj.__class__, kls))
 
544
 
 
545
    def _startLogFile(self):
 
546
        """Send bzr and test log messages to a temporary file.
 
547
 
 
548
        The file is removed as the test is torn down.
 
549
        """
159
550
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
160
 
 
161
 
        self._log_file = os.fdopen(fileno, 'w+')
162
 
 
163
 
        hdlr = logging.StreamHandler(self._log_file)
164
 
        hdlr.setLevel(logging.DEBUG)
165
 
        hdlr.setFormatter(logging.Formatter('%(levelname)8s  %(message)s'))
166
 
        logging.getLogger('').addHandler(hdlr)
167
 
        logging.getLogger('').setLevel(logging.DEBUG)
168
 
        self._log_hdlr = hdlr
169
 
        debug('opened log file %s', name)
170
 
        
 
551
        encoder, decoder, stream_reader, stream_writer = codecs.lookup('UTF-8')
 
552
        self._log_file = stream_writer(os.fdopen(fileno, 'w+'))
 
553
        self._log_nonce = bzrlib.trace.enable_test_log(self._log_file)
171
554
        self._log_file_name = name
172
 
 
173
 
    def tearDown(self):
174
 
        logging.getLogger('').removeHandler(self._log_hdlr)
175
 
        bzrlib.trace.enable_default_logging()
176
 
        logging.debug('%s teardown', self.id())
 
555
        self.addCleanup(self._finishLogFile)
 
556
 
 
557
    def _finishLogFile(self):
 
558
        """Finished with the log file.
 
559
 
 
560
        Read contents into memory, close, and delete.
 
561
        """
 
562
        if self._log_file is None:
 
563
            return
 
564
        bzrlib.trace.disable_test_log(self._log_nonce)
 
565
        self._log_file.seek(0)
 
566
        self._log_contents = self._log_file.read()
177
567
        self._log_file.close()
 
568
        os.remove(self._log_file_name)
 
569
        self._log_file = self._log_file_name = None
 
570
 
 
571
    def addCleanup(self, callable):
 
572
        """Arrange to run a callable when this case is torn down.
 
573
 
 
574
        Callables are run in the reverse of the order they are registered, 
 
575
        ie last-in first-out.
 
576
        """
 
577
        if callable in self._cleanups:
 
578
            raise ValueError("cleanup function %r already registered on %s" 
 
579
                    % (callable, self))
 
580
        self._cleanups.append(callable)
 
581
 
 
582
    def _cleanEnvironment(self):
 
583
        new_env = {
 
584
            'HOME': os.getcwd(),
 
585
            'APPDATA': os.getcwd(),
 
586
            'BZREMAIL': None,
 
587
            'EMAIL': None,
 
588
        }
 
589
        self.__old_env = {}
 
590
        self.addCleanup(self._restoreEnvironment)
 
591
        for name, value in new_env.iteritems():
 
592
            self._captureVar(name, value)
 
593
 
 
594
 
 
595
    def _captureVar(self, name, newvalue):
 
596
        """Set an environment variable, preparing it to be reset when finished."""
 
597
        self.__old_env[name] = os.environ.get(name, None)
 
598
        if newvalue is None:
 
599
            if name in os.environ:
 
600
                del os.environ[name]
 
601
        else:
 
602
            os.environ[name] = newvalue
 
603
 
 
604
    @staticmethod
 
605
    def _restoreVar(name, value):
 
606
        if value is None:
 
607
            if name in os.environ:
 
608
                del os.environ[name]
 
609
        else:
 
610
            os.environ[name] = value
 
611
 
 
612
    def _restoreEnvironment(self):
 
613
        for name, value in self.__old_env.iteritems():
 
614
            self._restoreVar(name, value)
 
615
 
 
616
    def tearDown(self):
 
617
        self._runCleanups()
178
618
        unittest.TestCase.tearDown(self)
179
619
 
 
620
    def time(self, callable, *args, **kwargs):
 
621
        """Run callable and accrue the time it takes to the benchmark time.
 
622
        
 
623
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
624
        this will cause lsprofile statistics to be gathered and stored in
 
625
        self._benchcalls.
 
626
        """
 
627
        if self._benchtime is None:
 
628
            self._benchtime = 0
 
629
        start = time.time()
 
630
        try:
 
631
            if not self._gather_lsprof_in_benchmarks:
 
632
                return callable(*args, **kwargs)
 
633
            else:
 
634
                # record this benchmark
 
635
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
636
                stats.sort()
 
637
                self._benchcalls.append(((callable, args, kwargs), stats))
 
638
                return ret
 
639
        finally:
 
640
            self._benchtime += time.time() - start
 
641
 
 
642
    def _runCleanups(self):
 
643
        """Run registered cleanup functions. 
 
644
 
 
645
        This should only be called from TestCase.tearDown.
 
646
        """
 
647
        # TODO: Perhaps this should keep running cleanups even if 
 
648
        # one of them fails?
 
649
        for cleanup_fn in reversed(self._cleanups):
 
650
            cleanup_fn()
 
651
 
180
652
    def log(self, *args):
181
 
        logging.debug(*args)
 
653
        mutter(*args)
182
654
 
183
655
    def _get_log(self):
184
656
        """Return as a string the log for this test"""
185
 
        return open(self._log_file_name).read()
186
 
 
187
 
 
188
 
    def capture(self, cmd):
 
657
        if self._log_file_name:
 
658
            return open(self._log_file_name).read()
 
659
        else:
 
660
            return self._log_contents
 
661
        # TODO: Delete the log after it's been read in
 
662
 
 
663
    def capture(self, cmd, retcode=0):
189
664
        """Shortcut that splits cmd into words, runs, and returns stdout"""
190
 
        return self.run_bzr_captured(cmd.split())[0]
 
665
        return self.run_bzr_captured(cmd.split(), retcode=retcode)[0]
191
666
 
192
 
    def run_bzr_captured(self, argv, retcode=0):
193
 
        """Invoke bzr and return (result, stdout, stderr).
 
667
    def run_bzr_captured(self, argv, retcode=0, encoding=None, stdin=None):
 
668
        """Invoke bzr and return (stdout, stderr).
194
669
 
195
670
        Useful for code that wants to check the contents of the
196
671
        output, the way error messages are presented, etc.
206
681
        errors, and with logging set to something approximating the
207
682
        default, so that error reporting can be checked.
208
683
 
209
 
        argv -- arguments to invoke bzr
210
 
        retcode -- expected return code, or None for don't-care.
 
684
        :param argv: arguments to invoke bzr
 
685
        :param retcode: expected return code, or None for don't-care.
 
686
        :param encoding: encoding for sys.stdout and sys.stderr
 
687
        :param stdin: A string to be used as stdin for the command.
211
688
        """
212
 
        stdout = StringIO()
213
 
        stderr = StringIO()
214
 
        self.log('run bzr: %s', ' '.join(argv))
 
689
        if encoding is None:
 
690
            encoding = bzrlib.user_encoding
 
691
        if stdin is not None:
 
692
            stdin = StringIO(stdin)
 
693
        stdout = StringIOWrapper()
 
694
        stderr = StringIOWrapper()
 
695
        stdout.encoding = encoding
 
696
        stderr.encoding = encoding
 
697
 
 
698
        self.log('run bzr: %r', argv)
 
699
        # FIXME: don't call into logging here
215
700
        handler = logging.StreamHandler(stderr)
216
 
        handler.setFormatter(bzrlib.trace.QuietFormatter())
217
701
        handler.setLevel(logging.INFO)
218
702
        logger = logging.getLogger('')
219
703
        logger.addHandler(handler)
 
704
        old_ui_factory = bzrlib.ui.ui_factory
 
705
        bzrlib.ui.ui_factory = bzrlib.tests.blackbox.TestUIFactory(
 
706
            stdout=stdout,
 
707
            stderr=stderr)
 
708
        bzrlib.ui.ui_factory.stdin = stdin
220
709
        try:
221
 
            result = self.apply_redirected(None, stdout, stderr,
 
710
            result = self.apply_redirected(stdin, stdout, stderr,
222
711
                                           bzrlib.commands.run_bzr_catch_errors,
223
712
                                           argv)
224
713
        finally:
225
714
            logger.removeHandler(handler)
 
715
            bzrlib.ui.ui_factory = old_ui_factory
 
716
 
226
717
        out = stdout.getvalue()
227
718
        err = stderr.getvalue()
228
719
        if out:
229
 
            self.log('output:\n%s', out)
 
720
            self.log('output:\n%r', out)
230
721
        if err:
231
 
            self.log('errors:\n%s', err)
 
722
            self.log('errors:\n%r', err)
232
723
        if retcode is not None:
233
 
            self.assertEquals(result, retcode)
 
724
            self.assertEquals(retcode, result)
234
725
        return out, err
235
726
 
236
727
    def run_bzr(self, *args, **kwargs):
242
733
 
243
734
        This sends the stdout/stderr results into the test's log,
244
735
        where it may be useful for debugging.  See also run_captured.
 
736
 
 
737
        :param stdin: A string to be used as stdin for the command.
245
738
        """
246
739
        retcode = kwargs.pop('retcode', 0)
247
 
        return self.run_bzr_captured(args, retcode)
 
740
        encoding = kwargs.pop('encoding', None)
 
741
        stdin = kwargs.pop('stdin', None)
 
742
        return self.run_bzr_captured(args, retcode=retcode, encoding=encoding, stdin=stdin)
 
743
 
 
744
    def run_bzr_decode(self, *args, **kwargs):
 
745
        if kwargs.has_key('encoding'):
 
746
            encoding = kwargs['encoding']
 
747
        else:
 
748
            encoding = bzrlib.user_encoding
 
749
        return self.run_bzr(*args, **kwargs)[0].decode(encoding)
 
750
 
 
751
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
752
        """Run bzr, and check that stderr contains the supplied regexes
 
753
        
 
754
        :param error_regexes: Sequence of regular expressions which 
 
755
            must each be found in the error output. The relative ordering
 
756
            is not enforced.
 
757
        :param args: command-line arguments for bzr
 
758
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
759
            This function changes the default value of retcode to be 3,
 
760
            since in most cases this is run when you expect bzr to fail.
 
761
        :return: (out, err) The actual output of running the command (in case you
 
762
                 want to do more inspection)
 
763
 
 
764
        Examples of use:
 
765
            # Make sure that commit is failing because there is nothing to do
 
766
            self.run_bzr_error(['no changes to commit'],
 
767
                               'commit', '-m', 'my commit comment')
 
768
            # Make sure --strict is handling an unknown file, rather than
 
769
            # giving us the 'nothing to do' error
 
770
            self.build_tree(['unknown'])
 
771
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
772
                               'commit', '--strict', '-m', 'my commit comment')
 
773
        """
 
774
        kwargs.setdefault('retcode', 3)
 
775
        out, err = self.run_bzr(*args, **kwargs)
 
776
        for regex in error_regexes:
 
777
            self.assertContainsRe(err, regex)
 
778
        return out, err
 
779
 
 
780
    def run_bzr_subprocess(self, *args, **kwargs):
 
781
        """Run bzr in a subprocess for testing.
 
782
 
 
783
        This starts a new Python interpreter and runs bzr in there. 
 
784
        This should only be used for tests that have a justifiable need for
 
785
        this isolation: e.g. they are testing startup time, or signal
 
786
        handling, or early startup code, etc.  Subprocess code can't be 
 
787
        profiled or debugged so easily.
 
788
 
 
789
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
790
        None is supplied, the status code is not checked.
 
791
        """
 
792
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
793
        args = list(args)
 
794
        process = Popen([sys.executable, bzr_path]+args, stdout=PIPE, 
 
795
                         stderr=PIPE)
 
796
        out = process.stdout.read()
 
797
        err = process.stderr.read()
 
798
        retcode = process.wait()
 
799
        supplied_retcode = kwargs.get('retcode', 0)
 
800
        if supplied_retcode is not None:
 
801
            assert supplied_retcode == retcode
 
802
        return [out, err]
248
803
 
249
804
    def check_inventory_shape(self, inv, shape):
250
805
        """Compare an inventory to a list of expected names.
276
831
        if stdin is None:
277
832
            stdin = StringIO("")
278
833
        if stdout is None:
279
 
            if hasattr(self, "_log_file"):
 
834
            if getattr(self, "_log_file", None) is not None:
280
835
                stdout = self._log_file
281
836
            else:
282
837
                stdout = StringIO()
283
838
        if stderr is None:
284
 
            if hasattr(self, "_log_file"):
 
839
            if getattr(self, "_log_file", None is not None):
285
840
                stderr = self._log_file
286
841
            else:
287
842
                stderr = StringIO()
298
853
            sys.stderr = real_stderr
299
854
            sys.stdin = real_stdin
300
855
 
 
856
    def merge(self, branch_from, wt_to):
 
857
        """A helper for tests to do a ui-less merge.
 
858
 
 
859
        This should move to the main library when someone has time to integrate
 
860
        it in.
 
861
        """
 
862
        # minimal ui-less merge.
 
863
        wt_to.branch.fetch(branch_from)
 
864
        base_rev = common_ancestor(branch_from.last_revision(),
 
865
                                   wt_to.branch.last_revision(),
 
866
                                   wt_to.branch.repository)
 
867
        merge_inner(wt_to.branch, branch_from.basis_tree(), 
 
868
                    wt_to.branch.repository.revision_tree(base_rev),
 
869
                    this_tree=wt_to)
 
870
        wt_to.add_pending_merge(branch_from.last_revision())
 
871
 
301
872
 
302
873
BzrTestBase = TestCase
303
874
 
332
903
            return
333
904
        i = 0
334
905
        while True:
335
 
            root = 'test%04d.tmp' % i
 
906
            root = u'test%04d.tmp' % i
336
907
            try:
337
908
                os.mkdir(root)
338
909
            except OSError, e:
342
913
                else:
343
914
                    raise
344
915
            # successfully created
345
 
            TestCaseInTempDir.TEST_ROOT = os.path.abspath(root)
 
916
            TestCaseInTempDir.TEST_ROOT = osutils.abspath(root)
346
917
            break
347
918
        # make a fake bzr directory there to prevent any tests propagating
348
919
        # up onto the source directory's real branch
349
 
        os.mkdir(os.path.join(TestCaseInTempDir.TEST_ROOT, '.bzr'))
 
920
        bzrdir.BzrDir.create_standalone_workingtree(TestCaseInTempDir.TEST_ROOT)
350
921
 
351
922
    def setUp(self):
352
923
        super(TestCaseInTempDir, self).setUp()
353
924
        self._make_test_root()
354
 
        self._currentdir = os.getcwdu()
355
 
        short_id = self.id().replace('bzrlib.selftest.', '') \
356
 
                   .replace('__main__.', '')
357
 
        self.test_dir = os.path.join(self.TEST_ROOT, short_id)
358
 
        os.mkdir(self.test_dir)
359
 
        os.chdir(self.test_dir)
 
925
        _currentdir = os.getcwdu()
 
926
        # shorten the name, to avoid test failures due to path length
 
927
        short_id = self.id().replace('bzrlib.tests.', '') \
 
928
                   .replace('__main__.', '')[-100:]
 
929
        # it's possible the same test class is run several times for
 
930
        # parameterized tests, so make sure the names don't collide.  
 
931
        i = 0
 
932
        while True:
 
933
            if i > 0:
 
934
                candidate_dir = '%s/%s.%d' % (self.TEST_ROOT, short_id, i)
 
935
            else:
 
936
                candidate_dir = '%s/%s' % (self.TEST_ROOT, short_id)
 
937
            if os.path.exists(candidate_dir):
 
938
                i = i + 1
 
939
                continue
 
940
            else:
 
941
                self.test_dir = candidate_dir
 
942
                os.mkdir(self.test_dir)
 
943
                os.chdir(self.test_dir)
 
944
                break
 
945
        os.environ['HOME'] = self.test_dir
 
946
        os.environ['APPDATA'] = self.test_dir
 
947
        def _leaveDirectory():
 
948
            os.chdir(_currentdir)
 
949
        self.addCleanup(_leaveDirectory)
360
950
        
361
 
    def tearDown(self):
362
 
        os.chdir(self._currentdir)
363
 
        super(TestCaseInTempDir, self).tearDown()
364
 
 
365
 
    def build_tree(self, shape):
 
951
    def build_tree(self, shape, line_endings='native', transport=None):
366
952
        """Build a test tree according to a pattern.
367
953
 
368
954
        shape is a sequence of file specifications.  If the final
369
955
        character is '/', a directory is created.
370
956
 
371
957
        This doesn't add anything to a branch.
 
958
        :param line_endings: Either 'binary' or 'native'
 
959
                             in binary mode, exact contents are written
 
960
                             in native mode, the line endings match the
 
961
                             default platform endings.
 
962
 
 
963
        :param transport: A transport to write to, for building trees on 
 
964
                          VFS's. If the transport is readonly or None,
 
965
                          "." is opened automatically.
372
966
        """
373
967
        # XXX: It's OK to just create them using forward slashes on windows?
 
968
        if transport is None or transport.is_readonly():
 
969
            transport = get_transport(".")
374
970
        for name in shape:
375
 
            assert isinstance(name, basestring)
 
971
            self.assert_(isinstance(name, basestring))
376
972
            if name[-1] == '/':
377
 
                os.mkdir(name[:-1])
 
973
                transport.mkdir(urlutils.escape(name[:-1]))
378
974
            else:
379
 
                f = file(name, 'wt')
380
 
                print >>f, "contents of", name
381
 
                f.close()
 
975
                if line_endings == 'binary':
 
976
                    end = '\n'
 
977
                elif line_endings == 'native':
 
978
                    end = os.linesep
 
979
                else:
 
980
                    raise errors.BzrError('Invalid line ending request %r' % (line_endings,))
 
981
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
982
                transport.put(urlutils.escape(name), StringIO(content))
 
983
 
 
984
    def build_tree_contents(self, shape):
 
985
        build_tree_contents(shape)
382
986
 
383
987
    def failUnlessExists(self, path):
384
988
        """Fail unless path, which may be abs or relative, exists."""
385
 
        self.failUnless(os.path.exists(path))
386
 
        
387
 
 
388
 
class MetaTestLog(TestCase):
389
 
    def test_logging(self):
390
 
        """Test logs are captured when a test fails."""
391
 
        logging.info('an info message')
392
 
        warning('something looks dodgy...')
393
 
        logging.debug('hello, test is running')
394
 
        ##assert 0
 
989
        self.failUnless(osutils.lexists(path))
 
990
 
 
991
    def failIfExists(self, path):
 
992
        """Fail if path, which may be abs or relative, exists."""
 
993
        self.failIf(osutils.lexists(path))
 
994
        
 
995
    def assertFileEqual(self, content, path):
 
996
        """Fail if path does not contain 'content'."""
 
997
        self.failUnless(osutils.lexists(path))
 
998
        # TODO: jam 20060427 Shouldn't this be 'rb'?
 
999
        self.assertEqualDiff(content, open(path, 'r').read())
 
1000
 
 
1001
 
 
1002
class TestCaseWithTransport(TestCaseInTempDir):
 
1003
    """A test case that provides get_url and get_readonly_url facilities.
 
1004
 
 
1005
    These back onto two transport servers, one for readonly access and one for
 
1006
    read write access.
 
1007
 
 
1008
    If no explicit class is provided for readonly access, a
 
1009
    ReadonlyTransportDecorator is used instead which allows the use of non disk
 
1010
    based read write transports.
 
1011
 
 
1012
    If an explicit class is provided for readonly access, that server and the 
 
1013
    readwrite one must both define get_url() as resolving to os.getcwd().
 
1014
    """
 
1015
 
 
1016
    def __init__(self, methodName='testMethod'):
 
1017
        super(TestCaseWithTransport, self).__init__(methodName)
 
1018
        self.__readonly_server = None
 
1019
        self.__server = None
 
1020
        self.transport_server = default_transport
 
1021
        self.transport_readonly_server = None
 
1022
 
 
1023
    def get_readonly_url(self, relpath=None):
 
1024
        """Get a URL for the readonly transport.
 
1025
 
 
1026
        This will either be backed by '.' or a decorator to the transport 
 
1027
        used by self.get_url()
 
1028
        relpath provides for clients to get a path relative to the base url.
 
1029
        These should only be downwards relative, not upwards.
 
1030
        """
 
1031
        base = self.get_readonly_server().get_url()
 
1032
        if relpath is not None:
 
1033
            if not base.endswith('/'):
 
1034
                base = base + '/'
 
1035
            base = base + relpath
 
1036
        return base
 
1037
 
 
1038
    def get_readonly_server(self):
 
1039
        """Get the server instance for the readonly transport
 
1040
 
 
1041
        This is useful for some tests with specific servers to do diagnostics.
 
1042
        """
 
1043
        if self.__readonly_server is None:
 
1044
            if self.transport_readonly_server is None:
 
1045
                # readonly decorator requested
 
1046
                # bring up the server
 
1047
                self.get_url()
 
1048
                self.__readonly_server = ReadonlyServer()
 
1049
                self.__readonly_server.setUp(self.__server)
 
1050
            else:
 
1051
                self.__readonly_server = self.transport_readonly_server()
 
1052
                self.__readonly_server.setUp()
 
1053
            self.addCleanup(self.__readonly_server.tearDown)
 
1054
        return self.__readonly_server
 
1055
 
 
1056
    def get_server(self):
 
1057
        """Get the read/write server instance.
 
1058
 
 
1059
        This is useful for some tests with specific servers that need
 
1060
        diagnostics.
 
1061
        """
 
1062
        if self.__server is None:
 
1063
            self.__server = self.transport_server()
 
1064
            self.__server.setUp()
 
1065
            self.addCleanup(self.__server.tearDown)
 
1066
        return self.__server
 
1067
 
 
1068
    def get_url(self, relpath=None):
 
1069
        """Get a URL for the readwrite transport.
 
1070
 
 
1071
        This will either be backed by '.' or to an equivalent non-file based
 
1072
        facility.
 
1073
        relpath provides for clients to get a path relative to the base url.
 
1074
        These should only be downwards relative, not upwards.
 
1075
        """
 
1076
        base = self.get_server().get_url()
 
1077
        if relpath is not None and relpath != '.':
 
1078
            if not base.endswith('/'):
 
1079
                base = base + '/'
 
1080
            base = base + urlutils.escape(relpath)
 
1081
        return base
 
1082
 
 
1083
    def get_transport(self):
 
1084
        """Return a writeable transport for the test scratch space"""
 
1085
        t = get_transport(self.get_url())
 
1086
        self.assertFalse(t.is_readonly())
 
1087
        return t
 
1088
 
 
1089
    def get_readonly_transport(self):
 
1090
        """Return a readonly transport for the test scratch space
 
1091
        
 
1092
        This can be used to test that operations which should only need
 
1093
        readonly access in fact do not try to write.
 
1094
        """
 
1095
        t = get_transport(self.get_readonly_url())
 
1096
        self.assertTrue(t.is_readonly())
 
1097
        return t
 
1098
 
 
1099
    def make_branch(self, relpath, format=None):
 
1100
        """Create a branch on the transport at relpath."""
 
1101
        repo = self.make_repository(relpath, format=format)
 
1102
        return repo.bzrdir.create_branch()
 
1103
 
 
1104
    def make_bzrdir(self, relpath, format=None):
 
1105
        try:
 
1106
            url = self.get_url(relpath)
 
1107
            mutter('relpath %r => url %r', relpath, url)
 
1108
            segments = url.split('/')
 
1109
            if segments and segments[-1] not in ('', '.'):
 
1110
                parent = '/'.join(segments[:-1])
 
1111
                t = get_transport(parent)
 
1112
                try:
 
1113
                    t.mkdir(segments[-1])
 
1114
                except errors.FileExists:
 
1115
                    pass
 
1116
            if format is None:
 
1117
                format=bzrlib.bzrdir.BzrDirFormat.get_default_format()
 
1118
            # FIXME: make this use a single transport someday. RBC 20060418
 
1119
            return format.initialize_on_transport(get_transport(relpath))
 
1120
        except errors.UninitializableFormat:
 
1121
            raise TestSkipped("Format %s is not initializable." % format)
 
1122
 
 
1123
    def make_repository(self, relpath, shared=False, format=None):
 
1124
        """Create a repository on our default transport at relpath."""
 
1125
        made_control = self.make_bzrdir(relpath, format=format)
 
1126
        return made_control.create_repository(shared=shared)
 
1127
 
 
1128
    def make_branch_and_tree(self, relpath, format=None):
 
1129
        """Create a branch on the transport and a tree locally.
 
1130
 
 
1131
        Returns the tree.
 
1132
        """
 
1133
        # TODO: always use the local disk path for the working tree,
 
1134
        # this obviously requires a format that supports branch references
 
1135
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
 
1136
        # RBC 20060208
 
1137
        b = self.make_branch(relpath, format=format)
 
1138
        try:
 
1139
            return b.bzrdir.create_workingtree()
 
1140
        except errors.NotLocalUrl:
 
1141
            # new formats - catch No tree error and create
 
1142
            # a branch reference and a checkout.
 
1143
            # old formats at that point - raise TestSkipped.
 
1144
            # TODO: rbc 20060208
 
1145
            return WorkingTreeFormat2().initialize(bzrdir.BzrDir.open(relpath))
 
1146
 
 
1147
    def assertIsDirectory(self, relpath, transport):
 
1148
        """Assert that relpath within transport is a directory.
 
1149
 
 
1150
        This may not be possible on all transports; in that case it propagates
 
1151
        a TransportNotPossible.
 
1152
        """
 
1153
        try:
 
1154
            mode = transport.stat(relpath).st_mode
 
1155
        except errors.NoSuchFile:
 
1156
            self.fail("path %s is not a directory; no such file"
 
1157
                      % (relpath))
 
1158
        if not stat.S_ISDIR(mode):
 
1159
            self.fail("path %s is not a directory; has mode %#o"
 
1160
                      % (relpath, mode))
 
1161
 
 
1162
 
 
1163
class ChrootedTestCase(TestCaseWithTransport):
 
1164
    """A support class that provides readonly urls outside the local namespace.
 
1165
 
 
1166
    This is done by checking if self.transport_server is a MemoryServer. if it
 
1167
    is then we are chrooted already, if it is not then an HttpServer is used
 
1168
    for readonly urls.
 
1169
 
 
1170
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
 
1171
                       be used without needed to redo it when a different 
 
1172
                       subclass is in use ?
 
1173
    """
 
1174
 
 
1175
    def setUp(self):
 
1176
        super(ChrootedTestCase, self).setUp()
 
1177
        if not self.transport_server == bzrlib.transport.memory.MemoryServer:
 
1178
            self.transport_readonly_server = bzrlib.transport.http.HttpServer
395
1179
 
396
1180
 
397
1181
def filter_suite_by_re(suite, pattern):
398
1182
    result = TestUtil.TestSuite()
399
1183
    filter_re = re.compile(pattern)
400
1184
    for test in iter_suite_tests(suite):
401
 
        if filter_re.match(test.id()):
 
1185
        if filter_re.search(test.id()):
402
1186
            result.addTest(test)
403
1187
    return result
404
1188
 
405
1189
 
406
 
def filter_suite_by_names(suite, wanted_names):
407
 
    """Return a new suite containing only selected tests.
408
 
    
409
 
    Names are considered to match if any name is a substring of the 
410
 
    fully-qualified test id (i.e. the class ."""
411
 
    result = TestSuite()
412
 
    for test in iter_suite_tests(suite):
413
 
        this_id = test.id()
414
 
        for p in wanted_names:
415
 
            if this_id.find(p) != -1:
416
 
                result.addTest(test)
417
 
    return result
418
 
 
419
 
 
420
 
def run_suite(suite, name='test', verbose=False, pattern=".*", testnames=None):
 
1190
def run_suite(suite, name='test', verbose=False, pattern=".*",
 
1191
              stop_on_failure=False, keep_output=False,
 
1192
              transport=None, lsprof_timed=None):
421
1193
    TestCaseInTempDir._TEST_NAME = name
 
1194
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
422
1195
    if verbose:
423
1196
        verbosity = 2
 
1197
        pb = None
424
1198
    else:
425
1199
        verbosity = 1
 
1200
        pb = progress.ProgressBar()
426
1201
    runner = TextTestRunner(stream=sys.stdout,
427
1202
                            descriptions=0,
428
 
                            verbosity=verbosity)
429
 
    if testnames:
430
 
        suite = filter_suite_by_names(suite, testnames)
 
1203
                            verbosity=verbosity,
 
1204
                            keep_output=keep_output,
 
1205
                            pb=pb)
 
1206
    runner.stop_on_failure=stop_on_failure
431
1207
    if pattern != '.*':
432
1208
        suite = filter_suite_by_re(suite, pattern)
433
1209
    result = runner.run(suite)
434
 
    # This is still a little bogus, 
435
 
    # but only a little. Folk not using our testrunner will
436
 
    # have to delete their temp directories themselves.
437
 
    if result.wasSuccessful():
438
 
        if TestCaseInTempDir.TEST_ROOT is not None:
439
 
            shutil.rmtree(TestCaseInTempDir.TEST_ROOT) 
440
 
    else:
441
 
        print "Failed tests working directories are in '%s'\n" % TestCaseInTempDir.TEST_ROOT
442
1210
    return result.wasSuccessful()
443
1211
 
444
1212
 
445
 
def selftest(verbose=False, pattern=".*", testnames=None):
 
1213
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
 
1214
             keep_output=False,
 
1215
             transport=None,
 
1216
             test_suite_factory=None,
 
1217
             lsprof_timed=None):
446
1218
    """Run the whole test suite under the enhanced runner"""
447
 
    return run_suite(test_suite(), 'testbzr', verbose=verbose, pattern=pattern,
448
 
                     testnames=testnames)
 
1219
    global default_transport
 
1220
    if transport is None:
 
1221
        transport = default_transport
 
1222
    old_transport = default_transport
 
1223
    default_transport = transport
 
1224
    try:
 
1225
        if test_suite_factory is None:
 
1226
            suite = test_suite()
 
1227
        else:
 
1228
            suite = test_suite_factory()
 
1229
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
 
1230
                     stop_on_failure=stop_on_failure, keep_output=keep_output,
 
1231
                     transport=transport,
 
1232
                     lsprof_timed=lsprof_timed)
 
1233
    finally:
 
1234
        default_transport = old_transport
449
1235
 
450
1236
 
451
1237
def test_suite():
452
 
    """Build and return TestSuite for the whole program."""
453
 
    import bzrlib.store, bzrlib.inventory, bzrlib.branch
454
 
    import bzrlib.osutils, bzrlib.merge3, bzrlib.plugin
455
 
    from doctest import DocTestSuite
456
 
 
457
 
    global MODULES_TO_TEST, MODULES_TO_DOCTEST
458
 
 
459
 
    testmod_names = \
460
 
                  ['bzrlib.selftest.MetaTestLog',
461
 
                   'bzrlib.selftest.testinv',
462
 
                   'bzrlib.selftest.test_ancestry',
463
 
                   'bzrlib.selftest.test_commit',
464
 
                   'bzrlib.selftest.test_commit_merge',
465
 
                   'bzrlib.selftest.versioning',
466
 
                   'bzrlib.selftest.testmerge3',
467
 
                   'bzrlib.selftest.testmerge',
468
 
                   'bzrlib.selftest.testhashcache',
469
 
                   'bzrlib.selftest.teststatus',
470
 
                   'bzrlib.selftest.testlog',
471
 
                   'bzrlib.selftest.testrevisionnamespaces',
472
 
                   'bzrlib.selftest.testbranch',
473
 
                   'bzrlib.selftest.testrevision',
474
 
                   'bzrlib.selftest.test_revision_info',
475
 
                   'bzrlib.selftest.test_merge_core',
476
 
                   'bzrlib.selftest.test_smart_add',
477
 
                   'bzrlib.selftest.test_bad_files',
478
 
                   'bzrlib.selftest.testdiff',
479
 
                   'bzrlib.selftest.test_parent',
480
 
                   'bzrlib.selftest.test_xml',
481
 
                   'bzrlib.selftest.test_weave',
482
 
                   'bzrlib.selftest.testfetch',
483
 
                   'bzrlib.selftest.whitebox',
484
 
                   'bzrlib.selftest.teststore',
485
 
                   'bzrlib.selftest.blackbox',
486
 
                   'bzrlib.selftest.testtransport',
487
 
                   'bzrlib.selftest.testgraph',
488
 
                   'bzrlib.selftest.testworkingtree',
489
 
                   'bzrlib.selftest.test_upgrade',
 
1238
    """Build and return TestSuite for the whole of bzrlib.
 
1239
    
 
1240
    This function can be replaced if you need to change the default test
 
1241
    suite on a global basis, but it is not encouraged.
 
1242
    """
 
1243
    testmod_names = [
 
1244
                   'bzrlib.tests.test_ancestry',
 
1245
                   'bzrlib.tests.test_api',
 
1246
                   'bzrlib.tests.test_bad_files',
 
1247
                   'bzrlib.tests.test_branch',
 
1248
                   'bzrlib.tests.test_bundle',
 
1249
                   'bzrlib.tests.test_bzrdir',
 
1250
                   'bzrlib.tests.test_command',
 
1251
                   'bzrlib.tests.test_commit',
 
1252
                   'bzrlib.tests.test_commit_merge',
 
1253
                   'bzrlib.tests.test_config',
 
1254
                   'bzrlib.tests.test_conflicts',
 
1255
                   'bzrlib.tests.test_decorators',
 
1256
                   'bzrlib.tests.test_diff',
 
1257
                   'bzrlib.tests.test_doc_generate',
 
1258
                   'bzrlib.tests.test_emptytree',
 
1259
                   'bzrlib.tests.test_errors',
 
1260
                   'bzrlib.tests.test_escaped_store',
 
1261
                   'bzrlib.tests.test_fetch',
 
1262
                   'bzrlib.tests.test_gpg',
 
1263
                   'bzrlib.tests.test_graph',
 
1264
                   'bzrlib.tests.test_hashcache',
 
1265
                   'bzrlib.tests.test_http',
 
1266
                   'bzrlib.tests.test_identitymap',
 
1267
                   'bzrlib.tests.test_inv',
 
1268
                   'bzrlib.tests.test_knit',
 
1269
                   'bzrlib.tests.test_lockdir',
 
1270
                   'bzrlib.tests.test_lockable_files',
 
1271
                   'bzrlib.tests.test_log',
 
1272
                   'bzrlib.tests.test_merge',
 
1273
                   'bzrlib.tests.test_merge3',
 
1274
                   'bzrlib.tests.test_merge_core',
 
1275
                   'bzrlib.tests.test_missing',
 
1276
                   'bzrlib.tests.test_msgeditor',
 
1277
                   'bzrlib.tests.test_nonascii',
 
1278
                   'bzrlib.tests.test_options',
 
1279
                   'bzrlib.tests.test_osutils',
 
1280
                   'bzrlib.tests.test_patch',
 
1281
                   'bzrlib.tests.test_patches',
 
1282
                   'bzrlib.tests.test_permissions',
 
1283
                   'bzrlib.tests.test_plugins',
 
1284
                   'bzrlib.tests.test_progress',
 
1285
                   'bzrlib.tests.test_reconcile',
 
1286
                   'bzrlib.tests.test_repository',
 
1287
                   'bzrlib.tests.test_revision',
 
1288
                   'bzrlib.tests.test_revisionnamespaces',
 
1289
                   'bzrlib.tests.test_revprops',
 
1290
                   'bzrlib.tests.test_revisiontree',
 
1291
                   'bzrlib.tests.test_rio',
 
1292
                   'bzrlib.tests.test_sampler',
 
1293
                   'bzrlib.tests.test_selftest',
 
1294
                   'bzrlib.tests.test_setup',
 
1295
                   'bzrlib.tests.test_sftp_transport',
 
1296
                   'bzrlib.tests.test_smart_add',
 
1297
                   'bzrlib.tests.test_source',
 
1298
                   'bzrlib.tests.test_status',
 
1299
                   'bzrlib.tests.test_store',
 
1300
                   'bzrlib.tests.test_symbol_versioning',
 
1301
                   'bzrlib.tests.test_testament',
 
1302
                   'bzrlib.tests.test_textfile',
 
1303
                   'bzrlib.tests.test_textmerge',
 
1304
                   'bzrlib.tests.test_trace',
 
1305
                   'bzrlib.tests.test_transactions',
 
1306
                   'bzrlib.tests.test_transform',
 
1307
                   'bzrlib.tests.test_transport',
 
1308
                   'bzrlib.tests.test_tsort',
 
1309
                   'bzrlib.tests.test_tuned_gzip',
 
1310
                   'bzrlib.tests.test_ui',
 
1311
                   'bzrlib.tests.test_upgrade',
 
1312
                   'bzrlib.tests.test_urlutils',
 
1313
                   'bzrlib.tests.test_versionedfile',
 
1314
                   'bzrlib.tests.test_weave',
 
1315
                   'bzrlib.tests.test_whitebox',
 
1316
                   'bzrlib.tests.test_workingtree',
 
1317
                   'bzrlib.tests.test_xml',
490
1318
                   ]
491
 
 
492
 
    for m in (bzrlib.store, bzrlib.inventory, bzrlib.branch,
493
 
              bzrlib.osutils, bzrlib.commands, bzrlib.merge3):
494
 
        if m not in MODULES_TO_DOCTEST:
495
 
            MODULES_TO_DOCTEST.append(m)
496
 
 
497
 
    TestCase.BZRPATH = os.path.join(os.path.realpath(os.path.dirname(bzrlib.__path__[0])), 'bzr')
498
 
    print '%-30s %s' % ('bzr binary', TestCase.BZRPATH)
499
 
    print
500
 
    suite = TestSuite()
501
 
    suite.addTest(TestLoader().loadTestsFromNames(testmod_names))
 
1319
    test_transport_implementations = [
 
1320
        'bzrlib.tests.test_transport_implementations',
 
1321
        'bzrlib.tests.test_read_bundle',
 
1322
        ]
 
1323
    suite = TestUtil.TestSuite()
 
1324
    loader = TestUtil.TestLoader()
 
1325
    from bzrlib.transport import TransportTestProviderAdapter
 
1326
    adapter = TransportTestProviderAdapter()
 
1327
    adapt_modules(test_transport_implementations, adapter, loader, suite)
 
1328
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
1329
    for package in packages_to_test():
 
1330
        suite.addTest(package.test_suite())
502
1331
    for m in MODULES_TO_TEST:
503
 
         suite.addTest(TestLoader().loadTestsFromModule(m))
504
 
    for m in (MODULES_TO_DOCTEST):
505
 
        suite.addTest(DocTestSuite(m))
506
 
    for p in bzrlib.plugin.all_plugins:
507
 
        if hasattr(p, 'test_suite'):
508
 
            suite.addTest(p.test_suite())
 
1332
        suite.addTest(loader.loadTestsFromModule(m))
 
1333
    for m in MODULES_TO_DOCTEST:
 
1334
        suite.addTest(doctest.DocTestSuite(m))
 
1335
    for name, plugin in bzrlib.plugin.all_plugins().items():
 
1336
        if getattr(plugin, 'test_suite', None) is not None:
 
1337
            suite.addTest(plugin.test_suite())
509
1338
    return suite
510
1339
 
 
1340
 
 
1341
def adapt_modules(mods_list, adapter, loader, suite):
 
1342
    """Adapt the modules in mods_list using adapter and add to suite."""
 
1343
    for test in iter_suite_tests(loader.loadTestsFromModuleNames(mods_list)):
 
1344
        suite.addTests(adapter.adapt(test))