~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Vincent Ladeuil
  • Date: 2008-09-11 19:36:38 UTC
  • mfrom: (3703 +trunk)
  • mto: (3705.1.1 trunk2)
  • mto: This revision was merged to the branch mainline in revision 3708.
  • Revision ID: v.ladeuil+lp@free.fr-20080911193638-wtjyc1kcmacc6t1f
merge bzr.dev

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
17
 
"""Testing framework extensions"""
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
18
23
 
19
24
# NOTE: Some classes in here use camelCaseNaming() rather than
20
25
# underscore_naming().  That's for consistency with unittest; it's not the
23
28
 
24
29
import atexit
25
30
import codecs
26
 
import copy
27
31
from cStringIO import StringIO
28
32
import difflib
29
33
import doctest
30
34
import errno
31
 
import itertools
32
35
import logging
33
36
import os
34
 
import platform
35
 
import pprint
 
37
from pprint import pformat
36
38
import random
37
39
import re
38
40
import shlex
39
41
import stat
40
 
import subprocess
 
42
from subprocess import Popen, PIPE
41
43
import sys
42
44
import tempfile
43
45
import threading
44
46
import time
45
 
import traceback
46
47
import unittest
47
48
import warnings
48
49
 
49
 
import testtools
50
 
# nb: check this before importing anything else from within it
51
 
_testtools_version = getattr(testtools, '__version__', ())
52
 
if _testtools_version < (0, 9, 5):
53
 
    raise ImportError("need at least testtools 0.9.5: %s is %r"
54
 
        % (testtools.__file__, _testtools_version))
55
 
from testtools import content
56
50
 
57
 
import bzrlib
58
51
from bzrlib import (
59
52
    branchbuilder,
60
53
    bzrdir,
61
 
    chk_map,
62
 
    commands as _mod_commands,
63
 
    config,
64
54
    debug,
65
55
    errors,
66
 
    hooks,
67
 
    lock as _mod_lock,
68
 
    lockdir,
69
56
    memorytree,
70
57
    osutils,
71
 
    plugin as _mod_plugin,
72
 
    pyutils,
 
58
    progress,
73
59
    ui,
74
60
    urlutils,
75
61
    registry,
76
 
    symbol_versioning,
77
 
    trace,
78
 
    transport as _mod_transport,
79
62
    workingtree,
80
63
    )
 
64
import bzrlib.branch
 
65
import bzrlib.commands
 
66
import bzrlib.timestamp
 
67
import bzrlib.export
 
68
import bzrlib.inventory
 
69
import bzrlib.iterablefile
 
70
import bzrlib.lockdir
81
71
try:
82
72
    import bzrlib.lsprof
83
73
except ImportError:
84
74
    # lsprof not available
85
75
    pass
86
 
from bzrlib.smart import client, request
87
 
from bzrlib.transport import (
88
 
    memory,
89
 
    pathfilter,
90
 
    )
 
76
from bzrlib.merge import merge_inner
 
77
import bzrlib.merge3
 
78
import bzrlib.plugin
 
79
import bzrlib.store
 
80
from bzrlib import symbol_versioning
91
81
from bzrlib.symbol_versioning import (
 
82
    DEPRECATED_PARAMETER,
92
83
    deprecated_function,
93
 
    deprecated_in,
94
 
    )
95
 
from bzrlib.tests import (
96
 
    test_server,
97
 
    TestUtil,
98
 
    treeshape,
99
 
    )
100
 
from bzrlib.ui import NullProgressView
101
 
from bzrlib.ui.text import TextUIFactory
 
84
    deprecated_method,
 
85
    deprecated_passed,
 
86
    )
 
87
import bzrlib.trace
 
88
from bzrlib.transport import get_transport
 
89
import bzrlib.transport
 
90
from bzrlib.transport.local import LocalURLServer
 
91
from bzrlib.transport.memory import MemoryServer
 
92
from bzrlib.transport.readonly import ReadonlyServer
 
93
from bzrlib.trace import mutter, note
 
94
from bzrlib.tests import TestUtil
 
95
from bzrlib.tests.http_server import HttpServer
 
96
from bzrlib.tests.TestUtil import (
 
97
                          TestSuite,
 
98
                          TestLoader,
 
99
                          )
 
100
from bzrlib.tests.treeshape import build_tree_contents
 
101
import bzrlib.version_info_formats.format_custom
 
102
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
102
103
 
103
104
# Mark this python module as being part of the implementation
104
105
# of unittest: this gives us better tracebacks where the last
105
106
# shown frame is the test code, not our assertXYZ.
106
107
__unittest = 1
107
108
 
108
 
default_transport = test_server.LocalURLServer
109
 
 
110
 
 
111
 
_unitialized_attr = object()
112
 
"""A sentinel needed to act as a default value in a method signature."""
113
 
 
114
 
 
115
 
# Subunit result codes, defined here to prevent a hard dependency on subunit.
116
 
SUBUNIT_SEEK_SET = 0
117
 
SUBUNIT_SEEK_CUR = 1
118
 
 
119
 
# These are intentionally brought into this namespace. That way plugins, etc
120
 
# can just "from bzrlib.tests import TestCase, TestLoader, etc"
121
 
TestSuite = TestUtil.TestSuite
122
 
TestLoader = TestUtil.TestLoader
123
 
 
124
 
# Tests should run in a clean and clearly defined environment. The goal is to
125
 
# keep them isolated from the running environment as mush as possible. The test
126
 
# framework ensures the variables defined below are set (or deleted if the
127
 
# value is None) before a test is run and reset to their original value after
128
 
# the test is run. Generally if some code depends on an environment variable,
129
 
# the tests should start without this variable in the environment. There are a
130
 
# few exceptions but you shouldn't violate this rule lightly.
131
 
isolated_environ = {
132
 
    'BZR_HOME': None,
133
 
    'HOME': None,
134
 
    # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
135
 
    # tests do check our impls match APPDATA
136
 
    'BZR_EDITOR': None, # test_msgeditor manipulates this variable
137
 
    'VISUAL': None,
138
 
    'EDITOR': None,
139
 
    'BZR_EMAIL': None,
140
 
    'BZREMAIL': None, # may still be present in the environment
141
 
    'EMAIL': 'jrandom@example.com', # set EMAIL as bzr does not guess
142
 
    'BZR_PROGRESS_BAR': None,
143
 
    # This should trap leaks to ~/.bzr.log. This occurs when tests use TestCase
144
 
    # as a base class instead of TestCaseInTempDir. Tests inheriting from
145
 
    # TestCase should not use disk resources, BZR_LOG is one.
146
 
    'BZR_LOG': '/you-should-use-TestCaseInTempDir-if-you-need-a-log-file',
147
 
    'BZR_PLUGIN_PATH': None,
148
 
    'BZR_DISABLE_PLUGINS': None,
149
 
    'BZR_PLUGINS_AT': None,
150
 
    'BZR_CONCURRENCY': None,
151
 
    # Make sure that any text ui tests are consistent regardless of
152
 
    # the environment the test case is run in; you may want tests that
153
 
    # test other combinations.  'dumb' is a reasonable guess for tests
154
 
    # going to a pipe or a StringIO.
155
 
    'TERM': 'dumb',
156
 
    'LINES': '25',
157
 
    'COLUMNS': '80',
158
 
    'BZR_COLUMNS': '80',
159
 
    # Disable SSH Agent
160
 
    'SSH_AUTH_SOCK': None,
161
 
    # Proxies
162
 
    'http_proxy': None,
163
 
    'HTTP_PROXY': None,
164
 
    'https_proxy': None,
165
 
    'HTTPS_PROXY': None,
166
 
    'no_proxy': None,
167
 
    'NO_PROXY': None,
168
 
    'all_proxy': None,
169
 
    'ALL_PROXY': None,
170
 
    # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
171
 
    # least. If you do (care), please update this comment
172
 
    # -- vila 20080401
173
 
    'ftp_proxy': None,
174
 
    'FTP_PROXY': None,
175
 
    'BZR_REMOTE_PATH': None,
176
 
    # Generally speaking, we don't want apport reporting on crashes in
177
 
    # the test envirnoment unless we're specifically testing apport,
178
 
    # so that it doesn't leak into the real system environment.  We
179
 
    # use an env var so it propagates to subprocesses.
180
 
    'APPORT_DISABLE': '1',
181
 
    }
182
 
 
183
 
 
184
 
def override_os_environ(test, env=None):
185
 
    """Modify os.environ keeping a copy.
186
 
    
187
 
    :param test: A test instance
188
 
 
189
 
    :param env: A dict containing variable definitions to be installed
190
 
    """
191
 
    if env is None:
192
 
        env = isolated_environ
193
 
    test._original_os_environ = dict([(var, value)
194
 
                                      for var, value in os.environ.iteritems()])
195
 
    for var, value in env.iteritems():
196
 
        osutils.set_or_unset_env(var, value)
197
 
        if var not in test._original_os_environ:
198
 
            # The var is new, add it with a value of None, so
199
 
            # restore_os_environ will delete it
200
 
            test._original_os_environ[var] = None
201
 
 
202
 
 
203
 
def restore_os_environ(test):
204
 
    """Restore os.environ to its original state.
205
 
 
206
 
    :param test: A test instance previously passed to override_os_environ.
207
 
    """
208
 
    for var, value in test._original_os_environ.iteritems():
209
 
        # Restore the original value (or delete it if the value has been set to
210
 
        # None in override_os_environ).
211
 
        osutils.set_or_unset_env(var, value)
212
 
 
213
 
 
214
 
class ExtendedTestResult(testtools.TextTestResult):
 
109
default_transport = LocalURLServer
 
110
 
 
111
 
 
112
class ExtendedTestResult(unittest._TextTestResult):
215
113
    """Accepts, reports and accumulates the results of running tests.
216
114
 
217
115
    Compared to the unittest version this class adds support for
228
126
    """
229
127
 
230
128
    stop_early = False
231
 
 
 
129
    
232
130
    def __init__(self, stream, descriptions, verbosity,
233
131
                 bench_history=None,
234
 
                 strict=False,
 
132
                 num_tests=None,
235
133
                 ):
236
134
        """Construct new TestResult.
237
135
 
238
136
        :param bench_history: Optionally, a writable file object to accumulate
239
137
            benchmark results.
240
138
        """
241
 
        testtools.TextTestResult.__init__(self, stream)
 
139
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
242
140
        if bench_history is not None:
243
141
            from bzrlib.version import _get_bzr_source_tree
244
142
            src_tree = _get_bzr_source_tree()
255
153
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
256
154
        self._bench_history = bench_history
257
155
        self.ui = ui.ui_factory
258
 
        self.num_tests = 0
 
156
        self.num_tests = num_tests
259
157
        self.error_count = 0
260
158
        self.failure_count = 0
261
159
        self.known_failure_count = 0
264
162
        self.unsupported = {}
265
163
        self.count = 0
266
164
        self._overall_start_time = time.time()
267
 
        self._strict = strict
268
 
        self._first_thread_leaker_id = None
269
 
        self._tests_leaking_threads_count = 0
270
 
        self._traceback_from_test = None
271
 
 
272
 
    def stopTestRun(self):
273
 
        run = self.testsRun
274
 
        actionTaken = "Ran"
275
 
        stopTime = time.time()
276
 
        timeTaken = stopTime - self.startTime
277
 
        # GZ 2010-07-19: Seems testtools has no printErrors method, and though
278
 
        #                the parent class method is similar have to duplicate
279
 
        self._show_list('ERROR', self.errors)
280
 
        self._show_list('FAIL', self.failures)
281
 
        self.stream.write(self.sep2)
282
 
        self.stream.write("%s %d test%s in %.3fs\n\n" % (actionTaken,
283
 
                            run, run != 1 and "s" or "", timeTaken))
284
 
        if not self.wasSuccessful():
285
 
            self.stream.write("FAILED (")
286
 
            failed, errored = map(len, (self.failures, self.errors))
287
 
            if failed:
288
 
                self.stream.write("failures=%d" % failed)
289
 
            if errored:
290
 
                if failed: self.stream.write(", ")
291
 
                self.stream.write("errors=%d" % errored)
292
 
            if self.known_failure_count:
293
 
                if failed or errored: self.stream.write(", ")
294
 
                self.stream.write("known_failure_count=%d" %
295
 
                    self.known_failure_count)
296
 
            self.stream.write(")\n")
297
 
        else:
298
 
            if self.known_failure_count:
299
 
                self.stream.write("OK (known_failures=%d)\n" %
300
 
                    self.known_failure_count)
301
 
            else:
302
 
                self.stream.write("OK\n")
303
 
        if self.skip_count > 0:
304
 
            skipped = self.skip_count
305
 
            self.stream.write('%d test%s skipped\n' %
306
 
                                (skipped, skipped != 1 and "s" or ""))
307
 
        if self.unsupported:
308
 
            for feature, count in sorted(self.unsupported.items()):
309
 
                self.stream.write("Missing feature '%s' skipped %d tests.\n" %
310
 
                    (feature, count))
311
 
        if self._strict:
312
 
            ok = self.wasStrictlySuccessful()
313
 
        else:
314
 
            ok = self.wasSuccessful()
315
 
        if self._first_thread_leaker_id:
316
 
            self.stream.write(
317
 
                '%s is leaking threads among %d leaking tests.\n' % (
318
 
                self._first_thread_leaker_id,
319
 
                self._tests_leaking_threads_count))
320
 
            # We don't report the main thread as an active one.
321
 
            self.stream.write(
322
 
                '%d non-main threads were left active in the end.\n'
323
 
                % (len(self._active_threads) - 1))
324
 
 
325
 
    def getDescription(self, test):
326
 
        return test.id()
327
 
 
328
 
    def _extractBenchmarkTime(self, testCase, details=None):
 
165
    
 
166
    def _extractBenchmarkTime(self, testCase):
329
167
        """Add a benchmark time for the current test case."""
330
 
        if details and 'benchtime' in details:
331
 
            return float(''.join(details['benchtime'].iter_bytes()))
332
168
        return getattr(testCase, "_benchtime", None)
333
 
 
 
169
    
334
170
    def _elapsedTestTimeString(self):
335
171
        """Return a time string for the overall time the current test has taken."""
336
 
        return self._formatTime(self._delta_to_float(
337
 
            self._now() - self._start_datetime))
 
172
        return self._formatTime(time.time() - self._start_time)
338
173
 
339
174
    def _testTimeString(self, testCase):
340
175
        benchmark_time = self._extractBenchmarkTime(testCase)
341
176
        if benchmark_time is not None:
342
 
            return self._formatTime(benchmark_time) + "*"
 
177
            return "%s/%s" % (
 
178
                self._formatTime(benchmark_time),
 
179
                self._elapsedTestTimeString())
343
180
        else:
344
 
            return self._elapsedTestTimeString()
 
181
            return "           %s" % self._elapsedTestTimeString()
345
182
 
346
183
    def _formatTime(self, seconds):
347
184
        """Format seconds as milliseconds with leading spaces."""
351
188
 
352
189
    def _shortened_test_description(self, test):
353
190
        what = test.id()
354
 
        what = re.sub(r'^bzrlib\.tests\.', '', what)
 
191
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
355
192
        return what
356
193
 
357
 
    # GZ 2010-10-04: Cloned tests may end up harmlessly calling this method
358
 
    #                multiple times in a row, because the handler is added for
359
 
    #                each test but the container list is shared between cases.
360
 
    #                See lp:498869 lp:625574 and lp:637725 for background.
361
 
    def _record_traceback_from_test(self, exc_info):
362
 
        """Store the traceback from passed exc_info tuple till"""
363
 
        self._traceback_from_test = exc_info[2]
364
 
 
365
194
    def startTest(self, test):
366
 
        super(ExtendedTestResult, self).startTest(test)
367
 
        if self.count == 0:
368
 
            self.startTests()
369
 
        self.count += 1
 
195
        unittest.TestResult.startTest(self, test)
370
196
        self.report_test_start(test)
371
197
        test.number = self.count
372
198
        self._recordTestStartTime()
373
 
        # Make testtools cases give us the real traceback on failure
374
 
        addOnException = getattr(test, "addOnException", None)
375
 
        if addOnException is not None:
376
 
            addOnException(self._record_traceback_from_test)
377
 
        # Only check for thread leaks on bzrlib derived test cases
378
 
        if isinstance(test, TestCase):
379
 
            test.addCleanup(self._check_leaked_threads, test)
380
 
 
381
 
    def stopTest(self, test):
382
 
        super(ExtendedTestResult, self).stopTest(test)
383
 
        # Manually break cycles, means touching various private things but hey
384
 
        getDetails = getattr(test, "getDetails", None)
385
 
        if getDetails is not None:
386
 
            getDetails().clear()
387
 
        # Clear _type_equality_funcs to try to stop TestCase instances
388
 
        # from wasting memory. 'clear' is not available in all Python
389
 
        # versions (bug 809048)
390
 
        type_equality_funcs = getattr(test, "_type_equality_funcs", None)
391
 
        if type_equality_funcs is not None:
392
 
            tef_clear = getattr(type_equality_funcs, "clear", None)
393
 
            if tef_clear is None:
394
 
                tef_instance_dict = getattr(type_equality_funcs, "__dict__", None)
395
 
                if tef_instance_dict is not None:
396
 
                    tef_clear = tef_instance_dict.clear
397
 
            if tef_clear is not None:
398
 
                tef_clear()
399
 
        self._traceback_from_test = None
400
 
 
401
 
    def startTests(self):
402
 
        self.report_tests_starting()
403
 
        self._active_threads = threading.enumerate()
404
 
 
405
 
    def _check_leaked_threads(self, test):
406
 
        """See if any threads have leaked since last call
407
 
 
408
 
        A sample of live threads is stored in the _active_threads attribute,
409
 
        when this method runs it compares the current live threads and any not
410
 
        in the previous sample are treated as having leaked.
411
 
        """
412
 
        now_active_threads = set(threading.enumerate())
413
 
        threads_leaked = now_active_threads.difference(self._active_threads)
414
 
        if threads_leaked:
415
 
            self._report_thread_leak(test, threads_leaked, now_active_threads)
416
 
            self._tests_leaking_threads_count += 1
417
 
            if self._first_thread_leaker_id is None:
418
 
                self._first_thread_leaker_id = test.id()
419
 
            self._active_threads = now_active_threads
420
199
 
421
200
    def _recordTestStartTime(self):
422
201
        """Record that a test has started."""
423
 
        self._start_datetime = self._now()
 
202
        self._start_time = time.time()
 
203
 
 
204
    def _cleanupLogFile(self, test):
 
205
        # We can only do this if we have one of our TestCases, not if
 
206
        # we have a doctest.
 
207
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
208
        if setKeepLogfile is not None:
 
209
            setKeepLogfile()
424
210
 
425
211
    def addError(self, test, err):
426
212
        """Tell result that test finished with an error.
428
214
        Called from the TestCase run() method when the test
429
215
        fails with an unexpected error.
430
216
        """
431
 
        self._post_mortem(self._traceback_from_test)
432
 
        super(ExtendedTestResult, self).addError(test, err)
433
 
        self.error_count += 1
434
 
        self.report_error(test, err)
435
 
        if self.stop_early:
436
 
            self.stop()
 
217
        self._testConcluded(test)
 
218
        if isinstance(err[1], TestSkipped):
 
219
            return self._addSkipped(test, err)
 
220
        elif isinstance(err[1], UnavailableFeature):
 
221
            return self.addNotSupported(test, err[1].args[0])
 
222
        else:
 
223
            unittest.TestResult.addError(self, test, err)
 
224
            self.error_count += 1
 
225
            self.report_error(test, err)
 
226
            if self.stop_early:
 
227
                self.stop()
 
228
            self._cleanupLogFile(test)
437
229
 
438
230
    def addFailure(self, test, err):
439
231
        """Tell result that test failed.
441
233
        Called from the TestCase run() method when the test
442
234
        fails because e.g. an assert() method failed.
443
235
        """
444
 
        self._post_mortem(self._traceback_from_test)
445
 
        super(ExtendedTestResult, self).addFailure(test, err)
446
 
        self.failure_count += 1
447
 
        self.report_failure(test, err)
448
 
        if self.stop_early:
449
 
            self.stop()
 
236
        self._testConcluded(test)
 
237
        if isinstance(err[1], KnownFailure):
 
238
            return self._addKnownFailure(test, err)
 
239
        else:
 
240
            unittest.TestResult.addFailure(self, test, err)
 
241
            self.failure_count += 1
 
242
            self.report_failure(test, err)
 
243
            if self.stop_early:
 
244
                self.stop()
 
245
            self._cleanupLogFile(test)
450
246
 
451
 
    def addSuccess(self, test, details=None):
 
247
    def addSuccess(self, test):
452
248
        """Tell result that test completed successfully.
453
249
 
454
250
        Called from the TestCase run()
455
251
        """
 
252
        self._testConcluded(test)
456
253
        if self._bench_history is not None:
457
 
            benchmark_time = self._extractBenchmarkTime(test, details)
 
254
            benchmark_time = self._extractBenchmarkTime(test)
458
255
            if benchmark_time is not None:
459
256
                self._bench_history.write("%s %s\n" % (
460
257
                    self._formatTime(benchmark_time),
461
258
                    test.id()))
462
259
        self.report_success(test)
463
 
        super(ExtendedTestResult, self).addSuccess(test)
 
260
        self._cleanupLogFile(test)
 
261
        unittest.TestResult.addSuccess(self, test)
464
262
        test._log_contents = ''
465
263
 
466
 
    def addExpectedFailure(self, test, err):
 
264
    def _testConcluded(self, test):
 
265
        """Common code when a test has finished.
 
266
 
 
267
        Called regardless of whether it succeded, failed, etc.
 
268
        """
 
269
        pass
 
270
 
 
271
    def _addKnownFailure(self, test, err):
467
272
        self.known_failure_count += 1
468
273
        self.report_known_failure(test, err)
469
274
 
470
 
    def addUnexpectedSuccess(self, test, details=None):
471
 
        """Tell result the test unexpectedly passed, counting as a failure
472
 
 
473
 
        When the minimum version of testtools required becomes 0.9.8 this
474
 
        can be updated to use the new handling there.
475
 
        """
476
 
        super(ExtendedTestResult, self).addFailure(test, details=details)
477
 
        self.failure_count += 1
478
 
        self.report_unexpected_success(test,
479
 
            "".join(details["reason"].iter_text()))
480
 
        if self.stop_early:
481
 
            self.stop()
482
 
 
483
275
    def addNotSupported(self, test, feature):
484
276
        """The test will not be run because of a missing feature.
485
277
        """
486
278
        # this can be called in two different ways: it may be that the
487
 
        # test started running, and then raised (through requireFeature)
 
279
        # test started running, and then raised (through addError) 
488
280
        # UnavailableFeature.  Alternatively this method can be called
489
 
        # while probing for features before running the test code proper; in
490
 
        # that case we will see startTest and stopTest, but the test will
491
 
        # never actually run.
 
281
        # while probing for features before running the tests; in that
 
282
        # case we will see startTest and stopTest, but the test will never
 
283
        # actually run.
492
284
        self.unsupported.setdefault(str(feature), 0)
493
285
        self.unsupported[str(feature)] += 1
494
286
        self.report_unsupported(test, feature)
495
287
 
496
 
    def addSkip(self, test, reason):
497
 
        """A test has not run for 'reason'."""
498
 
        self.skip_count += 1
499
 
        self.report_skip(test, reason)
500
 
 
501
 
    def addNotApplicable(self, test, reason):
502
 
        self.not_applicable_count += 1
503
 
        self.report_not_applicable(test, reason)
504
 
 
505
 
    def _post_mortem(self, tb=None):
506
 
        """Start a PDB post mortem session."""
507
 
        if os.environ.get('BZR_TEST_PDB', None):
508
 
            import pdb
509
 
            pdb.post_mortem(tb)
510
 
 
511
 
    def progress(self, offset, whence):
512
 
        """The test is adjusting the count of tests to run."""
513
 
        if whence == SUBUNIT_SEEK_SET:
514
 
            self.num_tests = offset
515
 
        elif whence == SUBUNIT_SEEK_CUR:
516
 
            self.num_tests += offset
517
 
        else:
518
 
            raise errors.BzrError("Unknown whence %r" % whence)
519
 
 
520
 
    def report_tests_starting(self):
521
 
        """Display information before the test run begins"""
522
 
        if getattr(sys, 'frozen', None) is None:
523
 
            bzr_path = osutils.realpath(sys.argv[0])
524
 
        else:
525
 
            bzr_path = sys.executable
526
 
        self.stream.write(
527
 
            'bzr selftest: %s\n' % (bzr_path,))
528
 
        self.stream.write(
529
 
            '   %s\n' % (
530
 
                    bzrlib.__path__[0],))
531
 
        self.stream.write(
532
 
            '   bzr-%s python-%s %s\n' % (
533
 
                    bzrlib.version_string,
534
 
                    bzrlib._format_version_tuple(sys.version_info),
535
 
                    platform.platform(aliased=1),
536
 
                    ))
537
 
        self.stream.write('\n')
538
 
 
539
 
    def report_test_start(self, test):
540
 
        """Display information on the test just about to be run"""
541
 
 
542
 
    def _report_thread_leak(self, test, leaked_threads, active_threads):
543
 
        """Display information on a test that leaked one or more threads"""
544
 
        # GZ 2010-09-09: A leak summary reported separately from the general
545
 
        #                thread debugging would be nice. Tests under subunit
546
 
        #                need something not using stream, perhaps adding a
547
 
        #                testtools details object would be fitting.
548
 
        if 'threads' in selftest_debug_flags:
549
 
            self.stream.write('%s is leaking, active is now %d\n' %
550
 
                (test.id(), len(active_threads)))
551
 
 
552
 
    def startTestRun(self):
553
 
        self.startTime = time.time()
 
288
    def _addSkipped(self, test, skip_excinfo):
 
289
        if isinstance(skip_excinfo[1], TestNotApplicable):
 
290
            self.not_applicable_count += 1
 
291
            self.report_not_applicable(test, skip_excinfo)
 
292
        else:
 
293
            self.skip_count += 1
 
294
            self.report_skip(test, skip_excinfo)
 
295
        try:
 
296
            test.tearDown()
 
297
        except KeyboardInterrupt:
 
298
            raise
 
299
        except:
 
300
            self.addError(test, test._exc_info())
 
301
        else:
 
302
            # seems best to treat this as success from point-of-view of unittest
 
303
            # -- it actually does nothing so it barely matters :)
 
304
            unittest.TestResult.addSuccess(self, test)
 
305
            test._log_contents = ''
 
306
 
 
307
    def printErrorList(self, flavour, errors):
 
308
        for test, err in errors:
 
309
            self.stream.writeln(self.separator1)
 
310
            self.stream.write("%s: " % flavour)
 
311
            self.stream.writeln(self.getDescription(test))
 
312
            if getattr(test, '_get_log', None) is not None:
 
313
                self.stream.write('\n')
 
314
                self.stream.write(
 
315
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-'))
 
316
                self.stream.write('\n')
 
317
                self.stream.write(test._get_log())
 
318
                self.stream.write('\n')
 
319
                self.stream.write(
 
320
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-'))
 
321
                self.stream.write('\n')
 
322
            self.stream.writeln(self.separator2)
 
323
            self.stream.writeln("%s" % err)
 
324
 
 
325
    def finished(self):
 
326
        pass
 
327
 
 
328
    def report_cleaning_up(self):
 
329
        pass
554
330
 
555
331
    def report_success(self, test):
556
332
        pass
566
342
 
567
343
    def __init__(self, stream, descriptions, verbosity,
568
344
                 bench_history=None,
 
345
                 num_tests=None,
569
346
                 pb=None,
570
 
                 strict=None,
571
347
                 ):
572
348
        ExtendedTestResult.__init__(self, stream, descriptions, verbosity,
573
 
            bench_history, strict)
574
 
        # We no longer pass them around, but just rely on the UIFactory stack
575
 
        # for state
576
 
        if pb is not None:
577
 
            warnings.warn("Passing pb to TextTestResult is deprecated")
578
 
        self.pb = self.ui.nested_progress_bar()
 
349
            bench_history, num_tests)
 
350
        if pb is None:
 
351
            self.pb = self.ui.nested_progress_bar()
 
352
            self._supplied_pb = False
 
353
        else:
 
354
            self.pb = pb
 
355
            self._supplied_pb = True
579
356
        self.pb.show_pct = False
580
357
        self.pb.show_spinner = False
581
358
        self.pb.show_eta = False,
582
359
        self.pb.show_count = False
583
360
        self.pb.show_bar = False
584
 
        self.pb.update_latency = 0
585
 
        self.pb.show_transport_activity = False
586
 
 
587
 
    def stopTestRun(self):
588
 
        # called when the tests that are going to run have run
589
 
        self.pb.clear()
590
 
        self.pb.finished()
591
 
        super(TextTestResult, self).stopTestRun()
592
 
 
593
 
    def report_tests_starting(self):
594
 
        super(TextTestResult, self).report_tests_starting()
595
 
        self.pb.update('[test 0/%d] Starting' % (self.num_tests))
 
361
 
 
362
    def report_starting(self):
 
363
        self.pb.update('[test 0/%d] starting...' % (self.num_tests))
596
364
 
597
365
    def _progress_prefix_text(self):
598
366
        # the longer this text, the less space we have to show the test
604
372
        ##     a += ', %d skip' % self.skip_count
605
373
        ## if self.known_failure_count:
606
374
        ##     a += '+%dX' % self.known_failure_count
607
 
        if self.num_tests:
 
375
        if self.num_tests is not None:
608
376
            a +='/%d' % self.num_tests
609
377
        a += ' in '
610
378
        runtime = time.time() - self._overall_start_time
612
380
            a += '%dm%ds' % (runtime / 60, runtime % 60)
613
381
        else:
614
382
            a += '%ds' % runtime
615
 
        total_fail_count = self.error_count + self.failure_count
616
 
        if total_fail_count:
617
 
            a += ', %d failed' % total_fail_count
618
 
        # if self.unsupported:
619
 
        #     a += ', %d missing' % len(self.unsupported)
 
383
        if self.error_count:
 
384
            a += ', %d err' % self.error_count
 
385
        if self.failure_count:
 
386
            a += ', %d fail' % self.failure_count
 
387
        if self.unsupported:
 
388
            a += ', %d missing' % len(self.unsupported)
620
389
        a += ']'
621
390
        return a
622
391
 
623
392
    def report_test_start(self, test):
 
393
        self.count += 1
624
394
        self.pb.update(
625
395
                self._progress_prefix_text()
626
 
                + ' '
 
396
                + ' ' 
627
397
                + self._shortened_test_description(test))
628
398
 
629
399
    def _test_description(self, test):
630
400
        return self._shortened_test_description(test)
631
401
 
632
402
    def report_error(self, test, err):
633
 
        self.stream.write('ERROR: %s\n    %s\n' % (
 
403
        self.pb.note('ERROR: %s\n    %s\n', 
634
404
            self._test_description(test),
635
405
            err[1],
636
 
            ))
 
406
            )
637
407
 
638
408
    def report_failure(self, test, err):
639
 
        self.stream.write('FAIL: %s\n    %s\n' % (
 
409
        self.pb.note('FAIL: %s\n    %s\n', 
640
410
            self._test_description(test),
641
411
            err[1],
642
 
            ))
 
412
            )
643
413
 
644
414
    def report_known_failure(self, test, err):
645
 
        pass
646
 
 
647
 
    def report_unexpected_success(self, test, reason):
648
 
        self.stream.write('FAIL: %s\n    %s: %s\n' % (
649
 
            self._test_description(test),
650
 
            "Unexpected success. Should have failed",
651
 
            reason,
652
 
            ))
653
 
 
654
 
    def report_skip(self, test, reason):
655
 
        pass
656
 
 
657
 
    def report_not_applicable(self, test, reason):
 
415
        self.pb.note('XFAIL: %s\n%s\n',
 
416
            self._test_description(test), err[1])
 
417
 
 
418
    def report_skip(self, test, skip_excinfo):
 
419
        pass
 
420
 
 
421
    def report_not_applicable(self, test, skip_excinfo):
658
422
        pass
659
423
 
660
424
    def report_unsupported(self, test, feature):
661
425
        """test cannot be run because feature is missing."""
 
426
                  
 
427
    def report_cleaning_up(self):
 
428
        self.pb.update('cleaning up...')
 
429
 
 
430
    def finished(self):
 
431
        if not self._supplied_pb:
 
432
            self.pb.finished()
662
433
 
663
434
 
664
435
class VerboseTestResult(ExtendedTestResult):
672
443
            result = a_string
673
444
        return result.ljust(final_width)
674
445
 
675
 
    def report_tests_starting(self):
 
446
    def report_starting(self):
676
447
        self.stream.write('running %d tests...\n' % self.num_tests)
677
 
        super(VerboseTestResult, self).report_tests_starting()
678
448
 
679
449
    def report_test_start(self, test):
 
450
        self.count += 1
680
451
        name = self._shortened_test_description(test)
681
 
        width = osutils.terminal_width()
682
 
        if width is not None:
683
 
            # width needs space for 6 char status, plus 1 for slash, plus an
684
 
            # 11-char time string, plus a trailing blank
685
 
            # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on
686
 
            # space
687
 
            self.stream.write(self._ellipsize_to_right(name, width-18))
688
 
        else:
689
 
            self.stream.write(name)
 
452
        # width needs space for 6 char status, plus 1 for slash, plus 2 10-char
 
453
        # numbers, plus a trailing blank
 
454
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
455
        self.stream.write(self._ellipsize_to_right(name,
 
456
                          osutils.terminal_width()-30))
690
457
        self.stream.flush()
691
458
 
692
459
    def _error_summary(self, err):
694
461
        return '%s%s' % (indent, err[1])
695
462
 
696
463
    def report_error(self, test, err):
697
 
        self.stream.write('ERROR %s\n%s\n'
 
464
        self.stream.writeln('ERROR %s\n%s'
698
465
                % (self._testTimeString(test),
699
466
                   self._error_summary(err)))
700
467
 
701
468
    def report_failure(self, test, err):
702
 
        self.stream.write(' FAIL %s\n%s\n'
 
469
        self.stream.writeln(' FAIL %s\n%s'
703
470
                % (self._testTimeString(test),
704
471
                   self._error_summary(err)))
705
472
 
706
473
    def report_known_failure(self, test, err):
707
 
        self.stream.write('XFAIL %s\n%s\n'
 
474
        self.stream.writeln('XFAIL %s\n%s'
708
475
                % (self._testTimeString(test),
709
476
                   self._error_summary(err)))
710
477
 
711
 
    def report_unexpected_success(self, test, reason):
712
 
        self.stream.write(' FAIL %s\n%s: %s\n'
713
 
                % (self._testTimeString(test),
714
 
                   "Unexpected success. Should have failed",
715
 
                   reason))
716
 
 
717
478
    def report_success(self, test):
718
 
        self.stream.write('   OK %s\n' % self._testTimeString(test))
 
479
        self.stream.writeln('   OK %s' % self._testTimeString(test))
719
480
        for bench_called, stats in getattr(test, '_benchcalls', []):
720
 
            self.stream.write('LSProf output for %s(%s, %s)\n' % bench_called)
 
481
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
721
482
            stats.pprint(file=self.stream)
722
483
        # flush the stream so that we get smooth output. This verbose mode is
723
484
        # used to show the output in PQM.
724
485
        self.stream.flush()
725
486
 
726
 
    def report_skip(self, test, reason):
727
 
        self.stream.write(' SKIP %s\n%s\n'
728
 
                % (self._testTimeString(test), reason))
 
487
    def report_skip(self, test, skip_excinfo):
 
488
        self.stream.writeln(' SKIP %s\n%s'
 
489
                % (self._testTimeString(test),
 
490
                   self._error_summary(skip_excinfo)))
729
491
 
730
 
    def report_not_applicable(self, test, reason):
731
 
        self.stream.write('  N/A %s\n    %s\n'
732
 
                % (self._testTimeString(test), reason))
 
492
    def report_not_applicable(self, test, skip_excinfo):
 
493
        self.stream.writeln('  N/A %s\n%s'
 
494
                % (self._testTimeString(test),
 
495
                   self._error_summary(skip_excinfo)))
733
496
 
734
497
    def report_unsupported(self, test, feature):
735
498
        """test cannot be run because feature is missing."""
736
 
        self.stream.write("NODEP %s\n    The feature '%s' is not available.\n"
 
499
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
737
500
                %(self._testTimeString(test), feature))
738
501
 
739
502
 
745
508
                 descriptions=0,
746
509
                 verbosity=1,
747
510
                 bench_history=None,
748
 
                 strict=False,
749
 
                 result_decorators=None,
 
511
                 list_only=False
750
512
                 ):
751
 
        """Create a TextTestRunner.
752
 
 
753
 
        :param result_decorators: An optional list of decorators to apply
754
 
            to the result object being used by the runner. Decorators are
755
 
            applied left to right - the first element in the list is the 
756
 
            innermost decorator.
757
 
        """
758
 
        # stream may know claim to know to write unicode strings, but in older
759
 
        # pythons this goes sufficiently wrong that it is a bad idea. (
760
 
        # specifically a built in file with encoding 'UTF-8' will still try
761
 
        # to encode using ascii.
762
 
        new_encoding = osutils.get_terminal_encoding()
763
 
        codec = codecs.lookup(new_encoding)
764
 
        if type(codec) is tuple:
765
 
            # Python 2.4
766
 
            encode = codec[0]
767
 
        else:
768
 
            encode = codec.encode
769
 
        # GZ 2010-09-08: Really we don't want to be writing arbitrary bytes,
770
 
        #                so should swap to the plain codecs.StreamWriter
771
 
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream,
772
 
            "backslashreplace")
773
 
        stream.encoding = new_encoding
774
 
        self.stream = stream
 
513
        self.stream = unittest._WritelnDecorator(stream)
775
514
        self.descriptions = descriptions
776
515
        self.verbosity = verbosity
777
516
        self._bench_history = bench_history
778
 
        self._strict = strict
779
 
        self._result_decorators = result_decorators or []
 
517
        self.list_only = list_only
780
518
 
781
519
    def run(self, test):
782
520
        "Run the given test case or test suite."
 
521
        startTime = time.time()
783
522
        if self.verbosity == 1:
784
523
            result_class = TextTestResult
785
524
        elif self.verbosity >= 2:
786
525
            result_class = VerboseTestResult
787
 
        original_result = result_class(self.stream,
 
526
        result = result_class(self.stream,
788
527
                              self.descriptions,
789
528
                              self.verbosity,
790
529
                              bench_history=self._bench_history,
791
 
                              strict=self._strict,
 
530
                              num_tests=test.countTestCases(),
792
531
                              )
793
 
        # Signal to result objects that look at stop early policy to stop,
794
 
        original_result.stop_early = self.stop_on_failure
795
 
        result = original_result
796
 
        for decorator in self._result_decorators:
797
 
            result = decorator(result)
798
 
            result.stop_early = self.stop_on_failure
799
 
        result.startTestRun()
800
 
        try:
 
532
        result.stop_early = self.stop_on_failure
 
533
        result.report_starting()
 
534
        if self.list_only:
 
535
            if self.verbosity >= 2:
 
536
                self.stream.writeln("Listing tests only ...\n")
 
537
            run = 0
 
538
            for t in iter_suite_tests(test):
 
539
                self.stream.writeln("%s" % (t.id()))
 
540
                run += 1
 
541
            actionTaken = "Listed"
 
542
        else: 
801
543
            test.run(result)
802
 
        finally:
803
 
            result.stopTestRun()
804
 
        # higher level code uses our extended protocol to determine
805
 
        # what exit code to give.
806
 
        return original_result
 
544
            run = result.testsRun
 
545
            actionTaken = "Ran"
 
546
        stopTime = time.time()
 
547
        timeTaken = stopTime - startTime
 
548
        result.printErrors()
 
549
        self.stream.writeln(result.separator2)
 
550
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
551
                            run, run != 1 and "s" or "", timeTaken))
 
552
        self.stream.writeln()
 
553
        if not result.wasSuccessful():
 
554
            self.stream.write("FAILED (")
 
555
            failed, errored = map(len, (result.failures, result.errors))
 
556
            if failed:
 
557
                self.stream.write("failures=%d" % failed)
 
558
            if errored:
 
559
                if failed: self.stream.write(", ")
 
560
                self.stream.write("errors=%d" % errored)
 
561
            if result.known_failure_count:
 
562
                if failed or errored: self.stream.write(", ")
 
563
                self.stream.write("known_failure_count=%d" %
 
564
                    result.known_failure_count)
 
565
            self.stream.writeln(")")
 
566
        else:
 
567
            if result.known_failure_count:
 
568
                self.stream.writeln("OK (known_failures=%d)" %
 
569
                    result.known_failure_count)
 
570
            else:
 
571
                self.stream.writeln("OK")
 
572
        if result.skip_count > 0:
 
573
            skipped = result.skip_count
 
574
            self.stream.writeln('%d test%s skipped' %
 
575
                                (skipped, skipped != 1 and "s" or ""))
 
576
        if result.unsupported:
 
577
            for feature, count in sorted(result.unsupported.items()):
 
578
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
579
                    (feature, count))
 
580
        result.finished()
 
581
        return result
807
582
 
808
583
 
809
584
def iter_suite_tests(suite):
810
585
    """Return all tests in a suite, recursing through nested suites"""
811
 
    if isinstance(suite, unittest.TestCase):
812
 
        yield suite
813
 
    elif isinstance(suite, unittest.TestSuite):
814
 
        for item in suite:
 
586
    for item in suite._tests:
 
587
        if isinstance(item, unittest.TestCase):
 
588
            yield item
 
589
        elif isinstance(item, unittest.TestSuite):
815
590
            for r in iter_suite_tests(item):
816
591
                yield r
817
 
    else:
818
 
        raise Exception('unknown type %r for object %r'
819
 
                        % (type(suite), suite))
820
 
 
821
 
 
822
 
TestSkipped = testtools.testcase.TestSkipped
 
592
        else:
 
593
            raise Exception('unknown object %r inside test suite %r'
 
594
                            % (item, suite))
 
595
 
 
596
 
 
597
class TestSkipped(Exception):
 
598
    """Indicates that a test was intentionally skipped, rather than failing."""
823
599
 
824
600
 
825
601
class TestNotApplicable(TestSkipped):
826
602
    """A test is not applicable to the situation where it was run.
827
603
 
828
 
    This is only normally raised by parameterized tests, if they find that
829
 
    the instance they're constructed upon does not support one aspect
 
604
    This is only normally raised by parameterized tests, if they find that 
 
605
    the instance they're constructed upon does not support one aspect 
830
606
    of its interface.
831
607
    """
832
608
 
833
609
 
834
 
# traceback._some_str fails to format exceptions that have the default
835
 
# __str__ which does an implicit ascii conversion. However, repr() on those
836
 
# objects works, for all that its not quite what the doctor may have ordered.
837
 
def _clever_some_str(value):
838
 
    try:
839
 
        return str(value)
840
 
    except:
841
 
        try:
842
 
            return repr(value).replace('\\n', '\n')
843
 
        except:
844
 
            return '<unprintable %s object>' % type(value).__name__
845
 
 
846
 
traceback._some_str = _clever_some_str
847
 
 
848
 
 
849
 
# deprecated - use self.knownFailure(), or self.expectFailure.
850
 
KnownFailure = testtools.testcase._ExpectedFailure
 
610
class KnownFailure(AssertionError):
 
611
    """Indicates that a test failed in a precisely expected manner.
 
612
 
 
613
    Such failures dont block the whole test suite from passing because they are
 
614
    indicators of partially completed code or of future work. We have an
 
615
    explicit error for them so that we can ensure that they are always visible:
 
616
    KnownFailures are always shown in the output of bzr selftest.
 
617
    """
851
618
 
852
619
 
853
620
class UnavailableFeature(Exception):
854
621
    """A feature required for this test was not available.
855
622
 
856
 
    This can be considered a specialised form of SkippedTest.
857
 
 
858
623
    The feature should be used to construct the exception.
859
624
    """
860
625
 
861
626
 
 
627
class CommandFailed(Exception):
 
628
    pass
 
629
 
 
630
 
862
631
class StringIOWrapper(object):
863
632
    """A wrapper around cStringIO which just adds an encoding attribute.
864
 
 
 
633
    
865
634
    Internally we can check sys.stdout to see what the output encoding
866
635
    should be. However, cStringIO has no encoding attribute that we can
867
636
    set. So we wrap it instead.
885
654
            return setattr(self._cstring, name, val)
886
655
 
887
656
 
888
 
class TestUIFactory(TextUIFactory):
 
657
class TestUIFactory(ui.CLIUIFactory):
889
658
    """A UI Factory for testing.
890
659
 
891
660
    Hide the progress bar but emit note()s.
892
661
    Redirect stdin.
893
662
    Allows get_password to be tested without real tty attached.
894
 
 
895
 
    See also CannedInputUIFactory which lets you provide programmatic input in
896
 
    a structured way.
897
663
    """
898
 
    # TODO: Capture progress events at the model level and allow them to be
899
 
    # observed by tests that care.
900
 
    #
901
 
    # XXX: Should probably unify more with CannedInputUIFactory or a
902
 
    # particular configuration of TextUIFactory, or otherwise have a clearer
903
 
    # idea of how they're supposed to be different.
904
 
    # See https://bugs.launchpad.net/bzr/+bug/408213
905
664
 
906
 
    def __init__(self, stdout=None, stderr=None, stdin=None):
 
665
    def __init__(self,
 
666
                 stdout=None,
 
667
                 stderr=None,
 
668
                 stdin=None):
 
669
        super(TestUIFactory, self).__init__()
907
670
        if stdin is not None:
908
671
            # We use a StringIOWrapper to be able to test various
909
672
            # encodings, but the user is still responsible to
910
673
            # encode the string and to set the encoding attribute
911
674
            # of StringIOWrapper.
912
 
            stdin = StringIOWrapper(stdin)
913
 
        super(TestUIFactory, self).__init__(stdin, stdout, stderr)
914
 
 
915
 
    def get_non_echoed_password(self):
 
675
            self.stdin = StringIOWrapper(stdin)
 
676
        if stdout is None:
 
677
            self.stdout = sys.stdout
 
678
        else:
 
679
            self.stdout = stdout
 
680
        if stderr is None:
 
681
            self.stderr = sys.stderr
 
682
        else:
 
683
            self.stderr = stderr
 
684
 
 
685
    def clear(self):
 
686
        """See progress.ProgressBar.clear()."""
 
687
 
 
688
    def clear_term(self):
 
689
        """See progress.ProgressBar.clear_term()."""
 
690
 
 
691
    def clear_term(self):
 
692
        """See progress.ProgressBar.clear_term()."""
 
693
 
 
694
    def finished(self):
 
695
        """See progress.ProgressBar.finished()."""
 
696
 
 
697
    def note(self, fmt_string, *args, **kwargs):
 
698
        """See progress.ProgressBar.note()."""
 
699
        self.stdout.write((fmt_string + "\n") % args)
 
700
 
 
701
    def progress_bar(self):
 
702
        return self
 
703
 
 
704
    def nested_progress_bar(self):
 
705
        return self
 
706
 
 
707
    def update(self, message, count=None, total=None):
 
708
        """See progress.ProgressBar.update()."""
 
709
 
 
710
    def get_non_echoed_password(self, prompt):
916
711
        """Get password from stdin without trying to handle the echo mode"""
 
712
        if prompt:
 
713
            self.stdout.write(prompt.encode(self.stdout.encoding, 'replace'))
917
714
        password = self.stdin.readline()
918
715
        if not password:
919
716
            raise EOFError
921
718
            password = password[:-1]
922
719
        return password
923
720
 
924
 
    def make_progress_view(self):
925
 
        return NullProgressView()
926
 
 
927
 
 
928
 
def isolated_doctest_setUp(test):
929
 
    override_os_environ(test)
930
 
 
931
 
 
932
 
def isolated_doctest_tearDown(test):
933
 
    restore_os_environ(test)
934
 
 
935
 
 
936
 
def IsolatedDocTestSuite(*args, **kwargs):
937
 
    """Overrides doctest.DocTestSuite to handle isolation.
938
 
 
939
 
    The method is really a factory and users are expected to use it as such.
940
 
    """
941
 
 
942
 
    kwargs['setUp'] = isolated_doctest_setUp
943
 
    kwargs['tearDown'] = isolated_doctest_tearDown
944
 
    return doctest.DocTestSuite(*args, **kwargs)
945
 
 
946
 
 
947
 
class TestCase(testtools.TestCase):
 
721
 
 
722
def _report_leaked_threads():
 
723
    bzrlib.trace.warning('%s is leaking threads among %d leaking tests',
 
724
                         TestCase._first_thread_leaker_id,
 
725
                         TestCase._leaking_threads_tests)
 
726
 
 
727
 
 
728
class TestCase(unittest.TestCase):
948
729
    """Base class for bzr unit tests.
949
 
 
950
 
    Tests that need access to disk resources should subclass
 
730
    
 
731
    Tests that need access to disk resources should subclass 
951
732
    TestCaseInTempDir not TestCase.
952
733
 
953
734
    Error and debug log messages are redirected from their usual
955
736
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
956
737
    so that it can also capture file IO.  When the test completes this file
957
738
    is read into memory and removed from disk.
958
 
 
 
739
       
959
740
    There are also convenience functions to invoke bzr's command-line
960
741
    routine, and to build and check bzr trees.
961
 
 
 
742
   
962
743
    In addition to the usual method of overriding tearDown(), this class also
963
 
    allows subclasses to register cleanup functions via addCleanup, which are
 
744
    allows subclasses to register functions into the _cleanups list, which is
964
745
    run in order as the object is torn down.  It's less likely this will be
965
746
    accidentally overlooked.
966
747
    """
967
748
 
968
 
    _log_file = None
 
749
    _active_threads = None
 
750
    _leaking_threads_tests = 0
 
751
    _first_thread_leaker_id = None
 
752
    _log_file_name = None
 
753
    _log_contents = ''
 
754
    _keep_log_file = False
969
755
    # record lsprof data when performing benchmark calls.
970
756
    _gather_lsprof_in_benchmarks = False
 
757
    attrs_to_keep = ('id', '_testMethodName', '_testMethodDoc',
 
758
                     '_log_contents', '_log_file_name', '_benchtime',
 
759
                     '_TestCase__testMethodName')
971
760
 
972
761
    def __init__(self, methodName='testMethod'):
973
762
        super(TestCase, self).__init__(methodName)
974
 
        self._directory_isolation = True
975
 
        self.exception_handlers.insert(0,
976
 
            (UnavailableFeature, self._do_unsupported_or_skip))
977
 
        self.exception_handlers.insert(0,
978
 
            (TestNotApplicable, self._do_not_applicable))
 
763
        self._cleanups = []
979
764
 
980
765
    def setUp(self):
981
 
        super(TestCase, self).setUp()
982
 
        for feature in getattr(self, '_test_needs_features', []):
983
 
            self.requireFeature(feature)
 
766
        unittest.TestCase.setUp(self)
984
767
        self._cleanEnvironment()
985
768
        self._silenceUI()
986
769
        self._startLogFile()
987
770
        self._benchcalls = []
988
771
        self._benchtime = None
989
772
        self._clear_hooks()
990
 
        self._track_transports()
991
 
        self._track_locks()
992
773
        self._clear_debug_flags()
993
 
        # Isolate global verbosity level, to make sure it's reproducible
994
 
        # between tests.  We should get rid of this altogether: bug 656694. --
995
 
        # mbp 20101008
996
 
        self.overrideAttr(bzrlib.trace, '_verbosity_level', 0)
997
 
        # Isolate config option expansion until its default value for bzrlib is
998
 
        # settled on or a the FIXME associated with _get_expand_default_value
999
 
        # is addressed -- vila 20110219
1000
 
        self.overrideAttr(config, '_expand_default_value', None)
1001
 
        self._log_files = set()
1002
 
        # Each key in the ``_counters`` dict holds a value for a different
1003
 
        # counter. When the test ends, addDetail() should be used to output the
1004
 
        # counter values. This happens in install_counter_hook().
1005
 
        self._counters = {}
1006
 
        if 'config_stats' in selftest_debug_flags:
1007
 
            self._install_config_stats_hooks()
1008
 
 
1009
 
    def debug(self):
1010
 
        # debug a frame up.
1011
 
        import pdb
1012
 
        pdb.Pdb().set_trace(sys._getframe().f_back)
1013
 
 
1014
 
    def discardDetail(self, name):
1015
 
        """Extend the addDetail, getDetails api so we can remove a detail.
1016
 
 
1017
 
        eg. bzr always adds the 'log' detail at startup, but we don't want to
1018
 
        include it for skipped, xfail, etc tests.
1019
 
 
1020
 
        It is safe to call this for a detail that doesn't exist, in case this
1021
 
        gets called multiple times.
1022
 
        """
1023
 
        # We cheat. details is stored in __details which means we shouldn't
1024
 
        # touch it. but getDetails() returns the dict directly, so we can
1025
 
        # mutate it.
1026
 
        details = self.getDetails()
1027
 
        if name in details:
1028
 
            del details[name]
1029
 
 
1030
 
    def install_counter_hook(self, hooks, name, counter_name=None):
1031
 
        """Install a counting hook.
1032
 
 
1033
 
        Any hook can be counted as long as it doesn't need to return a value.
1034
 
 
1035
 
        :param hooks: Where the hook should be installed.
1036
 
 
1037
 
        :param name: The hook name that will be counted.
1038
 
 
1039
 
        :param counter_name: The counter identifier in ``_counters``, defaults
1040
 
            to ``name``.
1041
 
        """
1042
 
        _counters = self._counters # Avoid closing over self
1043
 
        if counter_name is None:
1044
 
            counter_name = name
1045
 
        if _counters.has_key(counter_name):
1046
 
            raise AssertionError('%s is already used as a counter name'
1047
 
                                  % (counter_name,))
1048
 
        _counters[counter_name] = 0
1049
 
        self.addDetail(counter_name, content.Content(content.UTF8_TEXT,
1050
 
            lambda: ['%d' % (_counters[counter_name],)]))
1051
 
        def increment_counter(*args, **kwargs):
1052
 
            _counters[counter_name] += 1
1053
 
        label = 'count %s calls' % (counter_name,)
1054
 
        hooks.install_named_hook(name, increment_counter, label)
1055
 
        self.addCleanup(hooks.uninstall_named_hook, name, label)
1056
 
 
1057
 
    def _install_config_stats_hooks(self):
1058
 
        """Install config hooks to count hook calls.
1059
 
 
1060
 
        """
1061
 
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
1062
 
            self.install_counter_hook(config.ConfigHooks, hook_name,
1063
 
                                       'config.%s' % (hook_name,))
1064
 
 
1065
 
        # The OldConfigHooks are private and need special handling to protect
1066
 
        # against recursive tests (tests that run other tests), so we just do
1067
 
        # manually what registering them into _builtin_known_hooks will provide
1068
 
        # us.
1069
 
        self.overrideAttr(config, 'OldConfigHooks', config._OldConfigHooks())
1070
 
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
1071
 
            self.install_counter_hook(config.OldConfigHooks, hook_name,
1072
 
                                      'old_config.%s' % (hook_name,))
 
774
        TestCase._active_threads = threading.activeCount()
 
775
        self.addCleanup(self._check_leaked_threads)
 
776
 
 
777
    def _check_leaked_threads(self):
 
778
        active = threading.activeCount()
 
779
        leaked_threads = active - TestCase._active_threads
 
780
        TestCase._active_threads = active
 
781
        if leaked_threads:
 
782
            TestCase._leaking_threads_tests += 1
 
783
            if TestCase._first_thread_leaker_id is None:
 
784
                TestCase._first_thread_leaker_id = self.id()
 
785
                # we're not specifically told when all tests are finished.
 
786
                # This will do. We use a function to avoid keeping a reference
 
787
                # to a TestCase object.
 
788
                atexit.register(_report_leaked_threads)
1073
789
 
1074
790
    def _clear_debug_flags(self):
1075
791
        """Prevent externally set debug flags affecting tests.
1076
 
 
 
792
        
1077
793
        Tests that want to use debug flags can just set them in the
1078
794
        debug_flags set during setup/teardown.
1079
795
        """
1080
 
        # Start with a copy of the current debug flags we can safely modify.
1081
 
        self.overrideAttr(debug, 'debug_flags', set(debug.debug_flags))
1082
796
        if 'allow_debug' not in selftest_debug_flags:
 
797
            self._preserved_debug_flags = set(debug.debug_flags)
1083
798
            debug.debug_flags.clear()
1084
 
        if 'disable_lock_checks' not in selftest_debug_flags:
1085
 
            debug.debug_flags.add('strict_locks')
 
799
            self.addCleanup(self._restore_debug_flags)
1086
800
 
1087
801
    def _clear_hooks(self):
1088
802
        # prevent hooks affecting tests
1089
 
        known_hooks = hooks.known_hooks
1090
 
        self._preserved_hooks = {}
1091
 
        for key, (parent, name) in known_hooks.iter_parent_objects():
1092
 
            current_hooks = getattr(parent, name)
1093
 
            self._preserved_hooks[parent] = (name, current_hooks)
1094
 
        self._preserved_lazy_hooks = hooks._lazy_hooks
1095
 
        hooks._lazy_hooks = {}
 
803
        import bzrlib.branch
 
804
        import bzrlib.smart.server
 
805
        self._preserved_hooks = {
 
806
            bzrlib.branch.Branch: bzrlib.branch.Branch.hooks,
 
807
            bzrlib.mutabletree.MutableTree: bzrlib.mutabletree.MutableTree.hooks,
 
808
            bzrlib.smart.server.SmartTCPServer: bzrlib.smart.server.SmartTCPServer.hooks,
 
809
            }
1096
810
        self.addCleanup(self._restoreHooks)
1097
 
        for key, (parent, name) in known_hooks.iter_parent_objects():
1098
 
            factory = known_hooks.get(key)
1099
 
            setattr(parent, name, factory())
1100
 
        # this hook should always be installed
1101
 
        request._install_hook()
1102
 
 
1103
 
    def disable_directory_isolation(self):
1104
 
        """Turn off directory isolation checks."""
1105
 
        self._directory_isolation = False
1106
 
 
1107
 
    def enable_directory_isolation(self):
1108
 
        """Enable directory isolation checks."""
1109
 
        self._directory_isolation = True
 
811
        # reset all hooks to an empty instance of the appropriate type
 
812
        bzrlib.branch.Branch.hooks = bzrlib.branch.BranchHooks()
 
813
        bzrlib.smart.server.SmartTCPServer.hooks = bzrlib.smart.server.SmartServerHooks()
1110
814
 
1111
815
    def _silenceUI(self):
1112
816
        """Turn off UI for duration of test"""
1113
817
        # by default the UI is off; tests can turn it on if they want it.
1114
 
        self.overrideAttr(ui, 'ui_factory', ui.SilentUIFactory())
1115
 
 
1116
 
    def _check_locks(self):
1117
 
        """Check that all lock take/release actions have been paired."""
1118
 
        # We always check for mismatched locks. If a mismatch is found, we
1119
 
        # fail unless -Edisable_lock_checks is supplied to selftest, in which
1120
 
        # case we just print a warning.
1121
 
        # unhook:
1122
 
        acquired_locks = [lock for action, lock in self._lock_actions
1123
 
                          if action == 'acquired']
1124
 
        released_locks = [lock for action, lock in self._lock_actions
1125
 
                          if action == 'released']
1126
 
        broken_locks = [lock for action, lock in self._lock_actions
1127
 
                        if action == 'broken']
1128
 
        # trivially, given the tests for lock acquistion and release, if we
1129
 
        # have as many in each list, it should be ok. Some lock tests also
1130
 
        # break some locks on purpose and should be taken into account by
1131
 
        # considering that breaking a lock is just a dirty way of releasing it.
1132
 
        if len(acquired_locks) != (len(released_locks) + len(broken_locks)):
1133
 
            message = (
1134
 
                'Different number of acquired and '
1135
 
                'released or broken locks.\n'
1136
 
                'acquired=%s\n'
1137
 
                'released=%s\n'
1138
 
                'broken=%s\n' %
1139
 
                (acquired_locks, released_locks, broken_locks))
1140
 
            if not self._lock_check_thorough:
1141
 
                # Rather than fail, just warn
1142
 
                print "Broken test %s: %s" % (self, message)
1143
 
                return
1144
 
            self.fail(message)
1145
 
 
1146
 
    def _track_locks(self):
1147
 
        """Track lock activity during tests."""
1148
 
        self._lock_actions = []
1149
 
        if 'disable_lock_checks' in selftest_debug_flags:
1150
 
            self._lock_check_thorough = False
1151
 
        else:
1152
 
            self._lock_check_thorough = True
1153
 
 
1154
 
        self.addCleanup(self._check_locks)
1155
 
        _mod_lock.Lock.hooks.install_named_hook('lock_acquired',
1156
 
                                                self._lock_acquired, None)
1157
 
        _mod_lock.Lock.hooks.install_named_hook('lock_released',
1158
 
                                                self._lock_released, None)
1159
 
        _mod_lock.Lock.hooks.install_named_hook('lock_broken',
1160
 
                                                self._lock_broken, None)
1161
 
 
1162
 
    def _lock_acquired(self, result):
1163
 
        self._lock_actions.append(('acquired', result))
1164
 
 
1165
 
    def _lock_released(self, result):
1166
 
        self._lock_actions.append(('released', result))
1167
 
 
1168
 
    def _lock_broken(self, result):
1169
 
        self._lock_actions.append(('broken', result))
1170
 
 
1171
 
    def permit_dir(self, name):
1172
 
        """Permit a directory to be used by this test. See permit_url."""
1173
 
        name_transport = _mod_transport.get_transport_from_path(name)
1174
 
        self.permit_url(name)
1175
 
        self.permit_url(name_transport.base)
1176
 
 
1177
 
    def permit_url(self, url):
1178
 
        """Declare that url is an ok url to use in this test.
1179
 
        
1180
 
        Do this for memory transports, temporary test directory etc.
1181
 
        
1182
 
        Do not do this for the current working directory, /tmp, or any other
1183
 
        preexisting non isolated url.
1184
 
        """
1185
 
        if not url.endswith('/'):
1186
 
            url += '/'
1187
 
        self._bzr_selftest_roots.append(url)
1188
 
 
1189
 
    def permit_source_tree_branch_repo(self):
1190
 
        """Permit the source tree bzr is running from to be opened.
1191
 
 
1192
 
        Some code such as bzrlib.version attempts to read from the bzr branch
1193
 
        that bzr is executing from (if any). This method permits that directory
1194
 
        to be used in the test suite.
1195
 
        """
1196
 
        path = self.get_source_path()
1197
 
        self.record_directory_isolation()
1198
 
        try:
1199
 
            try:
1200
 
                workingtree.WorkingTree.open(path)
1201
 
            except (errors.NotBranchError, errors.NoWorkingTree):
1202
 
                raise TestSkipped('Needs a working tree of bzr sources')
1203
 
        finally:
1204
 
            self.enable_directory_isolation()
1205
 
 
1206
 
    def _preopen_isolate_transport(self, transport):
1207
 
        """Check that all transport openings are done in the test work area."""
1208
 
        while isinstance(transport, pathfilter.PathFilteringTransport):
1209
 
            # Unwrap pathfiltered transports
1210
 
            transport = transport.server.backing_transport.clone(
1211
 
                transport._filter('.'))
1212
 
        url = transport.base
1213
 
        # ReadonlySmartTCPServer_for_testing decorates the backing transport
1214
 
        # urls it is given by prepending readonly+. This is appropriate as the
1215
 
        # client shouldn't know that the server is readonly (or not readonly).
1216
 
        # We could register all servers twice, with readonly+ prepending, but
1217
 
        # that makes for a long list; this is about the same but easier to
1218
 
        # read.
1219
 
        if url.startswith('readonly+'):
1220
 
            url = url[len('readonly+'):]
1221
 
        self._preopen_isolate_url(url)
1222
 
 
1223
 
    def _preopen_isolate_url(self, url):
1224
 
        if not self._directory_isolation:
1225
 
            return
1226
 
        if self._directory_isolation == 'record':
1227
 
            self._bzr_selftest_roots.append(url)
1228
 
            return
1229
 
        # This prevents all transports, including e.g. sftp ones backed on disk
1230
 
        # from working unless they are explicitly granted permission. We then
1231
 
        # depend on the code that sets up test transports to check that they are
1232
 
        # appropriately isolated and enable their use by calling
1233
 
        # self.permit_transport()
1234
 
        if not osutils.is_inside_any(self._bzr_selftest_roots, url):
1235
 
            raise errors.BzrError("Attempt to escape test isolation: %r %r"
1236
 
                % (url, self._bzr_selftest_roots))
1237
 
 
1238
 
    def record_directory_isolation(self):
1239
 
        """Gather accessed directories to permit later access.
1240
 
        
1241
 
        This is used for tests that access the branch bzr is running from.
1242
 
        """
1243
 
        self._directory_isolation = "record"
1244
 
 
1245
 
    def start_server(self, transport_server, backing_server=None):
1246
 
        """Start transport_server for this test.
1247
 
 
1248
 
        This starts the server, registers a cleanup for it and permits the
1249
 
        server's urls to be used.
1250
 
        """
1251
 
        if backing_server is None:
1252
 
            transport_server.start_server()
1253
 
        else:
1254
 
            transport_server.start_server(backing_server)
1255
 
        self.addCleanup(transport_server.stop_server)
1256
 
        # Obtain a real transport because if the server supplies a password, it
1257
 
        # will be hidden from the base on the client side.
1258
 
        t = _mod_transport.get_transport_from_url(transport_server.get_url())
1259
 
        # Some transport servers effectively chroot the backing transport;
1260
 
        # others like SFTPServer don't - users of the transport can walk up the
1261
 
        # transport to read the entire backing transport. This wouldn't matter
1262
 
        # except that the workdir tests are given - and that they expect the
1263
 
        # server's url to point at - is one directory under the safety net. So
1264
 
        # Branch operations into the transport will attempt to walk up one
1265
 
        # directory. Chrooting all servers would avoid this but also mean that
1266
 
        # we wouldn't be testing directly against non-root urls. Alternatively
1267
 
        # getting the test framework to start the server with a backing server
1268
 
        # at the actual safety net directory would work too, but this then
1269
 
        # means that the self.get_url/self.get_transport methods would need
1270
 
        # to transform all their results. On balance its cleaner to handle it
1271
 
        # here, and permit a higher url when we have one of these transports.
1272
 
        if t.base.endswith('/work/'):
1273
 
            # we have safety net/test root/work
1274
 
            t = t.clone('../..')
1275
 
        elif isinstance(transport_server,
1276
 
                        test_server.SmartTCPServer_for_testing):
1277
 
            # The smart server adds a path similar to work, which is traversed
1278
 
            # up from by the client. But the server is chrooted - the actual
1279
 
            # backing transport is not escaped from, and VFS requests to the
1280
 
            # root will error (because they try to escape the chroot).
1281
 
            t2 = t.clone('..')
1282
 
            while t2.base != t.base:
1283
 
                t = t2
1284
 
                t2 = t.clone('..')
1285
 
        self.permit_url(t.base)
1286
 
 
1287
 
    def _track_transports(self):
1288
 
        """Install checks for transport usage."""
1289
 
        # TestCase has no safe place it can write to.
1290
 
        self._bzr_selftest_roots = []
1291
 
        # Currently the easiest way to be sure that nothing is going on is to
1292
 
        # hook into bzr dir opening. This leaves a small window of error for
1293
 
        # transport tests, but they are well known, and we can improve on this
1294
 
        # step.
1295
 
        bzrdir.BzrDir.hooks.install_named_hook("pre_open",
1296
 
            self._preopen_isolate_transport, "Check bzr directories are safe.")
 
818
        saved = ui.ui_factory
 
819
        def _restore():
 
820
            ui.ui_factory = saved
 
821
        ui.ui_factory = ui.SilentUIFactory()
 
822
        self.addCleanup(_restore)
1297
823
 
1298
824
    def _ndiff_strings(self, a, b):
1299
825
        """Return ndiff between two strings containing lines.
1300
 
 
 
826
        
1301
827
        A trailing newline is added if missing to make the strings
1302
828
        print properly."""
1303
829
        if b and b[-1] != '\n':
1317
843
        except UnicodeError, e:
1318
844
            # If we can't compare without getting a UnicodeError, then
1319
845
            # obviously they are different
1320
 
            trace.mutter('UnicodeError: %s', e)
 
846
            mutter('UnicodeError: %s', e)
1321
847
        if message:
1322
848
            message += '\n'
1323
849
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
1324
850
            % (message,
1325
 
               pprint.pformat(a), pprint.pformat(b)))
 
851
               pformat(a), pformat(b)))
1326
852
 
1327
853
    assertEquals = assertEqual
1328
854
 
1329
855
    def assertEqualDiff(self, a, b, message=None):
1330
856
        """Assert two texts are equal, if not raise an exception.
1331
 
 
1332
 
        This is intended for use with multi-line strings where it can
 
857
        
 
858
        This is intended for use with multi-line strings where it can 
1333
859
        be hard to find the differences by eye.
1334
860
        """
1335
861
        # TODO: perhaps override assertEquals to call this for strings?
1337
863
            return
1338
864
        if message is None:
1339
865
            message = "texts not equal:\n"
 
866
        if a == b + '\n':
 
867
            message = 'first string is missing a final newline.\n'
1340
868
        if a + '\n' == b:
1341
 
            message = 'first string is missing a final newline.\n'
1342
 
        if a == b + '\n':
1343
869
            message = 'second string is missing a final newline.\n'
1344
870
        raise AssertionError(message +
1345
871
                             self._ndiff_strings(a, b))
1346
 
 
 
872
        
1347
873
    def assertEqualMode(self, mode, mode_test):
1348
874
        self.assertEqual(mode, mode_test,
1349
875
                         'mode mismatch %o != %o' % (mode, mode_test))
1350
876
 
1351
 
    def assertEqualStat(self, expected, actual):
1352
 
        """assert that expected and actual are the same stat result.
1353
 
 
1354
 
        :param expected: A stat result.
1355
 
        :param actual: A stat result.
1356
 
        :raises AssertionError: If the expected and actual stat values differ
1357
 
            other than by atime.
1358
 
        """
1359
 
        self.assertEqual(expected.st_size, actual.st_size,
1360
 
                         'st_size did not match')
1361
 
        self.assertEqual(expected.st_mtime, actual.st_mtime,
1362
 
                         'st_mtime did not match')
1363
 
        self.assertEqual(expected.st_ctime, actual.st_ctime,
1364
 
                         'st_ctime did not match')
1365
 
        if sys.platform == 'win32':
1366
 
            # On Win32 both 'dev' and 'ino' cannot be trusted. In python2.4 it
1367
 
            # is 'dev' that varies, in python 2.5 (6?) it is st_ino that is
1368
 
            # odd. We just force it to always be 0 to avoid any problems.
1369
 
            self.assertEqual(0, expected.st_dev)
1370
 
            self.assertEqual(0, actual.st_dev)
1371
 
            self.assertEqual(0, expected.st_ino)
1372
 
            self.assertEqual(0, actual.st_ino)
1373
 
        else:
1374
 
            self.assertEqual(expected.st_dev, actual.st_dev,
1375
 
                             'st_dev did not match')
1376
 
            self.assertEqual(expected.st_ino, actual.st_ino,
1377
 
                             'st_ino did not match')
1378
 
        self.assertEqual(expected.st_mode, actual.st_mode,
1379
 
                         'st_mode did not match')
1380
 
 
1381
 
    def assertLength(self, length, obj_with_len):
1382
 
        """Assert that obj_with_len is of length length."""
1383
 
        if len(obj_with_len) != length:
1384
 
            self.fail("Incorrect length: wanted %d, got %d for %r" % (
1385
 
                length, len(obj_with_len), obj_with_len))
1386
 
 
1387
 
    def assertLogsError(self, exception_class, func, *args, **kwargs):
1388
 
        """Assert that `func(*args, **kwargs)` quietly logs a specific error.
1389
 
        """
1390
 
        captured = []
1391
 
        orig_log_exception_quietly = trace.log_exception_quietly
1392
 
        try:
1393
 
            def capture():
1394
 
                orig_log_exception_quietly()
1395
 
                captured.append(sys.exc_info()[1])
1396
 
            trace.log_exception_quietly = capture
1397
 
            func(*args, **kwargs)
1398
 
        finally:
1399
 
            trace.log_exception_quietly = orig_log_exception_quietly
1400
 
        self.assertLength(1, captured)
1401
 
        err = captured[0]
1402
 
        self.assertIsInstance(err, exception_class)
1403
 
        return err
1404
 
 
1405
877
    def assertPositive(self, val):
1406
878
        """Assert that val is greater than 0."""
1407
879
        self.assertTrue(val > 0, 'expected a positive value, but got %s' % val)
1419
891
        if not s.endswith(suffix):
1420
892
            raise AssertionError('string %r does not end with %r' % (s, suffix))
1421
893
 
1422
 
    def assertContainsRe(self, haystack, needle_re, flags=0):
 
894
    def assertContainsRe(self, haystack, needle_re):
1423
895
        """Assert that a contains something matching a regular expression."""
1424
 
        if not re.search(needle_re, haystack, flags):
 
896
        if not re.search(needle_re, haystack):
1425
897
            if '\n' in haystack or len(haystack) > 60:
1426
898
                # a long string, format it in a more readable way
1427
899
                raise AssertionError(
1431
903
                raise AssertionError('pattern "%s" not found in "%s"'
1432
904
                        % (needle_re, haystack))
1433
905
 
1434
 
    def assertNotContainsRe(self, haystack, needle_re, flags=0):
 
906
    def assertNotContainsRe(self, haystack, needle_re):
1435
907
        """Assert that a does not match a regular expression"""
1436
 
        if re.search(needle_re, haystack, flags):
 
908
        if re.search(needle_re, haystack):
1437
909
            raise AssertionError('pattern "%s" found in "%s"'
1438
910
                    % (needle_re, haystack))
1439
911
 
1440
 
    def assertContainsString(self, haystack, needle):
1441
 
        if haystack.find(needle) == -1:
1442
 
            self.fail("string %r not found in '''%s'''" % (needle, haystack))
1443
 
 
1444
 
    def assertNotContainsString(self, haystack, needle):
1445
 
        if haystack.find(needle) != -1:
1446
 
            self.fail("string %r found in '''%s'''" % (needle, haystack))
1447
 
 
1448
912
    def assertSubset(self, sublist, superlist):
1449
913
        """Assert that every entry in sublist is present in superlist."""
1450
914
        missing = set(sublist) - set(superlist)
1454
918
 
1455
919
    def assertListRaises(self, excClass, func, *args, **kwargs):
1456
920
        """Fail unless excClass is raised when the iterator from func is used.
1457
 
 
 
921
        
1458
922
        Many functions can return generators this makes sure
1459
923
        to wrap them in a list() call to make sure the whole generator
1460
924
        is run, and that the proper exception is raised.
1507
971
                raise AssertionError("%r is %r." % (left, right))
1508
972
 
1509
973
    def assertTransportMode(self, transport, path, mode):
1510
 
        """Fail if a path does not have mode "mode".
1511
 
 
 
974
        """Fail if a path does not have mode mode.
 
975
        
1512
976
        If modes are not supported on this transport, the assertion is ignored.
1513
977
        """
1514
978
        if not transport._can_roundtrip_unix_modebits():
1516
980
        path_stat = transport.stat(path)
1517
981
        actual_mode = stat.S_IMODE(path_stat.st_mode)
1518
982
        self.assertEqual(mode, actual_mode,
1519
 
                         'mode of %r incorrect (%s != %s)'
1520
 
                         % (path, oct(mode), oct(actual_mode)))
 
983
            'mode of %r incorrect (%o != %o)' % (path, mode, actual_mode))
1521
984
 
1522
985
    def assertIsSameRealPath(self, path1, path2):
1523
986
        """Fail if path1 and path2 points to different files"""
1525
988
                         osutils.realpath(path2),
1526
989
                         "apparent paths:\na = %s\nb = %s\n," % (path1, path2))
1527
990
 
1528
 
    def assertIsInstance(self, obj, kls, msg=None):
1529
 
        """Fail if obj is not an instance of kls
1530
 
        
1531
 
        :param msg: Supplementary message to show if the assertion fails.
1532
 
        """
 
991
    def assertIsInstance(self, obj, kls):
 
992
        """Fail if obj is not an instance of kls"""
1533
993
        if not isinstance(obj, kls):
1534
 
            m = "%r is an instance of %s rather than %s" % (
1535
 
                obj, obj.__class__, kls)
1536
 
            if msg:
1537
 
                m += ": " + msg
1538
 
            self.fail(m)
 
994
            self.fail("%r is an instance of %s rather than %s" % (
 
995
                obj, obj.__class__, kls))
 
996
 
 
997
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
998
        """Invoke a test, expecting it to fail for the given reason.
 
999
 
 
1000
        This is for assertions that ought to succeed, but currently fail.
 
1001
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
1002
        about the failure you're expecting.  If a new bug is introduced,
 
1003
        AssertionError should be raised, not KnownFailure.
 
1004
 
 
1005
        Frequently, expectFailure should be followed by an opposite assertion.
 
1006
        See example below.
 
1007
 
 
1008
        Intended to be used with a callable that raises AssertionError as the
 
1009
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
1010
 
 
1011
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
1012
        test succeeds.
 
1013
 
 
1014
        example usage::
 
1015
 
 
1016
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
1017
                             dynamic_val)
 
1018
          self.assertEqual(42, dynamic_val)
 
1019
 
 
1020
          This means that a dynamic_val of 54 will cause the test to raise
 
1021
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
1022
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
1023
          than 54 or 42 will cause an AssertionError.
 
1024
        """
 
1025
        try:
 
1026
            assertion(*args, **kwargs)
 
1027
        except AssertionError:
 
1028
            raise KnownFailure(reason)
 
1029
        else:
 
1030
            self.fail('Unexpected success.  Should have failed: %s' % reason)
1539
1031
 
1540
1032
    def assertFileEqual(self, content, path):
1541
1033
        """Fail if path does not contain 'content'."""
1542
 
        self.assertPathExists(path)
 
1034
        self.failUnlessExists(path)
1543
1035
        f = file(path, 'rb')
1544
1036
        try:
1545
1037
            s = f.read()
1547
1039
            f.close()
1548
1040
        self.assertEqualDiff(content, s)
1549
1041
 
1550
 
    def assertDocstring(self, expected_docstring, obj):
1551
 
        """Fail if obj does not have expected_docstring"""
1552
 
        if __doc__ is None:
1553
 
            # With -OO the docstring should be None instead
1554
 
            self.assertIs(obj.__doc__, None)
1555
 
        else:
1556
 
            self.assertEqual(expected_docstring, obj.__doc__)
1557
 
 
1558
 
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1559
1042
    def failUnlessExists(self, path):
1560
 
        return self.assertPathExists(path)
1561
 
 
1562
 
    def assertPathExists(self, path):
1563
1043
        """Fail unless path or paths, which may be abs or relative, exist."""
1564
1044
        if not isinstance(path, basestring):
1565
1045
            for p in path:
1566
 
                self.assertPathExists(p)
 
1046
                self.failUnlessExists(p)
1567
1047
        else:
1568
 
            self.assertTrue(osutils.lexists(path),
1569
 
                path + " does not exist")
 
1048
            self.failUnless(osutils.lexists(path),path+" does not exist")
1570
1049
 
1571
 
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1572
1050
    def failIfExists(self, path):
1573
 
        return self.assertPathDoesNotExist(path)
1574
 
 
1575
 
    def assertPathDoesNotExist(self, path):
1576
1051
        """Fail if path or paths, which may be abs or relative, exist."""
1577
1052
        if not isinstance(path, basestring):
1578
1053
            for p in path:
1579
 
                self.assertPathDoesNotExist(p)
 
1054
                self.failIfExists(p)
1580
1055
        else:
1581
 
            self.assertFalse(osutils.lexists(path),
1582
 
                path + " exists")
 
1056
            self.failIf(osutils.lexists(path),path+" exists")
1583
1057
 
1584
1058
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
1585
1059
        """A helper for callDeprecated and applyDeprecated.
1611
1085
        not other callers that go direct to the warning module.
1612
1086
 
1613
1087
        To test that a deprecated method raises an error, do something like
1614
 
        this (remember that both assertRaises and applyDeprecated delays *args
1615
 
        and **kwargs passing)::
 
1088
        this::
1616
1089
 
1617
1090
            self.assertRaises(errors.ReservedId,
1618
1091
                self.applyDeprecated,
1658
1131
        # warnings.  It's the easiest way to insulate ourselves from -Werror,
1659
1132
        # though.  -- Andrew, 20071062
1660
1133
        wlist = []
1661
 
        def _catcher(message, category, filename, lineno, file=None, line=None):
 
1134
        def _catcher(message, category, filename, lineno, file=None):
1662
1135
            # despite the name, 'message' is normally(?) a Warning subclass
1663
1136
            # instance
1664
1137
            wlist.append(message)
1676
1149
    def callDeprecated(self, expected, callable, *args, **kwargs):
1677
1150
        """Assert that a callable is deprecated in a particular way.
1678
1151
 
1679
 
        This is a very precise test for unusual requirements. The
 
1152
        This is a very precise test for unusual requirements. The 
1680
1153
        applyDeprecated helper function is probably more suited for most tests
1681
1154
        as it allows you to simply specify the deprecation format being used
1682
1155
        and will ensure that that is issued for the function being called.
1700
1173
 
1701
1174
        The file is removed as the test is torn down.
1702
1175
        """
1703
 
        pseudo_log_file = StringIO()
1704
 
        def _get_log_contents_for_weird_testtools_api():
1705
 
            return [pseudo_log_file.getvalue().decode(
1706
 
                "utf-8", "replace").encode("utf-8")]
1707
 
        self.addDetail("log", content.Content(content.ContentType("text",
1708
 
            "plain", {"charset": "utf8"}),
1709
 
            _get_log_contents_for_weird_testtools_api))
1710
 
        self._log_file = pseudo_log_file
1711
 
        self._log_memento = trace.push_log_file(self._log_file)
 
1176
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
 
1177
        self._log_file = os.fdopen(fileno, 'w+')
 
1178
        self._log_memento = bzrlib.trace.push_log_file(self._log_file)
 
1179
        self._log_file_name = name
1712
1180
        self.addCleanup(self._finishLogFile)
1713
1181
 
1714
1182
    def _finishLogFile(self):
1715
1183
        """Finished with the log file.
1716
1184
 
1717
 
        Close the file and delete it.
1718
 
        """
1719
 
        if trace._trace_file:
1720
 
            # flush the log file, to get all content
1721
 
            trace._trace_file.flush()
1722
 
        trace.pop_log_file(self._log_memento)
1723
 
 
1724
 
    def thisFailsStrictLockCheck(self):
1725
 
        """It is known that this test would fail with -Dstrict_locks.
1726
 
 
1727
 
        By default, all tests are run with strict lock checking unless
1728
 
        -Edisable_lock_checks is supplied. However there are some tests which
1729
 
        we know fail strict locks at this point that have not been fixed.
1730
 
        They should call this function to disable the strict checking.
1731
 
 
1732
 
        This should be used sparingly, it is much better to fix the locking
1733
 
        issues rather than papering over the problem by calling this function.
1734
 
        """
1735
 
        debug.debug_flags.discard('strict_locks')
1736
 
 
1737
 
    def overrideAttr(self, obj, attr_name, new=_unitialized_attr):
1738
 
        """Overrides an object attribute restoring it after the test.
1739
 
 
1740
 
        :note: This should be used with discretion; you should think about
1741
 
        whether it's better to make the code testable without monkey-patching.
1742
 
 
1743
 
        :param obj: The object that will be mutated.
1744
 
 
1745
 
        :param attr_name: The attribute name we want to preserve/override in
1746
 
            the object.
1747
 
 
1748
 
        :param new: The optional value we want to set the attribute to.
1749
 
 
1750
 
        :returns: The actual attr value.
1751
 
        """
1752
 
        value = getattr(obj, attr_name)
1753
 
        # The actual value is captured by the call below
1754
 
        self.addCleanup(setattr, obj, attr_name, value)
1755
 
        if new is not _unitialized_attr:
1756
 
            setattr(obj, attr_name, new)
1757
 
        return value
1758
 
 
1759
 
    def overrideEnv(self, name, new):
1760
 
        """Set an environment variable, and reset it after the test.
1761
 
 
1762
 
        :param name: The environment variable name.
1763
 
 
1764
 
        :param new: The value to set the variable to. If None, the 
1765
 
            variable is deleted from the environment.
1766
 
 
1767
 
        :returns: The actual variable value.
1768
 
        """
1769
 
        value = osutils.set_or_unset_env(name, new)
1770
 
        self.addCleanup(osutils.set_or_unset_env, name, value)
1771
 
        return value
1772
 
 
1773
 
    def recordCalls(self, obj, attr_name):
1774
 
        """Monkeypatch in a wrapper that will record calls.
1775
 
 
1776
 
        The monkeypatch is automatically removed when the test concludes.
1777
 
 
1778
 
        :param obj: The namespace holding the reference to be replaced;
1779
 
            typically a module, class, or object.
1780
 
        :param attr_name: A string for the name of the attribute to 
1781
 
            patch.
1782
 
        :returns: A list that will be extended with one item every time the
1783
 
            function is called, with a tuple of (args, kwargs).
1784
 
        """
1785
 
        calls = []
1786
 
 
1787
 
        def decorator(*args, **kwargs):
1788
 
            calls.append((args, kwargs))
1789
 
            return orig(*args, **kwargs)
1790
 
        orig = self.overrideAttr(obj, attr_name, decorator)
1791
 
        return calls
 
1185
        Close the file and delete it, unless setKeepLogfile was called.
 
1186
        """
 
1187
        if self._log_file is None:
 
1188
            return
 
1189
        bzrlib.trace.pop_log_file(self._log_memento)
 
1190
        self._log_file.close()
 
1191
        self._log_file = None
 
1192
        if not self._keep_log_file:
 
1193
            os.remove(self._log_file_name)
 
1194
            self._log_file_name = None
 
1195
 
 
1196
    def setKeepLogfile(self):
 
1197
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1198
        self._keep_log_file = True
 
1199
 
 
1200
    def addCleanup(self, callable, *args, **kwargs):
 
1201
        """Arrange to run a callable when this case is torn down.
 
1202
 
 
1203
        Callables are run in the reverse of the order they are registered, 
 
1204
        ie last-in first-out.
 
1205
        """
 
1206
        self._cleanups.append((callable, args, kwargs))
1792
1207
 
1793
1208
    def _cleanEnvironment(self):
1794
 
        for name, value in isolated_environ.iteritems():
1795
 
            self.overrideEnv(name, value)
 
1209
        new_env = {
 
1210
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
 
1211
            'HOME': os.getcwd(),
 
1212
            'APPDATA': None,  # bzr now use Win32 API and don't rely on APPDATA
 
1213
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
1214
            'BZR_EMAIL': None,
 
1215
            'BZREMAIL': None, # may still be present in the environment
 
1216
            'EMAIL': None,
 
1217
            'BZR_PROGRESS_BAR': None,
 
1218
            'BZR_LOG': None,
 
1219
            # SSH Agent
 
1220
            'SSH_AUTH_SOCK': None,
 
1221
            # Proxies
 
1222
            'http_proxy': None,
 
1223
            'HTTP_PROXY': None,
 
1224
            'https_proxy': None,
 
1225
            'HTTPS_PROXY': None,
 
1226
            'no_proxy': None,
 
1227
            'NO_PROXY': None,
 
1228
            'all_proxy': None,
 
1229
            'ALL_PROXY': None,
 
1230
            # Nobody cares about these ones AFAIK. So far at
 
1231
            # least. If you do (care), please update this comment
 
1232
            # -- vila 20061212
 
1233
            'ftp_proxy': None,
 
1234
            'FTP_PROXY': None,
 
1235
            'BZR_REMOTE_PATH': None,
 
1236
        }
 
1237
        self.__old_env = {}
 
1238
        self.addCleanup(self._restoreEnvironment)
 
1239
        for name, value in new_env.iteritems():
 
1240
            self._captureVar(name, value)
 
1241
 
 
1242
    def _captureVar(self, name, newvalue):
 
1243
        """Set an environment variable, and reset it when finished."""
 
1244
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1245
 
 
1246
    def _restore_debug_flags(self):
 
1247
        debug.debug_flags.clear()
 
1248
        debug.debug_flags.update(self._preserved_debug_flags)
 
1249
 
 
1250
    def _restoreEnvironment(self):
 
1251
        for name, value in self.__old_env.iteritems():
 
1252
            osutils.set_or_unset_env(name, value)
1796
1253
 
1797
1254
    def _restoreHooks(self):
1798
 
        for klass, (name, hooks) in self._preserved_hooks.items():
1799
 
            setattr(klass, name, hooks)
1800
 
        self._preserved_hooks.clear()
1801
 
        bzrlib.hooks._lazy_hooks = self._preserved_lazy_hooks
1802
 
        self._preserved_lazy_hooks.clear()
 
1255
        for klass, hooks in self._preserved_hooks.items():
 
1256
            setattr(klass, 'hooks', hooks)
1803
1257
 
1804
1258
    def knownFailure(self, reason):
1805
 
        """Declare that this test fails for a known reason
1806
 
 
1807
 
        Tests that are known to fail should generally be using expectedFailure
1808
 
        with an appropriate reverse assertion if a change could cause the test
1809
 
        to start passing. Conversely if the test has no immediate prospect of
1810
 
        succeeding then using skip is more suitable.
1811
 
 
1812
 
        When this method is called while an exception is being handled, that
1813
 
        traceback will be used, otherwise a new exception will be thrown to
1814
 
        provide one but won't be reported.
1815
 
        """
1816
 
        self._add_reason(reason)
 
1259
        """This test has failed for some known reason."""
 
1260
        raise KnownFailure(reason)
 
1261
 
 
1262
    def run(self, result=None):
 
1263
        if result is None: result = self.defaultTestResult()
 
1264
        for feature in getattr(self, '_test_needs_features', []):
 
1265
            if not feature.available():
 
1266
                result.startTest(self)
 
1267
                if getattr(result, 'addNotSupported', None):
 
1268
                    result.addNotSupported(self, feature)
 
1269
                else:
 
1270
                    result.addSuccess(self)
 
1271
                result.stopTest(self)
 
1272
                return
1817
1273
        try:
1818
 
            exc_info = sys.exc_info()
1819
 
            if exc_info != (None, None, None):
1820
 
                self._report_traceback(exc_info)
1821
 
            else:
1822
 
                try:
1823
 
                    raise self.failureException(reason)
1824
 
                except self.failureException:
1825
 
                    exc_info = sys.exc_info()
1826
 
            # GZ 02-08-2011: Maybe cleanup this err.exc_info attribute too?
1827
 
            raise testtools.testcase._ExpectedFailure(exc_info)
 
1274
            return unittest.TestCase.run(self, result)
1828
1275
        finally:
1829
 
            del exc_info
1830
 
 
1831
 
    def _suppress_log(self):
1832
 
        """Remove the log info from details."""
1833
 
        self.discardDetail('log')
1834
 
 
1835
 
    def _do_skip(self, result, reason):
1836
 
        self._suppress_log()
1837
 
        addSkip = getattr(result, 'addSkip', None)
1838
 
        if not callable(addSkip):
1839
 
            result.addSuccess(result)
1840
 
        else:
1841
 
            addSkip(self, reason)
1842
 
 
1843
 
    @staticmethod
1844
 
    def _do_known_failure(self, result, e):
1845
 
        self._suppress_log()
1846
 
        err = sys.exc_info()
1847
 
        addExpectedFailure = getattr(result, 'addExpectedFailure', None)
1848
 
        if addExpectedFailure is not None:
1849
 
            addExpectedFailure(self, err)
1850
 
        else:
1851
 
            result.addSuccess(self)
1852
 
 
1853
 
    @staticmethod
1854
 
    def _do_not_applicable(self, result, e):
1855
 
        if not e.args:
1856
 
            reason = 'No reason given'
1857
 
        else:
1858
 
            reason = e.args[0]
1859
 
        self._suppress_log ()
1860
 
        addNotApplicable = getattr(result, 'addNotApplicable', None)
1861
 
        if addNotApplicable is not None:
1862
 
            result.addNotApplicable(self, reason)
1863
 
        else:
1864
 
            self._do_skip(result, reason)
1865
 
 
1866
 
    @staticmethod
1867
 
    def _report_skip(self, result, err):
1868
 
        """Override the default _report_skip.
1869
 
 
1870
 
        We want to strip the 'log' detail. If we waint until _do_skip, it has
1871
 
        already been formatted into the 'reason' string, and we can't pull it
1872
 
        out again.
1873
 
        """
1874
 
        self._suppress_log()
1875
 
        super(TestCase, self)._report_skip(self, result, err)
1876
 
 
1877
 
    @staticmethod
1878
 
    def _report_expected_failure(self, result, err):
1879
 
        """Strip the log.
1880
 
 
1881
 
        See _report_skip for motivation.
1882
 
        """
1883
 
        self._suppress_log()
1884
 
        super(TestCase, self)._report_expected_failure(self, result, err)
1885
 
 
1886
 
    @staticmethod
1887
 
    def _do_unsupported_or_skip(self, result, e):
1888
 
        reason = e.args[0]
1889
 
        self._suppress_log()
1890
 
        addNotSupported = getattr(result, 'addNotSupported', None)
1891
 
        if addNotSupported is not None:
1892
 
            result.addNotSupported(self, reason)
1893
 
        else:
1894
 
            self._do_skip(result, reason)
 
1276
            saved_attrs = {}
 
1277
            absent_attr = object()
 
1278
            for attr_name in self.attrs_to_keep:
 
1279
                attr = getattr(self, attr_name, absent_attr)
 
1280
                if attr is not absent_attr:
 
1281
                    saved_attrs[attr_name] = attr
 
1282
            self.__dict__ = saved_attrs
 
1283
 
 
1284
    def tearDown(self):
 
1285
        self._runCleanups()
 
1286
        unittest.TestCase.tearDown(self)
1895
1287
 
1896
1288
    def time(self, callable, *args, **kwargs):
1897
1289
        """Run callable and accrue the time it takes to the benchmark time.
1898
 
 
 
1290
        
1899
1291
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
1900
1292
        this will cause lsprofile statistics to be gathered and stored in
1901
1293
        self._benchcalls.
1902
1294
        """
1903
1295
        if self._benchtime is None:
1904
 
            self.addDetail('benchtime', content.Content(content.ContentType(
1905
 
                "text", "plain"), lambda:[str(self._benchtime)]))
1906
1296
            self._benchtime = 0
1907
1297
        start = time.time()
1908
1298
        try:
1917
1307
        finally:
1918
1308
            self._benchtime += time.time() - start
1919
1309
 
 
1310
    def _runCleanups(self):
 
1311
        """Run registered cleanup functions. 
 
1312
 
 
1313
        This should only be called from TestCase.tearDown.
 
1314
        """
 
1315
        # TODO: Perhaps this should keep running cleanups even if 
 
1316
        # one of them fails?
 
1317
 
 
1318
        # Actually pop the cleanups from the list so tearDown running
 
1319
        # twice is safe (this happens for skipped tests).
 
1320
        while self._cleanups:
 
1321
            cleanup, args, kwargs = self._cleanups.pop()
 
1322
            cleanup(*args, **kwargs)
 
1323
 
1920
1324
    def log(self, *args):
1921
 
        trace.mutter(*args)
1922
 
 
1923
 
    def get_log(self):
1924
 
        """Get a unicode string containing the log from bzrlib.trace.
1925
 
 
1926
 
        Undecodable characters are replaced.
 
1325
        mutter(*args)
 
1326
 
 
1327
    def _get_log(self, keep_log_file=False):
 
1328
        """Get the log from bzrlib.trace calls from this test.
 
1329
 
 
1330
        :param keep_log_file: When True, if the log is still a file on disk
 
1331
            leave it as a file on disk. When False, if the log is still a file
 
1332
            on disk, the log file is deleted and the log preserved as
 
1333
            self._log_contents.
 
1334
        :return: A string containing the log.
1927
1335
        """
1928
 
        return u"".join(self.getDetails()['log'].iter_text())
 
1336
        # flush the log file, to get all content
 
1337
        import bzrlib.trace
 
1338
        bzrlib.trace._trace_file.flush()
 
1339
        if self._log_contents:
 
1340
            # XXX: this can hardly contain the content flushed above --vila
 
1341
            # 20080128
 
1342
            return self._log_contents
 
1343
        if self._log_file_name is not None:
 
1344
            logfile = open(self._log_file_name)
 
1345
            try:
 
1346
                log_contents = logfile.read()
 
1347
            finally:
 
1348
                logfile.close()
 
1349
            if not keep_log_file:
 
1350
                self._log_contents = log_contents
 
1351
                try:
 
1352
                    os.remove(self._log_file_name)
 
1353
                except OSError, e:
 
1354
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
 
1355
                        sys.stderr.write(('Unable to delete log file '
 
1356
                                             ' %r\n' % self._log_file_name))
 
1357
                    else:
 
1358
                        raise
 
1359
            return log_contents
 
1360
        else:
 
1361
            return "DELETED log file to reduce memory footprint"
1929
1362
 
1930
1363
    def requireFeature(self, feature):
1931
1364
        """This test requires a specific feature is available.
1948
1381
 
1949
1382
    def _run_bzr_core(self, args, retcode, encoding, stdin,
1950
1383
            working_dir):
1951
 
        # Clear chk_map page cache, because the contents are likely to mask
1952
 
        # locking errors.
1953
 
        chk_map.clear_cache()
1954
1384
        if encoding is None:
1955
 
            encoding = osutils.get_user_encoding()
 
1385
            encoding = bzrlib.user_encoding
1956
1386
        stdout = StringIOWrapper()
1957
1387
        stderr = StringIOWrapper()
1958
1388
        stdout.encoding = encoding
1973
1403
            os.chdir(working_dir)
1974
1404
 
1975
1405
        try:
1976
 
            try:
1977
 
                result = self.apply_redirected(
1978
 
                    ui.ui_factory.stdin,
1979
 
                    stdout, stderr,
1980
 
                    _mod_commands.run_bzr_catch_user_errors,
1981
 
                    args)
1982
 
            except KeyboardInterrupt:
1983
 
                # Reraise KeyboardInterrupt with contents of redirected stdout
1984
 
                # and stderr as arguments, for tests which are interested in
1985
 
                # stdout and stderr and are expecting the exception.
1986
 
                out = stdout.getvalue()
1987
 
                err = stderr.getvalue()
1988
 
                if out:
1989
 
                    self.log('output:\n%r', out)
1990
 
                if err:
1991
 
                    self.log('errors:\n%r', err)
1992
 
                raise KeyboardInterrupt(out, err)
 
1406
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1407
                stdout, stderr,
 
1408
                bzrlib.commands.run_bzr_catch_user_errors,
 
1409
                args)
1993
1410
        finally:
1994
1411
            logger.removeHandler(handler)
1995
1412
            ui.ui_factory = old_ui_factory
2005
1422
        if retcode is not None:
2006
1423
            self.assertEquals(retcode, result,
2007
1424
                              message='Unexpected return code')
2008
 
        return result, out, err
 
1425
        return out, err
2009
1426
 
2010
1427
    def run_bzr(self, args, retcode=0, encoding=None, stdin=None,
2011
1428
                working_dir=None, error_regexes=[], output_encoding=None):
2016
1433
        passed in three ways:
2017
1434
 
2018
1435
        1- A list of strings, eg ["commit", "a"].  This is recommended
2019
 
        when the command contains whitespace or metacharacters, or
 
1436
        when the command contains whitespace or metacharacters, or 
2020
1437
        is built up at run time.
2021
1438
 
2022
 
        2- A single string, eg "add a".  This is the most convenient
 
1439
        2- A single string, eg "add a".  This is the most convenient 
2023
1440
        for hardcoded commands.
2024
1441
 
2025
1442
        This runs bzr through the interface that catches and reports
2040
1457
        :keyword error_regexes: A list of expected error messages.  If
2041
1458
            specified they must be seen in the error output of the command.
2042
1459
        """
2043
 
        retcode, out, err = self._run_bzr_autosplit(
 
1460
        out, err = self._run_bzr_autosplit(
2044
1461
            args=args,
2045
1462
            retcode=retcode,
2046
1463
            encoding=encoding,
2047
1464
            stdin=stdin,
2048
1465
            working_dir=working_dir,
2049
1466
            )
2050
 
        self.assertIsInstance(error_regexes, (list, tuple))
2051
1467
        for regex in error_regexes:
2052
1468
            self.assertContainsRe(err, regex)
2053
1469
        return out, err
2085
1501
    def run_bzr_subprocess(self, *args, **kwargs):
2086
1502
        """Run bzr in a subprocess for testing.
2087
1503
 
2088
 
        This starts a new Python interpreter and runs bzr in there.
 
1504
        This starts a new Python interpreter and runs bzr in there. 
2089
1505
        This should only be used for tests that have a justifiable need for
2090
1506
        this isolation: e.g. they are testing startup time, or signal
2091
 
        handling, or early startup code, etc.  Subprocess code can't be
 
1507
        handling, or early startup code, etc.  Subprocess code can't be 
2092
1508
        profiled or debugged so easily.
2093
1509
 
2094
1510
        :keyword retcode: The status code that is expected.  Defaults to 0.  If
2125
1541
    def start_bzr_subprocess(self, process_args, env_changes=None,
2126
1542
                             skip_if_plan_to_signal=False,
2127
1543
                             working_dir=None,
2128
 
                             allow_plugins=False, stderr=subprocess.PIPE):
 
1544
                             allow_plugins=False):
2129
1545
        """Start bzr in a subprocess for testing.
2130
1546
 
2131
1547
        This starts a new Python interpreter and runs bzr in there.
2140
1556
            variables. A value of None will unset the env variable.
2141
1557
            The values must be strings. The change will only occur in the
2142
1558
            child, so you don't need to fix the environment after running.
2143
 
        :param skip_if_plan_to_signal: raise TestSkipped when true and system
2144
 
            doesn't support signalling subprocesses.
 
1559
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1560
            is not available.
2145
1561
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
2146
 
        :param stderr: file to use for the subprocess's stderr.  Valid values
2147
 
            are those valid for the stderr argument of `subprocess.Popen`.
2148
 
            Default value is ``subprocess.PIPE``.
2149
1562
 
2150
1563
        :returns: Popen object for the started process.
2151
1564
        """
2152
1565
        if skip_if_plan_to_signal:
2153
 
            if os.name != "posix":
2154
 
                raise TestSkipped("Sending signals not supported")
 
1566
            if not getattr(os, 'kill', None):
 
1567
                raise TestSkipped("os.kill not available.")
2155
1568
 
2156
1569
        if env_changes is None:
2157
1570
            env_changes = {}
2177
1590
            # so we will avoid using it on all platforms, just to
2178
1591
            # make sure the code path is used, and we don't break on win32
2179
1592
            cleanup_environment()
2180
 
            # Include the subprocess's log file in the test details, in case
2181
 
            # the test fails due to an error in the subprocess.
2182
 
            self._add_subprocess_log(trace._get_bzr_log_filename())
2183
1593
            command = [sys.executable]
2184
1594
            # frozen executables don't need the path to bzr
2185
1595
            if getattr(sys, "frozen", None) is None:
2187
1597
            if not allow_plugins:
2188
1598
                command.append('--no-plugins')
2189
1599
            command.extend(process_args)
2190
 
            process = self._popen(command, stdin=subprocess.PIPE,
2191
 
                                  stdout=subprocess.PIPE,
2192
 
                                  stderr=stderr)
 
1600
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
2193
1601
        finally:
2194
1602
            restore_environment()
2195
1603
            if cwd is not None:
2197
1605
 
2198
1606
        return process
2199
1607
 
2200
 
    def _add_subprocess_log(self, log_file_path):
2201
 
        if len(self._log_files) == 0:
2202
 
            # Register an addCleanup func.  We do this on the first call to
2203
 
            # _add_subprocess_log rather than in TestCase.setUp so that this
2204
 
            # addCleanup is registered after any cleanups for tempdirs that
2205
 
            # subclasses might create, which will probably remove the log file
2206
 
            # we want to read.
2207
 
            self.addCleanup(self._subprocess_log_cleanup)
2208
 
        # self._log_files is a set, so if a log file is reused we won't grab it
2209
 
        # twice.
2210
 
        self._log_files.add(log_file_path)
2211
 
 
2212
 
    def _subprocess_log_cleanup(self):
2213
 
        for count, log_file_path in enumerate(self._log_files):
2214
 
            # We use buffer_now=True to avoid holding the file open beyond
2215
 
            # the life of this function, which might interfere with e.g.
2216
 
            # cleaning tempdirs on Windows.
2217
 
            # XXX: Testtools 0.9.5 doesn't have the content_from_file helper
2218
 
            #detail_content = content.content_from_file(
2219
 
            #    log_file_path, buffer_now=True)
2220
 
            with open(log_file_path, 'rb') as log_file:
2221
 
                log_file_bytes = log_file.read()
2222
 
            detail_content = content.Content(content.ContentType("text",
2223
 
                "plain", {"charset": "utf8"}), lambda: [log_file_bytes])
2224
 
            self.addDetail("start_bzr_subprocess-log-%d" % (count,),
2225
 
                detail_content)
2226
 
 
2227
1608
    def _popen(self, *args, **kwargs):
2228
1609
        """Place a call to Popen.
2229
1610
 
2230
1611
        Allows tests to override this method to intercept the calls made to
2231
1612
        Popen for introspection.
2232
1613
        """
2233
 
        return subprocess.Popen(*args, **kwargs)
2234
 
 
2235
 
    def get_source_path(self):
2236
 
        """Return the path of the directory containing bzrlib."""
2237
 
        return os.path.dirname(os.path.dirname(bzrlib.__file__))
 
1614
        return Popen(*args, **kwargs)
2238
1615
 
2239
1616
    def get_bzr_path(self):
2240
1617
        """Return the path of the 'bzr' executable for this test suite."""
2241
 
        bzr_path = os.path.join(self.get_source_path(), "bzr")
 
1618
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
2242
1619
        if not os.path.isfile(bzr_path):
2243
1620
            # We are probably installed. Assume sys.argv is the right file
2244
1621
            bzr_path = sys.argv[0]
2266
1643
        if retcode is not None and retcode != process.returncode:
2267
1644
            if process_args is None:
2268
1645
                process_args = "(unknown args)"
2269
 
            trace.mutter('Output of bzr %s:\n%s', process_args, out)
2270
 
            trace.mutter('Error for bzr %s:\n%s', process_args, err)
 
1646
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1647
            mutter('Error for bzr %s:\n%s', process_args, err)
2271
1648
            self.fail('Command bzr %s failed with retcode %s != %s'
2272
1649
                      % (process_args, retcode, process.returncode))
2273
1650
        return [out, err]
2274
1651
 
2275
 
    def check_tree_shape(self, tree, shape):
2276
 
        """Compare a tree to a list of expected names.
 
1652
    def check_inventory_shape(self, inv, shape):
 
1653
        """Compare an inventory to a list of expected names.
2277
1654
 
2278
1655
        Fail if they are not precisely equal.
2279
1656
        """
2280
1657
        extras = []
2281
1658
        shape = list(shape)             # copy
2282
 
        for path, ie in tree.iter_entries_by_dir():
 
1659
        for path, ie in inv.entries():
2283
1660
            name = path.replace('\\', '/')
2284
1661
            if ie.kind == 'directory':
2285
1662
                name = name + '/'
2286
 
            if name == "/":
2287
 
                pass # ignore root entry
2288
 
            elif name in shape:
 
1663
            if name in shape:
2289
1664
                shape.remove(name)
2290
1665
            else:
2291
1666
                extras.append(name)
2332
1707
 
2333
1708
        Tests that expect to provoke LockContention errors should call this.
2334
1709
        """
2335
 
        self.overrideAttr(lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
 
1710
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1711
        def resetTimeout():
 
1712
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1713
        self.addCleanup(resetTimeout)
 
1714
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
2336
1715
 
2337
1716
    def make_utf8_encoded_stringio(self, encoding_type=None):
2338
1717
        """Return a StringIOWrapper instance, that will encode Unicode
2346
1725
        sio.encoding = output_encoding
2347
1726
        return sio
2348
1727
 
2349
 
    def disable_verb(self, verb):
2350
 
        """Disable a smart server verb for one test."""
2351
 
        from bzrlib.smart import request
2352
 
        request_handlers = request.request_handlers
2353
 
        orig_method = request_handlers.get(verb)
2354
 
        request_handlers.remove(verb)
2355
 
        self.addCleanup(request_handlers.register, verb, orig_method)
2356
 
 
2357
 
 
2358
 
class CapturedCall(object):
2359
 
    """A helper for capturing smart server calls for easy debug analysis."""
2360
 
 
2361
 
    def __init__(self, params, prefix_length):
2362
 
        """Capture the call with params and skip prefix_length stack frames."""
2363
 
        self.call = params
2364
 
        import traceback
2365
 
        # The last 5 frames are the __init__, the hook frame, and 3 smart
2366
 
        # client frames. Beyond this we could get more clever, but this is good
2367
 
        # enough for now.
2368
 
        stack = traceback.extract_stack()[prefix_length:-5]
2369
 
        self.stack = ''.join(traceback.format_list(stack))
2370
 
 
2371
 
    def __str__(self):
2372
 
        return self.call.method
2373
 
 
2374
 
    def __repr__(self):
2375
 
        return self.call.method
2376
 
 
2377
 
    def stack(self):
2378
 
        return self.stack
2379
 
 
2380
1728
 
2381
1729
class TestCaseWithMemoryTransport(TestCase):
2382
1730
    """Common test class for tests that do not need disk resources.
2383
1731
 
2384
 
    Tests that need disk resources should derive from TestCaseInTempDir
2385
 
    orTestCaseWithTransport.
 
1732
    Tests that need disk resources should derive from TestCaseWithTransport.
2386
1733
 
2387
1734
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
2388
1735
 
2389
 
    For TestCaseWithMemoryTransport the ``test_home_dir`` is set to the name of
 
1736
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
2390
1737
    a directory which does not exist. This serves to help ensure test isolation
2391
 
    is preserved. ``test_dir`` is set to the TEST_ROOT, as is cwd, because they
2392
 
    must exist. However, TestCaseWithMemoryTransport does not offer local file
2393
 
    defaults for the transport in tests, nor does it obey the command line
 
1738
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
1739
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
1740
    file defaults for the transport in tests, nor does it obey the command line
2394
1741
    override, so tests that accidentally write to the common directory should
2395
1742
    be rare.
2396
1743
 
2397
 
    :cvar TEST_ROOT: Directory containing all temporary directories, plus a
2398
 
        ``.bzr`` directory that stops us ascending higher into the filesystem.
 
1744
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
 
1745
    a .bzr directory that stops us ascending higher into the filesystem.
2399
1746
    """
2400
1747
 
2401
1748
    TEST_ROOT = None
2403
1750
 
2404
1751
    def __init__(self, methodName='runTest'):
2405
1752
        # allow test parameterization after test construction and before test
2406
 
        # execution. Variables that the parameterizer sets need to be
 
1753
        # execution. Variables that the parameterizer sets need to be 
2407
1754
        # ones that are not set by setUp, or setUp will trash them.
2408
1755
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
2409
1756
        self.vfs_transport_factory = default_transport
2416
1763
 
2417
1764
        This transport is for the test scratch space relative to
2418
1765
        "self._test_root"
2419
 
 
 
1766
        
2420
1767
        :param relpath: a path relative to the base url.
2421
1768
        """
2422
 
        t = _mod_transport.get_transport_from_url(self.get_url(relpath))
 
1769
        t = get_transport(self.get_url(relpath))
2423
1770
        self.assertFalse(t.is_readonly())
2424
1771
        return t
2425
1772
 
2426
1773
    def get_readonly_transport(self, relpath=None):
2427
1774
        """Return a readonly transport for the test scratch space
2428
 
 
 
1775
        
2429
1776
        This can be used to test that operations which should only need
2430
1777
        readonly access in fact do not try to write.
2431
1778
 
2432
1779
        :param relpath: a path relative to the base url.
2433
1780
        """
2434
 
        t = _mod_transport.get_transport(self.get_readonly_url(relpath))
 
1781
        t = get_transport(self.get_readonly_url(relpath))
2435
1782
        self.assertTrue(t.is_readonly())
2436
1783
        return t
2437
1784
 
2450
1797
        if self.__readonly_server is None:
2451
1798
            if self.transport_readonly_server is None:
2452
1799
                # readonly decorator requested
2453
 
                self.__readonly_server = test_server.ReadonlyServer()
 
1800
                # bring up the server
 
1801
                self.__readonly_server = ReadonlyServer()
 
1802
                self.__readonly_server.setUp(self.get_vfs_only_server())
2454
1803
            else:
2455
 
                # explicit readonly transport.
2456
1804
                self.__readonly_server = self.create_transport_readonly_server()
2457
 
            self.start_server(self.__readonly_server,
2458
 
                self.get_vfs_only_server())
 
1805
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1806
            self.addCleanup(self.__readonly_server.tearDown)
2459
1807
        return self.__readonly_server
2460
1808
 
2461
1809
    def get_readonly_url(self, relpath=None):
2462
1810
        """Get a URL for the readonly transport.
2463
1811
 
2464
 
        This will either be backed by '.' or a decorator to the transport
 
1812
        This will either be backed by '.' or a decorator to the transport 
2465
1813
        used by self.get_url()
2466
1814
        relpath provides for clients to get a path relative to the base url.
2467
1815
        These should only be downwards relative, not upwards.
2479
1827
        is no means to override it.
2480
1828
        """
2481
1829
        if self.__vfs_server is None:
2482
 
            self.__vfs_server = memory.MemoryServer()
2483
 
            self.start_server(self.__vfs_server)
 
1830
            self.__vfs_server = MemoryServer()
 
1831
            self.__vfs_server.setUp()
 
1832
            self.addCleanup(self.__vfs_server.tearDown)
2484
1833
        return self.__vfs_server
2485
1834
 
2486
1835
    def get_server(self):
2493
1842
        then the self.get_vfs_server is returned.
2494
1843
        """
2495
1844
        if self.__server is None:
2496
 
            if (self.transport_server is None or self.transport_server is
2497
 
                self.vfs_transport_factory):
2498
 
                self.__server = self.get_vfs_only_server()
 
1845
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
1846
                return self.get_vfs_only_server()
2499
1847
            else:
2500
1848
                # bring up a decorated means of access to the vfs only server.
2501
1849
                self.__server = self.transport_server()
2502
 
                self.start_server(self.__server, self.get_vfs_only_server())
 
1850
                try:
 
1851
                    self.__server.setUp(self.get_vfs_only_server())
 
1852
                except TypeError, e:
 
1853
                    # This should never happen; the try:Except here is to assist
 
1854
                    # developers having to update code rather than seeing an
 
1855
                    # uninformative TypeError.
 
1856
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
1857
            self.addCleanup(self.__server.tearDown)
2503
1858
        return self.__server
2504
1859
 
2505
1860
    def _adjust_url(self, base, relpath):
2558
1913
        real branch.
2559
1914
        """
2560
1915
        root = TestCaseWithMemoryTransport.TEST_ROOT
2561
 
        wt = bzrdir.BzrDir.create_standalone_workingtree(root)
2562
 
        # Hack for speed: remember the raw bytes of the dirstate file so that
2563
 
        # we don't need to re-open the wt to check it hasn't changed.
2564
 
        TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE = (
2565
 
            wt.control_transport.get_bytes('dirstate'))
 
1916
        bzrdir.BzrDir.create_standalone_workingtree(root)
2566
1917
 
2567
1918
    def _check_safety_net(self):
2568
1919
        """Check that the safety .bzr directory have not been touched.
2571
1922
        propagating. This method ensures than a test did not leaked.
2572
1923
        """
2573
1924
        root = TestCaseWithMemoryTransport.TEST_ROOT
2574
 
        t = _mod_transport.get_transport(root)
2575
 
        self.permit_url(t.base)
2576
 
        if (t.get_bytes('.bzr/checkout/dirstate') != 
2577
 
                TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE):
 
1925
        wt = workingtree.WorkingTree.open(root)
 
1926
        last_rev = wt.last_revision()
 
1927
        if last_rev != 'null:':
2578
1928
            # The current test have modified the /bzr directory, we need to
2579
1929
            # recreate a new one or all the followng tests will fail.
2580
1930
            # If you need to inspect its content uncomment the following line
2581
1931
            # import pdb; pdb.set_trace()
2582
 
            _rmtree_temp_dir(root + '/.bzr', test_id=self.id())
 
1932
            _rmtree_temp_dir(root + '/.bzr')
2583
1933
            self._create_safety_net()
2584
1934
            raise AssertionError('%s/.bzr should not be modified' % root)
2585
1935
 
2586
1936
    def _make_test_root(self):
2587
1937
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
2588
 
            # Watch out for tricky test dir (on OSX /tmp -> /private/tmp)
2589
 
            root = osutils.realpath(osutils.mkdtemp(prefix='testbzr-',
2590
 
                                                    suffix='.tmp'))
 
1938
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
2591
1939
            TestCaseWithMemoryTransport.TEST_ROOT = root
2592
1940
 
2593
1941
            self._create_safety_net()
2596
1944
            # specifically told when all tests are finished.  This will do.
2597
1945
            atexit.register(_rmtree_temp_dir, root)
2598
1946
 
2599
 
        self.permit_dir(TestCaseWithMemoryTransport.TEST_ROOT)
2600
1947
        self.addCleanup(self._check_safety_net)
2601
1948
 
2602
1949
    def makeAndChdirToTestDir(self):
2603
1950
        """Create a temporary directories for this one test.
2604
 
 
 
1951
        
2605
1952
        This must set self.test_home_dir and self.test_dir and chdir to
2606
1953
        self.test_dir.
2607
 
 
 
1954
        
2608
1955
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
2609
1956
        """
2610
1957
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
2611
1958
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
2612
1959
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
2613
 
        self.permit_dir(self.test_dir)
2614
 
 
 
1960
        
2615
1961
    def make_branch(self, relpath, format=None):
2616
1962
        """Create a branch on the transport at relpath."""
2617
1963
        repo = self.make_repository(relpath, format=format)
2622
1968
            # might be a relative or absolute path
2623
1969
            maybe_a_url = self.get_url(relpath)
2624
1970
            segments = maybe_a_url.rsplit('/', 1)
2625
 
            t = _mod_transport.get_transport(maybe_a_url)
 
1971
            t = get_transport(maybe_a_url)
2626
1972
            if len(segments) > 1 and segments[-1] not in ('', '.'):
2627
1973
                t.ensure_base()
2628
1974
            if format is None:
2635
1981
 
2636
1982
    def make_repository(self, relpath, shared=False, format=None):
2637
1983
        """Create a repository on our default transport at relpath.
2638
 
 
 
1984
        
2639
1985
        Note that relpath must be a relative path, not a full url.
2640
1986
        """
2641
1987
        # FIXME: If you create a remoterepository this returns the underlying
2642
 
        # real format, which is incorrect.  Actually we should make sure that
 
1988
        # real format, which is incorrect.  Actually we should make sure that 
2643
1989
        # RemoteBzrDir returns a RemoteRepository.
2644
1990
        # maybe  mbp 20070410
2645
1991
        made_control = self.make_bzrdir(relpath, format=format)
2646
1992
        return made_control.create_repository(shared=shared)
2647
1993
 
2648
 
    def make_smart_server(self, path, backing_server=None):
2649
 
        if backing_server is None:
2650
 
            backing_server = self.get_server()
2651
 
        smart_server = test_server.SmartTCPServer_for_testing()
2652
 
        self.start_server(smart_server, backing_server)
2653
 
        remote_transport = _mod_transport.get_transport_from_url(smart_server.get_url()
2654
 
                                                   ).clone(path)
2655
 
        return remote_transport
2656
 
 
2657
1994
    def make_branch_and_memory_tree(self, relpath, format=None):
2658
1995
        """Create a branch on the default transport and a MemoryTree for it."""
2659
1996
        b = self.make_branch(relpath, format=format)
2660
1997
        return memorytree.MemoryTree.create_on_branch(b)
2661
1998
 
2662
1999
    def make_branch_builder(self, relpath, format=None):
2663
 
        branch = self.make_branch(relpath, format=format)
2664
 
        return branchbuilder.BranchBuilder(branch=branch)
 
2000
        url = self.get_url(relpath)
 
2001
        tran = get_transport(url)
 
2002
        return branchbuilder.BranchBuilder(get_transport(url), format=format)
2665
2003
 
2666
2004
    def overrideEnvironmentForTesting(self):
2667
 
        test_home_dir = self.test_home_dir
2668
 
        if isinstance(test_home_dir, unicode):
2669
 
            test_home_dir = test_home_dir.encode(sys.getfilesystemencoding())
2670
 
        self.overrideEnv('HOME', test_home_dir)
2671
 
        self.overrideEnv('BZR_HOME', test_home_dir)
2672
 
 
 
2005
        os.environ['HOME'] = self.test_home_dir
 
2006
        os.environ['BZR_HOME'] = self.test_home_dir
 
2007
        
2673
2008
    def setUp(self):
2674
2009
        super(TestCaseWithMemoryTransport, self).setUp()
2675
 
        # Ensure that ConnectedTransport doesn't leak sockets
2676
 
        def get_transport_from_url_with_cleanup(*args, **kwargs):
2677
 
            t = orig_get_transport_from_url(*args, **kwargs)
2678
 
            if isinstance(t, _mod_transport.ConnectedTransport):
2679
 
                self.addCleanup(t.disconnect)
2680
 
            return t
2681
 
 
2682
 
        orig_get_transport_from_url = self.overrideAttr(
2683
 
            _mod_transport, 'get_transport_from_url',
2684
 
            get_transport_from_url_with_cleanup)
2685
2010
        self._make_test_root()
2686
 
        self.addCleanup(os.chdir, os.getcwdu())
 
2011
        _currentdir = os.getcwdu()
 
2012
        def _leaveDirectory():
 
2013
            os.chdir(_currentdir)
 
2014
        self.addCleanup(_leaveDirectory)
2687
2015
        self.makeAndChdirToTestDir()
2688
2016
        self.overrideEnvironmentForTesting()
2689
2017
        self.__readonly_server = None
2690
2018
        self.__server = None
2691
2019
        self.reduceLockdirTimeout()
2692
2020
 
2693
 
    def setup_smart_server_with_call_log(self):
2694
 
        """Sets up a smart server as the transport server with a call log."""
2695
 
        self.transport_server = test_server.SmartTCPServer_for_testing
2696
 
        self.hpss_calls = []
2697
 
        import traceback
2698
 
        # Skip the current stack down to the caller of
2699
 
        # setup_smart_server_with_call_log
2700
 
        prefix_length = len(traceback.extract_stack()) - 2
2701
 
        def capture_hpss_call(params):
2702
 
            self.hpss_calls.append(
2703
 
                CapturedCall(params, prefix_length))
2704
 
        client._SmartClient.hooks.install_named_hook(
2705
 
            'call', capture_hpss_call, None)
2706
 
 
2707
 
    def reset_smart_call_log(self):
2708
 
        self.hpss_calls = []
2709
 
 
2710
 
 
 
2021
     
2711
2022
class TestCaseInTempDir(TestCaseWithMemoryTransport):
2712
2023
    """Derived class that runs a test within a temporary directory.
2713
2024
 
2718
2029
    All test cases create their own directory within that.  If the
2719
2030
    tests complete successfully, the directory is removed.
2720
2031
 
2721
 
    :ivar test_base_dir: The path of the top-level directory for this
 
2032
    :ivar test_base_dir: The path of the top-level directory for this 
2722
2033
    test, which contains a home directory and a work directory.
2723
2034
 
2724
2035
    :ivar test_home_dir: An initially empty directory under test_base_dir
2730
2041
 
2731
2042
    OVERRIDE_PYTHON = 'python'
2732
2043
 
2733
 
    def setUp(self):
2734
 
        super(TestCaseInTempDir, self).setUp()
2735
 
        # Remove the protection set in isolated_environ, we have a proper
2736
 
        # access to disk resources now.
2737
 
        self.overrideEnv('BZR_LOG', None)
2738
 
 
2739
2044
    def check_file_contents(self, filename, expect):
2740
2045
        self.log("check contents of file %s" % filename)
2741
 
        f = file(filename)
2742
 
        try:
2743
 
            contents = f.read()
2744
 
        finally:
2745
 
            f.close()
 
2046
        contents = file(filename, 'r').read()
2746
2047
        if contents != expect:
2747
2048
            self.log("expected: %r" % expect)
2748
2049
            self.log("actually: %r" % contents)
2750
2051
 
2751
2052
    def _getTestDirPrefix(self):
2752
2053
        # create a directory within the top level test directory
2753
 
        if sys.platform in ('win32', 'cygwin'):
 
2054
        if sys.platform == 'win32':
2754
2055
            name_prefix = re.sub('[<>*=+",:;_/\\-]', '_', self.id())
2755
2056
            # windows is likely to have path-length limits so use a short name
2756
2057
            name_prefix = name_prefix[-30:]
2760
2061
 
2761
2062
    def makeAndChdirToTestDir(self):
2762
2063
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
2763
 
 
 
2064
        
2764
2065
        For TestCaseInTempDir we create a temporary directory based on the test
2765
2066
        name and then create two subdirs - test and home under it.
2766
2067
        """
2767
 
        name_prefix = osutils.pathjoin(TestCaseWithMemoryTransport.TEST_ROOT,
2768
 
            self._getTestDirPrefix())
 
2068
        name_prefix = osutils.pathjoin(self.TEST_ROOT, self._getTestDirPrefix())
2769
2069
        name = name_prefix
2770
2070
        for i in range(100):
2771
2071
            if os.path.exists(name):
2772
2072
                name = name_prefix + '_' + str(i)
2773
2073
            else:
2774
 
                # now create test and home directories within this dir
2775
 
                self.test_base_dir = name
2776
 
                self.addCleanup(self.deleteTestDir)
2777
 
                os.mkdir(self.test_base_dir)
 
2074
                os.mkdir(name)
2778
2075
                break
2779
 
        self.permit_dir(self.test_base_dir)
2780
 
        # 'sprouting' and 'init' of a branch both walk up the tree to find
2781
 
        # stacking policy to honour; create a bzr dir with an unshared
2782
 
        # repository (but not a branch - our code would be trying to escape
2783
 
        # then!) to stop them, and permit it to be read.
2784
 
        # control = bzrdir.BzrDir.create(self.test_base_dir)
2785
 
        # control.create_repository()
 
2076
        # now create test and home directories within this dir
 
2077
        self.test_base_dir = name
2786
2078
        self.test_home_dir = self.test_base_dir + '/home'
2787
2079
        os.mkdir(self.test_home_dir)
2788
2080
        self.test_dir = self.test_base_dir + '/work'
2794
2086
            f.write(self.id())
2795
2087
        finally:
2796
2088
            f.close()
 
2089
        self.addCleanup(self.deleteTestDir)
2797
2090
 
2798
2091
    def deleteTestDir(self):
2799
 
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
2800
 
        _rmtree_temp_dir(self.test_base_dir, test_id=self.id())
 
2092
        os.chdir(self.TEST_ROOT)
 
2093
        _rmtree_temp_dir(self.test_base_dir)
2801
2094
 
2802
2095
    def build_tree(self, shape, line_endings='binary', transport=None):
2803
2096
        """Build a test tree according to a pattern.
2822
2115
                "a list or a tuple. Got %r instead" % (shape,))
2823
2116
        # It's OK to just create them using forward slashes on windows.
2824
2117
        if transport is None or transport.is_readonly():
2825
 
            transport = _mod_transport.get_transport(".")
 
2118
            transport = get_transport(".")
2826
2119
        for name in shape:
2827
 
            self.assertIsInstance(name, basestring)
 
2120
            self.assert_(isinstance(name, basestring))
2828
2121
            if name[-1] == '/':
2829
2122
                transport.mkdir(urlutils.escape(name[:-1]))
2830
2123
            else:
2838
2131
                content = "contents of %s%s" % (name.encode('utf-8'), end)
2839
2132
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
2840
2133
 
2841
 
    build_tree_contents = staticmethod(treeshape.build_tree_contents)
 
2134
    def build_tree_contents(self, shape):
 
2135
        build_tree_contents(shape)
2842
2136
 
2843
2137
    def assertInWorkingTree(self, path, root_path='.', tree=None):
2844
2138
        """Assert whether path or paths are in the WorkingTree"""
2872
2166
    ReadonlyTransportDecorator is used instead which allows the use of non disk
2873
2167
    based read write transports.
2874
2168
 
2875
 
    If an explicit class is provided for readonly access, that server and the
 
2169
    If an explicit class is provided for readonly access, that server and the 
2876
2170
    readwrite one must both define get_url() as resolving to os.getcwd().
2877
2171
    """
2878
2172
 
2884
2178
        """
2885
2179
        if self.__vfs_server is None:
2886
2180
            self.__vfs_server = self.vfs_transport_factory()
2887
 
            self.start_server(self.__vfs_server)
 
2181
            self.__vfs_server.setUp()
 
2182
            self.addCleanup(self.__vfs_server.tearDown)
2888
2183
        return self.__vfs_server
2889
2184
 
2890
2185
    def make_branch_and_tree(self, relpath, format=None):
2897
2192
        repository will also be accessed locally. Otherwise a lightweight
2898
2193
        checkout is created and returned.
2899
2194
 
2900
 
        We do this because we can't physically create a tree in the local
2901
 
        path, with a branch reference to the transport_factory url, and
2902
 
        a branch + repository in the vfs_transport, unless the vfs_transport
2903
 
        namespace is distinct from the local disk - the two branch objects
2904
 
        would collide. While we could construct a tree with its branch object
2905
 
        pointing at the transport_factory transport in memory, reopening it
2906
 
        would behaving unexpectedly, and has in the past caused testing bugs
2907
 
        when we tried to do it that way.
2908
 
 
2909
2195
        :param format: The BzrDirFormat.
2910
2196
        :returns: the WorkingTree.
2911
2197
        """
2920
2206
            # We can only make working trees locally at the moment.  If the
2921
2207
            # transport can't support them, then we keep the non-disk-backed
2922
2208
            # branch and create a local checkout.
2923
 
            if self.vfs_transport_factory is test_server.LocalURLServer:
 
2209
            if self.vfs_transport_factory is LocalURLServer:
2924
2210
                # the branch is colocated on disk, we cannot create a checkout.
2925
2211
                # hopefully callers will expect this.
2926
2212
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
2963
2249
        super(TestCaseWithTransport, self).setUp()
2964
2250
        self.__vfs_server = None
2965
2251
 
2966
 
    def disable_missing_extensions_warning(self):
2967
 
        """Some tests expect a precise stderr content.
2968
 
 
2969
 
        There is no point in forcing them to duplicate the extension related
2970
 
        warning.
2971
 
        """
2972
 
        config.GlobalConfig().set_user_option('ignore_missing_extensions', True)
2973
 
 
2974
2252
 
2975
2253
class ChrootedTestCase(TestCaseWithTransport):
2976
2254
    """A support class that provides readonly urls outside the local namespace.
2980
2258
    for readonly urls.
2981
2259
 
2982
2260
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
2983
 
                       be used without needed to redo it when a different
 
2261
                       be used without needed to redo it when a different 
2984
2262
                       subclass is in use ?
2985
2263
    """
2986
2264
 
2987
2265
    def setUp(self):
2988
 
        from bzrlib.tests import http_server
2989
2266
        super(ChrootedTestCase, self).setUp()
2990
 
        if not self.vfs_transport_factory == memory.MemoryServer:
2991
 
            self.transport_readonly_server = http_server.HttpServer
 
2267
        if not self.vfs_transport_factory == MemoryServer:
 
2268
            self.transport_readonly_server = HttpServer
2992
2269
 
2993
2270
 
2994
2271
def condition_id_re(pattern):
2995
2272
    """Create a condition filter which performs a re check on a test's id.
2996
 
 
 
2273
    
2997
2274
    :param pattern: A regular expression string.
2998
2275
    :return: A callable that returns True if the re matches.
2999
2276
    """
3000
 
    filter_re = re.compile(pattern, 0)
 
2277
    filter_re = re.compile(pattern)
3001
2278
    def condition(test):
3002
2279
        test_id = test.id()
3003
2280
        return filter_re.search(test_id)
3006
2283
 
3007
2284
def condition_isinstance(klass_or_klass_list):
3008
2285
    """Create a condition filter which returns isinstance(param, klass).
3009
 
 
 
2286
    
3010
2287
    :return: A callable which when called with one parameter obj return the
3011
2288
        result of isinstance(obj, klass_or_klass_list).
3012
2289
    """
3017
2294
 
3018
2295
def condition_id_in_list(id_list):
3019
2296
    """Create a condition filter which verify that test's id in a list.
3020
 
 
 
2297
    
3021
2298
    :param id_list: A TestIdList object.
3022
2299
    :return: A callable that returns True if the test's id appears in the list.
3023
2300
    """
3028
2305
 
3029
2306
def condition_id_startswith(starts):
3030
2307
    """Create a condition filter verifying that test's id starts with a string.
3031
 
 
 
2308
    
3032
2309
    :param starts: A list of string.
3033
 
    :return: A callable that returns True if the test's id starts with one of
 
2310
    :return: A callable that returns True if the test's id starts with one of 
3034
2311
        the given strings.
3035
2312
    """
3036
2313
    def condition(test):
3059
2336
 
3060
2337
def filter_suite_by_condition(suite, condition):
3061
2338
    """Create a test suite by filtering another one.
3062
 
 
 
2339
    
3063
2340
    :param suite: The source suite.
3064
2341
    :param condition: A callable whose result evaluates True when called with a
3065
2342
        test case which should be included in the result.
3075
2352
 
3076
2353
def filter_suite_by_re(suite, pattern):
3077
2354
    """Create a test suite by filtering another one.
3078
 
 
 
2355
    
3079
2356
    :param suite:           the source suite
3080
2357
    :param pattern:         pattern that names must match
3081
2358
    :returns: the newly created suite
3133
2410
 
3134
2411
def randomize_suite(suite):
3135
2412
    """Return a new TestSuite with suite's tests in random order.
3136
 
 
 
2413
    
3137
2414
    The tests in the input suite are flattened into a single suite in order to
3138
2415
    accomplish this. Any nested TestSuites are removed to provide global
3139
2416
    randomness.
3145
2422
 
3146
2423
def split_suite_by_condition(suite, condition):
3147
2424
    """Split a test suite into two by a condition.
3148
 
 
 
2425
    
3149
2426
    :param suite: The suite to split.
3150
2427
    :param condition: The condition to match on. Tests that match this
3151
2428
        condition are returned in the first test suite, ones that do not match
3167
2444
 
3168
2445
def split_suite_by_re(suite, pattern):
3169
2446
    """Split a test suite into two by a regular expression.
3170
 
 
 
2447
    
3171
2448
    :param suite: The suite to split.
3172
2449
    :param pattern: A regular expression string. Test ids that match this
3173
2450
        pattern will be in the first test suite returned, and the others in the
3187
2464
              list_only=False,
3188
2465
              random_seed=None,
3189
2466
              exclude_pattern=None,
3190
 
              strict=False,
3191
 
              runner_class=None,
3192
 
              suite_decorators=None,
3193
 
              stream=None,
3194
 
              result_decorators=None,
3195
 
              ):
3196
 
    """Run a test suite for bzr selftest.
3197
 
 
3198
 
    :param runner_class: The class of runner to use. Must support the
3199
 
        constructor arguments passed by run_suite which are more than standard
3200
 
        python uses.
3201
 
    :return: A boolean indicating success.
3202
 
    """
 
2467
              strict=False):
3203
2468
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
3204
2469
    if verbose:
3205
2470
        verbosity = 2
3206
2471
    else:
3207
2472
        verbosity = 1
3208
 
    if runner_class is None:
3209
 
        runner_class = TextTestRunner
3210
 
    if stream is None:
3211
 
        stream = sys.stdout
3212
 
    runner = runner_class(stream=stream,
 
2473
    runner = TextTestRunner(stream=sys.stdout,
3213
2474
                            descriptions=0,
3214
2475
                            verbosity=verbosity,
3215
2476
                            bench_history=bench_history,
3216
 
                            strict=strict,
3217
 
                            result_decorators=result_decorators,
 
2477
                            list_only=list_only,
3218
2478
                            )
3219
2479
    runner.stop_on_failure=stop_on_failure
3220
 
    # built in decorator factories:
3221
 
    decorators = [
3222
 
        random_order(random_seed, runner),
3223
 
        exclude_tests(exclude_pattern),
3224
 
        ]
3225
 
    if matching_tests_first:
3226
 
        decorators.append(tests_first(pattern))
 
2480
    # Initialise the random number generator and display the seed used.
 
2481
    # We convert the seed to a long to make it reuseable across invocations.
 
2482
    random_order = False
 
2483
    if random_seed is not None:
 
2484
        random_order = True
 
2485
        if random_seed == "now":
 
2486
            random_seed = long(time.time())
 
2487
        else:
 
2488
            # Convert the seed to a long if we can
 
2489
            try:
 
2490
                random_seed = long(random_seed)
 
2491
            except:
 
2492
                pass
 
2493
        runner.stream.writeln("Randomizing test order using seed %s\n" %
 
2494
            (random_seed))
 
2495
        random.seed(random_seed)
 
2496
    # Customise the list of tests if requested
 
2497
    if exclude_pattern is not None:
 
2498
        suite = exclude_tests_by_re(suite, exclude_pattern)
 
2499
    if random_order:
 
2500
        order_changer = randomize_suite
3227
2501
    else:
3228
 
        decorators.append(filter_tests(pattern))
3229
 
    if suite_decorators:
3230
 
        decorators.extend(suite_decorators)
3231
 
    # tell the result object how many tests will be running: (except if
3232
 
    # --parallel=fork is being used. Robert said he will provide a better
3233
 
    # progress design later -- vila 20090817)
3234
 
    if fork_decorator not in decorators:
3235
 
        decorators.append(CountingDecorator)
3236
 
    for decorator in decorators:
3237
 
        suite = decorator(suite)
3238
 
    if list_only:
3239
 
        # Done after test suite decoration to allow randomisation etc
3240
 
        # to take effect, though that is of marginal benefit.
3241
 
        if verbosity >= 2:
3242
 
            stream.write("Listing tests only ...\n")
3243
 
        for t in iter_suite_tests(suite):
3244
 
            stream.write("%s\n" % (t.id()))
3245
 
        return True
 
2502
        order_changer = preserve_input
 
2503
    if pattern != '.*' or random_order:
 
2504
        if matching_tests_first:
 
2505
            suites = map(order_changer, split_suite_by_re(suite, pattern))
 
2506
            suite = TestUtil.TestSuite(suites)
 
2507
        else:
 
2508
            suite = order_changer(filter_suite_by_re(suite, pattern))
 
2509
 
3246
2510
    result = runner.run(suite)
 
2511
 
3247
2512
    if strict:
3248
2513
        return result.wasStrictlySuccessful()
3249
 
    else:
3250
 
        return result.wasSuccessful()
3251
 
 
3252
 
 
3253
 
# A registry where get() returns a suite decorator.
3254
 
parallel_registry = registry.Registry()
3255
 
 
3256
 
 
3257
 
def fork_decorator(suite):
3258
 
    if getattr(os, "fork", None) is None:
3259
 
        raise errors.BzrCommandError("platform does not support fork,"
3260
 
            " try --parallel=subprocess instead.")
3261
 
    concurrency = osutils.local_concurrency()
3262
 
    if concurrency == 1:
3263
 
        return suite
3264
 
    from testtools import ConcurrentTestSuite
3265
 
    return ConcurrentTestSuite(suite, fork_for_tests)
3266
 
parallel_registry.register('fork', fork_decorator)
3267
 
 
3268
 
 
3269
 
def subprocess_decorator(suite):
3270
 
    concurrency = osutils.local_concurrency()
3271
 
    if concurrency == 1:
3272
 
        return suite
3273
 
    from testtools import ConcurrentTestSuite
3274
 
    return ConcurrentTestSuite(suite, reinvoke_for_tests)
3275
 
parallel_registry.register('subprocess', subprocess_decorator)
3276
 
 
3277
 
 
3278
 
def exclude_tests(exclude_pattern):
3279
 
    """Return a test suite decorator that excludes tests."""
3280
 
    if exclude_pattern is None:
3281
 
        return identity_decorator
3282
 
    def decorator(suite):
3283
 
        return ExcludeDecorator(suite, exclude_pattern)
3284
 
    return decorator
3285
 
 
3286
 
 
3287
 
def filter_tests(pattern):
3288
 
    if pattern == '.*':
3289
 
        return identity_decorator
3290
 
    def decorator(suite):
3291
 
        return FilterTestsDecorator(suite, pattern)
3292
 
    return decorator
3293
 
 
3294
 
 
3295
 
def random_order(random_seed, runner):
3296
 
    """Return a test suite decorator factory for randomising tests order.
3297
 
    
3298
 
    :param random_seed: now, a string which casts to a long, or a long.
3299
 
    :param runner: A test runner with a stream attribute to report on.
3300
 
    """
3301
 
    if random_seed is None:
3302
 
        return identity_decorator
3303
 
    def decorator(suite):
3304
 
        return RandomDecorator(suite, random_seed, runner.stream)
3305
 
    return decorator
3306
 
 
3307
 
 
3308
 
def tests_first(pattern):
3309
 
    if pattern == '.*':
3310
 
        return identity_decorator
3311
 
    def decorator(suite):
3312
 
        return TestFirstDecorator(suite, pattern)
3313
 
    return decorator
3314
 
 
3315
 
 
3316
 
def identity_decorator(suite):
3317
 
    """Return suite."""
3318
 
    return suite
3319
 
 
3320
 
 
3321
 
class TestDecorator(TestUtil.TestSuite):
3322
 
    """A decorator for TestCase/TestSuite objects.
3323
 
    
3324
 
    Usually, subclasses should override __iter__(used when flattening test
3325
 
    suites), which we do to filter, reorder, parallelise and so on, run() and
3326
 
    debug().
3327
 
    """
3328
 
 
3329
 
    def __init__(self, suite):
3330
 
        TestUtil.TestSuite.__init__(self)
3331
 
        self.addTest(suite)
3332
 
 
3333
 
    def countTestCases(self):
3334
 
        cases = 0
3335
 
        for test in self:
3336
 
            cases += test.countTestCases()
3337
 
        return cases
3338
 
 
3339
 
    def debug(self):
3340
 
        for test in self:
3341
 
            test.debug()
3342
 
 
3343
 
    def run(self, result):
3344
 
        # Use iteration on self, not self._tests, to allow subclasses to hook
3345
 
        # into __iter__.
3346
 
        for test in self:
3347
 
            if result.shouldStop:
3348
 
                break
3349
 
            test.run(result)
3350
 
        return result
3351
 
 
3352
 
 
3353
 
class CountingDecorator(TestDecorator):
3354
 
    """A decorator which calls result.progress(self.countTestCases)."""
3355
 
 
3356
 
    def run(self, result):
3357
 
        progress_method = getattr(result, 'progress', None)
3358
 
        if callable(progress_method):
3359
 
            progress_method(self.countTestCases(), SUBUNIT_SEEK_SET)
3360
 
        return super(CountingDecorator, self).run(result)
3361
 
 
3362
 
 
3363
 
class ExcludeDecorator(TestDecorator):
3364
 
    """A decorator which excludes test matching an exclude pattern."""
3365
 
 
3366
 
    def __init__(self, suite, exclude_pattern):
3367
 
        TestDecorator.__init__(self, suite)
3368
 
        self.exclude_pattern = exclude_pattern
3369
 
        self.excluded = False
3370
 
 
3371
 
    def __iter__(self):
3372
 
        if self.excluded:
3373
 
            return iter(self._tests)
3374
 
        self.excluded = True
3375
 
        suite = exclude_tests_by_re(self, self.exclude_pattern)
3376
 
        del self._tests[:]
3377
 
        self.addTests(suite)
3378
 
        return iter(self._tests)
3379
 
 
3380
 
 
3381
 
class FilterTestsDecorator(TestDecorator):
3382
 
    """A decorator which filters tests to those matching a pattern."""
3383
 
 
3384
 
    def __init__(self, suite, pattern):
3385
 
        TestDecorator.__init__(self, suite)
3386
 
        self.pattern = pattern
3387
 
        self.filtered = False
3388
 
 
3389
 
    def __iter__(self):
3390
 
        if self.filtered:
3391
 
            return iter(self._tests)
3392
 
        self.filtered = True
3393
 
        suite = filter_suite_by_re(self, self.pattern)
3394
 
        del self._tests[:]
3395
 
        self.addTests(suite)
3396
 
        return iter(self._tests)
3397
 
 
3398
 
 
3399
 
class RandomDecorator(TestDecorator):
3400
 
    """A decorator which randomises the order of its tests."""
3401
 
 
3402
 
    def __init__(self, suite, random_seed, stream):
3403
 
        TestDecorator.__init__(self, suite)
3404
 
        self.random_seed = random_seed
3405
 
        self.randomised = False
3406
 
        self.stream = stream
3407
 
 
3408
 
    def __iter__(self):
3409
 
        if self.randomised:
3410
 
            return iter(self._tests)
3411
 
        self.randomised = True
3412
 
        self.stream.write("Randomizing test order using seed %s\n\n" %
3413
 
            (self.actual_seed()))
3414
 
        # Initialise the random number generator.
3415
 
        random.seed(self.actual_seed())
3416
 
        suite = randomize_suite(self)
3417
 
        del self._tests[:]
3418
 
        self.addTests(suite)
3419
 
        return iter(self._tests)
3420
 
 
3421
 
    def actual_seed(self):
3422
 
        if self.random_seed == "now":
3423
 
            # We convert the seed to a long to make it reuseable across
3424
 
            # invocations (because the user can reenter it).
3425
 
            self.random_seed = long(time.time())
3426
 
        else:
3427
 
            # Convert the seed to a long if we can
3428
 
            try:
3429
 
                self.random_seed = long(self.random_seed)
3430
 
            except:
3431
 
                pass
3432
 
        return self.random_seed
3433
 
 
3434
 
 
3435
 
class TestFirstDecorator(TestDecorator):
3436
 
    """A decorator which moves named tests to the front."""
3437
 
 
3438
 
    def __init__(self, suite, pattern):
3439
 
        TestDecorator.__init__(self, suite)
3440
 
        self.pattern = pattern
3441
 
        self.filtered = False
3442
 
 
3443
 
    def __iter__(self):
3444
 
        if self.filtered:
3445
 
            return iter(self._tests)
3446
 
        self.filtered = True
3447
 
        suites = split_suite_by_re(self, self.pattern)
3448
 
        del self._tests[:]
3449
 
        self.addTests(suites)
3450
 
        return iter(self._tests)
3451
 
 
3452
 
 
3453
 
def partition_tests(suite, count):
3454
 
    """Partition suite into count lists of tests."""
3455
 
    # This just assigns tests in a round-robin fashion.  On one hand this
3456
 
    # splits up blocks of related tests that might run faster if they shared
3457
 
    # resources, but on the other it avoids assigning blocks of slow tests to
3458
 
    # just one partition.  So the slowest partition shouldn't be much slower
3459
 
    # than the fastest.
3460
 
    partitions = [list() for i in range(count)]
3461
 
    tests = iter_suite_tests(suite)
3462
 
    for partition, test in itertools.izip(itertools.cycle(partitions), tests):
3463
 
        partition.append(test)
3464
 
    return partitions
3465
 
 
3466
 
 
3467
 
def workaround_zealous_crypto_random():
3468
 
    """Crypto.Random want to help us being secure, but we don't care here.
3469
 
 
3470
 
    This workaround some test failure related to the sftp server. Once paramiko
3471
 
    stop using the controversial API in Crypto.Random, we may get rid of it.
3472
 
    """
3473
 
    try:
3474
 
        from Crypto.Random import atfork
3475
 
        atfork()
3476
 
    except ImportError:
3477
 
        pass
3478
 
 
3479
 
 
3480
 
def fork_for_tests(suite):
3481
 
    """Take suite and start up one runner per CPU by forking()
3482
 
 
3483
 
    :return: An iterable of TestCase-like objects which can each have
3484
 
        run(result) called on them to feed tests to result.
3485
 
    """
3486
 
    concurrency = osutils.local_concurrency()
3487
 
    result = []
3488
 
    from subunit import TestProtocolClient, ProtocolTestCase
3489
 
    from subunit.test_results import AutoTimingTestResultDecorator
3490
 
    class TestInOtherProcess(ProtocolTestCase):
3491
 
        # Should be in subunit, I think. RBC.
3492
 
        def __init__(self, stream, pid):
3493
 
            ProtocolTestCase.__init__(self, stream)
3494
 
            self.pid = pid
3495
 
 
3496
 
        def run(self, result):
3497
 
            try:
3498
 
                ProtocolTestCase.run(self, result)
3499
 
            finally:
3500
 
                os.waitpid(self.pid, 0)
3501
 
 
3502
 
    test_blocks = partition_tests(suite, concurrency)
3503
 
    for process_tests in test_blocks:
3504
 
        process_suite = TestUtil.TestSuite()
3505
 
        process_suite.addTests(process_tests)
3506
 
        c2pread, c2pwrite = os.pipe()
3507
 
        pid = os.fork()
3508
 
        if pid == 0:
3509
 
            workaround_zealous_crypto_random()
3510
 
            try:
3511
 
                os.close(c2pread)
3512
 
                # Leave stderr and stdout open so we can see test noise
3513
 
                # Close stdin so that the child goes away if it decides to
3514
 
                # read from stdin (otherwise its a roulette to see what
3515
 
                # child actually gets keystrokes for pdb etc).
3516
 
                sys.stdin.close()
3517
 
                sys.stdin = None
3518
 
                stream = os.fdopen(c2pwrite, 'wb', 1)
3519
 
                subunit_result = AutoTimingTestResultDecorator(
3520
 
                    TestProtocolClient(stream))
3521
 
                process_suite.run(subunit_result)
3522
 
            finally:
3523
 
                os._exit(0)
3524
 
        else:
3525
 
            os.close(c2pwrite)
3526
 
            stream = os.fdopen(c2pread, 'rb', 1)
3527
 
            test = TestInOtherProcess(stream, pid)
3528
 
            result.append(test)
3529
 
    return result
3530
 
 
3531
 
 
3532
 
def reinvoke_for_tests(suite):
3533
 
    """Take suite and start up one runner per CPU using subprocess().
3534
 
 
3535
 
    :return: An iterable of TestCase-like objects which can each have
3536
 
        run(result) called on them to feed tests to result.
3537
 
    """
3538
 
    concurrency = osutils.local_concurrency()
3539
 
    result = []
3540
 
    from subunit import ProtocolTestCase
3541
 
    class TestInSubprocess(ProtocolTestCase):
3542
 
        def __init__(self, process, name):
3543
 
            ProtocolTestCase.__init__(self, process.stdout)
3544
 
            self.process = process
3545
 
            self.process.stdin.close()
3546
 
            self.name = name
3547
 
 
3548
 
        def run(self, result):
3549
 
            try:
3550
 
                ProtocolTestCase.run(self, result)
3551
 
            finally:
3552
 
                self.process.wait()
3553
 
                os.unlink(self.name)
3554
 
            # print "pid %d finished" % finished_process
3555
 
    test_blocks = partition_tests(suite, concurrency)
3556
 
    for process_tests in test_blocks:
3557
 
        # ugly; currently reimplement rather than reuses TestCase methods.
3558
 
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
3559
 
        if not os.path.isfile(bzr_path):
3560
 
            # We are probably installed. Assume sys.argv is the right file
3561
 
            bzr_path = sys.argv[0]
3562
 
        bzr_path = [bzr_path]
3563
 
        if sys.platform == "win32":
3564
 
            # if we're on windows, we can't execute the bzr script directly
3565
 
            bzr_path = [sys.executable] + bzr_path
3566
 
        fd, test_list_file_name = tempfile.mkstemp()
3567
 
        test_list_file = os.fdopen(fd, 'wb', 1)
3568
 
        for test in process_tests:
3569
 
            test_list_file.write(test.id() + '\n')
3570
 
        test_list_file.close()
3571
 
        try:
3572
 
            argv = bzr_path + ['selftest', '--load-list', test_list_file_name,
3573
 
                '--subunit']
3574
 
            if '--no-plugins' in sys.argv:
3575
 
                argv.append('--no-plugins')
3576
 
            # stderr=subprocess.STDOUT would be ideal, but until we prevent
3577
 
            # noise on stderr it can interrupt the subunit protocol.
3578
 
            process = subprocess.Popen(argv, stdin=subprocess.PIPE,
3579
 
                                      stdout=subprocess.PIPE,
3580
 
                                      stderr=subprocess.PIPE,
3581
 
                                      bufsize=1)
3582
 
            test = TestInSubprocess(process, test_list_file_name)
3583
 
            result.append(test)
3584
 
        except:
3585
 
            os.unlink(test_list_file_name)
3586
 
            raise
3587
 
    return result
3588
 
 
3589
 
 
3590
 
class ProfileResult(testtools.ExtendedToOriginalDecorator):
3591
 
    """Generate profiling data for all activity between start and success.
3592
 
    
3593
 
    The profile data is appended to the test's _benchcalls attribute and can
3594
 
    be accessed by the forwarded-to TestResult.
3595
 
 
3596
 
    While it might be cleaner do accumulate this in stopTest, addSuccess is
3597
 
    where our existing output support for lsprof is, and this class aims to
3598
 
    fit in with that: while it could be moved it's not necessary to accomplish
3599
 
    test profiling, nor would it be dramatically cleaner.
3600
 
    """
3601
 
 
3602
 
    def startTest(self, test):
3603
 
        self.profiler = bzrlib.lsprof.BzrProfiler()
3604
 
        # Prevent deadlocks in tests that use lsprof: those tests will
3605
 
        # unavoidably fail.
3606
 
        bzrlib.lsprof.BzrProfiler.profiler_block = 0
3607
 
        self.profiler.start()
3608
 
        testtools.ExtendedToOriginalDecorator.startTest(self, test)
3609
 
 
3610
 
    def addSuccess(self, test):
3611
 
        stats = self.profiler.stop()
3612
 
        try:
3613
 
            calls = test._benchcalls
3614
 
        except AttributeError:
3615
 
            test._benchcalls = []
3616
 
            calls = test._benchcalls
3617
 
        calls.append(((test.id(), "", ""), stats))
3618
 
        testtools.ExtendedToOriginalDecorator.addSuccess(self, test)
3619
 
 
3620
 
    def stopTest(self, test):
3621
 
        testtools.ExtendedToOriginalDecorator.stopTest(self, test)
3622
 
        self.profiler = None
 
2514
 
 
2515
    return result.wasSuccessful()
3623
2516
 
3624
2517
 
3625
2518
# Controlled by "bzr selftest -E=..." option
3626
 
# Currently supported:
3627
 
#   -Eallow_debug           Will no longer clear debug.debug_flags() so it
3628
 
#                           preserves any flags supplied at the command line.
3629
 
#   -Edisable_lock_checks   Turns errors in mismatched locks into simple prints
3630
 
#                           rather than failing tests. And no longer raise
3631
 
#                           LockContention when fctnl locks are not being used
3632
 
#                           with proper exclusion rules.
3633
 
#   -Ethreads               Will display thread ident at creation/join time to
3634
 
#                           help track thread leaks
3635
 
 
3636
 
#   -Econfig_stats          Will collect statistics using addDetail
3637
2519
selftest_debug_flags = set()
3638
2520
 
3639
2521
 
3650
2532
             load_list=None,
3651
2533
             debug_flags=None,
3652
2534
             starting_with=None,
3653
 
             runner_class=None,
3654
 
             suite_decorators=None,
3655
 
             stream=None,
3656
 
             lsprof_tests=False,
3657
2535
             ):
3658
2536
    """Run the whole test suite under the enhanced runner"""
3659
2537
    # XXX: Very ugly way to do this...
3676
2554
            keep_only = None
3677
2555
        else:
3678
2556
            keep_only = load_test_id_list(load_list)
3679
 
        if starting_with:
3680
 
            starting_with = [test_prefix_alias_registry.resolve_alias(start)
3681
 
                             for start in starting_with]
3682
2557
        if test_suite_factory is None:
3683
 
            # Reduce loading time by loading modules based on the starting_with
3684
 
            # patterns.
3685
2558
            suite = test_suite(keep_only, starting_with)
3686
2559
        else:
3687
2560
            suite = test_suite_factory()
3688
 
        if starting_with:
3689
 
            # But always filter as requested.
3690
 
            suite = filter_suite_by_id_startswith(suite, starting_with)
3691
 
        result_decorators = []
3692
 
        if lsprof_tests:
3693
 
            result_decorators.append(ProfileResult)
3694
2561
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
3695
2562
                     stop_on_failure=stop_on_failure,
3696
2563
                     transport=transport,
3700
2567
                     list_only=list_only,
3701
2568
                     random_seed=random_seed,
3702
2569
                     exclude_pattern=exclude_pattern,
3703
 
                     strict=strict,
3704
 
                     runner_class=runner_class,
3705
 
                     suite_decorators=suite_decorators,
3706
 
                     stream=stream,
3707
 
                     result_decorators=result_decorators,
3708
 
                     )
 
2570
                     strict=strict)
3709
2571
    finally:
3710
2572
        default_transport = old_transport
3711
2573
        selftest_debug_flags = old_debug_flags
3738
2600
    """Warns about tests not appearing or appearing more than once.
3739
2601
 
3740
2602
    :param test_suite: A TestSuite object.
3741
 
    :param test_id_list: The list of test ids that should be found in
 
2603
    :param test_id_list: The list of test ids that should be found in 
3742
2604
         test_suite.
3743
2605
 
3744
2606
    :return: (absents, duplicates) absents is a list containing the test found
3833
2695
                key, obj, help=help, info=info, override_existing=False)
3834
2696
        except KeyError:
3835
2697
            actual = self.get(key)
3836
 
            trace.note(
3837
 
                'Test prefix alias %s is already used for %s, ignoring %s'
3838
 
                % (key, actual, obj))
 
2698
            note('Test prefix alias %s is already used for %s, ignoring %s'
 
2699
                 % (key, actual, obj))
3839
2700
 
3840
2701
    def resolve_alias(self, id_start):
3841
2702
        """Replace the alias by the prefix in the given string.
3859
2720
# appear prefixed ('bzrlib.' is "replaced" by 'bzrlib.').
3860
2721
test_prefix_alias_registry.register('bzrlib', 'bzrlib')
3861
2722
 
3862
 
# Obvious highest levels prefixes, feel free to add your own via a plugin
 
2723
# Obvious higest levels prefixes, feel free to add your own via a plugin
3863
2724
test_prefix_alias_registry.register('bd', 'bzrlib.doc')
3864
2725
test_prefix_alias_registry.register('bu', 'bzrlib.utils')
3865
2726
test_prefix_alias_registry.register('bt', 'bzrlib.tests')
3867
2728
test_prefix_alias_registry.register('bp', 'bzrlib.plugins')
3868
2729
 
3869
2730
 
3870
 
def _test_suite_testmod_names():
3871
 
    """Return the standard list of test module names to test."""
3872
 
    return [
3873
 
        'bzrlib.doc',
3874
 
        'bzrlib.tests.blackbox',
3875
 
        'bzrlib.tests.commands',
3876
 
        'bzrlib.tests.doc_generate',
3877
 
        'bzrlib.tests.per_branch',
3878
 
        'bzrlib.tests.per_bzrdir',
3879
 
        'bzrlib.tests.per_controldir',
3880
 
        'bzrlib.tests.per_controldir_colo',
3881
 
        'bzrlib.tests.per_foreign_vcs',
3882
 
        'bzrlib.tests.per_interrepository',
3883
 
        'bzrlib.tests.per_intertree',
3884
 
        'bzrlib.tests.per_inventory',
3885
 
        'bzrlib.tests.per_interbranch',
3886
 
        'bzrlib.tests.per_lock',
3887
 
        'bzrlib.tests.per_merger',
3888
 
        'bzrlib.tests.per_transport',
3889
 
        'bzrlib.tests.per_tree',
3890
 
        'bzrlib.tests.per_pack_repository',
3891
 
        'bzrlib.tests.per_repository',
3892
 
        'bzrlib.tests.per_repository_chk',
3893
 
        'bzrlib.tests.per_repository_reference',
3894
 
        'bzrlib.tests.per_repository_vf',
3895
 
        'bzrlib.tests.per_uifactory',
3896
 
        'bzrlib.tests.per_versionedfile',
3897
 
        'bzrlib.tests.per_workingtree',
3898
 
        'bzrlib.tests.test__annotator',
3899
 
        'bzrlib.tests.test__bencode',
3900
 
        'bzrlib.tests.test__btree_serializer',
3901
 
        'bzrlib.tests.test__chk_map',
3902
 
        'bzrlib.tests.test__dirstate_helpers',
3903
 
        'bzrlib.tests.test__groupcompress',
3904
 
        'bzrlib.tests.test__known_graph',
3905
 
        'bzrlib.tests.test__rio',
3906
 
        'bzrlib.tests.test__simple_set',
3907
 
        'bzrlib.tests.test__static_tuple',
3908
 
        'bzrlib.tests.test__walkdirs_win32',
3909
 
        'bzrlib.tests.test_ancestry',
3910
 
        'bzrlib.tests.test_annotate',
3911
 
        'bzrlib.tests.test_api',
3912
 
        'bzrlib.tests.test_atomicfile',
3913
 
        'bzrlib.tests.test_bad_files',
3914
 
        'bzrlib.tests.test_bisect_multi',
3915
 
        'bzrlib.tests.test_branch',
3916
 
        'bzrlib.tests.test_branchbuilder',
3917
 
        'bzrlib.tests.test_btree_index',
3918
 
        'bzrlib.tests.test_bugtracker',
3919
 
        'bzrlib.tests.test_bundle',
3920
 
        'bzrlib.tests.test_bzrdir',
3921
 
        'bzrlib.tests.test__chunks_to_lines',
3922
 
        'bzrlib.tests.test_cache_utf8',
3923
 
        'bzrlib.tests.test_chk_map',
3924
 
        'bzrlib.tests.test_chk_serializer',
3925
 
        'bzrlib.tests.test_chunk_writer',
3926
 
        'bzrlib.tests.test_clean_tree',
3927
 
        'bzrlib.tests.test_cleanup',
3928
 
        'bzrlib.tests.test_cmdline',
3929
 
        'bzrlib.tests.test_commands',
3930
 
        'bzrlib.tests.test_commit',
3931
 
        'bzrlib.tests.test_commit_merge',
3932
 
        'bzrlib.tests.test_config',
3933
 
        'bzrlib.tests.test_conflicts',
3934
 
        'bzrlib.tests.test_controldir',
3935
 
        'bzrlib.tests.test_counted_lock',
3936
 
        'bzrlib.tests.test_crash',
3937
 
        'bzrlib.tests.test_decorators',
3938
 
        'bzrlib.tests.test_delta',
3939
 
        'bzrlib.tests.test_debug',
3940
 
        'bzrlib.tests.test_diff',
3941
 
        'bzrlib.tests.test_directory_service',
3942
 
        'bzrlib.tests.test_dirstate',
3943
 
        'bzrlib.tests.test_email_message',
3944
 
        'bzrlib.tests.test_eol_filters',
3945
 
        'bzrlib.tests.test_errors',
3946
 
        'bzrlib.tests.test_export',
3947
 
        'bzrlib.tests.test_export_pot',
3948
 
        'bzrlib.tests.test_extract',
3949
 
        'bzrlib.tests.test_features',
3950
 
        'bzrlib.tests.test_fetch',
3951
 
        'bzrlib.tests.test_fixtures',
3952
 
        'bzrlib.tests.test_fifo_cache',
3953
 
        'bzrlib.tests.test_filters',
3954
 
        'bzrlib.tests.test_filter_tree',
3955
 
        'bzrlib.tests.test_ftp_transport',
3956
 
        'bzrlib.tests.test_foreign',
3957
 
        'bzrlib.tests.test_generate_docs',
3958
 
        'bzrlib.tests.test_generate_ids',
3959
 
        'bzrlib.tests.test_globbing',
3960
 
        'bzrlib.tests.test_gpg',
3961
 
        'bzrlib.tests.test_graph',
3962
 
        'bzrlib.tests.test_groupcompress',
3963
 
        'bzrlib.tests.test_hashcache',
3964
 
        'bzrlib.tests.test_help',
3965
 
        'bzrlib.tests.test_hooks',
3966
 
        'bzrlib.tests.test_http',
3967
 
        'bzrlib.tests.test_http_response',
3968
 
        'bzrlib.tests.test_https_ca_bundle',
3969
 
        'bzrlib.tests.test_i18n',
3970
 
        'bzrlib.tests.test_identitymap',
3971
 
        'bzrlib.tests.test_ignores',
3972
 
        'bzrlib.tests.test_index',
3973
 
        'bzrlib.tests.test_import_tariff',
3974
 
        'bzrlib.tests.test_info',
3975
 
        'bzrlib.tests.test_inv',
3976
 
        'bzrlib.tests.test_inventory_delta',
3977
 
        'bzrlib.tests.test_knit',
3978
 
        'bzrlib.tests.test_lazy_import',
3979
 
        'bzrlib.tests.test_lazy_regex',
3980
 
        'bzrlib.tests.test_library_state',
3981
 
        'bzrlib.tests.test_lock',
3982
 
        'bzrlib.tests.test_lockable_files',
3983
 
        'bzrlib.tests.test_lockdir',
3984
 
        'bzrlib.tests.test_log',
3985
 
        'bzrlib.tests.test_lru_cache',
3986
 
        'bzrlib.tests.test_lsprof',
3987
 
        'bzrlib.tests.test_mail_client',
3988
 
        'bzrlib.tests.test_matchers',
3989
 
        'bzrlib.tests.test_memorytree',
3990
 
        'bzrlib.tests.test_merge',
3991
 
        'bzrlib.tests.test_merge3',
3992
 
        'bzrlib.tests.test_merge_core',
3993
 
        'bzrlib.tests.test_merge_directive',
3994
 
        'bzrlib.tests.test_mergetools',
3995
 
        'bzrlib.tests.test_missing',
3996
 
        'bzrlib.tests.test_msgeditor',
3997
 
        'bzrlib.tests.test_multiparent',
3998
 
        'bzrlib.tests.test_mutabletree',
3999
 
        'bzrlib.tests.test_nonascii',
4000
 
        'bzrlib.tests.test_options',
4001
 
        'bzrlib.tests.test_osutils',
4002
 
        'bzrlib.tests.test_osutils_encodings',
4003
 
        'bzrlib.tests.test_pack',
4004
 
        'bzrlib.tests.test_patch',
4005
 
        'bzrlib.tests.test_patches',
4006
 
        'bzrlib.tests.test_permissions',
4007
 
        'bzrlib.tests.test_plugins',
4008
 
        'bzrlib.tests.test_progress',
4009
 
        'bzrlib.tests.test_pyutils',
4010
 
        'bzrlib.tests.test_read_bundle',
4011
 
        'bzrlib.tests.test_reconcile',
4012
 
        'bzrlib.tests.test_reconfigure',
4013
 
        'bzrlib.tests.test_registry',
4014
 
        'bzrlib.tests.test_remote',
4015
 
        'bzrlib.tests.test_rename_map',
4016
 
        'bzrlib.tests.test_repository',
4017
 
        'bzrlib.tests.test_revert',
4018
 
        'bzrlib.tests.test_revision',
4019
 
        'bzrlib.tests.test_revisionspec',
4020
 
        'bzrlib.tests.test_revisiontree',
4021
 
        'bzrlib.tests.test_rio',
4022
 
        'bzrlib.tests.test_rules',
4023
 
        'bzrlib.tests.test_sampler',
4024
 
        'bzrlib.tests.test_scenarios',
4025
 
        'bzrlib.tests.test_script',
4026
 
        'bzrlib.tests.test_selftest',
4027
 
        'bzrlib.tests.test_serializer',
4028
 
        'bzrlib.tests.test_setup',
4029
 
        'bzrlib.tests.test_sftp_transport',
4030
 
        'bzrlib.tests.test_shelf',
4031
 
        'bzrlib.tests.test_shelf_ui',
4032
 
        'bzrlib.tests.test_smart',
4033
 
        'bzrlib.tests.test_smart_add',
4034
 
        'bzrlib.tests.test_smart_request',
4035
 
        'bzrlib.tests.test_smart_transport',
4036
 
        'bzrlib.tests.test_smtp_connection',
4037
 
        'bzrlib.tests.test_source',
4038
 
        'bzrlib.tests.test_ssh_transport',
4039
 
        'bzrlib.tests.test_status',
4040
 
        'bzrlib.tests.test_store',
4041
 
        'bzrlib.tests.test_strace',
4042
 
        'bzrlib.tests.test_subsume',
4043
 
        'bzrlib.tests.test_switch',
4044
 
        'bzrlib.tests.test_symbol_versioning',
4045
 
        'bzrlib.tests.test_tag',
4046
 
        'bzrlib.tests.test_test_server',
4047
 
        'bzrlib.tests.test_testament',
4048
 
        'bzrlib.tests.test_textfile',
4049
 
        'bzrlib.tests.test_textmerge',
4050
 
        'bzrlib.tests.test_cethread',
4051
 
        'bzrlib.tests.test_timestamp',
4052
 
        'bzrlib.tests.test_trace',
4053
 
        'bzrlib.tests.test_transactions',
4054
 
        'bzrlib.tests.test_transform',
4055
 
        'bzrlib.tests.test_transport',
4056
 
        'bzrlib.tests.test_transport_log',
4057
 
        'bzrlib.tests.test_tree',
4058
 
        'bzrlib.tests.test_treebuilder',
4059
 
        'bzrlib.tests.test_treeshape',
4060
 
        'bzrlib.tests.test_tsort',
4061
 
        'bzrlib.tests.test_tuned_gzip',
4062
 
        'bzrlib.tests.test_ui',
4063
 
        'bzrlib.tests.test_uncommit',
4064
 
        'bzrlib.tests.test_upgrade',
4065
 
        'bzrlib.tests.test_upgrade_stacked',
4066
 
        'bzrlib.tests.test_urlutils',
4067
 
        'bzrlib.tests.test_utextwrap',
4068
 
        'bzrlib.tests.test_version',
4069
 
        'bzrlib.tests.test_version_info',
4070
 
        'bzrlib.tests.test_versionedfile',
4071
 
        'bzrlib.tests.test_weave',
4072
 
        'bzrlib.tests.test_whitebox',
4073
 
        'bzrlib.tests.test_win32utils',
4074
 
        'bzrlib.tests.test_workingtree',
4075
 
        'bzrlib.tests.test_workingtree_4',
4076
 
        'bzrlib.tests.test_wsgi',
4077
 
        'bzrlib.tests.test_xml',
4078
 
        ]
4079
 
 
4080
 
 
4081
 
def _test_suite_modules_to_doctest():
4082
 
    """Return the list of modules to doctest."""
4083
 
    if __doc__ is None:
4084
 
        # GZ 2009-03-31: No docstrings with -OO so there's nothing to doctest
4085
 
        return []
4086
 
    return [
4087
 
        'bzrlib',
4088
 
        'bzrlib.branchbuilder',
4089
 
        'bzrlib.decorators',
4090
 
        'bzrlib.inventory',
4091
 
        'bzrlib.iterablefile',
4092
 
        'bzrlib.lockdir',
4093
 
        'bzrlib.merge3',
4094
 
        'bzrlib.option',
4095
 
        'bzrlib.pyutils',
4096
 
        'bzrlib.symbol_versioning',
4097
 
        'bzrlib.tests',
4098
 
        'bzrlib.tests.fixtures',
4099
 
        'bzrlib.timestamp',
4100
 
        'bzrlib.transport.http',
4101
 
        'bzrlib.version_info_formats.format_custom',
4102
 
        ]
4103
 
 
4104
 
 
4105
2731
def test_suite(keep_only=None, starting_with=None):
4106
2732
    """Build and return TestSuite for the whole of bzrlib.
4107
2733
 
4113
2739
    This function can be replaced if you need to change the default test
4114
2740
    suite on a global basis, but it is not encouraged.
4115
2741
    """
 
2742
    testmod_names = [
 
2743
                   'bzrlib.doc',
 
2744
                   'bzrlib.util.tests.test_bencode',
 
2745
                   'bzrlib.tests.blackbox',
 
2746
                   'bzrlib.tests.branch_implementations',
 
2747
                   'bzrlib.tests.bzrdir_implementations',
 
2748
                   'bzrlib.tests.commands',
 
2749
                   'bzrlib.tests.inventory_implementations',
 
2750
                   'bzrlib.tests.interrepository_implementations',
 
2751
                   'bzrlib.tests.intertree_implementations',
 
2752
                   'bzrlib.tests.per_lock',
 
2753
                   'bzrlib.tests.per_repository',
 
2754
                   'bzrlib.tests.test__dirstate_helpers',
 
2755
                   'bzrlib.tests.test_ancestry',
 
2756
                   'bzrlib.tests.test_annotate',
 
2757
                   'bzrlib.tests.test_api',
 
2758
                   'bzrlib.tests.test_atomicfile',
 
2759
                   'bzrlib.tests.test_bad_files',
 
2760
                   'bzrlib.tests.test_bisect_multi',
 
2761
                   'bzrlib.tests.test_branch',
 
2762
                   'bzrlib.tests.test_branchbuilder',
 
2763
                   'bzrlib.tests.test_btree_index',
 
2764
                   'bzrlib.tests.test_bugtracker',
 
2765
                   'bzrlib.tests.test_bundle',
 
2766
                   'bzrlib.tests.test_bzrdir',
 
2767
                   'bzrlib.tests.test_cache_utf8',
 
2768
                   'bzrlib.tests.test_chunk_writer',
 
2769
                   'bzrlib.tests.test_commands',
 
2770
                   'bzrlib.tests.test_commit',
 
2771
                   'bzrlib.tests.test_commit_merge',
 
2772
                   'bzrlib.tests.test_config',
 
2773
                   'bzrlib.tests.test_conflicts',
 
2774
                   'bzrlib.tests.test_counted_lock',
 
2775
                   'bzrlib.tests.test_decorators',
 
2776
                   'bzrlib.tests.test_delta',
 
2777
                   'bzrlib.tests.test_deprecated_graph',
 
2778
                   'bzrlib.tests.test_diff',
 
2779
                   'bzrlib.tests.test_dirstate',
 
2780
                   'bzrlib.tests.test_directory_service',
 
2781
                   'bzrlib.tests.test_email_message',
 
2782
                   'bzrlib.tests.test_errors',
 
2783
                   'bzrlib.tests.test_extract',
 
2784
                   'bzrlib.tests.test_fetch',
 
2785
                   'bzrlib.tests.test_ftp_transport',
 
2786
                   'bzrlib.tests.test_generate_docs',
 
2787
                   'bzrlib.tests.test_generate_ids',
 
2788
                   'bzrlib.tests.test_globbing',
 
2789
                   'bzrlib.tests.test_gpg',
 
2790
                   'bzrlib.tests.test_graph',
 
2791
                   'bzrlib.tests.test_hashcache',
 
2792
                   'bzrlib.tests.test_help',
 
2793
                   'bzrlib.tests.test_hooks',
 
2794
                   'bzrlib.tests.test_http',
 
2795
                   'bzrlib.tests.test_http_implementations',
 
2796
                   'bzrlib.tests.test_http_response',
 
2797
                   'bzrlib.tests.test_https_ca_bundle',
 
2798
                   'bzrlib.tests.test_identitymap',
 
2799
                   'bzrlib.tests.test_ignores',
 
2800
                   'bzrlib.tests.test_index',
 
2801
                   'bzrlib.tests.test_info',
 
2802
                   'bzrlib.tests.test_inv',
 
2803
                   'bzrlib.tests.test_knit',
 
2804
                   'bzrlib.tests.test_lazy_import',
 
2805
                   'bzrlib.tests.test_lazy_regex',
 
2806
                   'bzrlib.tests.test_lockdir',
 
2807
                   'bzrlib.tests.test_lockable_files',
 
2808
                   'bzrlib.tests.test_log',
 
2809
                   'bzrlib.tests.test_lsprof',
 
2810
                   'bzrlib.tests.test_lru_cache',
 
2811
                   'bzrlib.tests.test_mail_client',
 
2812
                   'bzrlib.tests.test_memorytree',
 
2813
                   'bzrlib.tests.test_merge',
 
2814
                   'bzrlib.tests.test_merge3',
 
2815
                   'bzrlib.tests.test_merge_core',
 
2816
                   'bzrlib.tests.test_merge_directive',
 
2817
                   'bzrlib.tests.test_missing',
 
2818
                   'bzrlib.tests.test_msgeditor',
 
2819
                   'bzrlib.tests.test_multiparent',
 
2820
                   'bzrlib.tests.test_mutabletree',
 
2821
                   'bzrlib.tests.test_nonascii',
 
2822
                   'bzrlib.tests.test_options',
 
2823
                   'bzrlib.tests.test_osutils',
 
2824
                   'bzrlib.tests.test_osutils_encodings',
 
2825
                   'bzrlib.tests.test_pack',
 
2826
                   'bzrlib.tests.test_pack_repository',
 
2827
                   'bzrlib.tests.test_patch',
 
2828
                   'bzrlib.tests.test_patches',
 
2829
                   'bzrlib.tests.test_permissions',
 
2830
                   'bzrlib.tests.test_plugins',
 
2831
                   'bzrlib.tests.test_progress',
 
2832
                   'bzrlib.tests.test_read_bundle',
 
2833
                   'bzrlib.tests.test_reconfigure',
 
2834
                   'bzrlib.tests.test_reconcile',
 
2835
                   'bzrlib.tests.test_registry',
 
2836
                   'bzrlib.tests.test_remote',
 
2837
                   'bzrlib.tests.test_repository',
 
2838
                   'bzrlib.tests.per_repository_reference',
 
2839
                   'bzrlib.tests.test_revert',
 
2840
                   'bzrlib.tests.test_revision',
 
2841
                   'bzrlib.tests.test_revisionspec',
 
2842
                   'bzrlib.tests.test_revisiontree',
 
2843
                   'bzrlib.tests.test_rio',
 
2844
                   'bzrlib.tests.test_rules',
 
2845
                   'bzrlib.tests.test_sampler',
 
2846
                   'bzrlib.tests.test_selftest',
 
2847
                   'bzrlib.tests.test_setup',
 
2848
                   'bzrlib.tests.test_sftp_transport',
 
2849
                   'bzrlib.tests.test_smart',
 
2850
                   'bzrlib.tests.test_smart_add',
 
2851
                   'bzrlib.tests.test_smart_transport',
 
2852
                   'bzrlib.tests.test_smtp_connection',
 
2853
                   'bzrlib.tests.test_source',
 
2854
                   'bzrlib.tests.test_ssh_transport',
 
2855
                   'bzrlib.tests.test_status',
 
2856
                   'bzrlib.tests.test_store',
 
2857
                   'bzrlib.tests.test_strace',
 
2858
                   'bzrlib.tests.test_subsume',
 
2859
                   'bzrlib.tests.test_switch',
 
2860
                   'bzrlib.tests.test_symbol_versioning',
 
2861
                   'bzrlib.tests.test_tag',
 
2862
                   'bzrlib.tests.test_testament',
 
2863
                   'bzrlib.tests.test_textfile',
 
2864
                   'bzrlib.tests.test_textmerge',
 
2865
                   'bzrlib.tests.test_timestamp',
 
2866
                   'bzrlib.tests.test_trace',
 
2867
                   'bzrlib.tests.test_transactions',
 
2868
                   'bzrlib.tests.test_transform',
 
2869
                   'bzrlib.tests.test_transport',
 
2870
                   'bzrlib.tests.test_transport_implementations',
 
2871
                   'bzrlib.tests.test_transport_log',
 
2872
                   'bzrlib.tests.test_tree',
 
2873
                   'bzrlib.tests.test_treebuilder',
 
2874
                   'bzrlib.tests.test_tsort',
 
2875
                   'bzrlib.tests.test_tuned_gzip',
 
2876
                   'bzrlib.tests.test_ui',
 
2877
                   'bzrlib.tests.test_uncommit',
 
2878
                   'bzrlib.tests.test_upgrade',
 
2879
                   'bzrlib.tests.test_upgrade_stacked',
 
2880
                   'bzrlib.tests.test_urlutils',
 
2881
                   'bzrlib.tests.test_versionedfile',
 
2882
                   'bzrlib.tests.test_version',
 
2883
                   'bzrlib.tests.test_version_info',
 
2884
                   'bzrlib.tests.test__walkdirs_win32',
 
2885
                   'bzrlib.tests.test_weave',
 
2886
                   'bzrlib.tests.test_whitebox',
 
2887
                   'bzrlib.tests.test_win32utils',
 
2888
                   'bzrlib.tests.test_workingtree',
 
2889
                   'bzrlib.tests.test_workingtree_4',
 
2890
                   'bzrlib.tests.test_wsgi',
 
2891
                   'bzrlib.tests.test_xml',
 
2892
                   'bzrlib.tests.tree_implementations',
 
2893
                   'bzrlib.tests.workingtree_implementations',
 
2894
                   ]
4116
2895
 
4117
2896
    loader = TestUtil.TestLoader()
4118
2897
 
4119
 
    if keep_only is not None:
4120
 
        id_filter = TestIdList(keep_only)
4121
2898
    if starting_with:
 
2899
        starting_with = [test_prefix_alias_registry.resolve_alias(start)
 
2900
                         for start in starting_with]
4122
2901
        # We take precedence over keep_only because *at loading time* using
4123
2902
        # both options means we will load less tests for the same final result.
4124
2903
        def interesting_module(name):
4134
2913
        loader = TestUtil.FilteredByModuleTestLoader(interesting_module)
4135
2914
 
4136
2915
    elif keep_only is not None:
 
2916
        id_filter = TestIdList(keep_only)
4137
2917
        loader = TestUtil.FilteredByModuleTestLoader(id_filter.refers_to)
4138
2918
        def interesting_module(name):
4139
2919
            return id_filter.refers_to(name)
4147
2927
    suite = loader.suiteClass()
4148
2928
 
4149
2929
    # modules building their suite with loadTestsFromModuleNames
4150
 
    suite.addTest(loader.loadTestsFromModuleNames(_test_suite_testmod_names()))
4151
 
 
4152
 
    for mod in _test_suite_modules_to_doctest():
 
2930
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
2931
 
 
2932
    modules_to_doctest = [
 
2933
        'bzrlib',
 
2934
        'bzrlib.errors',
 
2935
        'bzrlib.export',
 
2936
        'bzrlib.inventory',
 
2937
        'bzrlib.iterablefile',
 
2938
        'bzrlib.lockdir',
 
2939
        'bzrlib.merge3',
 
2940
        'bzrlib.option',
 
2941
        'bzrlib.store',
 
2942
        'bzrlib.symbol_versioning',
 
2943
        'bzrlib.tests',
 
2944
        'bzrlib.timestamp',
 
2945
        'bzrlib.version_info_formats.format_custom',
 
2946
        ]
 
2947
 
 
2948
    for mod in modules_to_doctest:
4153
2949
        if not interesting_module(mod):
4154
2950
            # No tests to keep here, move along
4155
2951
            continue
4156
2952
        try:
4157
 
            # note that this really does mean "report only" -- doctest
4158
 
            # still runs the rest of the examples
4159
 
            doc_suite = IsolatedDocTestSuite(
4160
 
                mod, optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
 
2953
            doc_suite = doctest.DocTestSuite(mod)
4161
2954
        except ValueError, e:
4162
2955
            print '**failed to get doctest for: %s\n%s' % (mod, e)
4163
2956
            raise
4164
 
        if len(doc_suite._tests) == 0:
4165
 
            raise errors.BzrError("no doctests found in %s" % (mod,))
4166
2957
        suite.addTest(doc_suite)
4167
2958
 
4168
2959
    default_encoding = sys.getdefaultencoding()
4169
 
    for name, plugin in _mod_plugin.plugins().items():
 
2960
    for name, plugin in bzrlib.plugin.plugins().items():
4170
2961
        if not interesting_module(plugin.module.__name__):
4171
2962
            continue
4172
2963
        plugin_suite = plugin.test_suite()
4178
2969
        if plugin_suite is not None:
4179
2970
            suite.addTest(plugin_suite)
4180
2971
        if default_encoding != sys.getdefaultencoding():
4181
 
            trace.warning(
 
2972
            bzrlib.trace.warning(
4182
2973
                'Plugin "%s" tried to reset default encoding to: %s', name,
4183
2974
                sys.getdefaultencoding())
4184
2975
            reload(sys)
4185
2976
            sys.setdefaultencoding(default_encoding)
4186
2977
 
 
2978
    if starting_with:
 
2979
        suite = filter_suite_by_id_startswith(suite, starting_with)
 
2980
 
4187
2981
    if keep_only is not None:
4188
2982
        # Now that the referred modules have loaded their tests, keep only the
4189
2983
        # requested ones.
4199
2993
            # Some tests mentioned in the list are not in the test suite. The
4200
2994
            # list may be out of date, report to the tester.
4201
2995
            for id in not_found:
4202
 
                trace.warning('"%s" not found in the test suite', id)
 
2996
                bzrlib.trace.warning('"%s" not found in the test suite', id)
4203
2997
        for id in duplicates:
4204
 
            trace.warning('"%s" is used as an id by several tests', id)
 
2998
            bzrlib.trace.warning('"%s" is used as an id by several tests', id)
4205
2999
 
4206
3000
    return suite
4207
3001
 
4208
3002
 
4209
 
def multiply_scenarios(*scenarios):
4210
 
    """Multiply two or more iterables of scenarios.
4211
 
 
4212
 
    It is safe to pass scenario generators or iterators.
4213
 
 
4214
 
    :returns: A list of compound scenarios: the cross-product of all 
4215
 
        scenarios, with the names concatenated and the parameters
4216
 
        merged together.
 
3003
def multiply_tests_from_modules(module_name_list, scenario_iter, loader=None):
 
3004
    """Adapt all tests in some given modules to given scenarios.
 
3005
 
 
3006
    This is the recommended public interface for test parameterization.
 
3007
    Typically the test_suite() method for a per-implementation test
 
3008
    suite will call multiply_tests_from_modules and return the 
 
3009
    result.
 
3010
 
 
3011
    :param module_name_list: List of fully-qualified names of test
 
3012
        modules.
 
3013
    :param scenario_iter: Iterable of pairs of (scenario_name, 
 
3014
        scenario_param_dict).
 
3015
    :param loader: If provided, will be used instead of a new 
 
3016
        bzrlib.tests.TestLoader() instance.
 
3017
 
 
3018
    This returns a new TestSuite containing the cross product of
 
3019
    all the tests in all the modules, each repeated for each scenario.
 
3020
    Each test is adapted by adding the scenario name at the end 
 
3021
    of its name, and updating the test object's __dict__ with the
 
3022
    scenario_param_dict.
 
3023
 
 
3024
    >>> r = multiply_tests_from_modules(
 
3025
    ...     ['bzrlib.tests.test_sampler'],
 
3026
    ...     [('one', dict(param=1)), 
 
3027
    ...      ('two', dict(param=2))])
 
3028
    >>> tests = list(iter_suite_tests(r))
 
3029
    >>> len(tests)
 
3030
    2
 
3031
    >>> tests[0].id()
 
3032
    'bzrlib.tests.test_sampler.DemoTest.test_nothing(one)'
 
3033
    >>> tests[0].param
 
3034
    1
 
3035
    >>> tests[1].param
 
3036
    2
4217
3037
    """
4218
 
    return reduce(_multiply_two_scenarios, map(list, scenarios))
4219
 
 
4220
 
 
4221
 
def _multiply_two_scenarios(scenarios_left, scenarios_right):
 
3038
    # XXX: Isn't load_tests() a better way to provide the same functionality
 
3039
    # without forcing a predefined TestScenarioApplier ? --vila 080215
 
3040
    if loader is None:
 
3041
        loader = TestUtil.TestLoader()
 
3042
 
 
3043
    suite = loader.suiteClass()
 
3044
 
 
3045
    adapter = TestScenarioApplier()
 
3046
    adapter.scenarios = list(scenario_iter)
 
3047
    adapt_modules(module_name_list, adapter, loader, suite)
 
3048
    return suite
 
3049
 
 
3050
 
 
3051
def multiply_scenarios(scenarios_left, scenarios_right):
4222
3052
    """Multiply two sets of scenarios.
4223
3053
 
4224
3054
    :returns: the cartesian product of the two sets of scenarios, that is
4232
3062
        for right_name, right_dict in scenarios_right]
4233
3063
 
4234
3064
 
4235
 
def multiply_tests(tests, scenarios, result):
4236
 
    """Multiply tests_list by scenarios into result.
4237
 
 
4238
 
    This is the core workhorse for test parameterisation.
4239
 
 
4240
 
    Typically the load_tests() method for a per-implementation test suite will
4241
 
    call multiply_tests and return the result.
4242
 
 
4243
 
    :param tests: The tests to parameterise.
4244
 
    :param scenarios: The scenarios to apply: pairs of (scenario_name,
4245
 
        scenario_param_dict).
4246
 
    :param result: A TestSuite to add created tests to.
4247
 
 
4248
 
    This returns the passed in result TestSuite with the cross product of all
4249
 
    the tests repeated once for each scenario.  Each test is adapted by adding
4250
 
    the scenario name at the end of its id(), and updating the test object's
4251
 
    __dict__ with the scenario_param_dict.
4252
 
 
4253
 
    >>> import bzrlib.tests.test_sampler
4254
 
    >>> r = multiply_tests(
4255
 
    ...     bzrlib.tests.test_sampler.DemoTest('test_nothing'),
4256
 
    ...     [('one', dict(param=1)),
4257
 
    ...      ('two', dict(param=2))],
4258
 
    ...     TestUtil.TestSuite())
4259
 
    >>> tests = list(iter_suite_tests(r))
4260
 
    >>> len(tests)
4261
 
    2
4262
 
    >>> tests[0].id()
4263
 
    'bzrlib.tests.test_sampler.DemoTest.test_nothing(one)'
4264
 
    >>> tests[0].param
4265
 
    1
4266
 
    >>> tests[1].param
4267
 
    2
4268
 
    """
4269
 
    for test in iter_suite_tests(tests):
4270
 
        apply_scenarios(test, scenarios, result)
4271
 
    return result
4272
 
 
4273
 
 
4274
 
def apply_scenarios(test, scenarios, result):
4275
 
    """Apply the scenarios in scenarios to test and add to result.
4276
 
 
4277
 
    :param test: The test to apply scenarios to.
4278
 
    :param scenarios: An iterable of scenarios to apply to test.
4279
 
    :return: result
4280
 
    :seealso: apply_scenario
4281
 
    """
4282
 
    for scenario in scenarios:
4283
 
        result.addTest(apply_scenario(test, scenario))
4284
 
    return result
4285
 
 
4286
 
 
4287
 
def apply_scenario(test, scenario):
4288
 
    """Copy test and apply scenario to it.
4289
 
 
4290
 
    :param test: A test to adapt.
4291
 
    :param scenario: A tuple describing the scenarion.
4292
 
        The first element of the tuple is the new test id.
4293
 
        The second element is a dict containing attributes to set on the
4294
 
        test.
4295
 
    :return: The adapted test.
4296
 
    """
4297
 
    new_id = "%s(%s)" % (test.id(), scenario[0])
4298
 
    new_test = clone_test(test, new_id)
4299
 
    for name, value in scenario[1].items():
4300
 
        setattr(new_test, name, value)
4301
 
    return new_test
4302
 
 
4303
 
 
4304
 
def clone_test(test, new_id):
4305
 
    """Clone a test giving it a new id.
4306
 
 
4307
 
    :param test: The test to clone.
4308
 
    :param new_id: The id to assign to it.
4309
 
    :return: The new test.
4310
 
    """
4311
 
    new_test = copy.copy(test)
4312
 
    new_test.id = lambda: new_id
4313
 
    # XXX: Workaround <https://bugs.launchpad.net/testtools/+bug/637725>, which
4314
 
    # causes cloned tests to share the 'details' dict.  This makes it hard to
4315
 
    # read the test output for parameterized tests, because tracebacks will be
4316
 
    # associated with irrelevant tests.
4317
 
    try:
4318
 
        details = new_test._TestCase__details
4319
 
    except AttributeError:
4320
 
        # must be a different version of testtools than expected.  Do nothing.
4321
 
        pass
4322
 
    else:
4323
 
        # Reset the '__details' dict.
4324
 
        new_test._TestCase__details = {}
4325
 
    return new_test
4326
 
 
4327
 
 
4328
 
def permute_tests_for_extension(standard_tests, loader, py_module_name,
4329
 
                                ext_module_name):
4330
 
    """Helper for permutating tests against an extension module.
4331
 
 
4332
 
    This is meant to be used inside a modules 'load_tests()' function. It will
4333
 
    create 2 scenarios, and cause all tests in the 'standard_tests' to be run
4334
 
    against both implementations. Setting 'test.module' to the appropriate
4335
 
    module. See bzrlib.tests.test__chk_map.load_tests as an example.
4336
 
 
4337
 
    :param standard_tests: A test suite to permute
4338
 
    :param loader: A TestLoader
4339
 
    :param py_module_name: The python path to a python module that can always
4340
 
        be loaded, and will be considered the 'python' implementation. (eg
4341
 
        'bzrlib._chk_map_py')
4342
 
    :param ext_module_name: The python path to an extension module. If the
4343
 
        module cannot be loaded, a single test will be added, which notes that
4344
 
        the module is not available. If it can be loaded, all standard_tests
4345
 
        will be run against that module.
4346
 
    :return: (suite, feature) suite is a test-suite that has all the permuted
4347
 
        tests. feature is the Feature object that can be used to determine if
4348
 
        the module is available.
4349
 
    """
4350
 
 
4351
 
    from bzrlib.tests.features import ModuleAvailableFeature
4352
 
    py_module = pyutils.get_named_object(py_module_name)
4353
 
    scenarios = [
4354
 
        ('python', {'module': py_module}),
4355
 
    ]
4356
 
    suite = loader.suiteClass()
4357
 
    feature = ModuleAvailableFeature(ext_module_name)
4358
 
    if feature.available():
4359
 
        scenarios.append(('C', {'module': feature.module}))
4360
 
    else:
4361
 
        # the compiled module isn't available, so we add a failing test
4362
 
        class FailWithoutFeature(TestCase):
4363
 
            def test_fail(self):
4364
 
                self.requireFeature(feature)
4365
 
        suite.addTest(loader.loadTestsFromTestCase(FailWithoutFeature))
4366
 
    result = multiply_tests(standard_tests, scenarios, suite)
4367
 
    return result, feature
4368
 
 
4369
 
 
4370
 
def _rmtree_temp_dir(dirname, test_id=None):
 
3065
 
 
3066
def adapt_modules(mods_list, adapter, loader, suite):
 
3067
    """Adapt the modules in mods_list using adapter and add to suite."""
 
3068
    tests = loader.loadTestsFromModuleNames(mods_list)
 
3069
    adapt_tests(tests, adapter, suite)
 
3070
 
 
3071
 
 
3072
def adapt_tests(tests_list, adapter, suite):
 
3073
    """Adapt the tests in tests_list using adapter and add to suite."""
 
3074
    for test in iter_suite_tests(tests_list):
 
3075
        suite.addTests(adapter.adapt(test))
 
3076
 
 
3077
 
 
3078
def _rmtree_temp_dir(dirname):
4371
3079
    # If LANG=C we probably have created some bogus paths
4372
3080
    # which rmtree(unicode) will fail to delete
4373
3081
    # so make sure we are using rmtree(str) to delete everything
4382
3090
    try:
4383
3091
        osutils.rmtree(dirname)
4384
3092
    except OSError, e:
4385
 
        # We don't want to fail here because some useful display will be lost
4386
 
        # otherwise. Polluting the tmp dir is bad, but not giving all the
4387
 
        # possible info to the test runner is even worse.
4388
 
        if test_id != None:
4389
 
            ui.ui_factory.clear_term()
4390
 
            sys.stderr.write('\nWhile running: %s\n' % (test_id,))
4391
 
        # Ugly, but the last thing we want here is fail, so bear with it.
4392
 
        printable_e = str(e).decode(osutils.get_user_encoding(), 'replace'
4393
 
                                    ).encode('ascii', 'replace')
4394
 
        sys.stderr.write('Unable to remove testing dir %s\n%s'
4395
 
                         % (os.path.basename(dirname), printable_e))
 
3093
        if sys.platform == 'win32' and e.errno == errno.EACCES:
 
3094
            sys.stderr.write(('Permission denied: '
 
3095
                                 'unable to remove testing dir '
 
3096
                                 '%s\n' % os.path.basename(dirname)))
 
3097
        else:
 
3098
            raise
 
3099
 
 
3100
 
 
3101
class Feature(object):
 
3102
    """An operating system Feature."""
 
3103
 
 
3104
    def __init__(self):
 
3105
        self._available = None
 
3106
 
 
3107
    def available(self):
 
3108
        """Is the feature available?
 
3109
 
 
3110
        :return: True if the feature is available.
 
3111
        """
 
3112
        if self._available is None:
 
3113
            self._available = self._probe()
 
3114
        return self._available
 
3115
 
 
3116
    def _probe(self):
 
3117
        """Implement this method in concrete features.
 
3118
 
 
3119
        :return: True if the feature is available.
 
3120
        """
 
3121
        raise NotImplementedError
 
3122
 
 
3123
    def __str__(self):
 
3124
        if getattr(self, 'feature_name', None):
 
3125
            return self.feature_name()
 
3126
        return self.__class__.__name__
 
3127
 
 
3128
 
 
3129
class _SymlinkFeature(Feature):
 
3130
 
 
3131
    def _probe(self):
 
3132
        return osutils.has_symlinks()
 
3133
 
 
3134
    def feature_name(self):
 
3135
        return 'symlinks'
 
3136
 
 
3137
SymlinkFeature = _SymlinkFeature()
 
3138
 
 
3139
 
 
3140
class _HardlinkFeature(Feature):
 
3141
 
 
3142
    def _probe(self):
 
3143
        return osutils.has_hardlinks()
 
3144
 
 
3145
    def feature_name(self):
 
3146
        return 'hardlinks'
 
3147
 
 
3148
HardlinkFeature = _HardlinkFeature()
 
3149
 
 
3150
 
 
3151
class _OsFifoFeature(Feature):
 
3152
 
 
3153
    def _probe(self):
 
3154
        return getattr(os, 'mkfifo', None)
 
3155
 
 
3156
    def feature_name(self):
 
3157
        return 'filesystem fifos'
 
3158
 
 
3159
OsFifoFeature = _OsFifoFeature()
 
3160
 
 
3161
 
 
3162
class _UnicodeFilenameFeature(Feature):
 
3163
    """Does the filesystem support Unicode filenames?"""
 
3164
 
 
3165
    def _probe(self):
 
3166
        try:
 
3167
            # Check for character combinations unlikely to be covered by any
 
3168
            # single non-unicode encoding. We use the characters
 
3169
            # - greek small letter alpha (U+03B1) and
 
3170
            # - braille pattern dots-123456 (U+283F).
 
3171
            os.stat(u'\u03b1\u283f')
 
3172
        except UnicodeEncodeError:
 
3173
            return False
 
3174
        except (IOError, OSError):
 
3175
            # The filesystem allows the Unicode filename but the file doesn't
 
3176
            # exist.
 
3177
            return True
 
3178
        else:
 
3179
            # The filesystem allows the Unicode filename and the file exists,
 
3180
            # for some reason.
 
3181
            return True
 
3182
 
 
3183
UnicodeFilenameFeature = _UnicodeFilenameFeature()
 
3184
 
 
3185
 
 
3186
class TestScenarioApplier(object):
 
3187
    """A tool to apply scenarios to tests."""
 
3188
 
 
3189
    def adapt(self, test):
 
3190
        """Return a TestSuite containing a copy of test for each scenario."""
 
3191
        result = unittest.TestSuite()
 
3192
        for scenario in self.scenarios:
 
3193
            result.addTest(self.adapt_test_to_scenario(test, scenario))
 
3194
        return result
 
3195
 
 
3196
    def adapt_test_to_scenario(self, test, scenario):
 
3197
        """Copy test and apply scenario to it.
 
3198
 
 
3199
        :param test: A test to adapt.
 
3200
        :param scenario: A tuple describing the scenarion.
 
3201
            The first element of the tuple is the new test id.
 
3202
            The second element is a dict containing attributes to set on the
 
3203
            test.
 
3204
        :return: The adapted test.
 
3205
        """
 
3206
        from copy import deepcopy
 
3207
        new_test = deepcopy(test)
 
3208
        for name, value in scenario[1].items():
 
3209
            setattr(new_test, name, value)
 
3210
        new_id = "%s(%s)" % (new_test.id(), scenario[0])
 
3211
        new_test.id = lambda: new_id
 
3212
        return new_test
4396
3213
 
4397
3214
 
4398
3215
def probe_unicode_in_user_encoding():
4404
3221
    possible_vals = [u'm\xb5', u'\xe1', u'\u0410']
4405
3222
    for uni_val in possible_vals:
4406
3223
        try:
4407
 
            str_val = uni_val.encode(osutils.get_user_encoding())
 
3224
            str_val = uni_val.encode(bzrlib.user_encoding)
4408
3225
        except UnicodeEncodeError:
4409
3226
            # Try a different character
4410
3227
            pass
4428
3245
    return None
4429
3246
 
4430
3247
 
4431
 
# Only define SubUnitBzrRunner if subunit is available.
4432
 
try:
4433
 
    from subunit import TestProtocolClient
4434
 
    from subunit.test_results import AutoTimingTestResultDecorator
4435
 
    class SubUnitBzrProtocolClient(TestProtocolClient):
4436
 
 
4437
 
        def addSuccess(self, test, details=None):
4438
 
            # The subunit client always includes the details in the subunit
4439
 
            # stream, but we don't want to include it in ours.
4440
 
            if details is not None and 'log' in details:
4441
 
                del details['log']
4442
 
            return super(SubUnitBzrProtocolClient, self).addSuccess(
4443
 
                test, details)
4444
 
 
4445
 
    class SubUnitBzrRunner(TextTestRunner):
4446
 
        def run(self, test):
4447
 
            result = AutoTimingTestResultDecorator(
4448
 
                SubUnitBzrProtocolClient(self.stream))
4449
 
            test.run(result)
4450
 
            return result
4451
 
except ImportError:
4452
 
    pass
4453
 
 
4454
 
 
4455
 
@deprecated_function(deprecated_in((2, 5, 0)))
4456
 
def ModuleAvailableFeature(name):
4457
 
    from bzrlib.tests import features
4458
 
    return features.ModuleAvailableFeature(name)
4459
 
    
 
3248
class _FTPServerFeature(Feature):
 
3249
    """Some tests want an FTP Server, check if one is available.
 
3250
 
 
3251
    Right now, the only way this is available is if 'medusa' is installed.
 
3252
    http://www.amk.ca/python/code/medusa.html
 
3253
    """
 
3254
 
 
3255
    def _probe(self):
 
3256
        try:
 
3257
            import bzrlib.tests.ftp_server
 
3258
            return True
 
3259
        except ImportError:
 
3260
            return False
 
3261
 
 
3262
    def feature_name(self):
 
3263
        return 'FTPServer'
 
3264
 
 
3265
FTPServerFeature = _FTPServerFeature()
 
3266
 
 
3267
 
 
3268
class _UnicodeFilename(Feature):
 
3269
    """Does the filesystem support Unicode filenames?"""
 
3270
 
 
3271
    def _probe(self):
 
3272
        try:
 
3273
            os.stat(u'\u03b1')
 
3274
        except UnicodeEncodeError:
 
3275
            return False
 
3276
        except (IOError, OSError):
 
3277
            # The filesystem allows the Unicode filename but the file doesn't
 
3278
            # exist.
 
3279
            return True
 
3280
        else:
 
3281
            # The filesystem allows the Unicode filename and the file exists,
 
3282
            # for some reason.
 
3283
            return True
 
3284
 
 
3285
UnicodeFilename = _UnicodeFilename()
 
3286
 
 
3287
 
 
3288
class _UTF8Filesystem(Feature):
 
3289
    """Is the filesystem UTF-8?"""
 
3290
 
 
3291
    def _probe(self):
 
3292
        if osutils._fs_enc.upper() in ('UTF-8', 'UTF8'):
 
3293
            return True
 
3294
        return False
 
3295
 
 
3296
UTF8Filesystem = _UTF8Filesystem()
 
3297
 
 
3298
 
 
3299
class _CaseInsensitiveFilesystemFeature(Feature):
 
3300
    """Check if underlying filesystem is case-insensitive
 
3301
    (e.g. on Windows, Cygwin, MacOS)
 
3302
    """
 
3303
 
 
3304
    def _probe(self):
 
3305
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
 
3306
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
3307
            TestCaseWithMemoryTransport.TEST_ROOT = root
 
3308
        else:
 
3309
            root = TestCaseWithMemoryTransport.TEST_ROOT
 
3310
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
 
3311
            dir=root)
 
3312
        name_a = osutils.pathjoin(tdir, 'a')
 
3313
        name_A = osutils.pathjoin(tdir, 'A')
 
3314
        os.mkdir(name_a)
 
3315
        result = osutils.isdir(name_A)
 
3316
        _rmtree_temp_dir(tdir)
 
3317
        return result
 
3318
 
 
3319
    def feature_name(self):
 
3320
        return 'case-insensitive filesystem'
 
3321
 
 
3322
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()