~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Patch Queue Manager
  • Date: 2011-10-14 16:54:26 UTC
  • mfrom: (6216.1.1 remove-this-file)
  • Revision ID: pqm@pqm.ubuntu.com-20111014165426-tjix4e6idryf1r2z
(jelmer) Remove an accidentally committed .THIS file. (Jelmer Vernooij)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
16
16
 
17
17
"""Testing framework extensions"""
18
18
 
19
 
# TODO: Perhaps there should be an API to find out if bzr running under the
20
 
# test suite -- some plugins might want to avoid making intrusive changes if
21
 
# this is the case.  However, we want behaviour under to test to diverge as
22
 
# little as possible, so this should be used rarely if it's added at all.
23
 
# (Suggestion from j-a-meinel, 2005-11-24)
24
 
 
25
19
# NOTE: Some classes in here use camelCaseNaming() rather than
26
20
# underscore_naming().  That's for consistency with unittest; it's not the
27
21
# general style of bzrlib.  Please continue that consistency when adding e.g.
34
28
import difflib
35
29
import doctest
36
30
import errno
 
31
import itertools
37
32
import logging
38
 
import math
39
33
import os
 
34
import platform
40
35
import pprint
41
36
import random
42
37
import re
54
49
import testtools
55
50
# nb: check this before importing anything else from within it
56
51
_testtools_version = getattr(testtools, '__version__', ())
57
 
if _testtools_version < (0, 9, 2):
58
 
    raise ImportError("need at least testtools 0.9.2: %s is %r"
 
52
if _testtools_version < (0, 9, 5):
 
53
    raise ImportError("need at least testtools 0.9.5: %s is %r"
59
54
        % (testtools.__file__, _testtools_version))
60
55
from testtools import content
61
56
 
 
57
import bzrlib
62
58
from bzrlib import (
63
59
    branchbuilder,
64
60
    bzrdir,
65
61
    chk_map,
 
62
    commands as _mod_commands,
66
63
    config,
 
64
    i18n,
67
65
    debug,
68
66
    errors,
69
67
    hooks,
70
68
    lock as _mod_lock,
 
69
    lockdir,
71
70
    memorytree,
72
71
    osutils,
73
 
    progress,
 
72
    plugin as _mod_plugin,
 
73
    pyutils,
74
74
    ui,
75
75
    urlutils,
76
76
    registry,
 
77
    symbol_versioning,
 
78
    trace,
77
79
    transport as _mod_transport,
78
80
    workingtree,
79
81
    )
80
 
import bzrlib.branch
81
 
import bzrlib.commands
82
 
import bzrlib.timestamp
83
 
import bzrlib.export
84
 
import bzrlib.inventory
85
 
import bzrlib.iterablefile
86
 
import bzrlib.lockdir
87
82
try:
88
83
    import bzrlib.lsprof
89
84
except ImportError:
90
85
    # lsprof not available
91
86
    pass
92
 
from bzrlib.merge import merge_inner
93
 
import bzrlib.merge3
94
 
import bzrlib.plugin
95
 
from bzrlib.smart import client, request, server
96
 
import bzrlib.store
97
 
from bzrlib import symbol_versioning
 
87
from bzrlib.smart import client, request
 
88
from bzrlib.transport import (
 
89
    memory,
 
90
    pathfilter,
 
91
    )
98
92
from bzrlib.symbol_versioning import (
99
 
    DEPRECATED_PARAMETER,
100
93
    deprecated_function,
101
94
    deprecated_in,
102
 
    deprecated_method,
103
 
    deprecated_passed,
104
 
    )
105
 
import bzrlib.trace
106
 
from bzrlib.transport import (
107
 
    memory,
108
 
    pathfilter,
109
 
    )
110
 
from bzrlib.trace import mutter, note
 
95
    )
111
96
from bzrlib.tests import (
112
97
    test_server,
113
98
    TestUtil,
114
99
    treeshape,
115
100
    )
116
 
from bzrlib.tests.http_server import HttpServer
117
 
from bzrlib.tests.TestUtil import (
118
 
                          TestSuite,
119
 
                          TestLoader,
120
 
                          )
121
101
from bzrlib.ui import NullProgressView
122
102
from bzrlib.ui.text import TextUIFactory
123
 
import bzrlib.version_info_formats.format_custom
124
 
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
125
103
 
126
104
# Mark this python module as being part of the implementation
127
105
# of unittest: this gives us better tracebacks where the last
139
117
SUBUNIT_SEEK_SET = 0
140
118
SUBUNIT_SEEK_CUR = 1
141
119
 
142
 
 
143
 
class ExtendedTestResult(unittest._TextTestResult):
 
120
# These are intentionally brought into this namespace. That way plugins, etc
 
121
# can just "from bzrlib.tests import TestCase, TestLoader, etc"
 
122
TestSuite = TestUtil.TestSuite
 
123
TestLoader = TestUtil.TestLoader
 
124
 
 
125
# Tests should run in a clean and clearly defined environment. The goal is to
 
126
# keep them isolated from the running environment as mush as possible. The test
 
127
# framework ensures the variables defined below are set (or deleted if the
 
128
# value is None) before a test is run and reset to their original value after
 
129
# the test is run. Generally if some code depends on an environment variable,
 
130
# the tests should start without this variable in the environment. There are a
 
131
# few exceptions but you shouldn't violate this rule lightly.
 
132
isolated_environ = {
 
133
    'BZR_HOME': None,
 
134
    'HOME': None,
 
135
    # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
 
136
    # tests do check our impls match APPDATA
 
137
    'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
138
    'VISUAL': None,
 
139
    'EDITOR': None,
 
140
    'BZR_EMAIL': None,
 
141
    'BZREMAIL': None, # may still be present in the environment
 
142
    'EMAIL': 'jrandom@example.com', # set EMAIL as bzr does not guess
 
143
    'BZR_PROGRESS_BAR': None,
 
144
    # This should trap leaks to ~/.bzr.log. This occurs when tests use TestCase
 
145
    # as a base class instead of TestCaseInTempDir. Tests inheriting from
 
146
    # TestCase should not use disk resources, BZR_LOG is one.
 
147
    'BZR_LOG': '/you-should-use-TestCaseInTempDir-if-you-need-a-log-file',
 
148
    'BZR_PLUGIN_PATH': None,
 
149
    'BZR_DISABLE_PLUGINS': None,
 
150
    'BZR_PLUGINS_AT': None,
 
151
    'BZR_CONCURRENCY': None,
 
152
    # Make sure that any text ui tests are consistent regardless of
 
153
    # the environment the test case is run in; you may want tests that
 
154
    # test other combinations.  'dumb' is a reasonable guess for tests
 
155
    # going to a pipe or a StringIO.
 
156
    'TERM': 'dumb',
 
157
    'LINES': '25',
 
158
    'COLUMNS': '80',
 
159
    'BZR_COLUMNS': '80',
 
160
    # Disable SSH Agent
 
161
    'SSH_AUTH_SOCK': None,
 
162
    # Proxies
 
163
    'http_proxy': None,
 
164
    'HTTP_PROXY': None,
 
165
    'https_proxy': None,
 
166
    'HTTPS_PROXY': None,
 
167
    'no_proxy': None,
 
168
    'NO_PROXY': None,
 
169
    'all_proxy': None,
 
170
    'ALL_PROXY': None,
 
171
    # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
 
172
    # least. If you do (care), please update this comment
 
173
    # -- vila 20080401
 
174
    'ftp_proxy': None,
 
175
    'FTP_PROXY': None,
 
176
    'BZR_REMOTE_PATH': None,
 
177
    # Generally speaking, we don't want apport reporting on crashes in
 
178
    # the test envirnoment unless we're specifically testing apport,
 
179
    # so that it doesn't leak into the real system environment.  We
 
180
    # use an env var so it propagates to subprocesses.
 
181
    'APPORT_DISABLE': '1',
 
182
    }
 
183
 
 
184
 
 
185
def override_os_environ(test, env=None):
 
186
    """Modify os.environ keeping a copy.
 
187
    
 
188
    :param test: A test instance
 
189
 
 
190
    :param env: A dict containing variable definitions to be installed
 
191
    """
 
192
    if env is None:
 
193
        env = isolated_environ
 
194
    test._original_os_environ = dict([(var, value)
 
195
                                      for var, value in os.environ.iteritems()])
 
196
    for var, value in env.iteritems():
 
197
        osutils.set_or_unset_env(var, value)
 
198
        if var not in test._original_os_environ:
 
199
            # The var is new, add it with a value of None, so
 
200
            # restore_os_environ will delete it
 
201
            test._original_os_environ[var] = None
 
202
 
 
203
 
 
204
def restore_os_environ(test):
 
205
    """Restore os.environ to its original state.
 
206
 
 
207
    :param test: A test instance previously passed to override_os_environ.
 
208
    """
 
209
    for var, value in test._original_os_environ.iteritems():
 
210
        # Restore the original value (or delete it if the value has been set to
 
211
        # None in override_os_environ).
 
212
        osutils.set_or_unset_env(var, value)
 
213
 
 
214
 
 
215
def _clear__type_equality_funcs(test):
 
216
    """Cleanup bound methods stored on TestCase instances
 
217
 
 
218
    Clear the dict breaking a few (mostly) harmless cycles in the affected
 
219
    unittests released with Python 2.6 and initial Python 2.7 versions.
 
220
 
 
221
    For a few revisions between Python 2.7.1 and Python 2.7.2 that annoyingly
 
222
    shipped in Oneiric, an object with no clear method was used, hence the
 
223
    extra complications, see bug 809048 for details.
 
224
    """
 
225
    type_equality_funcs = getattr(test, "_type_equality_funcs", None)
 
226
    if type_equality_funcs is not None:
 
227
        tef_clear = getattr(type_equality_funcs, "clear", None)
 
228
        if tef_clear is None:
 
229
            tef_instance_dict = getattr(type_equality_funcs, "__dict__", None)
 
230
            if tef_instance_dict is not None:
 
231
                tef_clear = tef_instance_dict.clear
 
232
        if tef_clear is not None:
 
233
            tef_clear()
 
234
 
 
235
 
 
236
class ExtendedTestResult(testtools.TextTestResult):
144
237
    """Accepts, reports and accumulates the results of running tests.
145
238
 
146
239
    Compared to the unittest version this class adds support for
167
260
        :param bench_history: Optionally, a writable file object to accumulate
168
261
            benchmark results.
169
262
        """
170
 
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
263
        testtools.TextTestResult.__init__(self, stream)
171
264
        if bench_history is not None:
172
265
            from bzrlib.version import _get_bzr_source_tree
173
266
            src_tree = _get_bzr_source_tree()
194
287
        self.count = 0
195
288
        self._overall_start_time = time.time()
196
289
        self._strict = strict
 
290
        self._first_thread_leaker_id = None
 
291
        self._tests_leaking_threads_count = 0
 
292
        self._traceback_from_test = None
197
293
 
198
294
    def stopTestRun(self):
199
295
        run = self.testsRun
200
296
        actionTaken = "Ran"
201
297
        stopTime = time.time()
202
298
        timeTaken = stopTime - self.startTime
203
 
        self.printErrors()
204
 
        self.stream.writeln(self.separator2)
205
 
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
299
        # GZ 2010-07-19: Seems testtools has no printErrors method, and though
 
300
        #                the parent class method is similar have to duplicate
 
301
        self._show_list('ERROR', self.errors)
 
302
        self._show_list('FAIL', self.failures)
 
303
        self.stream.write(self.sep2)
 
304
        self.stream.write("%s %d test%s in %.3fs\n\n" % (actionTaken,
206
305
                            run, run != 1 and "s" or "", timeTaken))
207
 
        self.stream.writeln()
208
306
        if not self.wasSuccessful():
209
307
            self.stream.write("FAILED (")
210
308
            failed, errored = map(len, (self.failures, self.errors))
217
315
                if failed or errored: self.stream.write(", ")
218
316
                self.stream.write("known_failure_count=%d" %
219
317
                    self.known_failure_count)
220
 
            self.stream.writeln(")")
 
318
            self.stream.write(")\n")
221
319
        else:
222
320
            if self.known_failure_count:
223
 
                self.stream.writeln("OK (known_failures=%d)" %
 
321
                self.stream.write("OK (known_failures=%d)\n" %
224
322
                    self.known_failure_count)
225
323
            else:
226
 
                self.stream.writeln("OK")
 
324
                self.stream.write("OK\n")
227
325
        if self.skip_count > 0:
228
326
            skipped = self.skip_count
229
 
            self.stream.writeln('%d test%s skipped' %
 
327
            self.stream.write('%d test%s skipped\n' %
230
328
                                (skipped, skipped != 1 and "s" or ""))
231
329
        if self.unsupported:
232
330
            for feature, count in sorted(self.unsupported.items()):
233
 
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
331
                self.stream.write("Missing feature '%s' skipped %d tests.\n" %
234
332
                    (feature, count))
235
333
        if self._strict:
236
334
            ok = self.wasStrictlySuccessful()
237
335
        else:
238
336
            ok = self.wasSuccessful()
239
 
        if TestCase._first_thread_leaker_id:
 
337
        if self._first_thread_leaker_id:
240
338
            self.stream.write(
241
339
                '%s is leaking threads among %d leaking tests.\n' % (
242
 
                TestCase._first_thread_leaker_id,
243
 
                TestCase._leaking_threads_tests))
 
340
                self._first_thread_leaker_id,
 
341
                self._tests_leaking_threads_count))
244
342
            # We don't report the main thread as an active one.
245
343
            self.stream.write(
246
344
                '%d non-main threads were left active in the end.\n'
247
 
                % (TestCase._active_threads - 1))
 
345
                % (len(self._active_threads) - 1))
248
346
 
249
347
    def getDescription(self, test):
250
348
        return test.id()
257
355
 
258
356
    def _elapsedTestTimeString(self):
259
357
        """Return a time string for the overall time the current test has taken."""
260
 
        return self._formatTime(time.time() - self._start_time)
 
358
        return self._formatTime(self._delta_to_float(
 
359
            self._now() - self._start_datetime))
261
360
 
262
361
    def _testTimeString(self, testCase):
263
362
        benchmark_time = self._extractBenchmarkTime(testCase)
277
376
        what = re.sub(r'^bzrlib\.tests\.', '', what)
278
377
        return what
279
378
 
 
379
    # GZ 2010-10-04: Cloned tests may end up harmlessly calling this method
 
380
    #                multiple times in a row, because the handler is added for
 
381
    #                each test but the container list is shared between cases.
 
382
    #                See lp:498869 lp:625574 and lp:637725 for background.
 
383
    def _record_traceback_from_test(self, exc_info):
 
384
        """Store the traceback from passed exc_info tuple till"""
 
385
        self._traceback_from_test = exc_info[2]
 
386
 
280
387
    def startTest(self, test):
281
 
        unittest.TestResult.startTest(self, test)
 
388
        super(ExtendedTestResult, self).startTest(test)
282
389
        if self.count == 0:
283
390
            self.startTests()
 
391
        self.count += 1
284
392
        self.report_test_start(test)
285
393
        test.number = self.count
286
394
        self._recordTestStartTime()
 
395
        # Make testtools cases give us the real traceback on failure
 
396
        addOnException = getattr(test, "addOnException", None)
 
397
        if addOnException is not None:
 
398
            addOnException(self._record_traceback_from_test)
 
399
        # Only check for thread leaks on bzrlib derived test cases
 
400
        if isinstance(test, TestCase):
 
401
            test.addCleanup(self._check_leaked_threads, test)
 
402
 
 
403
    def stopTest(self, test):
 
404
        super(ExtendedTestResult, self).stopTest(test)
 
405
        # Manually break cycles, means touching various private things but hey
 
406
        getDetails = getattr(test, "getDetails", None)
 
407
        if getDetails is not None:
 
408
            getDetails().clear()
 
409
        _clear__type_equality_funcs(test)
 
410
        self._traceback_from_test = None
287
411
 
288
412
    def startTests(self):
289
 
        import platform
290
 
        if getattr(sys, 'frozen', None) is None:
291
 
            bzr_path = osutils.realpath(sys.argv[0])
292
 
        else:
293
 
            bzr_path = sys.executable
294
 
        self.stream.write(
295
 
            'bzr selftest: %s\n' % (bzr_path,))
296
 
        self.stream.write(
297
 
            '   %s\n' % (
298
 
                    bzrlib.__path__[0],))
299
 
        self.stream.write(
300
 
            '   bzr-%s python-%s %s\n' % (
301
 
                    bzrlib.version_string,
302
 
                    bzrlib._format_version_tuple(sys.version_info),
303
 
                    platform.platform(aliased=1),
304
 
                    ))
305
 
        self.stream.write('\n')
 
413
        self.report_tests_starting()
 
414
        self._active_threads = threading.enumerate()
 
415
 
 
416
    def _check_leaked_threads(self, test):
 
417
        """See if any threads have leaked since last call
 
418
 
 
419
        A sample of live threads is stored in the _active_threads attribute,
 
420
        when this method runs it compares the current live threads and any not
 
421
        in the previous sample are treated as having leaked.
 
422
        """
 
423
        now_active_threads = set(threading.enumerate())
 
424
        threads_leaked = now_active_threads.difference(self._active_threads)
 
425
        if threads_leaked:
 
426
            self._report_thread_leak(test, threads_leaked, now_active_threads)
 
427
            self._tests_leaking_threads_count += 1
 
428
            if self._first_thread_leaker_id is None:
 
429
                self._first_thread_leaker_id = test.id()
 
430
            self._active_threads = now_active_threads
306
431
 
307
432
    def _recordTestStartTime(self):
308
433
        """Record that a test has started."""
309
 
        self._start_time = time.time()
310
 
 
311
 
    def _cleanupLogFile(self, test):
312
 
        # We can only do this if we have one of our TestCases, not if
313
 
        # we have a doctest.
314
 
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
315
 
        if setKeepLogfile is not None:
316
 
            setKeepLogfile()
 
434
        self._start_datetime = self._now()
317
435
 
318
436
    def addError(self, test, err):
319
437
        """Tell result that test finished with an error.
321
439
        Called from the TestCase run() method when the test
322
440
        fails with an unexpected error.
323
441
        """
324
 
        self._post_mortem()
325
 
        unittest.TestResult.addError(self, test, err)
 
442
        self._post_mortem(self._traceback_from_test)
 
443
        super(ExtendedTestResult, self).addError(test, err)
326
444
        self.error_count += 1
327
445
        self.report_error(test, err)
328
446
        if self.stop_early:
329
447
            self.stop()
330
 
        self._cleanupLogFile(test)
331
448
 
332
449
    def addFailure(self, test, err):
333
450
        """Tell result that test failed.
335
452
        Called from the TestCase run() method when the test
336
453
        fails because e.g. an assert() method failed.
337
454
        """
338
 
        self._post_mortem()
339
 
        unittest.TestResult.addFailure(self, test, err)
 
455
        self._post_mortem(self._traceback_from_test)
 
456
        super(ExtendedTestResult, self).addFailure(test, err)
340
457
        self.failure_count += 1
341
458
        self.report_failure(test, err)
342
459
        if self.stop_early:
343
460
            self.stop()
344
 
        self._cleanupLogFile(test)
345
461
 
346
462
    def addSuccess(self, test, details=None):
347
463
        """Tell result that test completed successfully.
355
471
                    self._formatTime(benchmark_time),
356
472
                    test.id()))
357
473
        self.report_success(test)
358
 
        self._cleanupLogFile(test)
359
 
        unittest.TestResult.addSuccess(self, test)
 
474
        super(ExtendedTestResult, self).addSuccess(test)
360
475
        test._log_contents = ''
361
476
 
362
477
    def addExpectedFailure(self, test, err):
363
478
        self.known_failure_count += 1
364
479
        self.report_known_failure(test, err)
365
480
 
 
481
    def addUnexpectedSuccess(self, test, details=None):
 
482
        """Tell result the test unexpectedly passed, counting as a failure
 
483
 
 
484
        When the minimum version of testtools required becomes 0.9.8 this
 
485
        can be updated to use the new handling there.
 
486
        """
 
487
        super(ExtendedTestResult, self).addFailure(test, details=details)
 
488
        self.failure_count += 1
 
489
        self.report_unexpected_success(test,
 
490
            "".join(details["reason"].iter_text()))
 
491
        if self.stop_early:
 
492
            self.stop()
 
493
 
366
494
    def addNotSupported(self, test, feature):
367
495
        """The test will not be run because of a missing feature.
368
496
        """
385
513
        self.not_applicable_count += 1
386
514
        self.report_not_applicable(test, reason)
387
515
 
388
 
    def _post_mortem(self):
 
516
    def _count_stored_tests(self):
 
517
        """Count of tests instances kept alive due to not succeeding"""
 
518
        return self.error_count + self.failure_count + self.known_failure_count
 
519
 
 
520
    def _post_mortem(self, tb=None):
389
521
        """Start a PDB post mortem session."""
390
522
        if os.environ.get('BZR_TEST_PDB', None):
391
 
            import pdb;pdb.post_mortem()
 
523
            import pdb
 
524
            pdb.post_mortem(tb)
392
525
 
393
526
    def progress(self, offset, whence):
394
527
        """The test is adjusting the count of tests to run."""
399
532
        else:
400
533
            raise errors.BzrError("Unknown whence %r" % whence)
401
534
 
402
 
    def report_cleaning_up(self):
403
 
        pass
 
535
    def report_tests_starting(self):
 
536
        """Display information before the test run begins"""
 
537
        if getattr(sys, 'frozen', None) is None:
 
538
            bzr_path = osutils.realpath(sys.argv[0])
 
539
        else:
 
540
            bzr_path = sys.executable
 
541
        self.stream.write(
 
542
            'bzr selftest: %s\n' % (bzr_path,))
 
543
        self.stream.write(
 
544
            '   %s\n' % (
 
545
                    bzrlib.__path__[0],))
 
546
        self.stream.write(
 
547
            '   bzr-%s python-%s %s\n' % (
 
548
                    bzrlib.version_string,
 
549
                    bzrlib._format_version_tuple(sys.version_info),
 
550
                    platform.platform(aliased=1),
 
551
                    ))
 
552
        self.stream.write('\n')
 
553
 
 
554
    def report_test_start(self, test):
 
555
        """Display information on the test just about to be run"""
 
556
 
 
557
    def _report_thread_leak(self, test, leaked_threads, active_threads):
 
558
        """Display information on a test that leaked one or more threads"""
 
559
        # GZ 2010-09-09: A leak summary reported separately from the general
 
560
        #                thread debugging would be nice. Tests under subunit
 
561
        #                need something not using stream, perhaps adding a
 
562
        #                testtools details object would be fitting.
 
563
        if 'threads' in selftest_debug_flags:
 
564
            self.stream.write('%s is leaking, active is now %d\n' %
 
565
                (test.id(), len(active_threads)))
404
566
 
405
567
    def startTestRun(self):
406
568
        self.startTime = time.time()
443
605
        self.pb.finished()
444
606
        super(TextTestResult, self).stopTestRun()
445
607
 
446
 
    def startTestRun(self):
447
 
        super(TextTestResult, self).startTestRun()
 
608
    def report_tests_starting(self):
 
609
        super(TextTestResult, self).report_tests_starting()
448
610
        self.pb.update('[test 0/%d] Starting' % (self.num_tests))
449
611
 
450
 
    def printErrors(self):
451
 
        # clear the pb to make room for the error listing
452
 
        self.pb.clear()
453
 
        super(TextTestResult, self).printErrors()
454
 
 
455
612
    def _progress_prefix_text(self):
456
613
        # the longer this text, the less space we have to show the test
457
614
        # name...
479
636
        return a
480
637
 
481
638
    def report_test_start(self, test):
482
 
        self.count += 1
483
639
        self.pb.update(
484
640
                self._progress_prefix_text()
485
641
                + ' '
503
659
    def report_known_failure(self, test, err):
504
660
        pass
505
661
 
 
662
    def report_unexpected_success(self, test, reason):
 
663
        self.stream.write('FAIL: %s\n    %s: %s\n' % (
 
664
            self._test_description(test),
 
665
            "Unexpected success. Should have failed",
 
666
            reason,
 
667
            ))
 
668
 
506
669
    def report_skip(self, test, reason):
507
670
        pass
508
671
 
512
675
    def report_unsupported(self, test, feature):
513
676
        """test cannot be run because feature is missing."""
514
677
 
515
 
    def report_cleaning_up(self):
516
 
        self.pb.update('Cleaning up')
517
 
 
518
678
 
519
679
class VerboseTestResult(ExtendedTestResult):
520
680
    """Produce long output, with one line per test run plus times"""
527
687
            result = a_string
528
688
        return result.ljust(final_width)
529
689
 
530
 
    def startTestRun(self):
531
 
        super(VerboseTestResult, self).startTestRun()
 
690
    def report_tests_starting(self):
532
691
        self.stream.write('running %d tests...\n' % self.num_tests)
 
692
        super(VerboseTestResult, self).report_tests_starting()
533
693
 
534
694
    def report_test_start(self, test):
535
 
        self.count += 1
536
695
        name = self._shortened_test_description(test)
537
696
        width = osutils.terminal_width()
538
697
        if width is not None:
550
709
        return '%s%s' % (indent, err[1])
551
710
 
552
711
    def report_error(self, test, err):
553
 
        self.stream.writeln('ERROR %s\n%s'
 
712
        self.stream.write('ERROR %s\n%s\n'
554
713
                % (self._testTimeString(test),
555
714
                   self._error_summary(err)))
556
715
 
557
716
    def report_failure(self, test, err):
558
 
        self.stream.writeln(' FAIL %s\n%s'
 
717
        self.stream.write(' FAIL %s\n%s\n'
559
718
                % (self._testTimeString(test),
560
719
                   self._error_summary(err)))
561
720
 
562
721
    def report_known_failure(self, test, err):
563
 
        self.stream.writeln('XFAIL %s\n%s'
 
722
        self.stream.write('XFAIL %s\n%s\n'
564
723
                % (self._testTimeString(test),
565
724
                   self._error_summary(err)))
566
725
 
 
726
    def report_unexpected_success(self, test, reason):
 
727
        self.stream.write(' FAIL %s\n%s: %s\n'
 
728
                % (self._testTimeString(test),
 
729
                   "Unexpected success. Should have failed",
 
730
                   reason))
 
731
 
567
732
    def report_success(self, test):
568
 
        self.stream.writeln('   OK %s' % self._testTimeString(test))
 
733
        self.stream.write('   OK %s\n' % self._testTimeString(test))
569
734
        for bench_called, stats in getattr(test, '_benchcalls', []):
570
 
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
735
            self.stream.write('LSProf output for %s(%s, %s)\n' % bench_called)
571
736
            stats.pprint(file=self.stream)
572
737
        # flush the stream so that we get smooth output. This verbose mode is
573
738
        # used to show the output in PQM.
574
739
        self.stream.flush()
575
740
 
576
741
    def report_skip(self, test, reason):
577
 
        self.stream.writeln(' SKIP %s\n%s'
 
742
        self.stream.write(' SKIP %s\n%s\n'
578
743
                % (self._testTimeString(test), reason))
579
744
 
580
745
    def report_not_applicable(self, test, reason):
581
 
        self.stream.writeln('  N/A %s\n    %s'
 
746
        self.stream.write('  N/A %s\n    %s\n'
582
747
                % (self._testTimeString(test), reason))
583
748
 
584
749
    def report_unsupported(self, test, feature):
585
750
        """test cannot be run because feature is missing."""
586
 
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
751
        self.stream.write("NODEP %s\n    The feature '%s' is not available.\n"
587
752
                %(self._testTimeString(test), feature))
588
753
 
589
754
 
616
781
            encode = codec[0]
617
782
        else:
618
783
            encode = codec.encode
619
 
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream)
 
784
        # GZ 2010-09-08: Really we don't want to be writing arbitrary bytes,
 
785
        #                so should swap to the plain codecs.StreamWriter
 
786
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream,
 
787
            "backslashreplace")
620
788
        stream.encoding = new_encoding
621
 
        self.stream = unittest._WritelnDecorator(stream)
 
789
        self.stream = stream
622
790
        self.descriptions = descriptions
623
791
        self.verbosity = verbosity
624
792
        self._bench_history = bench_history
772
940
        return NullProgressView()
773
941
 
774
942
 
 
943
def isolated_doctest_setUp(test):
 
944
    override_os_environ(test)
 
945
 
 
946
 
 
947
def isolated_doctest_tearDown(test):
 
948
    restore_os_environ(test)
 
949
 
 
950
 
 
951
def IsolatedDocTestSuite(*args, **kwargs):
 
952
    """Overrides doctest.DocTestSuite to handle isolation.
 
953
 
 
954
    The method is really a factory and users are expected to use it as such.
 
955
    """
 
956
 
 
957
    kwargs['setUp'] = isolated_doctest_setUp
 
958
    kwargs['tearDown'] = isolated_doctest_tearDown
 
959
    return doctest.DocTestSuite(*args, **kwargs)
 
960
 
 
961
 
775
962
class TestCase(testtools.TestCase):
776
963
    """Base class for bzr unit tests.
777
964
 
788
975
    routine, and to build and check bzr trees.
789
976
 
790
977
    In addition to the usual method of overriding tearDown(), this class also
791
 
    allows subclasses to register functions into the _cleanups list, which is
 
978
    allows subclasses to register cleanup functions via addCleanup, which are
792
979
    run in order as the object is torn down.  It's less likely this will be
793
980
    accidentally overlooked.
794
981
    """
795
982
 
796
 
    _active_threads = None
797
 
    _leaking_threads_tests = 0
798
 
    _first_thread_leaker_id = None
799
 
    _log_file_name = None
 
983
    _log_file = None
800
984
    # record lsprof data when performing benchmark calls.
801
985
    _gather_lsprof_in_benchmarks = False
802
986
 
803
987
    def __init__(self, methodName='testMethod'):
804
988
        super(TestCase, self).__init__(methodName)
805
 
        self._cleanups = []
806
989
        self._directory_isolation = True
807
990
        self.exception_handlers.insert(0,
808
991
            (UnavailableFeature, self._do_unsupported_or_skip))
813
996
        super(TestCase, self).setUp()
814
997
        for feature in getattr(self, '_test_needs_features', []):
815
998
            self.requireFeature(feature)
816
 
        self._log_contents = None
817
 
        self.addDetail("log", content.Content(content.ContentType("text",
818
 
            "plain", {"charset": "utf8"}),
819
 
            lambda:[self._get_log(keep_log_file=True)]))
820
999
        self._cleanEnvironment()
 
1000
        if bzrlib.global_state is not None:
 
1001
            self.overrideAttr(bzrlib.global_state, 'cmdline_overrides',
 
1002
                              config.CommandLineSection())
821
1003
        self._silenceUI()
822
1004
        self._startLogFile()
823
1005
        self._benchcalls = []
826
1008
        self._track_transports()
827
1009
        self._track_locks()
828
1010
        self._clear_debug_flags()
829
 
        TestCase._active_threads = threading.activeCount()
830
 
        self.addCleanup(self._check_leaked_threads)
 
1011
        # Isolate global verbosity level, to make sure it's reproducible
 
1012
        # between tests.  We should get rid of this altogether: bug 656694. --
 
1013
        # mbp 20101008
 
1014
        self.overrideAttr(bzrlib.trace, '_verbosity_level', 0)
 
1015
        # Isolate config option expansion until its default value for bzrlib is
 
1016
        # settled on or a the FIXME associated with _get_expand_default_value
 
1017
        # is addressed -- vila 20110219
 
1018
        self.overrideAttr(config, '_expand_default_value', None)
 
1019
        self._log_files = set()
 
1020
        # Each key in the ``_counters`` dict holds a value for a different
 
1021
        # counter. When the test ends, addDetail() should be used to output the
 
1022
        # counter values. This happens in install_counter_hook().
 
1023
        self._counters = {}
 
1024
        if 'config_stats' in selftest_debug_flags:
 
1025
            self._install_config_stats_hooks()
 
1026
        # Do not use i18n for tests (unless the test reverses this)
 
1027
        i18n.disable_i18n()
831
1028
 
832
1029
    def debug(self):
833
1030
        # debug a frame up.
834
1031
        import pdb
835
 
        pdb.Pdb().set_trace(sys._getframe().f_back)
836
 
 
837
 
    def _check_leaked_threads(self):
838
 
        active = threading.activeCount()
839
 
        leaked_threads = active - TestCase._active_threads
840
 
        TestCase._active_threads = active
841
 
        # If some tests make the number of threads *decrease*, we'll consider
842
 
        # that they are just observing old threads dieing, not agressively kill
843
 
        # random threads. So we don't report these tests as leaking. The risk
844
 
        # is that we have false positives that way (the test see 2 threads
845
 
        # going away but leak one) but it seems less likely than the actual
846
 
        # false positives (the test see threads going away and does not leak).
847
 
        if leaked_threads > 0:
848
 
            TestCase._leaking_threads_tests += 1
849
 
            if TestCase._first_thread_leaker_id is None:
850
 
                TestCase._first_thread_leaker_id = self.id()
 
1032
        # The sys preserved stdin/stdout should allow blackbox tests debugging
 
1033
        pdb.Pdb(stdin=sys.__stdin__, stdout=sys.__stdout__
 
1034
                ).set_trace(sys._getframe().f_back)
 
1035
 
 
1036
    def discardDetail(self, name):
 
1037
        """Extend the addDetail, getDetails api so we can remove a detail.
 
1038
 
 
1039
        eg. bzr always adds the 'log' detail at startup, but we don't want to
 
1040
        include it for skipped, xfail, etc tests.
 
1041
 
 
1042
        It is safe to call this for a detail that doesn't exist, in case this
 
1043
        gets called multiple times.
 
1044
        """
 
1045
        # We cheat. details is stored in __details which means we shouldn't
 
1046
        # touch it. but getDetails() returns the dict directly, so we can
 
1047
        # mutate it.
 
1048
        details = self.getDetails()
 
1049
        if name in details:
 
1050
            del details[name]
 
1051
 
 
1052
    def install_counter_hook(self, hooks, name, counter_name=None):
 
1053
        """Install a counting hook.
 
1054
 
 
1055
        Any hook can be counted as long as it doesn't need to return a value.
 
1056
 
 
1057
        :param hooks: Where the hook should be installed.
 
1058
 
 
1059
        :param name: The hook name that will be counted.
 
1060
 
 
1061
        :param counter_name: The counter identifier in ``_counters``, defaults
 
1062
            to ``name``.
 
1063
        """
 
1064
        _counters = self._counters # Avoid closing over self
 
1065
        if counter_name is None:
 
1066
            counter_name = name
 
1067
        if _counters.has_key(counter_name):
 
1068
            raise AssertionError('%s is already used as a counter name'
 
1069
                                  % (counter_name,))
 
1070
        _counters[counter_name] = 0
 
1071
        self.addDetail(counter_name, content.Content(content.UTF8_TEXT,
 
1072
            lambda: ['%d' % (_counters[counter_name],)]))
 
1073
        def increment_counter(*args, **kwargs):
 
1074
            _counters[counter_name] += 1
 
1075
        label = 'count %s calls' % (counter_name,)
 
1076
        hooks.install_named_hook(name, increment_counter, label)
 
1077
        self.addCleanup(hooks.uninstall_named_hook, name, label)
 
1078
 
 
1079
    def _install_config_stats_hooks(self):
 
1080
        """Install config hooks to count hook calls.
 
1081
 
 
1082
        """
 
1083
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
 
1084
            self.install_counter_hook(config.ConfigHooks, hook_name,
 
1085
                                       'config.%s' % (hook_name,))
 
1086
 
 
1087
        # The OldConfigHooks are private and need special handling to protect
 
1088
        # against recursive tests (tests that run other tests), so we just do
 
1089
        # manually what registering them into _builtin_known_hooks will provide
 
1090
        # us.
 
1091
        self.overrideAttr(config, 'OldConfigHooks', config._OldConfigHooks())
 
1092
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
 
1093
            self.install_counter_hook(config.OldConfigHooks, hook_name,
 
1094
                                      'old_config.%s' % (hook_name,))
851
1095
 
852
1096
    def _clear_debug_flags(self):
853
1097
        """Prevent externally set debug flags affecting tests.
864
1108
 
865
1109
    def _clear_hooks(self):
866
1110
        # prevent hooks affecting tests
 
1111
        known_hooks = hooks.known_hooks
867
1112
        self._preserved_hooks = {}
868
 
        for key, factory in hooks.known_hooks.items():
869
 
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
870
 
            current_hooks = hooks.known_hooks_key_to_object(key)
 
1113
        for key, (parent, name) in known_hooks.iter_parent_objects():
 
1114
            current_hooks = getattr(parent, name)
871
1115
            self._preserved_hooks[parent] = (name, current_hooks)
 
1116
        self._preserved_lazy_hooks = hooks._lazy_hooks
 
1117
        hooks._lazy_hooks = {}
872
1118
        self.addCleanup(self._restoreHooks)
873
 
        for key, factory in hooks.known_hooks.items():
874
 
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
 
1119
        for key, (parent, name) in known_hooks.iter_parent_objects():
 
1120
            factory = known_hooks.get(key)
875
1121
            setattr(parent, name, factory())
876
1122
        # this hook should always be installed
877
1123
        request._install_hook()
906
1152
        # break some locks on purpose and should be taken into account by
907
1153
        # considering that breaking a lock is just a dirty way of releasing it.
908
1154
        if len(acquired_locks) != (len(released_locks) + len(broken_locks)):
909
 
            message = ('Different number of acquired and '
910
 
                       'released or broken locks. (%s, %s + %s)' %
911
 
                       (acquired_locks, released_locks, broken_locks))
 
1155
            message = (
 
1156
                'Different number of acquired and '
 
1157
                'released or broken locks.\n'
 
1158
                'acquired=%s\n'
 
1159
                'released=%s\n'
 
1160
                'broken=%s\n' %
 
1161
                (acquired_locks, released_locks, broken_locks))
912
1162
            if not self._lock_check_thorough:
913
1163
                # Rather than fail, just warn
914
1164
                print "Broken test %s: %s" % (self, message)
942
1192
 
943
1193
    def permit_dir(self, name):
944
1194
        """Permit a directory to be used by this test. See permit_url."""
945
 
        name_transport = _mod_transport.get_transport(name)
 
1195
        name_transport = _mod_transport.get_transport_from_path(name)
946
1196
        self.permit_url(name)
947
1197
        self.permit_url(name_transport.base)
948
1198
 
971
1221
            try:
972
1222
                workingtree.WorkingTree.open(path)
973
1223
            except (errors.NotBranchError, errors.NoWorkingTree):
974
 
                return
 
1224
                raise TestSkipped('Needs a working tree of bzr sources')
975
1225
        finally:
976
1226
            self.enable_directory_isolation()
977
1227
 
1027
1277
        self.addCleanup(transport_server.stop_server)
1028
1278
        # Obtain a real transport because if the server supplies a password, it
1029
1279
        # will be hidden from the base on the client side.
1030
 
        t = _mod_transport.get_transport(transport_server.get_url())
 
1280
        t = _mod_transport.get_transport_from_url(transport_server.get_url())
1031
1281
        # Some transport servers effectively chroot the backing transport;
1032
1282
        # others like SFTPServer don't - users of the transport can walk up the
1033
1283
        # transport to read the entire backing transport. This wouldn't matter
1089
1339
        except UnicodeError, e:
1090
1340
            # If we can't compare without getting a UnicodeError, then
1091
1341
            # obviously they are different
1092
 
            mutter('UnicodeError: %s', e)
 
1342
            trace.mutter('UnicodeError: %s', e)
1093
1343
        if message:
1094
1344
            message += '\n'
1095
1345
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
1134
1384
                         'st_mtime did not match')
1135
1385
        self.assertEqual(expected.st_ctime, actual.st_ctime,
1136
1386
                         'st_ctime did not match')
1137
 
        if sys.platform != 'win32':
 
1387
        if sys.platform == 'win32':
1138
1388
            # On Win32 both 'dev' and 'ino' cannot be trusted. In python2.4 it
1139
1389
            # is 'dev' that varies, in python 2.5 (6?) it is st_ino that is
1140
 
            # odd. Regardless we shouldn't actually try to assert anything
1141
 
            # about their values
 
1390
            # odd. We just force it to always be 0 to avoid any problems.
 
1391
            self.assertEqual(0, expected.st_dev)
 
1392
            self.assertEqual(0, actual.st_dev)
 
1393
            self.assertEqual(0, expected.st_ino)
 
1394
            self.assertEqual(0, actual.st_ino)
 
1395
        else:
1142
1396
            self.assertEqual(expected.st_dev, actual.st_dev,
1143
1397
                             'st_dev did not match')
1144
1398
            self.assertEqual(expected.st_ino, actual.st_ino,
1153
1407
                length, len(obj_with_len), obj_with_len))
1154
1408
 
1155
1409
    def assertLogsError(self, exception_class, func, *args, **kwargs):
1156
 
        """Assert that func(*args, **kwargs) quietly logs a specific exception.
 
1410
        """Assert that `func(*args, **kwargs)` quietly logs a specific error.
1157
1411
        """
1158
 
        from bzrlib import trace
1159
1412
        captured = []
1160
1413
        orig_log_exception_quietly = trace.log_exception_quietly
1161
1414
        try:
1162
1415
            def capture():
1163
1416
                orig_log_exception_quietly()
1164
 
                captured.append(sys.exc_info())
 
1417
                captured.append(sys.exc_info()[1])
1165
1418
            trace.log_exception_quietly = capture
1166
1419
            func(*args, **kwargs)
1167
1420
        finally:
1168
1421
            trace.log_exception_quietly = orig_log_exception_quietly
1169
1422
        self.assertLength(1, captured)
1170
 
        err = captured[0][1]
 
1423
        err = captured[0]
1171
1424
        self.assertIsInstance(err, exception_class)
1172
1425
        return err
1173
1426
 
1210
1463
        if haystack.find(needle) == -1:
1211
1464
            self.fail("string %r not found in '''%s'''" % (needle, haystack))
1212
1465
 
 
1466
    def assertNotContainsString(self, haystack, needle):
 
1467
        if haystack.find(needle) != -1:
 
1468
            self.fail("string %r found in '''%s'''" % (needle, haystack))
 
1469
 
1213
1470
    def assertSubset(self, sublist, superlist):
1214
1471
        """Assert that every entry in sublist is present in superlist."""
1215
1472
        missing = set(sublist) - set(superlist)
1304
1561
 
1305
1562
    def assertFileEqual(self, content, path):
1306
1563
        """Fail if path does not contain 'content'."""
1307
 
        self.failUnlessExists(path)
 
1564
        self.assertPathExists(path)
1308
1565
        f = file(path, 'rb')
1309
1566
        try:
1310
1567
            s = f.read()
1320
1577
        else:
1321
1578
            self.assertEqual(expected_docstring, obj.__doc__)
1322
1579
 
 
1580
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1323
1581
    def failUnlessExists(self, path):
 
1582
        return self.assertPathExists(path)
 
1583
 
 
1584
    def assertPathExists(self, path):
1324
1585
        """Fail unless path or paths, which may be abs or relative, exist."""
1325
1586
        if not isinstance(path, basestring):
1326
1587
            for p in path:
1327
 
                self.failUnlessExists(p)
 
1588
                self.assertPathExists(p)
1328
1589
        else:
1329
 
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1590
            self.assertTrue(osutils.lexists(path),
 
1591
                path + " does not exist")
1330
1592
 
 
1593
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1331
1594
    def failIfExists(self, path):
 
1595
        return self.assertPathDoesNotExist(path)
 
1596
 
 
1597
    def assertPathDoesNotExist(self, path):
1332
1598
        """Fail if path or paths, which may be abs or relative, exist."""
1333
1599
        if not isinstance(path, basestring):
1334
1600
            for p in path:
1335
 
                self.failIfExists(p)
 
1601
                self.assertPathDoesNotExist(p)
1336
1602
        else:
1337
 
            self.failIf(osutils.lexists(path),path+" exists")
 
1603
            self.assertFalse(osutils.lexists(path),
 
1604
                path + " exists")
1338
1605
 
1339
1606
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
1340
1607
        """A helper for callDeprecated and applyDeprecated.
1366
1633
        not other callers that go direct to the warning module.
1367
1634
 
1368
1635
        To test that a deprecated method raises an error, do something like
1369
 
        this::
 
1636
        this (remember that both assertRaises and applyDeprecated delays *args
 
1637
        and **kwargs passing)::
1370
1638
 
1371
1639
            self.assertRaises(errors.ReservedId,
1372
1640
                self.applyDeprecated,
1454
1722
 
1455
1723
        The file is removed as the test is torn down.
1456
1724
        """
1457
 
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
1458
 
        self._log_file = os.fdopen(fileno, 'w+')
1459
 
        self._log_memento = bzrlib.trace.push_log_file(self._log_file)
1460
 
        self._log_file_name = name
 
1725
        pseudo_log_file = StringIO()
 
1726
        def _get_log_contents_for_weird_testtools_api():
 
1727
            return [pseudo_log_file.getvalue().decode(
 
1728
                "utf-8", "replace").encode("utf-8")]
 
1729
        self.addDetail("log", content.Content(content.ContentType("text",
 
1730
            "plain", {"charset": "utf8"}),
 
1731
            _get_log_contents_for_weird_testtools_api))
 
1732
        self._log_file = pseudo_log_file
 
1733
        self._log_memento = trace.push_log_file(self._log_file)
1461
1734
        self.addCleanup(self._finishLogFile)
1462
1735
 
1463
1736
    def _finishLogFile(self):
1464
1737
        """Finished with the log file.
1465
1738
 
1466
 
        Close the file and delete it, unless setKeepLogfile was called.
 
1739
        Close the file and delete it.
1467
1740
        """
1468
 
        if bzrlib.trace._trace_file:
 
1741
        if trace._trace_file:
1469
1742
            # flush the log file, to get all content
1470
 
            bzrlib.trace._trace_file.flush()
1471
 
        bzrlib.trace.pop_log_file(self._log_memento)
1472
 
        # Cache the log result and delete the file on disk
1473
 
        self._get_log(False)
 
1743
            trace._trace_file.flush()
 
1744
        trace.pop_log_file(self._log_memento)
1474
1745
 
1475
1746
    def thisFailsStrictLockCheck(self):
1476
1747
        """It is known that this test would fail with -Dstrict_locks.
1485
1756
        """
1486
1757
        debug.debug_flags.discard('strict_locks')
1487
1758
 
1488
 
    def addCleanup(self, callable, *args, **kwargs):
1489
 
        """Arrange to run a callable when this case is torn down.
1490
 
 
1491
 
        Callables are run in the reverse of the order they are registered,
1492
 
        ie last-in first-out.
1493
 
        """
1494
 
        self._cleanups.append((callable, args, kwargs))
1495
 
 
1496
1759
    def overrideAttr(self, obj, attr_name, new=_unitialized_attr):
1497
1760
        """Overrides an object attribute restoring it after the test.
1498
1761
 
 
1762
        :note: This should be used with discretion; you should think about
 
1763
        whether it's better to make the code testable without monkey-patching.
 
1764
 
1499
1765
        :param obj: The object that will be mutated.
1500
1766
 
1501
1767
        :param attr_name: The attribute name we want to preserve/override in
1512
1778
            setattr(obj, attr_name, new)
1513
1779
        return value
1514
1780
 
 
1781
    def overrideEnv(self, name, new):
 
1782
        """Set an environment variable, and reset it after the test.
 
1783
 
 
1784
        :param name: The environment variable name.
 
1785
 
 
1786
        :param new: The value to set the variable to. If None, the 
 
1787
            variable is deleted from the environment.
 
1788
 
 
1789
        :returns: The actual variable value.
 
1790
        """
 
1791
        value = osutils.set_or_unset_env(name, new)
 
1792
        self.addCleanup(osutils.set_or_unset_env, name, value)
 
1793
        return value
 
1794
 
 
1795
    def recordCalls(self, obj, attr_name):
 
1796
        """Monkeypatch in a wrapper that will record calls.
 
1797
 
 
1798
        The monkeypatch is automatically removed when the test concludes.
 
1799
 
 
1800
        :param obj: The namespace holding the reference to be replaced;
 
1801
            typically a module, class, or object.
 
1802
        :param attr_name: A string for the name of the attribute to 
 
1803
            patch.
 
1804
        :returns: A list that will be extended with one item every time the
 
1805
            function is called, with a tuple of (args, kwargs).
 
1806
        """
 
1807
        calls = []
 
1808
 
 
1809
        def decorator(*args, **kwargs):
 
1810
            calls.append((args, kwargs))
 
1811
            return orig(*args, **kwargs)
 
1812
        orig = self.overrideAttr(obj, attr_name, decorator)
 
1813
        return calls
 
1814
 
1515
1815
    def _cleanEnvironment(self):
1516
 
        new_env = {
1517
 
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
1518
 
            'HOME': os.getcwd(),
1519
 
            # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
1520
 
            # tests do check our impls match APPDATA
1521
 
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
1522
 
            'VISUAL': None,
1523
 
            'EDITOR': None,
1524
 
            'BZR_EMAIL': None,
1525
 
            'BZREMAIL': None, # may still be present in the environment
1526
 
            'EMAIL': 'jrandom@example.com', # set EMAIL as bzr does not guess
1527
 
            'BZR_PROGRESS_BAR': None,
1528
 
            'BZR_LOG': None,
1529
 
            'BZR_PLUGIN_PATH': None,
1530
 
            'BZR_DISABLE_PLUGINS': None,
1531
 
            'BZR_PLUGINS_AT': None,
1532
 
            'BZR_CONCURRENCY': None,
1533
 
            # Make sure that any text ui tests are consistent regardless of
1534
 
            # the environment the test case is run in; you may want tests that
1535
 
            # test other combinations.  'dumb' is a reasonable guess for tests
1536
 
            # going to a pipe or a StringIO.
1537
 
            'TERM': 'dumb',
1538
 
            'LINES': '25',
1539
 
            'COLUMNS': '80',
1540
 
            'BZR_COLUMNS': '80',
1541
 
            # SSH Agent
1542
 
            'SSH_AUTH_SOCK': None,
1543
 
            # Proxies
1544
 
            'http_proxy': None,
1545
 
            'HTTP_PROXY': None,
1546
 
            'https_proxy': None,
1547
 
            'HTTPS_PROXY': None,
1548
 
            'no_proxy': None,
1549
 
            'NO_PROXY': None,
1550
 
            'all_proxy': None,
1551
 
            'ALL_PROXY': None,
1552
 
            # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
1553
 
            # least. If you do (care), please update this comment
1554
 
            # -- vila 20080401
1555
 
            'ftp_proxy': None,
1556
 
            'FTP_PROXY': None,
1557
 
            'BZR_REMOTE_PATH': None,
1558
 
            # Generally speaking, we don't want apport reporting on crashes in
1559
 
            # the test envirnoment unless we're specifically testing apport,
1560
 
            # so that it doesn't leak into the real system environment.  We
1561
 
            # use an env var so it propagates to subprocesses.
1562
 
            'APPORT_DISABLE': '1',
1563
 
        }
1564
 
        self._old_env = {}
1565
 
        self.addCleanup(self._restoreEnvironment)
1566
 
        for name, value in new_env.iteritems():
1567
 
            self._captureVar(name, value)
1568
 
 
1569
 
    def _captureVar(self, name, newvalue):
1570
 
        """Set an environment variable, and reset it when finished."""
1571
 
        self._old_env[name] = osutils.set_or_unset_env(name, newvalue)
1572
 
 
1573
 
    def _restoreEnvironment(self):
1574
 
        for name, value in self._old_env.iteritems():
1575
 
            osutils.set_or_unset_env(name, value)
 
1816
        for name, value in isolated_environ.iteritems():
 
1817
            self.overrideEnv(name, value)
1576
1818
 
1577
1819
    def _restoreHooks(self):
1578
1820
        for klass, (name, hooks) in self._preserved_hooks.items():
1579
1821
            setattr(klass, name, hooks)
 
1822
        self._preserved_hooks.clear()
 
1823
        bzrlib.hooks._lazy_hooks = self._preserved_lazy_hooks
 
1824
        self._preserved_lazy_hooks.clear()
1580
1825
 
1581
1826
    def knownFailure(self, reason):
1582
 
        """This test has failed for some known reason."""
1583
 
        raise KnownFailure(reason)
 
1827
        """Declare that this test fails for a known reason
 
1828
 
 
1829
        Tests that are known to fail should generally be using expectedFailure
 
1830
        with an appropriate reverse assertion if a change could cause the test
 
1831
        to start passing. Conversely if the test has no immediate prospect of
 
1832
        succeeding then using skip is more suitable.
 
1833
 
 
1834
        When this method is called while an exception is being handled, that
 
1835
        traceback will be used, otherwise a new exception will be thrown to
 
1836
        provide one but won't be reported.
 
1837
        """
 
1838
        self._add_reason(reason)
 
1839
        try:
 
1840
            exc_info = sys.exc_info()
 
1841
            if exc_info != (None, None, None):
 
1842
                self._report_traceback(exc_info)
 
1843
            else:
 
1844
                try:
 
1845
                    raise self.failureException(reason)
 
1846
                except self.failureException:
 
1847
                    exc_info = sys.exc_info()
 
1848
            # GZ 02-08-2011: Maybe cleanup this err.exc_info attribute too?
 
1849
            raise testtools.testcase._ExpectedFailure(exc_info)
 
1850
        finally:
 
1851
            del exc_info
 
1852
 
 
1853
    def _suppress_log(self):
 
1854
        """Remove the log info from details."""
 
1855
        self.discardDetail('log')
1584
1856
 
1585
1857
    def _do_skip(self, result, reason):
 
1858
        self._suppress_log()
1586
1859
        addSkip = getattr(result, 'addSkip', None)
1587
1860
        if not callable(addSkip):
1588
1861
            result.addSuccess(result)
1591
1864
 
1592
1865
    @staticmethod
1593
1866
    def _do_known_failure(self, result, e):
 
1867
        self._suppress_log()
1594
1868
        err = sys.exc_info()
1595
1869
        addExpectedFailure = getattr(result, 'addExpectedFailure', None)
1596
1870
        if addExpectedFailure is not None:
1604
1878
            reason = 'No reason given'
1605
1879
        else:
1606
1880
            reason = e.args[0]
 
1881
        self._suppress_log ()
1607
1882
        addNotApplicable = getattr(result, 'addNotApplicable', None)
1608
1883
        if addNotApplicable is not None:
1609
1884
            result.addNotApplicable(self, reason)
1611
1886
            self._do_skip(result, reason)
1612
1887
 
1613
1888
    @staticmethod
 
1889
    def _report_skip(self, result, err):
 
1890
        """Override the default _report_skip.
 
1891
 
 
1892
        We want to strip the 'log' detail. If we waint until _do_skip, it has
 
1893
        already been formatted into the 'reason' string, and we can't pull it
 
1894
        out again.
 
1895
        """
 
1896
        self._suppress_log()
 
1897
        super(TestCase, self)._report_skip(self, result, err)
 
1898
 
 
1899
    @staticmethod
 
1900
    def _report_expected_failure(self, result, err):
 
1901
        """Strip the log.
 
1902
 
 
1903
        See _report_skip for motivation.
 
1904
        """
 
1905
        self._suppress_log()
 
1906
        super(TestCase, self)._report_expected_failure(self, result, err)
 
1907
 
 
1908
    @staticmethod
1614
1909
    def _do_unsupported_or_skip(self, result, e):
1615
1910
        reason = e.args[0]
 
1911
        self._suppress_log()
1616
1912
        addNotSupported = getattr(result, 'addNotSupported', None)
1617
1913
        if addNotSupported is not None:
1618
1914
            result.addNotSupported(self, reason)
1644
1940
            self._benchtime += time.time() - start
1645
1941
 
1646
1942
    def log(self, *args):
1647
 
        mutter(*args)
1648
 
 
1649
 
    def _get_log(self, keep_log_file=False):
1650
 
        """Internal helper to get the log from bzrlib.trace for this test.
1651
 
 
1652
 
        Please use self.getDetails, or self.get_log to access this in test case
1653
 
        code.
1654
 
 
1655
 
        :param keep_log_file: When True, if the log is still a file on disk
1656
 
            leave it as a file on disk. When False, if the log is still a file
1657
 
            on disk, the log file is deleted and the log preserved as
1658
 
            self._log_contents.
1659
 
        :return: A string containing the log.
1660
 
        """
1661
 
        if self._log_contents is not None:
1662
 
            try:
1663
 
                self._log_contents.decode('utf8')
1664
 
            except UnicodeDecodeError:
1665
 
                unicodestr = self._log_contents.decode('utf8', 'replace')
1666
 
                self._log_contents = unicodestr.encode('utf8')
1667
 
            return self._log_contents
1668
 
        import bzrlib.trace
1669
 
        if bzrlib.trace._trace_file:
1670
 
            # flush the log file, to get all content
1671
 
            bzrlib.trace._trace_file.flush()
1672
 
        if self._log_file_name is not None:
1673
 
            logfile = open(self._log_file_name)
1674
 
            try:
1675
 
                log_contents = logfile.read()
1676
 
            finally:
1677
 
                logfile.close()
1678
 
            try:
1679
 
                log_contents.decode('utf8')
1680
 
            except UnicodeDecodeError:
1681
 
                unicodestr = log_contents.decode('utf8', 'replace')
1682
 
                log_contents = unicodestr.encode('utf8')
1683
 
            if not keep_log_file:
1684
 
                close_attempts = 0
1685
 
                max_close_attempts = 100
1686
 
                first_close_error = None
1687
 
                while close_attempts < max_close_attempts:
1688
 
                    close_attempts += 1
1689
 
                    try:
1690
 
                        self._log_file.close()
1691
 
                    except IOError, ioe:
1692
 
                        if ioe.errno is None:
1693
 
                            # No errno implies 'close() called during
1694
 
                            # concurrent operation on the same file object', so
1695
 
                            # retry.  Probably a thread is trying to write to
1696
 
                            # the log file.
1697
 
                            if first_close_error is None:
1698
 
                                first_close_error = ioe
1699
 
                            continue
1700
 
                        raise
1701
 
                    else:
1702
 
                        break
1703
 
                if close_attempts > 1:
1704
 
                    sys.stderr.write(
1705
 
                        'Unable to close log file on first attempt, '
1706
 
                        'will retry: %s\n' % (first_close_error,))
1707
 
                    if close_attempts == max_close_attempts:
1708
 
                        sys.stderr.write(
1709
 
                            'Unable to close log file after %d attempts.\n'
1710
 
                            % (max_close_attempts,))
1711
 
                self._log_file = None
1712
 
                # Permit multiple calls to get_log until we clean it up in
1713
 
                # finishLogFile
1714
 
                self._log_contents = log_contents
1715
 
                try:
1716
 
                    os.remove(self._log_file_name)
1717
 
                except OSError, e:
1718
 
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
1719
 
                        sys.stderr.write(('Unable to delete log file '
1720
 
                                             ' %r\n' % self._log_file_name))
1721
 
                    else:
1722
 
                        raise
1723
 
                self._log_file_name = None
1724
 
            return log_contents
1725
 
        else:
1726
 
            return "No log file content and no log file name."
 
1943
        trace.mutter(*args)
1727
1944
 
1728
1945
    def get_log(self):
1729
1946
        """Get a unicode string containing the log from bzrlib.trace.
1779
1996
 
1780
1997
        try:
1781
1998
            try:
1782
 
                result = self.apply_redirected(ui.ui_factory.stdin,
 
1999
                result = self.apply_redirected(
 
2000
                    ui.ui_factory.stdin,
1783
2001
                    stdout, stderr,
1784
 
                    bzrlib.commands.run_bzr_catch_user_errors,
 
2002
                    _mod_commands.run_bzr_catch_user_errors,
1785
2003
                    args)
1786
2004
            except KeyboardInterrupt:
1787
2005
                # Reraise KeyboardInterrupt with contents of redirected stdout
1929
2147
    def start_bzr_subprocess(self, process_args, env_changes=None,
1930
2148
                             skip_if_plan_to_signal=False,
1931
2149
                             working_dir=None,
1932
 
                             allow_plugins=False):
 
2150
                             allow_plugins=False, stderr=subprocess.PIPE):
1933
2151
        """Start bzr in a subprocess for testing.
1934
2152
 
1935
2153
        This starts a new Python interpreter and runs bzr in there.
1944
2162
            variables. A value of None will unset the env variable.
1945
2163
            The values must be strings. The change will only occur in the
1946
2164
            child, so you don't need to fix the environment after running.
1947
 
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
1948
 
            is not available.
 
2165
        :param skip_if_plan_to_signal: raise TestSkipped when true and system
 
2166
            doesn't support signalling subprocesses.
1949
2167
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
2168
        :param stderr: file to use for the subprocess's stderr.  Valid values
 
2169
            are those valid for the stderr argument of `subprocess.Popen`.
 
2170
            Default value is ``subprocess.PIPE``.
1950
2171
 
1951
2172
        :returns: Popen object for the started process.
1952
2173
        """
1953
2174
        if skip_if_plan_to_signal:
1954
 
            if not getattr(os, 'kill', None):
1955
 
                raise TestSkipped("os.kill not available.")
 
2175
            if os.name != "posix":
 
2176
                raise TestSkipped("Sending signals not supported")
1956
2177
 
1957
2178
        if env_changes is None:
1958
2179
            env_changes = {}
1978
2199
            # so we will avoid using it on all platforms, just to
1979
2200
            # make sure the code path is used, and we don't break on win32
1980
2201
            cleanup_environment()
 
2202
            # Include the subprocess's log file in the test details, in case
 
2203
            # the test fails due to an error in the subprocess.
 
2204
            self._add_subprocess_log(trace._get_bzr_log_filename())
1981
2205
            command = [sys.executable]
1982
2206
            # frozen executables don't need the path to bzr
1983
2207
            if getattr(sys, "frozen", None) is None:
1987
2211
            command.extend(process_args)
1988
2212
            process = self._popen(command, stdin=subprocess.PIPE,
1989
2213
                                  stdout=subprocess.PIPE,
1990
 
                                  stderr=subprocess.PIPE)
 
2214
                                  stderr=stderr)
1991
2215
        finally:
1992
2216
            restore_environment()
1993
2217
            if cwd is not None:
1995
2219
 
1996
2220
        return process
1997
2221
 
 
2222
    def _add_subprocess_log(self, log_file_path):
 
2223
        if len(self._log_files) == 0:
 
2224
            # Register an addCleanup func.  We do this on the first call to
 
2225
            # _add_subprocess_log rather than in TestCase.setUp so that this
 
2226
            # addCleanup is registered after any cleanups for tempdirs that
 
2227
            # subclasses might create, which will probably remove the log file
 
2228
            # we want to read.
 
2229
            self.addCleanup(self._subprocess_log_cleanup)
 
2230
        # self._log_files is a set, so if a log file is reused we won't grab it
 
2231
        # twice.
 
2232
        self._log_files.add(log_file_path)
 
2233
 
 
2234
    def _subprocess_log_cleanup(self):
 
2235
        for count, log_file_path in enumerate(self._log_files):
 
2236
            # We use buffer_now=True to avoid holding the file open beyond
 
2237
            # the life of this function, which might interfere with e.g.
 
2238
            # cleaning tempdirs on Windows.
 
2239
            # XXX: Testtools 0.9.5 doesn't have the content_from_file helper
 
2240
            #detail_content = content.content_from_file(
 
2241
            #    log_file_path, buffer_now=True)
 
2242
            with open(log_file_path, 'rb') as log_file:
 
2243
                log_file_bytes = log_file.read()
 
2244
            detail_content = content.Content(content.ContentType("text",
 
2245
                "plain", {"charset": "utf8"}), lambda: [log_file_bytes])
 
2246
            self.addDetail("start_bzr_subprocess-log-%d" % (count,),
 
2247
                detail_content)
 
2248
 
1998
2249
    def _popen(self, *args, **kwargs):
1999
2250
        """Place a call to Popen.
2000
2251
 
2037
2288
        if retcode is not None and retcode != process.returncode:
2038
2289
            if process_args is None:
2039
2290
                process_args = "(unknown args)"
2040
 
            mutter('Output of bzr %s:\n%s', process_args, out)
2041
 
            mutter('Error for bzr %s:\n%s', process_args, err)
 
2291
            trace.mutter('Output of bzr %s:\n%s', process_args, out)
 
2292
            trace.mutter('Error for bzr %s:\n%s', process_args, err)
2042
2293
            self.fail('Command bzr %s failed with retcode %s != %s'
2043
2294
                      % (process_args, retcode, process.returncode))
2044
2295
        return [out, err]
2045
2296
 
2046
 
    def check_inventory_shape(self, inv, shape):
2047
 
        """Compare an inventory to a list of expected names.
 
2297
    def check_tree_shape(self, tree, shape):
 
2298
        """Compare a tree to a list of expected names.
2048
2299
 
2049
2300
        Fail if they are not precisely equal.
2050
2301
        """
2051
2302
        extras = []
2052
2303
        shape = list(shape)             # copy
2053
 
        for path, ie in inv.entries():
 
2304
        for path, ie in tree.iter_entries_by_dir():
2054
2305
            name = path.replace('\\', '/')
2055
2306
            if ie.kind == 'directory':
2056
2307
                name = name + '/'
2057
 
            if name in shape:
 
2308
            if name == "/":
 
2309
                pass # ignore root entry
 
2310
            elif name in shape:
2058
2311
                shape.remove(name)
2059
2312
            else:
2060
2313
                extras.append(name)
2101
2354
 
2102
2355
        Tests that expect to provoke LockContention errors should call this.
2103
2356
        """
2104
 
        self.overrideAttr(bzrlib.lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
 
2357
        self.overrideAttr(lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
2105
2358
 
2106
2359
    def make_utf8_encoded_stringio(self, encoding_type=None):
2107
2360
        """Return a StringIOWrapper instance, that will encode Unicode
2150
2403
class TestCaseWithMemoryTransport(TestCase):
2151
2404
    """Common test class for tests that do not need disk resources.
2152
2405
 
2153
 
    Tests that need disk resources should derive from TestCaseWithTransport.
 
2406
    Tests that need disk resources should derive from TestCaseInTempDir
 
2407
    orTestCaseWithTransport.
2154
2408
 
2155
2409
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
2156
2410
 
2157
 
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
2411
    For TestCaseWithMemoryTransport the ``test_home_dir`` is set to the name of
2158
2412
    a directory which does not exist. This serves to help ensure test isolation
2159
 
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
2160
 
    must exist. However, TestCaseWithMemoryTransport does not offer local
2161
 
    file defaults for the transport in tests, nor does it obey the command line
 
2413
    is preserved. ``test_dir`` is set to the TEST_ROOT, as is cwd, because they
 
2414
    must exist. However, TestCaseWithMemoryTransport does not offer local file
 
2415
    defaults for the transport in tests, nor does it obey the command line
2162
2416
    override, so tests that accidentally write to the common directory should
2163
2417
    be rare.
2164
2418
 
2165
 
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
2166
 
    a .bzr directory that stops us ascending higher into the filesystem.
 
2419
    :cvar TEST_ROOT: Directory containing all temporary directories, plus a
 
2420
        ``.bzr`` directory that stops us ascending higher into the filesystem.
2167
2421
    """
2168
2422
 
2169
2423
    TEST_ROOT = None
2187
2441
 
2188
2442
        :param relpath: a path relative to the base url.
2189
2443
        """
2190
 
        t = _mod_transport.get_transport(self.get_url(relpath))
 
2444
        t = _mod_transport.get_transport_from_url(self.get_url(relpath))
2191
2445
        self.assertFalse(t.is_readonly())
2192
2446
        return t
2193
2447
 
2199
2453
 
2200
2454
        :param relpath: a path relative to the base url.
2201
2455
        """
2202
 
        t = _mod_transport.get_transport(self.get_readonly_url(relpath))
 
2456
        t = _mod_transport.get_transport_from_url(
 
2457
            self.get_readonly_url(relpath))
2203
2458
        self.assertTrue(t.is_readonly())
2204
2459
        return t
2205
2460
 
2326
2581
        real branch.
2327
2582
        """
2328
2583
        root = TestCaseWithMemoryTransport.TEST_ROOT
2329
 
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
2584
        # Make sure we get a readable and accessible home for .bzr.log
 
2585
        # and/or config files, and not fallback to weird defaults (see
 
2586
        # http://pad.lv/825027).
 
2587
        self.assertIs(None, os.environ.get('BZR_HOME', None))
 
2588
        os.environ['BZR_HOME'] = root
 
2589
        wt = bzrdir.BzrDir.create_standalone_workingtree(root)
 
2590
        del os.environ['BZR_HOME']
 
2591
        # Hack for speed: remember the raw bytes of the dirstate file so that
 
2592
        # we don't need to re-open the wt to check it hasn't changed.
 
2593
        TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE = (
 
2594
            wt.control_transport.get_bytes('dirstate'))
2330
2595
 
2331
2596
    def _check_safety_net(self):
2332
2597
        """Check that the safety .bzr directory have not been touched.
2335
2600
        propagating. This method ensures than a test did not leaked.
2336
2601
        """
2337
2602
        root = TestCaseWithMemoryTransport.TEST_ROOT
2338
 
        self.permit_url(_mod_transport.get_transport(root).base)
2339
 
        wt = workingtree.WorkingTree.open(root)
2340
 
        last_rev = wt.last_revision()
2341
 
        if last_rev != 'null:':
 
2603
        t = _mod_transport.get_transport_from_path(root)
 
2604
        self.permit_url(t.base)
 
2605
        if (t.get_bytes('.bzr/checkout/dirstate') != 
 
2606
                TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE):
2342
2607
            # The current test have modified the /bzr directory, we need to
2343
2608
            # recreate a new one or all the followng tests will fail.
2344
2609
            # If you need to inspect its content uncomment the following line
2379
2644
    def make_branch(self, relpath, format=None):
2380
2645
        """Create a branch on the transport at relpath."""
2381
2646
        repo = self.make_repository(relpath, format=format)
2382
 
        return repo.bzrdir.create_branch()
 
2647
        return repo.bzrdir.create_branch(append_revisions_only=False)
 
2648
 
 
2649
    def get_default_format(self):
 
2650
        return 'default'
 
2651
 
 
2652
    def resolve_format(self, format):
 
2653
        """Resolve an object to a ControlDir format object.
 
2654
 
 
2655
        The initial format object can either already be
 
2656
        a ControlDirFormat, None (for the default format),
 
2657
        or a string with the name of the control dir format.
 
2658
 
 
2659
        :param format: Object to resolve
 
2660
        :return A ControlDirFormat instance
 
2661
        """
 
2662
        if format is None:
 
2663
            format = self.get_default_format()
 
2664
        if isinstance(format, basestring):
 
2665
            format = bzrdir.format_registry.make_bzrdir(format)
 
2666
        return format
2383
2667
 
2384
2668
    def make_bzrdir(self, relpath, format=None):
2385
2669
        try:
2389
2673
            t = _mod_transport.get_transport(maybe_a_url)
2390
2674
            if len(segments) > 1 and segments[-1] not in ('', '.'):
2391
2675
                t.ensure_base()
2392
 
            if format is None:
2393
 
                format = 'default'
2394
 
            if isinstance(format, basestring):
2395
 
                format = bzrdir.format_registry.make_bzrdir(format)
 
2676
            format = self.resolve_format(format)
2396
2677
            return format.initialize_on_transport(t)
2397
2678
        except errors.UninitializableFormat:
2398
2679
            raise TestSkipped("Format %s is not initializable." % format)
2399
2680
 
2400
 
    def make_repository(self, relpath, shared=False, format=None):
 
2681
    def make_repository(self, relpath, shared=None, format=None):
2401
2682
        """Create a repository on our default transport at relpath.
2402
2683
 
2403
2684
        Note that relpath must be a relative path, not a full url.
2414
2695
            backing_server = self.get_server()
2415
2696
        smart_server = test_server.SmartTCPServer_for_testing()
2416
2697
        self.start_server(smart_server, backing_server)
2417
 
        remote_transport = _mod_transport.get_transport(smart_server.get_url()
 
2698
        remote_transport = _mod_transport.get_transport_from_url(smart_server.get_url()
2418
2699
                                                   ).clone(path)
2419
2700
        return remote_transport
2420
2701
 
2431
2712
        test_home_dir = self.test_home_dir
2432
2713
        if isinstance(test_home_dir, unicode):
2433
2714
            test_home_dir = test_home_dir.encode(sys.getfilesystemencoding())
2434
 
        os.environ['HOME'] = test_home_dir
2435
 
        os.environ['BZR_HOME'] = test_home_dir
 
2715
        self.overrideEnv('HOME', test_home_dir)
 
2716
        self.overrideEnv('BZR_HOME', test_home_dir)
2436
2717
 
2437
2718
    def setUp(self):
2438
2719
        super(TestCaseWithMemoryTransport, self).setUp()
 
2720
        # Ensure that ConnectedTransport doesn't leak sockets
 
2721
        def get_transport_from_url_with_cleanup(*args, **kwargs):
 
2722
            t = orig_get_transport_from_url(*args, **kwargs)
 
2723
            if isinstance(t, _mod_transport.ConnectedTransport):
 
2724
                self.addCleanup(t.disconnect)
 
2725
            return t
 
2726
 
 
2727
        orig_get_transport_from_url = self.overrideAttr(
 
2728
            _mod_transport, 'get_transport_from_url',
 
2729
            get_transport_from_url_with_cleanup)
2439
2730
        self._make_test_root()
2440
2731
        self.addCleanup(os.chdir, os.getcwdu())
2441
2732
        self.makeAndChdirToTestDir()
2484
2775
 
2485
2776
    OVERRIDE_PYTHON = 'python'
2486
2777
 
 
2778
    def setUp(self):
 
2779
        super(TestCaseInTempDir, self).setUp()
 
2780
        # Remove the protection set in isolated_environ, we have a proper
 
2781
        # access to disk resources now.
 
2782
        self.overrideEnv('BZR_LOG', None)
 
2783
 
2487
2784
    def check_file_contents(self, filename, expect):
2488
2785
        self.log("check contents of file %s" % filename)
2489
2786
        f = file(filename)
2570
2867
                "a list or a tuple. Got %r instead" % (shape,))
2571
2868
        # It's OK to just create them using forward slashes on windows.
2572
2869
        if transport is None or transport.is_readonly():
2573
 
            transport = _mod_transport.get_transport(".")
 
2870
            transport = _mod_transport.get_transport_from_path(".")
2574
2871
        for name in shape:
2575
2872
            self.assertIsInstance(name, basestring)
2576
2873
            if name[-1] == '/':
2661
2958
        # this obviously requires a format that supports branch references
2662
2959
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
2663
2960
        # RBC 20060208
 
2961
        format = self.resolve_format(format=format)
 
2962
        if not format.supports_workingtrees:
 
2963
            b = self.make_branch(relpath+'.branch', format=format)
 
2964
            return b.create_checkout(relpath, lightweight=True)
2664
2965
        b = self.make_branch(relpath, format=format)
2665
2966
        try:
2666
2967
            return b.bzrdir.create_workingtree()
2733
3034
    """
2734
3035
 
2735
3036
    def setUp(self):
 
3037
        from bzrlib.tests import http_server
2736
3038
        super(ChrootedTestCase, self).setUp()
2737
3039
        if not self.vfs_transport_factory == memory.MemoryServer:
2738
 
            self.transport_readonly_server = HttpServer
 
3040
            self.transport_readonly_server = http_server.HttpServer
2739
3041
 
2740
3042
 
2741
3043
def condition_id_re(pattern):
2964
3266
                            result_decorators=result_decorators,
2965
3267
                            )
2966
3268
    runner.stop_on_failure=stop_on_failure
 
3269
    if isinstance(suite, unittest.TestSuite):
 
3270
        # Empty out _tests list of passed suite and populate new TestSuite
 
3271
        suite._tests[:], suite = [], TestSuite(suite)
2967
3272
    # built in decorator factories:
2968
3273
    decorators = [
2969
3274
        random_order(random_seed, runner),
3002
3307
 
3003
3308
 
3004
3309
def fork_decorator(suite):
 
3310
    if getattr(os, "fork", None) is None:
 
3311
        raise errors.BzrCommandError("platform does not support fork,"
 
3312
            " try --parallel=subprocess instead.")
3005
3313
    concurrency = osutils.local_concurrency()
3006
3314
    if concurrency == 1:
3007
3315
        return suite
3062
3370
    return suite
3063
3371
 
3064
3372
 
3065
 
class TestDecorator(TestSuite):
 
3373
class TestDecorator(TestUtil.TestSuite):
3066
3374
    """A decorator for TestCase/TestSuite objects.
3067
 
    
3068
 
    Usually, subclasses should override __iter__(used when flattening test
3069
 
    suites), which we do to filter, reorder, parallelise and so on, run() and
3070
 
    debug().
 
3375
 
 
3376
    Contains rather than flattening suite passed on construction
3071
3377
    """
3072
3378
 
3073
 
    def __init__(self, suite):
3074
 
        TestSuite.__init__(self)
3075
 
        self.addTest(suite)
3076
 
 
3077
 
    def countTestCases(self):
3078
 
        cases = 0
3079
 
        for test in self:
3080
 
            cases += test.countTestCases()
3081
 
        return cases
3082
 
 
3083
 
    def debug(self):
3084
 
        for test in self:
3085
 
            test.debug()
3086
 
 
3087
 
    def run(self, result):
3088
 
        # Use iteration on self, not self._tests, to allow subclasses to hook
3089
 
        # into __iter__.
3090
 
        for test in self:
3091
 
            if result.shouldStop:
3092
 
                break
3093
 
            test.run(result)
3094
 
        return result
 
3379
    def __init__(self, suite=None):
 
3380
        super(TestDecorator, self).__init__()
 
3381
        if suite is not None:
 
3382
            self.addTest(suite)
 
3383
 
 
3384
    # Don't need subclass run method with suite emptying
 
3385
    run = unittest.TestSuite.run
3095
3386
 
3096
3387
 
3097
3388
class CountingDecorator(TestDecorator):
3108
3399
    """A decorator which excludes test matching an exclude pattern."""
3109
3400
 
3110
3401
    def __init__(self, suite, exclude_pattern):
3111
 
        TestDecorator.__init__(self, suite)
3112
 
        self.exclude_pattern = exclude_pattern
3113
 
        self.excluded = False
3114
 
 
3115
 
    def __iter__(self):
3116
 
        if self.excluded:
3117
 
            return iter(self._tests)
3118
 
        self.excluded = True
3119
 
        suite = exclude_tests_by_re(self, self.exclude_pattern)
3120
 
        del self._tests[:]
3121
 
        self.addTests(suite)
3122
 
        return iter(self._tests)
 
3402
        super(ExcludeDecorator, self).__init__(
 
3403
            exclude_tests_by_re(suite, exclude_pattern))
3123
3404
 
3124
3405
 
3125
3406
class FilterTestsDecorator(TestDecorator):
3126
3407
    """A decorator which filters tests to those matching a pattern."""
3127
3408
 
3128
3409
    def __init__(self, suite, pattern):
3129
 
        TestDecorator.__init__(self, suite)
3130
 
        self.pattern = pattern
3131
 
        self.filtered = False
3132
 
 
3133
 
    def __iter__(self):
3134
 
        if self.filtered:
3135
 
            return iter(self._tests)
3136
 
        self.filtered = True
3137
 
        suite = filter_suite_by_re(self, self.pattern)
3138
 
        del self._tests[:]
3139
 
        self.addTests(suite)
3140
 
        return iter(self._tests)
 
3410
        super(FilterTestsDecorator, self).__init__(
 
3411
            filter_suite_by_re(suite, pattern))
3141
3412
 
3142
3413
 
3143
3414
class RandomDecorator(TestDecorator):
3144
3415
    """A decorator which randomises the order of its tests."""
3145
3416
 
3146
3417
    def __init__(self, suite, random_seed, stream):
3147
 
        TestDecorator.__init__(self, suite)
3148
 
        self.random_seed = random_seed
3149
 
        self.randomised = False
3150
 
        self.stream = stream
3151
 
 
3152
 
    def __iter__(self):
3153
 
        if self.randomised:
3154
 
            return iter(self._tests)
3155
 
        self.randomised = True
3156
 
        self.stream.write("Randomizing test order using seed %s\n\n" %
3157
 
            (self.actual_seed()))
 
3418
        random_seed = self.actual_seed(random_seed)
 
3419
        stream.write("Randomizing test order using seed %s\n\n" %
 
3420
            (random_seed,))
3158
3421
        # Initialise the random number generator.
3159
 
        random.seed(self.actual_seed())
3160
 
        suite = randomize_suite(self)
3161
 
        del self._tests[:]
3162
 
        self.addTests(suite)
3163
 
        return iter(self._tests)
 
3422
        random.seed(random_seed)
 
3423
        super(RandomDecorator, self).__init__(randomize_suite(suite))
3164
3424
 
3165
 
    def actual_seed(self):
3166
 
        if self.random_seed == "now":
 
3425
    @staticmethod
 
3426
    def actual_seed(seed):
 
3427
        if seed == "now":
3167
3428
            # We convert the seed to a long to make it reuseable across
3168
3429
            # invocations (because the user can reenter it).
3169
 
            self.random_seed = long(time.time())
 
3430
            return long(time.time())
3170
3431
        else:
3171
3432
            # Convert the seed to a long if we can
3172
3433
            try:
3173
 
                self.random_seed = long(self.random_seed)
3174
 
            except:
 
3434
                return long(seed)
 
3435
            except (TypeError, ValueError):
3175
3436
                pass
3176
 
        return self.random_seed
 
3437
        return seed
3177
3438
 
3178
3439
 
3179
3440
class TestFirstDecorator(TestDecorator):
3180
3441
    """A decorator which moves named tests to the front."""
3181
3442
 
3182
3443
    def __init__(self, suite, pattern):
3183
 
        TestDecorator.__init__(self, suite)
3184
 
        self.pattern = pattern
3185
 
        self.filtered = False
3186
 
 
3187
 
    def __iter__(self):
3188
 
        if self.filtered:
3189
 
            return iter(self._tests)
3190
 
        self.filtered = True
3191
 
        suites = split_suite_by_re(self, self.pattern)
3192
 
        del self._tests[:]
3193
 
        self.addTests(suites)
3194
 
        return iter(self._tests)
 
3444
        super(TestFirstDecorator, self).__init__()
 
3445
        self.addTests(split_suite_by_re(suite, pattern))
3195
3446
 
3196
3447
 
3197
3448
def partition_tests(suite, count):
3198
3449
    """Partition suite into count lists of tests."""
3199
 
    result = []
3200
 
    tests = list(iter_suite_tests(suite))
3201
 
    tests_per_process = int(math.ceil(float(len(tests)) / count))
3202
 
    for block in range(count):
3203
 
        low_test = block * tests_per_process
3204
 
        high_test = low_test + tests_per_process
3205
 
        process_tests = tests[low_test:high_test]
3206
 
        result.append(process_tests)
3207
 
    return result
 
3450
    # This just assigns tests in a round-robin fashion.  On one hand this
 
3451
    # splits up blocks of related tests that might run faster if they shared
 
3452
    # resources, but on the other it avoids assigning blocks of slow tests to
 
3453
    # just one partition.  So the slowest partition shouldn't be much slower
 
3454
    # than the fastest.
 
3455
    partitions = [list() for i in range(count)]
 
3456
    tests = iter_suite_tests(suite)
 
3457
    for partition, test in itertools.izip(itertools.cycle(partitions), tests):
 
3458
        partition.append(test)
 
3459
    return partitions
3208
3460
 
3209
3461
 
3210
3462
def workaround_zealous_crypto_random():
3228
3480
    """
3229
3481
    concurrency = osutils.local_concurrency()
3230
3482
    result = []
3231
 
    from subunit import TestProtocolClient, ProtocolTestCase
 
3483
    from subunit import ProtocolTestCase
3232
3484
    from subunit.test_results import AutoTimingTestResultDecorator
3233
3485
    class TestInOtherProcess(ProtocolTestCase):
3234
3486
        # Should be in subunit, I think. RBC.
3243
3495
                os.waitpid(self.pid, 0)
3244
3496
 
3245
3497
    test_blocks = partition_tests(suite, concurrency)
 
3498
    # Clear the tests from the original suite so it doesn't keep them alive
 
3499
    suite._tests[:] = []
3246
3500
    for process_tests in test_blocks:
3247
 
        process_suite = TestSuite()
3248
 
        process_suite.addTests(process_tests)
 
3501
        process_suite = TestUtil.TestSuite(process_tests)
 
3502
        # Also clear each split list so new suite has only reference
 
3503
        process_tests[:] = []
3249
3504
        c2pread, c2pwrite = os.pipe()
3250
3505
        pid = os.fork()
3251
3506
        if pid == 0:
3257
3512
                # read from stdin (otherwise its a roulette to see what
3258
3513
                # child actually gets keystrokes for pdb etc).
3259
3514
                sys.stdin.close()
3260
 
                sys.stdin = None
 
3515
                # GZ 2011-06-16: Why set stdin to None? Breaks multi fork.
 
3516
                #sys.stdin = None
3261
3517
                stream = os.fdopen(c2pwrite, 'wb', 1)
3262
3518
                subunit_result = AutoTimingTestResultDecorator(
3263
 
                    TestProtocolClient(stream))
 
3519
                    SubUnitBzrProtocolClient(stream))
3264
3520
                process_suite.run(subunit_result)
3265
3521
            finally:
 
3522
                # GZ 2011-06-16: Is always exiting with silent success
 
3523
                #                really the right thing? Hurts debugging.
3266
3524
                os._exit(0)
3267
3525
        else:
3268
3526
            os.close(c2pwrite)
3330
3588
    return result
3331
3589
 
3332
3590
 
3333
 
class ForwardingResult(unittest.TestResult):
3334
 
 
3335
 
    def __init__(self, target):
3336
 
        unittest.TestResult.__init__(self)
3337
 
        self.result = target
3338
 
 
3339
 
    def startTest(self, test):
3340
 
        self.result.startTest(test)
3341
 
 
3342
 
    def stopTest(self, test):
3343
 
        self.result.stopTest(test)
3344
 
 
3345
 
    def startTestRun(self):
3346
 
        self.result.startTestRun()
3347
 
 
3348
 
    def stopTestRun(self):
3349
 
        self.result.stopTestRun()
3350
 
 
3351
 
    def addSkip(self, test, reason):
3352
 
        self.result.addSkip(test, reason)
3353
 
 
3354
 
    def addSuccess(self, test):
3355
 
        self.result.addSuccess(test)
3356
 
 
3357
 
    def addError(self, test, err):
3358
 
        self.result.addError(test, err)
3359
 
 
3360
 
    def addFailure(self, test, err):
3361
 
        self.result.addFailure(test, err)
3362
 
ForwardingResult = testtools.ExtendedToOriginalDecorator
3363
 
 
3364
 
 
3365
 
class ProfileResult(ForwardingResult):
 
3591
class ProfileResult(testtools.ExtendedToOriginalDecorator):
3366
3592
    """Generate profiling data for all activity between start and success.
3367
3593
    
3368
3594
    The profile data is appended to the test's _benchcalls attribute and can
3380
3606
        # unavoidably fail.
3381
3607
        bzrlib.lsprof.BzrProfiler.profiler_block = 0
3382
3608
        self.profiler.start()
3383
 
        ForwardingResult.startTest(self, test)
 
3609
        testtools.ExtendedToOriginalDecorator.startTest(self, test)
3384
3610
 
3385
3611
    def addSuccess(self, test):
3386
3612
        stats = self.profiler.stop()
3390
3616
            test._benchcalls = []
3391
3617
            calls = test._benchcalls
3392
3618
        calls.append(((test.id(), "", ""), stats))
3393
 
        ForwardingResult.addSuccess(self, test)
 
3619
        testtools.ExtendedToOriginalDecorator.addSuccess(self, test)
3394
3620
 
3395
3621
    def stopTest(self, test):
3396
 
        ForwardingResult.stopTest(self, test)
 
3622
        testtools.ExtendedToOriginalDecorator.stopTest(self, test)
3397
3623
        self.profiler = None
3398
3624
 
3399
3625
 
3405
3631
#                           rather than failing tests. And no longer raise
3406
3632
#                           LockContention when fctnl locks are not being used
3407
3633
#                           with proper exclusion rules.
 
3634
#   -Ethreads               Will display thread ident at creation/join time to
 
3635
#                           help track thread leaks
 
3636
#   -Euncollected_cases     Display the identity of any test cases that weren't
 
3637
#                           deallocated after being completed.
 
3638
#   -Econfig_stats          Will collect statistics using addDetail
3408
3639
selftest_debug_flags = set()
3409
3640
 
3410
3641
 
3604
3835
                key, obj, help=help, info=info, override_existing=False)
3605
3836
        except KeyError:
3606
3837
            actual = self.get(key)
3607
 
            note('Test prefix alias %s is already used for %s, ignoring %s'
3608
 
                 % (key, actual, obj))
 
3838
            trace.note(
 
3839
                'Test prefix alias %s is already used for %s, ignoring %s'
 
3840
                % (key, actual, obj))
3609
3841
 
3610
3842
    def resolve_alias(self, id_start):
3611
3843
        """Replace the alias by the prefix in the given string.
3646
3878
        'bzrlib.tests.doc_generate',
3647
3879
        'bzrlib.tests.per_branch',
3648
3880
        'bzrlib.tests.per_bzrdir',
3649
 
        'bzrlib.tests.per_bzrdir_colo',
 
3881
        'bzrlib.tests.per_controldir',
 
3882
        'bzrlib.tests.per_controldir_colo',
3650
3883
        'bzrlib.tests.per_foreign_vcs',
3651
3884
        'bzrlib.tests.per_interrepository',
3652
3885
        'bzrlib.tests.per_intertree',
3660
3893
        'bzrlib.tests.per_repository',
3661
3894
        'bzrlib.tests.per_repository_chk',
3662
3895
        'bzrlib.tests.per_repository_reference',
 
3896
        'bzrlib.tests.per_repository_vf',
3663
3897
        'bzrlib.tests.per_uifactory',
3664
3898
        'bzrlib.tests.per_versionedfile',
3665
3899
        'bzrlib.tests.per_workingtree',
3666
3900
        'bzrlib.tests.test__annotator',
3667
3901
        'bzrlib.tests.test__bencode',
 
3902
        'bzrlib.tests.test__btree_serializer',
3668
3903
        'bzrlib.tests.test__chk_map',
3669
3904
        'bzrlib.tests.test__dirstate_helpers',
3670
3905
        'bzrlib.tests.test__groupcompress',
3698
3933
        'bzrlib.tests.test_commit_merge',
3699
3934
        'bzrlib.tests.test_config',
3700
3935
        'bzrlib.tests.test_conflicts',
 
3936
        'bzrlib.tests.test_controldir',
3701
3937
        'bzrlib.tests.test_counted_lock',
3702
3938
        'bzrlib.tests.test_crash',
3703
3939
        'bzrlib.tests.test_decorators',
3704
3940
        'bzrlib.tests.test_delta',
3705
3941
        'bzrlib.tests.test_debug',
3706
 
        'bzrlib.tests.test_deprecated_graph',
3707
3942
        'bzrlib.tests.test_diff',
3708
3943
        'bzrlib.tests.test_directory_service',
3709
3944
        'bzrlib.tests.test_dirstate',
3710
3945
        'bzrlib.tests.test_email_message',
3711
3946
        'bzrlib.tests.test_eol_filters',
3712
3947
        'bzrlib.tests.test_errors',
 
3948
        'bzrlib.tests.test_estimate_compressed_size',
3713
3949
        'bzrlib.tests.test_export',
 
3950
        'bzrlib.tests.test_export_pot',
3714
3951
        'bzrlib.tests.test_extract',
 
3952
        'bzrlib.tests.test_features',
3715
3953
        'bzrlib.tests.test_fetch',
3716
3954
        'bzrlib.tests.test_fixtures',
3717
3955
        'bzrlib.tests.test_fifo_cache',
3718
3956
        'bzrlib.tests.test_filters',
 
3957
        'bzrlib.tests.test_filter_tree',
3719
3958
        'bzrlib.tests.test_ftp_transport',
3720
3959
        'bzrlib.tests.test_foreign',
3721
3960
        'bzrlib.tests.test_generate_docs',
3730
3969
        'bzrlib.tests.test_http',
3731
3970
        'bzrlib.tests.test_http_response',
3732
3971
        'bzrlib.tests.test_https_ca_bundle',
 
3972
        'bzrlib.tests.test_i18n',
3733
3973
        'bzrlib.tests.test_identitymap',
3734
3974
        'bzrlib.tests.test_ignores',
3735
3975
        'bzrlib.tests.test_index',
3754
3994
        'bzrlib.tests.test_merge3',
3755
3995
        'bzrlib.tests.test_merge_core',
3756
3996
        'bzrlib.tests.test_merge_directive',
 
3997
        'bzrlib.tests.test_mergetools',
3757
3998
        'bzrlib.tests.test_missing',
3758
3999
        'bzrlib.tests.test_msgeditor',
3759
4000
        'bzrlib.tests.test_multiparent',
3768
4009
        'bzrlib.tests.test_permissions',
3769
4010
        'bzrlib.tests.test_plugins',
3770
4011
        'bzrlib.tests.test_progress',
 
4012
        'bzrlib.tests.test_pyutils',
3771
4013
        'bzrlib.tests.test_read_bundle',
3772
4014
        'bzrlib.tests.test_reconcile',
3773
4015
        'bzrlib.tests.test_reconfigure',
3782
4024
        'bzrlib.tests.test_rio',
3783
4025
        'bzrlib.tests.test_rules',
3784
4026
        'bzrlib.tests.test_sampler',
 
4027
        'bzrlib.tests.test_scenarios',
3785
4028
        'bzrlib.tests.test_script',
3786
4029
        'bzrlib.tests.test_selftest',
3787
4030
        'bzrlib.tests.test_serializer',
3792
4035
        'bzrlib.tests.test_smart',
3793
4036
        'bzrlib.tests.test_smart_add',
3794
4037
        'bzrlib.tests.test_smart_request',
 
4038
        'bzrlib.tests.test_smart_signals',
3795
4039
        'bzrlib.tests.test_smart_transport',
3796
4040
        'bzrlib.tests.test_smtp_connection',
3797
4041
        'bzrlib.tests.test_source',
3803
4047
        'bzrlib.tests.test_switch',
3804
4048
        'bzrlib.tests.test_symbol_versioning',
3805
4049
        'bzrlib.tests.test_tag',
 
4050
        'bzrlib.tests.test_test_server',
3806
4051
        'bzrlib.tests.test_testament',
3807
4052
        'bzrlib.tests.test_textfile',
3808
4053
        'bzrlib.tests.test_textmerge',
 
4054
        'bzrlib.tests.test_cethread',
3809
4055
        'bzrlib.tests.test_timestamp',
3810
4056
        'bzrlib.tests.test_trace',
3811
4057
        'bzrlib.tests.test_transactions',
3822
4068
        'bzrlib.tests.test_upgrade',
3823
4069
        'bzrlib.tests.test_upgrade_stacked',
3824
4070
        'bzrlib.tests.test_urlutils',
 
4071
        'bzrlib.tests.test_utextwrap',
3825
4072
        'bzrlib.tests.test_version',
3826
4073
        'bzrlib.tests.test_version_info',
 
4074
        'bzrlib.tests.test_versionedfile',
3827
4075
        'bzrlib.tests.test_weave',
3828
4076
        'bzrlib.tests.test_whitebox',
3829
4077
        'bzrlib.tests.test_win32utils',
3843
4091
        'bzrlib',
3844
4092
        'bzrlib.branchbuilder',
3845
4093
        'bzrlib.decorators',
3846
 
        'bzrlib.export',
3847
4094
        'bzrlib.inventory',
3848
4095
        'bzrlib.iterablefile',
3849
4096
        'bzrlib.lockdir',
3850
4097
        'bzrlib.merge3',
3851
4098
        'bzrlib.option',
 
4099
        'bzrlib.pyutils',
3852
4100
        'bzrlib.symbol_versioning',
3853
4101
        'bzrlib.tests',
3854
4102
        'bzrlib.tests.fixtures',
3855
4103
        'bzrlib.timestamp',
 
4104
        'bzrlib.transport.http',
3856
4105
        'bzrlib.version_info_formats.format_custom',
3857
4106
        ]
3858
4107
 
3911
4160
        try:
3912
4161
            # note that this really does mean "report only" -- doctest
3913
4162
            # still runs the rest of the examples
3914
 
            doc_suite = doctest.DocTestSuite(mod,
3915
 
                optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
 
4163
            doc_suite = IsolatedDocTestSuite(
 
4164
                mod, optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
3916
4165
        except ValueError, e:
3917
4166
            print '**failed to get doctest for: %s\n%s' % (mod, e)
3918
4167
            raise
3921
4170
        suite.addTest(doc_suite)
3922
4171
 
3923
4172
    default_encoding = sys.getdefaultencoding()
3924
 
    for name, plugin in bzrlib.plugin.plugins().items():
 
4173
    for name, plugin in _mod_plugin.plugins().items():
3925
4174
        if not interesting_module(plugin.module.__name__):
3926
4175
            continue
3927
4176
        plugin_suite = plugin.test_suite()
3933
4182
        if plugin_suite is not None:
3934
4183
            suite.addTest(plugin_suite)
3935
4184
        if default_encoding != sys.getdefaultencoding():
3936
 
            bzrlib.trace.warning(
 
4185
            trace.warning(
3937
4186
                'Plugin "%s" tried to reset default encoding to: %s', name,
3938
4187
                sys.getdefaultencoding())
3939
4188
            reload(sys)
3954
4203
            # Some tests mentioned in the list are not in the test suite. The
3955
4204
            # list may be out of date, report to the tester.
3956
4205
            for id in not_found:
3957
 
                bzrlib.trace.warning('"%s" not found in the test suite', id)
 
4206
                trace.warning('"%s" not found in the test suite', id)
3958
4207
        for id in duplicates:
3959
 
            bzrlib.trace.warning('"%s" is used as an id by several tests', id)
 
4208
            trace.warning('"%s" is used as an id by several tests', id)
3960
4209
 
3961
4210
    return suite
3962
4211
 
3963
4212
 
3964
 
def multiply_scenarios(scenarios_left, scenarios_right):
 
4213
def multiply_scenarios(*scenarios):
 
4214
    """Multiply two or more iterables of scenarios.
 
4215
 
 
4216
    It is safe to pass scenario generators or iterators.
 
4217
 
 
4218
    :returns: A list of compound scenarios: the cross-product of all 
 
4219
        scenarios, with the names concatenated and the parameters
 
4220
        merged together.
 
4221
    """
 
4222
    return reduce(_multiply_two_scenarios, map(list, scenarios))
 
4223
 
 
4224
 
 
4225
def _multiply_two_scenarios(scenarios_left, scenarios_right):
3965
4226
    """Multiply two sets of scenarios.
3966
4227
 
3967
4228
    :returns: the cartesian product of the two sets of scenarios, that is
3998
4259
    ...     bzrlib.tests.test_sampler.DemoTest('test_nothing'),
3999
4260
    ...     [('one', dict(param=1)),
4000
4261
    ...      ('two', dict(param=2))],
4001
 
    ...     TestSuite())
 
4262
    ...     TestUtil.TestSuite())
4002
4263
    >>> tests = list(iter_suite_tests(r))
4003
4264
    >>> len(tests)
4004
4265
    2
4053
4314
    """
4054
4315
    new_test = copy.copy(test)
4055
4316
    new_test.id = lambda: new_id
 
4317
    # XXX: Workaround <https://bugs.launchpad.net/testtools/+bug/637725>, which
 
4318
    # causes cloned tests to share the 'details' dict.  This makes it hard to
 
4319
    # read the test output for parameterized tests, because tracebacks will be
 
4320
    # associated with irrelevant tests.
 
4321
    try:
 
4322
        details = new_test._TestCase__details
 
4323
    except AttributeError:
 
4324
        # must be a different version of testtools than expected.  Do nothing.
 
4325
        pass
 
4326
    else:
 
4327
        # Reset the '__details' dict.
 
4328
        new_test._TestCase__details = {}
4056
4329
    return new_test
4057
4330
 
4058
4331
 
4079
4352
        the module is available.
4080
4353
    """
4081
4354
 
4082
 
    py_module = __import__(py_module_name, {}, {}, ['NO_SUCH_ATTRIB'])
 
4355
    from bzrlib.tests.features import ModuleAvailableFeature
 
4356
    py_module = pyutils.get_named_object(py_module_name)
4083
4357
    scenarios = [
4084
4358
        ('python', {'module': py_module}),
4085
4359
    ]
4125
4399
                         % (os.path.basename(dirname), printable_e))
4126
4400
 
4127
4401
 
4128
 
class Feature(object):
4129
 
    """An operating system Feature."""
4130
 
 
4131
 
    def __init__(self):
4132
 
        self._available = None
4133
 
 
4134
 
    def available(self):
4135
 
        """Is the feature available?
4136
 
 
4137
 
        :return: True if the feature is available.
4138
 
        """
4139
 
        if self._available is None:
4140
 
            self._available = self._probe()
4141
 
        return self._available
4142
 
 
4143
 
    def _probe(self):
4144
 
        """Implement this method in concrete features.
4145
 
 
4146
 
        :return: True if the feature is available.
4147
 
        """
4148
 
        raise NotImplementedError
4149
 
 
4150
 
    def __str__(self):
4151
 
        if getattr(self, 'feature_name', None):
4152
 
            return self.feature_name()
4153
 
        return self.__class__.__name__
4154
 
 
4155
 
 
4156
 
class _SymlinkFeature(Feature):
4157
 
 
4158
 
    def _probe(self):
4159
 
        return osutils.has_symlinks()
4160
 
 
4161
 
    def feature_name(self):
4162
 
        return 'symlinks'
4163
 
 
4164
 
SymlinkFeature = _SymlinkFeature()
4165
 
 
4166
 
 
4167
 
class _HardlinkFeature(Feature):
4168
 
 
4169
 
    def _probe(self):
4170
 
        return osutils.has_hardlinks()
4171
 
 
4172
 
    def feature_name(self):
4173
 
        return 'hardlinks'
4174
 
 
4175
 
HardlinkFeature = _HardlinkFeature()
4176
 
 
4177
 
 
4178
 
class _OsFifoFeature(Feature):
4179
 
 
4180
 
    def _probe(self):
4181
 
        return getattr(os, 'mkfifo', None)
4182
 
 
4183
 
    def feature_name(self):
4184
 
        return 'filesystem fifos'
4185
 
 
4186
 
OsFifoFeature = _OsFifoFeature()
4187
 
 
4188
 
 
4189
 
class _UnicodeFilenameFeature(Feature):
4190
 
    """Does the filesystem support Unicode filenames?"""
4191
 
 
4192
 
    def _probe(self):
4193
 
        try:
4194
 
            # Check for character combinations unlikely to be covered by any
4195
 
            # single non-unicode encoding. We use the characters
4196
 
            # - greek small letter alpha (U+03B1) and
4197
 
            # - braille pattern dots-123456 (U+283F).
4198
 
            os.stat(u'\u03b1\u283f')
4199
 
        except UnicodeEncodeError:
4200
 
            return False
4201
 
        except (IOError, OSError):
4202
 
            # The filesystem allows the Unicode filename but the file doesn't
4203
 
            # exist.
4204
 
            return True
4205
 
        else:
4206
 
            # The filesystem allows the Unicode filename and the file exists,
4207
 
            # for some reason.
4208
 
            return True
4209
 
 
4210
 
UnicodeFilenameFeature = _UnicodeFilenameFeature()
4211
 
 
4212
 
 
4213
 
class _CompatabilityThunkFeature(Feature):
4214
 
    """This feature is just a thunk to another feature.
4215
 
 
4216
 
    It issues a deprecation warning if it is accessed, to let you know that you
4217
 
    should really use a different feature.
4218
 
    """
4219
 
 
4220
 
    def __init__(self, dep_version, module, name,
4221
 
                 replacement_name, replacement_module=None):
4222
 
        super(_CompatabilityThunkFeature, self).__init__()
4223
 
        self._module = module
4224
 
        if replacement_module is None:
4225
 
            replacement_module = module
4226
 
        self._replacement_module = replacement_module
4227
 
        self._name = name
4228
 
        self._replacement_name = replacement_name
4229
 
        self._dep_version = dep_version
4230
 
        self._feature = None
4231
 
 
4232
 
    def _ensure(self):
4233
 
        if self._feature is None:
4234
 
            depr_msg = self._dep_version % ('%s.%s'
4235
 
                                            % (self._module, self._name))
4236
 
            use_msg = ' Use %s.%s instead.' % (self._replacement_module,
4237
 
                                               self._replacement_name)
4238
 
            symbol_versioning.warn(depr_msg + use_msg, DeprecationWarning)
4239
 
            # Import the new feature and use it as a replacement for the
4240
 
            # deprecated one.
4241
 
            mod = __import__(self._replacement_module, {}, {},
4242
 
                             [self._replacement_name])
4243
 
            self._feature = getattr(mod, self._replacement_name)
4244
 
 
4245
 
    def _probe(self):
4246
 
        self._ensure()
4247
 
        return self._feature._probe()
4248
 
 
4249
 
 
4250
 
class ModuleAvailableFeature(Feature):
4251
 
    """This is a feature than describes a module we want to be available.
4252
 
 
4253
 
    Declare the name of the module in __init__(), and then after probing, the
4254
 
    module will be available as 'self.module'.
4255
 
 
4256
 
    :ivar module: The module if it is available, else None.
4257
 
    """
4258
 
 
4259
 
    def __init__(self, module_name):
4260
 
        super(ModuleAvailableFeature, self).__init__()
4261
 
        self.module_name = module_name
4262
 
 
4263
 
    def _probe(self):
4264
 
        try:
4265
 
            self._module = __import__(self.module_name, {}, {}, [''])
4266
 
            return True
4267
 
        except ImportError:
4268
 
            return False
4269
 
 
4270
 
    @property
4271
 
    def module(self):
4272
 
        if self.available(): # Make sure the probe has been done
4273
 
            return self._module
4274
 
        return None
4275
 
 
4276
 
    def feature_name(self):
4277
 
        return self.module_name
4278
 
 
4279
 
 
4280
 
# This is kept here for compatibility, it is recommended to use
4281
 
# 'bzrlib.tests.feature.paramiko' instead
4282
 
ParamikoFeature = _CompatabilityThunkFeature(
4283
 
    deprecated_in((2,1,0)),
4284
 
    'bzrlib.tests.features', 'ParamikoFeature', 'paramiko')
4285
 
 
4286
 
 
4287
4402
def probe_unicode_in_user_encoding():
4288
4403
    """Try to encode several unicode strings to use in unicode-aware tests.
4289
4404
    Return first successfull match.
4317
4432
    return None
4318
4433
 
4319
4434
 
4320
 
class _HTTPSServerFeature(Feature):
4321
 
    """Some tests want an https Server, check if one is available.
4322
 
 
4323
 
    Right now, the only way this is available is under python2.6 which provides
4324
 
    an ssl module.
4325
 
    """
4326
 
 
4327
 
    def _probe(self):
4328
 
        try:
4329
 
            import ssl
4330
 
            return True
4331
 
        except ImportError:
4332
 
            return False
4333
 
 
4334
 
    def feature_name(self):
4335
 
        return 'HTTPSServer'
4336
 
 
4337
 
 
4338
 
HTTPSServerFeature = _HTTPSServerFeature()
4339
 
 
4340
 
 
4341
 
class _UnicodeFilename(Feature):
4342
 
    """Does the filesystem support Unicode filenames?"""
4343
 
 
4344
 
    def _probe(self):
4345
 
        try:
4346
 
            os.stat(u'\u03b1')
4347
 
        except UnicodeEncodeError:
4348
 
            return False
4349
 
        except (IOError, OSError):
4350
 
            # The filesystem allows the Unicode filename but the file doesn't
4351
 
            # exist.
4352
 
            return True
4353
 
        else:
4354
 
            # The filesystem allows the Unicode filename and the file exists,
4355
 
            # for some reason.
4356
 
            return True
4357
 
 
4358
 
UnicodeFilename = _UnicodeFilename()
4359
 
 
4360
 
 
4361
 
class _ByteStringNamedFilesystem(Feature):
4362
 
    """Is the filesystem based on bytes?"""
4363
 
 
4364
 
    def _probe(self):
4365
 
        if os.name == "posix":
4366
 
            return True
4367
 
        return False
4368
 
 
4369
 
ByteStringNamedFilesystem = _ByteStringNamedFilesystem()
4370
 
 
4371
 
 
4372
 
class _UTF8Filesystem(Feature):
4373
 
    """Is the filesystem UTF-8?"""
4374
 
 
4375
 
    def _probe(self):
4376
 
        if osutils._fs_enc.upper() in ('UTF-8', 'UTF8'):
4377
 
            return True
4378
 
        return False
4379
 
 
4380
 
UTF8Filesystem = _UTF8Filesystem()
4381
 
 
4382
 
 
4383
 
class _BreakinFeature(Feature):
4384
 
    """Does this platform support the breakin feature?"""
4385
 
 
4386
 
    def _probe(self):
4387
 
        from bzrlib import breakin
4388
 
        if breakin.determine_signal() is None:
4389
 
            return False
4390
 
        if sys.platform == 'win32':
4391
 
            # Windows doesn't have os.kill, and we catch the SIGBREAK signal.
4392
 
            # We trigger SIGBREAK via a Console api so we need ctypes to
4393
 
            # access the function
4394
 
            try:
4395
 
                import ctypes
4396
 
            except OSError:
4397
 
                return False
4398
 
        return True
4399
 
 
4400
 
    def feature_name(self):
4401
 
        return "SIGQUIT or SIGBREAK w/ctypes on win32"
4402
 
 
4403
 
 
4404
 
BreakinFeature = _BreakinFeature()
4405
 
 
4406
 
 
4407
 
class _CaseInsCasePresFilenameFeature(Feature):
4408
 
    """Is the file-system case insensitive, but case-preserving?"""
4409
 
 
4410
 
    def _probe(self):
4411
 
        fileno, name = tempfile.mkstemp(prefix='MixedCase')
4412
 
        try:
4413
 
            # first check truly case-preserving for created files, then check
4414
 
            # case insensitive when opening existing files.
4415
 
            name = osutils.normpath(name)
4416
 
            base, rel = osutils.split(name)
4417
 
            found_rel = osutils.canonical_relpath(base, name)
4418
 
            return (found_rel == rel
4419
 
                    and os.path.isfile(name.upper())
4420
 
                    and os.path.isfile(name.lower()))
4421
 
        finally:
4422
 
            os.close(fileno)
4423
 
            os.remove(name)
4424
 
 
4425
 
    def feature_name(self):
4426
 
        return "case-insensitive case-preserving filesystem"
4427
 
 
4428
 
CaseInsCasePresFilenameFeature = _CaseInsCasePresFilenameFeature()
4429
 
 
4430
 
 
4431
 
class _CaseInsensitiveFilesystemFeature(Feature):
4432
 
    """Check if underlying filesystem is case-insensitive but *not* case
4433
 
    preserving.
4434
 
    """
4435
 
    # Note that on Windows, Cygwin, MacOS etc, the file-systems are far
4436
 
    # more likely to be case preserving, so this case is rare.
4437
 
 
4438
 
    def _probe(self):
4439
 
        if CaseInsCasePresFilenameFeature.available():
4440
 
            return False
4441
 
 
4442
 
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
4443
 
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
4444
 
            TestCaseWithMemoryTransport.TEST_ROOT = root
4445
 
        else:
4446
 
            root = TestCaseWithMemoryTransport.TEST_ROOT
4447
 
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
4448
 
            dir=root)
4449
 
        name_a = osutils.pathjoin(tdir, 'a')
4450
 
        name_A = osutils.pathjoin(tdir, 'A')
4451
 
        os.mkdir(name_a)
4452
 
        result = osutils.isdir(name_A)
4453
 
        _rmtree_temp_dir(tdir)
4454
 
        return result
4455
 
 
4456
 
    def feature_name(self):
4457
 
        return 'case-insensitive filesystem'
4458
 
 
4459
 
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()
4460
 
 
4461
 
 
4462
 
class _CaseSensitiveFilesystemFeature(Feature):
4463
 
 
4464
 
    def _probe(self):
4465
 
        if CaseInsCasePresFilenameFeature.available():
4466
 
            return False
4467
 
        elif CaseInsensitiveFilesystemFeature.available():
4468
 
            return False
4469
 
        else:
4470
 
            return True
4471
 
 
4472
 
    def feature_name(self):
4473
 
        return 'case-sensitive filesystem'
4474
 
 
4475
 
# new coding style is for feature instances to be lowercase
4476
 
case_sensitive_filesystem_feature = _CaseSensitiveFilesystemFeature()
4477
 
 
4478
 
 
4479
 
# Kept for compatibility, use bzrlib.tests.features.subunit instead
4480
 
SubUnitFeature = _CompatabilityThunkFeature(
4481
 
    deprecated_in((2,1,0)),
4482
 
    'bzrlib.tests.features', 'SubUnitFeature', 'subunit')
4483
4435
# Only define SubUnitBzrRunner if subunit is available.
4484
4436
try:
4485
4437
    from subunit import TestProtocolClient
4486
4438
    from subunit.test_results import AutoTimingTestResultDecorator
 
4439
    class SubUnitBzrProtocolClient(TestProtocolClient):
 
4440
 
 
4441
        def stopTest(self, test):
 
4442
            super(SubUnitBzrProtocolClient, self).stopTest(test)
 
4443
            _clear__type_equality_funcs(test)
 
4444
 
 
4445
        def addSuccess(self, test, details=None):
 
4446
            # The subunit client always includes the details in the subunit
 
4447
            # stream, but we don't want to include it in ours.
 
4448
            if details is not None and 'log' in details:
 
4449
                del details['log']
 
4450
            return super(SubUnitBzrProtocolClient, self).addSuccess(
 
4451
                test, details)
 
4452
 
4487
4453
    class SubUnitBzrRunner(TextTestRunner):
4488
4454
        def run(self, test):
4489
4455
            result = AutoTimingTestResultDecorator(
4490
 
                TestProtocolClient(self.stream))
 
4456
                SubUnitBzrProtocolClient(self.stream))
4491
4457
            test.run(result)
4492
4458
            return result
4493
4459
except ImportError:
4494
4460
    pass
4495
4461
 
4496
 
class _PosixPermissionsFeature(Feature):
4497
 
 
4498
 
    def _probe(self):
4499
 
        def has_perms():
4500
 
            # create temporary file and check if specified perms are maintained.
4501
 
            import tempfile
4502
 
 
4503
 
            write_perms = stat.S_IRUSR | stat.S_IWUSR | stat.S_IXUSR
4504
 
            f = tempfile.mkstemp(prefix='bzr_perms_chk_')
4505
 
            fd, name = f
4506
 
            os.close(fd)
4507
 
            os.chmod(name, write_perms)
4508
 
 
4509
 
            read_perms = os.stat(name).st_mode & 0777
4510
 
            os.unlink(name)
4511
 
            return (write_perms == read_perms)
4512
 
 
4513
 
        return (os.name == 'posix') and has_perms()
4514
 
 
4515
 
    def feature_name(self):
4516
 
        return 'POSIX permissions support'
4517
 
 
4518
 
posix_permissions_feature = _PosixPermissionsFeature()
 
4462
 
 
4463
@deprecated_function(deprecated_in((2, 5, 0)))
 
4464
def ModuleAvailableFeature(name):
 
4465
    from bzrlib.tests import features
 
4466
    return features.ModuleAvailableFeature(name)
 
4467