~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Jelmer Vernooij
  • Date: 2012-01-24 13:14:06 UTC
  • mto: (6445.4.5 nested-trees-spec)
  • mto: This revision was merged to the branch mainline in revision 6518.
  • Revision ID: jelmer@samba.org-20120124131406-wedftkorbpv37bm0
Import nested tree doc from devnotes.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
16
16
 
17
17
"""Testing framework extensions"""
18
18
 
19
 
# TODO: Perhaps there should be an API to find out if bzr running under the
20
 
# test suite -- some plugins might want to avoid making intrusive changes if
21
 
# this is the case.  However, we want behaviour under to test to diverge as
22
 
# little as possible, so this should be used rarely if it's added at all.
23
 
# (Suggestion from j-a-meinel, 2005-11-24)
 
19
from __future__ import absolute_import
24
20
 
25
21
# NOTE: Some classes in here use camelCaseNaming() rather than
26
22
# underscore_naming().  That's for consistency with unittest; it's not the
36
32
import errno
37
33
import itertools
38
34
import logging
39
 
import math
40
35
import os
 
36
import platform
41
37
import pprint
42
38
import random
43
39
import re
44
40
import shlex
 
41
import site
45
42
import stat
46
43
import subprocess
47
44
import sys
55
52
import testtools
56
53
# nb: check this before importing anything else from within it
57
54
_testtools_version = getattr(testtools, '__version__', ())
58
 
if _testtools_version < (0, 9, 2):
59
 
    raise ImportError("need at least testtools 0.9.2: %s is %r"
 
55
if _testtools_version < (0, 9, 5):
 
56
    raise ImportError("need at least testtools 0.9.5: %s is %r"
60
57
        % (testtools.__file__, _testtools_version))
61
58
from testtools import content
62
59
 
 
60
import bzrlib
63
61
from bzrlib import (
64
62
    branchbuilder,
65
63
    bzrdir,
66
64
    chk_map,
 
65
    commands as _mod_commands,
67
66
    config,
 
67
    i18n,
68
68
    debug,
69
69
    errors,
70
70
    hooks,
71
71
    lock as _mod_lock,
 
72
    lockdir,
72
73
    memorytree,
73
74
    osutils,
74
 
    progress,
 
75
    plugin as _mod_plugin,
 
76
    pyutils,
75
77
    ui,
76
78
    urlutils,
77
79
    registry,
 
80
    symbol_versioning,
 
81
    trace,
78
82
    transport as _mod_transport,
79
83
    workingtree,
80
84
    )
81
 
import bzrlib.branch
82
 
import bzrlib.commands
83
 
import bzrlib.timestamp
84
 
import bzrlib.export
85
 
import bzrlib.inventory
86
 
import bzrlib.iterablefile
87
 
import bzrlib.lockdir
88
85
try:
89
86
    import bzrlib.lsprof
90
87
except ImportError:
91
88
    # lsprof not available
92
89
    pass
93
 
from bzrlib.merge import merge_inner
94
 
import bzrlib.merge3
95
 
import bzrlib.plugin
96
 
from bzrlib.smart import client, request, server
97
 
import bzrlib.store
98
 
from bzrlib import symbol_versioning
 
90
from bzrlib.smart import client, request
 
91
from bzrlib.transport import (
 
92
    memory,
 
93
    pathfilter,
 
94
    )
99
95
from bzrlib.symbol_versioning import (
100
 
    DEPRECATED_PARAMETER,
101
96
    deprecated_function,
102
97
    deprecated_in,
103
 
    deprecated_method,
104
 
    deprecated_passed,
105
 
    )
106
 
import bzrlib.trace
107
 
from bzrlib.transport import (
108
 
    memory,
109
 
    pathfilter,
110
 
    )
111
 
from bzrlib.trace import mutter, note
 
98
    )
112
99
from bzrlib.tests import (
 
100
    fixtures,
113
101
    test_server,
114
102
    TestUtil,
115
103
    treeshape,
116
104
    )
117
105
from bzrlib.ui import NullProgressView
118
106
from bzrlib.ui.text import TextUIFactory
119
 
import bzrlib.version_info_formats.format_custom
120
 
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
107
from bzrlib.tests.features import _CompatabilityThunkFeature
121
108
 
122
109
# Mark this python module as being part of the implementation
123
110
# of unittest: this gives us better tracebacks where the last
135
122
SUBUNIT_SEEK_SET = 0
136
123
SUBUNIT_SEEK_CUR = 1
137
124
 
 
125
# These are intentionally brought into this namespace. That way plugins, etc
 
126
# can just "from bzrlib.tests import TestCase, TestLoader, etc"
 
127
TestSuite = TestUtil.TestSuite
 
128
TestLoader = TestUtil.TestLoader
 
129
 
 
130
# Tests should run in a clean and clearly defined environment. The goal is to
 
131
# keep them isolated from the running environment as mush as possible. The test
 
132
# framework ensures the variables defined below are set (or deleted if the
 
133
# value is None) before a test is run and reset to their original value after
 
134
# the test is run. Generally if some code depends on an environment variable,
 
135
# the tests should start without this variable in the environment. There are a
 
136
# few exceptions but you shouldn't violate this rule lightly.
 
137
isolated_environ = {
 
138
    'BZR_HOME': None,
 
139
    'HOME': None,
 
140
    # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
 
141
    # tests do check our impls match APPDATA
 
142
    'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
143
    'VISUAL': None,
 
144
    'EDITOR': None,
 
145
    'BZR_EMAIL': None,
 
146
    'BZREMAIL': None, # may still be present in the environment
 
147
    'EMAIL': 'jrandom@example.com', # set EMAIL as bzr does not guess
 
148
    'BZR_PROGRESS_BAR': None,
 
149
    # This should trap leaks to ~/.bzr.log. This occurs when tests use TestCase
 
150
    # as a base class instead of TestCaseInTempDir. Tests inheriting from
 
151
    # TestCase should not use disk resources, BZR_LOG is one.
 
152
    'BZR_LOG': '/you-should-use-TestCaseInTempDir-if-you-need-a-log-file',
 
153
    'BZR_PLUGIN_PATH': None,
 
154
    'BZR_DISABLE_PLUGINS': None,
 
155
    'BZR_PLUGINS_AT': None,
 
156
    'BZR_CONCURRENCY': None,
 
157
    # Make sure that any text ui tests are consistent regardless of
 
158
    # the environment the test case is run in; you may want tests that
 
159
    # test other combinations.  'dumb' is a reasonable guess for tests
 
160
    # going to a pipe or a StringIO.
 
161
    'TERM': 'dumb',
 
162
    'LINES': '25',
 
163
    'COLUMNS': '80',
 
164
    'BZR_COLUMNS': '80',
 
165
    # Disable SSH Agent
 
166
    'SSH_AUTH_SOCK': None,
 
167
    # Proxies
 
168
    'http_proxy': None,
 
169
    'HTTP_PROXY': None,
 
170
    'https_proxy': None,
 
171
    'HTTPS_PROXY': None,
 
172
    'no_proxy': None,
 
173
    'NO_PROXY': None,
 
174
    'all_proxy': None,
 
175
    'ALL_PROXY': None,
 
176
    # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
 
177
    # least. If you do (care), please update this comment
 
178
    # -- vila 20080401
 
179
    'ftp_proxy': None,
 
180
    'FTP_PROXY': None,
 
181
    'BZR_REMOTE_PATH': None,
 
182
    # Generally speaking, we don't want apport reporting on crashes in
 
183
    # the test envirnoment unless we're specifically testing apport,
 
184
    # so that it doesn't leak into the real system environment.  We
 
185
    # use an env var so it propagates to subprocesses.
 
186
    'APPORT_DISABLE': '1',
 
187
    }
 
188
 
 
189
 
 
190
def override_os_environ(test, env=None):
 
191
    """Modify os.environ keeping a copy.
 
192
    
 
193
    :param test: A test instance
 
194
 
 
195
    :param env: A dict containing variable definitions to be installed
 
196
    """
 
197
    if env is None:
 
198
        env = isolated_environ
 
199
    test._original_os_environ = dict([(var, value)
 
200
                                      for var, value in os.environ.iteritems()])
 
201
    for var, value in env.iteritems():
 
202
        osutils.set_or_unset_env(var, value)
 
203
        if var not in test._original_os_environ:
 
204
            # The var is new, add it with a value of None, so
 
205
            # restore_os_environ will delete it
 
206
            test._original_os_environ[var] = None
 
207
 
 
208
 
 
209
def restore_os_environ(test):
 
210
    """Restore os.environ to its original state.
 
211
 
 
212
    :param test: A test instance previously passed to override_os_environ.
 
213
    """
 
214
    for var, value in test._original_os_environ.iteritems():
 
215
        # Restore the original value (or delete it if the value has been set to
 
216
        # None in override_os_environ).
 
217
        osutils.set_or_unset_env(var, value)
 
218
 
 
219
 
 
220
def _clear__type_equality_funcs(test):
 
221
    """Cleanup bound methods stored on TestCase instances
 
222
 
 
223
    Clear the dict breaking a few (mostly) harmless cycles in the affected
 
224
    unittests released with Python 2.6 and initial Python 2.7 versions.
 
225
 
 
226
    For a few revisions between Python 2.7.1 and Python 2.7.2 that annoyingly
 
227
    shipped in Oneiric, an object with no clear method was used, hence the
 
228
    extra complications, see bug 809048 for details.
 
229
    """
 
230
    type_equality_funcs = getattr(test, "_type_equality_funcs", None)
 
231
    if type_equality_funcs is not None:
 
232
        tef_clear = getattr(type_equality_funcs, "clear", None)
 
233
        if tef_clear is None:
 
234
            tef_instance_dict = getattr(type_equality_funcs, "__dict__", None)
 
235
            if tef_instance_dict is not None:
 
236
                tef_clear = tef_instance_dict.clear
 
237
        if tef_clear is not None:
 
238
            tef_clear()
 
239
 
138
240
 
139
241
class ExtendedTestResult(testtools.TextTestResult):
140
242
    """Accepts, reports and accumulates the results of running tests.
190
292
        self.count = 0
191
293
        self._overall_start_time = time.time()
192
294
        self._strict = strict
 
295
        self._first_thread_leaker_id = None
 
296
        self._tests_leaking_threads_count = 0
 
297
        self._traceback_from_test = None
193
298
 
194
299
    def stopTestRun(self):
195
300
        run = self.testsRun
234
339
            ok = self.wasStrictlySuccessful()
235
340
        else:
236
341
            ok = self.wasSuccessful()
237
 
        if TestCase._first_thread_leaker_id:
 
342
        if self._first_thread_leaker_id:
238
343
            self.stream.write(
239
344
                '%s is leaking threads among %d leaking tests.\n' % (
240
 
                TestCase._first_thread_leaker_id,
241
 
                TestCase._leaking_threads_tests))
 
345
                self._first_thread_leaker_id,
 
346
                self._tests_leaking_threads_count))
242
347
            # We don't report the main thread as an active one.
243
348
            self.stream.write(
244
349
                '%d non-main threads were left active in the end.\n'
245
 
                % (TestCase._active_threads - 1))
 
350
                % (len(self._active_threads) - 1))
246
351
 
247
352
    def getDescription(self, test):
248
353
        return test.id()
255
360
 
256
361
    def _elapsedTestTimeString(self):
257
362
        """Return a time string for the overall time the current test has taken."""
258
 
        return self._formatTime(time.time() - self._start_time)
 
363
        return self._formatTime(self._delta_to_float(
 
364
            self._now() - self._start_datetime))
259
365
 
260
366
    def _testTimeString(self, testCase):
261
367
        benchmark_time = self._extractBenchmarkTime(testCase)
275
381
        what = re.sub(r'^bzrlib\.tests\.', '', what)
276
382
        return what
277
383
 
 
384
    # GZ 2010-10-04: Cloned tests may end up harmlessly calling this method
 
385
    #                multiple times in a row, because the handler is added for
 
386
    #                each test but the container list is shared between cases.
 
387
    #                See lp:498869 lp:625574 and lp:637725 for background.
 
388
    def _record_traceback_from_test(self, exc_info):
 
389
        """Store the traceback from passed exc_info tuple till"""
 
390
        self._traceback_from_test = exc_info[2]
 
391
 
278
392
    def startTest(self, test):
279
393
        super(ExtendedTestResult, self).startTest(test)
280
394
        if self.count == 0:
281
395
            self.startTests()
 
396
        self.count += 1
282
397
        self.report_test_start(test)
283
398
        test.number = self.count
284
399
        self._recordTestStartTime()
 
400
        # Make testtools cases give us the real traceback on failure
 
401
        addOnException = getattr(test, "addOnException", None)
 
402
        if addOnException is not None:
 
403
            addOnException(self._record_traceback_from_test)
 
404
        # Only check for thread leaks on bzrlib derived test cases
 
405
        if isinstance(test, TestCase):
 
406
            test.addCleanup(self._check_leaked_threads, test)
 
407
 
 
408
    def stopTest(self, test):
 
409
        super(ExtendedTestResult, self).stopTest(test)
 
410
        # Manually break cycles, means touching various private things but hey
 
411
        getDetails = getattr(test, "getDetails", None)
 
412
        if getDetails is not None:
 
413
            getDetails().clear()
 
414
        _clear__type_equality_funcs(test)
 
415
        self._traceback_from_test = None
285
416
 
286
417
    def startTests(self):
287
 
        import platform
288
 
        if getattr(sys, 'frozen', None) is None:
289
 
            bzr_path = osutils.realpath(sys.argv[0])
290
 
        else:
291
 
            bzr_path = sys.executable
292
 
        self.stream.write(
293
 
            'bzr selftest: %s\n' % (bzr_path,))
294
 
        self.stream.write(
295
 
            '   %s\n' % (
296
 
                    bzrlib.__path__[0],))
297
 
        self.stream.write(
298
 
            '   bzr-%s python-%s %s\n' % (
299
 
                    bzrlib.version_string,
300
 
                    bzrlib._format_version_tuple(sys.version_info),
301
 
                    platform.platform(aliased=1),
302
 
                    ))
303
 
        self.stream.write('\n')
 
418
        self.report_tests_starting()
 
419
        self._active_threads = threading.enumerate()
 
420
 
 
421
    def _check_leaked_threads(self, test):
 
422
        """See if any threads have leaked since last call
 
423
 
 
424
        A sample of live threads is stored in the _active_threads attribute,
 
425
        when this method runs it compares the current live threads and any not
 
426
        in the previous sample are treated as having leaked.
 
427
        """
 
428
        now_active_threads = set(threading.enumerate())
 
429
        threads_leaked = now_active_threads.difference(self._active_threads)
 
430
        if threads_leaked:
 
431
            self._report_thread_leak(test, threads_leaked, now_active_threads)
 
432
            self._tests_leaking_threads_count += 1
 
433
            if self._first_thread_leaker_id is None:
 
434
                self._first_thread_leaker_id = test.id()
 
435
            self._active_threads = now_active_threads
304
436
 
305
437
    def _recordTestStartTime(self):
306
438
        """Record that a test has started."""
307
 
        self._start_time = time.time()
308
 
 
309
 
    def _cleanupLogFile(self, test):
310
 
        # We can only do this if we have one of our TestCases, not if
311
 
        # we have a doctest.
312
 
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
313
 
        if setKeepLogfile is not None:
314
 
            setKeepLogfile()
 
439
        self._start_datetime = self._now()
315
440
 
316
441
    def addError(self, test, err):
317
442
        """Tell result that test finished with an error.
319
444
        Called from the TestCase run() method when the test
320
445
        fails with an unexpected error.
321
446
        """
322
 
        self._post_mortem()
 
447
        self._post_mortem(self._traceback_from_test)
323
448
        super(ExtendedTestResult, self).addError(test, err)
324
449
        self.error_count += 1
325
450
        self.report_error(test, err)
326
451
        if self.stop_early:
327
452
            self.stop()
328
 
        self._cleanupLogFile(test)
329
453
 
330
454
    def addFailure(self, test, err):
331
455
        """Tell result that test failed.
333
457
        Called from the TestCase run() method when the test
334
458
        fails because e.g. an assert() method failed.
335
459
        """
336
 
        self._post_mortem()
 
460
        self._post_mortem(self._traceback_from_test)
337
461
        super(ExtendedTestResult, self).addFailure(test, err)
338
462
        self.failure_count += 1
339
463
        self.report_failure(test, err)
340
464
        if self.stop_early:
341
465
            self.stop()
342
 
        self._cleanupLogFile(test)
343
466
 
344
467
    def addSuccess(self, test, details=None):
345
468
        """Tell result that test completed successfully.
353
476
                    self._formatTime(benchmark_time),
354
477
                    test.id()))
355
478
        self.report_success(test)
356
 
        self._cleanupLogFile(test)
357
479
        super(ExtendedTestResult, self).addSuccess(test)
358
480
        test._log_contents = ''
359
481
 
361
483
        self.known_failure_count += 1
362
484
        self.report_known_failure(test, err)
363
485
 
 
486
    def addUnexpectedSuccess(self, test, details=None):
 
487
        """Tell result the test unexpectedly passed, counting as a failure
 
488
 
 
489
        When the minimum version of testtools required becomes 0.9.8 this
 
490
        can be updated to use the new handling there.
 
491
        """
 
492
        super(ExtendedTestResult, self).addFailure(test, details=details)
 
493
        self.failure_count += 1
 
494
        self.report_unexpected_success(test,
 
495
            "".join(details["reason"].iter_text()))
 
496
        if self.stop_early:
 
497
            self.stop()
 
498
 
364
499
    def addNotSupported(self, test, feature):
365
500
        """The test will not be run because of a missing feature.
366
501
        """
383
518
        self.not_applicable_count += 1
384
519
        self.report_not_applicable(test, reason)
385
520
 
386
 
    def _post_mortem(self):
 
521
    def _count_stored_tests(self):
 
522
        """Count of tests instances kept alive due to not succeeding"""
 
523
        return self.error_count + self.failure_count + self.known_failure_count
 
524
 
 
525
    def _post_mortem(self, tb=None):
387
526
        """Start a PDB post mortem session."""
388
527
        if os.environ.get('BZR_TEST_PDB', None):
389
 
            import pdb;pdb.post_mortem()
 
528
            import pdb
 
529
            pdb.post_mortem(tb)
390
530
 
391
531
    def progress(self, offset, whence):
392
532
        """The test is adjusting the count of tests to run."""
397
537
        else:
398
538
            raise errors.BzrError("Unknown whence %r" % whence)
399
539
 
400
 
    def report_cleaning_up(self):
401
 
        pass
 
540
    def report_tests_starting(self):
 
541
        """Display information before the test run begins"""
 
542
        if getattr(sys, 'frozen', None) is None:
 
543
            bzr_path = osutils.realpath(sys.argv[0])
 
544
        else:
 
545
            bzr_path = sys.executable
 
546
        self.stream.write(
 
547
            'bzr selftest: %s\n' % (bzr_path,))
 
548
        self.stream.write(
 
549
            '   %s\n' % (
 
550
                    bzrlib.__path__[0],))
 
551
        self.stream.write(
 
552
            '   bzr-%s python-%s %s\n' % (
 
553
                    bzrlib.version_string,
 
554
                    bzrlib._format_version_tuple(sys.version_info),
 
555
                    platform.platform(aliased=1),
 
556
                    ))
 
557
        self.stream.write('\n')
 
558
 
 
559
    def report_test_start(self, test):
 
560
        """Display information on the test just about to be run"""
 
561
 
 
562
    def _report_thread_leak(self, test, leaked_threads, active_threads):
 
563
        """Display information on a test that leaked one or more threads"""
 
564
        # GZ 2010-09-09: A leak summary reported separately from the general
 
565
        #                thread debugging would be nice. Tests under subunit
 
566
        #                need something not using stream, perhaps adding a
 
567
        #                testtools details object would be fitting.
 
568
        if 'threads' in selftest_debug_flags:
 
569
            self.stream.write('%s is leaking, active is now %d\n' %
 
570
                (test.id(), len(active_threads)))
402
571
 
403
572
    def startTestRun(self):
404
573
        self.startTime = time.time()
441
610
        self.pb.finished()
442
611
        super(TextTestResult, self).stopTestRun()
443
612
 
444
 
    def startTestRun(self):
445
 
        super(TextTestResult, self).startTestRun()
 
613
    def report_tests_starting(self):
 
614
        super(TextTestResult, self).report_tests_starting()
446
615
        self.pb.update('[test 0/%d] Starting' % (self.num_tests))
447
616
 
448
 
    def printErrors(self):
449
 
        # clear the pb to make room for the error listing
450
 
        self.pb.clear()
451
 
        super(TextTestResult, self).printErrors()
452
 
 
453
617
    def _progress_prefix_text(self):
454
618
        # the longer this text, the less space we have to show the test
455
619
        # name...
477
641
        return a
478
642
 
479
643
    def report_test_start(self, test):
480
 
        self.count += 1
481
644
        self.pb.update(
482
645
                self._progress_prefix_text()
483
646
                + ' '
501
664
    def report_known_failure(self, test, err):
502
665
        pass
503
666
 
 
667
    def report_unexpected_success(self, test, reason):
 
668
        self.stream.write('FAIL: %s\n    %s: %s\n' % (
 
669
            self._test_description(test),
 
670
            "Unexpected success. Should have failed",
 
671
            reason,
 
672
            ))
 
673
 
504
674
    def report_skip(self, test, reason):
505
675
        pass
506
676
 
510
680
    def report_unsupported(self, test, feature):
511
681
        """test cannot be run because feature is missing."""
512
682
 
513
 
    def report_cleaning_up(self):
514
 
        self.pb.update('Cleaning up')
515
 
 
516
683
 
517
684
class VerboseTestResult(ExtendedTestResult):
518
685
    """Produce long output, with one line per test run plus times"""
525
692
            result = a_string
526
693
        return result.ljust(final_width)
527
694
 
528
 
    def startTestRun(self):
529
 
        super(VerboseTestResult, self).startTestRun()
 
695
    def report_tests_starting(self):
530
696
        self.stream.write('running %d tests...\n' % self.num_tests)
 
697
        super(VerboseTestResult, self).report_tests_starting()
531
698
 
532
699
    def report_test_start(self, test):
533
 
        self.count += 1
534
700
        name = self._shortened_test_description(test)
535
701
        width = osutils.terminal_width()
536
702
        if width is not None:
562
728
                % (self._testTimeString(test),
563
729
                   self._error_summary(err)))
564
730
 
 
731
    def report_unexpected_success(self, test, reason):
 
732
        self.stream.write(' FAIL %s\n%s: %s\n'
 
733
                % (self._testTimeString(test),
 
734
                   "Unexpected success. Should have failed",
 
735
                   reason))
 
736
 
565
737
    def report_success(self, test):
566
738
        self.stream.write('   OK %s\n' % self._testTimeString(test))
567
739
        for bench_called, stats in getattr(test, '_benchcalls', []):
614
786
            encode = codec[0]
615
787
        else:
616
788
            encode = codec.encode
617
 
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream)
 
789
        # GZ 2010-09-08: Really we don't want to be writing arbitrary bytes,
 
790
        #                so should swap to the plain codecs.StreamWriter
 
791
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream,
 
792
            "backslashreplace")
618
793
        stream.encoding = new_encoding
619
794
        self.stream = stream
620
795
        self.descriptions = descriptions
770
945
        return NullProgressView()
771
946
 
772
947
 
 
948
def isolated_doctest_setUp(test):
 
949
    override_os_environ(test)
 
950
 
 
951
 
 
952
def isolated_doctest_tearDown(test):
 
953
    restore_os_environ(test)
 
954
 
 
955
 
 
956
def IsolatedDocTestSuite(*args, **kwargs):
 
957
    """Overrides doctest.DocTestSuite to handle isolation.
 
958
 
 
959
    The method is really a factory and users are expected to use it as such.
 
960
    """
 
961
 
 
962
    kwargs['setUp'] = isolated_doctest_setUp
 
963
    kwargs['tearDown'] = isolated_doctest_tearDown
 
964
    return doctest.DocTestSuite(*args, **kwargs)
 
965
 
 
966
 
773
967
class TestCase(testtools.TestCase):
774
968
    """Base class for bzr unit tests.
775
969
 
786
980
    routine, and to build and check bzr trees.
787
981
 
788
982
    In addition to the usual method of overriding tearDown(), this class also
789
 
    allows subclasses to register functions into the _cleanups list, which is
 
983
    allows subclasses to register cleanup functions via addCleanup, which are
790
984
    run in order as the object is torn down.  It's less likely this will be
791
985
    accidentally overlooked.
792
986
    """
793
987
 
794
 
    _active_threads = None
795
 
    _leaking_threads_tests = 0
796
 
    _first_thread_leaker_id = None
797
 
    _log_file_name = None
 
988
    _log_file = None
798
989
    # record lsprof data when performing benchmark calls.
799
990
    _gather_lsprof_in_benchmarks = False
800
991
 
801
992
    def __init__(self, methodName='testMethod'):
802
993
        super(TestCase, self).__init__(methodName)
803
 
        self._cleanups = []
804
994
        self._directory_isolation = True
805
995
        self.exception_handlers.insert(0,
806
996
            (UnavailableFeature, self._do_unsupported_or_skip))
809
999
 
810
1000
    def setUp(self):
811
1001
        super(TestCase, self).setUp()
 
1002
 
 
1003
        timeout = config.GlobalStack().get('selftest.timeout')
 
1004
        if timeout:
 
1005
            timeout_fixture = fixtures.TimeoutFixture(timeout)
 
1006
            timeout_fixture.setUp()
 
1007
            self.addCleanup(timeout_fixture.cleanUp)
 
1008
 
812
1009
        for feature in getattr(self, '_test_needs_features', []):
813
1010
            self.requireFeature(feature)
814
 
        self._log_contents = None
815
 
        self.addDetail("log", content.Content(content.ContentType("text",
816
 
            "plain", {"charset": "utf8"}),
817
 
            lambda:[self._get_log(keep_log_file=True)]))
818
1011
        self._cleanEnvironment()
 
1012
 
 
1013
        if bzrlib.global_state is not None:
 
1014
            self.overrideAttr(bzrlib.global_state, 'cmdline_overrides',
 
1015
                              config.CommandLineStore())
 
1016
 
819
1017
        self._silenceUI()
820
1018
        self._startLogFile()
821
1019
        self._benchcalls = []
824
1022
        self._track_transports()
825
1023
        self._track_locks()
826
1024
        self._clear_debug_flags()
827
 
        TestCase._active_threads = threading.activeCount()
828
 
        self.addCleanup(self._check_leaked_threads)
 
1025
        # Isolate global verbosity level, to make sure it's reproducible
 
1026
        # between tests.  We should get rid of this altogether: bug 656694. --
 
1027
        # mbp 20101008
 
1028
        self.overrideAttr(bzrlib.trace, '_verbosity_level', 0)
 
1029
        # Isolate config option expansion until its default value for bzrlib is
 
1030
        # settled on or a the FIXME associated with _get_expand_default_value
 
1031
        # is addressed -- vila 20110219
 
1032
        self.overrideAttr(config, '_expand_default_value', None)
 
1033
        self._log_files = set()
 
1034
        # Each key in the ``_counters`` dict holds a value for a different
 
1035
        # counter. When the test ends, addDetail() should be used to output the
 
1036
        # counter values. This happens in install_counter_hook().
 
1037
        self._counters = {}
 
1038
        if 'config_stats' in selftest_debug_flags:
 
1039
            self._install_config_stats_hooks()
 
1040
        # Do not use i18n for tests (unless the test reverses this)
 
1041
        i18n.disable_i18n()
829
1042
 
830
1043
    def debug(self):
831
1044
        # debug a frame up.
832
1045
        import pdb
833
 
        pdb.Pdb().set_trace(sys._getframe().f_back)
834
 
 
835
 
    def _check_leaked_threads(self):
836
 
        active = threading.activeCount()
837
 
        leaked_threads = active - TestCase._active_threads
838
 
        TestCase._active_threads = active
839
 
        # If some tests make the number of threads *decrease*, we'll consider
840
 
        # that they are just observing old threads dieing, not agressively kill
841
 
        # random threads. So we don't report these tests as leaking. The risk
842
 
        # is that we have false positives that way (the test see 2 threads
843
 
        # going away but leak one) but it seems less likely than the actual
844
 
        # false positives (the test see threads going away and does not leak).
845
 
        if leaked_threads > 0:
846
 
            if 'threads' in selftest_debug_flags:
847
 
                print '%s is leaking, active is now %d' % (self.id(), active)
848
 
            TestCase._leaking_threads_tests += 1
849
 
            if TestCase._first_thread_leaker_id is None:
850
 
                TestCase._first_thread_leaker_id = self.id()
 
1046
        # The sys preserved stdin/stdout should allow blackbox tests debugging
 
1047
        pdb.Pdb(stdin=sys.__stdin__, stdout=sys.__stdout__
 
1048
                ).set_trace(sys._getframe().f_back)
 
1049
 
 
1050
    def discardDetail(self, name):
 
1051
        """Extend the addDetail, getDetails api so we can remove a detail.
 
1052
 
 
1053
        eg. bzr always adds the 'log' detail at startup, but we don't want to
 
1054
        include it for skipped, xfail, etc tests.
 
1055
 
 
1056
        It is safe to call this for a detail that doesn't exist, in case this
 
1057
        gets called multiple times.
 
1058
        """
 
1059
        # We cheat. details is stored in __details which means we shouldn't
 
1060
        # touch it. but getDetails() returns the dict directly, so we can
 
1061
        # mutate it.
 
1062
        details = self.getDetails()
 
1063
        if name in details:
 
1064
            del details[name]
 
1065
 
 
1066
    def install_counter_hook(self, hooks, name, counter_name=None):
 
1067
        """Install a counting hook.
 
1068
 
 
1069
        Any hook can be counted as long as it doesn't need to return a value.
 
1070
 
 
1071
        :param hooks: Where the hook should be installed.
 
1072
 
 
1073
        :param name: The hook name that will be counted.
 
1074
 
 
1075
        :param counter_name: The counter identifier in ``_counters``, defaults
 
1076
            to ``name``.
 
1077
        """
 
1078
        _counters = self._counters # Avoid closing over self
 
1079
        if counter_name is None:
 
1080
            counter_name = name
 
1081
        if _counters.has_key(counter_name):
 
1082
            raise AssertionError('%s is already used as a counter name'
 
1083
                                  % (counter_name,))
 
1084
        _counters[counter_name] = 0
 
1085
        self.addDetail(counter_name, content.Content(content.UTF8_TEXT,
 
1086
            lambda: ['%d' % (_counters[counter_name],)]))
 
1087
        def increment_counter(*args, **kwargs):
 
1088
            _counters[counter_name] += 1
 
1089
        label = 'count %s calls' % (counter_name,)
 
1090
        hooks.install_named_hook(name, increment_counter, label)
 
1091
        self.addCleanup(hooks.uninstall_named_hook, name, label)
 
1092
 
 
1093
    def _install_config_stats_hooks(self):
 
1094
        """Install config hooks to count hook calls.
 
1095
 
 
1096
        """
 
1097
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
 
1098
            self.install_counter_hook(config.ConfigHooks, hook_name,
 
1099
                                       'config.%s' % (hook_name,))
 
1100
 
 
1101
        # The OldConfigHooks are private and need special handling to protect
 
1102
        # against recursive tests (tests that run other tests), so we just do
 
1103
        # manually what registering them into _builtin_known_hooks will provide
 
1104
        # us.
 
1105
        self.overrideAttr(config, 'OldConfigHooks', config._OldConfigHooks())
 
1106
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
 
1107
            self.install_counter_hook(config.OldConfigHooks, hook_name,
 
1108
                                      'old_config.%s' % (hook_name,))
851
1109
 
852
1110
    def _clear_debug_flags(self):
853
1111
        """Prevent externally set debug flags affecting tests.
864
1122
 
865
1123
    def _clear_hooks(self):
866
1124
        # prevent hooks affecting tests
 
1125
        known_hooks = hooks.known_hooks
867
1126
        self._preserved_hooks = {}
868
 
        for key, factory in hooks.known_hooks.items():
869
 
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
870
 
            current_hooks = hooks.known_hooks_key_to_object(key)
 
1127
        for key, (parent, name) in known_hooks.iter_parent_objects():
 
1128
            current_hooks = getattr(parent, name)
871
1129
            self._preserved_hooks[parent] = (name, current_hooks)
 
1130
        self._preserved_lazy_hooks = hooks._lazy_hooks
 
1131
        hooks._lazy_hooks = {}
872
1132
        self.addCleanup(self._restoreHooks)
873
 
        for key, factory in hooks.known_hooks.items():
874
 
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
 
1133
        for key, (parent, name) in known_hooks.iter_parent_objects():
 
1134
            factory = known_hooks.get(key)
875
1135
            setattr(parent, name, factory())
876
1136
        # this hook should always be installed
877
1137
        request._install_hook()
906
1166
        # break some locks on purpose and should be taken into account by
907
1167
        # considering that breaking a lock is just a dirty way of releasing it.
908
1168
        if len(acquired_locks) != (len(released_locks) + len(broken_locks)):
909
 
            message = ('Different number of acquired and '
910
 
                       'released or broken locks. (%s, %s + %s)' %
911
 
                       (acquired_locks, released_locks, broken_locks))
 
1169
            message = (
 
1170
                'Different number of acquired and '
 
1171
                'released or broken locks.\n'
 
1172
                'acquired=%s\n'
 
1173
                'released=%s\n'
 
1174
                'broken=%s\n' %
 
1175
                (acquired_locks, released_locks, broken_locks))
912
1176
            if not self._lock_check_thorough:
913
1177
                # Rather than fail, just warn
914
1178
                print "Broken test %s: %s" % (self, message)
942
1206
 
943
1207
    def permit_dir(self, name):
944
1208
        """Permit a directory to be used by this test. See permit_url."""
945
 
        name_transport = _mod_transport.get_transport(name)
 
1209
        name_transport = _mod_transport.get_transport_from_path(name)
946
1210
        self.permit_url(name)
947
1211
        self.permit_url(name_transport.base)
948
1212
 
971
1235
            try:
972
1236
                workingtree.WorkingTree.open(path)
973
1237
            except (errors.NotBranchError, errors.NoWorkingTree):
974
 
                return
 
1238
                raise TestSkipped('Needs a working tree of bzr sources')
975
1239
        finally:
976
1240
            self.enable_directory_isolation()
977
1241
 
1027
1291
        self.addCleanup(transport_server.stop_server)
1028
1292
        # Obtain a real transport because if the server supplies a password, it
1029
1293
        # will be hidden from the base on the client side.
1030
 
        t = _mod_transport.get_transport(transport_server.get_url())
 
1294
        t = _mod_transport.get_transport_from_url(transport_server.get_url())
1031
1295
        # Some transport servers effectively chroot the backing transport;
1032
1296
        # others like SFTPServer don't - users of the transport can walk up the
1033
1297
        # transport to read the entire backing transport. This wouldn't matter
1089
1353
        except UnicodeError, e:
1090
1354
            # If we can't compare without getting a UnicodeError, then
1091
1355
            # obviously they are different
1092
 
            mutter('UnicodeError: %s', e)
 
1356
            trace.mutter('UnicodeError: %s', e)
1093
1357
        if message:
1094
1358
            message += '\n'
1095
1359
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
1134
1398
                         'st_mtime did not match')
1135
1399
        self.assertEqual(expected.st_ctime, actual.st_ctime,
1136
1400
                         'st_ctime did not match')
1137
 
        if sys.platform != 'win32':
 
1401
        if sys.platform == 'win32':
1138
1402
            # On Win32 both 'dev' and 'ino' cannot be trusted. In python2.4 it
1139
1403
            # is 'dev' that varies, in python 2.5 (6?) it is st_ino that is
1140
 
            # odd. Regardless we shouldn't actually try to assert anything
1141
 
            # about their values
 
1404
            # odd. We just force it to always be 0 to avoid any problems.
 
1405
            self.assertEqual(0, expected.st_dev)
 
1406
            self.assertEqual(0, actual.st_dev)
 
1407
            self.assertEqual(0, expected.st_ino)
 
1408
            self.assertEqual(0, actual.st_ino)
 
1409
        else:
1142
1410
            self.assertEqual(expected.st_dev, actual.st_dev,
1143
1411
                             'st_dev did not match')
1144
1412
            self.assertEqual(expected.st_ino, actual.st_ino,
1153
1421
                length, len(obj_with_len), obj_with_len))
1154
1422
 
1155
1423
    def assertLogsError(self, exception_class, func, *args, **kwargs):
1156
 
        """Assert that func(*args, **kwargs) quietly logs a specific exception.
 
1424
        """Assert that `func(*args, **kwargs)` quietly logs a specific error.
1157
1425
        """
1158
 
        from bzrlib import trace
1159
1426
        captured = []
1160
1427
        orig_log_exception_quietly = trace.log_exception_quietly
1161
1428
        try:
1162
1429
            def capture():
1163
1430
                orig_log_exception_quietly()
1164
 
                captured.append(sys.exc_info())
 
1431
                captured.append(sys.exc_info()[1])
1165
1432
            trace.log_exception_quietly = capture
1166
1433
            func(*args, **kwargs)
1167
1434
        finally:
1168
1435
            trace.log_exception_quietly = orig_log_exception_quietly
1169
1436
        self.assertLength(1, captured)
1170
 
        err = captured[0][1]
 
1437
        err = captured[0]
1171
1438
        self.assertIsInstance(err, exception_class)
1172
1439
        return err
1173
1440
 
1210
1477
        if haystack.find(needle) == -1:
1211
1478
            self.fail("string %r not found in '''%s'''" % (needle, haystack))
1212
1479
 
 
1480
    def assertNotContainsString(self, haystack, needle):
 
1481
        if haystack.find(needle) != -1:
 
1482
            self.fail("string %r found in '''%s'''" % (needle, haystack))
 
1483
 
1213
1484
    def assertSubset(self, sublist, superlist):
1214
1485
        """Assert that every entry in sublist is present in superlist."""
1215
1486
        missing = set(sublist) - set(superlist)
1304
1575
 
1305
1576
    def assertFileEqual(self, content, path):
1306
1577
        """Fail if path does not contain 'content'."""
1307
 
        self.failUnlessExists(path)
 
1578
        self.assertPathExists(path)
1308
1579
        f = file(path, 'rb')
1309
1580
        try:
1310
1581
            s = f.read()
1320
1591
        else:
1321
1592
            self.assertEqual(expected_docstring, obj.__doc__)
1322
1593
 
 
1594
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1323
1595
    def failUnlessExists(self, path):
 
1596
        return self.assertPathExists(path)
 
1597
 
 
1598
    def assertPathExists(self, path):
1324
1599
        """Fail unless path or paths, which may be abs or relative, exist."""
1325
1600
        if not isinstance(path, basestring):
1326
1601
            for p in path:
1327
 
                self.failUnlessExists(p)
 
1602
                self.assertPathExists(p)
1328
1603
        else:
1329
 
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1604
            self.assertTrue(osutils.lexists(path),
 
1605
                path + " does not exist")
1330
1606
 
 
1607
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1331
1608
    def failIfExists(self, path):
 
1609
        return self.assertPathDoesNotExist(path)
 
1610
 
 
1611
    def assertPathDoesNotExist(self, path):
1332
1612
        """Fail if path or paths, which may be abs or relative, exist."""
1333
1613
        if not isinstance(path, basestring):
1334
1614
            for p in path:
1335
 
                self.failIfExists(p)
 
1615
                self.assertPathDoesNotExist(p)
1336
1616
        else:
1337
 
            self.failIf(osutils.lexists(path),path+" exists")
 
1617
            self.assertFalse(osutils.lexists(path),
 
1618
                path + " exists")
1338
1619
 
1339
1620
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
1340
1621
        """A helper for callDeprecated and applyDeprecated.
1366
1647
        not other callers that go direct to the warning module.
1367
1648
 
1368
1649
        To test that a deprecated method raises an error, do something like
1369
 
        this::
 
1650
        this (remember that both assertRaises and applyDeprecated delays *args
 
1651
        and **kwargs passing)::
1370
1652
 
1371
1653
            self.assertRaises(errors.ReservedId,
1372
1654
                self.applyDeprecated,
1450
1732
        return result
1451
1733
 
1452
1734
    def _startLogFile(self):
1453
 
        """Send bzr and test log messages to a temporary file.
1454
 
 
1455
 
        The file is removed as the test is torn down.
1456
 
        """
1457
 
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
1458
 
        self._log_file = os.fdopen(fileno, 'w+')
1459
 
        self._log_memento = bzrlib.trace.push_log_file(self._log_file)
1460
 
        self._log_file_name = name
 
1735
        """Setup a in-memory target for bzr and testcase log messages"""
 
1736
        pseudo_log_file = StringIO()
 
1737
        def _get_log_contents_for_weird_testtools_api():
 
1738
            return [pseudo_log_file.getvalue().decode(
 
1739
                "utf-8", "replace").encode("utf-8")]
 
1740
        self.addDetail("log", content.Content(content.ContentType("text",
 
1741
            "plain", {"charset": "utf8"}),
 
1742
            _get_log_contents_for_weird_testtools_api))
 
1743
        self._log_file = pseudo_log_file
 
1744
        self._log_memento = trace.push_log_file(self._log_file)
1461
1745
        self.addCleanup(self._finishLogFile)
1462
1746
 
1463
1747
    def _finishLogFile(self):
1464
 
        """Finished with the log file.
1465
 
 
1466
 
        Close the file and delete it, unless setKeepLogfile was called.
1467
 
        """
1468
 
        if bzrlib.trace._trace_file:
 
1748
        """Flush and dereference the in-memory log for this testcase"""
 
1749
        if trace._trace_file:
1469
1750
            # flush the log file, to get all content
1470
 
            bzrlib.trace._trace_file.flush()
1471
 
        bzrlib.trace.pop_log_file(self._log_memento)
1472
 
        # Cache the log result and delete the file on disk
1473
 
        self._get_log(False)
 
1751
            trace._trace_file.flush()
 
1752
        trace.pop_log_file(self._log_memento)
 
1753
        # The logging module now tracks references for cleanup so discard ours
 
1754
        del self._log_memento
1474
1755
 
1475
1756
    def thisFailsStrictLockCheck(self):
1476
1757
        """It is known that this test would fail with -Dstrict_locks.
1485
1766
        """
1486
1767
        debug.debug_flags.discard('strict_locks')
1487
1768
 
1488
 
    def addCleanup(self, callable, *args, **kwargs):
1489
 
        """Arrange to run a callable when this case is torn down.
1490
 
 
1491
 
        Callables are run in the reverse of the order they are registered,
1492
 
        ie last-in first-out.
1493
 
        """
1494
 
        self._cleanups.append((callable, args, kwargs))
1495
 
 
1496
1769
    def overrideAttr(self, obj, attr_name, new=_unitialized_attr):
1497
1770
        """Overrides an object attribute restoring it after the test.
1498
1771
 
 
1772
        :note: This should be used with discretion; you should think about
 
1773
        whether it's better to make the code testable without monkey-patching.
 
1774
 
1499
1775
        :param obj: The object that will be mutated.
1500
1776
 
1501
1777
        :param attr_name: The attribute name we want to preserve/override in
1512
1788
            setattr(obj, attr_name, new)
1513
1789
        return value
1514
1790
 
 
1791
    def overrideEnv(self, name, new):
 
1792
        """Set an environment variable, and reset it after the test.
 
1793
 
 
1794
        :param name: The environment variable name.
 
1795
 
 
1796
        :param new: The value to set the variable to. If None, the 
 
1797
            variable is deleted from the environment.
 
1798
 
 
1799
        :returns: The actual variable value.
 
1800
        """
 
1801
        value = osutils.set_or_unset_env(name, new)
 
1802
        self.addCleanup(osutils.set_or_unset_env, name, value)
 
1803
        return value
 
1804
 
 
1805
    def recordCalls(self, obj, attr_name):
 
1806
        """Monkeypatch in a wrapper that will record calls.
 
1807
 
 
1808
        The monkeypatch is automatically removed when the test concludes.
 
1809
 
 
1810
        :param obj: The namespace holding the reference to be replaced;
 
1811
            typically a module, class, or object.
 
1812
        :param attr_name: A string for the name of the attribute to 
 
1813
            patch.
 
1814
        :returns: A list that will be extended with one item every time the
 
1815
            function is called, with a tuple of (args, kwargs).
 
1816
        """
 
1817
        calls = []
 
1818
 
 
1819
        def decorator(*args, **kwargs):
 
1820
            calls.append((args, kwargs))
 
1821
            return orig(*args, **kwargs)
 
1822
        orig = self.overrideAttr(obj, attr_name, decorator)
 
1823
        return calls
 
1824
 
1515
1825
    def _cleanEnvironment(self):
1516
 
        new_env = {
1517
 
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
1518
 
            'HOME': os.getcwd(),
1519
 
            # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
1520
 
            # tests do check our impls match APPDATA
1521
 
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
1522
 
            'VISUAL': None,
1523
 
            'EDITOR': None,
1524
 
            'BZR_EMAIL': None,
1525
 
            'BZREMAIL': None, # may still be present in the environment
1526
 
            'EMAIL': 'jrandom@example.com', # set EMAIL as bzr does not guess
1527
 
            'BZR_PROGRESS_BAR': None,
1528
 
            'BZR_LOG': None,
1529
 
            'BZR_PLUGIN_PATH': None,
1530
 
            'BZR_DISABLE_PLUGINS': None,
1531
 
            'BZR_PLUGINS_AT': None,
1532
 
            'BZR_CONCURRENCY': None,
1533
 
            # Make sure that any text ui tests are consistent regardless of
1534
 
            # the environment the test case is run in; you may want tests that
1535
 
            # test other combinations.  'dumb' is a reasonable guess for tests
1536
 
            # going to a pipe or a StringIO.
1537
 
            'TERM': 'dumb',
1538
 
            'LINES': '25',
1539
 
            'COLUMNS': '80',
1540
 
            'BZR_COLUMNS': '80',
1541
 
            # SSH Agent
1542
 
            'SSH_AUTH_SOCK': None,
1543
 
            # Proxies
1544
 
            'http_proxy': None,
1545
 
            'HTTP_PROXY': None,
1546
 
            'https_proxy': None,
1547
 
            'HTTPS_PROXY': None,
1548
 
            'no_proxy': None,
1549
 
            'NO_PROXY': None,
1550
 
            'all_proxy': None,
1551
 
            'ALL_PROXY': None,
1552
 
            # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
1553
 
            # least. If you do (care), please update this comment
1554
 
            # -- vila 20080401
1555
 
            'ftp_proxy': None,
1556
 
            'FTP_PROXY': None,
1557
 
            'BZR_REMOTE_PATH': None,
1558
 
            # Generally speaking, we don't want apport reporting on crashes in
1559
 
            # the test envirnoment unless we're specifically testing apport,
1560
 
            # so that it doesn't leak into the real system environment.  We
1561
 
            # use an env var so it propagates to subprocesses.
1562
 
            'APPORT_DISABLE': '1',
1563
 
        }
1564
 
        self._old_env = {}
1565
 
        self.addCleanup(self._restoreEnvironment)
1566
 
        for name, value in new_env.iteritems():
1567
 
            self._captureVar(name, value)
1568
 
 
1569
 
    def _captureVar(self, name, newvalue):
1570
 
        """Set an environment variable, and reset it when finished."""
1571
 
        self._old_env[name] = osutils.set_or_unset_env(name, newvalue)
1572
 
 
1573
 
    def _restoreEnvironment(self):
1574
 
        for name, value in self._old_env.iteritems():
1575
 
            osutils.set_or_unset_env(name, value)
 
1826
        for name, value in isolated_environ.iteritems():
 
1827
            self.overrideEnv(name, value)
1576
1828
 
1577
1829
    def _restoreHooks(self):
1578
1830
        for klass, (name, hooks) in self._preserved_hooks.items():
1579
1831
            setattr(klass, name, hooks)
 
1832
        self._preserved_hooks.clear()
 
1833
        bzrlib.hooks._lazy_hooks = self._preserved_lazy_hooks
 
1834
        self._preserved_lazy_hooks.clear()
1580
1835
 
1581
1836
    def knownFailure(self, reason):
1582
 
        """This test has failed for some known reason."""
1583
 
        raise KnownFailure(reason)
 
1837
        """Declare that this test fails for a known reason
 
1838
 
 
1839
        Tests that are known to fail should generally be using expectedFailure
 
1840
        with an appropriate reverse assertion if a change could cause the test
 
1841
        to start passing. Conversely if the test has no immediate prospect of
 
1842
        succeeding then using skip is more suitable.
 
1843
 
 
1844
        When this method is called while an exception is being handled, that
 
1845
        traceback will be used, otherwise a new exception will be thrown to
 
1846
        provide one but won't be reported.
 
1847
        """
 
1848
        self._add_reason(reason)
 
1849
        try:
 
1850
            exc_info = sys.exc_info()
 
1851
            if exc_info != (None, None, None):
 
1852
                self._report_traceback(exc_info)
 
1853
            else:
 
1854
                try:
 
1855
                    raise self.failureException(reason)
 
1856
                except self.failureException:
 
1857
                    exc_info = sys.exc_info()
 
1858
            # GZ 02-08-2011: Maybe cleanup this err.exc_info attribute too?
 
1859
            raise testtools.testcase._ExpectedFailure(exc_info)
 
1860
        finally:
 
1861
            del exc_info
 
1862
 
 
1863
    def _suppress_log(self):
 
1864
        """Remove the log info from details."""
 
1865
        self.discardDetail('log')
1584
1866
 
1585
1867
    def _do_skip(self, result, reason):
 
1868
        self._suppress_log()
1586
1869
        addSkip = getattr(result, 'addSkip', None)
1587
1870
        if not callable(addSkip):
1588
1871
            result.addSuccess(result)
1591
1874
 
1592
1875
    @staticmethod
1593
1876
    def _do_known_failure(self, result, e):
 
1877
        self._suppress_log()
1594
1878
        err = sys.exc_info()
1595
1879
        addExpectedFailure = getattr(result, 'addExpectedFailure', None)
1596
1880
        if addExpectedFailure is not None:
1604
1888
            reason = 'No reason given'
1605
1889
        else:
1606
1890
            reason = e.args[0]
 
1891
        self._suppress_log ()
1607
1892
        addNotApplicable = getattr(result, 'addNotApplicable', None)
1608
1893
        if addNotApplicable is not None:
1609
1894
            result.addNotApplicable(self, reason)
1611
1896
            self._do_skip(result, reason)
1612
1897
 
1613
1898
    @staticmethod
 
1899
    def _report_skip(self, result, err):
 
1900
        """Override the default _report_skip.
 
1901
 
 
1902
        We want to strip the 'log' detail. If we waint until _do_skip, it has
 
1903
        already been formatted into the 'reason' string, and we can't pull it
 
1904
        out again.
 
1905
        """
 
1906
        self._suppress_log()
 
1907
        super(TestCase, self)._report_skip(self, result, err)
 
1908
 
 
1909
    @staticmethod
 
1910
    def _report_expected_failure(self, result, err):
 
1911
        """Strip the log.
 
1912
 
 
1913
        See _report_skip for motivation.
 
1914
        """
 
1915
        self._suppress_log()
 
1916
        super(TestCase, self)._report_expected_failure(self, result, err)
 
1917
 
 
1918
    @staticmethod
1614
1919
    def _do_unsupported_or_skip(self, result, e):
1615
1920
        reason = e.args[0]
 
1921
        self._suppress_log()
1616
1922
        addNotSupported = getattr(result, 'addNotSupported', None)
1617
1923
        if addNotSupported is not None:
1618
1924
            result.addNotSupported(self, reason)
1644
1950
            self._benchtime += time.time() - start
1645
1951
 
1646
1952
    def log(self, *args):
1647
 
        mutter(*args)
1648
 
 
1649
 
    def _get_log(self, keep_log_file=False):
1650
 
        """Internal helper to get the log from bzrlib.trace for this test.
1651
 
 
1652
 
        Please use self.getDetails, or self.get_log to access this in test case
1653
 
        code.
1654
 
 
1655
 
        :param keep_log_file: When True, if the log is still a file on disk
1656
 
            leave it as a file on disk. When False, if the log is still a file
1657
 
            on disk, the log file is deleted and the log preserved as
1658
 
            self._log_contents.
1659
 
        :return: A string containing the log.
1660
 
        """
1661
 
        if self._log_contents is not None:
1662
 
            try:
1663
 
                self._log_contents.decode('utf8')
1664
 
            except UnicodeDecodeError:
1665
 
                unicodestr = self._log_contents.decode('utf8', 'replace')
1666
 
                self._log_contents = unicodestr.encode('utf8')
1667
 
            return self._log_contents
1668
 
        import bzrlib.trace
1669
 
        if bzrlib.trace._trace_file:
1670
 
            # flush the log file, to get all content
1671
 
            bzrlib.trace._trace_file.flush()
1672
 
        if self._log_file_name is not None:
1673
 
            logfile = open(self._log_file_name)
1674
 
            try:
1675
 
                log_contents = logfile.read()
1676
 
            finally:
1677
 
                logfile.close()
1678
 
            try:
1679
 
                log_contents.decode('utf8')
1680
 
            except UnicodeDecodeError:
1681
 
                unicodestr = log_contents.decode('utf8', 'replace')
1682
 
                log_contents = unicodestr.encode('utf8')
1683
 
            if not keep_log_file:
1684
 
                close_attempts = 0
1685
 
                max_close_attempts = 100
1686
 
                first_close_error = None
1687
 
                while close_attempts < max_close_attempts:
1688
 
                    close_attempts += 1
1689
 
                    try:
1690
 
                        self._log_file.close()
1691
 
                    except IOError, ioe:
1692
 
                        if ioe.errno is None:
1693
 
                            # No errno implies 'close() called during
1694
 
                            # concurrent operation on the same file object', so
1695
 
                            # retry.  Probably a thread is trying to write to
1696
 
                            # the log file.
1697
 
                            if first_close_error is None:
1698
 
                                first_close_error = ioe
1699
 
                            continue
1700
 
                        raise
1701
 
                    else:
1702
 
                        break
1703
 
                if close_attempts > 1:
1704
 
                    sys.stderr.write(
1705
 
                        'Unable to close log file on first attempt, '
1706
 
                        'will retry: %s\n' % (first_close_error,))
1707
 
                    if close_attempts == max_close_attempts:
1708
 
                        sys.stderr.write(
1709
 
                            'Unable to close log file after %d attempts.\n'
1710
 
                            % (max_close_attempts,))
1711
 
                self._log_file = None
1712
 
                # Permit multiple calls to get_log until we clean it up in
1713
 
                # finishLogFile
1714
 
                self._log_contents = log_contents
1715
 
                try:
1716
 
                    os.remove(self._log_file_name)
1717
 
                except OSError, e:
1718
 
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
1719
 
                        sys.stderr.write(('Unable to delete log file '
1720
 
                                             ' %r\n' % self._log_file_name))
1721
 
                    else:
1722
 
                        raise
1723
 
                self._log_file_name = None
1724
 
            return log_contents
1725
 
        else:
1726
 
            return "No log file content and no log file name."
 
1953
        trace.mutter(*args)
1727
1954
 
1728
1955
    def get_log(self):
1729
1956
        """Get a unicode string containing the log from bzrlib.trace.
1765
1992
 
1766
1993
        self.log('run bzr: %r', args)
1767
1994
        # FIXME: don't call into logging here
1768
 
        handler = logging.StreamHandler(stderr)
1769
 
        handler.setLevel(logging.INFO)
 
1995
        handler = trace.EncodedStreamHandler(stderr, errors="replace",
 
1996
            level=logging.INFO)
1770
1997
        logger = logging.getLogger('')
1771
1998
        logger.addHandler(handler)
1772
1999
        old_ui_factory = ui.ui_factory
1779
2006
 
1780
2007
        try:
1781
2008
            try:
1782
 
                result = self.apply_redirected(ui.ui_factory.stdin,
 
2009
                result = self.apply_redirected(
 
2010
                    ui.ui_factory.stdin,
1783
2011
                    stdout, stderr,
1784
 
                    bzrlib.commands.run_bzr_catch_user_errors,
 
2012
                    _mod_commands.run_bzr_catch_user_errors,
1785
2013
                    args)
1786
2014
            except KeyboardInterrupt:
1787
2015
                # Reraise KeyboardInterrupt with contents of redirected stdout
1929
2157
    def start_bzr_subprocess(self, process_args, env_changes=None,
1930
2158
                             skip_if_plan_to_signal=False,
1931
2159
                             working_dir=None,
1932
 
                             allow_plugins=False):
 
2160
                             allow_plugins=False, stderr=subprocess.PIPE):
1933
2161
        """Start bzr in a subprocess for testing.
1934
2162
 
1935
2163
        This starts a new Python interpreter and runs bzr in there.
1944
2172
            variables. A value of None will unset the env variable.
1945
2173
            The values must be strings. The change will only occur in the
1946
2174
            child, so you don't need to fix the environment after running.
1947
 
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
1948
 
            is not available.
 
2175
        :param skip_if_plan_to_signal: raise TestSkipped when true and system
 
2176
            doesn't support signalling subprocesses.
1949
2177
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
2178
        :param stderr: file to use for the subprocess's stderr.  Valid values
 
2179
            are those valid for the stderr argument of `subprocess.Popen`.
 
2180
            Default value is ``subprocess.PIPE``.
1950
2181
 
1951
2182
        :returns: Popen object for the started process.
1952
2183
        """
1953
2184
        if skip_if_plan_to_signal:
1954
 
            if not getattr(os, 'kill', None):
1955
 
                raise TestSkipped("os.kill not available.")
 
2185
            if os.name != "posix":
 
2186
                raise TestSkipped("Sending signals not supported")
1956
2187
 
1957
2188
        if env_changes is None:
1958
2189
            env_changes = {}
 
2190
        # Because $HOME is set to a tempdir for the context of a test, modules
 
2191
        # installed in the user dir will not be found unless $PYTHONUSERBASE
 
2192
        # gets set to the computed directory of this parent process.
 
2193
        if site.USER_BASE is not None:
 
2194
            env_changes["PYTHONUSERBASE"] = site.USER_BASE
1959
2195
        old_env = {}
1960
2196
 
1961
2197
        def cleanup_environment():
1978
2214
            # so we will avoid using it on all platforms, just to
1979
2215
            # make sure the code path is used, and we don't break on win32
1980
2216
            cleanup_environment()
 
2217
            # Include the subprocess's log file in the test details, in case
 
2218
            # the test fails due to an error in the subprocess.
 
2219
            self._add_subprocess_log(trace._get_bzr_log_filename())
1981
2220
            command = [sys.executable]
1982
2221
            # frozen executables don't need the path to bzr
1983
2222
            if getattr(sys, "frozen", None) is None:
1987
2226
            command.extend(process_args)
1988
2227
            process = self._popen(command, stdin=subprocess.PIPE,
1989
2228
                                  stdout=subprocess.PIPE,
1990
 
                                  stderr=subprocess.PIPE)
 
2229
                                  stderr=stderr)
1991
2230
        finally:
1992
2231
            restore_environment()
1993
2232
            if cwd is not None:
1995
2234
 
1996
2235
        return process
1997
2236
 
 
2237
    def _add_subprocess_log(self, log_file_path):
 
2238
        if len(self._log_files) == 0:
 
2239
            # Register an addCleanup func.  We do this on the first call to
 
2240
            # _add_subprocess_log rather than in TestCase.setUp so that this
 
2241
            # addCleanup is registered after any cleanups for tempdirs that
 
2242
            # subclasses might create, which will probably remove the log file
 
2243
            # we want to read.
 
2244
            self.addCleanup(self._subprocess_log_cleanup)
 
2245
        # self._log_files is a set, so if a log file is reused we won't grab it
 
2246
        # twice.
 
2247
        self._log_files.add(log_file_path)
 
2248
 
 
2249
    def _subprocess_log_cleanup(self):
 
2250
        for count, log_file_path in enumerate(self._log_files):
 
2251
            # We use buffer_now=True to avoid holding the file open beyond
 
2252
            # the life of this function, which might interfere with e.g.
 
2253
            # cleaning tempdirs on Windows.
 
2254
            # XXX: Testtools 0.9.5 doesn't have the content_from_file helper
 
2255
            #detail_content = content.content_from_file(
 
2256
            #    log_file_path, buffer_now=True)
 
2257
            with open(log_file_path, 'rb') as log_file:
 
2258
                log_file_bytes = log_file.read()
 
2259
            detail_content = content.Content(content.ContentType("text",
 
2260
                "plain", {"charset": "utf8"}), lambda: [log_file_bytes])
 
2261
            self.addDetail("start_bzr_subprocess-log-%d" % (count,),
 
2262
                detail_content)
 
2263
 
1998
2264
    def _popen(self, *args, **kwargs):
1999
2265
        """Place a call to Popen.
2000
2266
 
2037
2303
        if retcode is not None and retcode != process.returncode:
2038
2304
            if process_args is None:
2039
2305
                process_args = "(unknown args)"
2040
 
            mutter('Output of bzr %s:\n%s', process_args, out)
2041
 
            mutter('Error for bzr %s:\n%s', process_args, err)
 
2306
            trace.mutter('Output of bzr %s:\n%s', process_args, out)
 
2307
            trace.mutter('Error for bzr %s:\n%s', process_args, err)
2042
2308
            self.fail('Command bzr %s failed with retcode %s != %s'
2043
2309
                      % (process_args, retcode, process.returncode))
2044
2310
        return [out, err]
2045
2311
 
2046
 
    def check_inventory_shape(self, inv, shape):
2047
 
        """Compare an inventory to a list of expected names.
 
2312
    def check_tree_shape(self, tree, shape):
 
2313
        """Compare a tree to a list of expected names.
2048
2314
 
2049
2315
        Fail if they are not precisely equal.
2050
2316
        """
2051
2317
        extras = []
2052
2318
        shape = list(shape)             # copy
2053
 
        for path, ie in inv.entries():
 
2319
        for path, ie in tree.iter_entries_by_dir():
2054
2320
            name = path.replace('\\', '/')
2055
2321
            if ie.kind == 'directory':
2056
2322
                name = name + '/'
2057
 
            if name in shape:
 
2323
            if name == "/":
 
2324
                pass # ignore root entry
 
2325
            elif name in shape:
2058
2326
                shape.remove(name)
2059
2327
            else:
2060
2328
                extras.append(name)
2101
2369
 
2102
2370
        Tests that expect to provoke LockContention errors should call this.
2103
2371
        """
2104
 
        self.overrideAttr(bzrlib.lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
 
2372
        self.overrideAttr(lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
2105
2373
 
2106
2374
    def make_utf8_encoded_stringio(self, encoding_type=None):
2107
2375
        """Return a StringIOWrapper instance, that will encode Unicode
2120
2388
        from bzrlib.smart import request
2121
2389
        request_handlers = request.request_handlers
2122
2390
        orig_method = request_handlers.get(verb)
 
2391
        orig_info = request_handlers.get_info(verb)
2123
2392
        request_handlers.remove(verb)
2124
 
        self.addCleanup(request_handlers.register, verb, orig_method)
 
2393
        self.addCleanup(request_handlers.register, verb, orig_method,
 
2394
            info=orig_info)
2125
2395
 
2126
2396
 
2127
2397
class CapturedCall(object):
2150
2420
class TestCaseWithMemoryTransport(TestCase):
2151
2421
    """Common test class for tests that do not need disk resources.
2152
2422
 
2153
 
    Tests that need disk resources should derive from TestCaseWithTransport.
 
2423
    Tests that need disk resources should derive from TestCaseInTempDir
 
2424
    orTestCaseWithTransport.
2154
2425
 
2155
2426
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
2156
2427
 
2157
 
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
2428
    For TestCaseWithMemoryTransport the ``test_home_dir`` is set to the name of
2158
2429
    a directory which does not exist. This serves to help ensure test isolation
2159
 
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
2160
 
    must exist. However, TestCaseWithMemoryTransport does not offer local
2161
 
    file defaults for the transport in tests, nor does it obey the command line
 
2430
    is preserved. ``test_dir`` is set to the TEST_ROOT, as is cwd, because they
 
2431
    must exist. However, TestCaseWithMemoryTransport does not offer local file
 
2432
    defaults for the transport in tests, nor does it obey the command line
2162
2433
    override, so tests that accidentally write to the common directory should
2163
2434
    be rare.
2164
2435
 
2165
 
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
2166
 
    a .bzr directory that stops us ascending higher into the filesystem.
 
2436
    :cvar TEST_ROOT: Directory containing all temporary directories, plus a
 
2437
        ``.bzr`` directory that stops us ascending higher into the filesystem.
2167
2438
    """
2168
2439
 
2169
2440
    TEST_ROOT = None
2187
2458
 
2188
2459
        :param relpath: a path relative to the base url.
2189
2460
        """
2190
 
        t = _mod_transport.get_transport(self.get_url(relpath))
 
2461
        t = _mod_transport.get_transport_from_url(self.get_url(relpath))
2191
2462
        self.assertFalse(t.is_readonly())
2192
2463
        return t
2193
2464
 
2199
2470
 
2200
2471
        :param relpath: a path relative to the base url.
2201
2472
        """
2202
 
        t = _mod_transport.get_transport(self.get_readonly_url(relpath))
 
2473
        t = _mod_transport.get_transport_from_url(
 
2474
            self.get_readonly_url(relpath))
2203
2475
        self.assertTrue(t.is_readonly())
2204
2476
        return t
2205
2477
 
2326
2598
        real branch.
2327
2599
        """
2328
2600
        root = TestCaseWithMemoryTransport.TEST_ROOT
2329
 
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
2601
        # Make sure we get a readable and accessible home for .bzr.log
 
2602
        # and/or config files, and not fallback to weird defaults (see
 
2603
        # http://pad.lv/825027).
 
2604
        self.assertIs(None, os.environ.get('BZR_HOME', None))
 
2605
        os.environ['BZR_HOME'] = root
 
2606
        wt = bzrdir.BzrDir.create_standalone_workingtree(root)
 
2607
        del os.environ['BZR_HOME']
 
2608
        # Hack for speed: remember the raw bytes of the dirstate file so that
 
2609
        # we don't need to re-open the wt to check it hasn't changed.
 
2610
        TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE = (
 
2611
            wt.control_transport.get_bytes('dirstate'))
2330
2612
 
2331
2613
    def _check_safety_net(self):
2332
2614
        """Check that the safety .bzr directory have not been touched.
2335
2617
        propagating. This method ensures than a test did not leaked.
2336
2618
        """
2337
2619
        root = TestCaseWithMemoryTransport.TEST_ROOT
2338
 
        self.permit_url(_mod_transport.get_transport(root).base)
2339
 
        wt = workingtree.WorkingTree.open(root)
2340
 
        last_rev = wt.last_revision()
2341
 
        if last_rev != 'null:':
 
2620
        t = _mod_transport.get_transport_from_path(root)
 
2621
        self.permit_url(t.base)
 
2622
        if (t.get_bytes('.bzr/checkout/dirstate') != 
 
2623
                TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE):
2342
2624
            # The current test have modified the /bzr directory, we need to
2343
2625
            # recreate a new one or all the followng tests will fail.
2344
2626
            # If you need to inspect its content uncomment the following line
2379
2661
    def make_branch(self, relpath, format=None):
2380
2662
        """Create a branch on the transport at relpath."""
2381
2663
        repo = self.make_repository(relpath, format=format)
2382
 
        return repo.bzrdir.create_branch()
 
2664
        return repo.bzrdir.create_branch(append_revisions_only=False)
 
2665
 
 
2666
    def get_default_format(self):
 
2667
        return 'default'
 
2668
 
 
2669
    def resolve_format(self, format):
 
2670
        """Resolve an object to a ControlDir format object.
 
2671
 
 
2672
        The initial format object can either already be
 
2673
        a ControlDirFormat, None (for the default format),
 
2674
        or a string with the name of the control dir format.
 
2675
 
 
2676
        :param format: Object to resolve
 
2677
        :return A ControlDirFormat instance
 
2678
        """
 
2679
        if format is None:
 
2680
            format = self.get_default_format()
 
2681
        if isinstance(format, basestring):
 
2682
            format = bzrdir.format_registry.make_bzrdir(format)
 
2683
        return format
2383
2684
 
2384
2685
    def make_bzrdir(self, relpath, format=None):
2385
2686
        try:
2389
2690
            t = _mod_transport.get_transport(maybe_a_url)
2390
2691
            if len(segments) > 1 and segments[-1] not in ('', '.'):
2391
2692
                t.ensure_base()
2392
 
            if format is None:
2393
 
                format = 'default'
2394
 
            if isinstance(format, basestring):
2395
 
                format = bzrdir.format_registry.make_bzrdir(format)
 
2693
            format = self.resolve_format(format)
2396
2694
            return format.initialize_on_transport(t)
2397
2695
        except errors.UninitializableFormat:
2398
2696
            raise TestSkipped("Format %s is not initializable." % format)
2399
2697
 
2400
 
    def make_repository(self, relpath, shared=False, format=None):
 
2698
    def make_repository(self, relpath, shared=None, format=None):
2401
2699
        """Create a repository on our default transport at relpath.
2402
2700
 
2403
2701
        Note that relpath must be a relative path, not a full url.
2414
2712
            backing_server = self.get_server()
2415
2713
        smart_server = test_server.SmartTCPServer_for_testing()
2416
2714
        self.start_server(smart_server, backing_server)
2417
 
        remote_transport = _mod_transport.get_transport(smart_server.get_url()
 
2715
        remote_transport = _mod_transport.get_transport_from_url(smart_server.get_url()
2418
2716
                                                   ).clone(path)
2419
2717
        return remote_transport
2420
2718
 
2431
2729
        test_home_dir = self.test_home_dir
2432
2730
        if isinstance(test_home_dir, unicode):
2433
2731
            test_home_dir = test_home_dir.encode(sys.getfilesystemencoding())
2434
 
        os.environ['HOME'] = test_home_dir
2435
 
        os.environ['BZR_HOME'] = test_home_dir
 
2732
        self.overrideEnv('HOME', test_home_dir)
 
2733
        self.overrideEnv('BZR_HOME', test_home_dir)
2436
2734
 
2437
2735
    def setUp(self):
2438
2736
        super(TestCaseWithMemoryTransport, self).setUp()
2439
 
        # Ensure that ConnectedTransport doesn't leak sockets
2440
 
        def get_transport_with_cleanup(*args, **kwargs):
2441
 
            t = orig_get_transport(*args, **kwargs)
2442
 
            if isinstance(t, _mod_transport.ConnectedTransport):
2443
 
                self.addCleanup(t.disconnect)
2444
 
            return t
2445
 
 
2446
 
        orig_get_transport = self.overrideAttr(_mod_transport, 'get_transport',
2447
 
                                               get_transport_with_cleanup)
 
2737
 
 
2738
        def _add_disconnect_cleanup(transport):
 
2739
            """Schedule disconnection of given transport at test cleanup
 
2740
 
 
2741
            This needs to happen for all connected transports or leaks occur.
 
2742
 
 
2743
            Note reconnections may mean we call disconnect multiple times per
 
2744
            transport which is suboptimal but seems harmless.
 
2745
            """
 
2746
            self.addCleanup(transport.disconnect)
 
2747
 
 
2748
        _mod_transport.Transport.hooks.install_named_hook('post_connect',
 
2749
            _add_disconnect_cleanup, None)
 
2750
 
2448
2751
        self._make_test_root()
2449
2752
        self.addCleanup(os.chdir, os.getcwdu())
2450
2753
        self.makeAndChdirToTestDir()
2456
2759
    def setup_smart_server_with_call_log(self):
2457
2760
        """Sets up a smart server as the transport server with a call log."""
2458
2761
        self.transport_server = test_server.SmartTCPServer_for_testing
 
2762
        self.hpss_connections = []
2459
2763
        self.hpss_calls = []
2460
2764
        import traceback
2461
2765
        # Skip the current stack down to the caller of
2464
2768
        def capture_hpss_call(params):
2465
2769
            self.hpss_calls.append(
2466
2770
                CapturedCall(params, prefix_length))
 
2771
        def capture_connect(transport):
 
2772
            self.hpss_connections.append(transport)
2467
2773
        client._SmartClient.hooks.install_named_hook(
2468
2774
            'call', capture_hpss_call, None)
 
2775
        _mod_transport.Transport.hooks.install_named_hook(
 
2776
            'post_connect', capture_connect, None)
2469
2777
 
2470
2778
    def reset_smart_call_log(self):
2471
2779
        self.hpss_calls = []
 
2780
        self.hpss_connections = []
2472
2781
 
2473
2782
 
2474
2783
class TestCaseInTempDir(TestCaseWithMemoryTransport):
2493
2802
 
2494
2803
    OVERRIDE_PYTHON = 'python'
2495
2804
 
 
2805
    def setUp(self):
 
2806
        super(TestCaseInTempDir, self).setUp()
 
2807
        # Remove the protection set in isolated_environ, we have a proper
 
2808
        # access to disk resources now.
 
2809
        self.overrideEnv('BZR_LOG', None)
 
2810
 
2496
2811
    def check_file_contents(self, filename, expect):
2497
2812
        self.log("check contents of file %s" % filename)
2498
2813
        f = file(filename)
2579
2894
                "a list or a tuple. Got %r instead" % (shape,))
2580
2895
        # It's OK to just create them using forward slashes on windows.
2581
2896
        if transport is None or transport.is_readonly():
2582
 
            transport = _mod_transport.get_transport(".")
 
2897
            transport = _mod_transport.get_transport_from_path(".")
2583
2898
        for name in shape:
2584
2899
            self.assertIsInstance(name, basestring)
2585
2900
            if name[-1] == '/':
2670
2985
        # this obviously requires a format that supports branch references
2671
2986
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
2672
2987
        # RBC 20060208
 
2988
        format = self.resolve_format(format=format)
 
2989
        if not format.supports_workingtrees:
 
2990
            b = self.make_branch(relpath+'.branch', format=format)
 
2991
            return b.create_checkout(relpath, lightweight=True)
2673
2992
        b = self.make_branch(relpath, format=format)
2674
2993
        try:
2675
2994
            return b.bzrdir.create_workingtree()
2974
3293
                            result_decorators=result_decorators,
2975
3294
                            )
2976
3295
    runner.stop_on_failure=stop_on_failure
 
3296
    if isinstance(suite, unittest.TestSuite):
 
3297
        # Empty out _tests list of passed suite and populate new TestSuite
 
3298
        suite._tests[:], suite = [], TestSuite(suite)
2977
3299
    # built in decorator factories:
2978
3300
    decorators = [
2979
3301
        random_order(random_seed, runner),
3012
3334
 
3013
3335
 
3014
3336
def fork_decorator(suite):
 
3337
    if getattr(os, "fork", None) is None:
 
3338
        raise errors.BzrCommandError("platform does not support fork,"
 
3339
            " try --parallel=subprocess instead.")
3015
3340
    concurrency = osutils.local_concurrency()
3016
3341
    if concurrency == 1:
3017
3342
        return suite
3074
3399
 
3075
3400
class TestDecorator(TestUtil.TestSuite):
3076
3401
    """A decorator for TestCase/TestSuite objects.
3077
 
    
3078
 
    Usually, subclasses should override __iter__(used when flattening test
3079
 
    suites), which we do to filter, reorder, parallelise and so on, run() and
3080
 
    debug().
 
3402
 
 
3403
    Contains rather than flattening suite passed on construction
3081
3404
    """
3082
3405
 
3083
 
    def __init__(self, suite):
3084
 
        TestUtil.TestSuite.__init__(self)
3085
 
        self.addTest(suite)
3086
 
 
3087
 
    def countTestCases(self):
3088
 
        cases = 0
3089
 
        for test in self:
3090
 
            cases += test.countTestCases()
3091
 
        return cases
3092
 
 
3093
 
    def debug(self):
3094
 
        for test in self:
3095
 
            test.debug()
3096
 
 
3097
 
    def run(self, result):
3098
 
        # Use iteration on self, not self._tests, to allow subclasses to hook
3099
 
        # into __iter__.
3100
 
        for test in self:
3101
 
            if result.shouldStop:
3102
 
                break
3103
 
            test.run(result)
3104
 
        return result
 
3406
    def __init__(self, suite=None):
 
3407
        super(TestDecorator, self).__init__()
 
3408
        if suite is not None:
 
3409
            self.addTest(suite)
 
3410
 
 
3411
    # Don't need subclass run method with suite emptying
 
3412
    run = unittest.TestSuite.run
3105
3413
 
3106
3414
 
3107
3415
class CountingDecorator(TestDecorator):
3118
3426
    """A decorator which excludes test matching an exclude pattern."""
3119
3427
 
3120
3428
    def __init__(self, suite, exclude_pattern):
3121
 
        TestDecorator.__init__(self, suite)
3122
 
        self.exclude_pattern = exclude_pattern
3123
 
        self.excluded = False
3124
 
 
3125
 
    def __iter__(self):
3126
 
        if self.excluded:
3127
 
            return iter(self._tests)
3128
 
        self.excluded = True
3129
 
        suite = exclude_tests_by_re(self, self.exclude_pattern)
3130
 
        del self._tests[:]
3131
 
        self.addTests(suite)
3132
 
        return iter(self._tests)
 
3429
        super(ExcludeDecorator, self).__init__(
 
3430
            exclude_tests_by_re(suite, exclude_pattern))
3133
3431
 
3134
3432
 
3135
3433
class FilterTestsDecorator(TestDecorator):
3136
3434
    """A decorator which filters tests to those matching a pattern."""
3137
3435
 
3138
3436
    def __init__(self, suite, pattern):
3139
 
        TestDecorator.__init__(self, suite)
3140
 
        self.pattern = pattern
3141
 
        self.filtered = False
3142
 
 
3143
 
    def __iter__(self):
3144
 
        if self.filtered:
3145
 
            return iter(self._tests)
3146
 
        self.filtered = True
3147
 
        suite = filter_suite_by_re(self, self.pattern)
3148
 
        del self._tests[:]
3149
 
        self.addTests(suite)
3150
 
        return iter(self._tests)
 
3437
        super(FilterTestsDecorator, self).__init__(
 
3438
            filter_suite_by_re(suite, pattern))
3151
3439
 
3152
3440
 
3153
3441
class RandomDecorator(TestDecorator):
3154
3442
    """A decorator which randomises the order of its tests."""
3155
3443
 
3156
3444
    def __init__(self, suite, random_seed, stream):
3157
 
        TestDecorator.__init__(self, suite)
3158
 
        self.random_seed = random_seed
3159
 
        self.randomised = False
3160
 
        self.stream = stream
3161
 
 
3162
 
    def __iter__(self):
3163
 
        if self.randomised:
3164
 
            return iter(self._tests)
3165
 
        self.randomised = True
3166
 
        self.stream.write("Randomizing test order using seed %s\n\n" %
3167
 
            (self.actual_seed()))
 
3445
        random_seed = self.actual_seed(random_seed)
 
3446
        stream.write("Randomizing test order using seed %s\n\n" %
 
3447
            (random_seed,))
3168
3448
        # Initialise the random number generator.
3169
 
        random.seed(self.actual_seed())
3170
 
        suite = randomize_suite(self)
3171
 
        del self._tests[:]
3172
 
        self.addTests(suite)
3173
 
        return iter(self._tests)
 
3449
        random.seed(random_seed)
 
3450
        super(RandomDecorator, self).__init__(randomize_suite(suite))
3174
3451
 
3175
 
    def actual_seed(self):
3176
 
        if self.random_seed == "now":
 
3452
    @staticmethod
 
3453
    def actual_seed(seed):
 
3454
        if seed == "now":
3177
3455
            # We convert the seed to a long to make it reuseable across
3178
3456
            # invocations (because the user can reenter it).
3179
 
            self.random_seed = long(time.time())
 
3457
            return long(time.time())
3180
3458
        else:
3181
3459
            # Convert the seed to a long if we can
3182
3460
            try:
3183
 
                self.random_seed = long(self.random_seed)
3184
 
            except:
 
3461
                return long(seed)
 
3462
            except (TypeError, ValueError):
3185
3463
                pass
3186
 
        return self.random_seed
 
3464
        return seed
3187
3465
 
3188
3466
 
3189
3467
class TestFirstDecorator(TestDecorator):
3190
3468
    """A decorator which moves named tests to the front."""
3191
3469
 
3192
3470
    def __init__(self, suite, pattern):
3193
 
        TestDecorator.__init__(self, suite)
3194
 
        self.pattern = pattern
3195
 
        self.filtered = False
3196
 
 
3197
 
    def __iter__(self):
3198
 
        if self.filtered:
3199
 
            return iter(self._tests)
3200
 
        self.filtered = True
3201
 
        suites = split_suite_by_re(self, self.pattern)
3202
 
        del self._tests[:]
3203
 
        self.addTests(suites)
3204
 
        return iter(self._tests)
 
3471
        super(TestFirstDecorator, self).__init__()
 
3472
        self.addTests(split_suite_by_re(suite, pattern))
3205
3473
 
3206
3474
 
3207
3475
def partition_tests(suite, count):
3239
3507
    """
3240
3508
    concurrency = osutils.local_concurrency()
3241
3509
    result = []
3242
 
    from subunit import TestProtocolClient, ProtocolTestCase
 
3510
    from subunit import ProtocolTestCase
3243
3511
    from subunit.test_results import AutoTimingTestResultDecorator
3244
3512
    class TestInOtherProcess(ProtocolTestCase):
3245
3513
        # Should be in subunit, I think. RBC.
3251
3519
            try:
3252
3520
                ProtocolTestCase.run(self, result)
3253
3521
            finally:
3254
 
                os.waitpid(self.pid, 0)
 
3522
                pid, status = os.waitpid(self.pid, 0)
 
3523
            # GZ 2011-10-18: If status is nonzero, should report to the result
 
3524
            #                that something went wrong.
3255
3525
 
3256
3526
    test_blocks = partition_tests(suite, concurrency)
 
3527
    # Clear the tests from the original suite so it doesn't keep them alive
 
3528
    suite._tests[:] = []
3257
3529
    for process_tests in test_blocks:
3258
 
        process_suite = TestUtil.TestSuite()
3259
 
        process_suite.addTests(process_tests)
 
3530
        process_suite = TestUtil.TestSuite(process_tests)
 
3531
        # Also clear each split list so new suite has only reference
 
3532
        process_tests[:] = []
3260
3533
        c2pread, c2pwrite = os.pipe()
3261
3534
        pid = os.fork()
3262
3535
        if pid == 0:
3263
 
            workaround_zealous_crypto_random()
3264
3536
            try:
 
3537
                stream = os.fdopen(c2pwrite, 'wb', 1)
 
3538
                workaround_zealous_crypto_random()
3265
3539
                os.close(c2pread)
3266
3540
                # Leave stderr and stdout open so we can see test noise
3267
3541
                # Close stdin so that the child goes away if it decides to
3268
3542
                # read from stdin (otherwise its a roulette to see what
3269
3543
                # child actually gets keystrokes for pdb etc).
3270
3544
                sys.stdin.close()
3271
 
                sys.stdin = None
3272
 
                stream = os.fdopen(c2pwrite, 'wb', 1)
3273
3545
                subunit_result = AutoTimingTestResultDecorator(
3274
 
                    TestProtocolClient(stream))
 
3546
                    SubUnitBzrProtocolClient(stream))
3275
3547
                process_suite.run(subunit_result)
3276
 
            finally:
3277
 
                os._exit(0)
 
3548
            except:
 
3549
                # Try and report traceback on stream, but exit with error even
 
3550
                # if stream couldn't be created or something else goes wrong.
 
3551
                # The traceback is formatted to a string and written in one go
 
3552
                # to avoid interleaving lines from multiple failing children.
 
3553
                try:
 
3554
                    stream.write(traceback.format_exc())
 
3555
                finally:
 
3556
                    os._exit(1)
 
3557
            os._exit(0)
3278
3558
        else:
3279
3559
            os.close(c2pwrite)
3280
3560
            stream = os.fdopen(c2pread, 'rb', 1)
3341
3621
    return result
3342
3622
 
3343
3623
 
3344
 
class ForwardingResult(unittest.TestResult):
3345
 
 
3346
 
    def __init__(self, target):
3347
 
        unittest.TestResult.__init__(self)
3348
 
        self.result = target
3349
 
 
3350
 
    def startTest(self, test):
3351
 
        self.result.startTest(test)
3352
 
 
3353
 
    def stopTest(self, test):
3354
 
        self.result.stopTest(test)
3355
 
 
3356
 
    def startTestRun(self):
3357
 
        self.result.startTestRun()
3358
 
 
3359
 
    def stopTestRun(self):
3360
 
        self.result.stopTestRun()
3361
 
 
3362
 
    def addSkip(self, test, reason):
3363
 
        self.result.addSkip(test, reason)
3364
 
 
3365
 
    def addSuccess(self, test):
3366
 
        self.result.addSuccess(test)
3367
 
 
3368
 
    def addError(self, test, err):
3369
 
        self.result.addError(test, err)
3370
 
 
3371
 
    def addFailure(self, test, err):
3372
 
        self.result.addFailure(test, err)
3373
 
ForwardingResult = testtools.ExtendedToOriginalDecorator
3374
 
 
3375
 
 
3376
 
class ProfileResult(ForwardingResult):
 
3624
class ProfileResult(testtools.ExtendedToOriginalDecorator):
3377
3625
    """Generate profiling data for all activity between start and success.
3378
3626
    
3379
3627
    The profile data is appended to the test's _benchcalls attribute and can
3391
3639
        # unavoidably fail.
3392
3640
        bzrlib.lsprof.BzrProfiler.profiler_block = 0
3393
3641
        self.profiler.start()
3394
 
        ForwardingResult.startTest(self, test)
 
3642
        testtools.ExtendedToOriginalDecorator.startTest(self, test)
3395
3643
 
3396
3644
    def addSuccess(self, test):
3397
3645
        stats = self.profiler.stop()
3401
3649
            test._benchcalls = []
3402
3650
            calls = test._benchcalls
3403
3651
        calls.append(((test.id(), "", ""), stats))
3404
 
        ForwardingResult.addSuccess(self, test)
 
3652
        testtools.ExtendedToOriginalDecorator.addSuccess(self, test)
3405
3653
 
3406
3654
    def stopTest(self, test):
3407
 
        ForwardingResult.stopTest(self, test)
 
3655
        testtools.ExtendedToOriginalDecorator.stopTest(self, test)
3408
3656
        self.profiler = None
3409
3657
 
3410
3658
 
3418
3666
#                           with proper exclusion rules.
3419
3667
#   -Ethreads               Will display thread ident at creation/join time to
3420
3668
#                           help track thread leaks
 
3669
#   -Euncollected_cases     Display the identity of any test cases that weren't
 
3670
#                           deallocated after being completed.
 
3671
#   -Econfig_stats          Will collect statistics using addDetail
3421
3672
selftest_debug_flags = set()
3422
3673
 
3423
3674
 
3617
3868
                key, obj, help=help, info=info, override_existing=False)
3618
3869
        except KeyError:
3619
3870
            actual = self.get(key)
3620
 
            note('Test prefix alias %s is already used for %s, ignoring %s'
3621
 
                 % (key, actual, obj))
 
3871
            trace.note(
 
3872
                'Test prefix alias %s is already used for %s, ignoring %s'
 
3873
                % (key, actual, obj))
3622
3874
 
3623
3875
    def resolve_alias(self, id_start):
3624
3876
        """Replace the alias by the prefix in the given string.
3658
3910
        'bzrlib.tests.commands',
3659
3911
        'bzrlib.tests.doc_generate',
3660
3912
        'bzrlib.tests.per_branch',
 
3913
        'bzrlib.tests.per_bzrdir',
3661
3914
        'bzrlib.tests.per_controldir',
3662
3915
        'bzrlib.tests.per_controldir_colo',
3663
3916
        'bzrlib.tests.per_foreign_vcs',
3673
3926
        'bzrlib.tests.per_repository',
3674
3927
        'bzrlib.tests.per_repository_chk',
3675
3928
        'bzrlib.tests.per_repository_reference',
 
3929
        'bzrlib.tests.per_repository_vf',
3676
3930
        'bzrlib.tests.per_uifactory',
3677
3931
        'bzrlib.tests.per_versionedfile',
3678
3932
        'bzrlib.tests.per_workingtree',
3712
3966
        'bzrlib.tests.test_commit_merge',
3713
3967
        'bzrlib.tests.test_config',
3714
3968
        'bzrlib.tests.test_conflicts',
 
3969
        'bzrlib.tests.test_controldir',
3715
3970
        'bzrlib.tests.test_counted_lock',
3716
3971
        'bzrlib.tests.test_crash',
3717
3972
        'bzrlib.tests.test_decorators',
3718
3973
        'bzrlib.tests.test_delta',
3719
3974
        'bzrlib.tests.test_debug',
3720
 
        'bzrlib.tests.test_deprecated_graph',
3721
3975
        'bzrlib.tests.test_diff',
3722
3976
        'bzrlib.tests.test_directory_service',
3723
3977
        'bzrlib.tests.test_dirstate',
3724
3978
        'bzrlib.tests.test_email_message',
3725
3979
        'bzrlib.tests.test_eol_filters',
3726
3980
        'bzrlib.tests.test_errors',
 
3981
        'bzrlib.tests.test_estimate_compressed_size',
3727
3982
        'bzrlib.tests.test_export',
 
3983
        'bzrlib.tests.test_export_pot',
3728
3984
        'bzrlib.tests.test_extract',
 
3985
        'bzrlib.tests.test_features',
3729
3986
        'bzrlib.tests.test_fetch',
3730
3987
        'bzrlib.tests.test_fixtures',
3731
3988
        'bzrlib.tests.test_fifo_cache',
3732
3989
        'bzrlib.tests.test_filters',
 
3990
        'bzrlib.tests.test_filter_tree',
3733
3991
        'bzrlib.tests.test_ftp_transport',
3734
3992
        'bzrlib.tests.test_foreign',
3735
3993
        'bzrlib.tests.test_generate_docs',
3744
4002
        'bzrlib.tests.test_http',
3745
4003
        'bzrlib.tests.test_http_response',
3746
4004
        'bzrlib.tests.test_https_ca_bundle',
 
4005
        'bzrlib.tests.test_https_urllib',
 
4006
        'bzrlib.tests.test_i18n',
3747
4007
        'bzrlib.tests.test_identitymap',
3748
4008
        'bzrlib.tests.test_ignores',
3749
4009
        'bzrlib.tests.test_index',
3768
4028
        'bzrlib.tests.test_merge3',
3769
4029
        'bzrlib.tests.test_merge_core',
3770
4030
        'bzrlib.tests.test_merge_directive',
 
4031
        'bzrlib.tests.test_mergetools',
3771
4032
        'bzrlib.tests.test_missing',
3772
4033
        'bzrlib.tests.test_msgeditor',
3773
4034
        'bzrlib.tests.test_multiparent',
3782
4043
        'bzrlib.tests.test_permissions',
3783
4044
        'bzrlib.tests.test_plugins',
3784
4045
        'bzrlib.tests.test_progress',
 
4046
        'bzrlib.tests.test_pyutils',
3785
4047
        'bzrlib.tests.test_read_bundle',
3786
4048
        'bzrlib.tests.test_reconcile',
3787
4049
        'bzrlib.tests.test_reconfigure',
3796
4058
        'bzrlib.tests.test_rio',
3797
4059
        'bzrlib.tests.test_rules',
3798
4060
        'bzrlib.tests.test_sampler',
 
4061
        'bzrlib.tests.test_scenarios',
3799
4062
        'bzrlib.tests.test_script',
3800
4063
        'bzrlib.tests.test_selftest',
3801
4064
        'bzrlib.tests.test_serializer',
3806
4069
        'bzrlib.tests.test_smart',
3807
4070
        'bzrlib.tests.test_smart_add',
3808
4071
        'bzrlib.tests.test_smart_request',
 
4072
        'bzrlib.tests.test_smart_signals',
3809
4073
        'bzrlib.tests.test_smart_transport',
3810
4074
        'bzrlib.tests.test_smtp_connection',
3811
4075
        'bzrlib.tests.test_source',
3821
4085
        'bzrlib.tests.test_testament',
3822
4086
        'bzrlib.tests.test_textfile',
3823
4087
        'bzrlib.tests.test_textmerge',
 
4088
        'bzrlib.tests.test_cethread',
3824
4089
        'bzrlib.tests.test_timestamp',
3825
4090
        'bzrlib.tests.test_trace',
3826
4091
        'bzrlib.tests.test_transactions',
3837
4102
        'bzrlib.tests.test_upgrade',
3838
4103
        'bzrlib.tests.test_upgrade_stacked',
3839
4104
        'bzrlib.tests.test_urlutils',
 
4105
        'bzrlib.tests.test_utextwrap',
3840
4106
        'bzrlib.tests.test_version',
3841
4107
        'bzrlib.tests.test_version_info',
3842
4108
        'bzrlib.tests.test_versionedfile',
 
4109
        'bzrlib.tests.test_vf_search',
3843
4110
        'bzrlib.tests.test_weave',
3844
4111
        'bzrlib.tests.test_whitebox',
3845
4112
        'bzrlib.tests.test_win32utils',
3859
4126
        'bzrlib',
3860
4127
        'bzrlib.branchbuilder',
3861
4128
        'bzrlib.decorators',
3862
 
        'bzrlib.export',
3863
4129
        'bzrlib.inventory',
3864
4130
        'bzrlib.iterablefile',
3865
4131
        'bzrlib.lockdir',
3866
4132
        'bzrlib.merge3',
3867
4133
        'bzrlib.option',
 
4134
        'bzrlib.pyutils',
3868
4135
        'bzrlib.symbol_versioning',
3869
4136
        'bzrlib.tests',
3870
4137
        'bzrlib.tests.fixtures',
3871
4138
        'bzrlib.timestamp',
 
4139
        'bzrlib.transport.http',
3872
4140
        'bzrlib.version_info_formats.format_custom',
3873
4141
        ]
3874
4142
 
3927
4195
        try:
3928
4196
            # note that this really does mean "report only" -- doctest
3929
4197
            # still runs the rest of the examples
3930
 
            doc_suite = doctest.DocTestSuite(mod,
3931
 
                optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
 
4198
            doc_suite = IsolatedDocTestSuite(
 
4199
                mod, optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
3932
4200
        except ValueError, e:
3933
4201
            print '**failed to get doctest for: %s\n%s' % (mod, e)
3934
4202
            raise
3937
4205
        suite.addTest(doc_suite)
3938
4206
 
3939
4207
    default_encoding = sys.getdefaultencoding()
3940
 
    for name, plugin in bzrlib.plugin.plugins().items():
 
4208
    for name, plugin in _mod_plugin.plugins().items():
3941
4209
        if not interesting_module(plugin.module.__name__):
3942
4210
            continue
3943
4211
        plugin_suite = plugin.test_suite()
3949
4217
        if plugin_suite is not None:
3950
4218
            suite.addTest(plugin_suite)
3951
4219
        if default_encoding != sys.getdefaultencoding():
3952
 
            bzrlib.trace.warning(
 
4220
            trace.warning(
3953
4221
                'Plugin "%s" tried to reset default encoding to: %s', name,
3954
4222
                sys.getdefaultencoding())
3955
4223
            reload(sys)
3970
4238
            # Some tests mentioned in the list are not in the test suite. The
3971
4239
            # list may be out of date, report to the tester.
3972
4240
            for id in not_found:
3973
 
                bzrlib.trace.warning('"%s" not found in the test suite', id)
 
4241
                trace.warning('"%s" not found in the test suite', id)
3974
4242
        for id in duplicates:
3975
 
            bzrlib.trace.warning('"%s" is used as an id by several tests', id)
 
4243
            trace.warning('"%s" is used as an id by several tests', id)
3976
4244
 
3977
4245
    return suite
3978
4246
 
3979
4247
 
3980
 
def multiply_scenarios(scenarios_left, scenarios_right):
 
4248
def multiply_scenarios(*scenarios):
 
4249
    """Multiply two or more iterables of scenarios.
 
4250
 
 
4251
    It is safe to pass scenario generators or iterators.
 
4252
 
 
4253
    :returns: A list of compound scenarios: the cross-product of all 
 
4254
        scenarios, with the names concatenated and the parameters
 
4255
        merged together.
 
4256
    """
 
4257
    return reduce(_multiply_two_scenarios, map(list, scenarios))
 
4258
 
 
4259
 
 
4260
def _multiply_two_scenarios(scenarios_left, scenarios_right):
3981
4261
    """Multiply two sets of scenarios.
3982
4262
 
3983
4263
    :returns: the cartesian product of the two sets of scenarios, that is
4069
4349
    """
4070
4350
    new_test = copy.copy(test)
4071
4351
    new_test.id = lambda: new_id
 
4352
    # XXX: Workaround <https://bugs.launchpad.net/testtools/+bug/637725>, which
 
4353
    # causes cloned tests to share the 'details' dict.  This makes it hard to
 
4354
    # read the test output for parameterized tests, because tracebacks will be
 
4355
    # associated with irrelevant tests.
 
4356
    try:
 
4357
        details = new_test._TestCase__details
 
4358
    except AttributeError:
 
4359
        # must be a different version of testtools than expected.  Do nothing.
 
4360
        pass
 
4361
    else:
 
4362
        # Reset the '__details' dict.
 
4363
        new_test._TestCase__details = {}
4072
4364
    return new_test
4073
4365
 
4074
4366
 
4095
4387
        the module is available.
4096
4388
    """
4097
4389
 
4098
 
    py_module = __import__(py_module_name, {}, {}, ['NO_SUCH_ATTRIB'])
 
4390
    from bzrlib.tests.features import ModuleAvailableFeature
 
4391
    py_module = pyutils.get_named_object(py_module_name)
4099
4392
    scenarios = [
4100
4393
        ('python', {'module': py_module}),
4101
4394
    ]
4141
4434
                         % (os.path.basename(dirname), printable_e))
4142
4435
 
4143
4436
 
4144
 
class Feature(object):
4145
 
    """An operating system Feature."""
4146
 
 
4147
 
    def __init__(self):
4148
 
        self._available = None
4149
 
 
4150
 
    def available(self):
4151
 
        """Is the feature available?
4152
 
 
4153
 
        :return: True if the feature is available.
4154
 
        """
4155
 
        if self._available is None:
4156
 
            self._available = self._probe()
4157
 
        return self._available
4158
 
 
4159
 
    def _probe(self):
4160
 
        """Implement this method in concrete features.
4161
 
 
4162
 
        :return: True if the feature is available.
4163
 
        """
4164
 
        raise NotImplementedError
4165
 
 
4166
 
    def __str__(self):
4167
 
        if getattr(self, 'feature_name', None):
4168
 
            return self.feature_name()
4169
 
        return self.__class__.__name__
4170
 
 
4171
 
 
4172
 
class _SymlinkFeature(Feature):
4173
 
 
4174
 
    def _probe(self):
4175
 
        return osutils.has_symlinks()
4176
 
 
4177
 
    def feature_name(self):
4178
 
        return 'symlinks'
4179
 
 
4180
 
SymlinkFeature = _SymlinkFeature()
4181
 
 
4182
 
 
4183
 
class _HardlinkFeature(Feature):
4184
 
 
4185
 
    def _probe(self):
4186
 
        return osutils.has_hardlinks()
4187
 
 
4188
 
    def feature_name(self):
4189
 
        return 'hardlinks'
4190
 
 
4191
 
HardlinkFeature = _HardlinkFeature()
4192
 
 
4193
 
 
4194
 
class _OsFifoFeature(Feature):
4195
 
 
4196
 
    def _probe(self):
4197
 
        return getattr(os, 'mkfifo', None)
4198
 
 
4199
 
    def feature_name(self):
4200
 
        return 'filesystem fifos'
4201
 
 
4202
 
OsFifoFeature = _OsFifoFeature()
4203
 
 
4204
 
 
4205
 
class _UnicodeFilenameFeature(Feature):
4206
 
    """Does the filesystem support Unicode filenames?"""
4207
 
 
4208
 
    def _probe(self):
4209
 
        try:
4210
 
            # Check for character combinations unlikely to be covered by any
4211
 
            # single non-unicode encoding. We use the characters
4212
 
            # - greek small letter alpha (U+03B1) and
4213
 
            # - braille pattern dots-123456 (U+283F).
4214
 
            os.stat(u'\u03b1\u283f')
4215
 
        except UnicodeEncodeError:
4216
 
            return False
4217
 
        except (IOError, OSError):
4218
 
            # The filesystem allows the Unicode filename but the file doesn't
4219
 
            # exist.
4220
 
            return True
4221
 
        else:
4222
 
            # The filesystem allows the Unicode filename and the file exists,
4223
 
            # for some reason.
4224
 
            return True
4225
 
 
4226
 
UnicodeFilenameFeature = _UnicodeFilenameFeature()
4227
 
 
4228
 
 
4229
 
class _CompatabilityThunkFeature(Feature):
4230
 
    """This feature is just a thunk to another feature.
4231
 
 
4232
 
    It issues a deprecation warning if it is accessed, to let you know that you
4233
 
    should really use a different feature.
4234
 
    """
4235
 
 
4236
 
    def __init__(self, dep_version, module, name,
4237
 
                 replacement_name, replacement_module=None):
4238
 
        super(_CompatabilityThunkFeature, self).__init__()
4239
 
        self._module = module
4240
 
        if replacement_module is None:
4241
 
            replacement_module = module
4242
 
        self._replacement_module = replacement_module
4243
 
        self._name = name
4244
 
        self._replacement_name = replacement_name
4245
 
        self._dep_version = dep_version
4246
 
        self._feature = None
4247
 
 
4248
 
    def _ensure(self):
4249
 
        if self._feature is None:
4250
 
            depr_msg = self._dep_version % ('%s.%s'
4251
 
                                            % (self._module, self._name))
4252
 
            use_msg = ' Use %s.%s instead.' % (self._replacement_module,
4253
 
                                               self._replacement_name)
4254
 
            symbol_versioning.warn(depr_msg + use_msg, DeprecationWarning)
4255
 
            # Import the new feature and use it as a replacement for the
4256
 
            # deprecated one.
4257
 
            mod = __import__(self._replacement_module, {}, {},
4258
 
                             [self._replacement_name])
4259
 
            self._feature = getattr(mod, self._replacement_name)
4260
 
 
4261
 
    def _probe(self):
4262
 
        self._ensure()
4263
 
        return self._feature._probe()
4264
 
 
4265
 
 
4266
 
class ModuleAvailableFeature(Feature):
4267
 
    """This is a feature than describes a module we want to be available.
4268
 
 
4269
 
    Declare the name of the module in __init__(), and then after probing, the
4270
 
    module will be available as 'self.module'.
4271
 
 
4272
 
    :ivar module: The module if it is available, else None.
4273
 
    """
4274
 
 
4275
 
    def __init__(self, module_name):
4276
 
        super(ModuleAvailableFeature, self).__init__()
4277
 
        self.module_name = module_name
4278
 
 
4279
 
    def _probe(self):
4280
 
        try:
4281
 
            self._module = __import__(self.module_name, {}, {}, [''])
4282
 
            return True
4283
 
        except ImportError:
4284
 
            return False
4285
 
 
4286
 
    @property
4287
 
    def module(self):
4288
 
        if self.available(): # Make sure the probe has been done
4289
 
            return self._module
4290
 
        return None
4291
 
 
4292
 
    def feature_name(self):
4293
 
        return self.module_name
4294
 
 
4295
 
 
4296
 
# This is kept here for compatibility, it is recommended to use
4297
 
# 'bzrlib.tests.feature.paramiko' instead
4298
 
ParamikoFeature = _CompatabilityThunkFeature(
4299
 
    deprecated_in((2,1,0)),
4300
 
    'bzrlib.tests.features', 'ParamikoFeature', 'paramiko')
4301
 
 
4302
 
 
4303
4437
def probe_unicode_in_user_encoding():
4304
4438
    """Try to encode several unicode strings to use in unicode-aware tests.
4305
4439
    Return first successfull match.
4333
4467
    return None
4334
4468
 
4335
4469
 
4336
 
class _HTTPSServerFeature(Feature):
4337
 
    """Some tests want an https Server, check if one is available.
4338
 
 
4339
 
    Right now, the only way this is available is under python2.6 which provides
4340
 
    an ssl module.
4341
 
    """
4342
 
 
4343
 
    def _probe(self):
4344
 
        try:
4345
 
            import ssl
4346
 
            return True
4347
 
        except ImportError:
4348
 
            return False
4349
 
 
4350
 
    def feature_name(self):
4351
 
        return 'HTTPSServer'
4352
 
 
4353
 
 
4354
 
HTTPSServerFeature = _HTTPSServerFeature()
4355
 
 
4356
 
 
4357
 
class _UnicodeFilename(Feature):
4358
 
    """Does the filesystem support Unicode filenames?"""
4359
 
 
4360
 
    def _probe(self):
4361
 
        try:
4362
 
            os.stat(u'\u03b1')
4363
 
        except UnicodeEncodeError:
4364
 
            return False
4365
 
        except (IOError, OSError):
4366
 
            # The filesystem allows the Unicode filename but the file doesn't
4367
 
            # exist.
4368
 
            return True
4369
 
        else:
4370
 
            # The filesystem allows the Unicode filename and the file exists,
4371
 
            # for some reason.
4372
 
            return True
4373
 
 
4374
 
UnicodeFilename = _UnicodeFilename()
4375
 
 
4376
 
 
4377
 
class _ByteStringNamedFilesystem(Feature):
4378
 
    """Is the filesystem based on bytes?"""
4379
 
 
4380
 
    def _probe(self):
4381
 
        if os.name == "posix":
4382
 
            return True
4383
 
        return False
4384
 
 
4385
 
ByteStringNamedFilesystem = _ByteStringNamedFilesystem()
4386
 
 
4387
 
 
4388
 
class _UTF8Filesystem(Feature):
4389
 
    """Is the filesystem UTF-8?"""
4390
 
 
4391
 
    def _probe(self):
4392
 
        if osutils._fs_enc.upper() in ('UTF-8', 'UTF8'):
4393
 
            return True
4394
 
        return False
4395
 
 
4396
 
UTF8Filesystem = _UTF8Filesystem()
4397
 
 
4398
 
 
4399
 
class _BreakinFeature(Feature):
4400
 
    """Does this platform support the breakin feature?"""
4401
 
 
4402
 
    def _probe(self):
4403
 
        from bzrlib import breakin
4404
 
        if breakin.determine_signal() is None:
4405
 
            return False
4406
 
        if sys.platform == 'win32':
4407
 
            # Windows doesn't have os.kill, and we catch the SIGBREAK signal.
4408
 
            # We trigger SIGBREAK via a Console api so we need ctypes to
4409
 
            # access the function
4410
 
            try:
4411
 
                import ctypes
4412
 
            except OSError:
4413
 
                return False
4414
 
        return True
4415
 
 
4416
 
    def feature_name(self):
4417
 
        return "SIGQUIT or SIGBREAK w/ctypes on win32"
4418
 
 
4419
 
 
4420
 
BreakinFeature = _BreakinFeature()
4421
 
 
4422
 
 
4423
 
class _CaseInsCasePresFilenameFeature(Feature):
4424
 
    """Is the file-system case insensitive, but case-preserving?"""
4425
 
 
4426
 
    def _probe(self):
4427
 
        fileno, name = tempfile.mkstemp(prefix='MixedCase')
4428
 
        try:
4429
 
            # first check truly case-preserving for created files, then check
4430
 
            # case insensitive when opening existing files.
4431
 
            name = osutils.normpath(name)
4432
 
            base, rel = osutils.split(name)
4433
 
            found_rel = osutils.canonical_relpath(base, name)
4434
 
            return (found_rel == rel
4435
 
                    and os.path.isfile(name.upper())
4436
 
                    and os.path.isfile(name.lower()))
4437
 
        finally:
4438
 
            os.close(fileno)
4439
 
            os.remove(name)
4440
 
 
4441
 
    def feature_name(self):
4442
 
        return "case-insensitive case-preserving filesystem"
4443
 
 
4444
 
CaseInsCasePresFilenameFeature = _CaseInsCasePresFilenameFeature()
4445
 
 
4446
 
 
4447
 
class _CaseInsensitiveFilesystemFeature(Feature):
4448
 
    """Check if underlying filesystem is case-insensitive but *not* case
4449
 
    preserving.
4450
 
    """
4451
 
    # Note that on Windows, Cygwin, MacOS etc, the file-systems are far
4452
 
    # more likely to be case preserving, so this case is rare.
4453
 
 
4454
 
    def _probe(self):
4455
 
        if CaseInsCasePresFilenameFeature.available():
4456
 
            return False
4457
 
 
4458
 
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
4459
 
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
4460
 
            TestCaseWithMemoryTransport.TEST_ROOT = root
4461
 
        else:
4462
 
            root = TestCaseWithMemoryTransport.TEST_ROOT
4463
 
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
4464
 
            dir=root)
4465
 
        name_a = osutils.pathjoin(tdir, 'a')
4466
 
        name_A = osutils.pathjoin(tdir, 'A')
4467
 
        os.mkdir(name_a)
4468
 
        result = osutils.isdir(name_A)
4469
 
        _rmtree_temp_dir(tdir)
4470
 
        return result
4471
 
 
4472
 
    def feature_name(self):
4473
 
        return 'case-insensitive filesystem'
4474
 
 
4475
 
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()
4476
 
 
4477
 
 
4478
 
class _CaseSensitiveFilesystemFeature(Feature):
4479
 
 
4480
 
    def _probe(self):
4481
 
        if CaseInsCasePresFilenameFeature.available():
4482
 
            return False
4483
 
        elif CaseInsensitiveFilesystemFeature.available():
4484
 
            return False
4485
 
        else:
4486
 
            return True
4487
 
 
4488
 
    def feature_name(self):
4489
 
        return 'case-sensitive filesystem'
4490
 
 
4491
 
# new coding style is for feature instances to be lowercase
4492
 
case_sensitive_filesystem_feature = _CaseSensitiveFilesystemFeature()
4493
 
 
4494
 
 
4495
 
# Kept for compatibility, use bzrlib.tests.features.subunit instead
4496
 
SubUnitFeature = _CompatabilityThunkFeature(
4497
 
    deprecated_in((2,1,0)),
4498
 
    'bzrlib.tests.features', 'SubUnitFeature', 'subunit')
4499
4470
# Only define SubUnitBzrRunner if subunit is available.
4500
4471
try:
4501
4472
    from subunit import TestProtocolClient
4502
4473
    from subunit.test_results import AutoTimingTestResultDecorator
 
4474
    class SubUnitBzrProtocolClient(TestProtocolClient):
 
4475
 
 
4476
        def stopTest(self, test):
 
4477
            super(SubUnitBzrProtocolClient, self).stopTest(test)
 
4478
            _clear__type_equality_funcs(test)
 
4479
 
 
4480
        def addSuccess(self, test, details=None):
 
4481
            # The subunit client always includes the details in the subunit
 
4482
            # stream, but we don't want to include it in ours.
 
4483
            if details is not None and 'log' in details:
 
4484
                del details['log']
 
4485
            return super(SubUnitBzrProtocolClient, self).addSuccess(
 
4486
                test, details)
 
4487
 
4503
4488
    class SubUnitBzrRunner(TextTestRunner):
4504
4489
        def run(self, test):
4505
4490
            result = AutoTimingTestResultDecorator(
4506
 
                TestProtocolClient(self.stream))
 
4491
                SubUnitBzrProtocolClient(self.stream))
4507
4492
            test.run(result)
4508
4493
            return result
4509
4494
except ImportError:
4510
4495
    pass
4511
4496
 
4512
 
class _PosixPermissionsFeature(Feature):
4513
 
 
4514
 
    def _probe(self):
4515
 
        def has_perms():
4516
 
            # create temporary file and check if specified perms are maintained.
4517
 
            import tempfile
4518
 
 
4519
 
            write_perms = stat.S_IRUSR | stat.S_IWUSR | stat.S_IXUSR
4520
 
            f = tempfile.mkstemp(prefix='bzr_perms_chk_')
4521
 
            fd, name = f
4522
 
            os.close(fd)
4523
 
            os.chmod(name, write_perms)
4524
 
 
4525
 
            read_perms = os.stat(name).st_mode & 0777
4526
 
            os.unlink(name)
4527
 
            return (write_perms == read_perms)
4528
 
 
4529
 
        return (os.name == 'posix') and has_perms()
4530
 
 
4531
 
    def feature_name(self):
4532
 
        return 'POSIX permissions support'
4533
 
 
4534
 
posix_permissions_feature = _PosixPermissionsFeature()
 
4497
 
 
4498
# API compatibility for old plugins; see bug 892622.
 
4499
for name in [
 
4500
    'Feature',
 
4501
    'HTTPServerFeature', 
 
4502
    'ModuleAvailableFeature',
 
4503
    'HTTPSServerFeature', 'SymlinkFeature', 'HardlinkFeature',
 
4504
    'OsFifoFeature', 'UnicodeFilenameFeature',
 
4505
    'ByteStringNamedFilesystem', 'UTF8Filesystem',
 
4506
    'BreakinFeature', 'CaseInsCasePresFilenameFeature',
 
4507
    'CaseInsensitiveFilesystemFeature', 'case_sensitive_filesystem_feature',
 
4508
    'posix_permissions_feature',
 
4509
    ]:
 
4510
    globals()[name] = _CompatabilityThunkFeature(
 
4511
        symbol_versioning.deprecated_in((2, 5, 0)),
 
4512
        'bzrlib.tests', name,
 
4513
        name, 'bzrlib.tests.features')
 
4514
 
 
4515
 
 
4516
for (old_name, new_name) in [
 
4517
    ('UnicodeFilename', 'UnicodeFilenameFeature'),
 
4518
    ]:
 
4519
    globals()[name] = _CompatabilityThunkFeature(
 
4520
        symbol_versioning.deprecated_in((2, 5, 0)),
 
4521
        'bzrlib.tests', old_name,
 
4522
        new_name, 'bzrlib.tests.features')