~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Vincent Ladeuil
  • Date: 2012-03-13 17:25:29 UTC
  • mfrom: (6499 +trunk)
  • mto: This revision was merged to the branch mainline in revision 6501.
  • Revision ID: v.ladeuil+lp@free.fr-20120313172529-i0suyjnepsor25i7
Merge trunk

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
16
16
 
17
17
"""Testing framework extensions"""
18
18
 
19
 
# TODO: Perhaps there should be an API to find out if bzr running under the
20
 
# test suite -- some plugins might want to avoid making intrusive changes if
21
 
# this is the case.  However, we want behaviour under to test to diverge as
22
 
# little as possible, so this should be used rarely if it's added at all.
23
 
# (Suggestion from j-a-meinel, 2005-11-24)
 
19
from __future__ import absolute_import
24
20
 
25
21
# NOTE: Some classes in here use camelCaseNaming() rather than
26
22
# underscore_naming().  That's for consistency with unittest; it's not the
36
32
import errno
37
33
import itertools
38
34
import logging
39
 
import math
40
35
import os
 
36
import platform
41
37
import pprint
42
38
import random
43
39
import re
44
40
import shlex
 
41
import site
45
42
import stat
46
43
import subprocess
47
44
import sys
55
52
import testtools
56
53
# nb: check this before importing anything else from within it
57
54
_testtools_version = getattr(testtools, '__version__', ())
58
 
if _testtools_version < (0, 9, 2):
59
 
    raise ImportError("need at least testtools 0.9.2: %s is %r"
 
55
if _testtools_version < (0, 9, 5):
 
56
    raise ImportError("need at least testtools 0.9.5: %s is %r"
60
57
        % (testtools.__file__, _testtools_version))
61
58
from testtools import content
62
59
 
 
60
import bzrlib
63
61
from bzrlib import (
64
62
    branchbuilder,
65
 
    bzrdir,
 
63
    controldir,
66
64
    chk_map,
 
65
    commands as _mod_commands,
67
66
    config,
 
67
    i18n,
68
68
    debug,
69
69
    errors,
70
70
    hooks,
71
71
    lock as _mod_lock,
 
72
    lockdir,
72
73
    memorytree,
73
74
    osutils,
74
 
    progress,
 
75
    plugin as _mod_plugin,
 
76
    pyutils,
75
77
    ui,
76
78
    urlutils,
77
79
    registry,
 
80
    symbol_versioning,
 
81
    trace,
78
82
    transport as _mod_transport,
79
83
    workingtree,
80
84
    )
81
 
import bzrlib.branch
82
 
import bzrlib.commands
83
 
import bzrlib.timestamp
84
 
import bzrlib.export
85
 
import bzrlib.inventory
86
 
import bzrlib.iterablefile
87
 
import bzrlib.lockdir
88
85
try:
89
86
    import bzrlib.lsprof
90
87
except ImportError:
91
88
    # lsprof not available
92
89
    pass
93
 
from bzrlib.merge import merge_inner
94
 
import bzrlib.merge3
95
 
import bzrlib.plugin
96
 
from bzrlib.smart import client, request, server
97
 
import bzrlib.store
98
 
from bzrlib import symbol_versioning
 
90
from bzrlib.smart import client, request
 
91
from bzrlib.transport import (
 
92
    memory,
 
93
    pathfilter,
 
94
    )
99
95
from bzrlib.symbol_versioning import (
100
 
    DEPRECATED_PARAMETER,
101
96
    deprecated_function,
102
97
    deprecated_in,
103
 
    deprecated_method,
104
 
    deprecated_passed,
105
 
    )
106
 
import bzrlib.trace
107
 
from bzrlib.transport import (
108
 
    memory,
109
 
    pathfilter,
110
 
    )
111
 
from bzrlib.trace import mutter, note
 
98
    )
112
99
from bzrlib.tests import (
 
100
    fixtures,
113
101
    test_server,
114
102
    TestUtil,
115
103
    treeshape,
116
104
    )
117
105
from bzrlib.ui import NullProgressView
118
106
from bzrlib.ui.text import TextUIFactory
119
 
import bzrlib.version_info_formats.format_custom
120
 
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
107
from bzrlib.tests.features import _CompatabilityThunkFeature
121
108
 
122
109
# Mark this python module as being part of the implementation
123
110
# of unittest: this gives us better tracebacks where the last
135
122
SUBUNIT_SEEK_SET = 0
136
123
SUBUNIT_SEEK_CUR = 1
137
124
 
 
125
# These are intentionally brought into this namespace. That way plugins, etc
 
126
# can just "from bzrlib.tests import TestCase, TestLoader, etc"
 
127
TestSuite = TestUtil.TestSuite
 
128
TestLoader = TestUtil.TestLoader
 
129
 
 
130
# Tests should run in a clean and clearly defined environment. The goal is to
 
131
# keep them isolated from the running environment as mush as possible. The test
 
132
# framework ensures the variables defined below are set (or deleted if the
 
133
# value is None) before a test is run and reset to their original value after
 
134
# the test is run. Generally if some code depends on an environment variable,
 
135
# the tests should start without this variable in the environment. There are a
 
136
# few exceptions but you shouldn't violate this rule lightly.
 
137
isolated_environ = {
 
138
    'BZR_HOME': None,
 
139
    'HOME': None,
 
140
    # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
 
141
    # tests do check our impls match APPDATA
 
142
    'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
143
    'VISUAL': None,
 
144
    'EDITOR': None,
 
145
    'BZR_EMAIL': None,
 
146
    'BZREMAIL': None, # may still be present in the environment
 
147
    'EMAIL': 'jrandom@example.com', # set EMAIL as bzr does not guess
 
148
    'BZR_PROGRESS_BAR': None,
 
149
    # This should trap leaks to ~/.bzr.log. This occurs when tests use TestCase
 
150
    # as a base class instead of TestCaseInTempDir. Tests inheriting from
 
151
    # TestCase should not use disk resources, BZR_LOG is one.
 
152
    'BZR_LOG': '/you-should-use-TestCaseInTempDir-if-you-need-a-log-file',
 
153
    'BZR_PLUGIN_PATH': None,
 
154
    'BZR_DISABLE_PLUGINS': None,
 
155
    'BZR_PLUGINS_AT': None,
 
156
    'BZR_CONCURRENCY': None,
 
157
    # Make sure that any text ui tests are consistent regardless of
 
158
    # the environment the test case is run in; you may want tests that
 
159
    # test other combinations.  'dumb' is a reasonable guess for tests
 
160
    # going to a pipe or a StringIO.
 
161
    'TERM': 'dumb',
 
162
    'LINES': '25',
 
163
    'COLUMNS': '80',
 
164
    'BZR_COLUMNS': '80',
 
165
    # Disable SSH Agent
 
166
    'SSH_AUTH_SOCK': None,
 
167
    # Proxies
 
168
    'http_proxy': None,
 
169
    'HTTP_PROXY': None,
 
170
    'https_proxy': None,
 
171
    'HTTPS_PROXY': None,
 
172
    'no_proxy': None,
 
173
    'NO_PROXY': None,
 
174
    'all_proxy': None,
 
175
    'ALL_PROXY': None,
 
176
    # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
 
177
    # least. If you do (care), please update this comment
 
178
    # -- vila 20080401
 
179
    'ftp_proxy': None,
 
180
    'FTP_PROXY': None,
 
181
    'BZR_REMOTE_PATH': None,
 
182
    # Generally speaking, we don't want apport reporting on crashes in
 
183
    # the test envirnoment unless we're specifically testing apport,
 
184
    # so that it doesn't leak into the real system environment.  We
 
185
    # use an env var so it propagates to subprocesses.
 
186
    'APPORT_DISABLE': '1',
 
187
    }
 
188
 
 
189
 
 
190
def override_os_environ(test, env=None):
 
191
    """Modify os.environ keeping a copy.
 
192
    
 
193
    :param test: A test instance
 
194
 
 
195
    :param env: A dict containing variable definitions to be installed
 
196
    """
 
197
    if env is None:
 
198
        env = isolated_environ
 
199
    test._original_os_environ = dict([(var, value)
 
200
                                      for var, value in os.environ.iteritems()])
 
201
    for var, value in env.iteritems():
 
202
        osutils.set_or_unset_env(var, value)
 
203
        if var not in test._original_os_environ:
 
204
            # The var is new, add it with a value of None, so
 
205
            # restore_os_environ will delete it
 
206
            test._original_os_environ[var] = None
 
207
 
 
208
 
 
209
def restore_os_environ(test):
 
210
    """Restore os.environ to its original state.
 
211
 
 
212
    :param test: A test instance previously passed to override_os_environ.
 
213
    """
 
214
    for var, value in test._original_os_environ.iteritems():
 
215
        # Restore the original value (or delete it if the value has been set to
 
216
        # None in override_os_environ).
 
217
        osutils.set_or_unset_env(var, value)
 
218
 
 
219
 
 
220
def _clear__type_equality_funcs(test):
 
221
    """Cleanup bound methods stored on TestCase instances
 
222
 
 
223
    Clear the dict breaking a few (mostly) harmless cycles in the affected
 
224
    unittests released with Python 2.6 and initial Python 2.7 versions.
 
225
 
 
226
    For a few revisions between Python 2.7.1 and Python 2.7.2 that annoyingly
 
227
    shipped in Oneiric, an object with no clear method was used, hence the
 
228
    extra complications, see bug 809048 for details.
 
229
    """
 
230
    type_equality_funcs = getattr(test, "_type_equality_funcs", None)
 
231
    if type_equality_funcs is not None:
 
232
        tef_clear = getattr(type_equality_funcs, "clear", None)
 
233
        if tef_clear is None:
 
234
            tef_instance_dict = getattr(type_equality_funcs, "__dict__", None)
 
235
            if tef_instance_dict is not None:
 
236
                tef_clear = tef_instance_dict.clear
 
237
        if tef_clear is not None:
 
238
            tef_clear()
 
239
 
138
240
 
139
241
class ExtendedTestResult(testtools.TextTestResult):
140
242
    """Accepts, reports and accumulates the results of running tests.
145
247
    different types of display.
146
248
 
147
249
    When a test finishes, in whatever way, it calls one of the addSuccess,
148
 
    addFailure or addError classes.  These in turn may redirect to a more
 
250
    addFailure or addError methods.  These in turn may redirect to a more
149
251
    specific case for the special test results supported by our extended
150
252
    tests.
151
253
 
190
292
        self.count = 0
191
293
        self._overall_start_time = time.time()
192
294
        self._strict = strict
 
295
        self._first_thread_leaker_id = None
 
296
        self._tests_leaking_threads_count = 0
 
297
        self._traceback_from_test = None
193
298
 
194
299
    def stopTestRun(self):
195
300
        run = self.testsRun
234
339
            ok = self.wasStrictlySuccessful()
235
340
        else:
236
341
            ok = self.wasSuccessful()
237
 
        if TestCase._first_thread_leaker_id:
 
342
        if self._first_thread_leaker_id:
238
343
            self.stream.write(
239
344
                '%s is leaking threads among %d leaking tests.\n' % (
240
 
                TestCase._first_thread_leaker_id,
241
 
                TestCase._leaking_threads_tests))
 
345
                self._first_thread_leaker_id,
 
346
                self._tests_leaking_threads_count))
242
347
            # We don't report the main thread as an active one.
243
348
            self.stream.write(
244
349
                '%d non-main threads were left active in the end.\n'
245
 
                % (TestCase._active_threads - 1))
 
350
                % (len(self._active_threads) - 1))
246
351
 
247
352
    def getDescription(self, test):
248
353
        return test.id()
255
360
 
256
361
    def _elapsedTestTimeString(self):
257
362
        """Return a time string for the overall time the current test has taken."""
258
 
        return self._formatTime(time.time() - self._start_time)
 
363
        return self._formatTime(self._delta_to_float(
 
364
            self._now() - self._start_datetime))
259
365
 
260
366
    def _testTimeString(self, testCase):
261
367
        benchmark_time = self._extractBenchmarkTime(testCase)
275
381
        what = re.sub(r'^bzrlib\.tests\.', '', what)
276
382
        return what
277
383
 
 
384
    # GZ 2010-10-04: Cloned tests may end up harmlessly calling this method
 
385
    #                multiple times in a row, because the handler is added for
 
386
    #                each test but the container list is shared between cases.
 
387
    #                See lp:498869 lp:625574 and lp:637725 for background.
 
388
    def _record_traceback_from_test(self, exc_info):
 
389
        """Store the traceback from passed exc_info tuple till"""
 
390
        self._traceback_from_test = exc_info[2]
 
391
 
278
392
    def startTest(self, test):
279
393
        super(ExtendedTestResult, self).startTest(test)
280
394
        if self.count == 0:
281
395
            self.startTests()
 
396
        self.count += 1
282
397
        self.report_test_start(test)
283
398
        test.number = self.count
284
399
        self._recordTestStartTime()
 
400
        # Make testtools cases give us the real traceback on failure
 
401
        addOnException = getattr(test, "addOnException", None)
 
402
        if addOnException is not None:
 
403
            addOnException(self._record_traceback_from_test)
 
404
        # Only check for thread leaks on bzrlib derived test cases
 
405
        if isinstance(test, TestCase):
 
406
            test.addCleanup(self._check_leaked_threads, test)
 
407
 
 
408
    def stopTest(self, test):
 
409
        super(ExtendedTestResult, self).stopTest(test)
 
410
        # Manually break cycles, means touching various private things but hey
 
411
        getDetails = getattr(test, "getDetails", None)
 
412
        if getDetails is not None:
 
413
            getDetails().clear()
 
414
        _clear__type_equality_funcs(test)
 
415
        self._traceback_from_test = None
285
416
 
286
417
    def startTests(self):
287
 
        import platform
288
 
        if getattr(sys, 'frozen', None) is None:
289
 
            bzr_path = osutils.realpath(sys.argv[0])
290
 
        else:
291
 
            bzr_path = sys.executable
292
 
        self.stream.write(
293
 
            'bzr selftest: %s\n' % (bzr_path,))
294
 
        self.stream.write(
295
 
            '   %s\n' % (
296
 
                    bzrlib.__path__[0],))
297
 
        self.stream.write(
298
 
            '   bzr-%s python-%s %s\n' % (
299
 
                    bzrlib.version_string,
300
 
                    bzrlib._format_version_tuple(sys.version_info),
301
 
                    platform.platform(aliased=1),
302
 
                    ))
303
 
        self.stream.write('\n')
 
418
        self.report_tests_starting()
 
419
        self._active_threads = threading.enumerate()
 
420
 
 
421
    def _check_leaked_threads(self, test):
 
422
        """See if any threads have leaked since last call
 
423
 
 
424
        A sample of live threads is stored in the _active_threads attribute,
 
425
        when this method runs it compares the current live threads and any not
 
426
        in the previous sample are treated as having leaked.
 
427
        """
 
428
        now_active_threads = set(threading.enumerate())
 
429
        threads_leaked = now_active_threads.difference(self._active_threads)
 
430
        if threads_leaked:
 
431
            self._report_thread_leak(test, threads_leaked, now_active_threads)
 
432
            self._tests_leaking_threads_count += 1
 
433
            if self._first_thread_leaker_id is None:
 
434
                self._first_thread_leaker_id = test.id()
 
435
            self._active_threads = now_active_threads
304
436
 
305
437
    def _recordTestStartTime(self):
306
438
        """Record that a test has started."""
307
 
        self._start_time = time.time()
308
 
 
309
 
    def _cleanupLogFile(self, test):
310
 
        # We can only do this if we have one of our TestCases, not if
311
 
        # we have a doctest.
312
 
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
313
 
        if setKeepLogfile is not None:
314
 
            setKeepLogfile()
 
439
        self._start_datetime = self._now()
315
440
 
316
441
    def addError(self, test, err):
317
442
        """Tell result that test finished with an error.
319
444
        Called from the TestCase run() method when the test
320
445
        fails with an unexpected error.
321
446
        """
322
 
        self._post_mortem()
 
447
        self._post_mortem(self._traceback_from_test)
323
448
        super(ExtendedTestResult, self).addError(test, err)
324
449
        self.error_count += 1
325
450
        self.report_error(test, err)
326
451
        if self.stop_early:
327
452
            self.stop()
328
 
        self._cleanupLogFile(test)
329
453
 
330
454
    def addFailure(self, test, err):
331
455
        """Tell result that test failed.
333
457
        Called from the TestCase run() method when the test
334
458
        fails because e.g. an assert() method failed.
335
459
        """
336
 
        self._post_mortem()
 
460
        self._post_mortem(self._traceback_from_test)
337
461
        super(ExtendedTestResult, self).addFailure(test, err)
338
462
        self.failure_count += 1
339
463
        self.report_failure(test, err)
340
464
        if self.stop_early:
341
465
            self.stop()
342
 
        self._cleanupLogFile(test)
343
466
 
344
467
    def addSuccess(self, test, details=None):
345
468
        """Tell result that test completed successfully.
353
476
                    self._formatTime(benchmark_time),
354
477
                    test.id()))
355
478
        self.report_success(test)
356
 
        self._cleanupLogFile(test)
357
479
        super(ExtendedTestResult, self).addSuccess(test)
358
480
        test._log_contents = ''
359
481
 
361
483
        self.known_failure_count += 1
362
484
        self.report_known_failure(test, err)
363
485
 
 
486
    def addUnexpectedSuccess(self, test, details=None):
 
487
        """Tell result the test unexpectedly passed, counting as a failure
 
488
 
 
489
        When the minimum version of testtools required becomes 0.9.8 this
 
490
        can be updated to use the new handling there.
 
491
        """
 
492
        super(ExtendedTestResult, self).addFailure(test, details=details)
 
493
        self.failure_count += 1
 
494
        self.report_unexpected_success(test,
 
495
            "".join(details["reason"].iter_text()))
 
496
        if self.stop_early:
 
497
            self.stop()
 
498
 
364
499
    def addNotSupported(self, test, feature):
365
500
        """The test will not be run because of a missing feature.
366
501
        """
383
518
        self.not_applicable_count += 1
384
519
        self.report_not_applicable(test, reason)
385
520
 
386
 
    def _post_mortem(self):
 
521
    def _count_stored_tests(self):
 
522
        """Count of tests instances kept alive due to not succeeding"""
 
523
        return self.error_count + self.failure_count + self.known_failure_count
 
524
 
 
525
    def _post_mortem(self, tb=None):
387
526
        """Start a PDB post mortem session."""
388
527
        if os.environ.get('BZR_TEST_PDB', None):
389
 
            import pdb;pdb.post_mortem()
 
528
            import pdb
 
529
            pdb.post_mortem(tb)
390
530
 
391
531
    def progress(self, offset, whence):
392
532
        """The test is adjusting the count of tests to run."""
397
537
        else:
398
538
            raise errors.BzrError("Unknown whence %r" % whence)
399
539
 
400
 
    def report_cleaning_up(self):
401
 
        pass
 
540
    def report_tests_starting(self):
 
541
        """Display information before the test run begins"""
 
542
        if getattr(sys, 'frozen', None) is None:
 
543
            bzr_path = osutils.realpath(sys.argv[0])
 
544
        else:
 
545
            bzr_path = sys.executable
 
546
        self.stream.write(
 
547
            'bzr selftest: %s\n' % (bzr_path,))
 
548
        self.stream.write(
 
549
            '   %s\n' % (
 
550
                    bzrlib.__path__[0],))
 
551
        self.stream.write(
 
552
            '   bzr-%s python-%s %s\n' % (
 
553
                    bzrlib.version_string,
 
554
                    bzrlib._format_version_tuple(sys.version_info),
 
555
                    platform.platform(aliased=1),
 
556
                    ))
 
557
        self.stream.write('\n')
 
558
 
 
559
    def report_test_start(self, test):
 
560
        """Display information on the test just about to be run"""
 
561
 
 
562
    def _report_thread_leak(self, test, leaked_threads, active_threads):
 
563
        """Display information on a test that leaked one or more threads"""
 
564
        # GZ 2010-09-09: A leak summary reported separately from the general
 
565
        #                thread debugging would be nice. Tests under subunit
 
566
        #                need something not using stream, perhaps adding a
 
567
        #                testtools details object would be fitting.
 
568
        if 'threads' in selftest_debug_flags:
 
569
            self.stream.write('%s is leaking, active is now %d\n' %
 
570
                (test.id(), len(active_threads)))
402
571
 
403
572
    def startTestRun(self):
404
573
        self.startTime = time.time()
441
610
        self.pb.finished()
442
611
        super(TextTestResult, self).stopTestRun()
443
612
 
444
 
    def startTestRun(self):
445
 
        super(TextTestResult, self).startTestRun()
 
613
    def report_tests_starting(self):
 
614
        super(TextTestResult, self).report_tests_starting()
446
615
        self.pb.update('[test 0/%d] Starting' % (self.num_tests))
447
616
 
448
 
    def printErrors(self):
449
 
        # clear the pb to make room for the error listing
450
 
        self.pb.clear()
451
 
        super(TextTestResult, self).printErrors()
452
 
 
453
617
    def _progress_prefix_text(self):
454
618
        # the longer this text, the less space we have to show the test
455
619
        # name...
477
641
        return a
478
642
 
479
643
    def report_test_start(self, test):
480
 
        self.count += 1
481
644
        self.pb.update(
482
645
                self._progress_prefix_text()
483
646
                + ' '
501
664
    def report_known_failure(self, test, err):
502
665
        pass
503
666
 
 
667
    def report_unexpected_success(self, test, reason):
 
668
        self.stream.write('FAIL: %s\n    %s: %s\n' % (
 
669
            self._test_description(test),
 
670
            "Unexpected success. Should have failed",
 
671
            reason,
 
672
            ))
 
673
 
504
674
    def report_skip(self, test, reason):
505
675
        pass
506
676
 
510
680
    def report_unsupported(self, test, feature):
511
681
        """test cannot be run because feature is missing."""
512
682
 
513
 
    def report_cleaning_up(self):
514
 
        self.pb.update('Cleaning up')
515
 
 
516
683
 
517
684
class VerboseTestResult(ExtendedTestResult):
518
685
    """Produce long output, with one line per test run plus times"""
525
692
            result = a_string
526
693
        return result.ljust(final_width)
527
694
 
528
 
    def startTestRun(self):
529
 
        super(VerboseTestResult, self).startTestRun()
 
695
    def report_tests_starting(self):
530
696
        self.stream.write('running %d tests...\n' % self.num_tests)
 
697
        super(VerboseTestResult, self).report_tests_starting()
531
698
 
532
699
    def report_test_start(self, test):
533
 
        self.count += 1
534
700
        name = self._shortened_test_description(test)
535
701
        width = osutils.terminal_width()
536
702
        if width is not None:
562
728
                % (self._testTimeString(test),
563
729
                   self._error_summary(err)))
564
730
 
 
731
    def report_unexpected_success(self, test, reason):
 
732
        self.stream.write(' FAIL %s\n%s: %s\n'
 
733
                % (self._testTimeString(test),
 
734
                   "Unexpected success. Should have failed",
 
735
                   reason))
 
736
 
565
737
    def report_success(self, test):
566
738
        self.stream.write('   OK %s\n' % self._testTimeString(test))
567
739
        for bench_called, stats in getattr(test, '_benchcalls', []):
614
786
            encode = codec[0]
615
787
        else:
616
788
            encode = codec.encode
617
 
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream)
 
789
        # GZ 2010-09-08: Really we don't want to be writing arbitrary bytes,
 
790
        #                so should swap to the plain codecs.StreamWriter
 
791
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream,
 
792
            "backslashreplace")
618
793
        stream.encoding = new_encoding
619
794
        self.stream = stream
620
795
        self.descriptions = descriptions
770
945
        return NullProgressView()
771
946
 
772
947
 
 
948
def isolated_doctest_setUp(test):
 
949
    override_os_environ(test)
 
950
 
 
951
 
 
952
def isolated_doctest_tearDown(test):
 
953
    restore_os_environ(test)
 
954
 
 
955
 
 
956
def IsolatedDocTestSuite(*args, **kwargs):
 
957
    """Overrides doctest.DocTestSuite to handle isolation.
 
958
 
 
959
    The method is really a factory and users are expected to use it as such.
 
960
    """
 
961
 
 
962
    kwargs['setUp'] = isolated_doctest_setUp
 
963
    kwargs['tearDown'] = isolated_doctest_tearDown
 
964
    return doctest.DocTestSuite(*args, **kwargs)
 
965
 
 
966
 
773
967
class TestCase(testtools.TestCase):
774
968
    """Base class for bzr unit tests.
775
969
 
786
980
    routine, and to build and check bzr trees.
787
981
 
788
982
    In addition to the usual method of overriding tearDown(), this class also
789
 
    allows subclasses to register functions into the _cleanups list, which is
 
983
    allows subclasses to register cleanup functions via addCleanup, which are
790
984
    run in order as the object is torn down.  It's less likely this will be
791
985
    accidentally overlooked.
792
986
    """
793
987
 
794
 
    _active_threads = None
795
 
    _leaking_threads_tests = 0
796
 
    _first_thread_leaker_id = None
797
 
    _log_file_name = None
 
988
    _log_file = None
798
989
    # record lsprof data when performing benchmark calls.
799
990
    _gather_lsprof_in_benchmarks = False
800
991
 
801
992
    def __init__(self, methodName='testMethod'):
802
993
        super(TestCase, self).__init__(methodName)
803
 
        self._cleanups = []
804
994
        self._directory_isolation = True
805
995
        self.exception_handlers.insert(0,
806
996
            (UnavailableFeature, self._do_unsupported_or_skip))
809
999
 
810
1000
    def setUp(self):
811
1001
        super(TestCase, self).setUp()
 
1002
 
 
1003
        timeout = config.GlobalStack().get('selftest.timeout')
 
1004
        if timeout:
 
1005
            timeout_fixture = fixtures.TimeoutFixture(timeout)
 
1006
            timeout_fixture.setUp()
 
1007
            self.addCleanup(timeout_fixture.cleanUp)
 
1008
 
812
1009
        for feature in getattr(self, '_test_needs_features', []):
813
1010
            self.requireFeature(feature)
814
 
        self._log_contents = None
815
 
        self.addDetail("log", content.Content(content.ContentType("text",
816
 
            "plain", {"charset": "utf8"}),
817
 
            lambda:[self._get_log(keep_log_file=True)]))
818
1011
        self._cleanEnvironment()
 
1012
 
 
1013
        if bzrlib.global_state is not None:
 
1014
            self.overrideAttr(bzrlib.global_state, 'cmdline_overrides',
 
1015
                              config.CommandLineStore())
 
1016
 
819
1017
        self._silenceUI()
820
1018
        self._startLogFile()
821
1019
        self._benchcalls = []
824
1022
        self._track_transports()
825
1023
        self._track_locks()
826
1024
        self._clear_debug_flags()
827
 
        TestCase._active_threads = threading.activeCount()
828
 
        self.addCleanup(self._check_leaked_threads)
 
1025
        # Isolate global verbosity level, to make sure it's reproducible
 
1026
        # between tests.  We should get rid of this altogether: bug 656694. --
 
1027
        # mbp 20101008
 
1028
        self.overrideAttr(bzrlib.trace, '_verbosity_level', 0)
 
1029
        self._log_files = set()
 
1030
        # Each key in the ``_counters`` dict holds a value for a different
 
1031
        # counter. When the test ends, addDetail() should be used to output the
 
1032
        # counter values. This happens in install_counter_hook().
 
1033
        self._counters = {}
 
1034
        if 'config_stats' in selftest_debug_flags:
 
1035
            self._install_config_stats_hooks()
 
1036
        # Do not use i18n for tests (unless the test reverses this)
 
1037
        i18n.disable_i18n()
829
1038
 
830
1039
    def debug(self):
831
1040
        # debug a frame up.
832
1041
        import pdb
833
 
        pdb.Pdb().set_trace(sys._getframe().f_back)
834
 
 
835
 
    def _check_leaked_threads(self):
836
 
        active = threading.activeCount()
837
 
        leaked_threads = active - TestCase._active_threads
838
 
        TestCase._active_threads = active
839
 
        # If some tests make the number of threads *decrease*, we'll consider
840
 
        # that they are just observing old threads dieing, not agressively kill
841
 
        # random threads. So we don't report these tests as leaking. The risk
842
 
        # is that we have false positives that way (the test see 2 threads
843
 
        # going away but leak one) but it seems less likely than the actual
844
 
        # false positives (the test see threads going away and does not leak).
845
 
        if leaked_threads > 0:
846
 
            if 'threads' in selftest_debug_flags:
847
 
                print '%s is leaking, active is now %d' % (self.id(), active)
848
 
            TestCase._leaking_threads_tests += 1
849
 
            if TestCase._first_thread_leaker_id is None:
850
 
                TestCase._first_thread_leaker_id = self.id()
 
1042
        # The sys preserved stdin/stdout should allow blackbox tests debugging
 
1043
        pdb.Pdb(stdin=sys.__stdin__, stdout=sys.__stdout__
 
1044
                ).set_trace(sys._getframe().f_back)
 
1045
 
 
1046
    def discardDetail(self, name):
 
1047
        """Extend the addDetail, getDetails api so we can remove a detail.
 
1048
 
 
1049
        eg. bzr always adds the 'log' detail at startup, but we don't want to
 
1050
        include it for skipped, xfail, etc tests.
 
1051
 
 
1052
        It is safe to call this for a detail that doesn't exist, in case this
 
1053
        gets called multiple times.
 
1054
        """
 
1055
        # We cheat. details is stored in __details which means we shouldn't
 
1056
        # touch it. but getDetails() returns the dict directly, so we can
 
1057
        # mutate it.
 
1058
        details = self.getDetails()
 
1059
        if name in details:
 
1060
            del details[name]
 
1061
 
 
1062
    def install_counter_hook(self, hooks, name, counter_name=None):
 
1063
        """Install a counting hook.
 
1064
 
 
1065
        Any hook can be counted as long as it doesn't need to return a value.
 
1066
 
 
1067
        :param hooks: Where the hook should be installed.
 
1068
 
 
1069
        :param name: The hook name that will be counted.
 
1070
 
 
1071
        :param counter_name: The counter identifier in ``_counters``, defaults
 
1072
            to ``name``.
 
1073
        """
 
1074
        _counters = self._counters # Avoid closing over self
 
1075
        if counter_name is None:
 
1076
            counter_name = name
 
1077
        if _counters.has_key(counter_name):
 
1078
            raise AssertionError('%s is already used as a counter name'
 
1079
                                  % (counter_name,))
 
1080
        _counters[counter_name] = 0
 
1081
        self.addDetail(counter_name, content.Content(content.UTF8_TEXT,
 
1082
            lambda: ['%d' % (_counters[counter_name],)]))
 
1083
        def increment_counter(*args, **kwargs):
 
1084
            _counters[counter_name] += 1
 
1085
        label = 'count %s calls' % (counter_name,)
 
1086
        hooks.install_named_hook(name, increment_counter, label)
 
1087
        self.addCleanup(hooks.uninstall_named_hook, name, label)
 
1088
 
 
1089
    def _install_config_stats_hooks(self):
 
1090
        """Install config hooks to count hook calls.
 
1091
 
 
1092
        """
 
1093
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
 
1094
            self.install_counter_hook(config.ConfigHooks, hook_name,
 
1095
                                       'config.%s' % (hook_name,))
 
1096
 
 
1097
        # The OldConfigHooks are private and need special handling to protect
 
1098
        # against recursive tests (tests that run other tests), so we just do
 
1099
        # manually what registering them into _builtin_known_hooks will provide
 
1100
        # us.
 
1101
        self.overrideAttr(config, 'OldConfigHooks', config._OldConfigHooks())
 
1102
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
 
1103
            self.install_counter_hook(config.OldConfigHooks, hook_name,
 
1104
                                      'old_config.%s' % (hook_name,))
851
1105
 
852
1106
    def _clear_debug_flags(self):
853
1107
        """Prevent externally set debug flags affecting tests.
864
1118
 
865
1119
    def _clear_hooks(self):
866
1120
        # prevent hooks affecting tests
 
1121
        known_hooks = hooks.known_hooks
867
1122
        self._preserved_hooks = {}
868
 
        for key, factory in hooks.known_hooks.items():
869
 
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
870
 
            current_hooks = hooks.known_hooks_key_to_object(key)
 
1123
        for key, (parent, name) in known_hooks.iter_parent_objects():
 
1124
            current_hooks = getattr(parent, name)
871
1125
            self._preserved_hooks[parent] = (name, current_hooks)
 
1126
        self._preserved_lazy_hooks = hooks._lazy_hooks
 
1127
        hooks._lazy_hooks = {}
872
1128
        self.addCleanup(self._restoreHooks)
873
 
        for key, factory in hooks.known_hooks.items():
874
 
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
 
1129
        for key, (parent, name) in known_hooks.iter_parent_objects():
 
1130
            factory = known_hooks.get(key)
875
1131
            setattr(parent, name, factory())
876
1132
        # this hook should always be installed
877
1133
        request._install_hook()
906
1162
        # break some locks on purpose and should be taken into account by
907
1163
        # considering that breaking a lock is just a dirty way of releasing it.
908
1164
        if len(acquired_locks) != (len(released_locks) + len(broken_locks)):
909
 
            message = ('Different number of acquired and '
910
 
                       'released or broken locks. (%s, %s + %s)' %
911
 
                       (acquired_locks, released_locks, broken_locks))
 
1165
            message = (
 
1166
                'Different number of acquired and '
 
1167
                'released or broken locks.\n'
 
1168
                'acquired=%s\n'
 
1169
                'released=%s\n'
 
1170
                'broken=%s\n' %
 
1171
                (acquired_locks, released_locks, broken_locks))
912
1172
            if not self._lock_check_thorough:
913
1173
                # Rather than fail, just warn
914
1174
                print "Broken test %s: %s" % (self, message)
942
1202
 
943
1203
    def permit_dir(self, name):
944
1204
        """Permit a directory to be used by this test. See permit_url."""
945
 
        name_transport = _mod_transport.get_transport(name)
 
1205
        name_transport = _mod_transport.get_transport_from_path(name)
946
1206
        self.permit_url(name)
947
1207
        self.permit_url(name_transport.base)
948
1208
 
971
1231
            try:
972
1232
                workingtree.WorkingTree.open(path)
973
1233
            except (errors.NotBranchError, errors.NoWorkingTree):
974
 
                return
 
1234
                raise TestSkipped('Needs a working tree of bzr sources')
975
1235
        finally:
976
1236
            self.enable_directory_isolation()
977
1237
 
1027
1287
        self.addCleanup(transport_server.stop_server)
1028
1288
        # Obtain a real transport because if the server supplies a password, it
1029
1289
        # will be hidden from the base on the client side.
1030
 
        t = _mod_transport.get_transport(transport_server.get_url())
 
1290
        t = _mod_transport.get_transport_from_url(transport_server.get_url())
1031
1291
        # Some transport servers effectively chroot the backing transport;
1032
1292
        # others like SFTPServer don't - users of the transport can walk up the
1033
1293
        # transport to read the entire backing transport. This wouldn't matter
1064
1324
        # hook into bzr dir opening. This leaves a small window of error for
1065
1325
        # transport tests, but they are well known, and we can improve on this
1066
1326
        # step.
1067
 
        bzrdir.BzrDir.hooks.install_named_hook("pre_open",
 
1327
        controldir.ControlDir.hooks.install_named_hook("pre_open",
1068
1328
            self._preopen_isolate_transport, "Check bzr directories are safe.")
1069
1329
 
1070
1330
    def _ndiff_strings(self, a, b):
1089
1349
        except UnicodeError, e:
1090
1350
            # If we can't compare without getting a UnicodeError, then
1091
1351
            # obviously they are different
1092
 
            mutter('UnicodeError: %s', e)
 
1352
            trace.mutter('UnicodeError: %s', e)
1093
1353
        if message:
1094
1354
            message += '\n'
1095
1355
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
1134
1394
                         'st_mtime did not match')
1135
1395
        self.assertEqual(expected.st_ctime, actual.st_ctime,
1136
1396
                         'st_ctime did not match')
1137
 
        if sys.platform != 'win32':
 
1397
        if sys.platform == 'win32':
1138
1398
            # On Win32 both 'dev' and 'ino' cannot be trusted. In python2.4 it
1139
1399
            # is 'dev' that varies, in python 2.5 (6?) it is st_ino that is
1140
 
            # odd. Regardless we shouldn't actually try to assert anything
1141
 
            # about their values
 
1400
            # odd. We just force it to always be 0 to avoid any problems.
 
1401
            self.assertEqual(0, expected.st_dev)
 
1402
            self.assertEqual(0, actual.st_dev)
 
1403
            self.assertEqual(0, expected.st_ino)
 
1404
            self.assertEqual(0, actual.st_ino)
 
1405
        else:
1142
1406
            self.assertEqual(expected.st_dev, actual.st_dev,
1143
1407
                             'st_dev did not match')
1144
1408
            self.assertEqual(expected.st_ino, actual.st_ino,
1153
1417
                length, len(obj_with_len), obj_with_len))
1154
1418
 
1155
1419
    def assertLogsError(self, exception_class, func, *args, **kwargs):
1156
 
        """Assert that func(*args, **kwargs) quietly logs a specific exception.
 
1420
        """Assert that `func(*args, **kwargs)` quietly logs a specific error.
1157
1421
        """
1158
 
        from bzrlib import trace
1159
1422
        captured = []
1160
1423
        orig_log_exception_quietly = trace.log_exception_quietly
1161
1424
        try:
1162
1425
            def capture():
1163
1426
                orig_log_exception_quietly()
1164
 
                captured.append(sys.exc_info())
 
1427
                captured.append(sys.exc_info()[1])
1165
1428
            trace.log_exception_quietly = capture
1166
1429
            func(*args, **kwargs)
1167
1430
        finally:
1168
1431
            trace.log_exception_quietly = orig_log_exception_quietly
1169
1432
        self.assertLength(1, captured)
1170
 
        err = captured[0][1]
 
1433
        err = captured[0]
1171
1434
        self.assertIsInstance(err, exception_class)
1172
1435
        return err
1173
1436
 
1210
1473
        if haystack.find(needle) == -1:
1211
1474
            self.fail("string %r not found in '''%s'''" % (needle, haystack))
1212
1475
 
 
1476
    def assertNotContainsString(self, haystack, needle):
 
1477
        if haystack.find(needle) != -1:
 
1478
            self.fail("string %r found in '''%s'''" % (needle, haystack))
 
1479
 
1213
1480
    def assertSubset(self, sublist, superlist):
1214
1481
        """Assert that every entry in sublist is present in superlist."""
1215
1482
        missing = set(sublist) - set(superlist)
1304
1571
 
1305
1572
    def assertFileEqual(self, content, path):
1306
1573
        """Fail if path does not contain 'content'."""
1307
 
        self.failUnlessExists(path)
 
1574
        self.assertPathExists(path)
1308
1575
        f = file(path, 'rb')
1309
1576
        try:
1310
1577
            s = f.read()
1320
1587
        else:
1321
1588
            self.assertEqual(expected_docstring, obj.__doc__)
1322
1589
 
 
1590
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1323
1591
    def failUnlessExists(self, path):
 
1592
        return self.assertPathExists(path)
 
1593
 
 
1594
    def assertPathExists(self, path):
1324
1595
        """Fail unless path or paths, which may be abs or relative, exist."""
1325
1596
        if not isinstance(path, basestring):
1326
1597
            for p in path:
1327
 
                self.failUnlessExists(p)
 
1598
                self.assertPathExists(p)
1328
1599
        else:
1329
 
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1600
            self.assertTrue(osutils.lexists(path),
 
1601
                path + " does not exist")
1330
1602
 
 
1603
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1331
1604
    def failIfExists(self, path):
 
1605
        return self.assertPathDoesNotExist(path)
 
1606
 
 
1607
    def assertPathDoesNotExist(self, path):
1332
1608
        """Fail if path or paths, which may be abs or relative, exist."""
1333
1609
        if not isinstance(path, basestring):
1334
1610
            for p in path:
1335
 
                self.failIfExists(p)
 
1611
                self.assertPathDoesNotExist(p)
1336
1612
        else:
1337
 
            self.failIf(osutils.lexists(path),path+" exists")
 
1613
            self.assertFalse(osutils.lexists(path),
 
1614
                path + " exists")
1338
1615
 
1339
1616
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
1340
1617
        """A helper for callDeprecated and applyDeprecated.
1366
1643
        not other callers that go direct to the warning module.
1367
1644
 
1368
1645
        To test that a deprecated method raises an error, do something like
1369
 
        this::
 
1646
        this (remember that both assertRaises and applyDeprecated delays *args
 
1647
        and **kwargs passing)::
1370
1648
 
1371
1649
            self.assertRaises(errors.ReservedId,
1372
1650
                self.applyDeprecated,
1450
1728
        return result
1451
1729
 
1452
1730
    def _startLogFile(self):
1453
 
        """Send bzr and test log messages to a temporary file.
1454
 
 
1455
 
        The file is removed as the test is torn down.
1456
 
        """
1457
 
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
1458
 
        self._log_file = os.fdopen(fileno, 'w+')
1459
 
        self._log_memento = bzrlib.trace.push_log_file(self._log_file)
1460
 
        self._log_file_name = name
 
1731
        """Setup a in-memory target for bzr and testcase log messages"""
 
1732
        pseudo_log_file = StringIO()
 
1733
        def _get_log_contents_for_weird_testtools_api():
 
1734
            return [pseudo_log_file.getvalue().decode(
 
1735
                "utf-8", "replace").encode("utf-8")]
 
1736
        self.addDetail("log", content.Content(content.ContentType("text",
 
1737
            "plain", {"charset": "utf8"}),
 
1738
            _get_log_contents_for_weird_testtools_api))
 
1739
        self._log_file = pseudo_log_file
 
1740
        self._log_memento = trace.push_log_file(self._log_file)
1461
1741
        self.addCleanup(self._finishLogFile)
1462
1742
 
1463
1743
    def _finishLogFile(self):
1464
 
        """Finished with the log file.
1465
 
 
1466
 
        Close the file and delete it, unless setKeepLogfile was called.
1467
 
        """
1468
 
        if bzrlib.trace._trace_file:
 
1744
        """Flush and dereference the in-memory log for this testcase"""
 
1745
        if trace._trace_file:
1469
1746
            # flush the log file, to get all content
1470
 
            bzrlib.trace._trace_file.flush()
1471
 
        bzrlib.trace.pop_log_file(self._log_memento)
1472
 
        # Cache the log result and delete the file on disk
1473
 
        self._get_log(False)
 
1747
            trace._trace_file.flush()
 
1748
        trace.pop_log_file(self._log_memento)
 
1749
        # The logging module now tracks references for cleanup so discard ours
 
1750
        del self._log_memento
1474
1751
 
1475
1752
    def thisFailsStrictLockCheck(self):
1476
1753
        """It is known that this test would fail with -Dstrict_locks.
1485
1762
        """
1486
1763
        debug.debug_flags.discard('strict_locks')
1487
1764
 
1488
 
    def addCleanup(self, callable, *args, **kwargs):
1489
 
        """Arrange to run a callable when this case is torn down.
1490
 
 
1491
 
        Callables are run in the reverse of the order they are registered,
1492
 
        ie last-in first-out.
1493
 
        """
1494
 
        self._cleanups.append((callable, args, kwargs))
1495
 
 
1496
1765
    def overrideAttr(self, obj, attr_name, new=_unitialized_attr):
1497
1766
        """Overrides an object attribute restoring it after the test.
1498
1767
 
 
1768
        :note: This should be used with discretion; you should think about
 
1769
        whether it's better to make the code testable without monkey-patching.
 
1770
 
1499
1771
        :param obj: The object that will be mutated.
1500
1772
 
1501
1773
        :param attr_name: The attribute name we want to preserve/override in
1512
1784
            setattr(obj, attr_name, new)
1513
1785
        return value
1514
1786
 
 
1787
    def overrideEnv(self, name, new):
 
1788
        """Set an environment variable, and reset it after the test.
 
1789
 
 
1790
        :param name: The environment variable name.
 
1791
 
 
1792
        :param new: The value to set the variable to. If None, the 
 
1793
            variable is deleted from the environment.
 
1794
 
 
1795
        :returns: The actual variable value.
 
1796
        """
 
1797
        value = osutils.set_or_unset_env(name, new)
 
1798
        self.addCleanup(osutils.set_or_unset_env, name, value)
 
1799
        return value
 
1800
 
 
1801
    def recordCalls(self, obj, attr_name):
 
1802
        """Monkeypatch in a wrapper that will record calls.
 
1803
 
 
1804
        The monkeypatch is automatically removed when the test concludes.
 
1805
 
 
1806
        :param obj: The namespace holding the reference to be replaced;
 
1807
            typically a module, class, or object.
 
1808
        :param attr_name: A string for the name of the attribute to 
 
1809
            patch.
 
1810
        :returns: A list that will be extended with one item every time the
 
1811
            function is called, with a tuple of (args, kwargs).
 
1812
        """
 
1813
        calls = []
 
1814
 
 
1815
        def decorator(*args, **kwargs):
 
1816
            calls.append((args, kwargs))
 
1817
            return orig(*args, **kwargs)
 
1818
        orig = self.overrideAttr(obj, attr_name, decorator)
 
1819
        return calls
 
1820
 
1515
1821
    def _cleanEnvironment(self):
1516
 
        new_env = {
1517
 
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
1518
 
            'HOME': os.getcwd(),
1519
 
            # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
1520
 
            # tests do check our impls match APPDATA
1521
 
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
1522
 
            'VISUAL': None,
1523
 
            'EDITOR': None,
1524
 
            'BZR_EMAIL': None,
1525
 
            'BZREMAIL': None, # may still be present in the environment
1526
 
            'EMAIL': 'jrandom@example.com', # set EMAIL as bzr does not guess
1527
 
            'BZR_PROGRESS_BAR': None,
1528
 
            'BZR_LOG': None,
1529
 
            'BZR_PLUGIN_PATH': None,
1530
 
            'BZR_DISABLE_PLUGINS': None,
1531
 
            'BZR_PLUGINS_AT': None,
1532
 
            'BZR_CONCURRENCY': None,
1533
 
            # Make sure that any text ui tests are consistent regardless of
1534
 
            # the environment the test case is run in; you may want tests that
1535
 
            # test other combinations.  'dumb' is a reasonable guess for tests
1536
 
            # going to a pipe or a StringIO.
1537
 
            'TERM': 'dumb',
1538
 
            'LINES': '25',
1539
 
            'COLUMNS': '80',
1540
 
            'BZR_COLUMNS': '80',
1541
 
            # SSH Agent
1542
 
            'SSH_AUTH_SOCK': None,
1543
 
            # Proxies
1544
 
            'http_proxy': None,
1545
 
            'HTTP_PROXY': None,
1546
 
            'https_proxy': None,
1547
 
            'HTTPS_PROXY': None,
1548
 
            'no_proxy': None,
1549
 
            'NO_PROXY': None,
1550
 
            'all_proxy': None,
1551
 
            'ALL_PROXY': None,
1552
 
            # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
1553
 
            # least. If you do (care), please update this comment
1554
 
            # -- vila 20080401
1555
 
            'ftp_proxy': None,
1556
 
            'FTP_PROXY': None,
1557
 
            'BZR_REMOTE_PATH': None,
1558
 
            # Generally speaking, we don't want apport reporting on crashes in
1559
 
            # the test envirnoment unless we're specifically testing apport,
1560
 
            # so that it doesn't leak into the real system environment.  We
1561
 
            # use an env var so it propagates to subprocesses.
1562
 
            'APPORT_DISABLE': '1',
1563
 
        }
1564
 
        self._old_env = {}
1565
 
        self.addCleanup(self._restoreEnvironment)
1566
 
        for name, value in new_env.iteritems():
1567
 
            self._captureVar(name, value)
1568
 
 
1569
 
    def _captureVar(self, name, newvalue):
1570
 
        """Set an environment variable, and reset it when finished."""
1571
 
        self._old_env[name] = osutils.set_or_unset_env(name, newvalue)
1572
 
 
1573
 
    def _restoreEnvironment(self):
1574
 
        for name, value in self._old_env.iteritems():
1575
 
            osutils.set_or_unset_env(name, value)
 
1822
        for name, value in isolated_environ.iteritems():
 
1823
            self.overrideEnv(name, value)
1576
1824
 
1577
1825
    def _restoreHooks(self):
1578
1826
        for klass, (name, hooks) in self._preserved_hooks.items():
1579
1827
            setattr(klass, name, hooks)
 
1828
        self._preserved_hooks.clear()
 
1829
        bzrlib.hooks._lazy_hooks = self._preserved_lazy_hooks
 
1830
        self._preserved_lazy_hooks.clear()
1580
1831
 
1581
1832
    def knownFailure(self, reason):
1582
 
        """This test has failed for some known reason."""
1583
 
        raise KnownFailure(reason)
 
1833
        """Declare that this test fails for a known reason
 
1834
 
 
1835
        Tests that are known to fail should generally be using expectedFailure
 
1836
        with an appropriate reverse assertion if a change could cause the test
 
1837
        to start passing. Conversely if the test has no immediate prospect of
 
1838
        succeeding then using skip is more suitable.
 
1839
 
 
1840
        When this method is called while an exception is being handled, that
 
1841
        traceback will be used, otherwise a new exception will be thrown to
 
1842
        provide one but won't be reported.
 
1843
        """
 
1844
        self._add_reason(reason)
 
1845
        try:
 
1846
            exc_info = sys.exc_info()
 
1847
            if exc_info != (None, None, None):
 
1848
                self._report_traceback(exc_info)
 
1849
            else:
 
1850
                try:
 
1851
                    raise self.failureException(reason)
 
1852
                except self.failureException:
 
1853
                    exc_info = sys.exc_info()
 
1854
            # GZ 02-08-2011: Maybe cleanup this err.exc_info attribute too?
 
1855
            raise testtools.testcase._ExpectedFailure(exc_info)
 
1856
        finally:
 
1857
            del exc_info
 
1858
 
 
1859
    def _suppress_log(self):
 
1860
        """Remove the log info from details."""
 
1861
        self.discardDetail('log')
1584
1862
 
1585
1863
    def _do_skip(self, result, reason):
 
1864
        self._suppress_log()
1586
1865
        addSkip = getattr(result, 'addSkip', None)
1587
1866
        if not callable(addSkip):
1588
1867
            result.addSuccess(result)
1591
1870
 
1592
1871
    @staticmethod
1593
1872
    def _do_known_failure(self, result, e):
 
1873
        self._suppress_log()
1594
1874
        err = sys.exc_info()
1595
1875
        addExpectedFailure = getattr(result, 'addExpectedFailure', None)
1596
1876
        if addExpectedFailure is not None:
1604
1884
            reason = 'No reason given'
1605
1885
        else:
1606
1886
            reason = e.args[0]
 
1887
        self._suppress_log ()
1607
1888
        addNotApplicable = getattr(result, 'addNotApplicable', None)
1608
1889
        if addNotApplicable is not None:
1609
1890
            result.addNotApplicable(self, reason)
1611
1892
            self._do_skip(result, reason)
1612
1893
 
1613
1894
    @staticmethod
 
1895
    def _report_skip(self, result, err):
 
1896
        """Override the default _report_skip.
 
1897
 
 
1898
        We want to strip the 'log' detail. If we waint until _do_skip, it has
 
1899
        already been formatted into the 'reason' string, and we can't pull it
 
1900
        out again.
 
1901
        """
 
1902
        self._suppress_log()
 
1903
        super(TestCase, self)._report_skip(self, result, err)
 
1904
 
 
1905
    @staticmethod
 
1906
    def _report_expected_failure(self, result, err):
 
1907
        """Strip the log.
 
1908
 
 
1909
        See _report_skip for motivation.
 
1910
        """
 
1911
        self._suppress_log()
 
1912
        super(TestCase, self)._report_expected_failure(self, result, err)
 
1913
 
 
1914
    @staticmethod
1614
1915
    def _do_unsupported_or_skip(self, result, e):
1615
1916
        reason = e.args[0]
 
1917
        self._suppress_log()
1616
1918
        addNotSupported = getattr(result, 'addNotSupported', None)
1617
1919
        if addNotSupported is not None:
1618
1920
            result.addNotSupported(self, reason)
1644
1946
            self._benchtime += time.time() - start
1645
1947
 
1646
1948
    def log(self, *args):
1647
 
        mutter(*args)
1648
 
 
1649
 
    def _get_log(self, keep_log_file=False):
1650
 
        """Internal helper to get the log from bzrlib.trace for this test.
1651
 
 
1652
 
        Please use self.getDetails, or self.get_log to access this in test case
1653
 
        code.
1654
 
 
1655
 
        :param keep_log_file: When True, if the log is still a file on disk
1656
 
            leave it as a file on disk. When False, if the log is still a file
1657
 
            on disk, the log file is deleted and the log preserved as
1658
 
            self._log_contents.
1659
 
        :return: A string containing the log.
1660
 
        """
1661
 
        if self._log_contents is not None:
1662
 
            try:
1663
 
                self._log_contents.decode('utf8')
1664
 
            except UnicodeDecodeError:
1665
 
                unicodestr = self._log_contents.decode('utf8', 'replace')
1666
 
                self._log_contents = unicodestr.encode('utf8')
1667
 
            return self._log_contents
1668
 
        import bzrlib.trace
1669
 
        if bzrlib.trace._trace_file:
1670
 
            # flush the log file, to get all content
1671
 
            bzrlib.trace._trace_file.flush()
1672
 
        if self._log_file_name is not None:
1673
 
            logfile = open(self._log_file_name)
1674
 
            try:
1675
 
                log_contents = logfile.read()
1676
 
            finally:
1677
 
                logfile.close()
1678
 
            try:
1679
 
                log_contents.decode('utf8')
1680
 
            except UnicodeDecodeError:
1681
 
                unicodestr = log_contents.decode('utf8', 'replace')
1682
 
                log_contents = unicodestr.encode('utf8')
1683
 
            if not keep_log_file:
1684
 
                close_attempts = 0
1685
 
                max_close_attempts = 100
1686
 
                first_close_error = None
1687
 
                while close_attempts < max_close_attempts:
1688
 
                    close_attempts += 1
1689
 
                    try:
1690
 
                        self._log_file.close()
1691
 
                    except IOError, ioe:
1692
 
                        if ioe.errno is None:
1693
 
                            # No errno implies 'close() called during
1694
 
                            # concurrent operation on the same file object', so
1695
 
                            # retry.  Probably a thread is trying to write to
1696
 
                            # the log file.
1697
 
                            if first_close_error is None:
1698
 
                                first_close_error = ioe
1699
 
                            continue
1700
 
                        raise
1701
 
                    else:
1702
 
                        break
1703
 
                if close_attempts > 1:
1704
 
                    sys.stderr.write(
1705
 
                        'Unable to close log file on first attempt, '
1706
 
                        'will retry: %s\n' % (first_close_error,))
1707
 
                    if close_attempts == max_close_attempts:
1708
 
                        sys.stderr.write(
1709
 
                            'Unable to close log file after %d attempts.\n'
1710
 
                            % (max_close_attempts,))
1711
 
                self._log_file = None
1712
 
                # Permit multiple calls to get_log until we clean it up in
1713
 
                # finishLogFile
1714
 
                self._log_contents = log_contents
1715
 
                try:
1716
 
                    os.remove(self._log_file_name)
1717
 
                except OSError, e:
1718
 
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
1719
 
                        sys.stderr.write(('Unable to delete log file '
1720
 
                                             ' %r\n' % self._log_file_name))
1721
 
                    else:
1722
 
                        raise
1723
 
                self._log_file_name = None
1724
 
            return log_contents
1725
 
        else:
1726
 
            return "No log file content and no log file name."
 
1949
        trace.mutter(*args)
1727
1950
 
1728
1951
    def get_log(self):
1729
1952
        """Get a unicode string containing the log from bzrlib.trace.
1765
1988
 
1766
1989
        self.log('run bzr: %r', args)
1767
1990
        # FIXME: don't call into logging here
1768
 
        handler = logging.StreamHandler(stderr)
1769
 
        handler.setLevel(logging.INFO)
 
1991
        handler = trace.EncodedStreamHandler(stderr, errors="replace",
 
1992
            level=logging.INFO)
1770
1993
        logger = logging.getLogger('')
1771
1994
        logger.addHandler(handler)
1772
1995
        old_ui_factory = ui.ui_factory
1779
2002
 
1780
2003
        try:
1781
2004
            try:
1782
 
                result = self.apply_redirected(ui.ui_factory.stdin,
 
2005
                result = self.apply_redirected(
 
2006
                    ui.ui_factory.stdin,
1783
2007
                    stdout, stderr,
1784
 
                    bzrlib.commands.run_bzr_catch_user_errors,
 
2008
                    _mod_commands.run_bzr_catch_user_errors,
1785
2009
                    args)
1786
2010
            except KeyboardInterrupt:
1787
2011
                # Reraise KeyboardInterrupt with contents of redirected stdout
1929
2153
    def start_bzr_subprocess(self, process_args, env_changes=None,
1930
2154
                             skip_if_plan_to_signal=False,
1931
2155
                             working_dir=None,
1932
 
                             allow_plugins=False):
 
2156
                             allow_plugins=False, stderr=subprocess.PIPE):
1933
2157
        """Start bzr in a subprocess for testing.
1934
2158
 
1935
2159
        This starts a new Python interpreter and runs bzr in there.
1944
2168
            variables. A value of None will unset the env variable.
1945
2169
            The values must be strings. The change will only occur in the
1946
2170
            child, so you don't need to fix the environment after running.
1947
 
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
1948
 
            is not available.
 
2171
        :param skip_if_plan_to_signal: raise TestSkipped when true and system
 
2172
            doesn't support signalling subprocesses.
1949
2173
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
2174
        :param stderr: file to use for the subprocess's stderr.  Valid values
 
2175
            are those valid for the stderr argument of `subprocess.Popen`.
 
2176
            Default value is ``subprocess.PIPE``.
1950
2177
 
1951
2178
        :returns: Popen object for the started process.
1952
2179
        """
1953
2180
        if skip_if_plan_to_signal:
1954
 
            if not getattr(os, 'kill', None):
1955
 
                raise TestSkipped("os.kill not available.")
 
2181
            if os.name != "posix":
 
2182
                raise TestSkipped("Sending signals not supported")
1956
2183
 
1957
2184
        if env_changes is None:
1958
2185
            env_changes = {}
 
2186
        # Because $HOME is set to a tempdir for the context of a test, modules
 
2187
        # installed in the user dir will not be found unless $PYTHONUSERBASE
 
2188
        # gets set to the computed directory of this parent process.
 
2189
        if site.USER_BASE is not None:
 
2190
            env_changes["PYTHONUSERBASE"] = site.USER_BASE
1959
2191
        old_env = {}
1960
2192
 
1961
2193
        def cleanup_environment():
1978
2210
            # so we will avoid using it on all platforms, just to
1979
2211
            # make sure the code path is used, and we don't break on win32
1980
2212
            cleanup_environment()
 
2213
            # Include the subprocess's log file in the test details, in case
 
2214
            # the test fails due to an error in the subprocess.
 
2215
            self._add_subprocess_log(trace._get_bzr_log_filename())
1981
2216
            command = [sys.executable]
1982
2217
            # frozen executables don't need the path to bzr
1983
2218
            if getattr(sys, "frozen", None) is None:
1987
2222
            command.extend(process_args)
1988
2223
            process = self._popen(command, stdin=subprocess.PIPE,
1989
2224
                                  stdout=subprocess.PIPE,
1990
 
                                  stderr=subprocess.PIPE)
 
2225
                                  stderr=stderr)
1991
2226
        finally:
1992
2227
            restore_environment()
1993
2228
            if cwd is not None:
1995
2230
 
1996
2231
        return process
1997
2232
 
 
2233
    def _add_subprocess_log(self, log_file_path):
 
2234
        if len(self._log_files) == 0:
 
2235
            # Register an addCleanup func.  We do this on the first call to
 
2236
            # _add_subprocess_log rather than in TestCase.setUp so that this
 
2237
            # addCleanup is registered after any cleanups for tempdirs that
 
2238
            # subclasses might create, which will probably remove the log file
 
2239
            # we want to read.
 
2240
            self.addCleanup(self._subprocess_log_cleanup)
 
2241
        # self._log_files is a set, so if a log file is reused we won't grab it
 
2242
        # twice.
 
2243
        self._log_files.add(log_file_path)
 
2244
 
 
2245
    def _subprocess_log_cleanup(self):
 
2246
        for count, log_file_path in enumerate(self._log_files):
 
2247
            # We use buffer_now=True to avoid holding the file open beyond
 
2248
            # the life of this function, which might interfere with e.g.
 
2249
            # cleaning tempdirs on Windows.
 
2250
            # XXX: Testtools 0.9.5 doesn't have the content_from_file helper
 
2251
            #detail_content = content.content_from_file(
 
2252
            #    log_file_path, buffer_now=True)
 
2253
            with open(log_file_path, 'rb') as log_file:
 
2254
                log_file_bytes = log_file.read()
 
2255
            detail_content = content.Content(content.ContentType("text",
 
2256
                "plain", {"charset": "utf8"}), lambda: [log_file_bytes])
 
2257
            self.addDetail("start_bzr_subprocess-log-%d" % (count,),
 
2258
                detail_content)
 
2259
 
1998
2260
    def _popen(self, *args, **kwargs):
1999
2261
        """Place a call to Popen.
2000
2262
 
2037
2299
        if retcode is not None and retcode != process.returncode:
2038
2300
            if process_args is None:
2039
2301
                process_args = "(unknown args)"
2040
 
            mutter('Output of bzr %s:\n%s', process_args, out)
2041
 
            mutter('Error for bzr %s:\n%s', process_args, err)
 
2302
            trace.mutter('Output of bzr %s:\n%s', process_args, out)
 
2303
            trace.mutter('Error for bzr %s:\n%s', process_args, err)
2042
2304
            self.fail('Command bzr %s failed with retcode %s != %s'
2043
2305
                      % (process_args, retcode, process.returncode))
2044
2306
        return [out, err]
2045
2307
 
2046
 
    def check_inventory_shape(self, inv, shape):
2047
 
        """Compare an inventory to a list of expected names.
 
2308
    def check_tree_shape(self, tree, shape):
 
2309
        """Compare a tree to a list of expected names.
2048
2310
 
2049
2311
        Fail if they are not precisely equal.
2050
2312
        """
2051
2313
        extras = []
2052
2314
        shape = list(shape)             # copy
2053
 
        for path, ie in inv.entries():
 
2315
        for path, ie in tree.iter_entries_by_dir():
2054
2316
            name = path.replace('\\', '/')
2055
2317
            if ie.kind == 'directory':
2056
2318
                name = name + '/'
2057
 
            if name in shape:
 
2319
            if name == "/":
 
2320
                pass # ignore root entry
 
2321
            elif name in shape:
2058
2322
                shape.remove(name)
2059
2323
            else:
2060
2324
                extras.append(name)
2101
2365
 
2102
2366
        Tests that expect to provoke LockContention errors should call this.
2103
2367
        """
2104
 
        self.overrideAttr(bzrlib.lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
 
2368
        self.overrideAttr(lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
2105
2369
 
2106
2370
    def make_utf8_encoded_stringio(self, encoding_type=None):
2107
2371
        """Return a StringIOWrapper instance, that will encode Unicode
2120
2384
        from bzrlib.smart import request
2121
2385
        request_handlers = request.request_handlers
2122
2386
        orig_method = request_handlers.get(verb)
 
2387
        orig_info = request_handlers.get_info(verb)
2123
2388
        request_handlers.remove(verb)
2124
 
        self.addCleanup(request_handlers.register, verb, orig_method)
 
2389
        self.addCleanup(request_handlers.register, verb, orig_method,
 
2390
            info=orig_info)
2125
2391
 
2126
2392
 
2127
2393
class CapturedCall(object):
2150
2416
class TestCaseWithMemoryTransport(TestCase):
2151
2417
    """Common test class for tests that do not need disk resources.
2152
2418
 
2153
 
    Tests that need disk resources should derive from TestCaseWithTransport.
 
2419
    Tests that need disk resources should derive from TestCaseInTempDir
 
2420
    orTestCaseWithTransport.
2154
2421
 
2155
2422
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
2156
2423
 
2157
 
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
2424
    For TestCaseWithMemoryTransport the ``test_home_dir`` is set to the name of
2158
2425
    a directory which does not exist. This serves to help ensure test isolation
2159
 
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
2160
 
    must exist. However, TestCaseWithMemoryTransport does not offer local
2161
 
    file defaults for the transport in tests, nor does it obey the command line
 
2426
    is preserved. ``test_dir`` is set to the TEST_ROOT, as is cwd, because they
 
2427
    must exist. However, TestCaseWithMemoryTransport does not offer local file
 
2428
    defaults for the transport in tests, nor does it obey the command line
2162
2429
    override, so tests that accidentally write to the common directory should
2163
2430
    be rare.
2164
2431
 
2165
 
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
2166
 
    a .bzr directory that stops us ascending higher into the filesystem.
 
2432
    :cvar TEST_ROOT: Directory containing all temporary directories, plus a
 
2433
        ``.bzr`` directory that stops us ascending higher into the filesystem.
2167
2434
    """
2168
2435
 
2169
2436
    TEST_ROOT = None
2187
2454
 
2188
2455
        :param relpath: a path relative to the base url.
2189
2456
        """
2190
 
        t = _mod_transport.get_transport(self.get_url(relpath))
 
2457
        t = _mod_transport.get_transport_from_url(self.get_url(relpath))
2191
2458
        self.assertFalse(t.is_readonly())
2192
2459
        return t
2193
2460
 
2199
2466
 
2200
2467
        :param relpath: a path relative to the base url.
2201
2468
        """
2202
 
        t = _mod_transport.get_transport(self.get_readonly_url(relpath))
 
2469
        t = _mod_transport.get_transport_from_url(
 
2470
            self.get_readonly_url(relpath))
2203
2471
        self.assertTrue(t.is_readonly())
2204
2472
        return t
2205
2473
 
2326
2594
        real branch.
2327
2595
        """
2328
2596
        root = TestCaseWithMemoryTransport.TEST_ROOT
2329
 
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
2597
        # Make sure we get a readable and accessible home for .bzr.log
 
2598
        # and/or config files, and not fallback to weird defaults (see
 
2599
        # http://pad.lv/825027).
 
2600
        self.assertIs(None, os.environ.get('BZR_HOME', None))
 
2601
        os.environ['BZR_HOME'] = root
 
2602
        wt = controldir.ControlDir.create_standalone_workingtree(root)
 
2603
        del os.environ['BZR_HOME']
 
2604
        # Hack for speed: remember the raw bytes of the dirstate file so that
 
2605
        # we don't need to re-open the wt to check it hasn't changed.
 
2606
        TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE = (
 
2607
            wt.control_transport.get_bytes('dirstate'))
2330
2608
 
2331
2609
    def _check_safety_net(self):
2332
2610
        """Check that the safety .bzr directory have not been touched.
2335
2613
        propagating. This method ensures than a test did not leaked.
2336
2614
        """
2337
2615
        root = TestCaseWithMemoryTransport.TEST_ROOT
2338
 
        self.permit_url(_mod_transport.get_transport(root).base)
2339
 
        wt = workingtree.WorkingTree.open(root)
2340
 
        last_rev = wt.last_revision()
2341
 
        if last_rev != 'null:':
 
2616
        t = _mod_transport.get_transport_from_path(root)
 
2617
        self.permit_url(t.base)
 
2618
        if (t.get_bytes('.bzr/checkout/dirstate') != 
 
2619
                TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE):
2342
2620
            # The current test have modified the /bzr directory, we need to
2343
2621
            # recreate a new one or all the followng tests will fail.
2344
2622
            # If you need to inspect its content uncomment the following line
2376
2654
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
2377
2655
        self.permit_dir(self.test_dir)
2378
2656
 
2379
 
    def make_branch(self, relpath, format=None):
 
2657
    def make_branch(self, relpath, format=None, name=None):
2380
2658
        """Create a branch on the transport at relpath."""
2381
2659
        repo = self.make_repository(relpath, format=format)
2382
 
        return repo.bzrdir.create_branch()
 
2660
        return repo.bzrdir.create_branch(append_revisions_only=False,
 
2661
                                         name=name)
 
2662
 
 
2663
    def get_default_format(self):
 
2664
        return 'default'
 
2665
 
 
2666
    def resolve_format(self, format):
 
2667
        """Resolve an object to a ControlDir format object.
 
2668
 
 
2669
        The initial format object can either already be
 
2670
        a ControlDirFormat, None (for the default format),
 
2671
        or a string with the name of the control dir format.
 
2672
 
 
2673
        :param format: Object to resolve
 
2674
        :return A ControlDirFormat instance
 
2675
        """
 
2676
        if format is None:
 
2677
            format = self.get_default_format()
 
2678
        if isinstance(format, basestring):
 
2679
            format = controldir.format_registry.make_bzrdir(format)
 
2680
        return format
2383
2681
 
2384
2682
    def make_bzrdir(self, relpath, format=None):
2385
2683
        try:
2389
2687
            t = _mod_transport.get_transport(maybe_a_url)
2390
2688
            if len(segments) > 1 and segments[-1] not in ('', '.'):
2391
2689
                t.ensure_base()
2392
 
            if format is None:
2393
 
                format = 'default'
2394
 
            if isinstance(format, basestring):
2395
 
                format = bzrdir.format_registry.make_bzrdir(format)
 
2690
            format = self.resolve_format(format)
2396
2691
            return format.initialize_on_transport(t)
2397
2692
        except errors.UninitializableFormat:
2398
2693
            raise TestSkipped("Format %s is not initializable." % format)
2399
2694
 
2400
 
    def make_repository(self, relpath, shared=False, format=None):
 
2695
    def make_repository(self, relpath, shared=None, format=None):
2401
2696
        """Create a repository on our default transport at relpath.
2402
2697
 
2403
2698
        Note that relpath must be a relative path, not a full url.
2414
2709
            backing_server = self.get_server()
2415
2710
        smart_server = test_server.SmartTCPServer_for_testing()
2416
2711
        self.start_server(smart_server, backing_server)
2417
 
        remote_transport = _mod_transport.get_transport(smart_server.get_url()
 
2712
        remote_transport = _mod_transport.get_transport_from_url(smart_server.get_url()
2418
2713
                                                   ).clone(path)
2419
2714
        return remote_transport
2420
2715
 
2431
2726
        test_home_dir = self.test_home_dir
2432
2727
        if isinstance(test_home_dir, unicode):
2433
2728
            test_home_dir = test_home_dir.encode(sys.getfilesystemencoding())
2434
 
        os.environ['HOME'] = test_home_dir
2435
 
        os.environ['BZR_HOME'] = test_home_dir
 
2729
        self.overrideEnv('HOME', test_home_dir)
 
2730
        self.overrideEnv('BZR_HOME', test_home_dir)
2436
2731
 
2437
2732
    def setUp(self):
2438
2733
        super(TestCaseWithMemoryTransport, self).setUp()
2439
 
        # Ensure that ConnectedTransport doesn't leak sockets
2440
 
        def get_transport_with_cleanup(*args, **kwargs):
2441
 
            t = orig_get_transport(*args, **kwargs)
2442
 
            if isinstance(t, _mod_transport.ConnectedTransport):
2443
 
                self.addCleanup(t.disconnect)
2444
 
            return t
2445
 
 
2446
 
        orig_get_transport = self.overrideAttr(_mod_transport, 'get_transport',
2447
 
                                               get_transport_with_cleanup)
 
2734
 
 
2735
        def _add_disconnect_cleanup(transport):
 
2736
            """Schedule disconnection of given transport at test cleanup
 
2737
 
 
2738
            This needs to happen for all connected transports or leaks occur.
 
2739
 
 
2740
            Note reconnections may mean we call disconnect multiple times per
 
2741
            transport which is suboptimal but seems harmless.
 
2742
            """
 
2743
            self.addCleanup(transport.disconnect)
 
2744
 
 
2745
        _mod_transport.Transport.hooks.install_named_hook('post_connect',
 
2746
            _add_disconnect_cleanup, None)
 
2747
 
2448
2748
        self._make_test_root()
2449
2749
        self.addCleanup(os.chdir, os.getcwdu())
2450
2750
        self.makeAndChdirToTestDir()
2456
2756
    def setup_smart_server_with_call_log(self):
2457
2757
        """Sets up a smart server as the transport server with a call log."""
2458
2758
        self.transport_server = test_server.SmartTCPServer_for_testing
 
2759
        self.hpss_connections = []
2459
2760
        self.hpss_calls = []
2460
2761
        import traceback
2461
2762
        # Skip the current stack down to the caller of
2464
2765
        def capture_hpss_call(params):
2465
2766
            self.hpss_calls.append(
2466
2767
                CapturedCall(params, prefix_length))
 
2768
        def capture_connect(transport):
 
2769
            self.hpss_connections.append(transport)
2467
2770
        client._SmartClient.hooks.install_named_hook(
2468
2771
            'call', capture_hpss_call, None)
 
2772
        _mod_transport.Transport.hooks.install_named_hook(
 
2773
            'post_connect', capture_connect, None)
2469
2774
 
2470
2775
    def reset_smart_call_log(self):
2471
2776
        self.hpss_calls = []
 
2777
        self.hpss_connections = []
2472
2778
 
2473
2779
 
2474
2780
class TestCaseInTempDir(TestCaseWithMemoryTransport):
2493
2799
 
2494
2800
    OVERRIDE_PYTHON = 'python'
2495
2801
 
 
2802
    def setUp(self):
 
2803
        super(TestCaseInTempDir, self).setUp()
 
2804
        # Remove the protection set in isolated_environ, we have a proper
 
2805
        # access to disk resources now.
 
2806
        self.overrideEnv('BZR_LOG', None)
 
2807
 
2496
2808
    def check_file_contents(self, filename, expect):
2497
2809
        self.log("check contents of file %s" % filename)
2498
2810
        f = file(filename)
2538
2850
        # stacking policy to honour; create a bzr dir with an unshared
2539
2851
        # repository (but not a branch - our code would be trying to escape
2540
2852
        # then!) to stop them, and permit it to be read.
2541
 
        # control = bzrdir.BzrDir.create(self.test_base_dir)
 
2853
        # control = controldir.ControlDir.create(self.test_base_dir)
2542
2854
        # control.create_repository()
2543
2855
        self.test_home_dir = self.test_base_dir + '/home'
2544
2856
        os.mkdir(self.test_home_dir)
2579
2891
                "a list or a tuple. Got %r instead" % (shape,))
2580
2892
        # It's OK to just create them using forward slashes on windows.
2581
2893
        if transport is None or transport.is_readonly():
2582
 
            transport = _mod_transport.get_transport(".")
 
2894
            transport = _mod_transport.get_transport_from_path(".")
2583
2895
        for name in shape:
2584
2896
            self.assertIsInstance(name, basestring)
2585
2897
            if name[-1] == '/':
2670
2982
        # this obviously requires a format that supports branch references
2671
2983
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
2672
2984
        # RBC 20060208
 
2985
        format = self.resolve_format(format=format)
 
2986
        if not format.supports_workingtrees:
 
2987
            b = self.make_branch(relpath+'.branch', format=format)
 
2988
            return b.create_checkout(relpath, lightweight=True)
2673
2989
        b = self.make_branch(relpath, format=format)
2674
2990
        try:
2675
2991
            return b.bzrdir.create_workingtree()
2680
2996
            if self.vfs_transport_factory is test_server.LocalURLServer:
2681
2997
                # the branch is colocated on disk, we cannot create a checkout.
2682
2998
                # hopefully callers will expect this.
2683
 
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
 
2999
                local_controldir = controldir.ControlDir.open(
 
3000
                    self.get_vfs_only_url(relpath))
2684
3001
                wt = local_controldir.create_workingtree()
2685
3002
                if wt.branch._format != b._format:
2686
3003
                    wt._branch = b
2974
3291
                            result_decorators=result_decorators,
2975
3292
                            )
2976
3293
    runner.stop_on_failure=stop_on_failure
 
3294
    if isinstance(suite, unittest.TestSuite):
 
3295
        # Empty out _tests list of passed suite and populate new TestSuite
 
3296
        suite._tests[:], suite = [], TestSuite(suite)
2977
3297
    # built in decorator factories:
2978
3298
    decorators = [
2979
3299
        random_order(random_seed, runner),
3012
3332
 
3013
3333
 
3014
3334
def fork_decorator(suite):
 
3335
    if getattr(os, "fork", None) is None:
 
3336
        raise errors.BzrCommandError("platform does not support fork,"
 
3337
            " try --parallel=subprocess instead.")
3015
3338
    concurrency = osutils.local_concurrency()
3016
3339
    if concurrency == 1:
3017
3340
        return suite
3074
3397
 
3075
3398
class TestDecorator(TestUtil.TestSuite):
3076
3399
    """A decorator for TestCase/TestSuite objects.
3077
 
    
3078
 
    Usually, subclasses should override __iter__(used when flattening test
3079
 
    suites), which we do to filter, reorder, parallelise and so on, run() and
3080
 
    debug().
 
3400
 
 
3401
    Contains rather than flattening suite passed on construction
3081
3402
    """
3082
3403
 
3083
 
    def __init__(self, suite):
3084
 
        TestUtil.TestSuite.__init__(self)
3085
 
        self.addTest(suite)
3086
 
 
3087
 
    def countTestCases(self):
3088
 
        cases = 0
3089
 
        for test in self:
3090
 
            cases += test.countTestCases()
3091
 
        return cases
3092
 
 
3093
 
    def debug(self):
3094
 
        for test in self:
3095
 
            test.debug()
3096
 
 
3097
 
    def run(self, result):
3098
 
        # Use iteration on self, not self._tests, to allow subclasses to hook
3099
 
        # into __iter__.
3100
 
        for test in self:
3101
 
            if result.shouldStop:
3102
 
                break
3103
 
            test.run(result)
3104
 
        return result
 
3404
    def __init__(self, suite=None):
 
3405
        super(TestDecorator, self).__init__()
 
3406
        if suite is not None:
 
3407
            self.addTest(suite)
 
3408
 
 
3409
    # Don't need subclass run method with suite emptying
 
3410
    run = unittest.TestSuite.run
3105
3411
 
3106
3412
 
3107
3413
class CountingDecorator(TestDecorator):
3118
3424
    """A decorator which excludes test matching an exclude pattern."""
3119
3425
 
3120
3426
    def __init__(self, suite, exclude_pattern):
3121
 
        TestDecorator.__init__(self, suite)
3122
 
        self.exclude_pattern = exclude_pattern
3123
 
        self.excluded = False
3124
 
 
3125
 
    def __iter__(self):
3126
 
        if self.excluded:
3127
 
            return iter(self._tests)
3128
 
        self.excluded = True
3129
 
        suite = exclude_tests_by_re(self, self.exclude_pattern)
3130
 
        del self._tests[:]
3131
 
        self.addTests(suite)
3132
 
        return iter(self._tests)
 
3427
        super(ExcludeDecorator, self).__init__(
 
3428
            exclude_tests_by_re(suite, exclude_pattern))
3133
3429
 
3134
3430
 
3135
3431
class FilterTestsDecorator(TestDecorator):
3136
3432
    """A decorator which filters tests to those matching a pattern."""
3137
3433
 
3138
3434
    def __init__(self, suite, pattern):
3139
 
        TestDecorator.__init__(self, suite)
3140
 
        self.pattern = pattern
3141
 
        self.filtered = False
3142
 
 
3143
 
    def __iter__(self):
3144
 
        if self.filtered:
3145
 
            return iter(self._tests)
3146
 
        self.filtered = True
3147
 
        suite = filter_suite_by_re(self, self.pattern)
3148
 
        del self._tests[:]
3149
 
        self.addTests(suite)
3150
 
        return iter(self._tests)
 
3435
        super(FilterTestsDecorator, self).__init__(
 
3436
            filter_suite_by_re(suite, pattern))
3151
3437
 
3152
3438
 
3153
3439
class RandomDecorator(TestDecorator):
3154
3440
    """A decorator which randomises the order of its tests."""
3155
3441
 
3156
3442
    def __init__(self, suite, random_seed, stream):
3157
 
        TestDecorator.__init__(self, suite)
3158
 
        self.random_seed = random_seed
3159
 
        self.randomised = False
3160
 
        self.stream = stream
3161
 
 
3162
 
    def __iter__(self):
3163
 
        if self.randomised:
3164
 
            return iter(self._tests)
3165
 
        self.randomised = True
3166
 
        self.stream.write("Randomizing test order using seed %s\n\n" %
3167
 
            (self.actual_seed()))
 
3443
        random_seed = self.actual_seed(random_seed)
 
3444
        stream.write("Randomizing test order using seed %s\n\n" %
 
3445
            (random_seed,))
3168
3446
        # Initialise the random number generator.
3169
 
        random.seed(self.actual_seed())
3170
 
        suite = randomize_suite(self)
3171
 
        del self._tests[:]
3172
 
        self.addTests(suite)
3173
 
        return iter(self._tests)
 
3447
        random.seed(random_seed)
 
3448
        super(RandomDecorator, self).__init__(randomize_suite(suite))
3174
3449
 
3175
 
    def actual_seed(self):
3176
 
        if self.random_seed == "now":
 
3450
    @staticmethod
 
3451
    def actual_seed(seed):
 
3452
        if seed == "now":
3177
3453
            # We convert the seed to a long to make it reuseable across
3178
3454
            # invocations (because the user can reenter it).
3179
 
            self.random_seed = long(time.time())
 
3455
            return long(time.time())
3180
3456
        else:
3181
3457
            # Convert the seed to a long if we can
3182
3458
            try:
3183
 
                self.random_seed = long(self.random_seed)
3184
 
            except:
 
3459
                return long(seed)
 
3460
            except (TypeError, ValueError):
3185
3461
                pass
3186
 
        return self.random_seed
 
3462
        return seed
3187
3463
 
3188
3464
 
3189
3465
class TestFirstDecorator(TestDecorator):
3190
3466
    """A decorator which moves named tests to the front."""
3191
3467
 
3192
3468
    def __init__(self, suite, pattern):
3193
 
        TestDecorator.__init__(self, suite)
3194
 
        self.pattern = pattern
3195
 
        self.filtered = False
3196
 
 
3197
 
    def __iter__(self):
3198
 
        if self.filtered:
3199
 
            return iter(self._tests)
3200
 
        self.filtered = True
3201
 
        suites = split_suite_by_re(self, self.pattern)
3202
 
        del self._tests[:]
3203
 
        self.addTests(suites)
3204
 
        return iter(self._tests)
 
3469
        super(TestFirstDecorator, self).__init__()
 
3470
        self.addTests(split_suite_by_re(suite, pattern))
3205
3471
 
3206
3472
 
3207
3473
def partition_tests(suite, count):
3239
3505
    """
3240
3506
    concurrency = osutils.local_concurrency()
3241
3507
    result = []
3242
 
    from subunit import TestProtocolClient, ProtocolTestCase
 
3508
    from subunit import ProtocolTestCase
3243
3509
    from subunit.test_results import AutoTimingTestResultDecorator
3244
3510
    class TestInOtherProcess(ProtocolTestCase):
3245
3511
        # Should be in subunit, I think. RBC.
3251
3517
            try:
3252
3518
                ProtocolTestCase.run(self, result)
3253
3519
            finally:
3254
 
                os.waitpid(self.pid, 0)
 
3520
                pid, status = os.waitpid(self.pid, 0)
 
3521
            # GZ 2011-10-18: If status is nonzero, should report to the result
 
3522
            #                that something went wrong.
3255
3523
 
3256
3524
    test_blocks = partition_tests(suite, concurrency)
 
3525
    # Clear the tests from the original suite so it doesn't keep them alive
 
3526
    suite._tests[:] = []
3257
3527
    for process_tests in test_blocks:
3258
 
        process_suite = TestUtil.TestSuite()
3259
 
        process_suite.addTests(process_tests)
 
3528
        process_suite = TestUtil.TestSuite(process_tests)
 
3529
        # Also clear each split list so new suite has only reference
 
3530
        process_tests[:] = []
3260
3531
        c2pread, c2pwrite = os.pipe()
3261
3532
        pid = os.fork()
3262
3533
        if pid == 0:
3263
 
            workaround_zealous_crypto_random()
3264
3534
            try:
 
3535
                stream = os.fdopen(c2pwrite, 'wb', 1)
 
3536
                workaround_zealous_crypto_random()
3265
3537
                os.close(c2pread)
3266
3538
                # Leave stderr and stdout open so we can see test noise
3267
3539
                # Close stdin so that the child goes away if it decides to
3268
3540
                # read from stdin (otherwise its a roulette to see what
3269
3541
                # child actually gets keystrokes for pdb etc).
3270
3542
                sys.stdin.close()
3271
 
                sys.stdin = None
3272
 
                stream = os.fdopen(c2pwrite, 'wb', 1)
3273
3543
                subunit_result = AutoTimingTestResultDecorator(
3274
 
                    TestProtocolClient(stream))
 
3544
                    SubUnitBzrProtocolClient(stream))
3275
3545
                process_suite.run(subunit_result)
3276
 
            finally:
3277
 
                os._exit(0)
 
3546
            except:
 
3547
                # Try and report traceback on stream, but exit with error even
 
3548
                # if stream couldn't be created or something else goes wrong.
 
3549
                # The traceback is formatted to a string and written in one go
 
3550
                # to avoid interleaving lines from multiple failing children.
 
3551
                try:
 
3552
                    stream.write(traceback.format_exc())
 
3553
                finally:
 
3554
                    os._exit(1)
 
3555
            os._exit(0)
3278
3556
        else:
3279
3557
            os.close(c2pwrite)
3280
3558
            stream = os.fdopen(c2pread, 'rb', 1)
3341
3619
    return result
3342
3620
 
3343
3621
 
3344
 
class ForwardingResult(unittest.TestResult):
3345
 
 
3346
 
    def __init__(self, target):
3347
 
        unittest.TestResult.__init__(self)
3348
 
        self.result = target
3349
 
 
3350
 
    def startTest(self, test):
3351
 
        self.result.startTest(test)
3352
 
 
3353
 
    def stopTest(self, test):
3354
 
        self.result.stopTest(test)
3355
 
 
3356
 
    def startTestRun(self):
3357
 
        self.result.startTestRun()
3358
 
 
3359
 
    def stopTestRun(self):
3360
 
        self.result.stopTestRun()
3361
 
 
3362
 
    def addSkip(self, test, reason):
3363
 
        self.result.addSkip(test, reason)
3364
 
 
3365
 
    def addSuccess(self, test):
3366
 
        self.result.addSuccess(test)
3367
 
 
3368
 
    def addError(self, test, err):
3369
 
        self.result.addError(test, err)
3370
 
 
3371
 
    def addFailure(self, test, err):
3372
 
        self.result.addFailure(test, err)
3373
 
ForwardingResult = testtools.ExtendedToOriginalDecorator
3374
 
 
3375
 
 
3376
 
class ProfileResult(ForwardingResult):
 
3622
class ProfileResult(testtools.ExtendedToOriginalDecorator):
3377
3623
    """Generate profiling data for all activity between start and success.
3378
3624
    
3379
3625
    The profile data is appended to the test's _benchcalls attribute and can
3391
3637
        # unavoidably fail.
3392
3638
        bzrlib.lsprof.BzrProfiler.profiler_block = 0
3393
3639
        self.profiler.start()
3394
 
        ForwardingResult.startTest(self, test)
 
3640
        testtools.ExtendedToOriginalDecorator.startTest(self, test)
3395
3641
 
3396
3642
    def addSuccess(self, test):
3397
3643
        stats = self.profiler.stop()
3401
3647
            test._benchcalls = []
3402
3648
            calls = test._benchcalls
3403
3649
        calls.append(((test.id(), "", ""), stats))
3404
 
        ForwardingResult.addSuccess(self, test)
 
3650
        testtools.ExtendedToOriginalDecorator.addSuccess(self, test)
3405
3651
 
3406
3652
    def stopTest(self, test):
3407
 
        ForwardingResult.stopTest(self, test)
 
3653
        testtools.ExtendedToOriginalDecorator.stopTest(self, test)
3408
3654
        self.profiler = None
3409
3655
 
3410
3656
 
3418
3664
#                           with proper exclusion rules.
3419
3665
#   -Ethreads               Will display thread ident at creation/join time to
3420
3666
#                           help track thread leaks
 
3667
#   -Euncollected_cases     Display the identity of any test cases that weren't
 
3668
#                           deallocated after being completed.
 
3669
#   -Econfig_stats          Will collect statistics using addDetail
3421
3670
selftest_debug_flags = set()
3422
3671
 
3423
3672
 
3617
3866
                key, obj, help=help, info=info, override_existing=False)
3618
3867
        except KeyError:
3619
3868
            actual = self.get(key)
3620
 
            note('Test prefix alias %s is already used for %s, ignoring %s'
3621
 
                 % (key, actual, obj))
 
3869
            trace.note(
 
3870
                'Test prefix alias %s is already used for %s, ignoring %s'
 
3871
                % (key, actual, obj))
3622
3872
 
3623
3873
    def resolve_alias(self, id_start):
3624
3874
        """Replace the alias by the prefix in the given string.
3656
3906
        'bzrlib.doc',
3657
3907
        'bzrlib.tests.blackbox',
3658
3908
        'bzrlib.tests.commands',
3659
 
        'bzrlib.tests.doc_generate',
3660
3909
        'bzrlib.tests.per_branch',
 
3910
        'bzrlib.tests.per_bzrdir',
3661
3911
        'bzrlib.tests.per_controldir',
3662
3912
        'bzrlib.tests.per_controldir_colo',
3663
3913
        'bzrlib.tests.per_foreign_vcs',
3673
3923
        'bzrlib.tests.per_repository',
3674
3924
        'bzrlib.tests.per_repository_chk',
3675
3925
        'bzrlib.tests.per_repository_reference',
 
3926
        'bzrlib.tests.per_repository_vf',
3676
3927
        'bzrlib.tests.per_uifactory',
3677
3928
        'bzrlib.tests.per_versionedfile',
3678
3929
        'bzrlib.tests.per_workingtree',
3712
3963
        'bzrlib.tests.test_commit_merge',
3713
3964
        'bzrlib.tests.test_config',
3714
3965
        'bzrlib.tests.test_conflicts',
 
3966
        'bzrlib.tests.test_controldir',
3715
3967
        'bzrlib.tests.test_counted_lock',
3716
3968
        'bzrlib.tests.test_crash',
3717
3969
        'bzrlib.tests.test_decorators',
3718
3970
        'bzrlib.tests.test_delta',
3719
3971
        'bzrlib.tests.test_debug',
3720
 
        'bzrlib.tests.test_deprecated_graph',
3721
3972
        'bzrlib.tests.test_diff',
3722
3973
        'bzrlib.tests.test_directory_service',
3723
3974
        'bzrlib.tests.test_dirstate',
3724
3975
        'bzrlib.tests.test_email_message',
3725
3976
        'bzrlib.tests.test_eol_filters',
3726
3977
        'bzrlib.tests.test_errors',
 
3978
        'bzrlib.tests.test_estimate_compressed_size',
3727
3979
        'bzrlib.tests.test_export',
 
3980
        'bzrlib.tests.test_export_pot',
3728
3981
        'bzrlib.tests.test_extract',
 
3982
        'bzrlib.tests.test_features',
3729
3983
        'bzrlib.tests.test_fetch',
3730
3984
        'bzrlib.tests.test_fixtures',
3731
3985
        'bzrlib.tests.test_fifo_cache',
3732
3986
        'bzrlib.tests.test_filters',
 
3987
        'bzrlib.tests.test_filter_tree',
3733
3988
        'bzrlib.tests.test_ftp_transport',
3734
3989
        'bzrlib.tests.test_foreign',
3735
3990
        'bzrlib.tests.test_generate_docs',
3744
3999
        'bzrlib.tests.test_http',
3745
4000
        'bzrlib.tests.test_http_response',
3746
4001
        'bzrlib.tests.test_https_ca_bundle',
 
4002
        'bzrlib.tests.test_https_urllib',
 
4003
        'bzrlib.tests.test_i18n',
3747
4004
        'bzrlib.tests.test_identitymap',
3748
4005
        'bzrlib.tests.test_ignores',
3749
4006
        'bzrlib.tests.test_index',
3768
4025
        'bzrlib.tests.test_merge3',
3769
4026
        'bzrlib.tests.test_merge_core',
3770
4027
        'bzrlib.tests.test_merge_directive',
 
4028
        'bzrlib.tests.test_mergetools',
3771
4029
        'bzrlib.tests.test_missing',
3772
4030
        'bzrlib.tests.test_msgeditor',
3773
4031
        'bzrlib.tests.test_multiparent',
3782
4040
        'bzrlib.tests.test_permissions',
3783
4041
        'bzrlib.tests.test_plugins',
3784
4042
        'bzrlib.tests.test_progress',
 
4043
        'bzrlib.tests.test_pyutils',
3785
4044
        'bzrlib.tests.test_read_bundle',
3786
4045
        'bzrlib.tests.test_reconcile',
3787
4046
        'bzrlib.tests.test_reconfigure',
3795
4054
        'bzrlib.tests.test_revisiontree',
3796
4055
        'bzrlib.tests.test_rio',
3797
4056
        'bzrlib.tests.test_rules',
 
4057
        'bzrlib.tests.test_url_policy_open',
3798
4058
        'bzrlib.tests.test_sampler',
 
4059
        'bzrlib.tests.test_scenarios',
3799
4060
        'bzrlib.tests.test_script',
3800
4061
        'bzrlib.tests.test_selftest',
3801
4062
        'bzrlib.tests.test_serializer',
3806
4067
        'bzrlib.tests.test_smart',
3807
4068
        'bzrlib.tests.test_smart_add',
3808
4069
        'bzrlib.tests.test_smart_request',
 
4070
        'bzrlib.tests.test_smart_signals',
3809
4071
        'bzrlib.tests.test_smart_transport',
3810
4072
        'bzrlib.tests.test_smtp_connection',
3811
4073
        'bzrlib.tests.test_source',
3821
4083
        'bzrlib.tests.test_testament',
3822
4084
        'bzrlib.tests.test_textfile',
3823
4085
        'bzrlib.tests.test_textmerge',
 
4086
        'bzrlib.tests.test_cethread',
3824
4087
        'bzrlib.tests.test_timestamp',
3825
4088
        'bzrlib.tests.test_trace',
3826
4089
        'bzrlib.tests.test_transactions',
3837
4100
        'bzrlib.tests.test_upgrade',
3838
4101
        'bzrlib.tests.test_upgrade_stacked',
3839
4102
        'bzrlib.tests.test_urlutils',
 
4103
        'bzrlib.tests.test_utextwrap',
3840
4104
        'bzrlib.tests.test_version',
3841
4105
        'bzrlib.tests.test_version_info',
3842
4106
        'bzrlib.tests.test_versionedfile',
 
4107
        'bzrlib.tests.test_vf_search',
3843
4108
        'bzrlib.tests.test_weave',
3844
4109
        'bzrlib.tests.test_whitebox',
3845
4110
        'bzrlib.tests.test_win32utils',
3859
4124
        'bzrlib',
3860
4125
        'bzrlib.branchbuilder',
3861
4126
        'bzrlib.decorators',
3862
 
        'bzrlib.export',
3863
4127
        'bzrlib.inventory',
3864
4128
        'bzrlib.iterablefile',
3865
4129
        'bzrlib.lockdir',
3866
4130
        'bzrlib.merge3',
3867
4131
        'bzrlib.option',
 
4132
        'bzrlib.pyutils',
3868
4133
        'bzrlib.symbol_versioning',
3869
4134
        'bzrlib.tests',
3870
4135
        'bzrlib.tests.fixtures',
3871
4136
        'bzrlib.timestamp',
 
4137
        'bzrlib.transport.http',
3872
4138
        'bzrlib.version_info_formats.format_custom',
3873
4139
        ]
3874
4140
 
3927
4193
        try:
3928
4194
            # note that this really does mean "report only" -- doctest
3929
4195
            # still runs the rest of the examples
3930
 
            doc_suite = doctest.DocTestSuite(mod,
3931
 
                optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
 
4196
            doc_suite = IsolatedDocTestSuite(
 
4197
                mod, optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
3932
4198
        except ValueError, e:
3933
4199
            print '**failed to get doctest for: %s\n%s' % (mod, e)
3934
4200
            raise
3937
4203
        suite.addTest(doc_suite)
3938
4204
 
3939
4205
    default_encoding = sys.getdefaultencoding()
3940
 
    for name, plugin in bzrlib.plugin.plugins().items():
 
4206
    for name, plugin in _mod_plugin.plugins().items():
3941
4207
        if not interesting_module(plugin.module.__name__):
3942
4208
            continue
3943
4209
        plugin_suite = plugin.test_suite()
3949
4215
        if plugin_suite is not None:
3950
4216
            suite.addTest(plugin_suite)
3951
4217
        if default_encoding != sys.getdefaultencoding():
3952
 
            bzrlib.trace.warning(
 
4218
            trace.warning(
3953
4219
                'Plugin "%s" tried to reset default encoding to: %s', name,
3954
4220
                sys.getdefaultencoding())
3955
4221
            reload(sys)
3970
4236
            # Some tests mentioned in the list are not in the test suite. The
3971
4237
            # list may be out of date, report to the tester.
3972
4238
            for id in not_found:
3973
 
                bzrlib.trace.warning('"%s" not found in the test suite', id)
 
4239
                trace.warning('"%s" not found in the test suite', id)
3974
4240
        for id in duplicates:
3975
 
            bzrlib.trace.warning('"%s" is used as an id by several tests', id)
 
4241
            trace.warning('"%s" is used as an id by several tests', id)
3976
4242
 
3977
4243
    return suite
3978
4244
 
3979
4245
 
3980
 
def multiply_scenarios(scenarios_left, scenarios_right):
 
4246
def multiply_scenarios(*scenarios):
 
4247
    """Multiply two or more iterables of scenarios.
 
4248
 
 
4249
    It is safe to pass scenario generators or iterators.
 
4250
 
 
4251
    :returns: A list of compound scenarios: the cross-product of all 
 
4252
        scenarios, with the names concatenated and the parameters
 
4253
        merged together.
 
4254
    """
 
4255
    return reduce(_multiply_two_scenarios, map(list, scenarios))
 
4256
 
 
4257
 
 
4258
def _multiply_two_scenarios(scenarios_left, scenarios_right):
3981
4259
    """Multiply two sets of scenarios.
3982
4260
 
3983
4261
    :returns: the cartesian product of the two sets of scenarios, that is
4069
4347
    """
4070
4348
    new_test = copy.copy(test)
4071
4349
    new_test.id = lambda: new_id
 
4350
    # XXX: Workaround <https://bugs.launchpad.net/testtools/+bug/637725>, which
 
4351
    # causes cloned tests to share the 'details' dict.  This makes it hard to
 
4352
    # read the test output for parameterized tests, because tracebacks will be
 
4353
    # associated with irrelevant tests.
 
4354
    try:
 
4355
        details = new_test._TestCase__details
 
4356
    except AttributeError:
 
4357
        # must be a different version of testtools than expected.  Do nothing.
 
4358
        pass
 
4359
    else:
 
4360
        # Reset the '__details' dict.
 
4361
        new_test._TestCase__details = {}
4072
4362
    return new_test
4073
4363
 
4074
4364
 
4095
4385
        the module is available.
4096
4386
    """
4097
4387
 
4098
 
    py_module = __import__(py_module_name, {}, {}, ['NO_SUCH_ATTRIB'])
 
4388
    from bzrlib.tests.features import ModuleAvailableFeature
 
4389
    py_module = pyutils.get_named_object(py_module_name)
4099
4390
    scenarios = [
4100
4391
        ('python', {'module': py_module}),
4101
4392
    ]
4141
4432
                         % (os.path.basename(dirname), printable_e))
4142
4433
 
4143
4434
 
4144
 
class Feature(object):
4145
 
    """An operating system Feature."""
4146
 
 
4147
 
    def __init__(self):
4148
 
        self._available = None
4149
 
 
4150
 
    def available(self):
4151
 
        """Is the feature available?
4152
 
 
4153
 
        :return: True if the feature is available.
4154
 
        """
4155
 
        if self._available is None:
4156
 
            self._available = self._probe()
4157
 
        return self._available
4158
 
 
4159
 
    def _probe(self):
4160
 
        """Implement this method in concrete features.
4161
 
 
4162
 
        :return: True if the feature is available.
4163
 
        """
4164
 
        raise NotImplementedError
4165
 
 
4166
 
    def __str__(self):
4167
 
        if getattr(self, 'feature_name', None):
4168
 
            return self.feature_name()
4169
 
        return self.__class__.__name__
4170
 
 
4171
 
 
4172
 
class _SymlinkFeature(Feature):
4173
 
 
4174
 
    def _probe(self):
4175
 
        return osutils.has_symlinks()
4176
 
 
4177
 
    def feature_name(self):
4178
 
        return 'symlinks'
4179
 
 
4180
 
SymlinkFeature = _SymlinkFeature()
4181
 
 
4182
 
 
4183
 
class _HardlinkFeature(Feature):
4184
 
 
4185
 
    def _probe(self):
4186
 
        return osutils.has_hardlinks()
4187
 
 
4188
 
    def feature_name(self):
4189
 
        return 'hardlinks'
4190
 
 
4191
 
HardlinkFeature = _HardlinkFeature()
4192
 
 
4193
 
 
4194
 
class _OsFifoFeature(Feature):
4195
 
 
4196
 
    def _probe(self):
4197
 
        return getattr(os, 'mkfifo', None)
4198
 
 
4199
 
    def feature_name(self):
4200
 
        return 'filesystem fifos'
4201
 
 
4202
 
OsFifoFeature = _OsFifoFeature()
4203
 
 
4204
 
 
4205
 
class _UnicodeFilenameFeature(Feature):
4206
 
    """Does the filesystem support Unicode filenames?"""
4207
 
 
4208
 
    def _probe(self):
4209
 
        try:
4210
 
            # Check for character combinations unlikely to be covered by any
4211
 
            # single non-unicode encoding. We use the characters
4212
 
            # - greek small letter alpha (U+03B1) and
4213
 
            # - braille pattern dots-123456 (U+283F).
4214
 
            os.stat(u'\u03b1\u283f')
4215
 
        except UnicodeEncodeError:
4216
 
            return False
4217
 
        except (IOError, OSError):
4218
 
            # The filesystem allows the Unicode filename but the file doesn't
4219
 
            # exist.
4220
 
            return True
4221
 
        else:
4222
 
            # The filesystem allows the Unicode filename and the file exists,
4223
 
            # for some reason.
4224
 
            return True
4225
 
 
4226
 
UnicodeFilenameFeature = _UnicodeFilenameFeature()
4227
 
 
4228
 
 
4229
 
class _CompatabilityThunkFeature(Feature):
4230
 
    """This feature is just a thunk to another feature.
4231
 
 
4232
 
    It issues a deprecation warning if it is accessed, to let you know that you
4233
 
    should really use a different feature.
4234
 
    """
4235
 
 
4236
 
    def __init__(self, dep_version, module, name,
4237
 
                 replacement_name, replacement_module=None):
4238
 
        super(_CompatabilityThunkFeature, self).__init__()
4239
 
        self._module = module
4240
 
        if replacement_module is None:
4241
 
            replacement_module = module
4242
 
        self._replacement_module = replacement_module
4243
 
        self._name = name
4244
 
        self._replacement_name = replacement_name
4245
 
        self._dep_version = dep_version
4246
 
        self._feature = None
4247
 
 
4248
 
    def _ensure(self):
4249
 
        if self._feature is None:
4250
 
            depr_msg = self._dep_version % ('%s.%s'
4251
 
                                            % (self._module, self._name))
4252
 
            use_msg = ' Use %s.%s instead.' % (self._replacement_module,
4253
 
                                               self._replacement_name)
4254
 
            symbol_versioning.warn(depr_msg + use_msg, DeprecationWarning)
4255
 
            # Import the new feature and use it as a replacement for the
4256
 
            # deprecated one.
4257
 
            mod = __import__(self._replacement_module, {}, {},
4258
 
                             [self._replacement_name])
4259
 
            self._feature = getattr(mod, self._replacement_name)
4260
 
 
4261
 
    def _probe(self):
4262
 
        self._ensure()
4263
 
        return self._feature._probe()
4264
 
 
4265
 
 
4266
 
class ModuleAvailableFeature(Feature):
4267
 
    """This is a feature than describes a module we want to be available.
4268
 
 
4269
 
    Declare the name of the module in __init__(), and then after probing, the
4270
 
    module will be available as 'self.module'.
4271
 
 
4272
 
    :ivar module: The module if it is available, else None.
4273
 
    """
4274
 
 
4275
 
    def __init__(self, module_name):
4276
 
        super(ModuleAvailableFeature, self).__init__()
4277
 
        self.module_name = module_name
4278
 
 
4279
 
    def _probe(self):
4280
 
        try:
4281
 
            self._module = __import__(self.module_name, {}, {}, [''])
4282
 
            return True
4283
 
        except ImportError:
4284
 
            return False
4285
 
 
4286
 
    @property
4287
 
    def module(self):
4288
 
        if self.available(): # Make sure the probe has been done
4289
 
            return self._module
4290
 
        return None
4291
 
 
4292
 
    def feature_name(self):
4293
 
        return self.module_name
4294
 
 
4295
 
 
4296
 
# This is kept here for compatibility, it is recommended to use
4297
 
# 'bzrlib.tests.feature.paramiko' instead
4298
 
ParamikoFeature = _CompatabilityThunkFeature(
4299
 
    deprecated_in((2,1,0)),
4300
 
    'bzrlib.tests.features', 'ParamikoFeature', 'paramiko')
4301
 
 
4302
 
 
4303
4435
def probe_unicode_in_user_encoding():
4304
4436
    """Try to encode several unicode strings to use in unicode-aware tests.
4305
4437
    Return first successfull match.
4333
4465
    return None
4334
4466
 
4335
4467
 
4336
 
class _HTTPSServerFeature(Feature):
4337
 
    """Some tests want an https Server, check if one is available.
4338
 
 
4339
 
    Right now, the only way this is available is under python2.6 which provides
4340
 
    an ssl module.
4341
 
    """
4342
 
 
4343
 
    def _probe(self):
4344
 
        try:
4345
 
            import ssl
4346
 
            return True
4347
 
        except ImportError:
4348
 
            return False
4349
 
 
4350
 
    def feature_name(self):
4351
 
        return 'HTTPSServer'
4352
 
 
4353
 
 
4354
 
HTTPSServerFeature = _HTTPSServerFeature()
4355
 
 
4356
 
 
4357
 
class _UnicodeFilename(Feature):
4358
 
    """Does the filesystem support Unicode filenames?"""
4359
 
 
4360
 
    def _probe(self):
4361
 
        try:
4362
 
            os.stat(u'\u03b1')
4363
 
        except UnicodeEncodeError:
4364
 
            return False
4365
 
        except (IOError, OSError):
4366
 
            # The filesystem allows the Unicode filename but the file doesn't
4367
 
            # exist.
4368
 
            return True
4369
 
        else:
4370
 
            # The filesystem allows the Unicode filename and the file exists,
4371
 
            # for some reason.
4372
 
            return True
4373
 
 
4374
 
UnicodeFilename = _UnicodeFilename()
4375
 
 
4376
 
 
4377
 
class _ByteStringNamedFilesystem(Feature):
4378
 
    """Is the filesystem based on bytes?"""
4379
 
 
4380
 
    def _probe(self):
4381
 
        if os.name == "posix":
4382
 
            return True
4383
 
        return False
4384
 
 
4385
 
ByteStringNamedFilesystem = _ByteStringNamedFilesystem()
4386
 
 
4387
 
 
4388
 
class _UTF8Filesystem(Feature):
4389
 
    """Is the filesystem UTF-8?"""
4390
 
 
4391
 
    def _probe(self):
4392
 
        if osutils._fs_enc.upper() in ('UTF-8', 'UTF8'):
4393
 
            return True
4394
 
        return False
4395
 
 
4396
 
UTF8Filesystem = _UTF8Filesystem()
4397
 
 
4398
 
 
4399
 
class _BreakinFeature(Feature):
4400
 
    """Does this platform support the breakin feature?"""
4401
 
 
4402
 
    def _probe(self):
4403
 
        from bzrlib import breakin
4404
 
        if breakin.determine_signal() is None:
4405
 
            return False
4406
 
        if sys.platform == 'win32':
4407
 
            # Windows doesn't have os.kill, and we catch the SIGBREAK signal.
4408
 
            # We trigger SIGBREAK via a Console api so we need ctypes to
4409
 
            # access the function
4410
 
            try:
4411
 
                import ctypes
4412
 
            except OSError:
4413
 
                return False
4414
 
        return True
4415
 
 
4416
 
    def feature_name(self):
4417
 
        return "SIGQUIT or SIGBREAK w/ctypes on win32"
4418
 
 
4419
 
 
4420
 
BreakinFeature = _BreakinFeature()
4421
 
 
4422
 
 
4423
 
class _CaseInsCasePresFilenameFeature(Feature):
4424
 
    """Is the file-system case insensitive, but case-preserving?"""
4425
 
 
4426
 
    def _probe(self):
4427
 
        fileno, name = tempfile.mkstemp(prefix='MixedCase')
4428
 
        try:
4429
 
            # first check truly case-preserving for created files, then check
4430
 
            # case insensitive when opening existing files.
4431
 
            name = osutils.normpath(name)
4432
 
            base, rel = osutils.split(name)
4433
 
            found_rel = osutils.canonical_relpath(base, name)
4434
 
            return (found_rel == rel
4435
 
                    and os.path.isfile(name.upper())
4436
 
                    and os.path.isfile(name.lower()))
4437
 
        finally:
4438
 
            os.close(fileno)
4439
 
            os.remove(name)
4440
 
 
4441
 
    def feature_name(self):
4442
 
        return "case-insensitive case-preserving filesystem"
4443
 
 
4444
 
CaseInsCasePresFilenameFeature = _CaseInsCasePresFilenameFeature()
4445
 
 
4446
 
 
4447
 
class _CaseInsensitiveFilesystemFeature(Feature):
4448
 
    """Check if underlying filesystem is case-insensitive but *not* case
4449
 
    preserving.
4450
 
    """
4451
 
    # Note that on Windows, Cygwin, MacOS etc, the file-systems are far
4452
 
    # more likely to be case preserving, so this case is rare.
4453
 
 
4454
 
    def _probe(self):
4455
 
        if CaseInsCasePresFilenameFeature.available():
4456
 
            return False
4457
 
 
4458
 
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
4459
 
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
4460
 
            TestCaseWithMemoryTransport.TEST_ROOT = root
4461
 
        else:
4462
 
            root = TestCaseWithMemoryTransport.TEST_ROOT
4463
 
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
4464
 
            dir=root)
4465
 
        name_a = osutils.pathjoin(tdir, 'a')
4466
 
        name_A = osutils.pathjoin(tdir, 'A')
4467
 
        os.mkdir(name_a)
4468
 
        result = osutils.isdir(name_A)
4469
 
        _rmtree_temp_dir(tdir)
4470
 
        return result
4471
 
 
4472
 
    def feature_name(self):
4473
 
        return 'case-insensitive filesystem'
4474
 
 
4475
 
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()
4476
 
 
4477
 
 
4478
 
class _CaseSensitiveFilesystemFeature(Feature):
4479
 
 
4480
 
    def _probe(self):
4481
 
        if CaseInsCasePresFilenameFeature.available():
4482
 
            return False
4483
 
        elif CaseInsensitiveFilesystemFeature.available():
4484
 
            return False
4485
 
        else:
4486
 
            return True
4487
 
 
4488
 
    def feature_name(self):
4489
 
        return 'case-sensitive filesystem'
4490
 
 
4491
 
# new coding style is for feature instances to be lowercase
4492
 
case_sensitive_filesystem_feature = _CaseSensitiveFilesystemFeature()
4493
 
 
4494
 
 
4495
 
# Kept for compatibility, use bzrlib.tests.features.subunit instead
4496
 
SubUnitFeature = _CompatabilityThunkFeature(
4497
 
    deprecated_in((2,1,0)),
4498
 
    'bzrlib.tests.features', 'SubUnitFeature', 'subunit')
4499
4468
# Only define SubUnitBzrRunner if subunit is available.
4500
4469
try:
4501
4470
    from subunit import TestProtocolClient
4502
4471
    from subunit.test_results import AutoTimingTestResultDecorator
 
4472
    class SubUnitBzrProtocolClient(TestProtocolClient):
 
4473
 
 
4474
        def stopTest(self, test):
 
4475
            super(SubUnitBzrProtocolClient, self).stopTest(test)
 
4476
            _clear__type_equality_funcs(test)
 
4477
 
 
4478
        def addSuccess(self, test, details=None):
 
4479
            # The subunit client always includes the details in the subunit
 
4480
            # stream, but we don't want to include it in ours.
 
4481
            if details is not None and 'log' in details:
 
4482
                del details['log']
 
4483
            return super(SubUnitBzrProtocolClient, self).addSuccess(
 
4484
                test, details)
 
4485
 
4503
4486
    class SubUnitBzrRunner(TextTestRunner):
4504
4487
        def run(self, test):
4505
4488
            result = AutoTimingTestResultDecorator(
4506
 
                TestProtocolClient(self.stream))
 
4489
                SubUnitBzrProtocolClient(self.stream))
4507
4490
            test.run(result)
4508
4491
            return result
4509
4492
except ImportError:
4510
4493
    pass
4511
4494
 
4512
 
class _PosixPermissionsFeature(Feature):
4513
 
 
4514
 
    def _probe(self):
4515
 
        def has_perms():
4516
 
            # create temporary file and check if specified perms are maintained.
4517
 
            import tempfile
4518
 
 
4519
 
            write_perms = stat.S_IRUSR | stat.S_IWUSR | stat.S_IXUSR
4520
 
            f = tempfile.mkstemp(prefix='bzr_perms_chk_')
4521
 
            fd, name = f
4522
 
            os.close(fd)
4523
 
            os.chmod(name, write_perms)
4524
 
 
4525
 
            read_perms = os.stat(name).st_mode & 0777
4526
 
            os.unlink(name)
4527
 
            return (write_perms == read_perms)
4528
 
 
4529
 
        return (os.name == 'posix') and has_perms()
4530
 
 
4531
 
    def feature_name(self):
4532
 
        return 'POSIX permissions support'
4533
 
 
4534
 
posix_permissions_feature = _PosixPermissionsFeature()
 
4495
 
 
4496
# API compatibility for old plugins; see bug 892622.
 
4497
for name in [
 
4498
    'Feature',
 
4499
    'HTTPServerFeature', 
 
4500
    'ModuleAvailableFeature',
 
4501
    'HTTPSServerFeature', 'SymlinkFeature', 'HardlinkFeature',
 
4502
    'OsFifoFeature', 'UnicodeFilenameFeature',
 
4503
    'ByteStringNamedFilesystem', 'UTF8Filesystem',
 
4504
    'BreakinFeature', 'CaseInsCasePresFilenameFeature',
 
4505
    'CaseInsensitiveFilesystemFeature', 'case_sensitive_filesystem_feature',
 
4506
    'posix_permissions_feature',
 
4507
    ]:
 
4508
    globals()[name] = _CompatabilityThunkFeature(
 
4509
        symbol_versioning.deprecated_in((2, 5, 0)),
 
4510
        'bzrlib.tests', name,
 
4511
        name, 'bzrlib.tests.features')
 
4512
 
 
4513
 
 
4514
for (old_name, new_name) in [
 
4515
    ('UnicodeFilename', 'UnicodeFilenameFeature'),
 
4516
    ]:
 
4517
    globals()[name] = _CompatabilityThunkFeature(
 
4518
        symbol_versioning.deprecated_in((2, 5, 0)),
 
4519
        'bzrlib.tests', old_name,
 
4520
        new_name, 'bzrlib.tests.features')