~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Martin
  • Date: 2011-08-04 00:17:53 UTC
  • mto: This revision was merged to the branch mainline in revision 6055.
  • Revision ID: gzlist@googlemail.com-20110804001753-plgpwcpsxcum16yb
Make tests raising KnownFailure use the knownFailure method instead

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
16
16
 
17
17
"""Testing framework extensions"""
18
18
 
19
 
# TODO: Perhaps there should be an API to find out if bzr running under the
20
 
# test suite -- some plugins might want to avoid making intrusive changes if
21
 
# this is the case.  However, we want behaviour under to test to diverge as
22
 
# little as possible, so this should be used rarely if it's added at all.
23
 
# (Suggestion from j-a-meinel, 2005-11-24)
24
 
 
25
19
# NOTE: Some classes in here use camelCaseNaming() rather than
26
20
# underscore_naming().  That's for consistency with unittest; it's not the
27
21
# general style of bzrlib.  Please continue that consistency when adding e.g.
29
23
 
30
24
import atexit
31
25
import codecs
32
 
from copy import copy
 
26
import copy
33
27
from cStringIO import StringIO
34
28
import difflib
35
29
import doctest
36
30
import errno
 
31
import itertools
37
32
import logging
38
 
import math
39
33
import os
40
 
from pprint import pformat
 
34
import platform
 
35
import pprint
41
36
import random
42
37
import re
43
38
import shlex
44
39
import stat
45
 
from subprocess import Popen, PIPE, STDOUT
 
40
import subprocess
46
41
import sys
47
42
import tempfile
48
43
import threading
54
49
import testtools
55
50
# nb: check this before importing anything else from within it
56
51
_testtools_version = getattr(testtools, '__version__', ())
57
 
if _testtools_version < (0, 9, 2):
58
 
    raise ImportError("need at least testtools 0.9.2: %s is %r"
 
52
if _testtools_version < (0, 9, 5):
 
53
    raise ImportError("need at least testtools 0.9.5: %s is %r"
59
54
        % (testtools.__file__, _testtools_version))
60
55
from testtools import content
61
56
 
 
57
import bzrlib
62
58
from bzrlib import (
63
59
    branchbuilder,
64
60
    bzrdir,
65
61
    chk_map,
 
62
    commands as _mod_commands,
66
63
    config,
67
64
    debug,
68
65
    errors,
69
66
    hooks,
70
67
    lock as _mod_lock,
 
68
    lockdir,
71
69
    memorytree,
72
70
    osutils,
73
 
    progress,
 
71
    plugin as _mod_plugin,
 
72
    pyutils,
74
73
    ui,
75
74
    urlutils,
76
75
    registry,
 
76
    symbol_versioning,
 
77
    trace,
 
78
    transport as _mod_transport,
77
79
    workingtree,
78
80
    )
79
 
import bzrlib.branch
80
 
import bzrlib.commands
81
 
import bzrlib.timestamp
82
 
import bzrlib.export
83
 
import bzrlib.inventory
84
 
import bzrlib.iterablefile
85
 
import bzrlib.lockdir
86
81
try:
87
82
    import bzrlib.lsprof
88
83
except ImportError:
89
84
    # lsprof not available
90
85
    pass
91
 
from bzrlib.merge import merge_inner
92
 
import bzrlib.merge3
93
 
import bzrlib.plugin
94
 
from bzrlib.smart import client, request, server
95
 
import bzrlib.store
96
 
from bzrlib import symbol_versioning
 
86
from bzrlib.smart import client, request
 
87
from bzrlib.transport import (
 
88
    memory,
 
89
    pathfilter,
 
90
    )
97
91
from bzrlib.symbol_versioning import (
98
 
    DEPRECATED_PARAMETER,
99
92
    deprecated_function,
100
93
    deprecated_in,
101
 
    deprecated_method,
102
 
    deprecated_passed,
103
 
    )
104
 
import bzrlib.trace
105
 
from bzrlib.transport import (
106
 
    get_transport,
107
 
    memory,
108
 
    pathfilter,
109
 
    )
110
 
import bzrlib.transport
111
 
from bzrlib.trace import mutter, note
 
94
    )
112
95
from bzrlib.tests import (
113
96
    test_server,
114
97
    TestUtil,
 
98
    treeshape,
115
99
    )
116
 
from bzrlib.tests.http_server import HttpServer
117
 
from bzrlib.tests.TestUtil import (
118
 
                          TestSuite,
119
 
                          TestLoader,
120
 
                          )
121
 
from bzrlib.tests.treeshape import build_tree_contents
122
100
from bzrlib.ui import NullProgressView
123
101
from bzrlib.ui.text import TextUIFactory
124
 
import bzrlib.version_info_formats.format_custom
125
 
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
126
102
 
127
103
# Mark this python module as being part of the implementation
128
104
# of unittest: this gives us better tracebacks where the last
140
116
SUBUNIT_SEEK_SET = 0
141
117
SUBUNIT_SEEK_CUR = 1
142
118
 
143
 
 
144
 
class ExtendedTestResult(unittest._TextTestResult):
 
119
# These are intentionally brought into this namespace. That way plugins, etc
 
120
# can just "from bzrlib.tests import TestCase, TestLoader, etc"
 
121
TestSuite = TestUtil.TestSuite
 
122
TestLoader = TestUtil.TestLoader
 
123
 
 
124
# Tests should run in a clean and clearly defined environment. The goal is to
 
125
# keep them isolated from the running environment as mush as possible. The test
 
126
# framework ensures the variables defined below are set (or deleted if the
 
127
# value is None) before a test is run and reset to their original value after
 
128
# the test is run. Generally if some code depends on an environment variable,
 
129
# the tests should start without this variable in the environment. There are a
 
130
# few exceptions but you shouldn't violate this rule lightly.
 
131
isolated_environ = {
 
132
    'BZR_HOME': None,
 
133
    'HOME': None,
 
134
    # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
 
135
    # tests do check our impls match APPDATA
 
136
    'BZR_EDITOR': None, # test_msgeditor manipulates this variable
 
137
    'VISUAL': None,
 
138
    'EDITOR': None,
 
139
    'BZR_EMAIL': None,
 
140
    'BZREMAIL': None, # may still be present in the environment
 
141
    'EMAIL': 'jrandom@example.com', # set EMAIL as bzr does not guess
 
142
    'BZR_PROGRESS_BAR': None,
 
143
    # This should trap leaks to ~/.bzr.log. This occurs when tests use TestCase
 
144
    # as a base class instead of TestCaseInTempDir. Tests inheriting from
 
145
    # TestCase should not use disk resources, BZR_LOG is one.
 
146
    'BZR_LOG': '/you-should-use-TestCaseInTempDir-if-you-need-a-log-file',
 
147
    'BZR_PLUGIN_PATH': None,
 
148
    'BZR_DISABLE_PLUGINS': None,
 
149
    'BZR_PLUGINS_AT': None,
 
150
    'BZR_CONCURRENCY': None,
 
151
    # Make sure that any text ui tests are consistent regardless of
 
152
    # the environment the test case is run in; you may want tests that
 
153
    # test other combinations.  'dumb' is a reasonable guess for tests
 
154
    # going to a pipe or a StringIO.
 
155
    'TERM': 'dumb',
 
156
    'LINES': '25',
 
157
    'COLUMNS': '80',
 
158
    'BZR_COLUMNS': '80',
 
159
    # Disable SSH Agent
 
160
    'SSH_AUTH_SOCK': None,
 
161
    # Proxies
 
162
    'http_proxy': None,
 
163
    'HTTP_PROXY': None,
 
164
    'https_proxy': None,
 
165
    'HTTPS_PROXY': None,
 
166
    'no_proxy': None,
 
167
    'NO_PROXY': None,
 
168
    'all_proxy': None,
 
169
    'ALL_PROXY': None,
 
170
    # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
 
171
    # least. If you do (care), please update this comment
 
172
    # -- vila 20080401
 
173
    'ftp_proxy': None,
 
174
    'FTP_PROXY': None,
 
175
    'BZR_REMOTE_PATH': None,
 
176
    # Generally speaking, we don't want apport reporting on crashes in
 
177
    # the test envirnoment unless we're specifically testing apport,
 
178
    # so that it doesn't leak into the real system environment.  We
 
179
    # use an env var so it propagates to subprocesses.
 
180
    'APPORT_DISABLE': '1',
 
181
    }
 
182
 
 
183
 
 
184
def override_os_environ(test, env=None):
 
185
    """Modify os.environ keeping a copy.
 
186
    
 
187
    :param test: A test instance
 
188
 
 
189
    :param env: A dict containing variable definitions to be installed
 
190
    """
 
191
    if env is None:
 
192
        env = isolated_environ
 
193
    test._original_os_environ = dict([(var, value)
 
194
                                      for var, value in os.environ.iteritems()])
 
195
    for var, value in env.iteritems():
 
196
        osutils.set_or_unset_env(var, value)
 
197
        if var not in test._original_os_environ:
 
198
            # The var is new, add it with a value of None, so
 
199
            # restore_os_environ will delete it
 
200
            test._original_os_environ[var] = None
 
201
 
 
202
 
 
203
def restore_os_environ(test):
 
204
    """Restore os.environ to its original state.
 
205
 
 
206
    :param test: A test instance previously passed to override_os_environ.
 
207
    """
 
208
    for var, value in test._original_os_environ.iteritems():
 
209
        # Restore the original value (or delete it if the value has been set to
 
210
        # None in override_os_environ).
 
211
        osutils.set_or_unset_env(var, value)
 
212
 
 
213
 
 
214
class ExtendedTestResult(testtools.TextTestResult):
145
215
    """Accepts, reports and accumulates the results of running tests.
146
216
 
147
217
    Compared to the unittest version this class adds support for
168
238
        :param bench_history: Optionally, a writable file object to accumulate
169
239
            benchmark results.
170
240
        """
171
 
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
241
        testtools.TextTestResult.__init__(self, stream)
172
242
        if bench_history is not None:
173
243
            from bzrlib.version import _get_bzr_source_tree
174
244
            src_tree = _get_bzr_source_tree()
195
265
        self.count = 0
196
266
        self._overall_start_time = time.time()
197
267
        self._strict = strict
 
268
        self._first_thread_leaker_id = None
 
269
        self._tests_leaking_threads_count = 0
 
270
        self._traceback_from_test = None
198
271
 
199
272
    def stopTestRun(self):
200
273
        run = self.testsRun
201
274
        actionTaken = "Ran"
202
275
        stopTime = time.time()
203
276
        timeTaken = stopTime - self.startTime
204
 
        self.printErrors()
205
 
        self.stream.writeln(self.separator2)
206
 
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
277
        # GZ 2010-07-19: Seems testtools has no printErrors method, and though
 
278
        #                the parent class method is similar have to duplicate
 
279
        self._show_list('ERROR', self.errors)
 
280
        self._show_list('FAIL', self.failures)
 
281
        self.stream.write(self.sep2)
 
282
        self.stream.write("%s %d test%s in %.3fs\n\n" % (actionTaken,
207
283
                            run, run != 1 and "s" or "", timeTaken))
208
 
        self.stream.writeln()
209
284
        if not self.wasSuccessful():
210
285
            self.stream.write("FAILED (")
211
286
            failed, errored = map(len, (self.failures, self.errors))
218
293
                if failed or errored: self.stream.write(", ")
219
294
                self.stream.write("known_failure_count=%d" %
220
295
                    self.known_failure_count)
221
 
            self.stream.writeln(")")
 
296
            self.stream.write(")\n")
222
297
        else:
223
298
            if self.known_failure_count:
224
 
                self.stream.writeln("OK (known_failures=%d)" %
 
299
                self.stream.write("OK (known_failures=%d)\n" %
225
300
                    self.known_failure_count)
226
301
            else:
227
 
                self.stream.writeln("OK")
 
302
                self.stream.write("OK\n")
228
303
        if self.skip_count > 0:
229
304
            skipped = self.skip_count
230
 
            self.stream.writeln('%d test%s skipped' %
 
305
            self.stream.write('%d test%s skipped\n' %
231
306
                                (skipped, skipped != 1 and "s" or ""))
232
307
        if self.unsupported:
233
308
            for feature, count in sorted(self.unsupported.items()):
234
 
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
309
                self.stream.write("Missing feature '%s' skipped %d tests.\n" %
235
310
                    (feature, count))
236
311
        if self._strict:
237
312
            ok = self.wasStrictlySuccessful()
238
313
        else:
239
314
            ok = self.wasSuccessful()
240
 
        if TestCase._first_thread_leaker_id:
 
315
        if self._first_thread_leaker_id:
241
316
            self.stream.write(
242
317
                '%s is leaking threads among %d leaking tests.\n' % (
243
 
                TestCase._first_thread_leaker_id,
244
 
                TestCase._leaking_threads_tests))
 
318
                self._first_thread_leaker_id,
 
319
                self._tests_leaking_threads_count))
245
320
            # We don't report the main thread as an active one.
246
321
            self.stream.write(
247
322
                '%d non-main threads were left active in the end.\n'
248
 
                % (TestCase._active_threads - 1))
 
323
                % (len(self._active_threads) - 1))
249
324
 
250
325
    def getDescription(self, test):
251
326
        return test.id()
258
333
 
259
334
    def _elapsedTestTimeString(self):
260
335
        """Return a time string for the overall time the current test has taken."""
261
 
        return self._formatTime(time.time() - self._start_time)
 
336
        return self._formatTime(self._delta_to_float(
 
337
            self._now() - self._start_datetime))
262
338
 
263
339
    def _testTimeString(self, testCase):
264
340
        benchmark_time = self._extractBenchmarkTime(testCase)
275
351
 
276
352
    def _shortened_test_description(self, test):
277
353
        what = test.id()
278
 
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
354
        what = re.sub(r'^bzrlib\.tests\.', '', what)
279
355
        return what
280
356
 
 
357
    # GZ 2010-10-04: Cloned tests may end up harmlessly calling this method
 
358
    #                multiple times in a row, because the handler is added for
 
359
    #                each test but the container list is shared between cases.
 
360
    #                See lp:498869 lp:625574 and lp:637725 for background.
 
361
    def _record_traceback_from_test(self, exc_info):
 
362
        """Store the traceback from passed exc_info tuple till"""
 
363
        self._traceback_from_test = exc_info[2]
 
364
 
281
365
    def startTest(self, test):
282
 
        unittest.TestResult.startTest(self, test)
 
366
        super(ExtendedTestResult, self).startTest(test)
283
367
        if self.count == 0:
284
368
            self.startTests()
 
369
        self.count += 1
285
370
        self.report_test_start(test)
286
371
        test.number = self.count
287
372
        self._recordTestStartTime()
 
373
        # Make testtools cases give us the real traceback on failure
 
374
        addOnException = getattr(test, "addOnException", None)
 
375
        if addOnException is not None:
 
376
            addOnException(self._record_traceback_from_test)
 
377
        # Only check for thread leaks on bzrlib derived test cases
 
378
        if isinstance(test, TestCase):
 
379
            test.addCleanup(self._check_leaked_threads, test)
 
380
 
 
381
    def stopTest(self, test):
 
382
        super(ExtendedTestResult, self).stopTest(test)
 
383
        # Manually break cycles, means touching various private things but hey
 
384
        getDetails = getattr(test, "getDetails", None)
 
385
        if getDetails is not None:
 
386
            getDetails().clear()
 
387
        type_equality_funcs = getattr(test, "_type_equality_funcs", None)
 
388
        if type_equality_funcs is not None:
 
389
            type_equality_funcs.clear()
 
390
        self._traceback_from_test = None
288
391
 
289
392
    def startTests(self):
290
 
        import platform
291
 
        if getattr(sys, 'frozen', None) is None:
292
 
            bzr_path = osutils.realpath(sys.argv[0])
293
 
        else:
294
 
            bzr_path = sys.executable
295
 
        self.stream.write(
296
 
            'bzr selftest: %s\n' % (bzr_path,))
297
 
        self.stream.write(
298
 
            '   %s\n' % (
299
 
                    bzrlib.__path__[0],))
300
 
        self.stream.write(
301
 
            '   bzr-%s python-%s %s\n' % (
302
 
                    bzrlib.version_string,
303
 
                    bzrlib._format_version_tuple(sys.version_info),
304
 
                    platform.platform(aliased=1),
305
 
                    ))
306
 
        self.stream.write('\n')
 
393
        self.report_tests_starting()
 
394
        self._active_threads = threading.enumerate()
 
395
 
 
396
    def _check_leaked_threads(self, test):
 
397
        """See if any threads have leaked since last call
 
398
 
 
399
        A sample of live threads is stored in the _active_threads attribute,
 
400
        when this method runs it compares the current live threads and any not
 
401
        in the previous sample are treated as having leaked.
 
402
        """
 
403
        now_active_threads = set(threading.enumerate())
 
404
        threads_leaked = now_active_threads.difference(self._active_threads)
 
405
        if threads_leaked:
 
406
            self._report_thread_leak(test, threads_leaked, now_active_threads)
 
407
            self._tests_leaking_threads_count += 1
 
408
            if self._first_thread_leaker_id is None:
 
409
                self._first_thread_leaker_id = test.id()
 
410
            self._active_threads = now_active_threads
307
411
 
308
412
    def _recordTestStartTime(self):
309
413
        """Record that a test has started."""
310
 
        self._start_time = time.time()
311
 
 
312
 
    def _cleanupLogFile(self, test):
313
 
        # We can only do this if we have one of our TestCases, not if
314
 
        # we have a doctest.
315
 
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
316
 
        if setKeepLogfile is not None:
317
 
            setKeepLogfile()
 
414
        self._start_datetime = self._now()
318
415
 
319
416
    def addError(self, test, err):
320
417
        """Tell result that test finished with an error.
322
419
        Called from the TestCase run() method when the test
323
420
        fails with an unexpected error.
324
421
        """
325
 
        self._post_mortem()
326
 
        unittest.TestResult.addError(self, test, err)
 
422
        self._post_mortem(self._traceback_from_test)
 
423
        super(ExtendedTestResult, self).addError(test, err)
327
424
        self.error_count += 1
328
425
        self.report_error(test, err)
329
426
        if self.stop_early:
330
427
            self.stop()
331
 
        self._cleanupLogFile(test)
332
428
 
333
429
    def addFailure(self, test, err):
334
430
        """Tell result that test failed.
336
432
        Called from the TestCase run() method when the test
337
433
        fails because e.g. an assert() method failed.
338
434
        """
339
 
        self._post_mortem()
340
 
        unittest.TestResult.addFailure(self, test, err)
 
435
        self._post_mortem(self._traceback_from_test)
 
436
        super(ExtendedTestResult, self).addFailure(test, err)
341
437
        self.failure_count += 1
342
438
        self.report_failure(test, err)
343
439
        if self.stop_early:
344
440
            self.stop()
345
 
        self._cleanupLogFile(test)
346
441
 
347
442
    def addSuccess(self, test, details=None):
348
443
        """Tell result that test completed successfully.
356
451
                    self._formatTime(benchmark_time),
357
452
                    test.id()))
358
453
        self.report_success(test)
359
 
        self._cleanupLogFile(test)
360
 
        unittest.TestResult.addSuccess(self, test)
 
454
        super(ExtendedTestResult, self).addSuccess(test)
361
455
        test._log_contents = ''
362
456
 
363
457
    def addExpectedFailure(self, test, err):
364
458
        self.known_failure_count += 1
365
459
        self.report_known_failure(test, err)
366
460
 
 
461
    def addUnexpectedSuccess(self, test, details=None):
 
462
        """Tell result the test unexpectedly passed, counting as a failure
 
463
 
 
464
        When the minimum version of testtools required becomes 0.9.8 this
 
465
        can be updated to use the new handling there.
 
466
        """
 
467
        super(ExtendedTestResult, self).addFailure(test, details=details)
 
468
        self.failure_count += 1
 
469
        self.report_unexpected_success(test,
 
470
            "".join(details["reason"].iter_text()))
 
471
        if self.stop_early:
 
472
            self.stop()
 
473
 
367
474
    def addNotSupported(self, test, feature):
368
475
        """The test will not be run because of a missing feature.
369
476
        """
386
493
        self.not_applicable_count += 1
387
494
        self.report_not_applicable(test, reason)
388
495
 
389
 
    def _post_mortem(self):
 
496
    def _post_mortem(self, tb=None):
390
497
        """Start a PDB post mortem session."""
391
498
        if os.environ.get('BZR_TEST_PDB', None):
392
 
            import pdb;pdb.post_mortem()
 
499
            import pdb
 
500
            pdb.post_mortem(tb)
393
501
 
394
502
    def progress(self, offset, whence):
395
503
        """The test is adjusting the count of tests to run."""
400
508
        else:
401
509
            raise errors.BzrError("Unknown whence %r" % whence)
402
510
 
403
 
    def report_cleaning_up(self):
404
 
        pass
 
511
    def report_tests_starting(self):
 
512
        """Display information before the test run begins"""
 
513
        if getattr(sys, 'frozen', None) is None:
 
514
            bzr_path = osutils.realpath(sys.argv[0])
 
515
        else:
 
516
            bzr_path = sys.executable
 
517
        self.stream.write(
 
518
            'bzr selftest: %s\n' % (bzr_path,))
 
519
        self.stream.write(
 
520
            '   %s\n' % (
 
521
                    bzrlib.__path__[0],))
 
522
        self.stream.write(
 
523
            '   bzr-%s python-%s %s\n' % (
 
524
                    bzrlib.version_string,
 
525
                    bzrlib._format_version_tuple(sys.version_info),
 
526
                    platform.platform(aliased=1),
 
527
                    ))
 
528
        self.stream.write('\n')
 
529
 
 
530
    def report_test_start(self, test):
 
531
        """Display information on the test just about to be run"""
 
532
 
 
533
    def _report_thread_leak(self, test, leaked_threads, active_threads):
 
534
        """Display information on a test that leaked one or more threads"""
 
535
        # GZ 2010-09-09: A leak summary reported separately from the general
 
536
        #                thread debugging would be nice. Tests under subunit
 
537
        #                need something not using stream, perhaps adding a
 
538
        #                testtools details object would be fitting.
 
539
        if 'threads' in selftest_debug_flags:
 
540
            self.stream.write('%s is leaking, active is now %d\n' %
 
541
                (test.id(), len(active_threads)))
405
542
 
406
543
    def startTestRun(self):
407
544
        self.startTime = time.time()
444
581
        self.pb.finished()
445
582
        super(TextTestResult, self).stopTestRun()
446
583
 
447
 
    def startTestRun(self):
448
 
        super(TextTestResult, self).startTestRun()
 
584
    def report_tests_starting(self):
 
585
        super(TextTestResult, self).report_tests_starting()
449
586
        self.pb.update('[test 0/%d] Starting' % (self.num_tests))
450
587
 
451
 
    def printErrors(self):
452
 
        # clear the pb to make room for the error listing
453
 
        self.pb.clear()
454
 
        super(TextTestResult, self).printErrors()
455
 
 
456
588
    def _progress_prefix_text(self):
457
589
        # the longer this text, the less space we have to show the test
458
590
        # name...
480
612
        return a
481
613
 
482
614
    def report_test_start(self, test):
483
 
        self.count += 1
484
615
        self.pb.update(
485
616
                self._progress_prefix_text()
486
617
                + ' '
504
635
    def report_known_failure(self, test, err):
505
636
        pass
506
637
 
 
638
    def report_unexpected_success(self, test, reason):
 
639
        self.stream.write('FAIL: %s\n    %s: %s\n' % (
 
640
            self._test_description(test),
 
641
            "Unexpected success. Should have failed",
 
642
            reason,
 
643
            ))
 
644
 
507
645
    def report_skip(self, test, reason):
508
646
        pass
509
647
 
513
651
    def report_unsupported(self, test, feature):
514
652
        """test cannot be run because feature is missing."""
515
653
 
516
 
    def report_cleaning_up(self):
517
 
        self.pb.update('Cleaning up')
518
 
 
519
654
 
520
655
class VerboseTestResult(ExtendedTestResult):
521
656
    """Produce long output, with one line per test run plus times"""
528
663
            result = a_string
529
664
        return result.ljust(final_width)
530
665
 
531
 
    def startTestRun(self):
532
 
        super(VerboseTestResult, self).startTestRun()
 
666
    def report_tests_starting(self):
533
667
        self.stream.write('running %d tests...\n' % self.num_tests)
 
668
        super(VerboseTestResult, self).report_tests_starting()
534
669
 
535
670
    def report_test_start(self, test):
536
 
        self.count += 1
537
671
        name = self._shortened_test_description(test)
538
672
        width = osutils.terminal_width()
539
673
        if width is not None:
551
685
        return '%s%s' % (indent, err[1])
552
686
 
553
687
    def report_error(self, test, err):
554
 
        self.stream.writeln('ERROR %s\n%s'
 
688
        self.stream.write('ERROR %s\n%s\n'
555
689
                % (self._testTimeString(test),
556
690
                   self._error_summary(err)))
557
691
 
558
692
    def report_failure(self, test, err):
559
 
        self.stream.writeln(' FAIL %s\n%s'
 
693
        self.stream.write(' FAIL %s\n%s\n'
560
694
                % (self._testTimeString(test),
561
695
                   self._error_summary(err)))
562
696
 
563
697
    def report_known_failure(self, test, err):
564
 
        self.stream.writeln('XFAIL %s\n%s'
 
698
        self.stream.write('XFAIL %s\n%s\n'
565
699
                % (self._testTimeString(test),
566
700
                   self._error_summary(err)))
567
701
 
 
702
    def report_unexpected_success(self, test, reason):
 
703
        self.stream.write(' FAIL %s\n%s: %s\n'
 
704
                % (self._testTimeString(test),
 
705
                   "Unexpected success. Should have failed",
 
706
                   reason))
 
707
 
568
708
    def report_success(self, test):
569
 
        self.stream.writeln('   OK %s' % self._testTimeString(test))
 
709
        self.stream.write('   OK %s\n' % self._testTimeString(test))
570
710
        for bench_called, stats in getattr(test, '_benchcalls', []):
571
 
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
711
            self.stream.write('LSProf output for %s(%s, %s)\n' % bench_called)
572
712
            stats.pprint(file=self.stream)
573
713
        # flush the stream so that we get smooth output. This verbose mode is
574
714
        # used to show the output in PQM.
575
715
        self.stream.flush()
576
716
 
577
717
    def report_skip(self, test, reason):
578
 
        self.stream.writeln(' SKIP %s\n%s'
 
718
        self.stream.write(' SKIP %s\n%s\n'
579
719
                % (self._testTimeString(test), reason))
580
720
 
581
721
    def report_not_applicable(self, test, reason):
582
 
        self.stream.writeln('  N/A %s\n    %s'
 
722
        self.stream.write('  N/A %s\n    %s\n'
583
723
                % (self._testTimeString(test), reason))
584
724
 
585
725
    def report_unsupported(self, test, feature):
586
726
        """test cannot be run because feature is missing."""
587
 
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
727
        self.stream.write("NODEP %s\n    The feature '%s' is not available.\n"
588
728
                %(self._testTimeString(test), feature))
589
729
 
590
730
 
617
757
            encode = codec[0]
618
758
        else:
619
759
            encode = codec.encode
620
 
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream)
 
760
        # GZ 2010-09-08: Really we don't want to be writing arbitrary bytes,
 
761
        #                so should swap to the plain codecs.StreamWriter
 
762
        stream = osutils.UnicodeOrBytesToBytesWriter(encode, stream,
 
763
            "backslashreplace")
621
764
        stream.encoding = new_encoding
622
 
        self.stream = unittest._WritelnDecorator(stream)
 
765
        self.stream = stream
623
766
        self.descriptions = descriptions
624
767
        self.verbosity = verbosity
625
768
        self._bench_history = bench_history
749
892
    # XXX: Should probably unify more with CannedInputUIFactory or a
750
893
    # particular configuration of TextUIFactory, or otherwise have a clearer
751
894
    # idea of how they're supposed to be different.
752
 
    # See https://bugs.edge.launchpad.net/bzr/+bug/408213
 
895
    # See https://bugs.launchpad.net/bzr/+bug/408213
753
896
 
754
897
    def __init__(self, stdout=None, stderr=None, stdin=None):
755
898
        if stdin is not None:
773
916
        return NullProgressView()
774
917
 
775
918
 
 
919
def isolated_doctest_setUp(test):
 
920
    override_os_environ(test)
 
921
 
 
922
 
 
923
def isolated_doctest_tearDown(test):
 
924
    restore_os_environ(test)
 
925
 
 
926
 
 
927
def IsolatedDocTestSuite(*args, **kwargs):
 
928
    """Overrides doctest.DocTestSuite to handle isolation.
 
929
 
 
930
    The method is really a factory and users are expected to use it as such.
 
931
    """
 
932
 
 
933
    kwargs['setUp'] = isolated_doctest_setUp
 
934
    kwargs['tearDown'] = isolated_doctest_tearDown
 
935
    return doctest.DocTestSuite(*args, **kwargs)
 
936
 
 
937
 
776
938
class TestCase(testtools.TestCase):
777
939
    """Base class for bzr unit tests.
778
940
 
789
951
    routine, and to build and check bzr trees.
790
952
 
791
953
    In addition to the usual method of overriding tearDown(), this class also
792
 
    allows subclasses to register functions into the _cleanups list, which is
 
954
    allows subclasses to register cleanup functions via addCleanup, which are
793
955
    run in order as the object is torn down.  It's less likely this will be
794
956
    accidentally overlooked.
795
957
    """
796
958
 
797
 
    _active_threads = None
798
 
    _leaking_threads_tests = 0
799
 
    _first_thread_leaker_id = None
800
 
    _log_file_name = None
 
959
    _log_file = None
801
960
    # record lsprof data when performing benchmark calls.
802
961
    _gather_lsprof_in_benchmarks = False
803
962
 
804
963
    def __init__(self, methodName='testMethod'):
805
964
        super(TestCase, self).__init__(methodName)
806
 
        self._cleanups = []
807
965
        self._directory_isolation = True
808
966
        self.exception_handlers.insert(0,
809
967
            (UnavailableFeature, self._do_unsupported_or_skip))
814
972
        super(TestCase, self).setUp()
815
973
        for feature in getattr(self, '_test_needs_features', []):
816
974
            self.requireFeature(feature)
817
 
        self._log_contents = None
818
 
        self.addDetail("log", content.Content(content.ContentType("text",
819
 
            "plain", {"charset": "utf8"}),
820
 
            lambda:[self._get_log(keep_log_file=True)]))
821
975
        self._cleanEnvironment()
822
976
        self._silenceUI()
823
977
        self._startLogFile()
827
981
        self._track_transports()
828
982
        self._track_locks()
829
983
        self._clear_debug_flags()
830
 
        TestCase._active_threads = threading.activeCount()
831
 
        self.addCleanup(self._check_leaked_threads)
 
984
        # Isolate global verbosity level, to make sure it's reproducible
 
985
        # between tests.  We should get rid of this altogether: bug 656694. --
 
986
        # mbp 20101008
 
987
        self.overrideAttr(bzrlib.trace, '_verbosity_level', 0)
 
988
        # Isolate config option expansion until its default value for bzrlib is
 
989
        # settled on or a the FIXME associated with _get_expand_default_value
 
990
        # is addressed -- vila 20110219
 
991
        self.overrideAttr(config, '_expand_default_value', None)
 
992
        self._log_files = set()
 
993
        # Each key in the ``_counters`` dict holds a value for a different
 
994
        # counter. When the test ends, addDetail() should be used to output the
 
995
        # counter values. This happens in install_counter_hook().
 
996
        self._counters = {}
 
997
        if 'config_stats' in selftest_debug_flags:
 
998
            self._install_config_stats_hooks()
832
999
 
833
1000
    def debug(self):
834
1001
        # debug a frame up.
835
1002
        import pdb
836
1003
        pdb.Pdb().set_trace(sys._getframe().f_back)
837
1004
 
838
 
    def _check_leaked_threads(self):
839
 
        active = threading.activeCount()
840
 
        leaked_threads = active - TestCase._active_threads
841
 
        TestCase._active_threads = active
842
 
        # If some tests make the number of threads *decrease*, we'll consider
843
 
        # that they are just observing old threads dieing, not agressively kill
844
 
        # random threads. So we don't report these tests as leaking. The risk
845
 
        # is that we have false positives that way (the test see 2 threads
846
 
        # going away but leak one) but it seems less likely than the actual
847
 
        # false positives (the test see threads going away and does not leak).
848
 
        if leaked_threads > 0:
849
 
            TestCase._leaking_threads_tests += 1
850
 
            if TestCase._first_thread_leaker_id is None:
851
 
                TestCase._first_thread_leaker_id = self.id()
 
1005
    def discardDetail(self, name):
 
1006
        """Extend the addDetail, getDetails api so we can remove a detail.
 
1007
 
 
1008
        eg. bzr always adds the 'log' detail at startup, but we don't want to
 
1009
        include it for skipped, xfail, etc tests.
 
1010
 
 
1011
        It is safe to call this for a detail that doesn't exist, in case this
 
1012
        gets called multiple times.
 
1013
        """
 
1014
        # We cheat. details is stored in __details which means we shouldn't
 
1015
        # touch it. but getDetails() returns the dict directly, so we can
 
1016
        # mutate it.
 
1017
        details = self.getDetails()
 
1018
        if name in details:
 
1019
            del details[name]
 
1020
 
 
1021
    def install_counter_hook(self, hooks, name, counter_name=None):
 
1022
        """Install a counting hook.
 
1023
 
 
1024
        Any hook can be counted as long as it doesn't need to return a value.
 
1025
 
 
1026
        :param hooks: Where the hook should be installed.
 
1027
 
 
1028
        :param name: The hook name that will be counted.
 
1029
 
 
1030
        :param counter_name: The counter identifier in ``_counters``, defaults
 
1031
            to ``name``.
 
1032
        """
 
1033
        _counters = self._counters # Avoid closing over self
 
1034
        if counter_name is None:
 
1035
            counter_name = name
 
1036
        if _counters.has_key(counter_name):
 
1037
            raise AssertionError('%s is already used as a counter name'
 
1038
                                  % (counter_name,))
 
1039
        _counters[counter_name] = 0
 
1040
        self.addDetail(counter_name, content.Content(content.UTF8_TEXT,
 
1041
            lambda: ['%d' % (_counters[counter_name],)]))
 
1042
        def increment_counter(*args, **kwargs):
 
1043
            _counters[counter_name] += 1
 
1044
        label = 'count %s calls' % (counter_name,)
 
1045
        hooks.install_named_hook(name, increment_counter, label)
 
1046
        self.addCleanup(hooks.uninstall_named_hook, name, label)
 
1047
 
 
1048
    def _install_config_stats_hooks(self):
 
1049
        """Install config hooks to count hook calls.
 
1050
 
 
1051
        """
 
1052
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
 
1053
            self.install_counter_hook(config.ConfigHooks, hook_name,
 
1054
                                       'config.%s' % (hook_name,))
 
1055
 
 
1056
        # The OldConfigHooks are private and need special handling to protect
 
1057
        # against recursive tests (tests that run other tests), so we just do
 
1058
        # manually what registering them into _builtin_known_hooks will provide
 
1059
        # us.
 
1060
        self.overrideAttr(config, 'OldConfigHooks', config._OldConfigHooks())
 
1061
        for hook_name in ('get', 'set', 'remove', 'load', 'save'):
 
1062
            self.install_counter_hook(config.OldConfigHooks, hook_name,
 
1063
                                      'old_config.%s' % (hook_name,))
852
1064
 
853
1065
    def _clear_debug_flags(self):
854
1066
        """Prevent externally set debug flags affecting tests.
865
1077
 
866
1078
    def _clear_hooks(self):
867
1079
        # prevent hooks affecting tests
 
1080
        known_hooks = hooks.known_hooks
868
1081
        self._preserved_hooks = {}
869
 
        for key, factory in hooks.known_hooks.items():
870
 
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
871
 
            current_hooks = hooks.known_hooks_key_to_object(key)
 
1082
        for key, (parent, name) in known_hooks.iter_parent_objects():
 
1083
            current_hooks = getattr(parent, name)
872
1084
            self._preserved_hooks[parent] = (name, current_hooks)
 
1085
        self._preserved_lazy_hooks = hooks._lazy_hooks
 
1086
        hooks._lazy_hooks = {}
873
1087
        self.addCleanup(self._restoreHooks)
874
 
        for key, factory in hooks.known_hooks.items():
875
 
            parent, name = hooks.known_hooks_key_to_parent_and_attribute(key)
 
1088
        for key, (parent, name) in known_hooks.iter_parent_objects():
 
1089
            factory = known_hooks.get(key)
876
1090
            setattr(parent, name, factory())
877
1091
        # this hook should always be installed
878
1092
        request._install_hook()
907
1121
        # break some locks on purpose and should be taken into account by
908
1122
        # considering that breaking a lock is just a dirty way of releasing it.
909
1123
        if len(acquired_locks) != (len(released_locks) + len(broken_locks)):
910
 
            message = ('Different number of acquired and '
911
 
                       'released or broken locks. (%s, %s + %s)' %
912
 
                       (acquired_locks, released_locks, broken_locks))
 
1124
            message = (
 
1125
                'Different number of acquired and '
 
1126
                'released or broken locks.\n'
 
1127
                'acquired=%s\n'
 
1128
                'released=%s\n'
 
1129
                'broken=%s\n' %
 
1130
                (acquired_locks, released_locks, broken_locks))
913
1131
            if not self._lock_check_thorough:
914
1132
                # Rather than fail, just warn
915
1133
                print "Broken test %s: %s" % (self, message)
943
1161
 
944
1162
    def permit_dir(self, name):
945
1163
        """Permit a directory to be used by this test. See permit_url."""
946
 
        name_transport = get_transport(name)
 
1164
        name_transport = _mod_transport.get_transport_from_path(name)
947
1165
        self.permit_url(name)
948
1166
        self.permit_url(name_transport.base)
949
1167
 
972
1190
            try:
973
1191
                workingtree.WorkingTree.open(path)
974
1192
            except (errors.NotBranchError, errors.NoWorkingTree):
975
 
                return
 
1193
                raise TestSkipped('Needs a working tree of bzr sources')
976
1194
        finally:
977
1195
            self.enable_directory_isolation()
978
1196
 
1028
1246
        self.addCleanup(transport_server.stop_server)
1029
1247
        # Obtain a real transport because if the server supplies a password, it
1030
1248
        # will be hidden from the base on the client side.
1031
 
        t = get_transport(transport_server.get_url())
 
1249
        t = _mod_transport.get_transport_from_url(transport_server.get_url())
1032
1250
        # Some transport servers effectively chroot the backing transport;
1033
1251
        # others like SFTPServer don't - users of the transport can walk up the
1034
1252
        # transport to read the entire backing transport. This wouldn't matter
1090
1308
        except UnicodeError, e:
1091
1309
            # If we can't compare without getting a UnicodeError, then
1092
1310
            # obviously they are different
1093
 
            mutter('UnicodeError: %s', e)
 
1311
            trace.mutter('UnicodeError: %s', e)
1094
1312
        if message:
1095
1313
            message += '\n'
1096
1314
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
1097
1315
            % (message,
1098
 
               pformat(a), pformat(b)))
 
1316
               pprint.pformat(a), pprint.pformat(b)))
1099
1317
 
1100
1318
    assertEquals = assertEqual
1101
1319
 
1135
1353
                         'st_mtime did not match')
1136
1354
        self.assertEqual(expected.st_ctime, actual.st_ctime,
1137
1355
                         'st_ctime did not match')
1138
 
        if sys.platform != 'win32':
 
1356
        if sys.platform == 'win32':
1139
1357
            # On Win32 both 'dev' and 'ino' cannot be trusted. In python2.4 it
1140
1358
            # is 'dev' that varies, in python 2.5 (6?) it is st_ino that is
1141
 
            # odd. Regardless we shouldn't actually try to assert anything
1142
 
            # about their values
 
1359
            # odd. We just force it to always be 0 to avoid any problems.
 
1360
            self.assertEqual(0, expected.st_dev)
 
1361
            self.assertEqual(0, actual.st_dev)
 
1362
            self.assertEqual(0, expected.st_ino)
 
1363
            self.assertEqual(0, actual.st_ino)
 
1364
        else:
1143
1365
            self.assertEqual(expected.st_dev, actual.st_dev,
1144
1366
                             'st_dev did not match')
1145
1367
            self.assertEqual(expected.st_ino, actual.st_ino,
1154
1376
                length, len(obj_with_len), obj_with_len))
1155
1377
 
1156
1378
    def assertLogsError(self, exception_class, func, *args, **kwargs):
1157
 
        """Assert that func(*args, **kwargs) quietly logs a specific exception.
 
1379
        """Assert that `func(*args, **kwargs)` quietly logs a specific error.
1158
1380
        """
1159
 
        from bzrlib import trace
1160
1381
        captured = []
1161
1382
        orig_log_exception_quietly = trace.log_exception_quietly
1162
1383
        try:
1163
1384
            def capture():
1164
1385
                orig_log_exception_quietly()
1165
 
                captured.append(sys.exc_info())
 
1386
                captured.append(sys.exc_info()[1])
1166
1387
            trace.log_exception_quietly = capture
1167
1388
            func(*args, **kwargs)
1168
1389
        finally:
1169
1390
            trace.log_exception_quietly = orig_log_exception_quietly
1170
1391
        self.assertLength(1, captured)
1171
 
        err = captured[0][1]
 
1392
        err = captured[0]
1172
1393
        self.assertIsInstance(err, exception_class)
1173
1394
        return err
1174
1395
 
1211
1432
        if haystack.find(needle) == -1:
1212
1433
            self.fail("string %r not found in '''%s'''" % (needle, haystack))
1213
1434
 
 
1435
    def assertNotContainsString(self, haystack, needle):
 
1436
        if haystack.find(needle) != -1:
 
1437
            self.fail("string %r found in '''%s'''" % (needle, haystack))
 
1438
 
1214
1439
    def assertSubset(self, sublist, superlist):
1215
1440
        """Assert that every entry in sublist is present in superlist."""
1216
1441
        missing = set(sublist) - set(superlist)
1305
1530
 
1306
1531
    def assertFileEqual(self, content, path):
1307
1532
        """Fail if path does not contain 'content'."""
1308
 
        self.failUnlessExists(path)
 
1533
        self.assertPathExists(path)
1309
1534
        f = file(path, 'rb')
1310
1535
        try:
1311
1536
            s = f.read()
1321
1546
        else:
1322
1547
            self.assertEqual(expected_docstring, obj.__doc__)
1323
1548
 
 
1549
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1324
1550
    def failUnlessExists(self, path):
 
1551
        return self.assertPathExists(path)
 
1552
 
 
1553
    def assertPathExists(self, path):
1325
1554
        """Fail unless path or paths, which may be abs or relative, exist."""
1326
1555
        if not isinstance(path, basestring):
1327
1556
            for p in path:
1328
 
                self.failUnlessExists(p)
 
1557
                self.assertPathExists(p)
1329
1558
        else:
1330
 
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1559
            self.assertTrue(osutils.lexists(path),
 
1560
                path + " does not exist")
1331
1561
 
 
1562
    @symbol_versioning.deprecated_method(symbol_versioning.deprecated_in((2, 4)))
1332
1563
    def failIfExists(self, path):
 
1564
        return self.assertPathDoesNotExist(path)
 
1565
 
 
1566
    def assertPathDoesNotExist(self, path):
1333
1567
        """Fail if path or paths, which may be abs or relative, exist."""
1334
1568
        if not isinstance(path, basestring):
1335
1569
            for p in path:
1336
 
                self.failIfExists(p)
 
1570
                self.assertPathDoesNotExist(p)
1337
1571
        else:
1338
 
            self.failIf(osutils.lexists(path),path+" exists")
 
1572
            self.assertFalse(osutils.lexists(path),
 
1573
                path + " exists")
1339
1574
 
1340
1575
    def _capture_deprecation_warnings(self, a_callable, *args, **kwargs):
1341
1576
        """A helper for callDeprecated and applyDeprecated.
1367
1602
        not other callers that go direct to the warning module.
1368
1603
 
1369
1604
        To test that a deprecated method raises an error, do something like
1370
 
        this::
 
1605
        this (remember that both assertRaises and applyDeprecated delays *args
 
1606
        and **kwargs passing)::
1371
1607
 
1372
1608
            self.assertRaises(errors.ReservedId,
1373
1609
                self.applyDeprecated,
1455
1691
 
1456
1692
        The file is removed as the test is torn down.
1457
1693
        """
1458
 
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
1459
 
        self._log_file = os.fdopen(fileno, 'w+')
1460
 
        self._log_memento = bzrlib.trace.push_log_file(self._log_file)
1461
 
        self._log_file_name = name
 
1694
        pseudo_log_file = StringIO()
 
1695
        def _get_log_contents_for_weird_testtools_api():
 
1696
            return [pseudo_log_file.getvalue().decode(
 
1697
                "utf-8", "replace").encode("utf-8")]
 
1698
        self.addDetail("log", content.Content(content.ContentType("text",
 
1699
            "plain", {"charset": "utf8"}),
 
1700
            _get_log_contents_for_weird_testtools_api))
 
1701
        self._log_file = pseudo_log_file
 
1702
        self._log_memento = trace.push_log_file(self._log_file)
1462
1703
        self.addCleanup(self._finishLogFile)
1463
1704
 
1464
1705
    def _finishLogFile(self):
1465
1706
        """Finished with the log file.
1466
1707
 
1467
 
        Close the file and delete it, unless setKeepLogfile was called.
 
1708
        Close the file and delete it.
1468
1709
        """
1469
 
        if bzrlib.trace._trace_file:
 
1710
        if trace._trace_file:
1470
1711
            # flush the log file, to get all content
1471
 
            bzrlib.trace._trace_file.flush()
1472
 
        bzrlib.trace.pop_log_file(self._log_memento)
1473
 
        # Cache the log result and delete the file on disk
1474
 
        self._get_log(False)
 
1712
            trace._trace_file.flush()
 
1713
        trace.pop_log_file(self._log_memento)
1475
1714
 
1476
1715
    def thisFailsStrictLockCheck(self):
1477
1716
        """It is known that this test would fail with -Dstrict_locks.
1486
1725
        """
1487
1726
        debug.debug_flags.discard('strict_locks')
1488
1727
 
1489
 
    def addCleanup(self, callable, *args, **kwargs):
1490
 
        """Arrange to run a callable when this case is torn down.
1491
 
 
1492
 
        Callables are run in the reverse of the order they are registered,
1493
 
        ie last-in first-out.
1494
 
        """
1495
 
        self._cleanups.append((callable, args, kwargs))
1496
 
 
1497
1728
    def overrideAttr(self, obj, attr_name, new=_unitialized_attr):
1498
1729
        """Overrides an object attribute restoring it after the test.
1499
1730
 
 
1731
        :note: This should be used with discretion; you should think about
 
1732
        whether it's better to make the code testable without monkey-patching.
 
1733
 
1500
1734
        :param obj: The object that will be mutated.
1501
1735
 
1502
1736
        :param attr_name: The attribute name we want to preserve/override in
1513
1747
            setattr(obj, attr_name, new)
1514
1748
        return value
1515
1749
 
 
1750
    def overrideEnv(self, name, new):
 
1751
        """Set an environment variable, and reset it after the test.
 
1752
 
 
1753
        :param name: The environment variable name.
 
1754
 
 
1755
        :param new: The value to set the variable to. If None, the 
 
1756
            variable is deleted from the environment.
 
1757
 
 
1758
        :returns: The actual variable value.
 
1759
        """
 
1760
        value = osutils.set_or_unset_env(name, new)
 
1761
        self.addCleanup(osutils.set_or_unset_env, name, value)
 
1762
        return value
 
1763
 
 
1764
    def recordCalls(self, obj, attr_name):
 
1765
        """Monkeypatch in a wrapper that will record calls.
 
1766
 
 
1767
        The monkeypatch is automatically removed when the test concludes.
 
1768
 
 
1769
        :param obj: The namespace holding the reference to be replaced;
 
1770
            typically a module, class, or object.
 
1771
        :param attr_name: A string for the name of the attribute to 
 
1772
            patch.
 
1773
        :returns: A list that will be extended with one item every time the
 
1774
            function is called, with a tuple of (args, kwargs).
 
1775
        """
 
1776
        calls = []
 
1777
 
 
1778
        def decorator(*args, **kwargs):
 
1779
            calls.append((args, kwargs))
 
1780
            return orig(*args, **kwargs)
 
1781
        orig = self.overrideAttr(obj, attr_name, decorator)
 
1782
        return calls
 
1783
 
1516
1784
    def _cleanEnvironment(self):
1517
 
        new_env = {
1518
 
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
1519
 
            'HOME': os.getcwd(),
1520
 
            # bzr now uses the Win32 API and doesn't rely on APPDATA, but the
1521
 
            # tests do check our impls match APPDATA
1522
 
            'BZR_EDITOR': None, # test_msgeditor manipulates this variable
1523
 
            'VISUAL': None,
1524
 
            'EDITOR': None,
1525
 
            'BZR_EMAIL': None,
1526
 
            'BZREMAIL': None, # may still be present in the environment
1527
 
            'EMAIL': None,
1528
 
            'BZR_PROGRESS_BAR': None,
1529
 
            'BZR_LOG': None,
1530
 
            'BZR_PLUGIN_PATH': None,
1531
 
            'BZR_DISABLE_PLUGINS': None,
1532
 
            'BZR_PLUGINS_AT': None,
1533
 
            'BZR_CONCURRENCY': None,
1534
 
            # Make sure that any text ui tests are consistent regardless of
1535
 
            # the environment the test case is run in; you may want tests that
1536
 
            # test other combinations.  'dumb' is a reasonable guess for tests
1537
 
            # going to a pipe or a StringIO.
1538
 
            'TERM': 'dumb',
1539
 
            'LINES': '25',
1540
 
            'COLUMNS': '80',
1541
 
            'BZR_COLUMNS': '80',
1542
 
            # SSH Agent
1543
 
            'SSH_AUTH_SOCK': None,
1544
 
            # Proxies
1545
 
            'http_proxy': None,
1546
 
            'HTTP_PROXY': None,
1547
 
            'https_proxy': None,
1548
 
            'HTTPS_PROXY': None,
1549
 
            'no_proxy': None,
1550
 
            'NO_PROXY': None,
1551
 
            'all_proxy': None,
1552
 
            'ALL_PROXY': None,
1553
 
            # Nobody cares about ftp_proxy, FTP_PROXY AFAIK. So far at
1554
 
            # least. If you do (care), please update this comment
1555
 
            # -- vila 20080401
1556
 
            'ftp_proxy': None,
1557
 
            'FTP_PROXY': None,
1558
 
            'BZR_REMOTE_PATH': None,
1559
 
            # Generally speaking, we don't want apport reporting on crashes in
1560
 
            # the test envirnoment unless we're specifically testing apport,
1561
 
            # so that it doesn't leak into the real system environment.  We
1562
 
            # use an env var so it propagates to subprocesses.
1563
 
            'APPORT_DISABLE': '1',
1564
 
        }
1565
 
        self._old_env = {}
1566
 
        self.addCleanup(self._restoreEnvironment)
1567
 
        for name, value in new_env.iteritems():
1568
 
            self._captureVar(name, value)
1569
 
 
1570
 
    def _captureVar(self, name, newvalue):
1571
 
        """Set an environment variable, and reset it when finished."""
1572
 
        self._old_env[name] = osutils.set_or_unset_env(name, newvalue)
1573
 
 
1574
 
    def _restoreEnvironment(self):
1575
 
        for name, value in self._old_env.iteritems():
1576
 
            osutils.set_or_unset_env(name, value)
 
1785
        for name, value in isolated_environ.iteritems():
 
1786
            self.overrideEnv(name, value)
1577
1787
 
1578
1788
    def _restoreHooks(self):
1579
1789
        for klass, (name, hooks) in self._preserved_hooks.items():
1580
1790
            setattr(klass, name, hooks)
 
1791
        self._preserved_hooks.clear()
 
1792
        bzrlib.hooks._lazy_hooks = self._preserved_lazy_hooks
 
1793
        self._preserved_lazy_hooks.clear()
1581
1794
 
1582
1795
    def knownFailure(self, reason):
1583
1796
        """This test has failed for some known reason."""
1584
1797
        raise KnownFailure(reason)
1585
1798
 
 
1799
    def _suppress_log(self):
 
1800
        """Remove the log info from details."""
 
1801
        self.discardDetail('log')
 
1802
 
1586
1803
    def _do_skip(self, result, reason):
 
1804
        self._suppress_log()
1587
1805
        addSkip = getattr(result, 'addSkip', None)
1588
1806
        if not callable(addSkip):
1589
1807
            result.addSuccess(result)
1592
1810
 
1593
1811
    @staticmethod
1594
1812
    def _do_known_failure(self, result, e):
 
1813
        self._suppress_log()
1595
1814
        err = sys.exc_info()
1596
1815
        addExpectedFailure = getattr(result, 'addExpectedFailure', None)
1597
1816
        if addExpectedFailure is not None:
1605
1824
            reason = 'No reason given'
1606
1825
        else:
1607
1826
            reason = e.args[0]
 
1827
        self._suppress_log ()
1608
1828
        addNotApplicable = getattr(result, 'addNotApplicable', None)
1609
1829
        if addNotApplicable is not None:
1610
1830
            result.addNotApplicable(self, reason)
1612
1832
            self._do_skip(result, reason)
1613
1833
 
1614
1834
    @staticmethod
 
1835
    def _report_skip(self, result, err):
 
1836
        """Override the default _report_skip.
 
1837
 
 
1838
        We want to strip the 'log' detail. If we waint until _do_skip, it has
 
1839
        already been formatted into the 'reason' string, and we can't pull it
 
1840
        out again.
 
1841
        """
 
1842
        self._suppress_log()
 
1843
        super(TestCase, self)._report_skip(self, result, err)
 
1844
 
 
1845
    @staticmethod
 
1846
    def _report_expected_failure(self, result, err):
 
1847
        """Strip the log.
 
1848
 
 
1849
        See _report_skip for motivation.
 
1850
        """
 
1851
        self._suppress_log()
 
1852
        super(TestCase, self)._report_expected_failure(self, result, err)
 
1853
 
 
1854
    @staticmethod
1615
1855
    def _do_unsupported_or_skip(self, result, e):
1616
1856
        reason = e.args[0]
 
1857
        self._suppress_log()
1617
1858
        addNotSupported = getattr(result, 'addNotSupported', None)
1618
1859
        if addNotSupported is not None:
1619
1860
            result.addNotSupported(self, reason)
1645
1886
            self._benchtime += time.time() - start
1646
1887
 
1647
1888
    def log(self, *args):
1648
 
        mutter(*args)
1649
 
 
1650
 
    def _get_log(self, keep_log_file=False):
1651
 
        """Internal helper to get the log from bzrlib.trace for this test.
1652
 
 
1653
 
        Please use self.getDetails, or self.get_log to access this in test case
1654
 
        code.
1655
 
 
1656
 
        :param keep_log_file: When True, if the log is still a file on disk
1657
 
            leave it as a file on disk. When False, if the log is still a file
1658
 
            on disk, the log file is deleted and the log preserved as
1659
 
            self._log_contents.
1660
 
        :return: A string containing the log.
1661
 
        """
1662
 
        if self._log_contents is not None:
1663
 
            try:
1664
 
                self._log_contents.decode('utf8')
1665
 
            except UnicodeDecodeError:
1666
 
                unicodestr = self._log_contents.decode('utf8', 'replace')
1667
 
                self._log_contents = unicodestr.encode('utf8')
1668
 
            return self._log_contents
1669
 
        import bzrlib.trace
1670
 
        if bzrlib.trace._trace_file:
1671
 
            # flush the log file, to get all content
1672
 
            bzrlib.trace._trace_file.flush()
1673
 
        if self._log_file_name is not None:
1674
 
            logfile = open(self._log_file_name)
1675
 
            try:
1676
 
                log_contents = logfile.read()
1677
 
            finally:
1678
 
                logfile.close()
1679
 
            try:
1680
 
                log_contents.decode('utf8')
1681
 
            except UnicodeDecodeError:
1682
 
                unicodestr = log_contents.decode('utf8', 'replace')
1683
 
                log_contents = unicodestr.encode('utf8')
1684
 
            if not keep_log_file:
1685
 
                close_attempts = 0
1686
 
                max_close_attempts = 100
1687
 
                first_close_error = None
1688
 
                while close_attempts < max_close_attempts:
1689
 
                    close_attempts += 1
1690
 
                    try:
1691
 
                        self._log_file.close()
1692
 
                    except IOError, ioe:
1693
 
                        if ioe.errno is None:
1694
 
                            # No errno implies 'close() called during
1695
 
                            # concurrent operation on the same file object', so
1696
 
                            # retry.  Probably a thread is trying to write to
1697
 
                            # the log file.
1698
 
                            if first_close_error is None:
1699
 
                                first_close_error = ioe
1700
 
                            continue
1701
 
                        raise
1702
 
                    else:
1703
 
                        break
1704
 
                if close_attempts > 1:
1705
 
                    sys.stderr.write(
1706
 
                        'Unable to close log file on first attempt, '
1707
 
                        'will retry: %s\n' % (first_close_error,))
1708
 
                    if close_attempts == max_close_attempts:
1709
 
                        sys.stderr.write(
1710
 
                            'Unable to close log file after %d attempts.\n'
1711
 
                            % (max_close_attempts,))
1712
 
                self._log_file = None
1713
 
                # Permit multiple calls to get_log until we clean it up in
1714
 
                # finishLogFile
1715
 
                self._log_contents = log_contents
1716
 
                try:
1717
 
                    os.remove(self._log_file_name)
1718
 
                except OSError, e:
1719
 
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
1720
 
                        sys.stderr.write(('Unable to delete log file '
1721
 
                                             ' %r\n' % self._log_file_name))
1722
 
                    else:
1723
 
                        raise
1724
 
                self._log_file_name = None
1725
 
            return log_contents
1726
 
        else:
1727
 
            return "No log file content and no log file name."
 
1889
        trace.mutter(*args)
1728
1890
 
1729
1891
    def get_log(self):
1730
1892
        """Get a unicode string containing the log from bzrlib.trace.
1780
1942
 
1781
1943
        try:
1782
1944
            try:
1783
 
                result = self.apply_redirected(ui.ui_factory.stdin,
 
1945
                result = self.apply_redirected(
 
1946
                    ui.ui_factory.stdin,
1784
1947
                    stdout, stderr,
1785
 
                    bzrlib.commands.run_bzr_catch_user_errors,
 
1948
                    _mod_commands.run_bzr_catch_user_errors,
1786
1949
                    args)
1787
1950
            except KeyboardInterrupt:
1788
1951
                # Reraise KeyboardInterrupt with contents of redirected stdout
1930
2093
    def start_bzr_subprocess(self, process_args, env_changes=None,
1931
2094
                             skip_if_plan_to_signal=False,
1932
2095
                             working_dir=None,
1933
 
                             allow_plugins=False):
 
2096
                             allow_plugins=False, stderr=subprocess.PIPE):
1934
2097
        """Start bzr in a subprocess for testing.
1935
2098
 
1936
2099
        This starts a new Python interpreter and runs bzr in there.
1945
2108
            variables. A value of None will unset the env variable.
1946
2109
            The values must be strings. The change will only occur in the
1947
2110
            child, so you don't need to fix the environment after running.
1948
 
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
1949
 
            is not available.
 
2111
        :param skip_if_plan_to_signal: raise TestSkipped when true and system
 
2112
            doesn't support signalling subprocesses.
1950
2113
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
2114
        :param stderr: file to use for the subprocess's stderr.  Valid values
 
2115
            are those valid for the stderr argument of `subprocess.Popen`.
 
2116
            Default value is ``subprocess.PIPE``.
1951
2117
 
1952
2118
        :returns: Popen object for the started process.
1953
2119
        """
1954
2120
        if skip_if_plan_to_signal:
1955
 
            if not getattr(os, 'kill', None):
1956
 
                raise TestSkipped("os.kill not available.")
 
2121
            if os.name != "posix":
 
2122
                raise TestSkipped("Sending signals not supported")
1957
2123
 
1958
2124
        if env_changes is None:
1959
2125
            env_changes = {}
1979
2145
            # so we will avoid using it on all platforms, just to
1980
2146
            # make sure the code path is used, and we don't break on win32
1981
2147
            cleanup_environment()
 
2148
            # Include the subprocess's log file in the test details, in case
 
2149
            # the test fails due to an error in the subprocess.
 
2150
            self._add_subprocess_log(trace._get_bzr_log_filename())
1982
2151
            command = [sys.executable]
1983
2152
            # frozen executables don't need the path to bzr
1984
2153
            if getattr(sys, "frozen", None) is None:
1986
2155
            if not allow_plugins:
1987
2156
                command.append('--no-plugins')
1988
2157
            command.extend(process_args)
1989
 
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
2158
            process = self._popen(command, stdin=subprocess.PIPE,
 
2159
                                  stdout=subprocess.PIPE,
 
2160
                                  stderr=stderr)
1990
2161
        finally:
1991
2162
            restore_environment()
1992
2163
            if cwd is not None:
1994
2165
 
1995
2166
        return process
1996
2167
 
 
2168
    def _add_subprocess_log(self, log_file_path):
 
2169
        if len(self._log_files) == 0:
 
2170
            # Register an addCleanup func.  We do this on the first call to
 
2171
            # _add_subprocess_log rather than in TestCase.setUp so that this
 
2172
            # addCleanup is registered after any cleanups for tempdirs that
 
2173
            # subclasses might create, which will probably remove the log file
 
2174
            # we want to read.
 
2175
            self.addCleanup(self._subprocess_log_cleanup)
 
2176
        # self._log_files is a set, so if a log file is reused we won't grab it
 
2177
        # twice.
 
2178
        self._log_files.add(log_file_path)
 
2179
 
 
2180
    def _subprocess_log_cleanup(self):
 
2181
        for count, log_file_path in enumerate(self._log_files):
 
2182
            # We use buffer_now=True to avoid holding the file open beyond
 
2183
            # the life of this function, which might interfere with e.g.
 
2184
            # cleaning tempdirs on Windows.
 
2185
            # XXX: Testtools 0.9.5 doesn't have the content_from_file helper
 
2186
            #detail_content = content.content_from_file(
 
2187
            #    log_file_path, buffer_now=True)
 
2188
            with open(log_file_path, 'rb') as log_file:
 
2189
                log_file_bytes = log_file.read()
 
2190
            detail_content = content.Content(content.ContentType("text",
 
2191
                "plain", {"charset": "utf8"}), lambda: [log_file_bytes])
 
2192
            self.addDetail("start_bzr_subprocess-log-%d" % (count,),
 
2193
                detail_content)
 
2194
 
1997
2195
    def _popen(self, *args, **kwargs):
1998
2196
        """Place a call to Popen.
1999
2197
 
2000
2198
        Allows tests to override this method to intercept the calls made to
2001
2199
        Popen for introspection.
2002
2200
        """
2003
 
        return Popen(*args, **kwargs)
 
2201
        return subprocess.Popen(*args, **kwargs)
2004
2202
 
2005
2203
    def get_source_path(self):
2006
2204
        """Return the path of the directory containing bzrlib."""
2008
2206
 
2009
2207
    def get_bzr_path(self):
2010
2208
        """Return the path of the 'bzr' executable for this test suite."""
2011
 
        bzr_path = self.get_source_path()+'/bzr'
 
2209
        bzr_path = os.path.join(self.get_source_path(), "bzr")
2012
2210
        if not os.path.isfile(bzr_path):
2013
2211
            # We are probably installed. Assume sys.argv is the right file
2014
2212
            bzr_path = sys.argv[0]
2036
2234
        if retcode is not None and retcode != process.returncode:
2037
2235
            if process_args is None:
2038
2236
                process_args = "(unknown args)"
2039
 
            mutter('Output of bzr %s:\n%s', process_args, out)
2040
 
            mutter('Error for bzr %s:\n%s', process_args, err)
 
2237
            trace.mutter('Output of bzr %s:\n%s', process_args, out)
 
2238
            trace.mutter('Error for bzr %s:\n%s', process_args, err)
2041
2239
            self.fail('Command bzr %s failed with retcode %s != %s'
2042
2240
                      % (process_args, retcode, process.returncode))
2043
2241
        return [out, err]
2044
2242
 
2045
 
    def check_inventory_shape(self, inv, shape):
2046
 
        """Compare an inventory to a list of expected names.
 
2243
    def check_tree_shape(self, tree, shape):
 
2244
        """Compare a tree to a list of expected names.
2047
2245
 
2048
2246
        Fail if they are not precisely equal.
2049
2247
        """
2050
2248
        extras = []
2051
2249
        shape = list(shape)             # copy
2052
 
        for path, ie in inv.entries():
 
2250
        for path, ie in tree.iter_entries_by_dir():
2053
2251
            name = path.replace('\\', '/')
2054
2252
            if ie.kind == 'directory':
2055
2253
                name = name + '/'
2056
 
            if name in shape:
 
2254
            if name == "/":
 
2255
                pass # ignore root entry
 
2256
            elif name in shape:
2057
2257
                shape.remove(name)
2058
2258
            else:
2059
2259
                extras.append(name)
2100
2300
 
2101
2301
        Tests that expect to provoke LockContention errors should call this.
2102
2302
        """
2103
 
        self.overrideAttr(bzrlib.lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
 
2303
        self.overrideAttr(lockdir, '_DEFAULT_TIMEOUT_SECONDS', 0)
2104
2304
 
2105
2305
    def make_utf8_encoded_stringio(self, encoding_type=None):
2106
2306
        """Return a StringIOWrapper instance, that will encode Unicode
2149
2349
class TestCaseWithMemoryTransport(TestCase):
2150
2350
    """Common test class for tests that do not need disk resources.
2151
2351
 
2152
 
    Tests that need disk resources should derive from TestCaseWithTransport.
 
2352
    Tests that need disk resources should derive from TestCaseInTempDir
 
2353
    orTestCaseWithTransport.
2153
2354
 
2154
2355
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
2155
2356
 
2156
 
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
2357
    For TestCaseWithMemoryTransport the ``test_home_dir`` is set to the name of
2157
2358
    a directory which does not exist. This serves to help ensure test isolation
2158
 
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
2159
 
    must exist. However, TestCaseWithMemoryTransport does not offer local
2160
 
    file defaults for the transport in tests, nor does it obey the command line
 
2359
    is preserved. ``test_dir`` is set to the TEST_ROOT, as is cwd, because they
 
2360
    must exist. However, TestCaseWithMemoryTransport does not offer local file
 
2361
    defaults for the transport in tests, nor does it obey the command line
2161
2362
    override, so tests that accidentally write to the common directory should
2162
2363
    be rare.
2163
2364
 
2164
 
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
2165
 
    a .bzr directory that stops us ascending higher into the filesystem.
 
2365
    :cvar TEST_ROOT: Directory containing all temporary directories, plus a
 
2366
        ``.bzr`` directory that stops us ascending higher into the filesystem.
2166
2367
    """
2167
2368
 
2168
2369
    TEST_ROOT = None
2186
2387
 
2187
2388
        :param relpath: a path relative to the base url.
2188
2389
        """
2189
 
        t = get_transport(self.get_url(relpath))
 
2390
        t = _mod_transport.get_transport_from_url(self.get_url(relpath))
2190
2391
        self.assertFalse(t.is_readonly())
2191
2392
        return t
2192
2393
 
2198
2399
 
2199
2400
        :param relpath: a path relative to the base url.
2200
2401
        """
2201
 
        t = get_transport(self.get_readonly_url(relpath))
 
2402
        t = _mod_transport.get_transport(self.get_readonly_url(relpath))
2202
2403
        self.assertTrue(t.is_readonly())
2203
2404
        return t
2204
2405
 
2325
2526
        real branch.
2326
2527
        """
2327
2528
        root = TestCaseWithMemoryTransport.TEST_ROOT
2328
 
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
2529
        wt = bzrdir.BzrDir.create_standalone_workingtree(root)
 
2530
        # Hack for speed: remember the raw bytes of the dirstate file so that
 
2531
        # we don't need to re-open the wt to check it hasn't changed.
 
2532
        TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE = (
 
2533
            wt.control_transport.get_bytes('dirstate'))
2329
2534
 
2330
2535
    def _check_safety_net(self):
2331
2536
        """Check that the safety .bzr directory have not been touched.
2334
2539
        propagating. This method ensures than a test did not leaked.
2335
2540
        """
2336
2541
        root = TestCaseWithMemoryTransport.TEST_ROOT
2337
 
        self.permit_url(get_transport(root).base)
2338
 
        wt = workingtree.WorkingTree.open(root)
2339
 
        last_rev = wt.last_revision()
2340
 
        if last_rev != 'null:':
 
2542
        t = _mod_transport.get_transport(root)
 
2543
        self.permit_url(t.base)
 
2544
        if (t.get_bytes('.bzr/checkout/dirstate') != 
 
2545
                TestCaseWithMemoryTransport._SAFETY_NET_PRISTINE_DIRSTATE):
2341
2546
            # The current test have modified the /bzr directory, we need to
2342
2547
            # recreate a new one or all the followng tests will fail.
2343
2548
            # If you need to inspect its content uncomment the following line
2385
2590
            # might be a relative or absolute path
2386
2591
            maybe_a_url = self.get_url(relpath)
2387
2592
            segments = maybe_a_url.rsplit('/', 1)
2388
 
            t = get_transport(maybe_a_url)
 
2593
            t = _mod_transport.get_transport(maybe_a_url)
2389
2594
            if len(segments) > 1 and segments[-1] not in ('', '.'):
2390
2595
                t.ensure_base()
2391
2596
            if format is None:
2408
2613
        made_control = self.make_bzrdir(relpath, format=format)
2409
2614
        return made_control.create_repository(shared=shared)
2410
2615
 
2411
 
    def make_smart_server(self, path):
 
2616
    def make_smart_server(self, path, backing_server=None):
 
2617
        if backing_server is None:
 
2618
            backing_server = self.get_server()
2412
2619
        smart_server = test_server.SmartTCPServer_for_testing()
2413
 
        self.start_server(smart_server, self.get_server())
2414
 
        remote_transport = get_transport(smart_server.get_url()).clone(path)
 
2620
        self.start_server(smart_server, backing_server)
 
2621
        remote_transport = _mod_transport.get_transport_from_url(smart_server.get_url()
 
2622
                                                   ).clone(path)
2415
2623
        return remote_transport
2416
2624
 
2417
2625
    def make_branch_and_memory_tree(self, relpath, format=None):
2427
2635
        test_home_dir = self.test_home_dir
2428
2636
        if isinstance(test_home_dir, unicode):
2429
2637
            test_home_dir = test_home_dir.encode(sys.getfilesystemencoding())
2430
 
        os.environ['HOME'] = test_home_dir
2431
 
        os.environ['BZR_HOME'] = test_home_dir
 
2638
        self.overrideEnv('HOME', test_home_dir)
 
2639
        self.overrideEnv('BZR_HOME', test_home_dir)
2432
2640
 
2433
2641
    def setUp(self):
2434
2642
        super(TestCaseWithMemoryTransport, self).setUp()
 
2643
        # Ensure that ConnectedTransport doesn't leak sockets
 
2644
        def get_transport_from_url_with_cleanup(*args, **kwargs):
 
2645
            t = orig_get_transport_from_url(*args, **kwargs)
 
2646
            if isinstance(t, _mod_transport.ConnectedTransport):
 
2647
                self.addCleanup(t.disconnect)
 
2648
            return t
 
2649
 
 
2650
        orig_get_transport_from_url = self.overrideAttr(
 
2651
            _mod_transport, 'get_transport_from_url',
 
2652
            get_transport_from_url_with_cleanup)
2435
2653
        self._make_test_root()
2436
2654
        self.addCleanup(os.chdir, os.getcwdu())
2437
2655
        self.makeAndChdirToTestDir()
2480
2698
 
2481
2699
    OVERRIDE_PYTHON = 'python'
2482
2700
 
 
2701
    def setUp(self):
 
2702
        super(TestCaseInTempDir, self).setUp()
 
2703
        # Remove the protection set in isolated_environ, we have a proper
 
2704
        # access to disk resources now.
 
2705
        self.overrideEnv('BZR_LOG', None)
 
2706
 
2483
2707
    def check_file_contents(self, filename, expect):
2484
2708
        self.log("check contents of file %s" % filename)
2485
 
        contents = file(filename, 'r').read()
 
2709
        f = file(filename)
 
2710
        try:
 
2711
            contents = f.read()
 
2712
        finally:
 
2713
            f.close()
2486
2714
        if contents != expect:
2487
2715
            self.log("expected: %r" % expect)
2488
2716
            self.log("actually: %r" % contents)
2562
2790
                "a list or a tuple. Got %r instead" % (shape,))
2563
2791
        # It's OK to just create them using forward slashes on windows.
2564
2792
        if transport is None or transport.is_readonly():
2565
 
            transport = get_transport(".")
 
2793
            transport = _mod_transport.get_transport(".")
2566
2794
        for name in shape:
2567
2795
            self.assertIsInstance(name, basestring)
2568
2796
            if name[-1] == '/':
2578
2806
                content = "contents of %s%s" % (name.encode('utf-8'), end)
2579
2807
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
2580
2808
 
2581
 
    def build_tree_contents(self, shape):
2582
 
        build_tree_contents(shape)
 
2809
    build_tree_contents = staticmethod(treeshape.build_tree_contents)
2583
2810
 
2584
2811
    def assertInWorkingTree(self, path, root_path='.', tree=None):
2585
2812
        """Assert whether path or paths are in the WorkingTree"""
2726
2953
    """
2727
2954
 
2728
2955
    def setUp(self):
 
2956
        from bzrlib.tests import http_server
2729
2957
        super(ChrootedTestCase, self).setUp()
2730
2958
        if not self.vfs_transport_factory == memory.MemoryServer:
2731
 
            self.transport_readonly_server = HttpServer
 
2959
            self.transport_readonly_server = http_server.HttpServer
2732
2960
 
2733
2961
 
2734
2962
def condition_id_re(pattern):
2737
2965
    :param pattern: A regular expression string.
2738
2966
    :return: A callable that returns True if the re matches.
2739
2967
    """
2740
 
    filter_re = osutils.re_compile_checked(pattern, 0,
2741
 
        'test filter')
 
2968
    filter_re = re.compile(pattern, 0)
2742
2969
    def condition(test):
2743
2970
        test_id = test.id()
2744
2971
        return filter_re.search(test_id)
2996
3223
 
2997
3224
 
2998
3225
def fork_decorator(suite):
 
3226
    if getattr(os, "fork", None) is None:
 
3227
        raise errors.BzrCommandError("platform does not support fork,"
 
3228
            " try --parallel=subprocess instead.")
2999
3229
    concurrency = osutils.local_concurrency()
3000
3230
    if concurrency == 1:
3001
3231
        return suite
3056
3286
    return suite
3057
3287
 
3058
3288
 
3059
 
class TestDecorator(TestSuite):
 
3289
class TestDecorator(TestUtil.TestSuite):
3060
3290
    """A decorator for TestCase/TestSuite objects.
3061
3291
    
3062
3292
    Usually, subclasses should override __iter__(used when flattening test
3065
3295
    """
3066
3296
 
3067
3297
    def __init__(self, suite):
3068
 
        TestSuite.__init__(self)
 
3298
        TestUtil.TestSuite.__init__(self)
3069
3299
        self.addTest(suite)
3070
3300
 
3071
3301
    def countTestCases(self):
3190
3420
 
3191
3421
def partition_tests(suite, count):
3192
3422
    """Partition suite into count lists of tests."""
3193
 
    result = []
3194
 
    tests = list(iter_suite_tests(suite))
3195
 
    tests_per_process = int(math.ceil(float(len(tests)) / count))
3196
 
    for block in range(count):
3197
 
        low_test = block * tests_per_process
3198
 
        high_test = low_test + tests_per_process
3199
 
        process_tests = tests[low_test:high_test]
3200
 
        result.append(process_tests)
3201
 
    return result
 
3423
    # This just assigns tests in a round-robin fashion.  On one hand this
 
3424
    # splits up blocks of related tests that might run faster if they shared
 
3425
    # resources, but on the other it avoids assigning blocks of slow tests to
 
3426
    # just one partition.  So the slowest partition shouldn't be much slower
 
3427
    # than the fastest.
 
3428
    partitions = [list() for i in range(count)]
 
3429
    tests = iter_suite_tests(suite)
 
3430
    for partition, test in itertools.izip(itertools.cycle(partitions), tests):
 
3431
        partition.append(test)
 
3432
    return partitions
3202
3433
 
3203
3434
 
3204
3435
def workaround_zealous_crypto_random():
3238
3469
 
3239
3470
    test_blocks = partition_tests(suite, concurrency)
3240
3471
    for process_tests in test_blocks:
3241
 
        process_suite = TestSuite()
 
3472
        process_suite = TestUtil.TestSuite()
3242
3473
        process_suite.addTests(process_tests)
3243
3474
        c2pread, c2pwrite = os.pipe()
3244
3475
        pid = os.fork()
3310
3541
                '--subunit']
3311
3542
            if '--no-plugins' in sys.argv:
3312
3543
                argv.append('--no-plugins')
3313
 
            # stderr=STDOUT would be ideal, but until we prevent noise on
3314
 
            # stderr it can interrupt the subunit protocol.
3315
 
            process = Popen(argv, stdin=PIPE, stdout=PIPE, stderr=PIPE,
3316
 
                bufsize=1)
 
3544
            # stderr=subprocess.STDOUT would be ideal, but until we prevent
 
3545
            # noise on stderr it can interrupt the subunit protocol.
 
3546
            process = subprocess.Popen(argv, stdin=subprocess.PIPE,
 
3547
                                      stdout=subprocess.PIPE,
 
3548
                                      stderr=subprocess.PIPE,
 
3549
                                      bufsize=1)
3317
3550
            test = TestInSubprocess(process, test_list_file_name)
3318
3551
            result.append(test)
3319
3552
        except:
3322
3555
    return result
3323
3556
 
3324
3557
 
3325
 
class ForwardingResult(unittest.TestResult):
3326
 
 
3327
 
    def __init__(self, target):
3328
 
        unittest.TestResult.__init__(self)
3329
 
        self.result = target
3330
 
 
3331
 
    def startTest(self, test):
3332
 
        self.result.startTest(test)
3333
 
 
3334
 
    def stopTest(self, test):
3335
 
        self.result.stopTest(test)
3336
 
 
3337
 
    def startTestRun(self):
3338
 
        self.result.startTestRun()
3339
 
 
3340
 
    def stopTestRun(self):
3341
 
        self.result.stopTestRun()
3342
 
 
3343
 
    def addSkip(self, test, reason):
3344
 
        self.result.addSkip(test, reason)
3345
 
 
3346
 
    def addSuccess(self, test):
3347
 
        self.result.addSuccess(test)
3348
 
 
3349
 
    def addError(self, test, err):
3350
 
        self.result.addError(test, err)
3351
 
 
3352
 
    def addFailure(self, test, err):
3353
 
        self.result.addFailure(test, err)
3354
 
ForwardingResult = testtools.ExtendedToOriginalDecorator
3355
 
 
3356
 
 
3357
 
class ProfileResult(ForwardingResult):
 
3558
class ProfileResult(testtools.ExtendedToOriginalDecorator):
3358
3559
    """Generate profiling data for all activity between start and success.
3359
3560
    
3360
3561
    The profile data is appended to the test's _benchcalls attribute and can
3368
3569
 
3369
3570
    def startTest(self, test):
3370
3571
        self.profiler = bzrlib.lsprof.BzrProfiler()
 
3572
        # Prevent deadlocks in tests that use lsprof: those tests will
 
3573
        # unavoidably fail.
 
3574
        bzrlib.lsprof.BzrProfiler.profiler_block = 0
3371
3575
        self.profiler.start()
3372
 
        ForwardingResult.startTest(self, test)
 
3576
        testtools.ExtendedToOriginalDecorator.startTest(self, test)
3373
3577
 
3374
3578
    def addSuccess(self, test):
3375
3579
        stats = self.profiler.stop()
3379
3583
            test._benchcalls = []
3380
3584
            calls = test._benchcalls
3381
3585
        calls.append(((test.id(), "", ""), stats))
3382
 
        ForwardingResult.addSuccess(self, test)
 
3586
        testtools.ExtendedToOriginalDecorator.addSuccess(self, test)
3383
3587
 
3384
3588
    def stopTest(self, test):
3385
 
        ForwardingResult.stopTest(self, test)
 
3589
        testtools.ExtendedToOriginalDecorator.stopTest(self, test)
3386
3590
        self.profiler = None
3387
3591
 
3388
3592
 
3394
3598
#                           rather than failing tests. And no longer raise
3395
3599
#                           LockContention when fctnl locks are not being used
3396
3600
#                           with proper exclusion rules.
 
3601
#   -Ethreads               Will display thread ident at creation/join time to
 
3602
#                           help track thread leaks
 
3603
 
 
3604
#   -Econfig_stats          Will collect statistics using addDetail
3397
3605
selftest_debug_flags = set()
3398
3606
 
3399
3607
 
3593
3801
                key, obj, help=help, info=info, override_existing=False)
3594
3802
        except KeyError:
3595
3803
            actual = self.get(key)
3596
 
            note('Test prefix alias %s is already used for %s, ignoring %s'
3597
 
                 % (key, actual, obj))
 
3804
            trace.note(
 
3805
                'Test prefix alias %s is already used for %s, ignoring %s'
 
3806
                % (key, actual, obj))
3598
3807
 
3599
3808
    def resolve_alias(self, id_start):
3600
3809
        """Replace the alias by the prefix in the given string.
3632
3841
        'bzrlib.doc',
3633
3842
        'bzrlib.tests.blackbox',
3634
3843
        'bzrlib.tests.commands',
 
3844
        'bzrlib.tests.doc_generate',
3635
3845
        'bzrlib.tests.per_branch',
3636
3846
        'bzrlib.tests.per_bzrdir',
3637
 
        'bzrlib.tests.per_bzrdir_colo',
 
3847
        'bzrlib.tests.per_controldir',
 
3848
        'bzrlib.tests.per_controldir_colo',
3638
3849
        'bzrlib.tests.per_foreign_vcs',
3639
3850
        'bzrlib.tests.per_interrepository',
3640
3851
        'bzrlib.tests.per_intertree',
3648
3859
        'bzrlib.tests.per_repository',
3649
3860
        'bzrlib.tests.per_repository_chk',
3650
3861
        'bzrlib.tests.per_repository_reference',
 
3862
        'bzrlib.tests.per_repository_vf',
3651
3863
        'bzrlib.tests.per_uifactory',
3652
3864
        'bzrlib.tests.per_versionedfile',
3653
3865
        'bzrlib.tests.per_workingtree',
3654
3866
        'bzrlib.tests.test__annotator',
3655
3867
        'bzrlib.tests.test__bencode',
 
3868
        'bzrlib.tests.test__btree_serializer',
3656
3869
        'bzrlib.tests.test__chk_map',
3657
3870
        'bzrlib.tests.test__dirstate_helpers',
3658
3871
        'bzrlib.tests.test__groupcompress',
3686
3899
        'bzrlib.tests.test_commit_merge',
3687
3900
        'bzrlib.tests.test_config',
3688
3901
        'bzrlib.tests.test_conflicts',
 
3902
        'bzrlib.tests.test_controldir',
3689
3903
        'bzrlib.tests.test_counted_lock',
3690
3904
        'bzrlib.tests.test_crash',
3691
3905
        'bzrlib.tests.test_decorators',
3692
3906
        'bzrlib.tests.test_delta',
3693
3907
        'bzrlib.tests.test_debug',
3694
 
        'bzrlib.tests.test_deprecated_graph',
3695
3908
        'bzrlib.tests.test_diff',
3696
3909
        'bzrlib.tests.test_directory_service',
3697
3910
        'bzrlib.tests.test_dirstate',
3699
3912
        'bzrlib.tests.test_eol_filters',
3700
3913
        'bzrlib.tests.test_errors',
3701
3914
        'bzrlib.tests.test_export',
 
3915
        'bzrlib.tests.test_export_pot',
3702
3916
        'bzrlib.tests.test_extract',
 
3917
        'bzrlib.tests.test_features',
3703
3918
        'bzrlib.tests.test_fetch',
 
3919
        'bzrlib.tests.test_fixtures',
3704
3920
        'bzrlib.tests.test_fifo_cache',
3705
3921
        'bzrlib.tests.test_filters',
 
3922
        'bzrlib.tests.test_filter_tree',
3706
3923
        'bzrlib.tests.test_ftp_transport',
3707
3924
        'bzrlib.tests.test_foreign',
3708
3925
        'bzrlib.tests.test_generate_docs',
3717
3934
        'bzrlib.tests.test_http',
3718
3935
        'bzrlib.tests.test_http_response',
3719
3936
        'bzrlib.tests.test_https_ca_bundle',
 
3937
        'bzrlib.tests.test_i18n',
3720
3938
        'bzrlib.tests.test_identitymap',
3721
3939
        'bzrlib.tests.test_ignores',
3722
3940
        'bzrlib.tests.test_index',
3727
3945
        'bzrlib.tests.test_knit',
3728
3946
        'bzrlib.tests.test_lazy_import',
3729
3947
        'bzrlib.tests.test_lazy_regex',
 
3948
        'bzrlib.tests.test_library_state',
3730
3949
        'bzrlib.tests.test_lock',
3731
3950
        'bzrlib.tests.test_lockable_files',
3732
3951
        'bzrlib.tests.test_lockdir',
3734
3953
        'bzrlib.tests.test_lru_cache',
3735
3954
        'bzrlib.tests.test_lsprof',
3736
3955
        'bzrlib.tests.test_mail_client',
 
3956
        'bzrlib.tests.test_matchers',
3737
3957
        'bzrlib.tests.test_memorytree',
3738
3958
        'bzrlib.tests.test_merge',
3739
3959
        'bzrlib.tests.test_merge3',
3740
3960
        'bzrlib.tests.test_merge_core',
3741
3961
        'bzrlib.tests.test_merge_directive',
 
3962
        'bzrlib.tests.test_mergetools',
3742
3963
        'bzrlib.tests.test_missing',
3743
3964
        'bzrlib.tests.test_msgeditor',
3744
3965
        'bzrlib.tests.test_multiparent',
3753
3974
        'bzrlib.tests.test_permissions',
3754
3975
        'bzrlib.tests.test_plugins',
3755
3976
        'bzrlib.tests.test_progress',
 
3977
        'bzrlib.tests.test_pyutils',
3756
3978
        'bzrlib.tests.test_read_bundle',
3757
3979
        'bzrlib.tests.test_reconcile',
3758
3980
        'bzrlib.tests.test_reconfigure',
3767
3989
        'bzrlib.tests.test_rio',
3768
3990
        'bzrlib.tests.test_rules',
3769
3991
        'bzrlib.tests.test_sampler',
 
3992
        'bzrlib.tests.test_scenarios',
3770
3993
        'bzrlib.tests.test_script',
3771
3994
        'bzrlib.tests.test_selftest',
3772
3995
        'bzrlib.tests.test_serializer',
3788
4011
        'bzrlib.tests.test_switch',
3789
4012
        'bzrlib.tests.test_symbol_versioning',
3790
4013
        'bzrlib.tests.test_tag',
 
4014
        'bzrlib.tests.test_test_server',
3791
4015
        'bzrlib.tests.test_testament',
3792
4016
        'bzrlib.tests.test_textfile',
3793
4017
        'bzrlib.tests.test_textmerge',
 
4018
        'bzrlib.tests.test_cethread',
3794
4019
        'bzrlib.tests.test_timestamp',
3795
4020
        'bzrlib.tests.test_trace',
3796
4021
        'bzrlib.tests.test_transactions',
3799
4024
        'bzrlib.tests.test_transport_log',
3800
4025
        'bzrlib.tests.test_tree',
3801
4026
        'bzrlib.tests.test_treebuilder',
 
4027
        'bzrlib.tests.test_treeshape',
3802
4028
        'bzrlib.tests.test_tsort',
3803
4029
        'bzrlib.tests.test_tuned_gzip',
3804
4030
        'bzrlib.tests.test_ui',
3806
4032
        'bzrlib.tests.test_upgrade',
3807
4033
        'bzrlib.tests.test_upgrade_stacked',
3808
4034
        'bzrlib.tests.test_urlutils',
 
4035
        'bzrlib.tests.test_utextwrap',
3809
4036
        'bzrlib.tests.test_version',
3810
4037
        'bzrlib.tests.test_version_info',
 
4038
        'bzrlib.tests.test_versionedfile',
3811
4039
        'bzrlib.tests.test_weave',
3812
4040
        'bzrlib.tests.test_whitebox',
3813
4041
        'bzrlib.tests.test_win32utils',
3827
4055
        'bzrlib',
3828
4056
        'bzrlib.branchbuilder',
3829
4057
        'bzrlib.decorators',
3830
 
        'bzrlib.export',
3831
4058
        'bzrlib.inventory',
3832
4059
        'bzrlib.iterablefile',
3833
4060
        'bzrlib.lockdir',
3834
4061
        'bzrlib.merge3',
3835
4062
        'bzrlib.option',
 
4063
        'bzrlib.pyutils',
3836
4064
        'bzrlib.symbol_versioning',
3837
4065
        'bzrlib.tests',
 
4066
        'bzrlib.tests.fixtures',
3838
4067
        'bzrlib.timestamp',
 
4068
        'bzrlib.transport.http',
3839
4069
        'bzrlib.version_info_formats.format_custom',
3840
4070
        ]
3841
4071
 
3894
4124
        try:
3895
4125
            # note that this really does mean "report only" -- doctest
3896
4126
            # still runs the rest of the examples
3897
 
            doc_suite = doctest.DocTestSuite(mod,
3898
 
                optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
 
4127
            doc_suite = IsolatedDocTestSuite(
 
4128
                mod, optionflags=doctest.REPORT_ONLY_FIRST_FAILURE)
3899
4129
        except ValueError, e:
3900
4130
            print '**failed to get doctest for: %s\n%s' % (mod, e)
3901
4131
            raise
3904
4134
        suite.addTest(doc_suite)
3905
4135
 
3906
4136
    default_encoding = sys.getdefaultencoding()
3907
 
    for name, plugin in bzrlib.plugin.plugins().items():
 
4137
    for name, plugin in _mod_plugin.plugins().items():
3908
4138
        if not interesting_module(plugin.module.__name__):
3909
4139
            continue
3910
4140
        plugin_suite = plugin.test_suite()
3916
4146
        if plugin_suite is not None:
3917
4147
            suite.addTest(plugin_suite)
3918
4148
        if default_encoding != sys.getdefaultencoding():
3919
 
            bzrlib.trace.warning(
 
4149
            trace.warning(
3920
4150
                'Plugin "%s" tried to reset default encoding to: %s', name,
3921
4151
                sys.getdefaultencoding())
3922
4152
            reload(sys)
3937
4167
            # Some tests mentioned in the list are not in the test suite. The
3938
4168
            # list may be out of date, report to the tester.
3939
4169
            for id in not_found:
3940
 
                bzrlib.trace.warning('"%s" not found in the test suite', id)
 
4170
                trace.warning('"%s" not found in the test suite', id)
3941
4171
        for id in duplicates:
3942
 
            bzrlib.trace.warning('"%s" is used as an id by several tests', id)
 
4172
            trace.warning('"%s" is used as an id by several tests', id)
3943
4173
 
3944
4174
    return suite
3945
4175
 
3946
4176
 
3947
 
def multiply_scenarios(scenarios_left, scenarios_right):
 
4177
def multiply_scenarios(*scenarios):
 
4178
    """Multiply two or more iterables of scenarios.
 
4179
 
 
4180
    It is safe to pass scenario generators or iterators.
 
4181
 
 
4182
    :returns: A list of compound scenarios: the cross-product of all 
 
4183
        scenarios, with the names concatenated and the parameters
 
4184
        merged together.
 
4185
    """
 
4186
    return reduce(_multiply_two_scenarios, map(list, scenarios))
 
4187
 
 
4188
 
 
4189
def _multiply_two_scenarios(scenarios_left, scenarios_right):
3948
4190
    """Multiply two sets of scenarios.
3949
4191
 
3950
4192
    :returns: the cartesian product of the two sets of scenarios, that is
3981
4223
    ...     bzrlib.tests.test_sampler.DemoTest('test_nothing'),
3982
4224
    ...     [('one', dict(param=1)),
3983
4225
    ...      ('two', dict(param=2))],
3984
 
    ...     TestSuite())
 
4226
    ...     TestUtil.TestSuite())
3985
4227
    >>> tests = list(iter_suite_tests(r))
3986
4228
    >>> len(tests)
3987
4229
    2
4034
4276
    :param new_id: The id to assign to it.
4035
4277
    :return: The new test.
4036
4278
    """
4037
 
    new_test = copy(test)
 
4279
    new_test = copy.copy(test)
4038
4280
    new_test.id = lambda: new_id
 
4281
    # XXX: Workaround <https://bugs.launchpad.net/testtools/+bug/637725>, which
 
4282
    # causes cloned tests to share the 'details' dict.  This makes it hard to
 
4283
    # read the test output for parameterized tests, because tracebacks will be
 
4284
    # associated with irrelevant tests.
 
4285
    try:
 
4286
        details = new_test._TestCase__details
 
4287
    except AttributeError:
 
4288
        # must be a different version of testtools than expected.  Do nothing.
 
4289
        pass
 
4290
    else:
 
4291
        # Reset the '__details' dict.
 
4292
        new_test._TestCase__details = {}
4039
4293
    return new_test
4040
4294
 
4041
4295
 
4062
4316
        the module is available.
4063
4317
    """
4064
4318
 
4065
 
    py_module = __import__(py_module_name, {}, {}, ['NO_SUCH_ATTRIB'])
 
4319
    from bzrlib.tests.features import ModuleAvailableFeature
 
4320
    py_module = pyutils.get_named_object(py_module_name)
4066
4321
    scenarios = [
4067
4322
        ('python', {'module': py_module}),
4068
4323
    ]
4101
4356
        if test_id != None:
4102
4357
            ui.ui_factory.clear_term()
4103
4358
            sys.stderr.write('\nWhile running: %s\n' % (test_id,))
 
4359
        # Ugly, but the last thing we want here is fail, so bear with it.
 
4360
        printable_e = str(e).decode(osutils.get_user_encoding(), 'replace'
 
4361
                                    ).encode('ascii', 'replace')
4104
4362
        sys.stderr.write('Unable to remove testing dir %s\n%s'
4105
 
                         % (os.path.basename(dirname), e))
4106
 
 
4107
 
 
4108
 
class Feature(object):
4109
 
    """An operating system Feature."""
4110
 
 
4111
 
    def __init__(self):
4112
 
        self._available = None
4113
 
 
4114
 
    def available(self):
4115
 
        """Is the feature available?
4116
 
 
4117
 
        :return: True if the feature is available.
4118
 
        """
4119
 
        if self._available is None:
4120
 
            self._available = self._probe()
4121
 
        return self._available
4122
 
 
4123
 
    def _probe(self):
4124
 
        """Implement this method in concrete features.
4125
 
 
4126
 
        :return: True if the feature is available.
4127
 
        """
4128
 
        raise NotImplementedError
4129
 
 
4130
 
    def __str__(self):
4131
 
        if getattr(self, 'feature_name', None):
4132
 
            return self.feature_name()
4133
 
        return self.__class__.__name__
4134
 
 
4135
 
 
4136
 
class _SymlinkFeature(Feature):
4137
 
 
4138
 
    def _probe(self):
4139
 
        return osutils.has_symlinks()
4140
 
 
4141
 
    def feature_name(self):
4142
 
        return 'symlinks'
4143
 
 
4144
 
SymlinkFeature = _SymlinkFeature()
4145
 
 
4146
 
 
4147
 
class _HardlinkFeature(Feature):
4148
 
 
4149
 
    def _probe(self):
4150
 
        return osutils.has_hardlinks()
4151
 
 
4152
 
    def feature_name(self):
4153
 
        return 'hardlinks'
4154
 
 
4155
 
HardlinkFeature = _HardlinkFeature()
4156
 
 
4157
 
 
4158
 
class _OsFifoFeature(Feature):
4159
 
 
4160
 
    def _probe(self):
4161
 
        return getattr(os, 'mkfifo', None)
4162
 
 
4163
 
    def feature_name(self):
4164
 
        return 'filesystem fifos'
4165
 
 
4166
 
OsFifoFeature = _OsFifoFeature()
4167
 
 
4168
 
 
4169
 
class _UnicodeFilenameFeature(Feature):
4170
 
    """Does the filesystem support Unicode filenames?"""
4171
 
 
4172
 
    def _probe(self):
4173
 
        try:
4174
 
            # Check for character combinations unlikely to be covered by any
4175
 
            # single non-unicode encoding. We use the characters
4176
 
            # - greek small letter alpha (U+03B1) and
4177
 
            # - braille pattern dots-123456 (U+283F).
4178
 
            os.stat(u'\u03b1\u283f')
4179
 
        except UnicodeEncodeError:
4180
 
            return False
4181
 
        except (IOError, OSError):
4182
 
            # The filesystem allows the Unicode filename but the file doesn't
4183
 
            # exist.
4184
 
            return True
4185
 
        else:
4186
 
            # The filesystem allows the Unicode filename and the file exists,
4187
 
            # for some reason.
4188
 
            return True
4189
 
 
4190
 
UnicodeFilenameFeature = _UnicodeFilenameFeature()
4191
 
 
4192
 
 
4193
 
class _CompatabilityThunkFeature(Feature):
4194
 
    """This feature is just a thunk to another feature.
4195
 
 
4196
 
    It issues a deprecation warning if it is accessed, to let you know that you
4197
 
    should really use a different feature.
4198
 
    """
4199
 
 
4200
 
    def __init__(self, dep_version, module, name,
4201
 
                 replacement_name, replacement_module=None):
4202
 
        super(_CompatabilityThunkFeature, self).__init__()
4203
 
        self._module = module
4204
 
        if replacement_module is None:
4205
 
            replacement_module = module
4206
 
        self._replacement_module = replacement_module
4207
 
        self._name = name
4208
 
        self._replacement_name = replacement_name
4209
 
        self._dep_version = dep_version
4210
 
        self._feature = None
4211
 
 
4212
 
    def _ensure(self):
4213
 
        if self._feature is None:
4214
 
            depr_msg = self._dep_version % ('%s.%s'
4215
 
                                            % (self._module, self._name))
4216
 
            use_msg = ' Use %s.%s instead.' % (self._replacement_module,
4217
 
                                               self._replacement_name)
4218
 
            symbol_versioning.warn(depr_msg + use_msg, DeprecationWarning)
4219
 
            # Import the new feature and use it as a replacement for the
4220
 
            # deprecated one.
4221
 
            mod = __import__(self._replacement_module, {}, {},
4222
 
                             [self._replacement_name])
4223
 
            self._feature = getattr(mod, self._replacement_name)
4224
 
 
4225
 
    def _probe(self):
4226
 
        self._ensure()
4227
 
        return self._feature._probe()
4228
 
 
4229
 
 
4230
 
class ModuleAvailableFeature(Feature):
4231
 
    """This is a feature than describes a module we want to be available.
4232
 
 
4233
 
    Declare the name of the module in __init__(), and then after probing, the
4234
 
    module will be available as 'self.module'.
4235
 
 
4236
 
    :ivar module: The module if it is available, else None.
4237
 
    """
4238
 
 
4239
 
    def __init__(self, module_name):
4240
 
        super(ModuleAvailableFeature, self).__init__()
4241
 
        self.module_name = module_name
4242
 
 
4243
 
    def _probe(self):
4244
 
        try:
4245
 
            self._module = __import__(self.module_name, {}, {}, [''])
4246
 
            return True
4247
 
        except ImportError:
4248
 
            return False
4249
 
 
4250
 
    @property
4251
 
    def module(self):
4252
 
        if self.available(): # Make sure the probe has been done
4253
 
            return self._module
4254
 
        return None
4255
 
 
4256
 
    def feature_name(self):
4257
 
        return self.module_name
4258
 
 
4259
 
 
4260
 
# This is kept here for compatibility, it is recommended to use
4261
 
# 'bzrlib.tests.feature.paramiko' instead
4262
 
ParamikoFeature = _CompatabilityThunkFeature(
4263
 
    deprecated_in((2,1,0)),
4264
 
    'bzrlib.tests.features', 'ParamikoFeature', 'paramiko')
 
4363
                         % (os.path.basename(dirname), printable_e))
4265
4364
 
4266
4365
 
4267
4366
def probe_unicode_in_user_encoding():
4297
4396
    return None
4298
4397
 
4299
4398
 
4300
 
class _HTTPSServerFeature(Feature):
4301
 
    """Some tests want an https Server, check if one is available.
4302
 
 
4303
 
    Right now, the only way this is available is under python2.6 which provides
4304
 
    an ssl module.
4305
 
    """
4306
 
 
4307
 
    def _probe(self):
4308
 
        try:
4309
 
            import ssl
4310
 
            return True
4311
 
        except ImportError:
4312
 
            return False
4313
 
 
4314
 
    def feature_name(self):
4315
 
        return 'HTTPSServer'
4316
 
 
4317
 
 
4318
 
HTTPSServerFeature = _HTTPSServerFeature()
4319
 
 
4320
 
 
4321
 
class _UnicodeFilename(Feature):
4322
 
    """Does the filesystem support Unicode filenames?"""
4323
 
 
4324
 
    def _probe(self):
4325
 
        try:
4326
 
            os.stat(u'\u03b1')
4327
 
        except UnicodeEncodeError:
4328
 
            return False
4329
 
        except (IOError, OSError):
4330
 
            # The filesystem allows the Unicode filename but the file doesn't
4331
 
            # exist.
4332
 
            return True
4333
 
        else:
4334
 
            # The filesystem allows the Unicode filename and the file exists,
4335
 
            # for some reason.
4336
 
            return True
4337
 
 
4338
 
UnicodeFilename = _UnicodeFilename()
4339
 
 
4340
 
 
4341
 
class _UTF8Filesystem(Feature):
4342
 
    """Is the filesystem UTF-8?"""
4343
 
 
4344
 
    def _probe(self):
4345
 
        if osutils._fs_enc.upper() in ('UTF-8', 'UTF8'):
4346
 
            return True
4347
 
        return False
4348
 
 
4349
 
UTF8Filesystem = _UTF8Filesystem()
4350
 
 
4351
 
 
4352
 
class _BreakinFeature(Feature):
4353
 
    """Does this platform support the breakin feature?"""
4354
 
 
4355
 
    def _probe(self):
4356
 
        from bzrlib import breakin
4357
 
        if breakin.determine_signal() is None:
4358
 
            return False
4359
 
        if sys.platform == 'win32':
4360
 
            # Windows doesn't have os.kill, and we catch the SIGBREAK signal.
4361
 
            # We trigger SIGBREAK via a Console api so we need ctypes to
4362
 
            # access the function
4363
 
            try:
4364
 
                import ctypes
4365
 
            except OSError:
4366
 
                return False
4367
 
        return True
4368
 
 
4369
 
    def feature_name(self):
4370
 
        return "SIGQUIT or SIGBREAK w/ctypes on win32"
4371
 
 
4372
 
 
4373
 
BreakinFeature = _BreakinFeature()
4374
 
 
4375
 
 
4376
 
class _CaseInsCasePresFilenameFeature(Feature):
4377
 
    """Is the file-system case insensitive, but case-preserving?"""
4378
 
 
4379
 
    def _probe(self):
4380
 
        fileno, name = tempfile.mkstemp(prefix='MixedCase')
4381
 
        try:
4382
 
            # first check truly case-preserving for created files, then check
4383
 
            # case insensitive when opening existing files.
4384
 
            name = osutils.normpath(name)
4385
 
            base, rel = osutils.split(name)
4386
 
            found_rel = osutils.canonical_relpath(base, name)
4387
 
            return (found_rel == rel
4388
 
                    and os.path.isfile(name.upper())
4389
 
                    and os.path.isfile(name.lower()))
4390
 
        finally:
4391
 
            os.close(fileno)
4392
 
            os.remove(name)
4393
 
 
4394
 
    def feature_name(self):
4395
 
        return "case-insensitive case-preserving filesystem"
4396
 
 
4397
 
CaseInsCasePresFilenameFeature = _CaseInsCasePresFilenameFeature()
4398
 
 
4399
 
 
4400
 
class _CaseInsensitiveFilesystemFeature(Feature):
4401
 
    """Check if underlying filesystem is case-insensitive but *not* case
4402
 
    preserving.
4403
 
    """
4404
 
    # Note that on Windows, Cygwin, MacOS etc, the file-systems are far
4405
 
    # more likely to be case preserving, so this case is rare.
4406
 
 
4407
 
    def _probe(self):
4408
 
        if CaseInsCasePresFilenameFeature.available():
4409
 
            return False
4410
 
 
4411
 
        if TestCaseWithMemoryTransport.TEST_ROOT is None:
4412
 
            root = osutils.mkdtemp(prefix='testbzr-', suffix='.tmp')
4413
 
            TestCaseWithMemoryTransport.TEST_ROOT = root
4414
 
        else:
4415
 
            root = TestCaseWithMemoryTransport.TEST_ROOT
4416
 
        tdir = osutils.mkdtemp(prefix='case-sensitive-probe-', suffix='',
4417
 
            dir=root)
4418
 
        name_a = osutils.pathjoin(tdir, 'a')
4419
 
        name_A = osutils.pathjoin(tdir, 'A')
4420
 
        os.mkdir(name_a)
4421
 
        result = osutils.isdir(name_A)
4422
 
        _rmtree_temp_dir(tdir)
4423
 
        return result
4424
 
 
4425
 
    def feature_name(self):
4426
 
        return 'case-insensitive filesystem'
4427
 
 
4428
 
CaseInsensitiveFilesystemFeature = _CaseInsensitiveFilesystemFeature()
4429
 
 
4430
 
 
4431
 
class _CaseSensitiveFilesystemFeature(Feature):
4432
 
 
4433
 
    def _probe(self):
4434
 
        if CaseInsCasePresFilenameFeature.available():
4435
 
            return False
4436
 
        elif CaseInsensitiveFilesystemFeature.available():
4437
 
            return False
4438
 
        else:
4439
 
            return True
4440
 
 
4441
 
    def feature_name(self):
4442
 
        return 'case-sensitive filesystem'
4443
 
 
4444
 
# new coding style is for feature instances to be lowercase
4445
 
case_sensitive_filesystem_feature = _CaseSensitiveFilesystemFeature()
4446
 
 
4447
 
 
4448
 
# Kept for compatibility, use bzrlib.tests.features.subunit instead
4449
 
SubUnitFeature = _CompatabilityThunkFeature(
4450
 
    deprecated_in((2,1,0)),
4451
 
    'bzrlib.tests.features', 'SubUnitFeature', 'subunit')
4452
4399
# Only define SubUnitBzrRunner if subunit is available.
4453
4400
try:
4454
4401
    from subunit import TestProtocolClient
4455
4402
    from subunit.test_results import AutoTimingTestResultDecorator
 
4403
    class SubUnitBzrProtocolClient(TestProtocolClient):
 
4404
 
 
4405
        def addSuccess(self, test, details=None):
 
4406
            # The subunit client always includes the details in the subunit
 
4407
            # stream, but we don't want to include it in ours.
 
4408
            if details is not None and 'log' in details:
 
4409
                del details['log']
 
4410
            return super(SubUnitBzrProtocolClient, self).addSuccess(
 
4411
                test, details)
 
4412
 
4456
4413
    class SubUnitBzrRunner(TextTestRunner):
4457
4414
        def run(self, test):
4458
4415
            result = AutoTimingTestResultDecorator(
4459
 
                TestProtocolClient(self.stream))
 
4416
                SubUnitBzrProtocolClient(self.stream))
4460
4417
            test.run(result)
4461
4418
            return result
4462
4419
except ImportError:
4463
4420
    pass
4464
4421
 
4465
 
class _PosixPermissionsFeature(Feature):
4466
 
 
4467
 
    def _probe(self):
4468
 
        def has_perms():
4469
 
            # create temporary file and check if specified perms are maintained.
4470
 
            import tempfile
4471
 
 
4472
 
            write_perms = stat.S_IRUSR | stat.S_IWUSR | stat.S_IXUSR
4473
 
            f = tempfile.mkstemp(prefix='bzr_perms_chk_')
4474
 
            fd, name = f
4475
 
            os.close(fd)
4476
 
            os.chmod(name, write_perms)
4477
 
 
4478
 
            read_perms = os.stat(name).st_mode & 0777
4479
 
            os.unlink(name)
4480
 
            return (write_perms == read_perms)
4481
 
 
4482
 
        return (os.name == 'posix') and has_perms()
4483
 
 
4484
 
    def feature_name(self):
4485
 
        return 'POSIX permissions support'
4486
 
 
4487
 
posix_permissions_feature = _PosixPermissionsFeature()
 
4422
 
 
4423
@deprecated_function(deprecated_in((2, 5, 0)))
 
4424
def ModuleAvailableFeature(name):
 
4425
    from bzrlib.tests import features
 
4426
    return features.ModuleAvailableFeature(name)
 
4427