~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Aaron Bentley
  • Date: 2006-11-10 01:55:55 UTC
  • mto: This revision was merged to the branch mainline in revision 2127.
  • Revision ID: aaron.bentley@utoronto.ca-20061110015555-f48202744b630209
Ignore html docs (both kinds)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 by Canonical Ltd
2
 
 
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
 
23
 
 
24
# NOTE: Some classes in here use camelCaseNaming() rather than
 
25
# underscore_naming().  That's for consistency with unittest; it's not the
 
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
 
27
# new assertFoo() methods.
 
28
 
 
29
import codecs
18
30
from cStringIO import StringIO
19
31
import difflib
 
32
import doctest
20
33
import errno
21
34
import logging
22
35
import os
23
36
import re
24
 
import shutil
 
37
import shlex
 
38
import stat
 
39
from subprocess import Popen, PIPE
25
40
import sys
26
41
import tempfile
27
42
import unittest
28
43
import time
29
44
 
 
45
 
 
46
from bzrlib import (
 
47
    bzrdir,
 
48
    debug,
 
49
    errors,
 
50
    memorytree,
 
51
    osutils,
 
52
    progress,
 
53
    urlutils,
 
54
    )
 
55
import bzrlib.branch
30
56
import bzrlib.commands
 
57
import bzrlib.bundle.serializer
 
58
import bzrlib.export
 
59
import bzrlib.inventory
 
60
import bzrlib.iterablefile
 
61
import bzrlib.lockdir
 
62
try:
 
63
    import bzrlib.lsprof
 
64
except ImportError:
 
65
    # lsprof not available
 
66
    pass
 
67
from bzrlib.merge import merge_inner
 
68
import bzrlib.merge3
 
69
import bzrlib.osutils
 
70
import bzrlib.plugin
 
71
from bzrlib.revision import common_ancestor
 
72
import bzrlib.store
 
73
from bzrlib import symbol_versioning
31
74
import bzrlib.trace
32
 
import bzrlib.fetch
33
 
import bzrlib.osutils as osutils
34
 
from bzrlib.selftest import TestUtil
35
 
from bzrlib.selftest.TestUtil import TestLoader, TestSuite
36
 
from bzrlib.selftest.treeshape import build_tree_contents
 
75
from bzrlib.transport import get_transport
 
76
import bzrlib.transport
 
77
from bzrlib.transport.local import LocalURLServer
 
78
from bzrlib.transport.memory import MemoryServer
 
79
from bzrlib.transport.readonly import ReadonlyServer
 
80
from bzrlib.trace import mutter, note
 
81
from bzrlib.tests import TestUtil
 
82
from bzrlib.tests.TestUtil import (
 
83
                          TestSuite,
 
84
                          TestLoader,
 
85
                          )
 
86
from bzrlib.tests.treeshape import build_tree_contents
 
87
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
88
 
 
89
default_transport = LocalURLServer
37
90
 
38
91
MODULES_TO_TEST = []
39
 
MODULES_TO_DOCTEST = []
40
 
 
41
 
from logging import debug, warning, error
42
 
 
43
 
 
44
 
 
45
 
class EarlyStoppingTestResultAdapter(object):
46
 
    """An adapter for TestResult to stop at the first first failure or error"""
47
 
 
48
 
    def __init__(self, result):
49
 
        self._result = result
50
 
 
51
 
    def addError(self, test, err):
52
 
        self._result.addError(test, err)
53
 
        self._result.stop()
54
 
 
55
 
    def addFailure(self, test, err):
56
 
        self._result.addFailure(test, err)
57
 
        self._result.stop()
58
 
 
59
 
    def __getattr__(self, name):
60
 
        return getattr(self._result, name)
61
 
 
62
 
    def __setattr__(self, name, value):
63
 
        if name == '_result':
64
 
            object.__setattr__(self, name, value)
65
 
        return setattr(self._result, name, value)
66
 
 
67
 
 
68
 
class _MyResult(unittest._TextTestResult):
69
 
    """
70
 
    Custom TestResult.
71
 
 
72
 
    No special behaviour for now.
73
 
    """
74
 
 
75
 
    def _elapsedTime(self):
76
 
        return "(Took %.3fs)" % (time.time() - self._start_time)
 
92
MODULES_TO_DOCTEST = [
 
93
                      bzrlib.bundle.serializer,
 
94
                      bzrlib.errors,
 
95
                      bzrlib.export,
 
96
                      bzrlib.inventory,
 
97
                      bzrlib.iterablefile,
 
98
                      bzrlib.lockdir,
 
99
                      bzrlib.merge3,
 
100
                      bzrlib.option,
 
101
                      bzrlib.store,
 
102
                      ]
 
103
 
 
104
 
 
105
def packages_to_test():
 
106
    """Return a list of packages to test.
 
107
 
 
108
    The packages are not globally imported so that import failures are
 
109
    triggered when running selftest, not when importing the command.
 
110
    """
 
111
    import bzrlib.doc
 
112
    import bzrlib.tests.blackbox
 
113
    import bzrlib.tests.branch_implementations
 
114
    import bzrlib.tests.bzrdir_implementations
 
115
    import bzrlib.tests.interrepository_implementations
 
116
    import bzrlib.tests.interversionedfile_implementations
 
117
    import bzrlib.tests.intertree_implementations
 
118
    import bzrlib.tests.repository_implementations
 
119
    import bzrlib.tests.revisionstore_implementations
 
120
    import bzrlib.tests.tree_implementations
 
121
    import bzrlib.tests.workingtree_implementations
 
122
    return [
 
123
            bzrlib.doc,
 
124
            bzrlib.tests.blackbox,
 
125
            bzrlib.tests.branch_implementations,
 
126
            bzrlib.tests.bzrdir_implementations,
 
127
            bzrlib.tests.interrepository_implementations,
 
128
            bzrlib.tests.interversionedfile_implementations,
 
129
            bzrlib.tests.intertree_implementations,
 
130
            bzrlib.tests.repository_implementations,
 
131
            bzrlib.tests.revisionstore_implementations,
 
132
            bzrlib.tests.tree_implementations,
 
133
            bzrlib.tests.workingtree_implementations,
 
134
            ]
 
135
 
 
136
 
 
137
class ExtendedTestResult(unittest._TextTestResult):
 
138
    """Accepts, reports and accumulates the results of running tests.
 
139
 
 
140
    Compared to this unittest version this class adds support for profiling,
 
141
    benchmarking, stopping as soon as a test fails,  and skipping tests.
 
142
    There are further-specialized subclasses for different types of display.
 
143
    """
 
144
 
 
145
    stop_early = False
 
146
    
 
147
    def __init__(self, stream, descriptions, verbosity,
 
148
                 bench_history=None,
 
149
                 num_tests=None,
 
150
                 ):
 
151
        """Construct new TestResult.
 
152
 
 
153
        :param bench_history: Optionally, a writable file object to accumulate
 
154
            benchmark results.
 
155
        """
 
156
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
157
        if bench_history is not None:
 
158
            from bzrlib.version import _get_bzr_source_tree
 
159
            src_tree = _get_bzr_source_tree()
 
160
            if src_tree:
 
161
                try:
 
162
                    revision_id = src_tree.get_parent_ids()[0]
 
163
                except IndexError:
 
164
                    # XXX: if this is a brand new tree, do the same as if there
 
165
                    # is no branch.
 
166
                    revision_id = ''
 
167
            else:
 
168
                # XXX: If there's no branch, what should we do?
 
169
                revision_id = ''
 
170
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
171
        self._bench_history = bench_history
 
172
        self.ui = bzrlib.ui.ui_factory
 
173
        self.num_tests = num_tests
 
174
        self.error_count = 0
 
175
        self.failure_count = 0
 
176
        self.skip_count = 0
 
177
        self.count = 0
 
178
        self._overall_start_time = time.time()
 
179
    
 
180
    def extractBenchmarkTime(self, testCase):
 
181
        """Add a benchmark time for the current test case."""
 
182
        self._benchmarkTime = getattr(testCase, "_benchtime", None)
 
183
    
 
184
    def _elapsedTestTimeString(self):
 
185
        """Return a time string for the overall time the current test has taken."""
 
186
        return self._formatTime(time.time() - self._start_time)
 
187
 
 
188
    def _testTimeString(self):
 
189
        if self._benchmarkTime is not None:
 
190
            return "%s/%s" % (
 
191
                self._formatTime(self._benchmarkTime),
 
192
                self._elapsedTestTimeString())
 
193
        else:
 
194
            return "      %s" % self._elapsedTestTimeString()
 
195
 
 
196
    def _formatTime(self, seconds):
 
197
        """Format seconds as milliseconds with leading spaces."""
 
198
        return "%5dms" % (1000 * seconds)
 
199
 
 
200
    def _shortened_test_description(self, test):
 
201
        what = test.id()
 
202
        what = re.sub(r'^bzrlib\.(tests|benchmark)\.', '', what)
 
203
        return what
77
204
 
78
205
    def startTest(self, test):
79
206
        unittest.TestResult.startTest(self, test)
80
 
        # TODO: Maybe show test.shortDescription somewhere?
81
 
        what = test.shortDescription() or test.id()        
82
 
        if self.showAll:
83
 
            self.stream.write('%-70.70s' % what)
84
 
        self.stream.flush()
 
207
        self.report_test_start(test)
 
208
        self._recordTestStartTime()
 
209
 
 
210
    def _recordTestStartTime(self):
 
211
        """Record that a test has started."""
85
212
        self._start_time = time.time()
86
213
 
87
214
    def addError(self, test, err):
 
215
        if isinstance(err[1], TestSkipped):
 
216
            return self.addSkipped(test, err)    
88
217
        unittest.TestResult.addError(self, test, err)
89
 
        if self.showAll:
90
 
            self.stream.writeln("ERROR %s" % self._elapsedTime())
91
 
        elif self.dots:
92
 
            self.stream.write('E')
93
 
        self.stream.flush()
 
218
        # We can only do this if we have one of our TestCases, not if
 
219
        # we have a doctest.
 
220
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
221
        if setKeepLogfile is not None:
 
222
            setKeepLogfile()
 
223
        self.extractBenchmarkTime(test)
 
224
        self.report_error(test, err)
 
225
        if self.stop_early:
 
226
            self.stop()
94
227
 
95
228
    def addFailure(self, test, err):
96
229
        unittest.TestResult.addFailure(self, test, err)
97
 
        if self.showAll:
98
 
            self.stream.writeln("FAIL %s" % self._elapsedTime())
99
 
        elif self.dots:
100
 
            self.stream.write('F')
101
 
        self.stream.flush()
 
230
        # We can only do this if we have one of our TestCases, not if
 
231
        # we have a doctest.
 
232
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
233
        if setKeepLogfile is not None:
 
234
            setKeepLogfile()
 
235
        self.extractBenchmarkTime(test)
 
236
        self.report_failure(test, err)
 
237
        if self.stop_early:
 
238
            self.stop()
102
239
 
103
240
    def addSuccess(self, test):
104
 
        if self.showAll:
105
 
            self.stream.writeln('OK %s' % self._elapsedTime())
106
 
        elif self.dots:
107
 
            self.stream.write('~')
108
 
        self.stream.flush()
 
241
        self.extractBenchmarkTime(test)
 
242
        if self._bench_history is not None:
 
243
            if self._benchmarkTime is not None:
 
244
                self._bench_history.write("%s %s\n" % (
 
245
                    self._formatTime(self._benchmarkTime),
 
246
                    test.id()))
 
247
        self.report_success(test)
109
248
        unittest.TestResult.addSuccess(self, test)
110
249
 
 
250
    def addSkipped(self, test, skip_excinfo):
 
251
        self.extractBenchmarkTime(test)
 
252
        self.report_skip(test, skip_excinfo)
 
253
        # seems best to treat this as success from point-of-view of unittest
 
254
        # -- it actually does nothing so it barely matters :)
 
255
        try:
 
256
            test.tearDown()
 
257
        except KeyboardInterrupt:
 
258
            raise
 
259
        except:
 
260
            self.addError(test, test.__exc_info())
 
261
        else:
 
262
            unittest.TestResult.addSuccess(self, test)
 
263
 
111
264
    def printErrorList(self, flavour, errors):
112
265
        for test, err in errors:
113
266
            self.stream.writeln(self.separator1)
114
 
            self.stream.writeln("%s: %s" % (flavour,self.getDescription(test)))
115
 
            if hasattr(test, '_get_log'):
116
 
                self.stream.writeln()
117
 
                self.stream.writeln('log from this test:')
 
267
            self.stream.writeln("%s: %s" % (flavour, self.getDescription(test)))
 
268
            if getattr(test, '_get_log', None) is not None:
 
269
                print >>self.stream
 
270
                print >>self.stream, \
 
271
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-')
118
272
                print >>self.stream, test._get_log()
 
273
                print >>self.stream, \
 
274
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-')
119
275
            self.stream.writeln(self.separator2)
120
276
            self.stream.writeln("%s" % err)
121
277
 
122
 
 
123
 
class TextTestRunner(unittest.TextTestRunner):
 
278
    def finished(self):
 
279
        pass
 
280
 
 
281
    def report_cleaning_up(self):
 
282
        pass
 
283
 
 
284
    def report_success(self, test):
 
285
        pass
 
286
 
 
287
 
 
288
class TextTestResult(ExtendedTestResult):
 
289
    """Displays progress and results of tests in text form"""
 
290
 
 
291
    def __init__(self, *args, **kw):
 
292
        ExtendedTestResult.__init__(self, *args, **kw)
 
293
        self.pb = self.ui.nested_progress_bar()
 
294
        self.pb.show_pct = False
 
295
        self.pb.show_spinner = False
 
296
        self.pb.show_eta = False, 
 
297
        self.pb.show_count = False
 
298
        self.pb.show_bar = False
 
299
 
 
300
    def report_starting(self):
 
301
        self.pb.update('[test 0/%d] starting...' % (self.num_tests))
 
302
 
 
303
    def _progress_prefix_text(self):
 
304
        a = '[%d' % self.count
 
305
        if self.num_tests is not None:
 
306
            a +='/%d' % self.num_tests
 
307
        a += ' in %ds' % (time.time() - self._overall_start_time)
 
308
        if self.error_count:
 
309
            a += ', %d errors' % self.error_count
 
310
        if self.failure_count:
 
311
            a += ', %d failed' % self.failure_count
 
312
        if self.skip_count:
 
313
            a += ', %d skipped' % self.skip_count
 
314
        a += ']'
 
315
        return a
 
316
 
 
317
    def report_test_start(self, test):
 
318
        self.count += 1
 
319
        self.pb.update(
 
320
                self._progress_prefix_text()
 
321
                + ' ' 
 
322
                + self._shortened_test_description(test))
 
323
 
 
324
    def report_error(self, test, err):
 
325
        self.error_count += 1
 
326
        self.pb.note('ERROR: %s\n    %s\n' % (
 
327
            self._shortened_test_description(test),
 
328
            err[1],
 
329
            ))
 
330
 
 
331
    def report_failure(self, test, err):
 
332
        self.failure_count += 1
 
333
        self.pb.note('FAIL: %s\n    %s\n' % (
 
334
            self._shortened_test_description(test),
 
335
            err[1],
 
336
            ))
 
337
 
 
338
    def report_skip(self, test, skip_excinfo):
 
339
        self.skip_count += 1
 
340
        if False:
 
341
            # at the moment these are mostly not things we can fix
 
342
            # and so they just produce stipple; use the verbose reporter
 
343
            # to see them.
 
344
            if False:
 
345
                # show test and reason for skip
 
346
                self.pb.note('SKIP: %s\n    %s\n' % (
 
347
                    self._shortened_test_description(test),
 
348
                    skip_excinfo[1]))
 
349
            else:
 
350
                # since the class name was left behind in the still-visible
 
351
                # progress bar...
 
352
                self.pb.note('SKIP: %s' % (skip_excinfo[1]))
 
353
 
 
354
    def report_cleaning_up(self):
 
355
        self.pb.update('cleaning up...')
 
356
 
 
357
    def finished(self):
 
358
        self.pb.finished()
 
359
 
 
360
 
 
361
class VerboseTestResult(ExtendedTestResult):
 
362
    """Produce long output, with one line per test run plus times"""
 
363
 
 
364
    def _ellipsize_to_right(self, a_string, final_width):
 
365
        """Truncate and pad a string, keeping the right hand side"""
 
366
        if len(a_string) > final_width:
 
367
            result = '...' + a_string[3-final_width:]
 
368
        else:
 
369
            result = a_string
 
370
        return result.ljust(final_width)
 
371
 
 
372
    def report_starting(self):
 
373
        self.stream.write('running %d tests...\n' % self.num_tests)
 
374
 
 
375
    def report_test_start(self, test):
 
376
        self.count += 1
 
377
        name = self._shortened_test_description(test)
 
378
        self.stream.write(self._ellipsize_to_right(name, 60))
 
379
        self.stream.flush()
 
380
 
 
381
    def report_error(self, test, err):
 
382
        self.error_count += 1
 
383
        self.stream.writeln('ERROR %s\n    %s' 
 
384
                % (self._testTimeString(), err[1]))
 
385
 
 
386
    def report_failure(self, test, err):
 
387
        self.failure_count += 1
 
388
        self.stream.writeln('FAIL %s\n    %s'
 
389
                % (self._testTimeString(), err[1]))
 
390
 
 
391
    def report_success(self, test):
 
392
        self.stream.writeln('   OK %s' % self._testTimeString())
 
393
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
394
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
395
            stats.pprint(file=self.stream)
 
396
        self.stream.flush()
 
397
 
 
398
    def report_skip(self, test, skip_excinfo):
 
399
        print >>self.stream, ' SKIP %s' % self._testTimeString()
 
400
        print >>self.stream, '     %s' % skip_excinfo[1]
 
401
 
 
402
 
 
403
class TextTestRunner(object):
124
404
    stop_on_failure = False
125
405
 
126
 
    def _makeResult(self):
127
 
        result = _MyResult(self.stream, self.descriptions, self.verbosity)
128
 
        if self.stop_on_failure:
129
 
            result = EarlyStoppingTestResultAdapter(result)
 
406
    def __init__(self,
 
407
                 stream=sys.stderr,
 
408
                 descriptions=0,
 
409
                 verbosity=1,
 
410
                 keep_output=False,
 
411
                 bench_history=None):
 
412
        self.stream = unittest._WritelnDecorator(stream)
 
413
        self.descriptions = descriptions
 
414
        self.verbosity = verbosity
 
415
        self.keep_output = keep_output
 
416
        self._bench_history = bench_history
 
417
 
 
418
    def run(self, test):
 
419
        "Run the given test case or test suite."
 
420
        startTime = time.time()
 
421
        if self.verbosity == 1:
 
422
            result_class = TextTestResult
 
423
        elif self.verbosity >= 2:
 
424
            result_class = VerboseTestResult
 
425
        result = result_class(self.stream,
 
426
                              self.descriptions,
 
427
                              self.verbosity,
 
428
                              bench_history=self._bench_history,
 
429
                              num_tests=test.countTestCases(),
 
430
                              )
 
431
        result.stop_early = self.stop_on_failure
 
432
        result.report_starting()
 
433
        test.run(result)
 
434
        stopTime = time.time()
 
435
        timeTaken = stopTime - startTime
 
436
        result.printErrors()
 
437
        self.stream.writeln(result.separator2)
 
438
        run = result.testsRun
 
439
        self.stream.writeln("Ran %d test%s in %.3fs" %
 
440
                            (run, run != 1 and "s" or "", timeTaken))
 
441
        self.stream.writeln()
 
442
        if not result.wasSuccessful():
 
443
            self.stream.write("FAILED (")
 
444
            failed, errored = map(len, (result.failures, result.errors))
 
445
            if failed:
 
446
                self.stream.write("failures=%d" % failed)
 
447
            if errored:
 
448
                if failed: self.stream.write(", ")
 
449
                self.stream.write("errors=%d" % errored)
 
450
            self.stream.writeln(")")
 
451
        else:
 
452
            self.stream.writeln("OK")
 
453
        result.report_cleaning_up()
 
454
        # This is still a little bogus, 
 
455
        # but only a little. Folk not using our testrunner will
 
456
        # have to delete their temp directories themselves.
 
457
        test_root = TestCaseWithMemoryTransport.TEST_ROOT
 
458
        if result.wasSuccessful() or not self.keep_output:
 
459
            if test_root is not None:
 
460
                # If LANG=C we probably have created some bogus paths
 
461
                # which rmtree(unicode) will fail to delete
 
462
                # so make sure we are using rmtree(str) to delete everything
 
463
                # except on win32, where rmtree(str) will fail
 
464
                # since it doesn't have the property of byte-stream paths
 
465
                # (they are either ascii or mbcs)
 
466
                if sys.platform == 'win32':
 
467
                    # make sure we are using the unicode win32 api
 
468
                    test_root = unicode(test_root)
 
469
                else:
 
470
                    test_root = test_root.encode(
 
471
                        sys.getfilesystemencoding())
 
472
                osutils.rmtree(test_root)
 
473
        else:
 
474
            note("Failed tests working directories are in '%s'\n", test_root)
 
475
        TestCaseWithMemoryTransport.TEST_ROOT = None
 
476
        result.finished()
130
477
        return result
131
478
 
132
479
 
145
492
 
146
493
class TestSkipped(Exception):
147
494
    """Indicates that a test was intentionally skipped, rather than failing."""
148
 
    # XXX: Not used yet
149
495
 
150
496
 
151
497
class CommandFailed(Exception):
152
498
    pass
153
499
 
 
500
 
 
501
class StringIOWrapper(object):
 
502
    """A wrapper around cStringIO which just adds an encoding attribute.
 
503
    
 
504
    Internally we can check sys.stdout to see what the output encoding
 
505
    should be. However, cStringIO has no encoding attribute that we can
 
506
    set. So we wrap it instead.
 
507
    """
 
508
    encoding='ascii'
 
509
    _cstring = None
 
510
 
 
511
    def __init__(self, s=None):
 
512
        if s is not None:
 
513
            self.__dict__['_cstring'] = StringIO(s)
 
514
        else:
 
515
            self.__dict__['_cstring'] = StringIO()
 
516
 
 
517
    def __getattr__(self, name, getattr=getattr):
 
518
        return getattr(self.__dict__['_cstring'], name)
 
519
 
 
520
    def __setattr__(self, name, val):
 
521
        if name == 'encoding':
 
522
            self.__dict__['encoding'] = val
 
523
        else:
 
524
            return setattr(self._cstring, name, val)
 
525
 
 
526
 
154
527
class TestCase(unittest.TestCase):
155
528
    """Base class for bzr unit tests.
156
529
    
159
532
 
160
533
    Error and debug log messages are redirected from their usual
161
534
    location into a temporary file, the contents of which can be
162
 
    retrieved by _get_log().
 
535
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
 
536
    so that it can also capture file IO.  When the test completes this file
 
537
    is read into memory and removed from disk.
163
538
       
164
539
    There are also convenience functions to invoke bzr's command-line
165
 
    routine, and to build and check bzr trees."""
 
540
    routine, and to build and check bzr trees.
 
541
   
 
542
    In addition to the usual method of overriding tearDown(), this class also
 
543
    allows subclasses to register functions into the _cleanups list, which is
 
544
    run in order as the object is torn down.  It's less likely this will be
 
545
    accidentally overlooked.
 
546
    """
166
547
 
167
 
    BZRPATH = 'bzr'
168
548
    _log_file_name = None
 
549
    _log_contents = ''
 
550
    _keep_log_file = False
 
551
    # record lsprof data when performing benchmark calls.
 
552
    _gather_lsprof_in_benchmarks = False
 
553
 
 
554
    def __init__(self, methodName='testMethod'):
 
555
        super(TestCase, self).__init__(methodName)
 
556
        self._cleanups = []
169
557
 
170
558
    def setUp(self):
171
559
        unittest.TestCase.setUp(self)
172
 
        self.oldenv = os.environ.get('HOME', None)
173
 
        os.environ['HOME'] = os.getcwd()
174
 
        self.bzr_email = os.environ.get('BZREMAIL')
175
 
        if self.bzr_email is not None:
176
 
            del os.environ['BZREMAIL']
177
 
        self.email = os.environ.get('EMAIL')
178
 
        if self.email is not None:
179
 
            del os.environ['EMAIL']
 
560
        self._cleanEnvironment()
180
561
        bzrlib.trace.disable_default_logging()
181
 
        self._enable_file_logging()
 
562
        self._silenceUI()
 
563
        self._startLogFile()
 
564
        self._benchcalls = []
 
565
        self._benchtime = None
 
566
 
 
567
    def _silenceUI(self):
 
568
        """Turn off UI for duration of test"""
 
569
        # by default the UI is off; tests can turn it on if they want it.
 
570
        saved = bzrlib.ui.ui_factory
 
571
        def _restore():
 
572
            bzrlib.ui.ui_factory = saved
 
573
        bzrlib.ui.ui_factory = bzrlib.ui.SilentUIFactory()
 
574
        self.addCleanup(_restore)
182
575
 
183
576
    def _ndiff_strings(self, a, b):
184
577
        """Return ndiff between two strings containing lines.
195
588
                                  charjunk=lambda x: False)
196
589
        return ''.join(difflines)
197
590
 
198
 
    def assertEqualDiff(self, a, b):
 
591
    def assertEqualDiff(self, a, b, message=None):
199
592
        """Assert two texts are equal, if not raise an exception.
200
593
        
201
594
        This is intended for use with multi-line strings where it can 
204
597
        # TODO: perhaps override assertEquals to call this for strings?
205
598
        if a == b:
206
599
            return
207
 
        raise AssertionError("texts not equal:\n" + 
 
600
        if message is None:
 
601
            message = "texts not equal:\n"
 
602
        raise AssertionError(message + 
208
603
                             self._ndiff_strings(a, b))      
 
604
        
 
605
    def assertEqualMode(self, mode, mode_test):
 
606
        self.assertEqual(mode, mode_test,
 
607
                         'mode mismatch %o != %o' % (mode, mode_test))
 
608
 
 
609
    def assertStartsWith(self, s, prefix):
 
610
        if not s.startswith(prefix):
 
611
            raise AssertionError('string %r does not start with %r' % (s, prefix))
 
612
 
 
613
    def assertEndsWith(self, s, suffix):
 
614
        """Asserts that s ends with suffix."""
 
615
        if not s.endswith(suffix):
 
616
            raise AssertionError('string %r does not end with %r' % (s, suffix))
209
617
 
210
618
    def assertContainsRe(self, haystack, needle_re):
211
619
        """Assert that a contains something matching a regular expression."""
213
621
            raise AssertionError('pattern "%s" not found in "%s"'
214
622
                    % (needle_re, haystack))
215
623
 
216
 
    def _enable_file_logging(self):
 
624
    def assertNotContainsRe(self, haystack, needle_re):
 
625
        """Assert that a does not match a regular expression"""
 
626
        if re.search(needle_re, haystack):
 
627
            raise AssertionError('pattern "%s" found in "%s"'
 
628
                    % (needle_re, haystack))
 
629
 
 
630
    def assertSubset(self, sublist, superlist):
 
631
        """Assert that every entry in sublist is present in superlist."""
 
632
        missing = []
 
633
        for entry in sublist:
 
634
            if entry not in superlist:
 
635
                missing.append(entry)
 
636
        if len(missing) > 0:
 
637
            raise AssertionError("value(s) %r not present in container %r" % 
 
638
                                 (missing, superlist))
 
639
 
 
640
    def assertIs(self, left, right):
 
641
        if not (left is right):
 
642
            raise AssertionError("%r is not %r." % (left, right))
 
643
 
 
644
    def assertTransportMode(self, transport, path, mode):
 
645
        """Fail if a path does not have mode mode.
 
646
        
 
647
        If modes are not supported on this transport, the assertion is ignored.
 
648
        """
 
649
        if not transport._can_roundtrip_unix_modebits():
 
650
            return
 
651
        path_stat = transport.stat(path)
 
652
        actual_mode = stat.S_IMODE(path_stat.st_mode)
 
653
        self.assertEqual(mode, actual_mode,
 
654
            'mode of %r incorrect (%o != %o)' % (path, mode, actual_mode))
 
655
 
 
656
    def assertIsInstance(self, obj, kls):
 
657
        """Fail if obj is not an instance of kls"""
 
658
        if not isinstance(obj, kls):
 
659
            self.fail("%r is an instance of %s rather than %s" % (
 
660
                obj, obj.__class__, kls))
 
661
 
 
662
    def _capture_warnings(self, a_callable, *args, **kwargs):
 
663
        """A helper for callDeprecated and applyDeprecated.
 
664
 
 
665
        :param a_callable: A callable to call.
 
666
        :param args: The positional arguments for the callable
 
667
        :param kwargs: The keyword arguments for the callable
 
668
        :return: A tuple (warnings, result). result is the result of calling
 
669
            a_callable(*args, **kwargs).
 
670
        """
 
671
        local_warnings = []
 
672
        def capture_warnings(msg, cls=None, stacklevel=None):
 
673
            # we've hooked into a deprecation specific callpath,
 
674
            # only deprecations should getting sent via it.
 
675
            self.assertEqual(cls, DeprecationWarning)
 
676
            local_warnings.append(msg)
 
677
        original_warning_method = symbol_versioning.warn
 
678
        symbol_versioning.set_warning_method(capture_warnings)
 
679
        try:
 
680
            result = a_callable(*args, **kwargs)
 
681
        finally:
 
682
            symbol_versioning.set_warning_method(original_warning_method)
 
683
        return (local_warnings, result)
 
684
 
 
685
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
686
        """Call a deprecated callable without warning the user.
 
687
 
 
688
        :param deprecation_format: The deprecation format that the callable
 
689
            should have been deprecated with. This is the same type as the 
 
690
            parameter to deprecated_method/deprecated_function. If the 
 
691
            callable is not deprecated with this format, an assertion error
 
692
            will be raised.
 
693
        :param a_callable: A callable to call. This may be a bound method or
 
694
            a regular function. It will be called with *args and **kwargs.
 
695
        :param args: The positional arguments for the callable
 
696
        :param kwargs: The keyword arguments for the callable
 
697
        :return: The result of a_callable(*args, **kwargs)
 
698
        """
 
699
        call_warnings, result = self._capture_warnings(a_callable,
 
700
            *args, **kwargs)
 
701
        expected_first_warning = symbol_versioning.deprecation_string(
 
702
            a_callable, deprecation_format)
 
703
        if len(call_warnings) == 0:
 
704
            self.fail("No assertion generated by call to %s" %
 
705
                a_callable)
 
706
        self.assertEqual(expected_first_warning, call_warnings[0])
 
707
        return result
 
708
 
 
709
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
710
        """Assert that a callable is deprecated in a particular way.
 
711
 
 
712
        This is a very precise test for unusual requirements. The 
 
713
        applyDeprecated helper function is probably more suited for most tests
 
714
        as it allows you to simply specify the deprecation format being used
 
715
        and will ensure that that is issued for the function being called.
 
716
 
 
717
        :param expected: a list of the deprecation warnings expected, in order
 
718
        :param callable: The callable to call
 
719
        :param args: The positional arguments for the callable
 
720
        :param kwargs: The keyword arguments for the callable
 
721
        """
 
722
        call_warnings, result = self._capture_warnings(callable,
 
723
            *args, **kwargs)
 
724
        self.assertEqual(expected, call_warnings)
 
725
        return result
 
726
 
 
727
    def _startLogFile(self):
 
728
        """Send bzr and test log messages to a temporary file.
 
729
 
 
730
        The file is removed as the test is torn down.
 
731
        """
217
732
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
218
 
 
219
733
        self._log_file = os.fdopen(fileno, 'w+')
220
 
 
221
 
        hdlr = logging.StreamHandler(self._log_file)
222
 
        hdlr.setLevel(logging.DEBUG)
223
 
        hdlr.setFormatter(logging.Formatter('%(levelname)8s  %(message)s'))
224
 
        logging.getLogger('').addHandler(hdlr)
225
 
        logging.getLogger('').setLevel(logging.DEBUG)
226
 
        self._log_hdlr = hdlr
227
 
        debug('opened log file %s', name)
228
 
        
 
734
        self._log_nonce = bzrlib.trace.enable_test_log(self._log_file)
229
735
        self._log_file_name = name
230
 
 
231
 
    def tearDown(self):
232
 
        os.environ['HOME'] = self.oldenv
233
 
        if os.environ.get('BZREMAIL') is not None:
234
 
            del os.environ['BZREMAIL']
235
 
        if self.bzr_email is not None:
236
 
            os.environ['BZREMAIL'] = self.bzr_email
237
 
        if os.environ.get('EMAIL') is not None:
238
 
            del os.environ['EMAIL']
239
 
        if self.email is not None:
240
 
            os.environ['EMAIL'] = self.email
241
 
        logging.getLogger('').removeHandler(self._log_hdlr)
242
 
        bzrlib.trace.enable_default_logging()
243
 
        logging.debug('%s teardown', self.id())
 
736
        self.addCleanup(self._finishLogFile)
 
737
 
 
738
    def _finishLogFile(self):
 
739
        """Finished with the log file.
 
740
 
 
741
        Close the file and delete it, unless setKeepLogfile was called.
 
742
        """
 
743
        if self._log_file is None:
 
744
            return
 
745
        bzrlib.trace.disable_test_log(self._log_nonce)
244
746
        self._log_file.close()
 
747
        self._log_file = None
 
748
        if not self._keep_log_file:
 
749
            os.remove(self._log_file_name)
 
750
            self._log_file_name = None
 
751
 
 
752
    def setKeepLogfile(self):
 
753
        """Make the logfile not be deleted when _finishLogFile is called."""
 
754
        self._keep_log_file = True
 
755
 
 
756
    def addCleanup(self, callable):
 
757
        """Arrange to run a callable when this case is torn down.
 
758
 
 
759
        Callables are run in the reverse of the order they are registered, 
 
760
        ie last-in first-out.
 
761
        """
 
762
        if callable in self._cleanups:
 
763
            raise ValueError("cleanup function %r already registered on %s" 
 
764
                    % (callable, self))
 
765
        self._cleanups.append(callable)
 
766
 
 
767
    def _cleanEnvironment(self):
 
768
        new_env = {
 
769
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
 
770
            'HOME': os.getcwd(),
 
771
            'APPDATA': os.getcwd(),
 
772
            'BZR_EMAIL': None,
 
773
            'BZREMAIL': None, # may still be present in the environment
 
774
            'EMAIL': None,
 
775
            'BZR_PROGRESS_BAR': None,
 
776
        }
 
777
        self.__old_env = {}
 
778
        self.addCleanup(self._restoreEnvironment)
 
779
        for name, value in new_env.iteritems():
 
780
            self._captureVar(name, value)
 
781
 
 
782
    def _captureVar(self, name, newvalue):
 
783
        """Set an environment variable, and reset it when finished."""
 
784
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
785
 
 
786
    def _restoreEnvironment(self):
 
787
        for name, value in self.__old_env.iteritems():
 
788
            osutils.set_or_unset_env(name, value)
 
789
 
 
790
    def tearDown(self):
 
791
        self._runCleanups()
245
792
        unittest.TestCase.tearDown(self)
246
793
 
 
794
    def time(self, callable, *args, **kwargs):
 
795
        """Run callable and accrue the time it takes to the benchmark time.
 
796
        
 
797
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
798
        this will cause lsprofile statistics to be gathered and stored in
 
799
        self._benchcalls.
 
800
        """
 
801
        if self._benchtime is None:
 
802
            self._benchtime = 0
 
803
        start = time.time()
 
804
        try:
 
805
            if not self._gather_lsprof_in_benchmarks:
 
806
                return callable(*args, **kwargs)
 
807
            else:
 
808
                # record this benchmark
 
809
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
810
                stats.sort()
 
811
                self._benchcalls.append(((callable, args, kwargs), stats))
 
812
                return ret
 
813
        finally:
 
814
            self._benchtime += time.time() - start
 
815
 
 
816
    def _runCleanups(self):
 
817
        """Run registered cleanup functions. 
 
818
 
 
819
        This should only be called from TestCase.tearDown.
 
820
        """
 
821
        # TODO: Perhaps this should keep running cleanups even if 
 
822
        # one of them fails?
 
823
        for cleanup_fn in reversed(self._cleanups):
 
824
            cleanup_fn()
 
825
 
247
826
    def log(self, *args):
248
 
        logging.debug(*args)
 
827
        mutter(*args)
249
828
 
250
 
    def _get_log(self):
251
 
        """Return as a string the log for this test"""
252
 
        if self._log_file_name:
253
 
            return open(self._log_file_name).read()
 
829
    def _get_log(self, keep_log_file=False):
 
830
        """Return as a string the log for this test. If the file is still
 
831
        on disk and keep_log_file=False, delete the log file and store the
 
832
        content in self._log_contents."""
 
833
        # flush the log file, to get all content
 
834
        import bzrlib.trace
 
835
        bzrlib.trace._trace_file.flush()
 
836
        if self._log_contents:
 
837
            return self._log_contents
 
838
        if self._log_file_name is not None:
 
839
            logfile = open(self._log_file_name)
 
840
            try:
 
841
                log_contents = logfile.read()
 
842
            finally:
 
843
                logfile.close()
 
844
            if not keep_log_file:
 
845
                self._log_contents = log_contents
 
846
                os.remove(self._log_file_name)
 
847
            return log_contents
254
848
        else:
255
 
            return ''
 
849
            return "DELETED log file to reduce memory footprint"
256
850
 
257
 
    def capture(self, cmd):
 
851
    def capture(self, cmd, retcode=0):
258
852
        """Shortcut that splits cmd into words, runs, and returns stdout"""
259
 
        return self.run_bzr_captured(cmd.split())[0]
 
853
        return self.run_bzr_captured(cmd.split(), retcode=retcode)[0]
260
854
 
261
 
    def run_bzr_captured(self, argv, retcode=0):
262
 
        """Invoke bzr and return (result, stdout, stderr).
 
855
    def run_bzr_captured(self, argv, retcode=0, encoding=None, stdin=None,
 
856
                         working_dir=None):
 
857
        """Invoke bzr and return (stdout, stderr).
263
858
 
264
859
        Useful for code that wants to check the contents of the
265
860
        output, the way error messages are presented, etc.
275
870
        errors, and with logging set to something approximating the
276
871
        default, so that error reporting can be checked.
277
872
 
278
 
        argv -- arguments to invoke bzr
279
 
        retcode -- expected return code, or None for don't-care.
 
873
        :param argv: arguments to invoke bzr
 
874
        :param retcode: expected return code, or None for don't-care.
 
875
        :param encoding: encoding for sys.stdout and sys.stderr
 
876
        :param stdin: A string to be used as stdin for the command.
 
877
        :param working_dir: Change to this directory before running
280
878
        """
281
 
        stdout = StringIO()
282
 
        stderr = StringIO()
283
 
        self.log('run bzr: %s', ' '.join(argv))
 
879
        if encoding is None:
 
880
            encoding = bzrlib.user_encoding
 
881
        if stdin is not None:
 
882
            stdin = StringIO(stdin)
 
883
        stdout = StringIOWrapper()
 
884
        stderr = StringIOWrapper()
 
885
        stdout.encoding = encoding
 
886
        stderr.encoding = encoding
 
887
 
 
888
        self.log('run bzr: %r', argv)
 
889
        # FIXME: don't call into logging here
284
890
        handler = logging.StreamHandler(stderr)
285
 
        handler.setFormatter(bzrlib.trace.QuietFormatter())
286
891
        handler.setLevel(logging.INFO)
287
892
        logger = logging.getLogger('')
288
893
        logger.addHandler(handler)
 
894
        old_ui_factory = bzrlib.ui.ui_factory
 
895
        bzrlib.ui.ui_factory = bzrlib.tests.blackbox.TestUIFactory(
 
896
            stdout=stdout,
 
897
            stderr=stderr)
 
898
        bzrlib.ui.ui_factory.stdin = stdin
 
899
 
 
900
        cwd = None
 
901
        if working_dir is not None:
 
902
            cwd = osutils.getcwd()
 
903
            os.chdir(working_dir)
 
904
 
289
905
        try:
290
 
            result = self.apply_redirected(None, stdout, stderr,
291
 
                                           bzrlib.commands.run_bzr_catch_errors,
292
 
                                           argv)
 
906
            saved_debug_flags = frozenset(debug.debug_flags)
 
907
            debug.debug_flags.clear()
 
908
            try:
 
909
                result = self.apply_redirected(stdin, stdout, stderr,
 
910
                                               bzrlib.commands.run_bzr_catch_errors,
 
911
                                               argv)
 
912
            finally:
 
913
                debug.debug_flags.update(saved_debug_flags)
293
914
        finally:
294
915
            logger.removeHandler(handler)
 
916
            bzrlib.ui.ui_factory = old_ui_factory
 
917
            if cwd is not None:
 
918
                os.chdir(cwd)
 
919
 
295
920
        out = stdout.getvalue()
296
921
        err = stderr.getvalue()
297
922
        if out:
298
 
            self.log('output:\n%s', out)
 
923
            self.log('output:\n%r', out)
299
924
        if err:
300
 
            self.log('errors:\n%s', err)
 
925
            self.log('errors:\n%r', err)
301
926
        if retcode is not None:
302
 
            self.assertEquals(result, retcode)
 
927
            self.assertEquals(retcode, result)
303
928
        return out, err
304
929
 
305
930
    def run_bzr(self, *args, **kwargs):
311
936
 
312
937
        This sends the stdout/stderr results into the test's log,
313
938
        where it may be useful for debugging.  See also run_captured.
 
939
 
 
940
        :param stdin: A string to be used as stdin for the command.
314
941
        """
315
942
        retcode = kwargs.pop('retcode', 0)
316
 
        return self.run_bzr_captured(args, retcode)
 
943
        encoding = kwargs.pop('encoding', None)
 
944
        stdin = kwargs.pop('stdin', None)
 
945
        working_dir = kwargs.pop('working_dir', None)
 
946
        return self.run_bzr_captured(args, retcode=retcode, encoding=encoding,
 
947
                                     stdin=stdin, working_dir=working_dir)
 
948
 
 
949
    def run_bzr_decode(self, *args, **kwargs):
 
950
        if 'encoding' in kwargs:
 
951
            encoding = kwargs['encoding']
 
952
        else:
 
953
            encoding = bzrlib.user_encoding
 
954
        return self.run_bzr(*args, **kwargs)[0].decode(encoding)
 
955
 
 
956
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
957
        """Run bzr, and check that stderr contains the supplied regexes
 
958
        
 
959
        :param error_regexes: Sequence of regular expressions which 
 
960
            must each be found in the error output. The relative ordering
 
961
            is not enforced.
 
962
        :param args: command-line arguments for bzr
 
963
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
964
            This function changes the default value of retcode to be 3,
 
965
            since in most cases this is run when you expect bzr to fail.
 
966
        :return: (out, err) The actual output of running the command (in case you
 
967
                 want to do more inspection)
 
968
 
 
969
        Examples of use:
 
970
            # Make sure that commit is failing because there is nothing to do
 
971
            self.run_bzr_error(['no changes to commit'],
 
972
                               'commit', '-m', 'my commit comment')
 
973
            # Make sure --strict is handling an unknown file, rather than
 
974
            # giving us the 'nothing to do' error
 
975
            self.build_tree(['unknown'])
 
976
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
977
                               'commit', '--strict', '-m', 'my commit comment')
 
978
        """
 
979
        kwargs.setdefault('retcode', 3)
 
980
        out, err = self.run_bzr(*args, **kwargs)
 
981
        for regex in error_regexes:
 
982
            self.assertContainsRe(err, regex)
 
983
        return out, err
 
984
 
 
985
    def run_bzr_subprocess(self, *args, **kwargs):
 
986
        """Run bzr in a subprocess for testing.
 
987
 
 
988
        This starts a new Python interpreter and runs bzr in there. 
 
989
        This should only be used for tests that have a justifiable need for
 
990
        this isolation: e.g. they are testing startup time, or signal
 
991
        handling, or early startup code, etc.  Subprocess code can't be 
 
992
        profiled or debugged so easily.
 
993
 
 
994
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
995
            None is supplied, the status code is not checked.
 
996
        :param env_changes: A dictionary which lists changes to environment
 
997
            variables. A value of None will unset the env variable.
 
998
            The values must be strings. The change will only occur in the
 
999
            child, so you don't need to fix the environment after running.
 
1000
        :param universal_newlines: Convert CRLF => LF
 
1001
        :param allow_plugins: By default the subprocess is run with
 
1002
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1003
            for system-wide plugins to create unexpected output on stderr,
 
1004
            which can cause unnecessary test failures.
 
1005
        """
 
1006
        env_changes = kwargs.get('env_changes', {})
 
1007
        working_dir = kwargs.get('working_dir', None)
 
1008
        allow_plugins = kwargs.get('allow_plugins', False)
 
1009
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1010
                                            working_dir=working_dir,
 
1011
                                            allow_plugins=allow_plugins)
 
1012
        # We distinguish between retcode=None and retcode not passed.
 
1013
        supplied_retcode = kwargs.get('retcode', 0)
 
1014
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1015
            universal_newlines=kwargs.get('universal_newlines', False),
 
1016
            process_args=args)
 
1017
 
 
1018
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1019
                             skip_if_plan_to_signal=False,
 
1020
                             working_dir=None,
 
1021
                             allow_plugins=False):
 
1022
        """Start bzr in a subprocess for testing.
 
1023
 
 
1024
        This starts a new Python interpreter and runs bzr in there.
 
1025
        This should only be used for tests that have a justifiable need for
 
1026
        this isolation: e.g. they are testing startup time, or signal
 
1027
        handling, or early startup code, etc.  Subprocess code can't be
 
1028
        profiled or debugged so easily.
 
1029
 
 
1030
        :param process_args: a list of arguments to pass to the bzr executable,
 
1031
            for example `['--version']`.
 
1032
        :param env_changes: A dictionary which lists changes to environment
 
1033
            variables. A value of None will unset the env variable.
 
1034
            The values must be strings. The change will only occur in the
 
1035
            child, so you don't need to fix the environment after running.
 
1036
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1037
            is not available.
 
1038
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1039
 
 
1040
        :returns: Popen object for the started process.
 
1041
        """
 
1042
        if skip_if_plan_to_signal:
 
1043
            if not getattr(os, 'kill', None):
 
1044
                raise TestSkipped("os.kill not available.")
 
1045
 
 
1046
        if env_changes is None:
 
1047
            env_changes = {}
 
1048
        old_env = {}
 
1049
 
 
1050
        def cleanup_environment():
 
1051
            for env_var, value in env_changes.iteritems():
 
1052
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1053
 
 
1054
        def restore_environment():
 
1055
            for env_var, value in old_env.iteritems():
 
1056
                osutils.set_or_unset_env(env_var, value)
 
1057
 
 
1058
        bzr_path = self.get_bzr_path()
 
1059
 
 
1060
        cwd = None
 
1061
        if working_dir is not None:
 
1062
            cwd = osutils.getcwd()
 
1063
            os.chdir(working_dir)
 
1064
 
 
1065
        try:
 
1066
            # win32 subprocess doesn't support preexec_fn
 
1067
            # so we will avoid using it on all platforms, just to
 
1068
            # make sure the code path is used, and we don't break on win32
 
1069
            cleanup_environment()
 
1070
            command = [sys.executable, bzr_path]
 
1071
            if not allow_plugins:
 
1072
                command.append('--no-plugins')
 
1073
            command.extend(process_args)
 
1074
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1075
        finally:
 
1076
            restore_environment()
 
1077
            if cwd is not None:
 
1078
                os.chdir(cwd)
 
1079
 
 
1080
        return process
 
1081
 
 
1082
    def _popen(self, *args, **kwargs):
 
1083
        """Place a call to Popen.
 
1084
 
 
1085
        Allows tests to override this method to intercept the calls made to
 
1086
        Popen for introspection.
 
1087
        """
 
1088
        return Popen(*args, **kwargs)
 
1089
 
 
1090
    def get_bzr_path(self):
 
1091
        """Return the path of the 'bzr' executable for this test suite."""
 
1092
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1093
        if not os.path.isfile(bzr_path):
 
1094
            # We are probably installed. Assume sys.argv is the right file
 
1095
            bzr_path = sys.argv[0]
 
1096
        return bzr_path
 
1097
 
 
1098
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1099
                              universal_newlines=False, process_args=None):
 
1100
        """Finish the execution of process.
 
1101
 
 
1102
        :param process: the Popen object returned from start_bzr_subprocess.
 
1103
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1104
            None is supplied, the status code is not checked.
 
1105
        :param send_signal: an optional signal to send to the process.
 
1106
        :param universal_newlines: Convert CRLF => LF
 
1107
        :returns: (stdout, stderr)
 
1108
        """
 
1109
        if send_signal is not None:
 
1110
            os.kill(process.pid, send_signal)
 
1111
        out, err = process.communicate()
 
1112
 
 
1113
        if universal_newlines:
 
1114
            out = out.replace('\r\n', '\n')
 
1115
            err = err.replace('\r\n', '\n')
 
1116
 
 
1117
        if retcode is not None and retcode != process.returncode:
 
1118
            if process_args is None:
 
1119
                process_args = "(unknown args)"
 
1120
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1121
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1122
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1123
                      % (process_args, retcode, process.returncode))
 
1124
        return [out, err]
317
1125
 
318
1126
    def check_inventory_shape(self, inv, shape):
319
1127
        """Compare an inventory to a list of expected names.
345
1153
        if stdin is None:
346
1154
            stdin = StringIO("")
347
1155
        if stdout is None:
348
 
            if hasattr(self, "_log_file"):
 
1156
            if getattr(self, "_log_file", None) is not None:
349
1157
                stdout = self._log_file
350
1158
            else:
351
1159
                stdout = StringIO()
352
1160
        if stderr is None:
353
 
            if hasattr(self, "_log_file"):
 
1161
            if getattr(self, "_log_file", None is not None):
354
1162
                stderr = self._log_file
355
1163
            else:
356
1164
                stderr = StringIO()
367
1175
            sys.stderr = real_stderr
368
1176
            sys.stdin = real_stdin
369
1177
 
 
1178
    @symbol_versioning.deprecated_method(symbol_versioning.zero_eleven)
 
1179
    def merge(self, branch_from, wt_to):
 
1180
        """A helper for tests to do a ui-less merge.
 
1181
 
 
1182
        This should move to the main library when someone has time to integrate
 
1183
        it in.
 
1184
        """
 
1185
        # minimal ui-less merge.
 
1186
        wt_to.branch.fetch(branch_from)
 
1187
        base_rev = common_ancestor(branch_from.last_revision(),
 
1188
                                   wt_to.branch.last_revision(),
 
1189
                                   wt_to.branch.repository)
 
1190
        merge_inner(wt_to.branch, branch_from.basis_tree(),
 
1191
                    wt_to.branch.repository.revision_tree(base_rev),
 
1192
                    this_tree=wt_to)
 
1193
        wt_to.add_parent_tree_id(branch_from.last_revision())
 
1194
 
370
1195
 
371
1196
BzrTestBase = TestCase
372
1197
 
 
1198
 
 
1199
class TestCaseWithMemoryTransport(TestCase):
 
1200
    """Common test class for tests that do not need disk resources.
 
1201
 
 
1202
    Tests that need disk resources should derive from TestCaseWithTransport.
 
1203
 
 
1204
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
1205
 
 
1206
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
1207
    a directory which does not exist. This serves to help ensure test isolation
 
1208
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
1209
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
1210
    file defaults for the transport in tests, nor does it obey the command line
 
1211
    override, so tests that accidentally write to the common directory should
 
1212
    be rare.
 
1213
    """
 
1214
 
 
1215
    TEST_ROOT = None
 
1216
    _TEST_NAME = 'test'
 
1217
 
 
1218
 
 
1219
    def __init__(self, methodName='runTest'):
 
1220
        # allow test parameterisation after test construction and before test
 
1221
        # execution. Variables that the parameteriser sets need to be 
 
1222
        # ones that are not set by setUp, or setUp will trash them.
 
1223
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
1224
        self.transport_server = default_transport
 
1225
        self.transport_readonly_server = None
 
1226
 
 
1227
    def failUnlessExists(self, path):
 
1228
        """Fail unless path, which may be abs or relative, exists."""
 
1229
        self.failUnless(osutils.lexists(path))
 
1230
 
 
1231
    def failIfExists(self, path):
 
1232
        """Fail if path, which may be abs or relative, exists."""
 
1233
        self.failIf(osutils.lexists(path))
 
1234
        
 
1235
    def get_transport(self):
 
1236
        """Return a writeable transport for the test scratch space"""
 
1237
        t = get_transport(self.get_url())
 
1238
        self.assertFalse(t.is_readonly())
 
1239
        return t
 
1240
 
 
1241
    def get_readonly_transport(self):
 
1242
        """Return a readonly transport for the test scratch space
 
1243
        
 
1244
        This can be used to test that operations which should only need
 
1245
        readonly access in fact do not try to write.
 
1246
        """
 
1247
        t = get_transport(self.get_readonly_url())
 
1248
        self.assertTrue(t.is_readonly())
 
1249
        return t
 
1250
 
 
1251
    def get_readonly_server(self):
 
1252
        """Get the server instance for the readonly transport
 
1253
 
 
1254
        This is useful for some tests with specific servers to do diagnostics.
 
1255
        """
 
1256
        if self.__readonly_server is None:
 
1257
            if self.transport_readonly_server is None:
 
1258
                # readonly decorator requested
 
1259
                # bring up the server
 
1260
                self.get_url()
 
1261
                self.__readonly_server = ReadonlyServer()
 
1262
                self.__readonly_server.setUp(self.__server)
 
1263
            else:
 
1264
                self.__readonly_server = self.transport_readonly_server()
 
1265
                self.__readonly_server.setUp()
 
1266
            self.addCleanup(self.__readonly_server.tearDown)
 
1267
        return self.__readonly_server
 
1268
 
 
1269
    def get_readonly_url(self, relpath=None):
 
1270
        """Get a URL for the readonly transport.
 
1271
 
 
1272
        This will either be backed by '.' or a decorator to the transport 
 
1273
        used by self.get_url()
 
1274
        relpath provides for clients to get a path relative to the base url.
 
1275
        These should only be downwards relative, not upwards.
 
1276
        """
 
1277
        base = self.get_readonly_server().get_url()
 
1278
        if relpath is not None:
 
1279
            if not base.endswith('/'):
 
1280
                base = base + '/'
 
1281
            base = base + relpath
 
1282
        return base
 
1283
 
 
1284
    def get_server(self):
 
1285
        """Get the read/write server instance.
 
1286
 
 
1287
        This is useful for some tests with specific servers that need
 
1288
        diagnostics.
 
1289
 
 
1290
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
1291
        is no means to override it.
 
1292
        """
 
1293
        if self.__server is None:
 
1294
            self.__server = MemoryServer()
 
1295
            self.__server.setUp()
 
1296
            self.addCleanup(self.__server.tearDown)
 
1297
        return self.__server
 
1298
 
 
1299
    def get_url(self, relpath=None):
 
1300
        """Get a URL (or maybe a path) for the readwrite transport.
 
1301
 
 
1302
        This will either be backed by '.' or to an equivalent non-file based
 
1303
        facility.
 
1304
        relpath provides for clients to get a path relative to the base url.
 
1305
        These should only be downwards relative, not upwards.
 
1306
        """
 
1307
        base = self.get_server().get_url()
 
1308
        if relpath is not None and relpath != '.':
 
1309
            if not base.endswith('/'):
 
1310
                base = base + '/'
 
1311
            # XXX: Really base should be a url; we did after all call
 
1312
            # get_url()!  But sometimes it's just a path (from
 
1313
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
1314
            # to a non-escaped local path.
 
1315
            if base.startswith('./') or base.startswith('/'):
 
1316
                base += relpath
 
1317
            else:
 
1318
                base += urlutils.escape(relpath)
 
1319
        return base
 
1320
 
 
1321
    def _make_test_root(self):
 
1322
        if TestCaseWithMemoryTransport.TEST_ROOT is not None:
 
1323
            return
 
1324
        i = 0
 
1325
        while True:
 
1326
            root = u'test%04d.tmp' % i
 
1327
            try:
 
1328
                os.mkdir(root)
 
1329
            except OSError, e:
 
1330
                if e.errno == errno.EEXIST:
 
1331
                    i += 1
 
1332
                    continue
 
1333
                else:
 
1334
                    raise
 
1335
            # successfully created
 
1336
            TestCaseWithMemoryTransport.TEST_ROOT = osutils.abspath(root)
 
1337
            break
 
1338
        # make a fake bzr directory there to prevent any tests propagating
 
1339
        # up onto the source directory's real branch
 
1340
        bzrdir.BzrDir.create_standalone_workingtree(
 
1341
            TestCaseWithMemoryTransport.TEST_ROOT)
 
1342
 
 
1343
    def makeAndChdirToTestDir(self):
 
1344
        """Create a temporary directories for this one test.
 
1345
        
 
1346
        This must set self.test_home_dir and self.test_dir and chdir to
 
1347
        self.test_dir.
 
1348
        
 
1349
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
1350
        """
 
1351
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
1352
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
1353
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
1354
        
 
1355
    def make_branch(self, relpath, format=None):
 
1356
        """Create a branch on the transport at relpath."""
 
1357
        repo = self.make_repository(relpath, format=format)
 
1358
        return repo.bzrdir.create_branch()
 
1359
 
 
1360
    def make_bzrdir(self, relpath, format=None):
 
1361
        try:
 
1362
            # might be a relative or absolute path
 
1363
            maybe_a_url = self.get_url(relpath)
 
1364
            segments = maybe_a_url.rsplit('/', 1)
 
1365
            t = get_transport(maybe_a_url)
 
1366
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
1367
                try:
 
1368
                    t.mkdir('.')
 
1369
                except errors.FileExists:
 
1370
                    pass
 
1371
            if format is None:
 
1372
                format = bzrlib.bzrdir.BzrDirFormat.get_default_format()
 
1373
            return format.initialize_on_transport(t)
 
1374
        except errors.UninitializableFormat:
 
1375
            raise TestSkipped("Format %s is not initializable." % format)
 
1376
 
 
1377
    def make_repository(self, relpath, shared=False, format=None):
 
1378
        """Create a repository on our default transport at relpath."""
 
1379
        made_control = self.make_bzrdir(relpath, format=format)
 
1380
        return made_control.create_repository(shared=shared)
 
1381
 
 
1382
    def make_branch_and_memory_tree(self, relpath, format=None):
 
1383
        """Create a branch on the default transport and a MemoryTree for it."""
 
1384
        b = self.make_branch(relpath, format=format)
 
1385
        return memorytree.MemoryTree.create_on_branch(b)
 
1386
 
 
1387
    def overrideEnvironmentForTesting(self):
 
1388
        os.environ['HOME'] = self.test_home_dir
 
1389
        os.environ['APPDATA'] = self.test_home_dir
 
1390
        
 
1391
    def setUp(self):
 
1392
        super(TestCaseWithMemoryTransport, self).setUp()
 
1393
        self._make_test_root()
 
1394
        _currentdir = os.getcwdu()
 
1395
        def _leaveDirectory():
 
1396
            os.chdir(_currentdir)
 
1397
        self.addCleanup(_leaveDirectory)
 
1398
        self.makeAndChdirToTestDir()
 
1399
        self.overrideEnvironmentForTesting()
 
1400
        self.__readonly_server = None
 
1401
        self.__server = None
 
1402
 
373
1403
     
374
 
class TestCaseInTempDir(TestCase):
 
1404
class TestCaseInTempDir(TestCaseWithMemoryTransport):
375
1405
    """Derived class that runs a test within a temporary directory.
376
1406
 
377
1407
    This is useful for tests that need to create a branch, etc.
384
1414
    InTempDir is an old alias for FunctionalTestCase.
385
1415
    """
386
1416
 
387
 
    TEST_ROOT = None
388
 
    _TEST_NAME = 'test'
389
1417
    OVERRIDE_PYTHON = 'python'
390
1418
 
391
1419
    def check_file_contents(self, filename, expect):
396
1424
            self.log("actually: %r" % contents)
397
1425
            self.fail("contents of %s not as expected" % filename)
398
1426
 
399
 
    def _make_test_root(self):
400
 
        if TestCaseInTempDir.TEST_ROOT is not None:
401
 
            return
 
1427
    def makeAndChdirToTestDir(self):
 
1428
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
 
1429
        
 
1430
        For TestCaseInTempDir we create a temporary directory based on the test
 
1431
        name and then create two subdirs - test and home under it.
 
1432
        """
 
1433
        # shorten the name, to avoid test failures due to path length
 
1434
        short_id = self.id().replace('bzrlib.tests.', '') \
 
1435
                   .replace('__main__.', '')[-100:]
 
1436
        # it's possible the same test class is run several times for
 
1437
        # parameterized tests, so make sure the names don't collide.  
402
1438
        i = 0
403
1439
        while True:
404
 
            root = 'test%04d.tmp' % i
405
 
            try:
406
 
                os.mkdir(root)
407
 
            except OSError, e:
408
 
                if e.errno == errno.EEXIST:
409
 
                    i += 1
410
 
                    continue
411
 
                else:
412
 
                    raise
413
 
            # successfully created
414
 
            TestCaseInTempDir.TEST_ROOT = os.path.abspath(root)
415
 
            break
416
 
        # make a fake bzr directory there to prevent any tests propagating
417
 
        # up onto the source directory's real branch
418
 
        os.mkdir(os.path.join(TestCaseInTempDir.TEST_ROOT, '.bzr'))
419
 
 
420
 
    def setUp(self):
421
 
        self._make_test_root()
422
 
        self._currentdir = os.getcwdu()
423
 
        short_id = self.id().replace('bzrlib.selftest.', '') \
424
 
                   .replace('__main__.', '')
425
 
        self.test_dir = os.path.join(self.TEST_ROOT, short_id)
426
 
        os.mkdir(self.test_dir)
427
 
        os.chdir(self.test_dir)
428
 
        super(TestCaseInTempDir, self).setUp()
429
 
        
430
 
    def tearDown(self):
431
 
        os.chdir(self._currentdir)
432
 
        super(TestCaseInTempDir, self).tearDown()
433
 
 
434
 
    def build_tree(self, shape):
 
1440
            if i > 0:
 
1441
                candidate_dir = '%s/%s.%d' % (self.TEST_ROOT, short_id, i)
 
1442
            else:
 
1443
                candidate_dir = '%s/%s' % (self.TEST_ROOT, short_id)
 
1444
            if os.path.exists(candidate_dir):
 
1445
                i = i + 1
 
1446
                continue
 
1447
            else:
 
1448
                os.mkdir(candidate_dir)
 
1449
                self.test_home_dir = candidate_dir + '/home'
 
1450
                os.mkdir(self.test_home_dir)
 
1451
                self.test_dir = candidate_dir + '/work'
 
1452
                os.mkdir(self.test_dir)
 
1453
                os.chdir(self.test_dir)
 
1454
                break
 
1455
 
 
1456
    def build_tree(self, shape, line_endings='native', transport=None):
435
1457
        """Build a test tree according to a pattern.
436
1458
 
437
1459
        shape is a sequence of file specifications.  If the final
438
1460
        character is '/', a directory is created.
439
1461
 
 
1462
        This assumes that all the elements in the tree being built are new.
 
1463
 
440
1464
        This doesn't add anything to a branch.
 
1465
        :param line_endings: Either 'binary' or 'native'
 
1466
                             in binary mode, exact contents are written
 
1467
                             in native mode, the line endings match the
 
1468
                             default platform endings.
 
1469
 
 
1470
        :param transport: A transport to write to, for building trees on 
 
1471
                          VFS's. If the transport is readonly or None,
 
1472
                          "." is opened automatically.
441
1473
        """
442
 
        # XXX: It's OK to just create them using forward slashes on windows?
 
1474
        # It's OK to just create them using forward slashes on windows.
 
1475
        if transport is None or transport.is_readonly():
 
1476
            transport = get_transport(".")
443
1477
        for name in shape:
444
 
            assert isinstance(name, basestring)
 
1478
            self.assert_(isinstance(name, basestring))
445
1479
            if name[-1] == '/':
446
 
                os.mkdir(name[:-1])
 
1480
                transport.mkdir(urlutils.escape(name[:-1]))
447
1481
            else:
448
 
                f = file(name, 'wt')
449
 
                print >>f, "contents of", name
450
 
                f.close()
 
1482
                if line_endings == 'binary':
 
1483
                    end = '\n'
 
1484
                elif line_endings == 'native':
 
1485
                    end = os.linesep
 
1486
                else:
 
1487
                    raise errors.BzrError('Invalid line ending request %r' % (line_endings,))
 
1488
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
1489
                # Technically 'put()' is the right command. However, put
 
1490
                # uses an AtomicFile, which requires an extra rename into place
 
1491
                # As long as the files didn't exist in the past, append() will
 
1492
                # do the same thing as put()
 
1493
                # On jam's machine, make_kernel_like_tree is:
 
1494
                #   put:    4.5-7.5s (averaging 6s)
 
1495
                #   append: 2.9-4.5s
 
1496
                #   put_non_atomic: 2.9-4.5s
 
1497
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
451
1498
 
452
1499
    def build_tree_contents(self, shape):
453
 
        bzrlib.selftest.build_tree_contents(shape)
 
1500
        build_tree_contents(shape)
454
1501
 
455
 
    def failUnlessExists(self, path):
456
 
        """Fail unless path, which may be abs or relative, exists."""
457
 
        self.failUnless(osutils.lexists(path))
458
 
        
459
1502
    def assertFileEqual(self, content, path):
460
1503
        """Fail if path does not contain 'content'."""
461
1504
        self.failUnless(osutils.lexists(path))
 
1505
        # TODO: jam 20060427 Shouldn't this be 'rb'?
462
1506
        self.assertEqualDiff(content, open(path, 'r').read())
463
 
        
464
 
 
465
 
class MetaTestLog(TestCase):
466
 
    def test_logging(self):
467
 
        """Test logs are captured when a test fails."""
468
 
        logging.info('an info message')
469
 
        warning('something looks dodgy...')
470
 
        logging.debug('hello, test is running')
471
 
        ## assert 0
 
1507
 
 
1508
 
 
1509
class TestCaseWithTransport(TestCaseInTempDir):
 
1510
    """A test case that provides get_url and get_readonly_url facilities.
 
1511
 
 
1512
    These back onto two transport servers, one for readonly access and one for
 
1513
    read write access.
 
1514
 
 
1515
    If no explicit class is provided for readonly access, a
 
1516
    ReadonlyTransportDecorator is used instead which allows the use of non disk
 
1517
    based read write transports.
 
1518
 
 
1519
    If an explicit class is provided for readonly access, that server and the 
 
1520
    readwrite one must both define get_url() as resolving to os.getcwd().
 
1521
    """
 
1522
 
 
1523
    def get_server(self):
 
1524
        """See TestCaseWithMemoryTransport.
 
1525
 
 
1526
        This is useful for some tests with specific servers that need
 
1527
        diagnostics.
 
1528
        """
 
1529
        if self.__server is None:
 
1530
            self.__server = self.transport_server()
 
1531
            self.__server.setUp()
 
1532
            self.addCleanup(self.__server.tearDown)
 
1533
        return self.__server
 
1534
 
 
1535
    def make_branch_and_tree(self, relpath, format=None):
 
1536
        """Create a branch on the transport and a tree locally.
 
1537
 
 
1538
        If the transport is not a LocalTransport, the Tree can't be created on
 
1539
        the transport.  In that case the working tree is created in the local
 
1540
        directory, and the returned tree's branch and repository will also be
 
1541
        accessed locally.
 
1542
 
 
1543
        This will fail if the original default transport for this test
 
1544
        case wasn't backed by the working directory, as the branch won't
 
1545
        be on disk for us to open it.  
 
1546
 
 
1547
        :param format: The BzrDirFormat.
 
1548
        :returns: the WorkingTree.
 
1549
        """
 
1550
        # TODO: always use the local disk path for the working tree,
 
1551
        # this obviously requires a format that supports branch references
 
1552
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
 
1553
        # RBC 20060208
 
1554
        b = self.make_branch(relpath, format=format)
 
1555
        try:
 
1556
            return b.bzrdir.create_workingtree()
 
1557
        except errors.NotLocalUrl:
 
1558
            # We can only make working trees locally at the moment.  If the
 
1559
            # transport can't support them, then reopen the branch on a local
 
1560
            # transport, and create the working tree there.  
 
1561
            #
 
1562
            # Possibly we should instead keep
 
1563
            # the non-disk-backed branch and create a local checkout?
 
1564
            bd = bzrdir.BzrDir.open(relpath)
 
1565
            return bd.create_workingtree()
 
1566
 
 
1567
    def assertIsDirectory(self, relpath, transport):
 
1568
        """Assert that relpath within transport is a directory.
 
1569
 
 
1570
        This may not be possible on all transports; in that case it propagates
 
1571
        a TransportNotPossible.
 
1572
        """
 
1573
        try:
 
1574
            mode = transport.stat(relpath).st_mode
 
1575
        except errors.NoSuchFile:
 
1576
            self.fail("path %s is not a directory; no such file"
 
1577
                      % (relpath))
 
1578
        if not stat.S_ISDIR(mode):
 
1579
            self.fail("path %s is not a directory; has mode %#o"
 
1580
                      % (relpath, mode))
 
1581
 
 
1582
    def setUp(self):
 
1583
        super(TestCaseWithTransport, self).setUp()
 
1584
        self.__server = None
 
1585
 
 
1586
 
 
1587
class ChrootedTestCase(TestCaseWithTransport):
 
1588
    """A support class that provides readonly urls outside the local namespace.
 
1589
 
 
1590
    This is done by checking if self.transport_server is a MemoryServer. if it
 
1591
    is then we are chrooted already, if it is not then an HttpServer is used
 
1592
    for readonly urls.
 
1593
 
 
1594
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
 
1595
                       be used without needed to redo it when a different 
 
1596
                       subclass is in use ?
 
1597
    """
 
1598
 
 
1599
    def setUp(self):
 
1600
        super(ChrootedTestCase, self).setUp()
 
1601
        if not self.transport_server == bzrlib.transport.memory.MemoryServer:
 
1602
            self.transport_readonly_server = bzrlib.transport.http.HttpServer
472
1603
 
473
1604
 
474
1605
def filter_suite_by_re(suite, pattern):
481
1612
 
482
1613
 
483
1614
def run_suite(suite, name='test', verbose=False, pattern=".*",
484
 
              stop_on_failure=False):
485
 
    TestCaseInTempDir._TEST_NAME = name
 
1615
              stop_on_failure=False, keep_output=False,
 
1616
              transport=None, lsprof_timed=None, bench_history=None):
 
1617
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
486
1618
    if verbose:
487
1619
        verbosity = 2
488
1620
    else:
489
1621
        verbosity = 1
490
1622
    runner = TextTestRunner(stream=sys.stdout,
491
1623
                            descriptions=0,
492
 
                            verbosity=verbosity)
 
1624
                            verbosity=verbosity,
 
1625
                            keep_output=keep_output,
 
1626
                            bench_history=bench_history)
493
1627
    runner.stop_on_failure=stop_on_failure
494
1628
    if pattern != '.*':
495
1629
        suite = filter_suite_by_re(suite, pattern)
496
1630
    result = runner.run(suite)
497
 
    # This is still a little bogus, 
498
 
    # but only a little. Folk not using our testrunner will
499
 
    # have to delete their temp directories themselves.
500
 
    if result.wasSuccessful():
501
 
        if TestCaseInTempDir.TEST_ROOT is not None:
502
 
            shutil.rmtree(TestCaseInTempDir.TEST_ROOT) 
503
 
    else:
504
 
        print "Failed tests working directories are in '%s'\n" % TestCaseInTempDir.TEST_ROOT
505
1631
    return result.wasSuccessful()
506
1632
 
507
1633
 
508
 
def selftest(verbose=False, pattern=".*", stop_on_failure=True):
 
1634
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
 
1635
             keep_output=False,
 
1636
             transport=None,
 
1637
             test_suite_factory=None,
 
1638
             lsprof_timed=None,
 
1639
             bench_history=None):
509
1640
    """Run the whole test suite under the enhanced runner"""
510
 
    return run_suite(test_suite(), 'testbzr', verbose=verbose, pattern=pattern,
511
 
                     stop_on_failure=stop_on_failure)
 
1641
    # XXX: Very ugly way to do this...
 
1642
    # Disable warning about old formats because we don't want it to disturb
 
1643
    # any blackbox tests.
 
1644
    from bzrlib import repository
 
1645
    repository._deprecation_warning_done = True
 
1646
 
 
1647
    global default_transport
 
1648
    if transport is None:
 
1649
        transport = default_transport
 
1650
    old_transport = default_transport
 
1651
    default_transport = transport
 
1652
    try:
 
1653
        if test_suite_factory is None:
 
1654
            suite = test_suite()
 
1655
        else:
 
1656
            suite = test_suite_factory()
 
1657
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
 
1658
                     stop_on_failure=stop_on_failure, keep_output=keep_output,
 
1659
                     transport=transport,
 
1660
                     lsprof_timed=lsprof_timed,
 
1661
                     bench_history=bench_history)
 
1662
    finally:
 
1663
        default_transport = old_transport
512
1664
 
513
1665
 
514
1666
def test_suite():
515
 
    """Build and return TestSuite for the whole program."""
516
 
    import bzrlib.store, bzrlib.inventory, bzrlib.branch
517
 
    import bzrlib.osutils, bzrlib.merge3, bzrlib.plugin
518
 
    from doctest import DocTestSuite
519
 
 
520
 
    global MODULES_TO_TEST, MODULES_TO_DOCTEST
521
 
 
522
 
    testmod_names = \
523
 
                  ['bzrlib.selftest.MetaTestLog',
524
 
                   'bzrlib.selftest.testgpg',
525
 
                   'bzrlib.selftest.testidentitymap',
526
 
                   'bzrlib.selftest.testinv',
527
 
                   'bzrlib.selftest.test_ancestry',
528
 
                   'bzrlib.selftest.test_commit',
529
 
                   'bzrlib.selftest.test_commit_merge',
530
 
                   'bzrlib.selftest.testconfig',
531
 
                   'bzrlib.selftest.versioning',
532
 
                   'bzrlib.selftest.testmerge3',
533
 
                   'bzrlib.selftest.testmerge',
534
 
                   'bzrlib.selftest.testhashcache',
535
 
                   'bzrlib.selftest.teststatus',
536
 
                   'bzrlib.selftest.testlog',
537
 
                   'bzrlib.selftest.testrevisionnamespaces',
538
 
                   'bzrlib.selftest.testbranch',
539
 
                   'bzrlib.selftest.testrevision',
540
 
                   'bzrlib.selftest.test_revision_info',
541
 
                   'bzrlib.selftest.test_merge_core',
542
 
                   'bzrlib.selftest.test_smart_add',
543
 
                   'bzrlib.selftest.test_bad_files',
544
 
                   'bzrlib.selftest.testdiff',
545
 
                   'bzrlib.selftest.test_parent',
546
 
                   'bzrlib.selftest.test_xml',
547
 
                   'bzrlib.selftest.test_weave',
548
 
                   'bzrlib.selftest.testfetch',
549
 
                   'bzrlib.selftest.whitebox',
550
 
                   'bzrlib.selftest.teststore',
551
 
                   'bzrlib.selftest.blackbox',
552
 
                   'bzrlib.selftest.testsampler',
553
 
                   'bzrlib.selftest.testtransactions',
554
 
                   'bzrlib.selftest.testtransport',
555
 
                   'bzrlib.selftest.testgraph',
556
 
                   'bzrlib.selftest.testworkingtree',
557
 
                   'bzrlib.selftest.test_upgrade',
558
 
                   'bzrlib.selftest.test_conflicts',
559
 
                   'bzrlib.selftest.testtestament',
560
 
                   'bzrlib.selftest.testannotate',
561
 
                   'bzrlib.selftest.testrevprops',
562
 
                   'bzrlib.selftest.testoptions',
563
 
                   'bzrlib.selftest.testhttp',
564
 
                   'bzrlib.selftest.testnonascii',
 
1667
    """Build and return TestSuite for the whole of bzrlib.
 
1668
    
 
1669
    This function can be replaced if you need to change the default test
 
1670
    suite on a global basis, but it is not encouraged.
 
1671
    """
 
1672
    testmod_names = [
 
1673
                   'bzrlib.tests.test_ancestry',
 
1674
                   'bzrlib.tests.test_api',
 
1675
                   'bzrlib.tests.test_atomicfile',
 
1676
                   'bzrlib.tests.test_bad_files',
 
1677
                   'bzrlib.tests.test_branch',
 
1678
                   'bzrlib.tests.test_bundle',
 
1679
                   'bzrlib.tests.test_bzrdir',
 
1680
                   'bzrlib.tests.test_cache_utf8',
 
1681
                   'bzrlib.tests.test_command',
 
1682
                   'bzrlib.tests.test_commit',
 
1683
                   'bzrlib.tests.test_commit_merge',
 
1684
                   'bzrlib.tests.test_config',
 
1685
                   'bzrlib.tests.test_conflicts',
 
1686
                   'bzrlib.tests.test_decorators',
 
1687
                   'bzrlib.tests.test_diff',
 
1688
                   'bzrlib.tests.test_doc_generate',
 
1689
                   'bzrlib.tests.test_errors',
 
1690
                   'bzrlib.tests.test_escaped_store',
 
1691
                   'bzrlib.tests.test_fetch',
 
1692
                   'bzrlib.tests.test_ftp_transport',
 
1693
                   'bzrlib.tests.test_gpg',
 
1694
                   'bzrlib.tests.test_graph',
 
1695
                   'bzrlib.tests.test_hashcache',
 
1696
                   'bzrlib.tests.test_http',
 
1697
                   'bzrlib.tests.test_http_response',
 
1698
                   'bzrlib.tests.test_identitymap',
 
1699
                   'bzrlib.tests.test_ignores',
 
1700
                   'bzrlib.tests.test_inv',
 
1701
                   'bzrlib.tests.test_knit',
 
1702
                   'bzrlib.tests.test_lazy_import',
 
1703
                   'bzrlib.tests.test_lazy_regex',
 
1704
                   'bzrlib.tests.test_lockdir',
 
1705
                   'bzrlib.tests.test_lockable_files',
 
1706
                   'bzrlib.tests.test_log',
 
1707
                   'bzrlib.tests.test_memorytree',
 
1708
                   'bzrlib.tests.test_merge',
 
1709
                   'bzrlib.tests.test_merge3',
 
1710
                   'bzrlib.tests.test_merge_core',
 
1711
                   'bzrlib.tests.test_missing',
 
1712
                   'bzrlib.tests.test_msgeditor',
 
1713
                   'bzrlib.tests.test_nonascii',
 
1714
                   'bzrlib.tests.test_options',
 
1715
                   'bzrlib.tests.test_osutils',
 
1716
                   'bzrlib.tests.test_patch',
 
1717
                   'bzrlib.tests.test_patches',
 
1718
                   'bzrlib.tests.test_permissions',
 
1719
                   'bzrlib.tests.test_plugins',
 
1720
                   'bzrlib.tests.test_progress',
 
1721
                   'bzrlib.tests.test_reconcile',
 
1722
                   'bzrlib.tests.test_registry',
 
1723
                   'bzrlib.tests.test_repository',
 
1724
                   'bzrlib.tests.test_revert',
 
1725
                   'bzrlib.tests.test_revision',
 
1726
                   'bzrlib.tests.test_revisionnamespaces',
 
1727
                   'bzrlib.tests.test_revisiontree',
 
1728
                   'bzrlib.tests.test_rio',
 
1729
                   'bzrlib.tests.test_sampler',
 
1730
                   'bzrlib.tests.test_selftest',
 
1731
                   'bzrlib.tests.test_setup',
 
1732
                   'bzrlib.tests.test_sftp_transport',
 
1733
                   'bzrlib.tests.test_smart_add',
 
1734
                   'bzrlib.tests.test_smart_transport',
 
1735
                   'bzrlib.tests.test_source',
 
1736
                   'bzrlib.tests.test_status',
 
1737
                   'bzrlib.tests.test_store',
 
1738
                   'bzrlib.tests.test_symbol_versioning',
 
1739
                   'bzrlib.tests.test_testament',
 
1740
                   'bzrlib.tests.test_textfile',
 
1741
                   'bzrlib.tests.test_textmerge',
 
1742
                   'bzrlib.tests.test_trace',
 
1743
                   'bzrlib.tests.test_transactions',
 
1744
                   'bzrlib.tests.test_transform',
 
1745
                   'bzrlib.tests.test_transport',
 
1746
                   'bzrlib.tests.test_tree',
 
1747
                   'bzrlib.tests.test_treebuilder',
 
1748
                   'bzrlib.tests.test_tsort',
 
1749
                   'bzrlib.tests.test_tuned_gzip',
 
1750
                   'bzrlib.tests.test_ui',
 
1751
                   'bzrlib.tests.test_upgrade',
 
1752
                   'bzrlib.tests.test_urlutils',
 
1753
                   'bzrlib.tests.test_versionedfile',
 
1754
                   'bzrlib.tests.test_version',
 
1755
                   'bzrlib.tests.test_version_info',
 
1756
                   'bzrlib.tests.test_weave',
 
1757
                   'bzrlib.tests.test_whitebox',
 
1758
                   'bzrlib.tests.test_workingtree',
 
1759
                   'bzrlib.tests.test_xml',
565
1760
                   ]
566
 
 
567
 
    for m in (bzrlib.store, bzrlib.inventory, bzrlib.branch,
568
 
              bzrlib.osutils, bzrlib.commands, bzrlib.merge3,
569
 
              bzrlib.errors,
570
 
              ):
571
 
        if m not in MODULES_TO_DOCTEST:
572
 
            MODULES_TO_DOCTEST.append(m)
573
 
 
574
 
    TestCase.BZRPATH = os.path.join(os.path.realpath(os.path.dirname(bzrlib.__path__[0])), 'bzr')
575
 
    print '%-30s %s' % ('bzr binary', TestCase.BZRPATH)
576
 
    print
577
 
    suite = TestSuite()
578
 
    suite.addTest(TestLoader().loadTestsFromNames(testmod_names))
 
1761
    test_transport_implementations = [
 
1762
        'bzrlib.tests.test_transport_implementations',
 
1763
        'bzrlib.tests.test_read_bundle',
 
1764
        ]
 
1765
    suite = TestUtil.TestSuite()
 
1766
    loader = TestUtil.TestLoader()
 
1767
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
1768
    from bzrlib.transport import TransportTestProviderAdapter
 
1769
    adapter = TransportTestProviderAdapter()
 
1770
    adapt_modules(test_transport_implementations, adapter, loader, suite)
 
1771
    for package in packages_to_test():
 
1772
        suite.addTest(package.test_suite())
579
1773
    for m in MODULES_TO_TEST:
580
 
         suite.addTest(TestLoader().loadTestsFromModule(m))
581
 
    for m in (MODULES_TO_DOCTEST):
582
 
        suite.addTest(DocTestSuite(m))
583
 
    for p in bzrlib.plugin.all_plugins:
584
 
        if hasattr(p, 'test_suite'):
585
 
            suite.addTest(p.test_suite())
 
1774
        suite.addTest(loader.loadTestsFromModule(m))
 
1775
    for m in MODULES_TO_DOCTEST:
 
1776
        try:
 
1777
            suite.addTest(doctest.DocTestSuite(m))
 
1778
        except ValueError, e:
 
1779
            print '**failed to get doctest for: %s\n%s' %(m,e)
 
1780
            raise
 
1781
    for name, plugin in bzrlib.plugin.all_plugins().items():
 
1782
        if getattr(plugin, 'test_suite', None) is not None:
 
1783
            suite.addTest(plugin.test_suite())
586
1784
    return suite
587
1785
 
 
1786
 
 
1787
def adapt_modules(mods_list, adapter, loader, suite):
 
1788
    """Adapt the modules in mods_list using adapter and add to suite."""
 
1789
    for test in iter_suite_tests(loader.loadTestsFromModuleNames(mods_list)):
 
1790
        suite.addTests(adapter.adapt(test))