~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/__init__.py

  • Committer: Ian Clatworthy
  • Date: 2007-08-10 05:17:09 UTC
  • mto: (2733.1.1 ianc-integration)
  • mto: This revision was merged to the branch mainline in revision 2734.
  • Revision ID: ian.clatworthy@internode.on.net-20070810051709-0rnxlur94samh192
move most existing topics into the User Guide dir for English

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
 
 
18
# TODO: Perhaps there should be an API to find out if bzr running under the
 
19
# test suite -- some plugins might want to avoid making intrusive changes if
 
20
# this is the case.  However, we want behaviour under to test to diverge as
 
21
# little as possible, so this should be used rarely if it's added at all.
 
22
# (Suggestion from j-a-meinel, 2005-11-24)
 
23
 
 
24
# NOTE: Some classes in here use camelCaseNaming() rather than
 
25
# underscore_naming().  That's for consistency with unittest; it's not the
 
26
# general style of bzrlib.  Please continue that consistency when adding e.g.
 
27
# new assertFoo() methods.
 
28
 
 
29
import atexit
 
30
import codecs
 
31
from cStringIO import StringIO
 
32
import difflib
 
33
import doctest
 
34
import errno
 
35
import logging
 
36
import os
 
37
from pprint import pformat
 
38
import random
 
39
import re
 
40
import shlex
 
41
import stat
 
42
from subprocess import Popen, PIPE
 
43
import sys
 
44
import tempfile
 
45
import unittest
 
46
import time
 
47
import warnings
 
48
 
 
49
 
 
50
from bzrlib import (
 
51
    bzrdir,
 
52
    debug,
 
53
    errors,
 
54
    memorytree,
 
55
    osutils,
 
56
    progress,
 
57
    ui,
 
58
    urlutils,
 
59
    workingtree,
 
60
    )
 
61
import bzrlib.branch
 
62
import bzrlib.commands
 
63
import bzrlib.timestamp
 
64
import bzrlib.export
 
65
import bzrlib.inventory
 
66
import bzrlib.iterablefile
 
67
import bzrlib.lockdir
 
68
try:
 
69
    import bzrlib.lsprof
 
70
except ImportError:
 
71
    # lsprof not available
 
72
    pass
 
73
from bzrlib.merge import merge_inner
 
74
import bzrlib.merge3
 
75
import bzrlib.osutils
 
76
import bzrlib.plugin
 
77
from bzrlib.revision import common_ancestor
 
78
import bzrlib.store
 
79
from bzrlib import symbol_versioning
 
80
from bzrlib.symbol_versioning import (
 
81
    deprecated_method,
 
82
    zero_eighteen,
 
83
    )
 
84
import bzrlib.trace
 
85
from bzrlib.transport import get_transport
 
86
import bzrlib.transport
 
87
from bzrlib.transport.local import LocalURLServer
 
88
from bzrlib.transport.memory import MemoryServer
 
89
from bzrlib.transport.readonly import ReadonlyServer
 
90
from bzrlib.trace import mutter, note
 
91
from bzrlib.tests import TestUtil
 
92
from bzrlib.tests.HttpServer import HttpServer
 
93
from bzrlib.tests.TestUtil import (
 
94
                          TestSuite,
 
95
                          TestLoader,
 
96
                          )
 
97
from bzrlib.tests.treeshape import build_tree_contents
 
98
from bzrlib.workingtree import WorkingTree, WorkingTreeFormat2
 
99
 
 
100
# Mark this python module as being part of the implementation
 
101
# of unittest: this gives us better tracebacks where the last
 
102
# shown frame is the test code, not our assertXYZ.
 
103
__unittest = 1
 
104
 
 
105
default_transport = LocalURLServer
 
106
 
 
107
MODULES_TO_TEST = []
 
108
MODULES_TO_DOCTEST = [
 
109
                      bzrlib.timestamp,
 
110
                      bzrlib.errors,
 
111
                      bzrlib.export,
 
112
                      bzrlib.inventory,
 
113
                      bzrlib.iterablefile,
 
114
                      bzrlib.lockdir,
 
115
                      bzrlib.merge3,
 
116
                      bzrlib.option,
 
117
                      bzrlib.store,
 
118
                      ]
 
119
 
 
120
 
 
121
def packages_to_test():
 
122
    """Return a list of packages to test.
 
123
 
 
124
    The packages are not globally imported so that import failures are
 
125
    triggered when running selftest, not when importing the command.
 
126
    """
 
127
    import bzrlib.doc
 
128
    import bzrlib.tests.blackbox
 
129
    import bzrlib.tests.branch_implementations
 
130
    import bzrlib.tests.bzrdir_implementations
 
131
    import bzrlib.tests.commands
 
132
    import bzrlib.tests.interrepository_implementations
 
133
    import bzrlib.tests.interversionedfile_implementations
 
134
    import bzrlib.tests.intertree_implementations
 
135
    import bzrlib.tests.per_lock
 
136
    import bzrlib.tests.repository_implementations
 
137
    import bzrlib.tests.revisionstore_implementations
 
138
    import bzrlib.tests.tree_implementations
 
139
    import bzrlib.tests.workingtree_implementations
 
140
    return [
 
141
            bzrlib.doc,
 
142
            bzrlib.tests.blackbox,
 
143
            bzrlib.tests.branch_implementations,
 
144
            bzrlib.tests.bzrdir_implementations,
 
145
            bzrlib.tests.commands,
 
146
            bzrlib.tests.interrepository_implementations,
 
147
            bzrlib.tests.interversionedfile_implementations,
 
148
            bzrlib.tests.intertree_implementations,
 
149
            bzrlib.tests.per_lock,
 
150
            bzrlib.tests.repository_implementations,
 
151
            bzrlib.tests.revisionstore_implementations,
 
152
            bzrlib.tests.tree_implementations,
 
153
            bzrlib.tests.workingtree_implementations,
 
154
            ]
 
155
 
 
156
 
 
157
class ExtendedTestResult(unittest._TextTestResult):
 
158
    """Accepts, reports and accumulates the results of running tests.
 
159
 
 
160
    Compared to this unittest version this class adds support for profiling,
 
161
    benchmarking, stopping as soon as a test fails,  and skipping tests.
 
162
    There are further-specialized subclasses for different types of display.
 
163
    """
 
164
 
 
165
    stop_early = False
 
166
    
 
167
    def __init__(self, stream, descriptions, verbosity,
 
168
                 bench_history=None,
 
169
                 num_tests=None,
 
170
                 ):
 
171
        """Construct new TestResult.
 
172
 
 
173
        :param bench_history: Optionally, a writable file object to accumulate
 
174
            benchmark results.
 
175
        """
 
176
        unittest._TextTestResult.__init__(self, stream, descriptions, verbosity)
 
177
        if bench_history is not None:
 
178
            from bzrlib.version import _get_bzr_source_tree
 
179
            src_tree = _get_bzr_source_tree()
 
180
            if src_tree:
 
181
                try:
 
182
                    revision_id = src_tree.get_parent_ids()[0]
 
183
                except IndexError:
 
184
                    # XXX: if this is a brand new tree, do the same as if there
 
185
                    # is no branch.
 
186
                    revision_id = ''
 
187
            else:
 
188
                # XXX: If there's no branch, what should we do?
 
189
                revision_id = ''
 
190
            bench_history.write("--date %s %s\n" % (time.time(), revision_id))
 
191
        self._bench_history = bench_history
 
192
        self.ui = ui.ui_factory
 
193
        self.num_tests = num_tests
 
194
        self.error_count = 0
 
195
        self.failure_count = 0
 
196
        self.known_failure_count = 0
 
197
        self.skip_count = 0
 
198
        self.unsupported = {}
 
199
        self.count = 0
 
200
        self._overall_start_time = time.time()
 
201
    
 
202
    def extractBenchmarkTime(self, testCase):
 
203
        """Add a benchmark time for the current test case."""
 
204
        self._benchmarkTime = getattr(testCase, "_benchtime", None)
 
205
    
 
206
    def _elapsedTestTimeString(self):
 
207
        """Return a time string for the overall time the current test has taken."""
 
208
        return self._formatTime(time.time() - self._start_time)
 
209
 
 
210
    def _testTimeString(self):
 
211
        if self._benchmarkTime is not None:
 
212
            return "%s/%s" % (
 
213
                self._formatTime(self._benchmarkTime),
 
214
                self._elapsedTestTimeString())
 
215
        else:
 
216
            return "           %s" % self._elapsedTestTimeString()
 
217
 
 
218
    def _formatTime(self, seconds):
 
219
        """Format seconds as milliseconds with leading spaces."""
 
220
        # some benchmarks can take thousands of seconds to run, so we need 8
 
221
        # places
 
222
        return "%8dms" % (1000 * seconds)
 
223
 
 
224
    def _shortened_test_description(self, test):
 
225
        what = test.id()
 
226
        what = re.sub(r'^bzrlib\.(tests|benchmarks)\.', '', what)
 
227
        return what
 
228
 
 
229
    def startTest(self, test):
 
230
        unittest.TestResult.startTest(self, test)
 
231
        self.report_test_start(test)
 
232
        test.number = self.count
 
233
        self._recordTestStartTime()
 
234
 
 
235
    def _recordTestStartTime(self):
 
236
        """Record that a test has started."""
 
237
        self._start_time = time.time()
 
238
 
 
239
    def _cleanupLogFile(self, test):
 
240
        # We can only do this if we have one of our TestCases, not if
 
241
        # we have a doctest.
 
242
        setKeepLogfile = getattr(test, 'setKeepLogfile', None)
 
243
        if setKeepLogfile is not None:
 
244
            setKeepLogfile()
 
245
 
 
246
    def addError(self, test, err):
 
247
        self.extractBenchmarkTime(test)
 
248
        self._cleanupLogFile(test)
 
249
        if isinstance(err[1], TestSkipped):
 
250
            return self.addSkipped(test, err)
 
251
        elif isinstance(err[1], UnavailableFeature):
 
252
            return self.addNotSupported(test, err[1].args[0])
 
253
        unittest.TestResult.addError(self, test, err)
 
254
        self.error_count += 1
 
255
        self.report_error(test, err)
 
256
        if self.stop_early:
 
257
            self.stop()
 
258
 
 
259
    def addFailure(self, test, err):
 
260
        self._cleanupLogFile(test)
 
261
        self.extractBenchmarkTime(test)
 
262
        if isinstance(err[1], KnownFailure):
 
263
            return self.addKnownFailure(test, err)
 
264
        unittest.TestResult.addFailure(self, test, err)
 
265
        self.failure_count += 1
 
266
        self.report_failure(test, err)
 
267
        if self.stop_early:
 
268
            self.stop()
 
269
 
 
270
    def addKnownFailure(self, test, err):
 
271
        self.known_failure_count += 1
 
272
        self.report_known_failure(test, err)
 
273
 
 
274
    def addNotSupported(self, test, feature):
 
275
        self.unsupported.setdefault(str(feature), 0)
 
276
        self.unsupported[str(feature)] += 1
 
277
        self.report_unsupported(test, feature)
 
278
 
 
279
    def addSuccess(self, test):
 
280
        self.extractBenchmarkTime(test)
 
281
        if self._bench_history is not None:
 
282
            if self._benchmarkTime is not None:
 
283
                self._bench_history.write("%s %s\n" % (
 
284
                    self._formatTime(self._benchmarkTime),
 
285
                    test.id()))
 
286
        self.report_success(test)
 
287
        unittest.TestResult.addSuccess(self, test)
 
288
 
 
289
    def addSkipped(self, test, skip_excinfo):
 
290
        self.report_skip(test, skip_excinfo)
 
291
        # seems best to treat this as success from point-of-view of unittest
 
292
        # -- it actually does nothing so it barely matters :)
 
293
        try:
 
294
            test.tearDown()
 
295
        except KeyboardInterrupt:
 
296
            raise
 
297
        except:
 
298
            self.addError(test, test.__exc_info())
 
299
        else:
 
300
            unittest.TestResult.addSuccess(self, test)
 
301
 
 
302
    def printErrorList(self, flavour, errors):
 
303
        for test, err in errors:
 
304
            self.stream.writeln(self.separator1)
 
305
            self.stream.write("%s: " % flavour)
 
306
            self.stream.writeln(self.getDescription(test))
 
307
            if getattr(test, '_get_log', None) is not None:
 
308
                print >>self.stream
 
309
                print >>self.stream, \
 
310
                        ('vvvv[log from %s]' % test.id()).ljust(78,'-')
 
311
                print >>self.stream, test._get_log()
 
312
                print >>self.stream, \
 
313
                        ('^^^^[log from %s]' % test.id()).ljust(78,'-')
 
314
            self.stream.writeln(self.separator2)
 
315
            self.stream.writeln("%s" % err)
 
316
 
 
317
    def finished(self):
 
318
        pass
 
319
 
 
320
    def report_cleaning_up(self):
 
321
        pass
 
322
 
 
323
    def report_success(self, test):
 
324
        pass
 
325
 
 
326
    def wasStrictlySuccessful(self):
 
327
        if self.unsupported or self.known_failure_count:
 
328
            return False
 
329
 
 
330
        return self.wasSuccessful()
 
331
 
 
332
 
 
333
 
 
334
class TextTestResult(ExtendedTestResult):
 
335
    """Displays progress and results of tests in text form"""
 
336
 
 
337
    def __init__(self, stream, descriptions, verbosity,
 
338
                 bench_history=None,
 
339
                 num_tests=None,
 
340
                 pb=None,
 
341
                 ):
 
342
        ExtendedTestResult.__init__(self, stream, descriptions, verbosity,
 
343
            bench_history, num_tests)
 
344
        if pb is None:
 
345
            self.pb = self.ui.nested_progress_bar()
 
346
            self._supplied_pb = False
 
347
        else:
 
348
            self.pb = pb
 
349
            self._supplied_pb = True
 
350
        self.pb.show_pct = False
 
351
        self.pb.show_spinner = False
 
352
        self.pb.show_eta = False,
 
353
        self.pb.show_count = False
 
354
        self.pb.show_bar = False
 
355
 
 
356
    def report_starting(self):
 
357
        self.pb.update('[test 0/%d] starting...' % (self.num_tests))
 
358
 
 
359
    def _progress_prefix_text(self):
 
360
        a = '[%d' % self.count
 
361
        if self.num_tests is not None:
 
362
            a +='/%d' % self.num_tests
 
363
        a += ' in %ds' % (time.time() - self._overall_start_time)
 
364
        if self.error_count:
 
365
            a += ', %d errors' % self.error_count
 
366
        if self.failure_count:
 
367
            a += ', %d failed' % self.failure_count
 
368
        if self.known_failure_count:
 
369
            a += ', %d known failures' % self.known_failure_count
 
370
        if self.skip_count:
 
371
            a += ', %d skipped' % self.skip_count
 
372
        if self.unsupported:
 
373
            a += ', %d missing features' % len(self.unsupported)
 
374
        a += ']'
 
375
        return a
 
376
 
 
377
    def report_test_start(self, test):
 
378
        self.count += 1
 
379
        self.pb.update(
 
380
                self._progress_prefix_text()
 
381
                + ' ' 
 
382
                + self._shortened_test_description(test))
 
383
 
 
384
    def _test_description(self, test):
 
385
        return self._shortened_test_description(test)
 
386
 
 
387
    def report_error(self, test, err):
 
388
        self.pb.note('ERROR: %s\n    %s\n', 
 
389
            self._test_description(test),
 
390
            err[1],
 
391
            )
 
392
 
 
393
    def report_failure(self, test, err):
 
394
        self.pb.note('FAIL: %s\n    %s\n', 
 
395
            self._test_description(test),
 
396
            err[1],
 
397
            )
 
398
 
 
399
    def report_known_failure(self, test, err):
 
400
        self.pb.note('XFAIL: %s\n%s\n',
 
401
            self._test_description(test), err[1])
 
402
 
 
403
    def report_skip(self, test, skip_excinfo):
 
404
        self.skip_count += 1
 
405
        if False:
 
406
            # at the moment these are mostly not things we can fix
 
407
            # and so they just produce stipple; use the verbose reporter
 
408
            # to see them.
 
409
            if False:
 
410
                # show test and reason for skip
 
411
                self.pb.note('SKIP: %s\n    %s\n', 
 
412
                    self._shortened_test_description(test),
 
413
                    skip_excinfo[1])
 
414
            else:
 
415
                # since the class name was left behind in the still-visible
 
416
                # progress bar...
 
417
                self.pb.note('SKIP: %s', skip_excinfo[1])
 
418
 
 
419
    def report_unsupported(self, test, feature):
 
420
        """test cannot be run because feature is missing."""
 
421
                  
 
422
    def report_cleaning_up(self):
 
423
        self.pb.update('cleaning up...')
 
424
 
 
425
    def finished(self):
 
426
        if not self._supplied_pb:
 
427
            self.pb.finished()
 
428
 
 
429
 
 
430
class VerboseTestResult(ExtendedTestResult):
 
431
    """Produce long output, with one line per test run plus times"""
 
432
 
 
433
    def _ellipsize_to_right(self, a_string, final_width):
 
434
        """Truncate and pad a string, keeping the right hand side"""
 
435
        if len(a_string) > final_width:
 
436
            result = '...' + a_string[3-final_width:]
 
437
        else:
 
438
            result = a_string
 
439
        return result.ljust(final_width)
 
440
 
 
441
    def report_starting(self):
 
442
        self.stream.write('running %d tests...\n' % self.num_tests)
 
443
 
 
444
    def report_test_start(self, test):
 
445
        self.count += 1
 
446
        name = self._shortened_test_description(test)
 
447
        # width needs space for 6 char status, plus 1 for slash, plus 2 10-char
 
448
        # numbers, plus a trailing blank
 
449
        # when NUMBERED_DIRS: plus 5 chars on test number, plus 1 char on space
 
450
        self.stream.write(self._ellipsize_to_right(name,
 
451
                          osutils.terminal_width()-30))
 
452
        self.stream.flush()
 
453
 
 
454
    def _error_summary(self, err):
 
455
        indent = ' ' * 4
 
456
        return '%s%s' % (indent, err[1])
 
457
 
 
458
    def report_error(self, test, err):
 
459
        self.stream.writeln('ERROR %s\n%s'
 
460
                % (self._testTimeString(),
 
461
                   self._error_summary(err)))
 
462
 
 
463
    def report_failure(self, test, err):
 
464
        self.stream.writeln(' FAIL %s\n%s'
 
465
                % (self._testTimeString(),
 
466
                   self._error_summary(err)))
 
467
 
 
468
    def report_known_failure(self, test, err):
 
469
        self.stream.writeln('XFAIL %s\n%s'
 
470
                % (self._testTimeString(),
 
471
                   self._error_summary(err)))
 
472
 
 
473
    def report_success(self, test):
 
474
        self.stream.writeln('   OK %s' % self._testTimeString())
 
475
        for bench_called, stats in getattr(test, '_benchcalls', []):
 
476
            self.stream.writeln('LSProf output for %s(%s, %s)' % bench_called)
 
477
            stats.pprint(file=self.stream)
 
478
        # flush the stream so that we get smooth output. This verbose mode is
 
479
        # used to show the output in PQM.
 
480
        self.stream.flush()
 
481
 
 
482
    def report_skip(self, test, skip_excinfo):
 
483
        self.skip_count += 1
 
484
        self.stream.writeln(' SKIP %s\n%s'
 
485
                % (self._testTimeString(),
 
486
                   self._error_summary(skip_excinfo)))
 
487
 
 
488
    def report_unsupported(self, test, feature):
 
489
        """test cannot be run because feature is missing."""
 
490
        self.stream.writeln("NODEP %s\n    The feature '%s' is not available."
 
491
                %(self._testTimeString(), feature))
 
492
                  
 
493
 
 
494
 
 
495
class TextTestRunner(object):
 
496
    stop_on_failure = False
 
497
 
 
498
    def __init__(self,
 
499
                 stream=sys.stderr,
 
500
                 descriptions=0,
 
501
                 verbosity=1,
 
502
                 bench_history=None,
 
503
                 list_only=False
 
504
                 ):
 
505
        self.stream = unittest._WritelnDecorator(stream)
 
506
        self.descriptions = descriptions
 
507
        self.verbosity = verbosity
 
508
        self._bench_history = bench_history
 
509
        self.list_only = list_only
 
510
 
 
511
    def run(self, test):
 
512
        "Run the given test case or test suite."
 
513
        startTime = time.time()
 
514
        if self.verbosity == 1:
 
515
            result_class = TextTestResult
 
516
        elif self.verbosity >= 2:
 
517
            result_class = VerboseTestResult
 
518
        result = result_class(self.stream,
 
519
                              self.descriptions,
 
520
                              self.verbosity,
 
521
                              bench_history=self._bench_history,
 
522
                              num_tests=test.countTestCases(),
 
523
                              )
 
524
        result.stop_early = self.stop_on_failure
 
525
        result.report_starting()
 
526
        if self.list_only:
 
527
            if self.verbosity >= 2:
 
528
                self.stream.writeln("Listing tests only ...\n")
 
529
            run = 0
 
530
            for t in iter_suite_tests(test):
 
531
                self.stream.writeln("%s" % (t.id()))
 
532
                run += 1
 
533
            actionTaken = "Listed"
 
534
        else: 
 
535
            test.run(result)
 
536
            run = result.testsRun
 
537
            actionTaken = "Ran"
 
538
        stopTime = time.time()
 
539
        timeTaken = stopTime - startTime
 
540
        result.printErrors()
 
541
        self.stream.writeln(result.separator2)
 
542
        self.stream.writeln("%s %d test%s in %.3fs" % (actionTaken,
 
543
                            run, run != 1 and "s" or "", timeTaken))
 
544
        self.stream.writeln()
 
545
        if not result.wasSuccessful():
 
546
            self.stream.write("FAILED (")
 
547
            failed, errored = map(len, (result.failures, result.errors))
 
548
            if failed:
 
549
                self.stream.write("failures=%d" % failed)
 
550
            if errored:
 
551
                if failed: self.stream.write(", ")
 
552
                self.stream.write("errors=%d" % errored)
 
553
            if result.known_failure_count:
 
554
                if failed or errored: self.stream.write(", ")
 
555
                self.stream.write("known_failure_count=%d" %
 
556
                    result.known_failure_count)
 
557
            self.stream.writeln(")")
 
558
        else:
 
559
            if result.known_failure_count:
 
560
                self.stream.writeln("OK (known_failures=%d)" %
 
561
                    result.known_failure_count)
 
562
            else:
 
563
                self.stream.writeln("OK")
 
564
        if result.skip_count > 0:
 
565
            skipped = result.skip_count
 
566
            self.stream.writeln('%d test%s skipped' %
 
567
                                (skipped, skipped != 1 and "s" or ""))
 
568
        if result.unsupported:
 
569
            for feature, count in sorted(result.unsupported.items()):
 
570
                self.stream.writeln("Missing feature '%s' skipped %d tests." %
 
571
                    (feature, count))
 
572
        result.finished()
 
573
        return result
 
574
 
 
575
 
 
576
def iter_suite_tests(suite):
 
577
    """Return all tests in a suite, recursing through nested suites"""
 
578
    for item in suite._tests:
 
579
        if isinstance(item, unittest.TestCase):
 
580
            yield item
 
581
        elif isinstance(item, unittest.TestSuite):
 
582
            for r in iter_suite_tests(item):
 
583
                yield r
 
584
        else:
 
585
            raise Exception('unknown object %r inside test suite %r'
 
586
                            % (item, suite))
 
587
 
 
588
 
 
589
class TestSkipped(Exception):
 
590
    """Indicates that a test was intentionally skipped, rather than failing."""
 
591
 
 
592
 
 
593
class KnownFailure(AssertionError):
 
594
    """Indicates that a test failed in a precisely expected manner.
 
595
 
 
596
    Such failures dont block the whole test suite from passing because they are
 
597
    indicators of partially completed code or of future work. We have an
 
598
    explicit error for them so that we can ensure that they are always visible:
 
599
    KnownFailures are always shown in the output of bzr selftest.
 
600
    """
 
601
 
 
602
 
 
603
class UnavailableFeature(Exception):
 
604
    """A feature required for this test was not available.
 
605
 
 
606
    The feature should be used to construct the exception.
 
607
    """
 
608
 
 
609
 
 
610
class CommandFailed(Exception):
 
611
    pass
 
612
 
 
613
 
 
614
class StringIOWrapper(object):
 
615
    """A wrapper around cStringIO which just adds an encoding attribute.
 
616
    
 
617
    Internally we can check sys.stdout to see what the output encoding
 
618
    should be. However, cStringIO has no encoding attribute that we can
 
619
    set. So we wrap it instead.
 
620
    """
 
621
    encoding='ascii'
 
622
    _cstring = None
 
623
 
 
624
    def __init__(self, s=None):
 
625
        if s is not None:
 
626
            self.__dict__['_cstring'] = StringIO(s)
 
627
        else:
 
628
            self.__dict__['_cstring'] = StringIO()
 
629
 
 
630
    def __getattr__(self, name, getattr=getattr):
 
631
        return getattr(self.__dict__['_cstring'], name)
 
632
 
 
633
    def __setattr__(self, name, val):
 
634
        if name == 'encoding':
 
635
            self.__dict__['encoding'] = val
 
636
        else:
 
637
            return setattr(self._cstring, name, val)
 
638
 
 
639
 
 
640
class TestUIFactory(ui.CLIUIFactory):
 
641
    """A UI Factory for testing.
 
642
 
 
643
    Hide the progress bar but emit note()s.
 
644
    Redirect stdin.
 
645
    Allows get_password to be tested without real tty attached.
 
646
    """
 
647
 
 
648
    def __init__(self,
 
649
                 stdout=None,
 
650
                 stderr=None,
 
651
                 stdin=None):
 
652
        super(TestUIFactory, self).__init__()
 
653
        if stdin is not None:
 
654
            # We use a StringIOWrapper to be able to test various
 
655
            # encodings, but the user is still responsible to
 
656
            # encode the string and to set the encoding attribute
 
657
            # of StringIOWrapper.
 
658
            self.stdin = StringIOWrapper(stdin)
 
659
        if stdout is None:
 
660
            self.stdout = sys.stdout
 
661
        else:
 
662
            self.stdout = stdout
 
663
        if stderr is None:
 
664
            self.stderr = sys.stderr
 
665
        else:
 
666
            self.stderr = stderr
 
667
 
 
668
    def clear(self):
 
669
        """See progress.ProgressBar.clear()."""
 
670
 
 
671
    def clear_term(self):
 
672
        """See progress.ProgressBar.clear_term()."""
 
673
 
 
674
    def clear_term(self):
 
675
        """See progress.ProgressBar.clear_term()."""
 
676
 
 
677
    def finished(self):
 
678
        """See progress.ProgressBar.finished()."""
 
679
 
 
680
    def note(self, fmt_string, *args, **kwargs):
 
681
        """See progress.ProgressBar.note()."""
 
682
        self.stdout.write((fmt_string + "\n") % args)
 
683
 
 
684
    def progress_bar(self):
 
685
        return self
 
686
 
 
687
    def nested_progress_bar(self):
 
688
        return self
 
689
 
 
690
    def update(self, message, count=None, total=None):
 
691
        """See progress.ProgressBar.update()."""
 
692
 
 
693
    def get_non_echoed_password(self, prompt):
 
694
        """Get password from stdin without trying to handle the echo mode"""
 
695
        if prompt:
 
696
            self.stdout.write(prompt.encode(self.stdout.encoding, 'replace'))
 
697
        password = self.stdin.readline()
 
698
        if not password:
 
699
            raise EOFError
 
700
        if password[-1] == '\n':
 
701
            password = password[:-1]
 
702
        return password
 
703
 
 
704
 
 
705
class TestCase(unittest.TestCase):
 
706
    """Base class for bzr unit tests.
 
707
    
 
708
    Tests that need access to disk resources should subclass 
 
709
    TestCaseInTempDir not TestCase.
 
710
 
 
711
    Error and debug log messages are redirected from their usual
 
712
    location into a temporary file, the contents of which can be
 
713
    retrieved by _get_log().  We use a real OS file, not an in-memory object,
 
714
    so that it can also capture file IO.  When the test completes this file
 
715
    is read into memory and removed from disk.
 
716
       
 
717
    There are also convenience functions to invoke bzr's command-line
 
718
    routine, and to build and check bzr trees.
 
719
   
 
720
    In addition to the usual method of overriding tearDown(), this class also
 
721
    allows subclasses to register functions into the _cleanups list, which is
 
722
    run in order as the object is torn down.  It's less likely this will be
 
723
    accidentally overlooked.
 
724
    """
 
725
 
 
726
    _log_file_name = None
 
727
    _log_contents = ''
 
728
    _keep_log_file = False
 
729
    # record lsprof data when performing benchmark calls.
 
730
    _gather_lsprof_in_benchmarks = False
 
731
 
 
732
    def __init__(self, methodName='testMethod'):
 
733
        super(TestCase, self).__init__(methodName)
 
734
        self._cleanups = []
 
735
 
 
736
    def setUp(self):
 
737
        unittest.TestCase.setUp(self)
 
738
        self._cleanEnvironment()
 
739
        bzrlib.trace.disable_default_logging()
 
740
        self._silenceUI()
 
741
        self._startLogFile()
 
742
        self._benchcalls = []
 
743
        self._benchtime = None
 
744
        self._clear_hooks()
 
745
        self._clear_debug_flags()
 
746
 
 
747
    def _clear_debug_flags(self):
 
748
        """Prevent externally set debug flags affecting tests.
 
749
        
 
750
        Tests that want to use debug flags can just set them in the
 
751
        debug_flags set during setup/teardown.
 
752
        """
 
753
        self._preserved_debug_flags = set(debug.debug_flags)
 
754
        debug.debug_flags.clear()
 
755
        self.addCleanup(self._restore_debug_flags)
 
756
 
 
757
    def _clear_hooks(self):
 
758
        # prevent hooks affecting tests
 
759
        import bzrlib.branch
 
760
        import bzrlib.smart.server
 
761
        self._preserved_hooks = {
 
762
            bzrlib.branch.Branch: bzrlib.branch.Branch.hooks,
 
763
            bzrlib.smart.server.SmartTCPServer: bzrlib.smart.server.SmartTCPServer.hooks,
 
764
            }
 
765
        self.addCleanup(self._restoreHooks)
 
766
        # reset all hooks to an empty instance of the appropriate type
 
767
        bzrlib.branch.Branch.hooks = bzrlib.branch.BranchHooks()
 
768
        bzrlib.smart.server.SmartTCPServer.hooks = bzrlib.smart.server.SmartServerHooks()
 
769
 
 
770
    def _silenceUI(self):
 
771
        """Turn off UI for duration of test"""
 
772
        # by default the UI is off; tests can turn it on if they want it.
 
773
        saved = ui.ui_factory
 
774
        def _restore():
 
775
            ui.ui_factory = saved
 
776
        ui.ui_factory = ui.SilentUIFactory()
 
777
        self.addCleanup(_restore)
 
778
 
 
779
    def _ndiff_strings(self, a, b):
 
780
        """Return ndiff between two strings containing lines.
 
781
        
 
782
        A trailing newline is added if missing to make the strings
 
783
        print properly."""
 
784
        if b and b[-1] != '\n':
 
785
            b += '\n'
 
786
        if a and a[-1] != '\n':
 
787
            a += '\n'
 
788
        difflines = difflib.ndiff(a.splitlines(True),
 
789
                                  b.splitlines(True),
 
790
                                  linejunk=lambda x: False,
 
791
                                  charjunk=lambda x: False)
 
792
        return ''.join(difflines)
 
793
 
 
794
    def assertEqual(self, a, b, message=''):
 
795
        try:
 
796
            if a == b:
 
797
                return
 
798
        except UnicodeError, e:
 
799
            # If we can't compare without getting a UnicodeError, then
 
800
            # obviously they are different
 
801
            mutter('UnicodeError: %s', e)
 
802
        if message:
 
803
            message += '\n'
 
804
        raise AssertionError("%snot equal:\na = %s\nb = %s\n"
 
805
            % (message,
 
806
               pformat(a), pformat(b)))
 
807
 
 
808
    assertEquals = assertEqual
 
809
 
 
810
    def assertEqualDiff(self, a, b, message=None):
 
811
        """Assert two texts are equal, if not raise an exception.
 
812
        
 
813
        This is intended for use with multi-line strings where it can 
 
814
        be hard to find the differences by eye.
 
815
        """
 
816
        # TODO: perhaps override assertEquals to call this for strings?
 
817
        if a == b:
 
818
            return
 
819
        if message is None:
 
820
            message = "texts not equal:\n"
 
821
        raise AssertionError(message +
 
822
                             self._ndiff_strings(a, b))
 
823
        
 
824
    def assertEqualMode(self, mode, mode_test):
 
825
        self.assertEqual(mode, mode_test,
 
826
                         'mode mismatch %o != %o' % (mode, mode_test))
 
827
 
 
828
    def assertPositive(self, val):
 
829
        """Assert that val is greater than 0."""
 
830
        self.assertTrue(val > 0, 'expected a positive value, but got %s' % val)
 
831
 
 
832
    def assertNegative(self, val):
 
833
        """Assert that val is less than 0."""
 
834
        self.assertTrue(val < 0, 'expected a negative value, but got %s' % val)
 
835
 
 
836
    def assertStartsWith(self, s, prefix):
 
837
        if not s.startswith(prefix):
 
838
            raise AssertionError('string %r does not start with %r' % (s, prefix))
 
839
 
 
840
    def assertEndsWith(self, s, suffix):
 
841
        """Asserts that s ends with suffix."""
 
842
        if not s.endswith(suffix):
 
843
            raise AssertionError('string %r does not end with %r' % (s, suffix))
 
844
 
 
845
    def assertContainsRe(self, haystack, needle_re):
 
846
        """Assert that a contains something matching a regular expression."""
 
847
        if not re.search(needle_re, haystack):
 
848
            if '\n' in haystack or len(haystack) > 60:
 
849
                # a long string, format it in a more readable way
 
850
                raise AssertionError(
 
851
                        'pattern "%s" not found in\n"""\\\n%s"""\n'
 
852
                        % (needle_re, haystack))
 
853
            else:
 
854
                raise AssertionError('pattern "%s" not found in "%s"'
 
855
                        % (needle_re, haystack))
 
856
 
 
857
    def assertNotContainsRe(self, haystack, needle_re):
 
858
        """Assert that a does not match a regular expression"""
 
859
        if re.search(needle_re, haystack):
 
860
            raise AssertionError('pattern "%s" found in "%s"'
 
861
                    % (needle_re, haystack))
 
862
 
 
863
    def assertSubset(self, sublist, superlist):
 
864
        """Assert that every entry in sublist is present in superlist."""
 
865
        missing = []
 
866
        for entry in sublist:
 
867
            if entry not in superlist:
 
868
                missing.append(entry)
 
869
        if len(missing) > 0:
 
870
            raise AssertionError("value(s) %r not present in container %r" % 
 
871
                                 (missing, superlist))
 
872
 
 
873
    def assertListRaises(self, excClass, func, *args, **kwargs):
 
874
        """Fail unless excClass is raised when the iterator from func is used.
 
875
        
 
876
        Many functions can return generators this makes sure
 
877
        to wrap them in a list() call to make sure the whole generator
 
878
        is run, and that the proper exception is raised.
 
879
        """
 
880
        try:
 
881
            list(func(*args, **kwargs))
 
882
        except excClass:
 
883
            return
 
884
        else:
 
885
            if getattr(excClass,'__name__', None) is not None:
 
886
                excName = excClass.__name__
 
887
            else:
 
888
                excName = str(excClass)
 
889
            raise self.failureException, "%s not raised" % excName
 
890
 
 
891
    def assertRaises(self, excClass, callableObj, *args, **kwargs):
 
892
        """Assert that a callable raises a particular exception.
 
893
 
 
894
        :param excClass: As for the except statement, this may be either an
 
895
            exception class, or a tuple of classes.
 
896
        :param callableObj: A callable, will be passed ``*args`` and
 
897
            ``**kwargs``.
 
898
 
 
899
        Returns the exception so that you can examine it.
 
900
        """
 
901
        try:
 
902
            callableObj(*args, **kwargs)
 
903
        except excClass, e:
 
904
            return e
 
905
        else:
 
906
            if getattr(excClass,'__name__', None) is not None:
 
907
                excName = excClass.__name__
 
908
            else:
 
909
                # probably a tuple
 
910
                excName = str(excClass)
 
911
            raise self.failureException, "%s not raised" % excName
 
912
 
 
913
    def assertIs(self, left, right, message=None):
 
914
        if not (left is right):
 
915
            if message is not None:
 
916
                raise AssertionError(message)
 
917
            else:
 
918
                raise AssertionError("%r is not %r." % (left, right))
 
919
 
 
920
    def assertIsNot(self, left, right, message=None):
 
921
        if (left is right):
 
922
            if message is not None:
 
923
                raise AssertionError(message)
 
924
            else:
 
925
                raise AssertionError("%r is %r." % (left, right))
 
926
 
 
927
    def assertTransportMode(self, transport, path, mode):
 
928
        """Fail if a path does not have mode mode.
 
929
        
 
930
        If modes are not supported on this transport, the assertion is ignored.
 
931
        """
 
932
        if not transport._can_roundtrip_unix_modebits():
 
933
            return
 
934
        path_stat = transport.stat(path)
 
935
        actual_mode = stat.S_IMODE(path_stat.st_mode)
 
936
        self.assertEqual(mode, actual_mode,
 
937
            'mode of %r incorrect (%o != %o)' % (path, mode, actual_mode))
 
938
 
 
939
    def assertIsInstance(self, obj, kls):
 
940
        """Fail if obj is not an instance of kls"""
 
941
        if not isinstance(obj, kls):
 
942
            self.fail("%r is an instance of %s rather than %s" % (
 
943
                obj, obj.__class__, kls))
 
944
 
 
945
    def expectFailure(self, reason, assertion, *args, **kwargs):
 
946
        """Invoke a test, expecting it to fail for the given reason.
 
947
 
 
948
        This is for assertions that ought to succeed, but currently fail.
 
949
        (The failure is *expected* but not *wanted*.)  Please be very precise
 
950
        about the failure you're expecting.  If a new bug is introduced,
 
951
        AssertionError should be raised, not KnownFailure.
 
952
 
 
953
        Frequently, expectFailure should be followed by an opposite assertion.
 
954
        See example below.
 
955
 
 
956
        Intended to be used with a callable that raises AssertionError as the
 
957
        'assertion' parameter.  args and kwargs are passed to the 'assertion'.
 
958
 
 
959
        Raises KnownFailure if the test fails.  Raises AssertionError if the
 
960
        test succeeds.
 
961
 
 
962
        example usage::
 
963
 
 
964
          self.expectFailure('Math is broken', self.assertNotEqual, 54,
 
965
                             dynamic_val)
 
966
          self.assertEqual(42, dynamic_val)
 
967
 
 
968
          This means that a dynamic_val of 54 will cause the test to raise
 
969
          a KnownFailure.  Once math is fixed and the expectFailure is removed,
 
970
          only a dynamic_val of 42 will allow the test to pass.  Anything other
 
971
          than 54 or 42 will cause an AssertionError.
 
972
        """
 
973
        try:
 
974
            assertion(*args, **kwargs)
 
975
        except AssertionError:
 
976
            raise KnownFailure(reason)
 
977
        else:
 
978
            self.fail('Unexpected success.  Should have failed: %s' % reason)
 
979
 
 
980
    def _capture_warnings(self, a_callable, *args, **kwargs):
 
981
        """A helper for callDeprecated and applyDeprecated.
 
982
 
 
983
        :param a_callable: A callable to call.
 
984
        :param args: The positional arguments for the callable
 
985
        :param kwargs: The keyword arguments for the callable
 
986
        :return: A tuple (warnings, result). result is the result of calling
 
987
            a_callable(``*args``, ``**kwargs``).
 
988
        """
 
989
        local_warnings = []
 
990
        def capture_warnings(msg, cls=None, stacklevel=None):
 
991
            # we've hooked into a deprecation specific callpath,
 
992
            # only deprecations should getting sent via it.
 
993
            self.assertEqual(cls, DeprecationWarning)
 
994
            local_warnings.append(msg)
 
995
        original_warning_method = symbol_versioning.warn
 
996
        symbol_versioning.set_warning_method(capture_warnings)
 
997
        try:
 
998
            result = a_callable(*args, **kwargs)
 
999
        finally:
 
1000
            symbol_versioning.set_warning_method(original_warning_method)
 
1001
        return (local_warnings, result)
 
1002
 
 
1003
    def applyDeprecated(self, deprecation_format, a_callable, *args, **kwargs):
 
1004
        """Call a deprecated callable without warning the user.
 
1005
 
 
1006
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1007
        not other callers that go direct to the warning module.
 
1008
 
 
1009
        :param deprecation_format: The deprecation format that the callable
 
1010
            should have been deprecated with. This is the same type as the
 
1011
            parameter to deprecated_method/deprecated_function. If the
 
1012
            callable is not deprecated with this format, an assertion error
 
1013
            will be raised.
 
1014
        :param a_callable: A callable to call. This may be a bound method or
 
1015
            a regular function. It will be called with ``*args`` and
 
1016
            ``**kwargs``.
 
1017
        :param args: The positional arguments for the callable
 
1018
        :param kwargs: The keyword arguments for the callable
 
1019
        :return: The result of a_callable(``*args``, ``**kwargs``)
 
1020
        """
 
1021
        call_warnings, result = self._capture_warnings(a_callable,
 
1022
            *args, **kwargs)
 
1023
        expected_first_warning = symbol_versioning.deprecation_string(
 
1024
            a_callable, deprecation_format)
 
1025
        if len(call_warnings) == 0:
 
1026
            self.fail("No deprecation warning generated by call to %s" %
 
1027
                a_callable)
 
1028
        self.assertEqual(expected_first_warning, call_warnings[0])
 
1029
        return result
 
1030
 
 
1031
    def callDeprecated(self, expected, callable, *args, **kwargs):
 
1032
        """Assert that a callable is deprecated in a particular way.
 
1033
 
 
1034
        This is a very precise test for unusual requirements. The 
 
1035
        applyDeprecated helper function is probably more suited for most tests
 
1036
        as it allows you to simply specify the deprecation format being used
 
1037
        and will ensure that that is issued for the function being called.
 
1038
 
 
1039
        Note that this only captures warnings raised by symbol_versioning.warn,
 
1040
        not other callers that go direct to the warning module.
 
1041
 
 
1042
        :param expected: a list of the deprecation warnings expected, in order
 
1043
        :param callable: The callable to call
 
1044
        :param args: The positional arguments for the callable
 
1045
        :param kwargs: The keyword arguments for the callable
 
1046
        """
 
1047
        call_warnings, result = self._capture_warnings(callable,
 
1048
            *args, **kwargs)
 
1049
        self.assertEqual(expected, call_warnings)
 
1050
        return result
 
1051
 
 
1052
    def _startLogFile(self):
 
1053
        """Send bzr and test log messages to a temporary file.
 
1054
 
 
1055
        The file is removed as the test is torn down.
 
1056
        """
 
1057
        fileno, name = tempfile.mkstemp(suffix='.log', prefix='testbzr')
 
1058
        self._log_file = os.fdopen(fileno, 'w+')
 
1059
        self._log_nonce = bzrlib.trace.enable_test_log(self._log_file)
 
1060
        self._log_file_name = name
 
1061
        self.addCleanup(self._finishLogFile)
 
1062
 
 
1063
    def _finishLogFile(self):
 
1064
        """Finished with the log file.
 
1065
 
 
1066
        Close the file and delete it, unless setKeepLogfile was called.
 
1067
        """
 
1068
        if self._log_file is None:
 
1069
            return
 
1070
        bzrlib.trace.disable_test_log(self._log_nonce)
 
1071
        self._log_file.close()
 
1072
        self._log_file = None
 
1073
        if not self._keep_log_file:
 
1074
            os.remove(self._log_file_name)
 
1075
            self._log_file_name = None
 
1076
 
 
1077
    def setKeepLogfile(self):
 
1078
        """Make the logfile not be deleted when _finishLogFile is called."""
 
1079
        self._keep_log_file = True
 
1080
 
 
1081
    def addCleanup(self, callable):
 
1082
        """Arrange to run a callable when this case is torn down.
 
1083
 
 
1084
        Callables are run in the reverse of the order they are registered, 
 
1085
        ie last-in first-out.
 
1086
        """
 
1087
        if callable in self._cleanups:
 
1088
            raise ValueError("cleanup function %r already registered on %s" 
 
1089
                    % (callable, self))
 
1090
        self._cleanups.append(callable)
 
1091
 
 
1092
    def _cleanEnvironment(self):
 
1093
        new_env = {
 
1094
            'BZR_HOME': None, # Don't inherit BZR_HOME to all the tests.
 
1095
            'HOME': os.getcwd(),
 
1096
            'APPDATA': None,  # bzr now use Win32 API and don't rely on APPDATA
 
1097
            'BZR_EMAIL': None,
 
1098
            'BZREMAIL': None, # may still be present in the environment
 
1099
            'EMAIL': None,
 
1100
            'BZR_PROGRESS_BAR': None,
 
1101
            # SSH Agent
 
1102
            'SSH_AUTH_SOCK': None,
 
1103
            # Proxies
 
1104
            'http_proxy': None,
 
1105
            'HTTP_PROXY': None,
 
1106
            'https_proxy': None,
 
1107
            'HTTPS_PROXY': None,
 
1108
            'no_proxy': None,
 
1109
            'NO_PROXY': None,
 
1110
            'all_proxy': None,
 
1111
            'ALL_PROXY': None,
 
1112
            # Nobody cares about these ones AFAIK. So far at
 
1113
            # least. If you do (care), please update this comment
 
1114
            # -- vila 20061212
 
1115
            'ftp_proxy': None,
 
1116
            'FTP_PROXY': None,
 
1117
            'BZR_REMOTE_PATH': None,
 
1118
        }
 
1119
        self.__old_env = {}
 
1120
        self.addCleanup(self._restoreEnvironment)
 
1121
        for name, value in new_env.iteritems():
 
1122
            self._captureVar(name, value)
 
1123
 
 
1124
    def _captureVar(self, name, newvalue):
 
1125
        """Set an environment variable, and reset it when finished."""
 
1126
        self.__old_env[name] = osutils.set_or_unset_env(name, newvalue)
 
1127
 
 
1128
    def _restore_debug_flags(self):
 
1129
        debug.debug_flags.clear()
 
1130
        debug.debug_flags.update(self._preserved_debug_flags)
 
1131
 
 
1132
    def _restoreEnvironment(self):
 
1133
        for name, value in self.__old_env.iteritems():
 
1134
            osutils.set_or_unset_env(name, value)
 
1135
 
 
1136
    def _restoreHooks(self):
 
1137
        for klass, hooks in self._preserved_hooks.items():
 
1138
            setattr(klass, 'hooks', hooks)
 
1139
 
 
1140
    def knownFailure(self, reason):
 
1141
        """This test has failed for some known reason."""
 
1142
        raise KnownFailure(reason)
 
1143
 
 
1144
    def run(self, result=None):
 
1145
        if result is None: result = self.defaultTestResult()
 
1146
        for feature in getattr(self, '_test_needs_features', []):
 
1147
            if not feature.available():
 
1148
                result.startTest(self)
 
1149
                if getattr(result, 'addNotSupported', None):
 
1150
                    result.addNotSupported(self, feature)
 
1151
                else:
 
1152
                    result.addSuccess(self)
 
1153
                result.stopTest(self)
 
1154
                return
 
1155
        return unittest.TestCase.run(self, result)
 
1156
 
 
1157
    def tearDown(self):
 
1158
        self._runCleanups()
 
1159
        unittest.TestCase.tearDown(self)
 
1160
 
 
1161
    def time(self, callable, *args, **kwargs):
 
1162
        """Run callable and accrue the time it takes to the benchmark time.
 
1163
        
 
1164
        If lsprofiling is enabled (i.e. by --lsprof-time to bzr selftest) then
 
1165
        this will cause lsprofile statistics to be gathered and stored in
 
1166
        self._benchcalls.
 
1167
        """
 
1168
        if self._benchtime is None:
 
1169
            self._benchtime = 0
 
1170
        start = time.time()
 
1171
        try:
 
1172
            if not self._gather_lsprof_in_benchmarks:
 
1173
                return callable(*args, **kwargs)
 
1174
            else:
 
1175
                # record this benchmark
 
1176
                ret, stats = bzrlib.lsprof.profile(callable, *args, **kwargs)
 
1177
                stats.sort()
 
1178
                self._benchcalls.append(((callable, args, kwargs), stats))
 
1179
                return ret
 
1180
        finally:
 
1181
            self._benchtime += time.time() - start
 
1182
 
 
1183
    def _runCleanups(self):
 
1184
        """Run registered cleanup functions. 
 
1185
 
 
1186
        This should only be called from TestCase.tearDown.
 
1187
        """
 
1188
        # TODO: Perhaps this should keep running cleanups even if 
 
1189
        # one of them fails?
 
1190
 
 
1191
        # Actually pop the cleanups from the list so tearDown running
 
1192
        # twice is safe (this happens for skipped tests).
 
1193
        while self._cleanups:
 
1194
            self._cleanups.pop()()
 
1195
 
 
1196
    def log(self, *args):
 
1197
        mutter(*args)
 
1198
 
 
1199
    def _get_log(self, keep_log_file=False):
 
1200
        """Return as a string the log for this test. If the file is still
 
1201
        on disk and keep_log_file=False, delete the log file and store the
 
1202
        content in self._log_contents."""
 
1203
        # flush the log file, to get all content
 
1204
        import bzrlib.trace
 
1205
        bzrlib.trace._trace_file.flush()
 
1206
        if self._log_contents:
 
1207
            return self._log_contents
 
1208
        if self._log_file_name is not None:
 
1209
            logfile = open(self._log_file_name)
 
1210
            try:
 
1211
                log_contents = logfile.read()
 
1212
            finally:
 
1213
                logfile.close()
 
1214
            if not keep_log_file:
 
1215
                self._log_contents = log_contents
 
1216
                try:
 
1217
                    os.remove(self._log_file_name)
 
1218
                except OSError, e:
 
1219
                    if sys.platform == 'win32' and e.errno == errno.EACCES:
 
1220
                        print >>sys.stderr, ('Unable to delete log file '
 
1221
                                             ' %r' % self._log_file_name)
 
1222
                    else:
 
1223
                        raise
 
1224
            return log_contents
 
1225
        else:
 
1226
            return "DELETED log file to reduce memory footprint"
 
1227
 
 
1228
    @deprecated_method(zero_eighteen)
 
1229
    def capture(self, cmd, retcode=0):
 
1230
        """Shortcut that splits cmd into words, runs, and returns stdout"""
 
1231
        return self.run_bzr_captured(cmd.split(), retcode=retcode)[0]
 
1232
 
 
1233
    def requireFeature(self, feature):
 
1234
        """This test requires a specific feature is available.
 
1235
 
 
1236
        :raises UnavailableFeature: When feature is not available.
 
1237
        """
 
1238
        if not feature.available():
 
1239
            raise UnavailableFeature(feature)
 
1240
 
 
1241
    @deprecated_method(zero_eighteen)
 
1242
    def run_bzr_captured(self, argv, retcode=0, encoding=None, stdin=None,
 
1243
                         working_dir=None):
 
1244
        """Invoke bzr and return (stdout, stderr).
 
1245
 
 
1246
        Don't call this method, just use run_bzr() which is equivalent.
 
1247
 
 
1248
        :param argv: Arguments to invoke bzr.  This may be either a 
 
1249
            single string, in which case it is split by shlex into words, 
 
1250
            or a list of arguments.
 
1251
        :param retcode: Expected return code, or None for don't-care.
 
1252
        :param encoding: Encoding for sys.stdout and sys.stderr
 
1253
        :param stdin: A string to be used as stdin for the command.
 
1254
        :param working_dir: Change to this directory before running
 
1255
        """
 
1256
        return self._run_bzr_autosplit(argv, retcode=retcode,
 
1257
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1258
                )
 
1259
 
 
1260
    def _run_bzr_autosplit(self, args, retcode, encoding, stdin,
 
1261
            working_dir):
 
1262
        """Run bazaar command line, splitting up a string command line."""
 
1263
        if isinstance(args, basestring):
 
1264
            args = list(shlex.split(args))
 
1265
        return self._run_bzr_core(args, retcode=retcode,
 
1266
                encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1267
                )
 
1268
 
 
1269
    def _run_bzr_core(self, args, retcode, encoding, stdin,
 
1270
            working_dir):
 
1271
        if encoding is None:
 
1272
            encoding = bzrlib.user_encoding
 
1273
        stdout = StringIOWrapper()
 
1274
        stderr = StringIOWrapper()
 
1275
        stdout.encoding = encoding
 
1276
        stderr.encoding = encoding
 
1277
 
 
1278
        self.log('run bzr: %r', args)
 
1279
        # FIXME: don't call into logging here
 
1280
        handler = logging.StreamHandler(stderr)
 
1281
        handler.setLevel(logging.INFO)
 
1282
        logger = logging.getLogger('')
 
1283
        logger.addHandler(handler)
 
1284
        old_ui_factory = ui.ui_factory
 
1285
        ui.ui_factory = TestUIFactory(stdin=stdin, stdout=stdout, stderr=stderr)
 
1286
 
 
1287
        cwd = None
 
1288
        if working_dir is not None:
 
1289
            cwd = osutils.getcwd()
 
1290
            os.chdir(working_dir)
 
1291
 
 
1292
        try:
 
1293
            result = self.apply_redirected(ui.ui_factory.stdin,
 
1294
                stdout, stderr,
 
1295
                bzrlib.commands.run_bzr_catch_errors,
 
1296
                args)
 
1297
        finally:
 
1298
            logger.removeHandler(handler)
 
1299
            ui.ui_factory = old_ui_factory
 
1300
            if cwd is not None:
 
1301
                os.chdir(cwd)
 
1302
 
 
1303
        out = stdout.getvalue()
 
1304
        err = stderr.getvalue()
 
1305
        if out:
 
1306
            self.log('output:\n%r', out)
 
1307
        if err:
 
1308
            self.log('errors:\n%r', err)
 
1309
        if retcode is not None:
 
1310
            self.assertEquals(retcode, result,
 
1311
                              message='Unexpected return code')
 
1312
        return out, err
 
1313
 
 
1314
    def run_bzr(self, *args, **kwargs):
 
1315
        """Invoke bzr, as if it were run from the command line.
 
1316
 
 
1317
        The argument list should not include the bzr program name - the
 
1318
        first argument is normally the bzr command.  Arguments may be
 
1319
        passed in three ways:
 
1320
 
 
1321
        1- A list of strings, eg ["commit", "a"].  This is recommended
 
1322
        when the command contains whitespace or metacharacters, or 
 
1323
        is built up at run time.
 
1324
 
 
1325
        2- A single string, eg "add a".  This is the most convenient 
 
1326
        for hardcoded commands.
 
1327
 
 
1328
        3- Several varargs parameters, eg run_bzr("add", "a").  
 
1329
        This is not recommended for new code.
 
1330
 
 
1331
        This runs bzr through the interface that catches and reports
 
1332
        errors, and with logging set to something approximating the
 
1333
        default, so that error reporting can be checked.
 
1334
 
 
1335
        This should be the main method for tests that want to exercise the
 
1336
        overall behavior of the bzr application (rather than a unit test
 
1337
        or a functional test of the library.)
 
1338
 
 
1339
        This sends the stdout/stderr results into the test's log,
 
1340
        where it may be useful for debugging.  See also run_captured.
 
1341
 
 
1342
        :keyword stdin: A string to be used as stdin for the command.
 
1343
        :keyword retcode: The status code the command should return;
 
1344
            default 0.
 
1345
        :keyword working_dir: The directory to run the command in
 
1346
        :keyword error_regexes: A list of expected error messages.  If
 
1347
            specified they must be seen in the error output of the command.
 
1348
        """
 
1349
        retcode = kwargs.pop('retcode', 0)
 
1350
        encoding = kwargs.pop('encoding', None)
 
1351
        stdin = kwargs.pop('stdin', None)
 
1352
        working_dir = kwargs.pop('working_dir', None)
 
1353
        error_regexes = kwargs.pop('error_regexes', [])
 
1354
 
 
1355
        if kwargs:
 
1356
            raise TypeError("run_bzr() got unexpected keyword arguments '%s'"
 
1357
                            % kwargs.keys())
 
1358
 
 
1359
        if len(args) == 1:
 
1360
            if isinstance(args[0], (list, basestring)):
 
1361
                args = args[0]
 
1362
        else:
 
1363
            symbol_versioning.warn(zero_eighteen % "passing varargs to run_bzr",
 
1364
                                   DeprecationWarning, stacklevel=3)
 
1365
 
 
1366
        out, err = self._run_bzr_autosplit(args=args,
 
1367
            retcode=retcode,
 
1368
            encoding=encoding, stdin=stdin, working_dir=working_dir,
 
1369
            )
 
1370
 
 
1371
        for regex in error_regexes:
 
1372
            self.assertContainsRe(err, regex)
 
1373
        return out, err
 
1374
 
 
1375
    def run_bzr_decode(self, *args, **kwargs):
 
1376
        if 'encoding' in kwargs:
 
1377
            encoding = kwargs['encoding']
 
1378
        else:
 
1379
            encoding = bzrlib.user_encoding
 
1380
        return self.run_bzr(*args, **kwargs)[0].decode(encoding)
 
1381
 
 
1382
    def run_bzr_error(self, error_regexes, *args, **kwargs):
 
1383
        """Run bzr, and check that stderr contains the supplied regexes
 
1384
 
 
1385
        :param error_regexes: Sequence of regular expressions which
 
1386
            must each be found in the error output. The relative ordering
 
1387
            is not enforced.
 
1388
        :param args: command-line arguments for bzr
 
1389
        :param kwargs: Keyword arguments which are interpreted by run_bzr
 
1390
            This function changes the default value of retcode to be 3,
 
1391
            since in most cases this is run when you expect bzr to fail.
 
1392
 
 
1393
        :return: (out, err) The actual output of running the command (in case
 
1394
            you want to do more inspection)
 
1395
 
 
1396
        Examples of use::
 
1397
 
 
1398
            # Make sure that commit is failing because there is nothing to do
 
1399
            self.run_bzr_error(['no changes to commit'],
 
1400
                               ['commit', '-m', 'my commit comment'])
 
1401
            # Make sure --strict is handling an unknown file, rather than
 
1402
            # giving us the 'nothing to do' error
 
1403
            self.build_tree(['unknown'])
 
1404
            self.run_bzr_error(['Commit refused because there are unknown files'],
 
1405
                               ['commit', --strict', '-m', 'my commit comment'])
 
1406
        """
 
1407
        kwargs.setdefault('retcode', 3)
 
1408
        kwargs['error_regexes'] = error_regexes
 
1409
        out, err = self.run_bzr(*args, **kwargs)
 
1410
        return out, err
 
1411
 
 
1412
    def run_bzr_subprocess(self, *args, **kwargs):
 
1413
        """Run bzr in a subprocess for testing.
 
1414
 
 
1415
        This starts a new Python interpreter and runs bzr in there. 
 
1416
        This should only be used for tests that have a justifiable need for
 
1417
        this isolation: e.g. they are testing startup time, or signal
 
1418
        handling, or early startup code, etc.  Subprocess code can't be 
 
1419
        profiled or debugged so easily.
 
1420
 
 
1421
        :keyword retcode: The status code that is expected.  Defaults to 0.  If
 
1422
            None is supplied, the status code is not checked.
 
1423
        :keyword env_changes: A dictionary which lists changes to environment
 
1424
            variables. A value of None will unset the env variable.
 
1425
            The values must be strings. The change will only occur in the
 
1426
            child, so you don't need to fix the environment after running.
 
1427
        :keyword universal_newlines: Convert CRLF => LF
 
1428
        :keyword allow_plugins: By default the subprocess is run with
 
1429
            --no-plugins to ensure test reproducibility. Also, it is possible
 
1430
            for system-wide plugins to create unexpected output on stderr,
 
1431
            which can cause unnecessary test failures.
 
1432
        """
 
1433
        env_changes = kwargs.get('env_changes', {})
 
1434
        working_dir = kwargs.get('working_dir', None)
 
1435
        allow_plugins = kwargs.get('allow_plugins', False)
 
1436
        process = self.start_bzr_subprocess(args, env_changes=env_changes,
 
1437
                                            working_dir=working_dir,
 
1438
                                            allow_plugins=allow_plugins)
 
1439
        # We distinguish between retcode=None and retcode not passed.
 
1440
        supplied_retcode = kwargs.get('retcode', 0)
 
1441
        return self.finish_bzr_subprocess(process, retcode=supplied_retcode,
 
1442
            universal_newlines=kwargs.get('universal_newlines', False),
 
1443
            process_args=args)
 
1444
 
 
1445
    def start_bzr_subprocess(self, process_args, env_changes=None,
 
1446
                             skip_if_plan_to_signal=False,
 
1447
                             working_dir=None,
 
1448
                             allow_plugins=False):
 
1449
        """Start bzr in a subprocess for testing.
 
1450
 
 
1451
        This starts a new Python interpreter and runs bzr in there.
 
1452
        This should only be used for tests that have a justifiable need for
 
1453
        this isolation: e.g. they are testing startup time, or signal
 
1454
        handling, or early startup code, etc.  Subprocess code can't be
 
1455
        profiled or debugged so easily.
 
1456
 
 
1457
        :param process_args: a list of arguments to pass to the bzr executable,
 
1458
            for example ``['--version']``.
 
1459
        :param env_changes: A dictionary which lists changes to environment
 
1460
            variables. A value of None will unset the env variable.
 
1461
            The values must be strings. The change will only occur in the
 
1462
            child, so you don't need to fix the environment after running.
 
1463
        :param skip_if_plan_to_signal: raise TestSkipped when true and os.kill
 
1464
            is not available.
 
1465
        :param allow_plugins: If False (default) pass --no-plugins to bzr.
 
1466
 
 
1467
        :returns: Popen object for the started process.
 
1468
        """
 
1469
        if skip_if_plan_to_signal:
 
1470
            if not getattr(os, 'kill', None):
 
1471
                raise TestSkipped("os.kill not available.")
 
1472
 
 
1473
        if env_changes is None:
 
1474
            env_changes = {}
 
1475
        old_env = {}
 
1476
 
 
1477
        def cleanup_environment():
 
1478
            for env_var, value in env_changes.iteritems():
 
1479
                old_env[env_var] = osutils.set_or_unset_env(env_var, value)
 
1480
 
 
1481
        def restore_environment():
 
1482
            for env_var, value in old_env.iteritems():
 
1483
                osutils.set_or_unset_env(env_var, value)
 
1484
 
 
1485
        bzr_path = self.get_bzr_path()
 
1486
 
 
1487
        cwd = None
 
1488
        if working_dir is not None:
 
1489
            cwd = osutils.getcwd()
 
1490
            os.chdir(working_dir)
 
1491
 
 
1492
        try:
 
1493
            # win32 subprocess doesn't support preexec_fn
 
1494
            # so we will avoid using it on all platforms, just to
 
1495
            # make sure the code path is used, and we don't break on win32
 
1496
            cleanup_environment()
 
1497
            command = [sys.executable, bzr_path]
 
1498
            if not allow_plugins:
 
1499
                command.append('--no-plugins')
 
1500
            command.extend(process_args)
 
1501
            process = self._popen(command, stdin=PIPE, stdout=PIPE, stderr=PIPE)
 
1502
        finally:
 
1503
            restore_environment()
 
1504
            if cwd is not None:
 
1505
                os.chdir(cwd)
 
1506
 
 
1507
        return process
 
1508
 
 
1509
    def _popen(self, *args, **kwargs):
 
1510
        """Place a call to Popen.
 
1511
 
 
1512
        Allows tests to override this method to intercept the calls made to
 
1513
        Popen for introspection.
 
1514
        """
 
1515
        return Popen(*args, **kwargs)
 
1516
 
 
1517
    def get_bzr_path(self):
 
1518
        """Return the path of the 'bzr' executable for this test suite."""
 
1519
        bzr_path = os.path.dirname(os.path.dirname(bzrlib.__file__))+'/bzr'
 
1520
        if not os.path.isfile(bzr_path):
 
1521
            # We are probably installed. Assume sys.argv is the right file
 
1522
            bzr_path = sys.argv[0]
 
1523
        return bzr_path
 
1524
 
 
1525
    def finish_bzr_subprocess(self, process, retcode=0, send_signal=None,
 
1526
                              universal_newlines=False, process_args=None):
 
1527
        """Finish the execution of process.
 
1528
 
 
1529
        :param process: the Popen object returned from start_bzr_subprocess.
 
1530
        :param retcode: The status code that is expected.  Defaults to 0.  If
 
1531
            None is supplied, the status code is not checked.
 
1532
        :param send_signal: an optional signal to send to the process.
 
1533
        :param universal_newlines: Convert CRLF => LF
 
1534
        :returns: (stdout, stderr)
 
1535
        """
 
1536
        if send_signal is not None:
 
1537
            os.kill(process.pid, send_signal)
 
1538
        out, err = process.communicate()
 
1539
 
 
1540
        if universal_newlines:
 
1541
            out = out.replace('\r\n', '\n')
 
1542
            err = err.replace('\r\n', '\n')
 
1543
 
 
1544
        if retcode is not None and retcode != process.returncode:
 
1545
            if process_args is None:
 
1546
                process_args = "(unknown args)"
 
1547
            mutter('Output of bzr %s:\n%s', process_args, out)
 
1548
            mutter('Error for bzr %s:\n%s', process_args, err)
 
1549
            self.fail('Command bzr %s failed with retcode %s != %s'
 
1550
                      % (process_args, retcode, process.returncode))
 
1551
        return [out, err]
 
1552
 
 
1553
    def check_inventory_shape(self, inv, shape):
 
1554
        """Compare an inventory to a list of expected names.
 
1555
 
 
1556
        Fail if they are not precisely equal.
 
1557
        """
 
1558
        extras = []
 
1559
        shape = list(shape)             # copy
 
1560
        for path, ie in inv.entries():
 
1561
            name = path.replace('\\', '/')
 
1562
            if ie.kind == 'directory':
 
1563
                name = name + '/'
 
1564
            if name in shape:
 
1565
                shape.remove(name)
 
1566
            else:
 
1567
                extras.append(name)
 
1568
        if shape:
 
1569
            self.fail("expected paths not found in inventory: %r" % shape)
 
1570
        if extras:
 
1571
            self.fail("unexpected paths found in inventory: %r" % extras)
 
1572
 
 
1573
    def apply_redirected(self, stdin=None, stdout=None, stderr=None,
 
1574
                         a_callable=None, *args, **kwargs):
 
1575
        """Call callable with redirected std io pipes.
 
1576
 
 
1577
        Returns the return code."""
 
1578
        if not callable(a_callable):
 
1579
            raise ValueError("a_callable must be callable.")
 
1580
        if stdin is None:
 
1581
            stdin = StringIO("")
 
1582
        if stdout is None:
 
1583
            if getattr(self, "_log_file", None) is not None:
 
1584
                stdout = self._log_file
 
1585
            else:
 
1586
                stdout = StringIO()
 
1587
        if stderr is None:
 
1588
            if getattr(self, "_log_file", None is not None):
 
1589
                stderr = self._log_file
 
1590
            else:
 
1591
                stderr = StringIO()
 
1592
        real_stdin = sys.stdin
 
1593
        real_stdout = sys.stdout
 
1594
        real_stderr = sys.stderr
 
1595
        try:
 
1596
            sys.stdout = stdout
 
1597
            sys.stderr = stderr
 
1598
            sys.stdin = stdin
 
1599
            return a_callable(*args, **kwargs)
 
1600
        finally:
 
1601
            sys.stdout = real_stdout
 
1602
            sys.stderr = real_stderr
 
1603
            sys.stdin = real_stdin
 
1604
 
 
1605
    def reduceLockdirTimeout(self):
 
1606
        """Reduce the default lock timeout for the duration of the test, so that
 
1607
        if LockContention occurs during a test, it does so quickly.
 
1608
 
 
1609
        Tests that expect to provoke LockContention errors should call this.
 
1610
        """
 
1611
        orig_timeout = bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS
 
1612
        def resetTimeout():
 
1613
            bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = orig_timeout
 
1614
        self.addCleanup(resetTimeout)
 
1615
        bzrlib.lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
1616
 
 
1617
 
 
1618
class TestCaseWithMemoryTransport(TestCase):
 
1619
    """Common test class for tests that do not need disk resources.
 
1620
 
 
1621
    Tests that need disk resources should derive from TestCaseWithTransport.
 
1622
 
 
1623
    TestCaseWithMemoryTransport sets the TEST_ROOT variable for all bzr tests.
 
1624
 
 
1625
    For TestCaseWithMemoryTransport the test_home_dir is set to the name of
 
1626
    a directory which does not exist. This serves to help ensure test isolation
 
1627
    is preserved. test_dir is set to the TEST_ROOT, as is cwd, because they
 
1628
    must exist. However, TestCaseWithMemoryTransport does not offer local
 
1629
    file defaults for the transport in tests, nor does it obey the command line
 
1630
    override, so tests that accidentally write to the common directory should
 
1631
    be rare.
 
1632
 
 
1633
    :cvar TEST_ROOT: Directory containing all temporary directories, plus
 
1634
    a .bzr directory that stops us ascending higher into the filesystem.
 
1635
    """
 
1636
 
 
1637
    TEST_ROOT = None
 
1638
    _TEST_NAME = 'test'
 
1639
 
 
1640
    def __init__(self, methodName='runTest'):
 
1641
        # allow test parameterisation after test construction and before test
 
1642
        # execution. Variables that the parameteriser sets need to be 
 
1643
        # ones that are not set by setUp, or setUp will trash them.
 
1644
        super(TestCaseWithMemoryTransport, self).__init__(methodName)
 
1645
        self.vfs_transport_factory = default_transport
 
1646
        self.transport_server = None
 
1647
        self.transport_readonly_server = None
 
1648
        self.__vfs_server = None
 
1649
 
 
1650
    def get_transport(self, relpath=None):
 
1651
        """Return a writeable transport.
 
1652
 
 
1653
        This transport is for the test scratch space relative to
 
1654
        "self._test_root"
 
1655
        
 
1656
        :param relpath: a path relative to the base url.
 
1657
        """
 
1658
        t = get_transport(self.get_url(relpath))
 
1659
        self.assertFalse(t.is_readonly())
 
1660
        return t
 
1661
 
 
1662
    def get_readonly_transport(self, relpath=None):
 
1663
        """Return a readonly transport for the test scratch space
 
1664
        
 
1665
        This can be used to test that operations which should only need
 
1666
        readonly access in fact do not try to write.
 
1667
 
 
1668
        :param relpath: a path relative to the base url.
 
1669
        """
 
1670
        t = get_transport(self.get_readonly_url(relpath))
 
1671
        self.assertTrue(t.is_readonly())
 
1672
        return t
 
1673
 
 
1674
    def create_transport_readonly_server(self):
 
1675
        """Create a transport server from class defined at init.
 
1676
 
 
1677
        This is mostly a hook for daughter classes.
 
1678
        """
 
1679
        return self.transport_readonly_server()
 
1680
 
 
1681
    def get_readonly_server(self):
 
1682
        """Get the server instance for the readonly transport
 
1683
 
 
1684
        This is useful for some tests with specific servers to do diagnostics.
 
1685
        """
 
1686
        if self.__readonly_server is None:
 
1687
            if self.transport_readonly_server is None:
 
1688
                # readonly decorator requested
 
1689
                # bring up the server
 
1690
                self.__readonly_server = ReadonlyServer()
 
1691
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1692
            else:
 
1693
                self.__readonly_server = self.create_transport_readonly_server()
 
1694
                self.__readonly_server.setUp(self.get_vfs_only_server())
 
1695
            self.addCleanup(self.__readonly_server.tearDown)
 
1696
        return self.__readonly_server
 
1697
 
 
1698
    def get_readonly_url(self, relpath=None):
 
1699
        """Get a URL for the readonly transport.
 
1700
 
 
1701
        This will either be backed by '.' or a decorator to the transport 
 
1702
        used by self.get_url()
 
1703
        relpath provides for clients to get a path relative to the base url.
 
1704
        These should only be downwards relative, not upwards.
 
1705
        """
 
1706
        base = self.get_readonly_server().get_url()
 
1707
        return self._adjust_url(base, relpath)
 
1708
 
 
1709
    def get_vfs_only_server(self):
 
1710
        """Get the vfs only read/write server instance.
 
1711
 
 
1712
        This is useful for some tests with specific servers that need
 
1713
        diagnostics.
 
1714
 
 
1715
        For TestCaseWithMemoryTransport this is always a MemoryServer, and there
 
1716
        is no means to override it.
 
1717
        """
 
1718
        if self.__vfs_server is None:
 
1719
            self.__vfs_server = MemoryServer()
 
1720
            self.__vfs_server.setUp()
 
1721
            self.addCleanup(self.__vfs_server.tearDown)
 
1722
        return self.__vfs_server
 
1723
 
 
1724
    def get_server(self):
 
1725
        """Get the read/write server instance.
 
1726
 
 
1727
        This is useful for some tests with specific servers that need
 
1728
        diagnostics.
 
1729
 
 
1730
        This is built from the self.transport_server factory. If that is None,
 
1731
        then the self.get_vfs_server is returned.
 
1732
        """
 
1733
        if self.__server is None:
 
1734
            if self.transport_server is None or self.transport_server is self.vfs_transport_factory:
 
1735
                return self.get_vfs_only_server()
 
1736
            else:
 
1737
                # bring up a decorated means of access to the vfs only server.
 
1738
                self.__server = self.transport_server()
 
1739
                try:
 
1740
                    self.__server.setUp(self.get_vfs_only_server())
 
1741
                except TypeError, e:
 
1742
                    # This should never happen; the try:Except here is to assist
 
1743
                    # developers having to update code rather than seeing an
 
1744
                    # uninformative TypeError.
 
1745
                    raise Exception, "Old server API in use: %s, %s" % (self.__server, e)
 
1746
            self.addCleanup(self.__server.tearDown)
 
1747
        return self.__server
 
1748
 
 
1749
    def _adjust_url(self, base, relpath):
 
1750
        """Get a URL (or maybe a path) for the readwrite transport.
 
1751
 
 
1752
        This will either be backed by '.' or to an equivalent non-file based
 
1753
        facility.
 
1754
        relpath provides for clients to get a path relative to the base url.
 
1755
        These should only be downwards relative, not upwards.
 
1756
        """
 
1757
        if relpath is not None and relpath != '.':
 
1758
            if not base.endswith('/'):
 
1759
                base = base + '/'
 
1760
            # XXX: Really base should be a url; we did after all call
 
1761
            # get_url()!  But sometimes it's just a path (from
 
1762
            # LocalAbspathServer), and it'd be wrong to append urlescaped data
 
1763
            # to a non-escaped local path.
 
1764
            if base.startswith('./') or base.startswith('/'):
 
1765
                base += relpath
 
1766
            else:
 
1767
                base += urlutils.escape(relpath)
 
1768
        return base
 
1769
 
 
1770
    def get_url(self, relpath=None):
 
1771
        """Get a URL (or maybe a path) for the readwrite transport.
 
1772
 
 
1773
        This will either be backed by '.' or to an equivalent non-file based
 
1774
        facility.
 
1775
        relpath provides for clients to get a path relative to the base url.
 
1776
        These should only be downwards relative, not upwards.
 
1777
        """
 
1778
        base = self.get_server().get_url()
 
1779
        return self._adjust_url(base, relpath)
 
1780
 
 
1781
    def get_vfs_only_url(self, relpath=None):
 
1782
        """Get a URL (or maybe a path for the plain old vfs transport.
 
1783
 
 
1784
        This will never be a smart protocol.  It always has all the
 
1785
        capabilities of the local filesystem, but it might actually be a
 
1786
        MemoryTransport or some other similar virtual filesystem.
 
1787
 
 
1788
        This is the backing transport (if any) of the server returned by
 
1789
        get_url and get_readonly_url.
 
1790
 
 
1791
        :param relpath: provides for clients to get a path relative to the base
 
1792
            url.  These should only be downwards relative, not upwards.
 
1793
        :return: A URL
 
1794
        """
 
1795
        base = self.get_vfs_only_server().get_url()
 
1796
        return self._adjust_url(base, relpath)
 
1797
 
 
1798
    def _make_test_root(self):
 
1799
        if TestCaseWithMemoryTransport.TEST_ROOT is not None:
 
1800
            return
 
1801
        root = tempfile.mkdtemp(prefix='testbzr-', suffix='.tmp')
 
1802
        TestCaseWithMemoryTransport.TEST_ROOT = root
 
1803
        
 
1804
        # make a fake bzr directory there to prevent any tests propagating
 
1805
        # up onto the source directory's real branch
 
1806
        bzrdir.BzrDir.create_standalone_workingtree(root)
 
1807
 
 
1808
        # The same directory is used by all tests, and we're not specifically
 
1809
        # told when all tests are finished.  This will do.
 
1810
        atexit.register(_rmtree_temp_dir, root)
 
1811
 
 
1812
    def makeAndChdirToTestDir(self):
 
1813
        """Create a temporary directories for this one test.
 
1814
        
 
1815
        This must set self.test_home_dir and self.test_dir and chdir to
 
1816
        self.test_dir.
 
1817
        
 
1818
        For TestCaseWithMemoryTransport we chdir to the TEST_ROOT for this test.
 
1819
        """
 
1820
        os.chdir(TestCaseWithMemoryTransport.TEST_ROOT)
 
1821
        self.test_dir = TestCaseWithMemoryTransport.TEST_ROOT
 
1822
        self.test_home_dir = self.test_dir + "/MemoryTransportMissingHomeDir"
 
1823
        
 
1824
    def make_branch(self, relpath, format=None):
 
1825
        """Create a branch on the transport at relpath."""
 
1826
        repo = self.make_repository(relpath, format=format)
 
1827
        return repo.bzrdir.create_branch()
 
1828
 
 
1829
    def make_bzrdir(self, relpath, format=None):
 
1830
        try:
 
1831
            # might be a relative or absolute path
 
1832
            maybe_a_url = self.get_url(relpath)
 
1833
            segments = maybe_a_url.rsplit('/', 1)
 
1834
            t = get_transport(maybe_a_url)
 
1835
            if len(segments) > 1 and segments[-1] not in ('', '.'):
 
1836
                t.ensure_base()
 
1837
            if format is None:
 
1838
                format = 'default'
 
1839
            if isinstance(format, basestring):
 
1840
                format = bzrdir.format_registry.make_bzrdir(format)
 
1841
            return format.initialize_on_transport(t)
 
1842
        except errors.UninitializableFormat:
 
1843
            raise TestSkipped("Format %s is not initializable." % format)
 
1844
 
 
1845
    def make_repository(self, relpath, shared=False, format=None):
 
1846
        """Create a repository on our default transport at relpath.
 
1847
        
 
1848
        Note that relpath must be a relative path, not a full url.
 
1849
        """
 
1850
        # FIXME: If you create a remoterepository this returns the underlying
 
1851
        # real format, which is incorrect.  Actually we should make sure that 
 
1852
        # RemoteBzrDir returns a RemoteRepository.
 
1853
        # maybe  mbp 20070410
 
1854
        made_control = self.make_bzrdir(relpath, format=format)
 
1855
        return made_control.create_repository(shared=shared)
 
1856
 
 
1857
    def make_branch_and_memory_tree(self, relpath, format=None):
 
1858
        """Create a branch on the default transport and a MemoryTree for it."""
 
1859
        b = self.make_branch(relpath, format=format)
 
1860
        return memorytree.MemoryTree.create_on_branch(b)
 
1861
 
 
1862
    def overrideEnvironmentForTesting(self):
 
1863
        os.environ['HOME'] = self.test_home_dir
 
1864
        os.environ['BZR_HOME'] = self.test_home_dir
 
1865
        
 
1866
    def setUp(self):
 
1867
        super(TestCaseWithMemoryTransport, self).setUp()
 
1868
        self._make_test_root()
 
1869
        _currentdir = os.getcwdu()
 
1870
        def _leaveDirectory():
 
1871
            os.chdir(_currentdir)
 
1872
        self.addCleanup(_leaveDirectory)
 
1873
        self.makeAndChdirToTestDir()
 
1874
        self.overrideEnvironmentForTesting()
 
1875
        self.__readonly_server = None
 
1876
        self.__server = None
 
1877
        self.reduceLockdirTimeout()
 
1878
 
 
1879
     
 
1880
class TestCaseInTempDir(TestCaseWithMemoryTransport):
 
1881
    """Derived class that runs a test within a temporary directory.
 
1882
 
 
1883
    This is useful for tests that need to create a branch, etc.
 
1884
 
 
1885
    The directory is created in a slightly complex way: for each
 
1886
    Python invocation, a new temporary top-level directory is created.
 
1887
    All test cases create their own directory within that.  If the
 
1888
    tests complete successfully, the directory is removed.
 
1889
 
 
1890
    :ivar test_base_dir: The path of the top-level directory for this 
 
1891
    test, which contains a home directory and a work directory.
 
1892
 
 
1893
    :ivar test_home_dir: An initially empty directory under test_base_dir
 
1894
    which is used as $HOME for this test.
 
1895
 
 
1896
    :ivar test_dir: A directory under test_base_dir used as the current
 
1897
    directory when the test proper is run.
 
1898
    """
 
1899
 
 
1900
    OVERRIDE_PYTHON = 'python'
 
1901
 
 
1902
    def check_file_contents(self, filename, expect):
 
1903
        self.log("check contents of file %s" % filename)
 
1904
        contents = file(filename, 'r').read()
 
1905
        if contents != expect:
 
1906
            self.log("expected: %r" % expect)
 
1907
            self.log("actually: %r" % contents)
 
1908
            self.fail("contents of %s not as expected" % filename)
 
1909
 
 
1910
    def makeAndChdirToTestDir(self):
 
1911
        """See TestCaseWithMemoryTransport.makeAndChdirToTestDir().
 
1912
        
 
1913
        For TestCaseInTempDir we create a temporary directory based on the test
 
1914
        name and then create two subdirs - test and home under it.
 
1915
        """
 
1916
        # create a directory within the top level test directory
 
1917
        candidate_dir = tempfile.mkdtemp(dir=self.TEST_ROOT)
 
1918
        # now create test and home directories within this dir
 
1919
        self.test_base_dir = candidate_dir
 
1920
        self.test_home_dir = self.test_base_dir + '/home'
 
1921
        os.mkdir(self.test_home_dir)
 
1922
        self.test_dir = self.test_base_dir + '/work'
 
1923
        os.mkdir(self.test_dir)
 
1924
        os.chdir(self.test_dir)
 
1925
        # put name of test inside
 
1926
        f = file(self.test_base_dir + '/name', 'w')
 
1927
        try:
 
1928
            f.write(self.id())
 
1929
        finally:
 
1930
            f.close()
 
1931
        self.addCleanup(self.deleteTestDir)
 
1932
 
 
1933
    def deleteTestDir(self):
 
1934
        os.chdir(self.TEST_ROOT)
 
1935
        _rmtree_temp_dir(self.test_base_dir)
 
1936
 
 
1937
    def build_tree(self, shape, line_endings='binary', transport=None):
 
1938
        """Build a test tree according to a pattern.
 
1939
 
 
1940
        shape is a sequence of file specifications.  If the final
 
1941
        character is '/', a directory is created.
 
1942
 
 
1943
        This assumes that all the elements in the tree being built are new.
 
1944
 
 
1945
        This doesn't add anything to a branch.
 
1946
 
 
1947
        :param line_endings: Either 'binary' or 'native'
 
1948
            in binary mode, exact contents are written in native mode, the
 
1949
            line endings match the default platform endings.
 
1950
        :param transport: A transport to write to, for building trees on VFS's.
 
1951
            If the transport is readonly or None, "." is opened automatically.
 
1952
        :return: None
 
1953
        """
 
1954
        # It's OK to just create them using forward slashes on windows.
 
1955
        if transport is None or transport.is_readonly():
 
1956
            transport = get_transport(".")
 
1957
        for name in shape:
 
1958
            self.assert_(isinstance(name, basestring))
 
1959
            if name[-1] == '/':
 
1960
                transport.mkdir(urlutils.escape(name[:-1]))
 
1961
            else:
 
1962
                if line_endings == 'binary':
 
1963
                    end = '\n'
 
1964
                elif line_endings == 'native':
 
1965
                    end = os.linesep
 
1966
                else:
 
1967
                    raise errors.BzrError(
 
1968
                        'Invalid line ending request %r' % line_endings)
 
1969
                content = "contents of %s%s" % (name.encode('utf-8'), end)
 
1970
                transport.put_bytes_non_atomic(urlutils.escape(name), content)
 
1971
 
 
1972
    def build_tree_contents(self, shape):
 
1973
        build_tree_contents(shape)
 
1974
 
 
1975
    def assertFileEqual(self, content, path):
 
1976
        """Fail if path does not contain 'content'."""
 
1977
        self.failUnlessExists(path)
 
1978
        f = file(path, 'rb')
 
1979
        try:
 
1980
            s = f.read()
 
1981
        finally:
 
1982
            f.close()
 
1983
        self.assertEqualDiff(content, s)
 
1984
 
 
1985
    def failUnlessExists(self, path):
 
1986
        """Fail unless path or paths, which may be abs or relative, exist."""
 
1987
        if not isinstance(path, basestring):
 
1988
            for p in path:
 
1989
                self.failUnlessExists(p)
 
1990
        else:
 
1991
            self.failUnless(osutils.lexists(path),path+" does not exist")
 
1992
 
 
1993
    def failIfExists(self, path):
 
1994
        """Fail if path or paths, which may be abs or relative, exist."""
 
1995
        if not isinstance(path, basestring):
 
1996
            for p in path:
 
1997
                self.failIfExists(p)
 
1998
        else:
 
1999
            self.failIf(osutils.lexists(path),path+" exists")
 
2000
 
 
2001
    def assertInWorkingTree(self,path,root_path='.',tree=None):
 
2002
        """Assert whether path or paths are in the WorkingTree"""
 
2003
        if tree is None:
 
2004
            tree = workingtree.WorkingTree.open(root_path)
 
2005
        if not isinstance(path, basestring):
 
2006
            for p in path:
 
2007
                self.assertInWorkingTree(p,tree=tree)
 
2008
        else:
 
2009
            self.assertIsNot(tree.path2id(path), None,
 
2010
                path+' not in working tree.')
 
2011
 
 
2012
    def assertNotInWorkingTree(self,path,root_path='.',tree=None):
 
2013
        """Assert whether path or paths are not in the WorkingTree"""
 
2014
        if tree is None:
 
2015
            tree = workingtree.WorkingTree.open(root_path)
 
2016
        if not isinstance(path, basestring):
 
2017
            for p in path:
 
2018
                self.assertNotInWorkingTree(p,tree=tree)
 
2019
        else:
 
2020
            self.assertIs(tree.path2id(path), None, path+' in working tree.')
 
2021
 
 
2022
 
 
2023
class TestCaseWithTransport(TestCaseInTempDir):
 
2024
    """A test case that provides get_url and get_readonly_url facilities.
 
2025
 
 
2026
    These back onto two transport servers, one for readonly access and one for
 
2027
    read write access.
 
2028
 
 
2029
    If no explicit class is provided for readonly access, a
 
2030
    ReadonlyTransportDecorator is used instead which allows the use of non disk
 
2031
    based read write transports.
 
2032
 
 
2033
    If an explicit class is provided for readonly access, that server and the 
 
2034
    readwrite one must both define get_url() as resolving to os.getcwd().
 
2035
    """
 
2036
 
 
2037
    def get_vfs_only_server(self):
 
2038
        """See TestCaseWithMemoryTransport.
 
2039
 
 
2040
        This is useful for some tests with specific servers that need
 
2041
        diagnostics.
 
2042
        """
 
2043
        if self.__vfs_server is None:
 
2044
            self.__vfs_server = self.vfs_transport_factory()
 
2045
            self.__vfs_server.setUp()
 
2046
            self.addCleanup(self.__vfs_server.tearDown)
 
2047
        return self.__vfs_server
 
2048
 
 
2049
    def make_branch_and_tree(self, relpath, format=None):
 
2050
        """Create a branch on the transport and a tree locally.
 
2051
 
 
2052
        If the transport is not a LocalTransport, the Tree can't be created on
 
2053
        the transport.  In that case if the vfs_transport_factory is
 
2054
        LocalURLServer the working tree is created in the local
 
2055
        directory backing the transport, and the returned tree's branch and
 
2056
        repository will also be accessed locally. Otherwise a lightweight
 
2057
        checkout is created and returned.
 
2058
 
 
2059
        :param format: The BzrDirFormat.
 
2060
        :returns: the WorkingTree.
 
2061
        """
 
2062
        # TODO: always use the local disk path for the working tree,
 
2063
        # this obviously requires a format that supports branch references
 
2064
        # so check for that by checking bzrdir.BzrDirFormat.get_default_format()
 
2065
        # RBC 20060208
 
2066
        b = self.make_branch(relpath, format=format)
 
2067
        try:
 
2068
            return b.bzrdir.create_workingtree()
 
2069
        except errors.NotLocalUrl:
 
2070
            # We can only make working trees locally at the moment.  If the
 
2071
            # transport can't support them, then we keep the non-disk-backed
 
2072
            # branch and create a local checkout.
 
2073
            if self.vfs_transport_factory is LocalURLServer:
 
2074
                # the branch is colocated on disk, we cannot create a checkout.
 
2075
                # hopefully callers will expect this.
 
2076
                local_controldir= bzrdir.BzrDir.open(self.get_vfs_only_url(relpath))
 
2077
                return local_controldir.create_workingtree()
 
2078
            else:
 
2079
                return b.create_checkout(relpath, lightweight=True)
 
2080
 
 
2081
    def assertIsDirectory(self, relpath, transport):
 
2082
        """Assert that relpath within transport is a directory.
 
2083
 
 
2084
        This may not be possible on all transports; in that case it propagates
 
2085
        a TransportNotPossible.
 
2086
        """
 
2087
        try:
 
2088
            mode = transport.stat(relpath).st_mode
 
2089
        except errors.NoSuchFile:
 
2090
            self.fail("path %s is not a directory; no such file"
 
2091
                      % (relpath))
 
2092
        if not stat.S_ISDIR(mode):
 
2093
            self.fail("path %s is not a directory; has mode %#o"
 
2094
                      % (relpath, mode))
 
2095
 
 
2096
    def assertTreesEqual(self, left, right):
 
2097
        """Check that left and right have the same content and properties."""
 
2098
        # we use a tree delta to check for equality of the content, and we
 
2099
        # manually check for equality of other things such as the parents list.
 
2100
        self.assertEqual(left.get_parent_ids(), right.get_parent_ids())
 
2101
        differences = left.changes_from(right)
 
2102
        self.assertFalse(differences.has_changed(),
 
2103
            "Trees %r and %r are different: %r" % (left, right, differences))
 
2104
 
 
2105
    def setUp(self):
 
2106
        super(TestCaseWithTransport, self).setUp()
 
2107
        self.__vfs_server = None
 
2108
 
 
2109
 
 
2110
class ChrootedTestCase(TestCaseWithTransport):
 
2111
    """A support class that provides readonly urls outside the local namespace.
 
2112
 
 
2113
    This is done by checking if self.transport_server is a MemoryServer. if it
 
2114
    is then we are chrooted already, if it is not then an HttpServer is used
 
2115
    for readonly urls.
 
2116
 
 
2117
    TODO RBC 20060127: make this an option to TestCaseWithTransport so it can
 
2118
                       be used without needed to redo it when a different 
 
2119
                       subclass is in use ?
 
2120
    """
 
2121
 
 
2122
    def setUp(self):
 
2123
        super(ChrootedTestCase, self).setUp()
 
2124
        if not self.vfs_transport_factory == MemoryServer:
 
2125
            self.transport_readonly_server = HttpServer
 
2126
 
 
2127
 
 
2128
def filter_suite_by_re(suite, pattern, exclude_pattern=None,
 
2129
                       random_order=False):
 
2130
    """Create a test suite by filtering another one.
 
2131
    
 
2132
    :param suite:           the source suite
 
2133
    :param pattern:         pattern that names must match
 
2134
    :param exclude_pattern: pattern that names must not match, if any
 
2135
    :param random_order:    if True, tests in the new suite will be put in
 
2136
                            random order
 
2137
    :returns: the newly created suite
 
2138
    """ 
 
2139
    return sort_suite_by_re(suite, pattern, exclude_pattern,
 
2140
        random_order, False)
 
2141
 
 
2142
 
 
2143
def sort_suite_by_re(suite, pattern, exclude_pattern=None,
 
2144
                     random_order=False, append_rest=True):
 
2145
    """Create a test suite by sorting another one.
 
2146
    
 
2147
    :param suite:           the source suite
 
2148
    :param pattern:         pattern that names must match in order to go
 
2149
                            first in the new suite
 
2150
    :param exclude_pattern: pattern that names must not match, if any
 
2151
    :param random_order:    if True, tests in the new suite will be put in
 
2152
                            random order
 
2153
    :param append_rest:     if False, pattern is a strict filter and not
 
2154
                            just an ordering directive
 
2155
    :returns: the newly created suite
 
2156
    """ 
 
2157
    first = []
 
2158
    second = []
 
2159
    filter_re = re.compile(pattern)
 
2160
    if exclude_pattern is not None:
 
2161
        exclude_re = re.compile(exclude_pattern)
 
2162
    for test in iter_suite_tests(suite):
 
2163
        test_id = test.id()
 
2164
        if exclude_pattern is None or not exclude_re.search(test_id):
 
2165
            if filter_re.search(test_id):
 
2166
                first.append(test)
 
2167
            elif append_rest:
 
2168
                second.append(test)
 
2169
    if random_order:
 
2170
        random.shuffle(first)
 
2171
        random.shuffle(second)
 
2172
    return TestUtil.TestSuite(first + second)
 
2173
 
 
2174
 
 
2175
def run_suite(suite, name='test', verbose=False, pattern=".*",
 
2176
              stop_on_failure=False,
 
2177
              transport=None, lsprof_timed=None, bench_history=None,
 
2178
              matching_tests_first=None,
 
2179
              list_only=False,
 
2180
              random_seed=None,
 
2181
              exclude_pattern=None,
 
2182
              strict=False,
 
2183
              ):
 
2184
    TestCase._gather_lsprof_in_benchmarks = lsprof_timed
 
2185
    if verbose:
 
2186
        verbosity = 2
 
2187
    else:
 
2188
        verbosity = 1
 
2189
    runner = TextTestRunner(stream=sys.stdout,
 
2190
                            descriptions=0,
 
2191
                            verbosity=verbosity,
 
2192
                            bench_history=bench_history,
 
2193
                            list_only=list_only,
 
2194
                            )
 
2195
    runner.stop_on_failure=stop_on_failure
 
2196
    # Initialise the random number generator and display the seed used.
 
2197
    # We convert the seed to a long to make it reuseable across invocations.
 
2198
    random_order = False
 
2199
    if random_seed is not None:
 
2200
        random_order = True
 
2201
        if random_seed == "now":
 
2202
            random_seed = long(time.time())
 
2203
        else:
 
2204
            # Convert the seed to a long if we can
 
2205
            try:
 
2206
                random_seed = long(random_seed)
 
2207
            except:
 
2208
                pass
 
2209
        runner.stream.writeln("Randomizing test order using seed %s\n" %
 
2210
            (random_seed))
 
2211
        random.seed(random_seed)
 
2212
    # Customise the list of tests if requested
 
2213
    if pattern != '.*' or exclude_pattern is not None or random_order:
 
2214
        if matching_tests_first:
 
2215
            suite = sort_suite_by_re(suite, pattern, exclude_pattern,
 
2216
                random_order)
 
2217
        else:
 
2218
            suite = filter_suite_by_re(suite, pattern, exclude_pattern,
 
2219
                random_order)
 
2220
    result = runner.run(suite)
 
2221
 
 
2222
    if strict:
 
2223
        return result.wasStrictlySuccessful()
 
2224
 
 
2225
    return result.wasSuccessful()
 
2226
 
 
2227
 
 
2228
def selftest(verbose=False, pattern=".*", stop_on_failure=True,
 
2229
             transport=None,
 
2230
             test_suite_factory=None,
 
2231
             lsprof_timed=None,
 
2232
             bench_history=None,
 
2233
             matching_tests_first=None,
 
2234
             list_only=False,
 
2235
             random_seed=None,
 
2236
             exclude_pattern=None,
 
2237
             strict=False,
 
2238
             ):
 
2239
    """Run the whole test suite under the enhanced runner"""
 
2240
    # XXX: Very ugly way to do this...
 
2241
    # Disable warning about old formats because we don't want it to disturb
 
2242
    # any blackbox tests.
 
2243
    from bzrlib import repository
 
2244
    repository._deprecation_warning_done = True
 
2245
 
 
2246
    global default_transport
 
2247
    if transport is None:
 
2248
        transport = default_transport
 
2249
    old_transport = default_transport
 
2250
    default_transport = transport
 
2251
    try:
 
2252
        if test_suite_factory is None:
 
2253
            suite = test_suite()
 
2254
        else:
 
2255
            suite = test_suite_factory()
 
2256
        return run_suite(suite, 'testbzr', verbose=verbose, pattern=pattern,
 
2257
                     stop_on_failure=stop_on_failure,
 
2258
                     transport=transport,
 
2259
                     lsprof_timed=lsprof_timed,
 
2260
                     bench_history=bench_history,
 
2261
                     matching_tests_first=matching_tests_first,
 
2262
                     list_only=list_only,
 
2263
                     random_seed=random_seed,
 
2264
                     exclude_pattern=exclude_pattern,
 
2265
                     strict=strict)
 
2266
    finally:
 
2267
        default_transport = old_transport
 
2268
 
 
2269
 
 
2270
def test_suite():
 
2271
    """Build and return TestSuite for the whole of bzrlib.
 
2272
    
 
2273
    This function can be replaced if you need to change the default test
 
2274
    suite on a global basis, but it is not encouraged.
 
2275
    """
 
2276
    testmod_names = [
 
2277
                   'bzrlib.util.tests.test_bencode',
 
2278
                   'bzrlib.tests.test__dirstate_helpers',
 
2279
                   'bzrlib.tests.test_ancestry',
 
2280
                   'bzrlib.tests.test_annotate',
 
2281
                   'bzrlib.tests.test_api',
 
2282
                   'bzrlib.tests.test_atomicfile',
 
2283
                   'bzrlib.tests.test_bad_files',
 
2284
                   'bzrlib.tests.test_branch',
 
2285
                   'bzrlib.tests.test_branchbuilder',
 
2286
                   'bzrlib.tests.test_bugtracker',
 
2287
                   'bzrlib.tests.test_bundle',
 
2288
                   'bzrlib.tests.test_bzrdir',
 
2289
                   'bzrlib.tests.test_cache_utf8',
 
2290
                   'bzrlib.tests.test_commands',
 
2291
                   'bzrlib.tests.test_commit',
 
2292
                   'bzrlib.tests.test_commit_merge',
 
2293
                   'bzrlib.tests.test_config',
 
2294
                   'bzrlib.tests.test_conflicts',
 
2295
                   'bzrlib.tests.test_counted_lock',
 
2296
                   'bzrlib.tests.test_decorators',
 
2297
                   'bzrlib.tests.test_delta',
 
2298
                   'bzrlib.tests.test_deprecated_graph',
 
2299
                   'bzrlib.tests.test_diff',
 
2300
                   'bzrlib.tests.test_dirstate',
 
2301
                   'bzrlib.tests.test_email_message',
 
2302
                   'bzrlib.tests.test_errors',
 
2303
                   'bzrlib.tests.test_escaped_store',
 
2304
                   'bzrlib.tests.test_extract',
 
2305
                   'bzrlib.tests.test_fetch',
 
2306
                   'bzrlib.tests.test_ftp_transport',
 
2307
                   'bzrlib.tests.test_generate_docs',
 
2308
                   'bzrlib.tests.test_generate_ids',
 
2309
                   'bzrlib.tests.test_globbing',
 
2310
                   'bzrlib.tests.test_gpg',
 
2311
                   'bzrlib.tests.test_graph',
 
2312
                   'bzrlib.tests.test_hashcache',
 
2313
                   'bzrlib.tests.test_help',
 
2314
                   'bzrlib.tests.test_hooks',
 
2315
                   'bzrlib.tests.test_http',
 
2316
                   'bzrlib.tests.test_http_response',
 
2317
                   'bzrlib.tests.test_https_ca_bundle',
 
2318
                   'bzrlib.tests.test_identitymap',
 
2319
                   'bzrlib.tests.test_ignores',
 
2320
                   'bzrlib.tests.test_index',
 
2321
                   'bzrlib.tests.test_info',
 
2322
                   'bzrlib.tests.test_inv',
 
2323
                   'bzrlib.tests.test_knit',
 
2324
                   'bzrlib.tests.test_lazy_import',
 
2325
                   'bzrlib.tests.test_lazy_regex',
 
2326
                   'bzrlib.tests.test_lockdir',
 
2327
                   'bzrlib.tests.test_lockable_files',
 
2328
                   'bzrlib.tests.test_log',
 
2329
                   'bzrlib.tests.test_lsprof',
 
2330
                   'bzrlib.tests.test_memorytree',
 
2331
                   'bzrlib.tests.test_merge',
 
2332
                   'bzrlib.tests.test_merge3',
 
2333
                   'bzrlib.tests.test_merge_core',
 
2334
                   'bzrlib.tests.test_merge_directive',
 
2335
                   'bzrlib.tests.test_missing',
 
2336
                   'bzrlib.tests.test_msgeditor',
 
2337
                   'bzrlib.tests.test_multiparent',
 
2338
                   'bzrlib.tests.test_nonascii',
 
2339
                   'bzrlib.tests.test_options',
 
2340
                   'bzrlib.tests.test_osutils',
 
2341
                   'bzrlib.tests.test_osutils_encodings',
 
2342
                   'bzrlib.tests.test_pack',
 
2343
                   'bzrlib.tests.test_patch',
 
2344
                   'bzrlib.tests.test_patches',
 
2345
                   'bzrlib.tests.test_permissions',
 
2346
                   'bzrlib.tests.test_plugins',
 
2347
                   'bzrlib.tests.test_progress',
 
2348
                   'bzrlib.tests.test_reconcile',
 
2349
                   'bzrlib.tests.test_registry',
 
2350
                   'bzrlib.tests.test_remote',
 
2351
                   'bzrlib.tests.test_repository',
 
2352
                   'bzrlib.tests.test_revert',
 
2353
                   'bzrlib.tests.test_revision',
 
2354
                   'bzrlib.tests.test_revisionnamespaces',
 
2355
                   'bzrlib.tests.test_revisiontree',
 
2356
                   'bzrlib.tests.test_rio',
 
2357
                   'bzrlib.tests.test_sampler',
 
2358
                   'bzrlib.tests.test_selftest',
 
2359
                   'bzrlib.tests.test_setup',
 
2360
                   'bzrlib.tests.test_sftp_transport',
 
2361
                   'bzrlib.tests.test_smart',
 
2362
                   'bzrlib.tests.test_smart_add',
 
2363
                   'bzrlib.tests.test_smart_transport',
 
2364
                   'bzrlib.tests.test_smtp_connection',
 
2365
                   'bzrlib.tests.test_source',
 
2366
                   'bzrlib.tests.test_ssh_transport',
 
2367
                   'bzrlib.tests.test_status',
 
2368
                   'bzrlib.tests.test_store',
 
2369
                   'bzrlib.tests.test_strace',
 
2370
                   'bzrlib.tests.test_subsume',
 
2371
                   'bzrlib.tests.test_symbol_versioning',
 
2372
                   'bzrlib.tests.test_tag',
 
2373
                   'bzrlib.tests.test_testament',
 
2374
                   'bzrlib.tests.test_textfile',
 
2375
                   'bzrlib.tests.test_textmerge',
 
2376
                   'bzrlib.tests.test_timestamp',
 
2377
                   'bzrlib.tests.test_trace',
 
2378
                   'bzrlib.tests.test_transactions',
 
2379
                   'bzrlib.tests.test_transform',
 
2380
                   'bzrlib.tests.test_transport',
 
2381
                   'bzrlib.tests.test_tree',
 
2382
                   'bzrlib.tests.test_treebuilder',
 
2383
                   'bzrlib.tests.test_tsort',
 
2384
                   'bzrlib.tests.test_tuned_gzip',
 
2385
                   'bzrlib.tests.test_ui',
 
2386
                   'bzrlib.tests.test_upgrade',
 
2387
                   'bzrlib.tests.test_urlutils',
 
2388
                   'bzrlib.tests.test_versionedfile',
 
2389
                   'bzrlib.tests.test_version',
 
2390
                   'bzrlib.tests.test_version_info',
 
2391
                   'bzrlib.tests.test_weave',
 
2392
                   'bzrlib.tests.test_whitebox',
 
2393
                   'bzrlib.tests.test_win32utils',
 
2394
                   'bzrlib.tests.test_workingtree',
 
2395
                   'bzrlib.tests.test_workingtree_4',
 
2396
                   'bzrlib.tests.test_wsgi',
 
2397
                   'bzrlib.tests.test_xml',
 
2398
                   ]
 
2399
    test_transport_implementations = [
 
2400
        'bzrlib.tests.test_transport_implementations',
 
2401
        'bzrlib.tests.test_read_bundle',
 
2402
        ]
 
2403
    suite = TestUtil.TestSuite()
 
2404
    loader = TestUtil.TestLoader()
 
2405
    suite.addTest(loader.loadTestsFromModuleNames(testmod_names))
 
2406
    from bzrlib.tests.test_transport_implementations import TransportTestProviderAdapter
 
2407
    adapter = TransportTestProviderAdapter()
 
2408
    adapt_modules(test_transport_implementations, adapter, loader, suite)
 
2409
    for package in packages_to_test():
 
2410
        suite.addTest(package.test_suite())
 
2411
    for m in MODULES_TO_TEST:
 
2412
        suite.addTest(loader.loadTestsFromModule(m))
 
2413
    for m in MODULES_TO_DOCTEST:
 
2414
        try:
 
2415
            suite.addTest(doctest.DocTestSuite(m))
 
2416
        except ValueError, e:
 
2417
            print '**failed to get doctest for: %s\n%s' %(m,e)
 
2418
            raise
 
2419
    for name, plugin in bzrlib.plugin.all_plugins().items():
 
2420
        if getattr(plugin, 'test_suite', None) is not None:
 
2421
            default_encoding = sys.getdefaultencoding()
 
2422
            try:
 
2423
                plugin_suite = plugin.test_suite()
 
2424
            except ImportError, e:
 
2425
                bzrlib.trace.warning(
 
2426
                    'Unable to test plugin "%s": %s', name, e)
 
2427
            else:
 
2428
                suite.addTest(plugin_suite)
 
2429
            if default_encoding != sys.getdefaultencoding():
 
2430
                bzrlib.trace.warning(
 
2431
                    'Plugin "%s" tried to reset default encoding to: %s', name,
 
2432
                    sys.getdefaultencoding())
 
2433
                reload(sys)
 
2434
                sys.setdefaultencoding(default_encoding)
 
2435
    return suite
 
2436
 
 
2437
 
 
2438
def adapt_modules(mods_list, adapter, loader, suite):
 
2439
    """Adapt the modules in mods_list using adapter and add to suite."""
 
2440
    for test in iter_suite_tests(loader.loadTestsFromModuleNames(mods_list)):
 
2441
        suite.addTests(adapter.adapt(test))
 
2442
 
 
2443
 
 
2444
def _rmtree_temp_dir(dirname):
 
2445
    # If LANG=C we probably have created some bogus paths
 
2446
    # which rmtree(unicode) will fail to delete
 
2447
    # so make sure we are using rmtree(str) to delete everything
 
2448
    # except on win32, where rmtree(str) will fail
 
2449
    # since it doesn't have the property of byte-stream paths
 
2450
    # (they are either ascii or mbcs)
 
2451
    if sys.platform == 'win32':
 
2452
        # make sure we are using the unicode win32 api
 
2453
        dirname = unicode(dirname)
 
2454
    else:
 
2455
        dirname = dirname.encode(sys.getfilesystemencoding())
 
2456
    try:
 
2457
        osutils.rmtree(dirname)
 
2458
    except OSError, e:
 
2459
        if sys.platform == 'win32' and e.errno == errno.EACCES:
 
2460
            print >>sys.stderr, ('Permission denied: '
 
2461
                                 'unable to remove testing dir '
 
2462
                                 '%s' % os.path.basename(dirname))
 
2463
        else:
 
2464
            raise
 
2465
 
 
2466
 
 
2467
class Feature(object):
 
2468
    """An operating system Feature."""
 
2469
 
 
2470
    def __init__(self):
 
2471
        self._available = None
 
2472
 
 
2473
    def available(self):
 
2474
        """Is the feature available?
 
2475
 
 
2476
        :return: True if the feature is available.
 
2477
        """
 
2478
        if self._available is None:
 
2479
            self._available = self._probe()
 
2480
        return self._available
 
2481
 
 
2482
    def _probe(self):
 
2483
        """Implement this method in concrete features.
 
2484
 
 
2485
        :return: True if the feature is available.
 
2486
        """
 
2487
        raise NotImplementedError
 
2488
 
 
2489
    def __str__(self):
 
2490
        if getattr(self, 'feature_name', None):
 
2491
            return self.feature_name()
 
2492
        return self.__class__.__name__
 
2493
 
 
2494
 
 
2495
class TestScenarioApplier(object):
 
2496
    """A tool to apply scenarios to tests."""
 
2497
 
 
2498
    def adapt(self, test):
 
2499
        """Return a TestSuite containing a copy of test for each scenario."""
 
2500
        result = unittest.TestSuite()
 
2501
        for scenario in self.scenarios:
 
2502
            result.addTest(self.adapt_test_to_scenario(test, scenario))
 
2503
        return result
 
2504
 
 
2505
    def adapt_test_to_scenario(self, test, scenario):
 
2506
        """Copy test and apply scenario to it.
 
2507
 
 
2508
        :param test: A test to adapt.
 
2509
        :param scenario: A tuple describing the scenarion.
 
2510
            The first element of the tuple is the new test id.
 
2511
            The second element is a dict containing attributes to set on the
 
2512
            test.
 
2513
        :return: The adapted test.
 
2514
        """
 
2515
        from copy import deepcopy
 
2516
        new_test = deepcopy(test)
 
2517
        for name, value in scenario[1].items():
 
2518
            setattr(new_test, name, value)
 
2519
        new_id = "%s(%s)" % (new_test.id(), scenario[0])
 
2520
        new_test.id = lambda: new_id
 
2521
        return new_test