~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/HTTPTestUtil.py

  • Committer: Vincent Ladeuil
  • Date: 2007-10-09 20:32:29 UTC
  • mto: (2903.1.1 trunk)
  • mto: This revision was merged to the branch mainline in revision 2904.
  • Revision ID: v.ladeuil+lp@free.fr-20071009203229-5k200m1g7mf4jf9l
Fix 149019 by using a proper line number when reporting errors.

* bzrlib/util/configobj/configobj.py:
(ConfigObj._handle_error): Trivial fix. Since cur_index is
0-based, line number was off by one.

Show diffs side-by-side

added added

removed removed

Lines of Context:
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
from cStringIO import StringIO
18
18
import errno
 
19
import md5
 
20
from SimpleHTTPServer import SimpleHTTPRequestHandler
19
21
import re
 
22
import sha
20
23
import socket
21
 
import threading
22
24
import time
23
25
import urllib2
24
26
import urlparse
25
27
 
26
 
 
27
 
from bzrlib import (
28
 
    errors,
29
 
    osutils,
30
 
    tests,
 
28
from bzrlib.smart import protocol
 
29
from bzrlib.tests import TestCaseWithTransport
 
30
from bzrlib.tests.HttpServer import (
 
31
    HttpServer,
 
32
    TestingHTTPRequestHandler,
31
33
    )
32
 
from bzrlib.smart import medium, protocol
33
 
from bzrlib.tests import http_server
34
34
from bzrlib.transport import (
35
 
    chroot,
36
35
    get_transport,
37
36
    )
38
37
 
39
38
 
40
 
class HTTPServerWithSmarts(http_server.HttpServer):
 
39
class WallRequestHandler(TestingHTTPRequestHandler):
 
40
    """Whatever request comes in, close the connection"""
 
41
 
 
42
    def handle_one_request(self):
 
43
        """Handle a single HTTP request, by abruptly closing the connection"""
 
44
        self.close_connection = 1
 
45
 
 
46
 
 
47
class BadStatusRequestHandler(TestingHTTPRequestHandler):
 
48
    """Whatever request comes in, returns a bad status"""
 
49
 
 
50
    def parse_request(self):
 
51
        """Fakes handling a single HTTP request, returns a bad status"""
 
52
        ignored = TestingHTTPRequestHandler.parse_request(self)
 
53
        try:
 
54
            self.send_response(0, "Bad status")
 
55
            self.end_headers()
 
56
        except socket.error, e:
 
57
            # We don't want to pollute the test results with
 
58
            # spurious server errors while test succeed. In our
 
59
            # case, it may occur that the test has already read
 
60
            # the 'Bad Status' and closed the socket while we are
 
61
            # still trying to send some headers... So the test is
 
62
            # ok, but if we raise the exception, the output is
 
63
            # dirty. So we don't raise, but we close the
 
64
            # connection, just to be safe :)
 
65
            spurious = [errno.EPIPE,
 
66
                        errno.ECONNRESET,
 
67
                        errno.ECONNABORTED,
 
68
                        ]
 
69
            if (len(e.args) > 0) and (e.args[0] in spurious):
 
70
                self.close_connection = 1
 
71
                pass
 
72
            else:
 
73
                raise
 
74
        return False
 
75
 
 
76
 
 
77
class InvalidStatusRequestHandler(TestingHTTPRequestHandler):
 
78
    """Whatever request comes in, returns am invalid status"""
 
79
 
 
80
    def parse_request(self):
 
81
        """Fakes handling a single HTTP request, returns a bad status"""
 
82
        ignored = TestingHTTPRequestHandler.parse_request(self)
 
83
        self.wfile.write("Invalid status line\r\n")
 
84
        return False
 
85
 
 
86
 
 
87
class BadProtocolRequestHandler(TestingHTTPRequestHandler):
 
88
    """Whatever request comes in, returns a bad protocol version"""
 
89
 
 
90
    def parse_request(self):
 
91
        """Fakes handling a single HTTP request, returns a bad status"""
 
92
        ignored = TestingHTTPRequestHandler.parse_request(self)
 
93
        # Returns an invalid protocol version, but curl just
 
94
        # ignores it and those cannot be tested.
 
95
        self.wfile.write("%s %d %s\r\n" % ('HTTP/0.0',
 
96
                                           404,
 
97
                                           'Look at my protocol version'))
 
98
        return False
 
99
 
 
100
 
 
101
class ForbiddenRequestHandler(TestingHTTPRequestHandler):
 
102
    """Whatever request comes in, returns a 403 code"""
 
103
 
 
104
    def parse_request(self):
 
105
        """Handle a single HTTP request, by replying we cannot handle it"""
 
106
        ignored = TestingHTTPRequestHandler.parse_request(self)
 
107
        self.send_error(403)
 
108
        return False
 
109
 
 
110
 
 
111
class HTTPServerWithSmarts(HttpServer):
41
112
    """HTTPServerWithSmarts extends the HttpServer with POST methods that will
42
113
    trigger a smart server to execute with a transport rooted at the rootdir of
43
114
    the HTTP server.
44
115
    """
45
116
 
46
 
    def __init__(self, protocol_version=None):
47
 
        http_server.HttpServer.__init__(self, SmartRequestHandler,
48
 
                                        protocol_version=protocol_version)
49
 
 
50
 
 
51
 
class SmartRequestHandler(http_server.TestingHTTPRequestHandler):
52
 
    """Extend TestingHTTPRequestHandler to support smart client POSTs.
53
 
 
54
 
    XXX: This duplicates a fair bit of the logic in bzrlib.transport.http.wsgi.
55
 
    """
 
117
    def __init__(self):
 
118
        HttpServer.__init__(self, SmartRequestHandler)
 
119
 
 
120
 
 
121
class SmartRequestHandler(TestingHTTPRequestHandler):
 
122
    """Extend TestingHTTPRequestHandler to support smart client POSTs."""
56
123
 
57
124
    def do_POST(self):
58
125
        """Hand the request off to a smart server instance."""
59
 
        backing = get_transport(self.server.test_case_server._home_dir)
60
 
        chroot_server = chroot.ChrootServer(backing)
61
 
        chroot_server.setUp()
62
 
        try:
63
 
            t = get_transport(chroot_server.get_url())
64
 
            self.do_POST_inner(t)
65
 
        finally:
66
 
            chroot_server.tearDown()
67
 
 
68
 
    def do_POST_inner(self, chrooted_transport):
69
126
        self.send_response(200)
70
127
        self.send_header("Content-type", "application/octet-stream")
71
 
        if not self.path.endswith('.bzr/smart'):
72
 
            raise AssertionError(
73
 
                'POST to path not ending in .bzr/smart: %r' % (self.path,))
74
 
        t = chrooted_transport.clone(self.path[:-len('.bzr/smart')])
75
 
        # if this fails, we should return 400 bad request, but failure is
76
 
        # failure for now - RBC 20060919
77
 
        data_length = int(self.headers['Content-Length'])
 
128
        transport = get_transport(self.server.test_case_server._home_dir)
78
129
        # TODO: We might like to support streaming responses.  1.0 allows no
79
130
        # Content-length in this case, so for integrity we should perform our
80
131
        # own chunking within the stream.
82
133
        # the HTTP chunking as this will allow HTTP persistence safely, even if
83
134
        # we have to stop early due to error, but we would also have to use the
84
135
        # HTTP trailer facility which may not be widely available.
85
 
        request_bytes = self.rfile.read(data_length)
86
 
        protocol_factory, unused_bytes = medium._get_protocol_factory_for_bytes(
87
 
            request_bytes)
88
136
        out_buffer = StringIO()
89
 
        smart_protocol_request = protocol_factory(t, out_buffer.write, '/')
 
137
        smart_protocol_request = protocol.SmartServerRequestProtocolOne(
 
138
                transport, out_buffer.write)
 
139
        # if this fails, we should return 400 bad request, but failure is
 
140
        # failure for now - RBC 20060919
 
141
        data_length = int(self.headers['Content-Length'])
90
142
        # Perhaps there should be a SmartServerHTTPMedium that takes care of
91
143
        # feeding the bytes in the http request to the smart_protocol_request,
92
144
        # but for now it's simpler to just feed the bytes directly.
93
 
        smart_protocol_request.accept_bytes(unused_bytes)
94
 
        if not (smart_protocol_request.next_read_size() == 0):
95
 
            raise errors.SmartProtocolError(
96
 
                "not finished reading, but all data sent to protocol.")
 
145
        smart_protocol_request.accept_bytes(self.rfile.read(data_length))
 
146
        assert smart_protocol_request.next_read_size() == 0, (
 
147
            "not finished reading, but all data sent to protocol.")
97
148
        self.send_header("Content-Length", str(len(out_buffer.getvalue())))
98
149
        self.end_headers()
99
150
        self.wfile.write(out_buffer.getvalue())
100
151
 
101
152
 
102
 
class TestCaseWithWebserver(tests.TestCaseWithTransport):
 
153
class LimitedRangeRequestHandler(TestingHTTPRequestHandler):
 
154
    """Errors out when range specifiers exceed the limit"""
 
155
 
 
156
    def get_multiple_ranges(self, file, file_size, ranges):
 
157
        """Refuses the multiple ranges request"""
 
158
        tcs = self.server.test_case_server
 
159
        if tcs.range_limit is not None and len(ranges) > tcs.range_limit:
 
160
            file.close()
 
161
            # Emulate apache behavior
 
162
            self.send_error(400, "Bad Request")
 
163
            return
 
164
        return TestingHTTPRequestHandler.get_multiple_ranges(self, file,
 
165
                                                             file_size, ranges)
 
166
 
 
167
    def do_GET(self):
 
168
        tcs = self.server.test_case_server
 
169
        tcs.GET_request_nb += 1
 
170
        return TestingHTTPRequestHandler.do_GET(self)
 
171
 
 
172
 
 
173
class LimitedRangeHTTPServer(HttpServer):
 
174
    """An HttpServer erroring out on requests with too much range specifiers"""
 
175
 
 
176
    def __init__(self, request_handler=LimitedRangeRequestHandler,
 
177
                 range_limit=None):
 
178
        HttpServer.__init__(self, request_handler)
 
179
        self.range_limit = range_limit
 
180
        self.GET_request_nb = 0
 
181
 
 
182
 
 
183
class SingleRangeRequestHandler(TestingHTTPRequestHandler):
 
184
    """Always reply to range request as if they were single.
 
185
 
 
186
    Don't be explicit about it, just to annoy the clients.
 
187
    """
 
188
 
 
189
    def get_multiple_ranges(self, file, file_size, ranges):
 
190
        """Answer as if it was a single range request and ignores the rest"""
 
191
        (start, end) = ranges[0]
 
192
        return self.get_single_range(file, file_size, start, end)
 
193
 
 
194
 
 
195
class SingleOnlyRangeRequestHandler(TestingHTTPRequestHandler):
 
196
    """Only reply to simple range requests, errors out on multiple"""
 
197
 
 
198
    def get_multiple_ranges(self, file, file_size, ranges):
 
199
        """Refuses the multiple ranges request"""
 
200
        if len(ranges) > 1:
 
201
            file.close()
 
202
            self.send_error(416, "Requested range not satisfiable")
 
203
            return
 
204
        (start, end) = ranges[0]
 
205
        return self.get_single_range(file, file_size, start, end)
 
206
 
 
207
 
 
208
class NoRangeRequestHandler(TestingHTTPRequestHandler):
 
209
    """Ignore range requests without notice"""
 
210
 
 
211
    # Just bypass the range handling done by TestingHTTPRequestHandler
 
212
    do_GET = SimpleHTTPRequestHandler.do_GET
 
213
 
 
214
 
 
215
class TestCaseWithWebserver(TestCaseWithTransport):
103
216
    """A support class that provides readonly urls that are http://.
104
217
 
105
218
    This is done by forcing the readonly server to be an http
108
221
    """
109
222
    def setUp(self):
110
223
        super(TestCaseWithWebserver, self).setUp()
111
 
        self.transport_readonly_server = http_server.HttpServer
 
224
        self.transport_readonly_server = HttpServer
112
225
 
113
226
 
114
227
class TestCaseWithTwoWebservers(TestCaseWithWebserver):
119
232
    """
120
233
    def setUp(self):
121
234
        super(TestCaseWithTwoWebservers, self).setUp()
122
 
        self.transport_secondary_server = http_server.HttpServer
 
235
        self.transport_secondary_server = HttpServer
123
236
        self.__secondary_server = None
124
237
 
125
238
    def create_transport_secondary_server(self):
138
251
        return self.__secondary_server
139
252
 
140
253
 
141
 
class ProxyServer(http_server.HttpServer):
 
254
class ProxyServer(HttpServer):
142
255
    """A proxy test server for http transports."""
143
256
 
144
257
    proxy_requests = True
145
258
 
146
259
 
147
 
class RedirectRequestHandler(http_server.TestingHTTPRequestHandler):
 
260
class RedirectRequestHandler(TestingHTTPRequestHandler):
148
261
    """Redirect all request to the specified server"""
149
262
 
150
263
    def parse_request(self):
151
264
        """Redirect a single HTTP request to another host"""
152
 
        valid = http_server.TestingHTTPRequestHandler.parse_request(self)
 
265
        valid = TestingHTTPRequestHandler.parse_request(self)
153
266
        if valid:
154
267
            tcs = self.server.test_case_server
155
268
            code, target = tcs.is_redirected(self.path)
157
270
                # Redirect as instructed
158
271
                self.send_response(code)
159
272
                self.send_header('Location', target)
160
 
                # We do not send a body
161
 
                self.send_header('Content-Length', '0')
162
273
                self.end_headers()
163
274
                return False # The job is done
164
275
            else:
167
278
        return valid
168
279
 
169
280
 
170
 
class HTTPServerRedirecting(http_server.HttpServer):
 
281
class HTTPServerRedirecting(HttpServer):
171
282
    """An HttpServer redirecting to another server """
172
283
 
173
 
    def __init__(self, request_handler=RedirectRequestHandler,
174
 
                 protocol_version=None):
175
 
        http_server.HttpServer.__init__(self, request_handler,
176
 
                                        protocol_version=protocol_version)
 
284
    def __init__(self, request_handler=RedirectRequestHandler):
 
285
        HttpServer.__init__(self, request_handler)
177
286
        # redirections is a list of tuples (source, target, code)
178
287
        # - source is a regexp for the paths requested
179
288
        # - target is a replacement for re.sub describing where
231
340
       self.old_server = self.get_secondary_server()
232
341
 
233
342
 
234
 
class AuthRequestHandler(http_server.TestingHTTPRequestHandler):
 
343
class AuthRequestHandler(TestingHTTPRequestHandler):
235
344
    """Requires an authentication to process requests.
236
345
 
237
346
    This is intended to be used with a server that always and
246
355
 
247
356
    def do_GET(self):
248
357
        if self.authorized():
249
 
            return http_server.TestingHTTPRequestHandler.do_GET(self)
 
358
            return TestingHTTPRequestHandler.do_GET(self)
250
359
        else:
251
360
            # Note that we must update test_case_server *before*
252
361
            # sending the error or the client may try to read it
255
364
            tcs.auth_required_errors += 1
256
365
            self.send_response(tcs.auth_error_code)
257
366
            self.send_header_auth_reqed()
258
 
            # We do not send a body
259
 
            self.send_header('Content-Length', '0')
260
367
            self.end_headers()
261
368
            return
262
369
 
297
404
 
298
405
    def authorized(self):
299
406
        tcs = self.server.test_case_server
 
407
        if tcs.auth_scheme != 'digest':
 
408
            return False
300
409
 
301
410
        auth_header = self.headers.get(tcs.auth_header_recv, None)
302
411
        if auth_header is None:
317
426
        self.send_header(tcs.auth_header_sent,header)
318
427
 
319
428
 
320
 
class DigestAndBasicAuthRequestHandler(DigestAuthRequestHandler):
321
 
    """Implements a digest and basic authentication of a request.
322
 
 
323
 
    I.e. the server proposes both schemes and the client should choose the best
324
 
    one it can handle, which, in that case, should be digest, the only scheme
325
 
    accepted here.
326
 
    """
327
 
 
328
 
    def send_header_auth_reqed(self):
329
 
        tcs = self.server.test_case_server
330
 
        self.send_header(tcs.auth_header_sent,
331
 
                         'Basic realm="%s"' % tcs.auth_realm)
332
 
        header = 'Digest realm="%s", ' % tcs.auth_realm
333
 
        header += 'nonce="%s", algorithm="%s", qop="auth"' % (tcs.auth_nonce,
334
 
                                                              'MD5')
335
 
        self.send_header(tcs.auth_header_sent,header)
336
 
 
337
 
 
338
 
class AuthServer(http_server.HttpServer):
 
429
class AuthServer(HttpServer):
339
430
    """Extends HttpServer with a dictionary of passwords.
340
431
 
341
432
    This is used as a base class for various schemes which should
352
443
    auth_error_code = None
353
444
    auth_realm = "Thou should not pass"
354
445
 
355
 
    def __init__(self, request_handler, auth_scheme,
356
 
                 protocol_version=None):
357
 
        http_server.HttpServer.__init__(self, request_handler,
358
 
                                        protocol_version=protocol_version)
 
446
    def __init__(self, request_handler, auth_scheme):
 
447
        HttpServer.__init__(self, request_handler)
359
448
        self.auth_scheme = auth_scheme
360
449
        self.password_of = {}
361
450
        self.auth_required_errors = 0
375
464
 
376
465
 
377
466
# FIXME: There is some code duplication with
378
 
# _urllib2_wrappers.py.DigestAuthHandler. If that duplication
 
467
# _urllib2_wrappers.py.DigestAuthHandler. If that duplciation
379
468
# grows, it may require a refactoring. Also, we don't implement
380
469
# SHA algorithm nor MD5-sess here, but that does not seem worth
381
470
# it.
384
473
 
385
474
    auth_nonce = 'now!'
386
475
 
387
 
    def __init__(self, request_handler, auth_scheme,
388
 
                 protocol_version=None):
389
 
        AuthServer.__init__(self, request_handler, auth_scheme,
390
 
                            protocol_version=protocol_version)
 
476
    def __init__(self, request_handler, auth_scheme):
 
477
        AuthServer.__init__(self, request_handler, auth_scheme)
391
478
 
392
479
    def digest_authorized(self, auth, command):
393
480
        nonce = auth['nonce']
413
500
        A1 = '%s:%s:%s' % (user, realm, password)
414
501
        A2 = '%s:%s' % (command, auth['uri'])
415
502
 
416
 
        H = lambda x: osutils.md5(x).hexdigest()
 
503
        H = lambda x: md5.new(x).hexdigest()
417
504
        KD = lambda secret, data: H("%s:%s" % (secret, data))
418
505
 
419
506
        nonce_count = int(auth['nc'], 16)
426
513
 
427
514
        return response_digest == auth['response']
428
515
 
429
 
 
430
516
class HTTPAuthServer(AuthServer):
431
517
    """An HTTP server requiring authentication"""
432
518
 
449
535
class HTTPBasicAuthServer(HTTPAuthServer):
450
536
    """An HTTP server requiring basic authentication"""
451
537
 
452
 
    def __init__(self, protocol_version=None):
453
 
        HTTPAuthServer.__init__(self, BasicAuthRequestHandler, 'basic',
454
 
                                protocol_version=protocol_version)
 
538
    def __init__(self):
 
539
        HTTPAuthServer.__init__(self, BasicAuthRequestHandler, 'basic')
455
540
        self.init_http_auth()
456
541
 
457
542
 
458
543
class HTTPDigestAuthServer(DigestAuthServer, HTTPAuthServer):
459
544
    """An HTTP server requiring digest authentication"""
460
545
 
461
 
    def __init__(self, protocol_version=None):
462
 
        DigestAuthServer.__init__(self, DigestAuthRequestHandler, 'digest',
463
 
                                  protocol_version=protocol_version)
464
 
        self.init_http_auth()
465
 
 
466
 
 
467
 
class HTTPBasicAndDigestAuthServer(DigestAuthServer, HTTPAuthServer):
468
 
    """An HTTP server requiring basic or digest authentication"""
469
 
 
470
 
    def __init__(self, protocol_version=None):
471
 
        DigestAuthServer.__init__(self, DigestAndBasicAuthRequestHandler,
472
 
                                  'basicdigest',
473
 
                                  protocol_version=protocol_version)
474
 
        self.init_http_auth()
475
 
        # We really accept Digest only
476
 
        self.auth_scheme = 'digest'
 
546
    def __init__(self):
 
547
        DigestAuthServer.__init__(self, DigestAuthRequestHandler, 'digest')
 
548
        self.init_http_auth()
477
549
 
478
550
 
479
551
class ProxyBasicAuthServer(ProxyAuthServer):
480
552
    """A proxy server requiring basic authentication"""
481
553
 
482
 
    def __init__(self, protocol_version=None):
483
 
        ProxyAuthServer.__init__(self, BasicAuthRequestHandler, 'basic',
484
 
                                 protocol_version=protocol_version)
 
554
    def __init__(self):
 
555
        ProxyAuthServer.__init__(self, BasicAuthRequestHandler, 'basic')
485
556
        self.init_proxy_auth()
486
557
 
487
558
 
488
559
class ProxyDigestAuthServer(DigestAuthServer, ProxyAuthServer):
489
560
    """A proxy server requiring basic authentication"""
490
561
 
491
 
    def __init__(self, protocol_version=None):
492
 
        ProxyAuthServer.__init__(self, DigestAuthRequestHandler, 'digest',
493
 
                                 protocol_version=protocol_version)
494
 
        self.init_proxy_auth()
495
 
 
496
 
 
497
 
class ProxyBasicAndDigestAuthServer(DigestAuthServer, ProxyAuthServer):
498
 
    """An proxy server requiring basic or digest authentication"""
499
 
 
500
 
    def __init__(self, protocol_version=None):
501
 
        DigestAuthServer.__init__(self, DigestAndBasicAuthRequestHandler,
502
 
                                  'basicdigest',
503
 
                                  protocol_version=protocol_version)
504
 
        self.init_proxy_auth()
505
 
        # We really accept Digest only
506
 
        self.auth_scheme = 'digest'
 
562
    def __init__(self):
 
563
        ProxyAuthServer.__init__(self, DigestAuthRequestHandler, 'digest')
 
564
        self.init_proxy_auth()
507
565
 
508
566