~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/http_utils.py

  • Committer: Vincent Ladeuil
  • Date: 2008-01-03 08:49:38 UTC
  • mfrom: (3111.1.31 175524)
  • mto: This revision was merged to the branch mainline in revision 3158.
  • Revision ID: v.ladeuil+lp@free.fr-20080103084938-7kvurk5uvde2ui54
Fix bug #175524, http test servers are 1.1 compliant

Show diffs side-by-side

added added

removed removed

Lines of Context:
17
17
from cStringIO import StringIO
18
18
import errno
19
19
import md5
20
 
from SimpleHTTPServer import SimpleHTTPRequestHandler
21
20
import re
22
21
import sha
23
22
import socket
 
23
import threading
24
24
import time
25
25
import urllib2
26
26
import urlparse
27
27
 
 
28
 
 
29
from bzrlib import (
 
30
    tests,
 
31
    transport,
 
32
    )
28
33
from bzrlib.smart import protocol
29
 
from bzrlib.tests import TestCaseWithTransport
30
 
from bzrlib.tests.HttpServer import (
31
 
    HttpServer,
32
 
    TestingHTTPRequestHandler,
33
 
    )
34
 
from bzrlib.transport import (
35
 
    get_transport,
36
 
    )
37
 
 
38
 
 
39
 
class WallRequestHandler(TestingHTTPRequestHandler):
40
 
    """Whatever request comes in, close the connection"""
41
 
 
42
 
    def handle_one_request(self):
43
 
        """Handle a single HTTP request, by abruptly closing the connection"""
44
 
        self.close_connection = 1
45
 
 
46
 
 
47
 
class BadStatusRequestHandler(TestingHTTPRequestHandler):
48
 
    """Whatever request comes in, returns a bad status"""
49
 
 
50
 
    def parse_request(self):
51
 
        """Fakes handling a single HTTP request, returns a bad status"""
52
 
        ignored = TestingHTTPRequestHandler.parse_request(self)
53
 
        try:
54
 
            self.send_response(0, "Bad status")
55
 
            self.end_headers()
56
 
        except socket.error, e:
57
 
            # We don't want to pollute the test results with
58
 
            # spurious server errors while test succeed. In our
59
 
            # case, it may occur that the test has already read
60
 
            # the 'Bad Status' and closed the socket while we are
61
 
            # still trying to send some headers... So the test is
62
 
            # ok, but if we raise the exception, the output is
63
 
            # dirty. So we don't raise, but we close the
64
 
            # connection, just to be safe :)
65
 
            spurious = [errno.EPIPE,
66
 
                        errno.ECONNRESET,
67
 
                        errno.ECONNABORTED,
68
 
                        ]
69
 
            if (len(e.args) > 0) and (e.args[0] in spurious):
70
 
                self.close_connection = 1
71
 
                pass
72
 
            else:
73
 
                raise
74
 
        return False
75
 
 
76
 
 
77
 
class InvalidStatusRequestHandler(TestingHTTPRequestHandler):
78
 
    """Whatever request comes in, returns am invalid status"""
79
 
 
80
 
    def parse_request(self):
81
 
        """Fakes handling a single HTTP request, returns a bad status"""
82
 
        ignored = TestingHTTPRequestHandler.parse_request(self)
83
 
        self.wfile.write("Invalid status line\r\n")
84
 
        return False
85
 
 
86
 
 
87
 
class BadProtocolRequestHandler(TestingHTTPRequestHandler):
88
 
    """Whatever request comes in, returns a bad protocol version"""
89
 
 
90
 
    def parse_request(self):
91
 
        """Fakes handling a single HTTP request, returns a bad status"""
92
 
        ignored = TestingHTTPRequestHandler.parse_request(self)
93
 
        # Returns an invalid protocol version, but curl just
94
 
        # ignores it and those cannot be tested.
95
 
        self.wfile.write("%s %d %s\r\n" % ('HTTP/0.0',
96
 
                                           404,
97
 
                                           'Look at my protocol version'))
98
 
        return False
99
 
 
100
 
 
101
 
class ForbiddenRequestHandler(TestingHTTPRequestHandler):
102
 
    """Whatever request comes in, returns a 403 code"""
103
 
 
104
 
    def parse_request(self):
105
 
        """Handle a single HTTP request, by replying we cannot handle it"""
106
 
        ignored = TestingHTTPRequestHandler.parse_request(self)
107
 
        self.send_error(403)
108
 
        return False
109
 
 
110
 
 
111
 
class HTTPServerWithSmarts(HttpServer):
 
34
from bzrlib.tests import http_server
 
35
 
 
36
 
 
37
class HTTPServerWithSmarts(http_server.HttpServer):
112
38
    """HTTPServerWithSmarts extends the HttpServer with POST methods that will
113
39
    trigger a smart server to execute with a transport rooted at the rootdir of
114
40
    the HTTP server.
115
41
    """
116
42
 
117
 
    def __init__(self):
118
 
        HttpServer.__init__(self, SmartRequestHandler)
119
 
 
120
 
 
121
 
class SmartRequestHandler(TestingHTTPRequestHandler):
 
43
    def __init__(self, protocol_version=None):
 
44
        http_server.HttpServer.__init__(self, SmartRequestHandler,
 
45
                                        protocol_version=protocol_version)
 
46
 
 
47
 
 
48
class SmartRequestHandler(http_server.TestingHTTPRequestHandler):
122
49
    """Extend TestingHTTPRequestHandler to support smart client POSTs."""
123
50
 
124
51
    def do_POST(self):
125
52
        """Hand the request off to a smart server instance."""
126
53
        self.send_response(200)
127
54
        self.send_header("Content-type", "application/octet-stream")
128
 
        transport = get_transport(self.server.test_case_server._home_dir)
 
55
        t = transport.get_transport(self.server.test_case_server._home_dir)
129
56
        # TODO: We might like to support streaming responses.  1.0 allows no
130
57
        # Content-length in this case, so for integrity we should perform our
131
58
        # own chunking within the stream.
135
62
        # HTTP trailer facility which may not be widely available.
136
63
        out_buffer = StringIO()
137
64
        smart_protocol_request = protocol.SmartServerRequestProtocolOne(
138
 
                transport, out_buffer.write)
 
65
                t, out_buffer.write)
139
66
        # if this fails, we should return 400 bad request, but failure is
140
67
        # failure for now - RBC 20060919
141
68
        data_length = int(self.headers['Content-Length'])
150
77
        self.wfile.write(out_buffer.getvalue())
151
78
 
152
79
 
153
 
class SingleRangeRequestHandler(TestingHTTPRequestHandler):
154
 
    """Always reply to range request as if they were single.
155
 
 
156
 
    Don't be explicit about it, just to annoy the clients.
157
 
    """
158
 
 
159
 
    def get_multiple_ranges(self, file, file_size, ranges):
160
 
        """Answer as if it was a single range request and ignores the rest"""
161
 
        (start, end) = ranges[0]
162
 
        return self.get_single_range(file, file_size, start, end)
163
 
 
164
 
 
165
 
class SingleOnlyRangeRequestHandler(TestingHTTPRequestHandler):
166
 
    """Only reply to simple range requests, errors out on multiple"""
167
 
 
168
 
    def get_multiple_ranges(self, file, file_size, ranges):
169
 
        """Refuses the multiple ranges request"""
170
 
        if len(ranges) > 1:
171
 
            file.close()
172
 
            self.send_error(416, "Requested range not satisfiable")
173
 
            return
174
 
        (start, end) = ranges[0]
175
 
        return self.get_single_range(file, file_size, start, end)
176
 
 
177
 
 
178
 
class NoRangeRequestHandler(TestingHTTPRequestHandler):
179
 
    """Ignore range requests without notice"""
180
 
 
181
 
    # Just bypass the range handling done by TestingHTTPRequestHandler
182
 
    do_GET = SimpleHTTPRequestHandler.do_GET
183
 
 
184
 
 
185
 
class TestCaseWithWebserver(TestCaseWithTransport):
 
80
class TestCaseWithWebserver(tests.TestCaseWithTransport):
186
81
    """A support class that provides readonly urls that are http://.
187
82
 
188
83
    This is done by forcing the readonly server to be an http
191
86
    """
192
87
    def setUp(self):
193
88
        super(TestCaseWithWebserver, self).setUp()
194
 
        self.transport_readonly_server = HttpServer
 
89
        self.transport_readonly_server = http_server.HttpServer
195
90
 
196
91
 
197
92
class TestCaseWithTwoWebservers(TestCaseWithWebserver):
202
97
    """
203
98
    def setUp(self):
204
99
        super(TestCaseWithTwoWebservers, self).setUp()
205
 
        self.transport_secondary_server = HttpServer
 
100
        self.transport_secondary_server = http_server.HttpServer
206
101
        self.__secondary_server = None
207
102
 
208
103
    def create_transport_secondary_server(self):
221
116
        return self.__secondary_server
222
117
 
223
118
 
224
 
class ProxyServer(HttpServer):
 
119
class ProxyServer(http_server.HttpServer):
225
120
    """A proxy test server for http transports."""
226
121
 
227
122
    proxy_requests = True
228
123
 
229
124
 
230
 
class RedirectRequestHandler(TestingHTTPRequestHandler):
 
125
class RedirectRequestHandler(http_server.TestingHTTPRequestHandler):
231
126
    """Redirect all request to the specified server"""
232
127
 
233
128
    def parse_request(self):
234
129
        """Redirect a single HTTP request to another host"""
235
 
        valid = TestingHTTPRequestHandler.parse_request(self)
 
130
        valid = http_server.TestingHTTPRequestHandler.parse_request(self)
236
131
        if valid:
237
132
            tcs = self.server.test_case_server
238
133
            code, target = tcs.is_redirected(self.path)
240
135
                # Redirect as instructed
241
136
                self.send_response(code)
242
137
                self.send_header('Location', target)
 
138
                # We do not send a body
 
139
                self.send_header('Content-Length', '0')
243
140
                self.end_headers()
244
141
                return False # The job is done
245
142
            else:
248
145
        return valid
249
146
 
250
147
 
251
 
class HTTPServerRedirecting(HttpServer):
 
148
class HTTPServerRedirecting(http_server.HttpServer):
252
149
    """An HttpServer redirecting to another server """
253
150
 
254
 
    def __init__(self, request_handler=RedirectRequestHandler):
255
 
        HttpServer.__init__(self, request_handler)
 
151
    def __init__(self, request_handler=RedirectRequestHandler,
 
152
                 protocol_version=None):
 
153
        http_server.HttpServer.__init__(self, request_handler,
 
154
                                        protocol_version=protocol_version)
256
155
        # redirections is a list of tuples (source, target, code)
257
156
        # - source is a regexp for the paths requested
258
157
        # - target is a replacement for re.sub describing where
310
209
       self.old_server = self.get_secondary_server()
311
210
 
312
211
 
313
 
class AuthRequestHandler(TestingHTTPRequestHandler):
 
212
class AuthRequestHandler(http_server.TestingHTTPRequestHandler):
314
213
    """Requires an authentication to process requests.
315
214
 
316
215
    This is intended to be used with a server that always and
325
224
 
326
225
    def do_GET(self):
327
226
        if self.authorized():
328
 
            return TestingHTTPRequestHandler.do_GET(self)
 
227
            return http_server.TestingHTTPRequestHandler.do_GET(self)
329
228
        else:
330
229
            # Note that we must update test_case_server *before*
331
230
            # sending the error or the client may try to read it
334
233
            tcs.auth_required_errors += 1
335
234
            self.send_response(tcs.auth_error_code)
336
235
            self.send_header_auth_reqed()
 
236
            # We do not send a body
 
237
            self.send_header('Content-Length', '0')
337
238
            self.end_headers()
338
239
            return
339
240
 
340
 
        TestingHTTPRequestHandler.do_GET(self)
341
 
 
342
241
 
343
242
class BasicAuthRequestHandler(AuthRequestHandler):
344
243
    """Implements the basic authentication of a request"""
393
292
    def send_header_auth_reqed(self):
394
293
        tcs = self.server.test_case_server
395
294
        header = 'Digest realm="%s", ' % tcs.auth_realm
396
 
        header += 'nonce="%s", algorithm=%s, qop=auth' % (tcs.auth_nonce, 'MD5')
 
295
        header += 'nonce="%s", algorithm="%s", qop="auth"' % (tcs.auth_nonce,
 
296
                                                              'MD5')
397
297
        self.send_header(tcs.auth_header_sent,header)
398
298
 
399
299
 
400
 
class AuthServer(HttpServer):
 
300
class AuthServer(http_server.HttpServer):
401
301
    """Extends HttpServer with a dictionary of passwords.
402
302
 
403
303
    This is used as a base class for various schemes which should
414
314
    auth_error_code = None
415
315
    auth_realm = "Thou should not pass"
416
316
 
417
 
    def __init__(self, request_handler, auth_scheme):
418
 
        HttpServer.__init__(self, request_handler)
 
317
    def __init__(self, request_handler, auth_scheme,
 
318
                 protocol_version=None):
 
319
        http_server.HttpServer.__init__(self, request_handler,
 
320
                                        protocol_version=protocol_version)
419
321
        self.auth_scheme = auth_scheme
420
322
        self.password_of = {}
421
323
        self.auth_required_errors = 0
435
337
 
436
338
 
437
339
# FIXME: There is some code duplication with
438
 
# _urllib2_wrappers.py.DigestAuthHandler. If that duplciation
 
340
# _urllib2_wrappers.py.DigestAuthHandler. If that duplication
439
341
# grows, it may require a refactoring. Also, we don't implement
440
342
# SHA algorithm nor MD5-sess here, but that does not seem worth
441
343
# it.
444
346
 
445
347
    auth_nonce = 'now!'
446
348
 
447
 
    def __init__(self, request_handler, auth_scheme):
448
 
        AuthServer.__init__(self, request_handler, auth_scheme)
 
349
    def __init__(self, request_handler, auth_scheme,
 
350
                 protocol_version=None):
 
351
        AuthServer.__init__(self, request_handler, auth_scheme,
 
352
                            protocol_version=protocol_version)
449
353
 
450
354
    def digest_authorized(self, auth, command):
451
355
        nonce = auth['nonce']
506
410
class HTTPBasicAuthServer(HTTPAuthServer):
507
411
    """An HTTP server requiring basic authentication"""
508
412
 
509
 
    def __init__(self):
510
 
        HTTPAuthServer.__init__(self, BasicAuthRequestHandler, 'basic')
 
413
    def __init__(self, protocol_version=None):
 
414
        HTTPAuthServer.__init__(self, BasicAuthRequestHandler, 'basic',
 
415
                                protocol_version=protocol_version)
511
416
        self.init_http_auth()
512
417
 
513
418
 
514
419
class HTTPDigestAuthServer(DigestAuthServer, HTTPAuthServer):
515
420
    """An HTTP server requiring digest authentication"""
516
421
 
517
 
    def __init__(self):
518
 
        DigestAuthServer.__init__(self, DigestAuthRequestHandler, 'digest')
 
422
    def __init__(self, protocol_version=None):
 
423
        DigestAuthServer.__init__(self, DigestAuthRequestHandler, 'digest',
 
424
                                  protocol_version=protocol_version)
519
425
        self.init_http_auth()
520
426
 
521
427
 
522
428
class ProxyBasicAuthServer(ProxyAuthServer):
523
429
    """A proxy server requiring basic authentication"""
524
430
 
525
 
    def __init__(self):
526
 
        ProxyAuthServer.__init__(self, BasicAuthRequestHandler, 'basic')
 
431
    def __init__(self, protocol_version=None):
 
432
        ProxyAuthServer.__init__(self, BasicAuthRequestHandler, 'basic',
 
433
                                 protocol_version=protocol_version)
527
434
        self.init_proxy_auth()
528
435
 
529
436
 
530
437
class ProxyDigestAuthServer(DigestAuthServer, ProxyAuthServer):
531
438
    """A proxy server requiring basic authentication"""
532
439
 
533
 
    def __init__(self):
534
 
        ProxyAuthServer.__init__(self, DigestAuthRequestHandler, 'digest')
 
440
    def __init__(self, protocol_version=None):
 
441
        ProxyAuthServer.__init__(self, DigestAuthRequestHandler, 'digest',
 
442
                                 protocol_version=protocol_version)
535
443
        self.init_proxy_auth()
536
444
 
537
445