~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/http_utils.py

merge bzr.dev.

Show diffs side-by-side

added added

removed removed

Lines of Context:
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
from cStringIO import StringIO
18
18
import errno
19
 
import md5
20
 
from SimpleHTTPServer import SimpleHTTPRequestHandler
21
19
import re
22
 
import sha
23
20
import socket
 
21
import threading
24
22
import time
25
23
import urllib2
26
24
import urlparse
27
25
 
28
 
from bzrlib.smart import protocol
29
 
from bzrlib.tests import TestCaseWithTransport
30
 
from bzrlib.tests.HttpServer import (
31
 
    HttpServer,
32
 
    TestingHTTPRequestHandler,
 
26
 
 
27
from bzrlib import (
 
28
    errors,
 
29
    osutils,
 
30
    tests,
33
31
    )
 
32
from bzrlib.smart import medium, protocol
 
33
from bzrlib.tests import http_server
34
34
from bzrlib.transport import (
 
35
    chroot,
35
36
    get_transport,
36
37
    )
37
38
 
38
39
 
39
 
class WallRequestHandler(TestingHTTPRequestHandler):
40
 
    """Whatever request comes in, close the connection"""
41
 
 
42
 
    def handle_one_request(self):
43
 
        """Handle a single HTTP request, by abruptly closing the connection"""
44
 
        self.close_connection = 1
45
 
 
46
 
 
47
 
class BadStatusRequestHandler(TestingHTTPRequestHandler):
48
 
    """Whatever request comes in, returns a bad status"""
49
 
 
50
 
    def parse_request(self):
51
 
        """Fakes handling a single HTTP request, returns a bad status"""
52
 
        ignored = TestingHTTPRequestHandler.parse_request(self)
53
 
        try:
54
 
            self.send_response(0, "Bad status")
55
 
            self.end_headers()
56
 
        except socket.error, e:
57
 
            # We don't want to pollute the test results with
58
 
            # spurious server errors while test succeed. In our
59
 
            # case, it may occur that the test has already read
60
 
            # the 'Bad Status' and closed the socket while we are
61
 
            # still trying to send some headers... So the test is
62
 
            # ok, but if we raise the exception, the output is
63
 
            # dirty. So we don't raise, but we close the
64
 
            # connection, just to be safe :)
65
 
            spurious = [errno.EPIPE,
66
 
                        errno.ECONNRESET,
67
 
                        errno.ECONNABORTED,
68
 
                        ]
69
 
            if (len(e.args) > 0) and (e.args[0] in spurious):
70
 
                self.close_connection = 1
71
 
                pass
72
 
            else:
73
 
                raise
74
 
        return False
75
 
 
76
 
 
77
 
class InvalidStatusRequestHandler(TestingHTTPRequestHandler):
78
 
    """Whatever request comes in, returns am invalid status"""
79
 
 
80
 
    def parse_request(self):
81
 
        """Fakes handling a single HTTP request, returns a bad status"""
82
 
        ignored = TestingHTTPRequestHandler.parse_request(self)
83
 
        self.wfile.write("Invalid status line\r\n")
84
 
        return False
85
 
 
86
 
 
87
 
class BadProtocolRequestHandler(TestingHTTPRequestHandler):
88
 
    """Whatever request comes in, returns a bad protocol version"""
89
 
 
90
 
    def parse_request(self):
91
 
        """Fakes handling a single HTTP request, returns a bad status"""
92
 
        ignored = TestingHTTPRequestHandler.parse_request(self)
93
 
        # Returns an invalid protocol version, but curl just
94
 
        # ignores it and those cannot be tested.
95
 
        self.wfile.write("%s %d %s\r\n" % ('HTTP/0.0',
96
 
                                           404,
97
 
                                           'Look at my protocol version'))
98
 
        return False
99
 
 
100
 
 
101
 
class ForbiddenRequestHandler(TestingHTTPRequestHandler):
102
 
    """Whatever request comes in, returns a 403 code"""
103
 
 
104
 
    def parse_request(self):
105
 
        """Handle a single HTTP request, by replying we cannot handle it"""
106
 
        ignored = TestingHTTPRequestHandler.parse_request(self)
107
 
        self.send_error(403)
108
 
        return False
109
 
 
110
 
 
111
 
class HTTPServerWithSmarts(HttpServer):
 
40
class HTTPServerWithSmarts(http_server.HttpServer):
112
41
    """HTTPServerWithSmarts extends the HttpServer with POST methods that will
113
42
    trigger a smart server to execute with a transport rooted at the rootdir of
114
43
    the HTTP server.
115
44
    """
116
45
 
117
 
    def __init__(self):
118
 
        HttpServer.__init__(self, SmartRequestHandler)
119
 
 
120
 
 
121
 
class SmartRequestHandler(TestingHTTPRequestHandler):
122
 
    """Extend TestingHTTPRequestHandler to support smart client POSTs."""
 
46
    def __init__(self, protocol_version=None):
 
47
        http_server.HttpServer.__init__(self, SmartRequestHandler,
 
48
                                        protocol_version=protocol_version)
 
49
 
 
50
 
 
51
class SmartRequestHandler(http_server.TestingHTTPRequestHandler):
 
52
    """Extend TestingHTTPRequestHandler to support smart client POSTs.
 
53
 
 
54
    XXX: This duplicates a fair bit of the logic in bzrlib.transport.http.wsgi.
 
55
    """
123
56
 
124
57
    def do_POST(self):
125
58
        """Hand the request off to a smart server instance."""
 
59
        backing = get_transport(self.server.test_case_server._home_dir)
 
60
        chroot_server = chroot.ChrootServer(backing)
 
61
        chroot_server.setUp()
 
62
        try:
 
63
            t = get_transport(chroot_server.get_url())
 
64
            self.do_POST_inner(t)
 
65
        finally:
 
66
            chroot_server.tearDown()
 
67
 
 
68
    def do_POST_inner(self, chrooted_transport):
126
69
        self.send_response(200)
127
70
        self.send_header("Content-type", "application/octet-stream")
128
 
        transport = get_transport(self.server.test_case_server._home_dir)
 
71
        if not self.path.endswith('.bzr/smart'):
 
72
            raise AssertionError(
 
73
                'POST to path not ending in .bzr/smart: %r' % (self.path,))
 
74
        t = chrooted_transport.clone(self.path[:-len('.bzr/smart')])
 
75
        # if this fails, we should return 400 bad request, but failure is
 
76
        # failure for now - RBC 20060919
 
77
        data_length = int(self.headers['Content-Length'])
129
78
        # TODO: We might like to support streaming responses.  1.0 allows no
130
79
        # Content-length in this case, so for integrity we should perform our
131
80
        # own chunking within the stream.
133
82
        # the HTTP chunking as this will allow HTTP persistence safely, even if
134
83
        # we have to stop early due to error, but we would also have to use the
135
84
        # HTTP trailer facility which may not be widely available.
 
85
        request_bytes = self.rfile.read(data_length)
 
86
        protocol_factory, unused_bytes = medium._get_protocol_factory_for_bytes(
 
87
            request_bytes)
136
88
        out_buffer = StringIO()
137
 
        smart_protocol_request = protocol.SmartServerRequestProtocolOne(
138
 
                transport, out_buffer.write)
139
 
        # if this fails, we should return 400 bad request, but failure is
140
 
        # failure for now - RBC 20060919
141
 
        data_length = int(self.headers['Content-Length'])
 
89
        smart_protocol_request = protocol_factory(t, out_buffer.write, '/')
142
90
        # Perhaps there should be a SmartServerHTTPMedium that takes care of
143
91
        # feeding the bytes in the http request to the smart_protocol_request,
144
92
        # but for now it's simpler to just feed the bytes directly.
145
 
        smart_protocol_request.accept_bytes(self.rfile.read(data_length))
146
 
        assert smart_protocol_request.next_read_size() == 0, (
147
 
            "not finished reading, but all data sent to protocol.")
 
93
        smart_protocol_request.accept_bytes(unused_bytes)
 
94
        if not (smart_protocol_request.next_read_size() == 0):
 
95
            raise errors.SmartProtocolError(
 
96
                "not finished reading, but all data sent to protocol.")
148
97
        self.send_header("Content-Length", str(len(out_buffer.getvalue())))
149
98
        self.end_headers()
150
99
        self.wfile.write(out_buffer.getvalue())
151
100
 
152
101
 
153
 
class LimitedRangeRequestHandler(TestingHTTPRequestHandler):
154
 
    """Errors out when range specifiers exceed the limit"""
155
 
 
156
 
    def get_multiple_ranges(self, file, file_size, ranges):
157
 
        """Refuses the multiple ranges request"""
158
 
        tcs = self.server.test_case_server
159
 
        if tcs.range_limit is not None and len(ranges) > tcs.range_limit:
160
 
            file.close()
161
 
            # Emulate apache behavior
162
 
            self.send_error(400, "Bad Request")
163
 
            return
164
 
        return TestingHTTPRequestHandler.get_multiple_ranges(self, file,
165
 
                                                             file_size, ranges)
166
 
 
167
 
    def do_GET(self):
168
 
        tcs = self.server.test_case_server
169
 
        tcs.GET_request_nb += 1
170
 
        return TestingHTTPRequestHandler.do_GET(self)
171
 
 
172
 
 
173
 
class LimitedRangeHTTPServer(HttpServer):
174
 
    """An HttpServer erroring out on requests with too much range specifiers"""
175
 
 
176
 
    def __init__(self, request_handler=LimitedRangeRequestHandler,
177
 
                 range_limit=None):
178
 
        HttpServer.__init__(self, request_handler)
179
 
        self.range_limit = range_limit
180
 
        self.GET_request_nb = 0
181
 
 
182
 
 
183
 
class SingleRangeRequestHandler(TestingHTTPRequestHandler):
184
 
    """Always reply to range request as if they were single.
185
 
 
186
 
    Don't be explicit about it, just to annoy the clients.
187
 
    """
188
 
 
189
 
    def get_multiple_ranges(self, file, file_size, ranges):
190
 
        """Answer as if it was a single range request and ignores the rest"""
191
 
        (start, end) = ranges[0]
192
 
        return self.get_single_range(file, file_size, start, end)
193
 
 
194
 
 
195
 
class SingleOnlyRangeRequestHandler(TestingHTTPRequestHandler):
196
 
    """Only reply to simple range requests, errors out on multiple"""
197
 
 
198
 
    def get_multiple_ranges(self, file, file_size, ranges):
199
 
        """Refuses the multiple ranges request"""
200
 
        if len(ranges) > 1:
201
 
            file.close()
202
 
            self.send_error(416, "Requested range not satisfiable")
203
 
            return
204
 
        (start, end) = ranges[0]
205
 
        return self.get_single_range(file, file_size, start, end)
206
 
 
207
 
 
208
 
class NoRangeRequestHandler(TestingHTTPRequestHandler):
209
 
    """Ignore range requests without notice"""
210
 
 
211
 
    # Just bypass the range handling done by TestingHTTPRequestHandler
212
 
    do_GET = SimpleHTTPRequestHandler.do_GET
213
 
 
214
 
 
215
 
class TestCaseWithWebserver(TestCaseWithTransport):
 
102
class TestCaseWithWebserver(tests.TestCaseWithTransport):
216
103
    """A support class that provides readonly urls that are http://.
217
104
 
218
105
    This is done by forcing the readonly server to be an http
221
108
    """
222
109
    def setUp(self):
223
110
        super(TestCaseWithWebserver, self).setUp()
224
 
        self.transport_readonly_server = HttpServer
 
111
        self.transport_readonly_server = http_server.HttpServer
225
112
 
226
113
 
227
114
class TestCaseWithTwoWebservers(TestCaseWithWebserver):
232
119
    """
233
120
    def setUp(self):
234
121
        super(TestCaseWithTwoWebservers, self).setUp()
235
 
        self.transport_secondary_server = HttpServer
 
122
        self.transport_secondary_server = http_server.HttpServer
236
123
        self.__secondary_server = None
237
124
 
238
125
    def create_transport_secondary_server(self):
251
138
        return self.__secondary_server
252
139
 
253
140
 
254
 
class ProxyServer(HttpServer):
 
141
class ProxyServer(http_server.HttpServer):
255
142
    """A proxy test server for http transports."""
256
143
 
257
144
    proxy_requests = True
258
145
 
259
146
 
260
 
class RedirectRequestHandler(TestingHTTPRequestHandler):
 
147
class RedirectRequestHandler(http_server.TestingHTTPRequestHandler):
261
148
    """Redirect all request to the specified server"""
262
149
 
263
150
    def parse_request(self):
264
151
        """Redirect a single HTTP request to another host"""
265
 
        valid = TestingHTTPRequestHandler.parse_request(self)
 
152
        valid = http_server.TestingHTTPRequestHandler.parse_request(self)
266
153
        if valid:
267
154
            tcs = self.server.test_case_server
268
155
            code, target = tcs.is_redirected(self.path)
270
157
                # Redirect as instructed
271
158
                self.send_response(code)
272
159
                self.send_header('Location', target)
 
160
                # We do not send a body
 
161
                self.send_header('Content-Length', '0')
273
162
                self.end_headers()
274
163
                return False # The job is done
275
164
            else:
278
167
        return valid
279
168
 
280
169
 
281
 
class HTTPServerRedirecting(HttpServer):
 
170
class HTTPServerRedirecting(http_server.HttpServer):
282
171
    """An HttpServer redirecting to another server """
283
172
 
284
 
    def __init__(self, request_handler=RedirectRequestHandler):
285
 
        HttpServer.__init__(self, request_handler)
 
173
    def __init__(self, request_handler=RedirectRequestHandler,
 
174
                 protocol_version=None):
 
175
        http_server.HttpServer.__init__(self, request_handler,
 
176
                                        protocol_version=protocol_version)
286
177
        # redirections is a list of tuples (source, target, code)
287
178
        # - source is a regexp for the paths requested
288
179
        # - target is a replacement for re.sub describing where
340
231
       self.old_server = self.get_secondary_server()
341
232
 
342
233
 
343
 
class AuthRequestHandler(TestingHTTPRequestHandler):
 
234
class AuthRequestHandler(http_server.TestingHTTPRequestHandler):
344
235
    """Requires an authentication to process requests.
345
236
 
346
237
    This is intended to be used with a server that always and
355
246
 
356
247
    def do_GET(self):
357
248
        if self.authorized():
358
 
            return TestingHTTPRequestHandler.do_GET(self)
 
249
            return http_server.TestingHTTPRequestHandler.do_GET(self)
359
250
        else:
360
251
            # Note that we must update test_case_server *before*
361
252
            # sending the error or the client may try to read it
364
255
            tcs.auth_required_errors += 1
365
256
            self.send_response(tcs.auth_error_code)
366
257
            self.send_header_auth_reqed()
 
258
            # We do not send a body
 
259
            self.send_header('Content-Length', '0')
367
260
            self.end_headers()
368
261
            return
369
262
 
404
297
 
405
298
    def authorized(self):
406
299
        tcs = self.server.test_case_server
407
 
        if tcs.auth_scheme != 'digest':
408
 
            return False
409
300
 
410
301
        auth_header = self.headers.get(tcs.auth_header_recv, None)
411
302
        if auth_header is None:
426
317
        self.send_header(tcs.auth_header_sent,header)
427
318
 
428
319
 
429
 
class AuthServer(HttpServer):
 
320
class DigestAndBasicAuthRequestHandler(DigestAuthRequestHandler):
 
321
    """Implements a digest and basic authentication of a request.
 
322
 
 
323
    I.e. the server proposes both schemes and the client should choose the best
 
324
    one it can handle, which, in that case, should be digest, the only scheme
 
325
    accepted here.
 
326
    """
 
327
 
 
328
    def send_header_auth_reqed(self):
 
329
        tcs = self.server.test_case_server
 
330
        self.send_header(tcs.auth_header_sent,
 
331
                         'Basic realm="%s"' % tcs.auth_realm)
 
332
        header = 'Digest realm="%s", ' % tcs.auth_realm
 
333
        header += 'nonce="%s", algorithm="%s", qop="auth"' % (tcs.auth_nonce,
 
334
                                                              'MD5')
 
335
        self.send_header(tcs.auth_header_sent,header)
 
336
 
 
337
 
 
338
class AuthServer(http_server.HttpServer):
430
339
    """Extends HttpServer with a dictionary of passwords.
431
340
 
432
341
    This is used as a base class for various schemes which should
443
352
    auth_error_code = None
444
353
    auth_realm = "Thou should not pass"
445
354
 
446
 
    def __init__(self, request_handler, auth_scheme):
447
 
        HttpServer.__init__(self, request_handler)
 
355
    def __init__(self, request_handler, auth_scheme,
 
356
                 protocol_version=None):
 
357
        http_server.HttpServer.__init__(self, request_handler,
 
358
                                        protocol_version=protocol_version)
448
359
        self.auth_scheme = auth_scheme
449
360
        self.password_of = {}
450
361
        self.auth_required_errors = 0
464
375
 
465
376
 
466
377
# FIXME: There is some code duplication with
467
 
# _urllib2_wrappers.py.DigestAuthHandler. If that duplciation
 
378
# _urllib2_wrappers.py.DigestAuthHandler. If that duplication
468
379
# grows, it may require a refactoring. Also, we don't implement
469
380
# SHA algorithm nor MD5-sess here, but that does not seem worth
470
381
# it.
473
384
 
474
385
    auth_nonce = 'now!'
475
386
 
476
 
    def __init__(self, request_handler, auth_scheme):
477
 
        AuthServer.__init__(self, request_handler, auth_scheme)
 
387
    def __init__(self, request_handler, auth_scheme,
 
388
                 protocol_version=None):
 
389
        AuthServer.__init__(self, request_handler, auth_scheme,
 
390
                            protocol_version=protocol_version)
478
391
 
479
392
    def digest_authorized(self, auth, command):
480
393
        nonce = auth['nonce']
500
413
        A1 = '%s:%s:%s' % (user, realm, password)
501
414
        A2 = '%s:%s' % (command, auth['uri'])
502
415
 
503
 
        H = lambda x: md5.new(x).hexdigest()
 
416
        H = lambda x: osutils.md5(x).hexdigest()
504
417
        KD = lambda secret, data: H("%s:%s" % (secret, data))
505
418
 
506
419
        nonce_count = int(auth['nc'], 16)
513
426
 
514
427
        return response_digest == auth['response']
515
428
 
 
429
 
516
430
class HTTPAuthServer(AuthServer):
517
431
    """An HTTP server requiring authentication"""
518
432
 
535
449
class HTTPBasicAuthServer(HTTPAuthServer):
536
450
    """An HTTP server requiring basic authentication"""
537
451
 
538
 
    def __init__(self):
539
 
        HTTPAuthServer.__init__(self, BasicAuthRequestHandler, 'basic')
 
452
    def __init__(self, protocol_version=None):
 
453
        HTTPAuthServer.__init__(self, BasicAuthRequestHandler, 'basic',
 
454
                                protocol_version=protocol_version)
540
455
        self.init_http_auth()
541
456
 
542
457
 
543
458
class HTTPDigestAuthServer(DigestAuthServer, HTTPAuthServer):
544
459
    """An HTTP server requiring digest authentication"""
545
460
 
546
 
    def __init__(self):
547
 
        DigestAuthServer.__init__(self, DigestAuthRequestHandler, 'digest')
548
 
        self.init_http_auth()
 
461
    def __init__(self, protocol_version=None):
 
462
        DigestAuthServer.__init__(self, DigestAuthRequestHandler, 'digest',
 
463
                                  protocol_version=protocol_version)
 
464
        self.init_http_auth()
 
465
 
 
466
 
 
467
class HTTPBasicAndDigestAuthServer(DigestAuthServer, HTTPAuthServer):
 
468
    """An HTTP server requiring basic or digest authentication"""
 
469
 
 
470
    def __init__(self, protocol_version=None):
 
471
        DigestAuthServer.__init__(self, DigestAndBasicAuthRequestHandler,
 
472
                                  'basicdigest',
 
473
                                  protocol_version=protocol_version)
 
474
        self.init_http_auth()
 
475
        # We really accept Digest only
 
476
        self.auth_scheme = 'digest'
549
477
 
550
478
 
551
479
class ProxyBasicAuthServer(ProxyAuthServer):
552
480
    """A proxy server requiring basic authentication"""
553
481
 
554
 
    def __init__(self):
555
 
        ProxyAuthServer.__init__(self, BasicAuthRequestHandler, 'basic')
 
482
    def __init__(self, protocol_version=None):
 
483
        ProxyAuthServer.__init__(self, BasicAuthRequestHandler, 'basic',
 
484
                                 protocol_version=protocol_version)
556
485
        self.init_proxy_auth()
557
486
 
558
487
 
559
488
class ProxyDigestAuthServer(DigestAuthServer, ProxyAuthServer):
560
489
    """A proxy server requiring basic authentication"""
561
490
 
562
 
    def __init__(self):
563
 
        ProxyAuthServer.__init__(self, DigestAuthRequestHandler, 'digest')
564
 
        self.init_proxy_auth()
 
491
    def __init__(self, protocol_version=None):
 
492
        ProxyAuthServer.__init__(self, DigestAuthRequestHandler, 'digest',
 
493
                                 protocol_version=protocol_version)
 
494
        self.init_proxy_auth()
 
495
 
 
496
 
 
497
class ProxyBasicAndDigestAuthServer(DigestAuthServer, ProxyAuthServer):
 
498
    """An proxy server requiring basic or digest authentication"""
 
499
 
 
500
    def __init__(self, protocol_version=None):
 
501
        DigestAuthServer.__init__(self, DigestAndBasicAuthRequestHandler,
 
502
                                  'basicdigest',
 
503
                                  protocol_version=protocol_version)
 
504
        self.init_proxy_auth()
 
505
        # We really accept Digest only
 
506
        self.auth_scheme = 'digest'
565
507
 
566
508