~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/http_utils.py

  • Committer: Vincent Ladeuil
  • Date: 2010-03-02 10:21:39 UTC
  • mfrom: (4797.2.24 2.1)
  • mto: This revision was merged to the branch mainline in revision 5069.
  • Revision ID: v.ladeuil+lp@free.fr-20100302102139-b5cba7h6xu13mekg
Merge 2.1 into trunk including fixes for #331095, #507557, #185103, #524184 and #369501

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
from cStringIO import StringIO
18
18
import errno
19
 
import md5
20
 
from SimpleHTTPServer import SimpleHTTPRequestHandler
21
19
import re
22
 
import sha
23
20
import socket
 
21
import threading
24
22
import time
25
23
import urllib2
26
24
import urlparse
27
25
 
28
 
from bzrlib.smart import protocol
29
 
from bzrlib.tests import TestCaseWithTransport
30
 
from bzrlib.tests.HttpServer import (
31
 
    HttpServer,
32
 
    TestingHTTPRequestHandler,
 
26
 
 
27
from bzrlib import (
 
28
    errors,
 
29
    osutils,
 
30
    tests,
33
31
    )
 
32
from bzrlib.smart import medium, protocol
 
33
from bzrlib.tests import http_server
34
34
from bzrlib.transport import (
 
35
    chroot,
35
36
    get_transport,
36
37
    )
37
38
 
38
39
 
39
 
class WallRequestHandler(TestingHTTPRequestHandler):
40
 
    """Whatever request comes in, close the connection"""
41
 
 
42
 
    def handle_one_request(self):
43
 
        """Handle a single HTTP request, by abruptly closing the connection"""
44
 
        self.close_connection = 1
45
 
 
46
 
 
47
 
class BadStatusRequestHandler(TestingHTTPRequestHandler):
48
 
    """Whatever request comes in, returns a bad status"""
49
 
 
50
 
    def parse_request(self):
51
 
        """Fakes handling a single HTTP request, returns a bad status"""
52
 
        ignored = TestingHTTPRequestHandler.parse_request(self)
53
 
        try:
54
 
            self.send_response(0, "Bad status")
55
 
            self.end_headers()
56
 
        except socket.error, e:
57
 
            # We don't want to pollute the test results with
58
 
            # spurious server errors while test succeed. In our
59
 
            # case, it may occur that the test has already read
60
 
            # the 'Bad Status' and closed the socket while we are
61
 
            # still trying to send some headers... So the test is
62
 
            # ok, but if we raise the exception, the output is
63
 
            # dirty. So we don't raise, but we close the
64
 
            # connection, just to be safe :)
65
 
            spurious = [errno.EPIPE,
66
 
                        errno.ECONNRESET,
67
 
                        errno.ECONNABORTED,
68
 
                        ]
69
 
            if (len(e.args) > 0) and (e.args[0] in spurious):
70
 
                self.close_connection = 1
71
 
                pass
72
 
            else:
73
 
                raise
74
 
        return False
75
 
 
76
 
 
77
 
class InvalidStatusRequestHandler(TestingHTTPRequestHandler):
78
 
    """Whatever request comes in, returns am invalid status"""
79
 
 
80
 
    def parse_request(self):
81
 
        """Fakes handling a single HTTP request, returns a bad status"""
82
 
        ignored = TestingHTTPRequestHandler.parse_request(self)
83
 
        self.wfile.write("Invalid status line\r\n")
84
 
        return False
85
 
 
86
 
 
87
 
class BadProtocolRequestHandler(TestingHTTPRequestHandler):
88
 
    """Whatever request comes in, returns a bad protocol version"""
89
 
 
90
 
    def parse_request(self):
91
 
        """Fakes handling a single HTTP request, returns a bad status"""
92
 
        ignored = TestingHTTPRequestHandler.parse_request(self)
93
 
        # Returns an invalid protocol version, but curl just
94
 
        # ignores it and those cannot be tested.
95
 
        self.wfile.write("%s %d %s\r\n" % ('HTTP/0.0',
96
 
                                           404,
97
 
                                           'Look at my protocol version'))
98
 
        return False
99
 
 
100
 
 
101
 
class ForbiddenRequestHandler(TestingHTTPRequestHandler):
102
 
    """Whatever request comes in, returns a 403 code"""
103
 
 
104
 
    def parse_request(self):
105
 
        """Handle a single HTTP request, by replying we cannot handle it"""
106
 
        ignored = TestingHTTPRequestHandler.parse_request(self)
107
 
        self.send_error(403)
108
 
        return False
109
 
 
110
 
 
111
 
class HTTPServerWithSmarts(HttpServer):
 
40
class HTTPServerWithSmarts(http_server.HttpServer):
112
41
    """HTTPServerWithSmarts extends the HttpServer with POST methods that will
113
42
    trigger a smart server to execute with a transport rooted at the rootdir of
114
43
    the HTTP server.
115
44
    """
116
45
 
117
 
    def __init__(self):
118
 
        HttpServer.__init__(self, SmartRequestHandler)
119
 
 
120
 
 
121
 
class SmartRequestHandler(TestingHTTPRequestHandler):
122
 
    """Extend TestingHTTPRequestHandler to support smart client POSTs."""
 
46
    def __init__(self, protocol_version=None):
 
47
        http_server.HttpServer.__init__(self, SmartRequestHandler,
 
48
                                        protocol_version=protocol_version)
 
49
 
 
50
 
 
51
class SmartRequestHandler(http_server.TestingHTTPRequestHandler):
 
52
    """Extend TestingHTTPRequestHandler to support smart client POSTs.
 
53
 
 
54
    XXX: This duplicates a fair bit of the logic in bzrlib.transport.http.wsgi.
 
55
    """
123
56
 
124
57
    def do_POST(self):
125
58
        """Hand the request off to a smart server instance."""
 
59
        backing = get_transport(self.server.test_case_server._home_dir)
 
60
        chroot_server = chroot.ChrootServer(backing)
 
61
        chroot_server.start_server()
 
62
        try:
 
63
            t = get_transport(chroot_server.get_url())
 
64
            self.do_POST_inner(t)
 
65
        finally:
 
66
            chroot_server.stop_server()
 
67
 
 
68
    def do_POST_inner(self, chrooted_transport):
126
69
        self.send_response(200)
127
70
        self.send_header("Content-type", "application/octet-stream")
128
 
        transport = get_transport(self.server.test_case_server._home_dir)
 
71
        if not self.path.endswith('.bzr/smart'):
 
72
            raise AssertionError(
 
73
                'POST to path not ending in .bzr/smart: %r' % (self.path,))
 
74
        t = chrooted_transport.clone(self.path[:-len('.bzr/smart')])
 
75
        # if this fails, we should return 400 bad request, but failure is
 
76
        # failure for now - RBC 20060919
 
77
        data_length = int(self.headers['Content-Length'])
129
78
        # TODO: We might like to support streaming responses.  1.0 allows no
130
79
        # Content-length in this case, so for integrity we should perform our
131
80
        # own chunking within the stream.
133
82
        # the HTTP chunking as this will allow HTTP persistence safely, even if
134
83
        # we have to stop early due to error, but we would also have to use the
135
84
        # HTTP trailer facility which may not be widely available.
 
85
        request_bytes = self.rfile.read(data_length)
 
86
        protocol_factory, unused_bytes = medium._get_protocol_factory_for_bytes(
 
87
            request_bytes)
136
88
        out_buffer = StringIO()
137
 
        smart_protocol_request = protocol.SmartServerRequestProtocolOne(
138
 
                transport, out_buffer.write)
139
 
        # if this fails, we should return 400 bad request, but failure is
140
 
        # failure for now - RBC 20060919
141
 
        data_length = int(self.headers['Content-Length'])
 
89
        smart_protocol_request = protocol_factory(t, out_buffer.write, '/')
142
90
        # Perhaps there should be a SmartServerHTTPMedium that takes care of
143
91
        # feeding the bytes in the http request to the smart_protocol_request,
144
92
        # but for now it's simpler to just feed the bytes directly.
145
 
        smart_protocol_request.accept_bytes(self.rfile.read(data_length))
146
 
        assert smart_protocol_request.next_read_size() == 0, (
147
 
            "not finished reading, but all data sent to protocol.")
 
93
        smart_protocol_request.accept_bytes(unused_bytes)
 
94
        if not (smart_protocol_request.next_read_size() == 0):
 
95
            raise errors.SmartProtocolError(
 
96
                "not finished reading, but all data sent to protocol.")
148
97
        self.send_header("Content-Length", str(len(out_buffer.getvalue())))
149
98
        self.end_headers()
150
99
        self.wfile.write(out_buffer.getvalue())
151
100
 
152
101
 
153
 
class LimitedRangeRequestHandler(TestingHTTPRequestHandler):
154
 
    """Errors out when range specifiers exceed the limit"""
155
 
 
156
 
    def get_multiple_ranges(self, file, file_size, ranges):
157
 
        """Refuses the multiple ranges request"""
158
 
        tcs = self.server.test_case_server
159
 
        if tcs.range_limit is not None and len(ranges) > tcs.range_limit:
160
 
            file.close()
161
 
            # Emulate apache behavior
162
 
            self.send_error(400, "Bad Request")
163
 
            return
164
 
        return TestingHTTPRequestHandler.get_multiple_ranges(self, file,
165
 
                                                             file_size, ranges)
166
 
 
167
 
    def do_GET(self):
168
 
        tcs = self.server.test_case_server
169
 
        tcs.GET_request_nb += 1
170
 
        return TestingHTTPRequestHandler.do_GET(self)
171
 
 
172
 
 
173
 
class LimitedRangeHTTPServer(HttpServer):
174
 
    """An HttpServer erroring out on requests with too much range specifiers"""
175
 
 
176
 
    def __init__(self, request_handler=LimitedRangeRequestHandler,
177
 
                 range_limit=None):
178
 
        HttpServer.__init__(self, request_handler)
179
 
        self.range_limit = range_limit
180
 
        self.GET_request_nb = 0
181
 
 
182
 
 
183
 
class SingleRangeRequestHandler(TestingHTTPRequestHandler):
184
 
    """Always reply to range request as if they were single.
185
 
 
186
 
    Don't be explicit about it, just to annoy the clients.
187
 
    """
188
 
 
189
 
    def get_multiple_ranges(self, file, file_size, ranges):
190
 
        """Answer as if it was a single range request and ignores the rest"""
191
 
        (start, end) = ranges[0]
192
 
        return self.get_single_range(file, file_size, start, end)
193
 
 
194
 
 
195
 
class SingleOnlyRangeRequestHandler(TestingHTTPRequestHandler):
196
 
    """Only reply to simple range requests, errors out on multiple"""
197
 
 
198
 
    def get_multiple_ranges(self, file, file_size, ranges):
199
 
        """Refuses the multiple ranges request"""
200
 
        if len(ranges) > 1:
201
 
            file.close()
202
 
            self.send_error(416, "Requested range not satisfiable")
203
 
            return
204
 
        (start, end) = ranges[0]
205
 
        return self.get_single_range(file, file_size, start, end)
206
 
 
207
 
 
208
 
class NoRangeRequestHandler(TestingHTTPRequestHandler):
209
 
    """Ignore range requests without notice"""
210
 
 
211
 
    # Just bypass the range handling done by TestingHTTPRequestHandler
212
 
    do_GET = SimpleHTTPRequestHandler.do_GET
213
 
 
214
 
 
215
 
class TestCaseWithWebserver(TestCaseWithTransport):
 
102
class TestCaseWithWebserver(tests.TestCaseWithTransport):
216
103
    """A support class that provides readonly urls that are http://.
217
104
 
218
105
    This is done by forcing the readonly server to be an http
221
108
    """
222
109
    def setUp(self):
223
110
        super(TestCaseWithWebserver, self).setUp()
224
 
        self.transport_readonly_server = HttpServer
 
111
        self.transport_readonly_server = http_server.HttpServer
225
112
 
226
113
 
227
114
class TestCaseWithTwoWebservers(TestCaseWithWebserver):
232
119
    """
233
120
    def setUp(self):
234
121
        super(TestCaseWithTwoWebservers, self).setUp()
235
 
        self.transport_secondary_server = HttpServer
 
122
        self.transport_secondary_server = http_server.HttpServer
236
123
        self.__secondary_server = None
237
124
 
238
125
    def create_transport_secondary_server(self):
246
133
        """Get the server instance for the secondary transport."""
247
134
        if self.__secondary_server is None:
248
135
            self.__secondary_server = self.create_transport_secondary_server()
249
 
            self.__secondary_server.setUp()
250
 
            self.addCleanup(self.__secondary_server.tearDown)
 
136
            self.start_server(self.__secondary_server)
251
137
        return self.__secondary_server
252
138
 
253
139
 
254
 
class ProxyServer(HttpServer):
 
140
class ProxyServer(http_server.HttpServer):
255
141
    """A proxy test server for http transports."""
256
142
 
257
143
    proxy_requests = True
258
144
 
259
145
 
260
 
class RedirectRequestHandler(TestingHTTPRequestHandler):
 
146
class RedirectRequestHandler(http_server.TestingHTTPRequestHandler):
261
147
    """Redirect all request to the specified server"""
262
148
 
263
149
    def parse_request(self):
264
150
        """Redirect a single HTTP request to another host"""
265
 
        valid = TestingHTTPRequestHandler.parse_request(self)
 
151
        valid = http_server.TestingHTTPRequestHandler.parse_request(self)
266
152
        if valid:
267
153
            tcs = self.server.test_case_server
268
154
            code, target = tcs.is_redirected(self.path)
270
156
                # Redirect as instructed
271
157
                self.send_response(code)
272
158
                self.send_header('Location', target)
 
159
                # We do not send a body
 
160
                self.send_header('Content-Length', '0')
273
161
                self.end_headers()
274
162
                return False # The job is done
275
163
            else:
278
166
        return valid
279
167
 
280
168
 
281
 
class HTTPServerRedirecting(HttpServer):
 
169
class HTTPServerRedirecting(http_server.HttpServer):
282
170
    """An HttpServer redirecting to another server """
283
171
 
284
 
    def __init__(self, request_handler=RedirectRequestHandler):
285
 
        HttpServer.__init__(self, request_handler)
 
172
    def __init__(self, request_handler=RedirectRequestHandler,
 
173
                 protocol_version=None):
 
174
        http_server.HttpServer.__init__(self, request_handler,
 
175
                                        protocol_version=protocol_version)
286
176
        # redirections is a list of tuples (source, target, code)
287
177
        # - source is a regexp for the paths requested
288
178
        # - target is a replacement for re.sub describing where
340
230
       self.old_server = self.get_secondary_server()
341
231
 
342
232
 
343
 
class AuthRequestHandler(TestingHTTPRequestHandler):
 
233
class AuthRequestHandler(http_server.TestingHTTPRequestHandler):
344
234
    """Requires an authentication to process requests.
345
235
 
346
236
    This is intended to be used with a server that always and
355
245
 
356
246
    def do_GET(self):
357
247
        if self.authorized():
358
 
            return TestingHTTPRequestHandler.do_GET(self)
 
248
            return http_server.TestingHTTPRequestHandler.do_GET(self)
359
249
        else:
360
250
            # Note that we must update test_case_server *before*
361
251
            # sending the error or the client may try to read it
364
254
            tcs.auth_required_errors += 1
365
255
            self.send_response(tcs.auth_error_code)
366
256
            self.send_header_auth_reqed()
 
257
            # We do not send a body
 
258
            self.send_header('Content-Length', '0')
367
259
            self.end_headers()
368
260
            return
369
261
 
404
296
 
405
297
    def authorized(self):
406
298
        tcs = self.server.test_case_server
407
 
        if tcs.auth_scheme != 'digest':
408
 
            return False
409
299
 
410
300
        auth_header = self.headers.get(tcs.auth_header_recv, None)
411
301
        if auth_header is None:
426
316
        self.send_header(tcs.auth_header_sent,header)
427
317
 
428
318
 
429
 
class AuthServer(HttpServer):
 
319
class DigestAndBasicAuthRequestHandler(DigestAuthRequestHandler):
 
320
    """Implements a digest and basic authentication of a request.
 
321
 
 
322
    I.e. the server proposes both schemes and the client should choose the best
 
323
    one it can handle, which, in that case, should be digest, the only scheme
 
324
    accepted here.
 
325
    """
 
326
 
 
327
    def send_header_auth_reqed(self):
 
328
        tcs = self.server.test_case_server
 
329
        self.send_header(tcs.auth_header_sent,
 
330
                         'Basic realm="%s"' % tcs.auth_realm)
 
331
        header = 'Digest realm="%s", ' % tcs.auth_realm
 
332
        header += 'nonce="%s", algorithm="%s", qop="auth"' % (tcs.auth_nonce,
 
333
                                                              'MD5')
 
334
        self.send_header(tcs.auth_header_sent,header)
 
335
 
 
336
 
 
337
class AuthServer(http_server.HttpServer):
430
338
    """Extends HttpServer with a dictionary of passwords.
431
339
 
432
340
    This is used as a base class for various schemes which should
443
351
    auth_error_code = None
444
352
    auth_realm = "Thou should not pass"
445
353
 
446
 
    def __init__(self, request_handler, auth_scheme):
447
 
        HttpServer.__init__(self, request_handler)
 
354
    def __init__(self, request_handler, auth_scheme,
 
355
                 protocol_version=None):
 
356
        http_server.HttpServer.__init__(self, request_handler,
 
357
                                        protocol_version=protocol_version)
448
358
        self.auth_scheme = auth_scheme
449
359
        self.password_of = {}
450
360
        self.auth_required_errors = 0
473
383
 
474
384
    auth_nonce = 'now!'
475
385
 
476
 
    def __init__(self, request_handler, auth_scheme):
477
 
        AuthServer.__init__(self, request_handler, auth_scheme)
 
386
    def __init__(self, request_handler, auth_scheme,
 
387
                 protocol_version=None):
 
388
        AuthServer.__init__(self, request_handler, auth_scheme,
 
389
                            protocol_version=protocol_version)
478
390
 
479
391
    def digest_authorized(self, auth, command):
480
392
        nonce = auth['nonce']
500
412
        A1 = '%s:%s:%s' % (user, realm, password)
501
413
        A2 = '%s:%s' % (command, auth['uri'])
502
414
 
503
 
        H = lambda x: md5.new(x).hexdigest()
 
415
        H = lambda x: osutils.md5(x).hexdigest()
504
416
        KD = lambda secret, data: H("%s:%s" % (secret, data))
505
417
 
506
418
        nonce_count = int(auth['nc'], 16)
513
425
 
514
426
        return response_digest == auth['response']
515
427
 
 
428
 
516
429
class HTTPAuthServer(AuthServer):
517
430
    """An HTTP server requiring authentication"""
518
431
 
535
448
class HTTPBasicAuthServer(HTTPAuthServer):
536
449
    """An HTTP server requiring basic authentication"""
537
450
 
538
 
    def __init__(self):
539
 
        HTTPAuthServer.__init__(self, BasicAuthRequestHandler, 'basic')
 
451
    def __init__(self, protocol_version=None):
 
452
        HTTPAuthServer.__init__(self, BasicAuthRequestHandler, 'basic',
 
453
                                protocol_version=protocol_version)
540
454
        self.init_http_auth()
541
455
 
542
456
 
543
457
class HTTPDigestAuthServer(DigestAuthServer, HTTPAuthServer):
544
458
    """An HTTP server requiring digest authentication"""
545
459
 
546
 
    def __init__(self):
547
 
        DigestAuthServer.__init__(self, DigestAuthRequestHandler, 'digest')
548
 
        self.init_http_auth()
 
460
    def __init__(self, protocol_version=None):
 
461
        DigestAuthServer.__init__(self, DigestAuthRequestHandler, 'digest',
 
462
                                  protocol_version=protocol_version)
 
463
        self.init_http_auth()
 
464
 
 
465
 
 
466
class HTTPBasicAndDigestAuthServer(DigestAuthServer, HTTPAuthServer):
 
467
    """An HTTP server requiring basic or digest authentication"""
 
468
 
 
469
    def __init__(self, protocol_version=None):
 
470
        DigestAuthServer.__init__(self, DigestAndBasicAuthRequestHandler,
 
471
                                  'basicdigest',
 
472
                                  protocol_version=protocol_version)
 
473
        self.init_http_auth()
 
474
        # We really accept Digest only
 
475
        self.auth_scheme = 'digest'
549
476
 
550
477
 
551
478
class ProxyBasicAuthServer(ProxyAuthServer):
552
479
    """A proxy server requiring basic authentication"""
553
480
 
554
 
    def __init__(self):
555
 
        ProxyAuthServer.__init__(self, BasicAuthRequestHandler, 'basic')
 
481
    def __init__(self, protocol_version=None):
 
482
        ProxyAuthServer.__init__(self, BasicAuthRequestHandler, 'basic',
 
483
                                 protocol_version=protocol_version)
556
484
        self.init_proxy_auth()
557
485
 
558
486
 
559
487
class ProxyDigestAuthServer(DigestAuthServer, ProxyAuthServer):
560
488
    """A proxy server requiring basic authentication"""
561
489
 
562
 
    def __init__(self):
563
 
        ProxyAuthServer.__init__(self, DigestAuthRequestHandler, 'digest')
564
 
        self.init_proxy_auth()
 
490
    def __init__(self, protocol_version=None):
 
491
        ProxyAuthServer.__init__(self, DigestAuthRequestHandler, 'digest',
 
492
                                 protocol_version=protocol_version)
 
493
        self.init_proxy_auth()
 
494
 
 
495
 
 
496
class ProxyBasicAndDigestAuthServer(DigestAuthServer, ProxyAuthServer):
 
497
    """An proxy server requiring basic or digest authentication"""
 
498
 
 
499
    def __init__(self, protocol_version=None):
 
500
        DigestAuthServer.__init__(self, DigestAndBasicAuthRequestHandler,
 
501
                                  'basicdigest',
 
502
                                  protocol_version=protocol_version)
 
503
        self.init_proxy_auth()
 
504
        # We really accept Digest only
 
505
        self.auth_scheme = 'digest'
565
506
 
566
507