~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/HTTPTestUtil.py

  • Committer: Alexander Belchenko
  • Date: 2007-01-04 23:36:44 UTC
  • mfrom: (2224 +trunk)
  • mto: This revision was merged to the branch mainline in revision 2225.
  • Revision ID: bialix@ukr.net-20070104233644-7znkxoj9b0y7ev28
merge bzr.dev

Show diffs side-by-side

added added

removed removed

Lines of Context:
16
16
 
17
17
from cStringIO import StringIO
18
18
import errno
19
 
import md5
20
19
from SimpleHTTPServer import SimpleHTTPRequestHandler
21
 
import re
22
 
import sha
23
20
import socket
24
 
import time
25
 
import urllib2
26
21
import urlparse
27
22
 
28
 
from bzrlib.smart import protocol
29
23
from bzrlib.tests import TestCaseWithTransport
30
24
from bzrlib.tests.HttpServer import (
31
25
    HttpServer,
33
27
    )
34
28
from bzrlib.transport import (
35
29
    get_transport,
 
30
    smart,
36
31
    )
37
32
 
38
33
 
125
120
        """Hand the request off to a smart server instance."""
126
121
        self.send_response(200)
127
122
        self.send_header("Content-type", "application/octet-stream")
128
 
        transport = get_transport(self.server.test_case_server._home_dir)
 
123
        transport = get_transport(self.server.test_case._home_dir)
129
124
        # TODO: We might like to support streaming responses.  1.0 allows no
130
125
        # Content-length in this case, so for integrity we should perform our
131
126
        # own chunking within the stream.
134
129
        # we have to stop early due to error, but we would also have to use the
135
130
        # HTTP trailer facility which may not be widely available.
136
131
        out_buffer = StringIO()
137
 
        smart_protocol_request = protocol.SmartServerRequestProtocolOne(
 
132
        smart_protocol_request = smart.SmartServerRequestProtocolOne(
138
133
                transport, out_buffer.write)
139
134
        # if this fails, we should return 400 bad request, but failure is
140
135
        # failure for now - RBC 20060919
150
145
        self.wfile.write(out_buffer.getvalue())
151
146
 
152
147
 
153
 
class LimitedRangeRequestHandler(TestingHTTPRequestHandler):
154
 
    """Errors out when range specifiers exceed the limit"""
155
 
 
156
 
    def get_multiple_ranges(self, file, file_size, ranges):
157
 
        """Refuses the multiple ranges request"""
158
 
        tcs = self.server.test_case_server
159
 
        if tcs.range_limit is not None and len(ranges) > tcs.range_limit:
160
 
            file.close()
161
 
            # Emulate apache behavior
162
 
            self.send_error(400, "Bad Request")
163
 
            return
164
 
        return TestingHTTPRequestHandler.get_multiple_ranges(self, file,
165
 
                                                             file_size, ranges)
166
 
 
167
 
    def do_GET(self):
168
 
        tcs = self.server.test_case_server
169
 
        tcs.GET_request_nb += 1
170
 
        return TestingHTTPRequestHandler.do_GET(self)
171
 
 
172
 
 
173
 
class LimitedRangeHTTPServer(HttpServer):
174
 
    """An HttpServer erroring out on requests with too much range specifiers"""
175
 
 
176
 
    def __init__(self, request_handler=LimitedRangeRequestHandler,
177
 
                 range_limit=None):
178
 
        HttpServer.__init__(self, request_handler)
179
 
        self.range_limit = range_limit
180
 
        self.GET_request_nb = 0
181
 
 
182
 
 
183
148
class SingleRangeRequestHandler(TestingHTTPRequestHandler):
184
149
    """Always reply to range request as if they were single.
185
150
 
192
157
        return self.get_single_range(file, file_size, start, end)
193
158
 
194
159
 
195
 
class SingleOnlyRangeRequestHandler(TestingHTTPRequestHandler):
196
 
    """Only reply to simple range requests, errors out on multiple"""
197
 
 
198
 
    def get_multiple_ranges(self, file, file_size, ranges):
199
 
        """Refuses the multiple ranges request"""
200
 
        if len(ranges) > 1:
201
 
            file.close()
202
 
            self.send_error(416, "Requested range not satisfiable")
203
 
            return
204
 
        (start, end) = ranges[0]
205
 
        return self.get_single_range(file, file_size, start, end)
206
 
 
207
 
 
208
160
class NoRangeRequestHandler(TestingHTTPRequestHandler):
209
161
    """Ignore range requests without notice"""
210
162
 
225
177
 
226
178
 
227
179
class TestCaseWithTwoWebservers(TestCaseWithWebserver):
228
 
    """A support class providing readonly urls on two servers that are http://.
 
180
    """A support class providinf readonly urls (on two servers) that are http://.
229
181
 
230
 
    We set up two webservers to allows various tests involving
 
182
    We setup two webservers to allows various tests involving
231
183
    proxies or redirections from one server to the other.
232
184
    """
233
185
    def setUp(self):
251
203
        return self.__secondary_server
252
204
 
253
205
 
254
 
class ProxyServer(HttpServer):
255
 
    """A proxy test server for http transports."""
256
 
 
257
 
    proxy_requests = True
258
 
 
259
 
 
260
 
class RedirectRequestHandler(TestingHTTPRequestHandler):
261
 
    """Redirect all request to the specified server"""
262
 
 
263
 
    def parse_request(self):
264
 
        """Redirect a single HTTP request to another host"""
265
 
        valid = TestingHTTPRequestHandler.parse_request(self)
266
 
        if valid:
267
 
            tcs = self.server.test_case_server
268
 
            code, target = tcs.is_redirected(self.path)
269
 
            if code is not None and target is not None:
270
 
                # Redirect as instructed
271
 
                self.send_response(code)
272
 
                self.send_header('Location', target)
273
 
                self.end_headers()
274
 
                return False # The job is done
275
 
            else:
276
 
                # We leave the parent class serve the request
277
 
                pass
278
 
        return valid
279
 
 
280
 
 
281
 
class HTTPServerRedirecting(HttpServer):
282
 
    """An HttpServer redirecting to another server """
283
 
 
284
 
    def __init__(self, request_handler=RedirectRequestHandler):
285
 
        HttpServer.__init__(self, request_handler)
286
 
        # redirections is a list of tuples (source, target, code)
287
 
        # - source is a regexp for the paths requested
288
 
        # - target is a replacement for re.sub describing where
289
 
        #   the request will be redirected
290
 
        # - code is the http error code associated to the
291
 
        #   redirection (301 permanent, 302 temporarry, etc
292
 
        self.redirections = []
293
 
 
294
 
    def redirect_to(self, host, port):
295
 
        """Redirect all requests to a specific host:port"""
296
 
        self.redirections = [('(.*)',
297
 
                              r'http://%s:%s\1' % (host, port) ,
298
 
                              301)]
299
 
 
300
 
    def is_redirected(self, path):
301
 
        """Is the path redirected by this server.
302
 
 
303
 
        :param path: the requested relative path
304
 
 
305
 
        :returns: a tuple (code, target) if a matching
306
 
             redirection is found, (None, None) otherwise.
307
 
        """
308
 
        code = None
309
 
        target = None
310
 
        for (rsource, rtarget, rcode) in self.redirections:
311
 
            target, match = re.subn(rsource, rtarget, path)
312
 
            if match:
313
 
                code = rcode
314
 
                break # The first match wins
315
 
            else:
316
 
                target = None
317
 
        return code, target
318
 
 
319
 
 
320
 
class TestCaseWithRedirectedWebserver(TestCaseWithTwoWebservers):
321
 
   """A support class providing redirections from one server to another.
322
 
 
323
 
   We set up two webservers to allows various tests involving
324
 
   redirections.
325
 
   The 'old' server is redirected to the 'new' server.
326
 
   """
327
 
 
328
 
   def create_transport_secondary_server(self):
329
 
       """Create the secondary server redirecting to the primary server"""
330
 
       new = self.get_readonly_server()
331
 
       redirecting = HTTPServerRedirecting()
332
 
       redirecting.redirect_to(new.host, new.port)
333
 
       return redirecting
334
 
 
335
 
   def setUp(self):
336
 
       super(TestCaseWithRedirectedWebserver, self).setUp()
337
 
       # The redirections will point to the new server
338
 
       self.new_server = self.get_readonly_server()
339
 
       # The requests to the old server will be redirected
340
 
       self.old_server = self.get_secondary_server()
341
 
 
342
 
 
343
 
class AuthRequestHandler(TestingHTTPRequestHandler):
344
 
    """Requires an authentication to process requests.
345
 
 
346
 
    This is intended to be used with a server that always and
347
 
    only use one authentication scheme (implemented by daughter
348
 
    classes).
349
 
    """
350
 
 
351
 
    # The following attributes should be defined in the server
352
 
    # - auth_header_sent: the header name sent to require auth
353
 
    # - auth_header_recv: the header received containing auth
354
 
    # - auth_error_code: the error code to indicate auth required
355
 
 
356
 
    def do_GET(self):
357
 
        if self.authorized():
358
 
            return TestingHTTPRequestHandler.do_GET(self)
359
 
        else:
360
 
            # Note that we must update test_case_server *before*
361
 
            # sending the error or the client may try to read it
362
 
            # before we have sent the whole error back.
363
 
            tcs = self.server.test_case_server
364
 
            tcs.auth_required_errors += 1
365
 
            self.send_response(tcs.auth_error_code)
366
 
            self.send_header_auth_reqed()
367
 
            self.end_headers()
368
 
            return
369
 
 
370
 
 
371
 
class BasicAuthRequestHandler(AuthRequestHandler):
372
 
    """Implements the basic authentication of a request"""
373
 
 
374
 
    def authorized(self):
375
 
        tcs = self.server.test_case_server
376
 
        if tcs.auth_scheme != 'basic':
377
 
            return False
378
 
 
379
 
        auth_header = self.headers.get(tcs.auth_header_recv, None)
380
 
        if auth_header:
381
 
            scheme, raw_auth = auth_header.split(' ', 1)
382
 
            if scheme.lower() == tcs.auth_scheme:
383
 
                user, password = raw_auth.decode('base64').split(':')
384
 
                return tcs.authorized(user, password)
385
 
 
386
 
        return False
387
 
 
388
 
    def send_header_auth_reqed(self):
389
 
        tcs = self.server.test_case_server
390
 
        self.send_header(tcs.auth_header_sent,
391
 
                         'Basic realm="%s"' % tcs.auth_realm)
392
 
 
393
 
 
394
 
# FIXME: We could send an Authentication-Info header too when
395
 
# the authentication is succesful
396
 
 
397
 
class DigestAuthRequestHandler(AuthRequestHandler):
398
 
    """Implements the digest authentication of a request.
399
 
 
400
 
    We need persistence for some attributes and that can't be
401
 
    achieved here since we get instantiated for each request. We
402
 
    rely on the DigestAuthServer to take care of them.
403
 
    """
404
 
 
405
 
    def authorized(self):
406
 
        tcs = self.server.test_case_server
407
 
        if tcs.auth_scheme != 'digest':
408
 
            return False
409
 
 
410
 
        auth_header = self.headers.get(tcs.auth_header_recv, None)
411
 
        if auth_header is None:
412
 
            return False
413
 
        scheme, auth = auth_header.split(None, 1)
414
 
        if scheme.lower() == tcs.auth_scheme:
415
 
            auth_dict = urllib2.parse_keqv_list(urllib2.parse_http_list(auth))
416
 
 
417
 
            return tcs.digest_authorized(auth_dict, self.command)
418
 
 
419
 
        return False
420
 
 
421
 
    def send_header_auth_reqed(self):
422
 
        tcs = self.server.test_case_server
423
 
        header = 'Digest realm="%s", ' % tcs.auth_realm
424
 
        header += 'nonce="%s", algorithm="%s", qop="auth"' % (tcs.auth_nonce,
425
 
                                                              'MD5')
426
 
        self.send_header(tcs.auth_header_sent,header)
427
 
 
428
 
 
429
 
class AuthServer(HttpServer):
430
 
    """Extends HttpServer with a dictionary of passwords.
431
 
 
432
 
    This is used as a base class for various schemes which should
433
 
    all use or redefined the associated AuthRequestHandler.
434
 
 
435
 
    Note that no users are defined by default, so add_user should
436
 
    be called before issuing the first request.
437
 
    """
438
 
 
439
 
    # The following attributes should be set dy daughter classes
440
 
    # and are used by AuthRequestHandler.
441
 
    auth_header_sent = None
442
 
    auth_header_recv = None
443
 
    auth_error_code = None
444
 
    auth_realm = "Thou should not pass"
445
 
 
446
 
    def __init__(self, request_handler, auth_scheme):
447
 
        HttpServer.__init__(self, request_handler)
448
 
        self.auth_scheme = auth_scheme
449
 
        self.password_of = {}
450
 
        self.auth_required_errors = 0
451
 
 
452
 
    def add_user(self, user, password):
453
 
        """Declare a user with an associated password.
454
 
 
455
 
        password can be empty, use an empty string ('') in that
456
 
        case, not None.
457
 
        """
458
 
        self.password_of[user] = password
459
 
 
460
 
    def authorized(self, user, password):
461
 
        """Check that the given user provided the right password"""
462
 
        expected_password = self.password_of.get(user, None)
463
 
        return expected_password is not None and password == expected_password
464
 
 
465
 
 
466
 
# FIXME: There is some code duplication with
467
 
# _urllib2_wrappers.py.DigestAuthHandler. If that duplciation
468
 
# grows, it may require a refactoring. Also, we don't implement
469
 
# SHA algorithm nor MD5-sess here, but that does not seem worth
470
 
# it.
471
 
class DigestAuthServer(AuthServer):
472
 
    """A digest authentication server"""
473
 
 
474
 
    auth_nonce = 'now!'
475
 
 
476
 
    def __init__(self, request_handler, auth_scheme):
477
 
        AuthServer.__init__(self, request_handler, auth_scheme)
478
 
 
479
 
    def digest_authorized(self, auth, command):
480
 
        nonce = auth['nonce']
481
 
        if nonce != self.auth_nonce:
482
 
            return False
483
 
        realm = auth['realm']
484
 
        if realm != self.auth_realm:
485
 
            return False
486
 
        user = auth['username']
487
 
        if not self.password_of.has_key(user):
488
 
            return False
489
 
        algorithm= auth['algorithm']
490
 
        if algorithm != 'MD5':
491
 
            return False
492
 
        qop = auth['qop']
493
 
        if qop != 'auth':
494
 
            return False
495
 
 
496
 
        password = self.password_of[user]
497
 
 
498
 
        # Recalculate the response_digest to compare with the one
499
 
        # sent by the client
500
 
        A1 = '%s:%s:%s' % (user, realm, password)
501
 
        A2 = '%s:%s' % (command, auth['uri'])
502
 
 
503
 
        H = lambda x: md5.new(x).hexdigest()
504
 
        KD = lambda secret, data: H("%s:%s" % (secret, data))
505
 
 
506
 
        nonce_count = int(auth['nc'], 16)
507
 
 
508
 
        ncvalue = '%08x' % nonce_count
509
 
 
510
 
        cnonce = auth['cnonce']
511
 
        noncebit = '%s:%s:%s:%s:%s' % (nonce, ncvalue, cnonce, qop, H(A2))
512
 
        response_digest = KD(H(A1), noncebit)
513
 
 
514
 
        return response_digest == auth['response']
515
 
 
516
 
class HTTPAuthServer(AuthServer):
517
 
    """An HTTP server requiring authentication"""
518
 
 
519
 
    def init_http_auth(self):
520
 
        self.auth_header_sent = 'WWW-Authenticate'
521
 
        self.auth_header_recv = 'Authorization'
522
 
        self.auth_error_code = 401
523
 
 
524
 
 
525
 
class ProxyAuthServer(AuthServer):
526
 
    """A proxy server requiring authentication"""
527
 
 
528
 
    def init_proxy_auth(self):
529
 
        self.proxy_requests = True
530
 
        self.auth_header_sent = 'Proxy-Authenticate'
531
 
        self.auth_header_recv = 'Proxy-Authorization'
532
 
        self.auth_error_code = 407
533
 
 
534
 
 
535
 
class HTTPBasicAuthServer(HTTPAuthServer):
536
 
    """An HTTP server requiring basic authentication"""
537
 
 
538
 
    def __init__(self):
539
 
        HTTPAuthServer.__init__(self, BasicAuthRequestHandler, 'basic')
540
 
        self.init_http_auth()
541
 
 
542
 
 
543
 
class HTTPDigestAuthServer(DigestAuthServer, HTTPAuthServer):
544
 
    """An HTTP server requiring digest authentication"""
545
 
 
546
 
    def __init__(self):
547
 
        DigestAuthServer.__init__(self, DigestAuthRequestHandler, 'digest')
548
 
        self.init_http_auth()
549
 
 
550
 
 
551
 
class ProxyBasicAuthServer(ProxyAuthServer):
552
 
    """A proxy server requiring basic authentication"""
553
 
 
554
 
    def __init__(self):
555
 
        ProxyAuthServer.__init__(self, BasicAuthRequestHandler, 'basic')
556
 
        self.init_proxy_auth()
557
 
 
558
 
 
559
 
class ProxyDigestAuthServer(DigestAuthServer, ProxyAuthServer):
560
 
    """A proxy server requiring basic authentication"""
561
 
 
562
 
    def __init__(self):
563
 
        ProxyAuthServer.__init__(self, DigestAuthRequestHandler, 'digest')
564
 
        self.init_proxy_auth()
 
206
class FakeProxyRequestHandler(TestingHTTPRequestHandler):
 
207
    """Append a '-proxied' suffix to file served"""
 
208
 
 
209
    def translate_path(self, path):
 
210
        # We need to act as a proxy and accept absolute urls,
 
211
        # which SimpleHTTPRequestHandler (grand parent) is not
 
212
        # ready for. So we just drop the protocol://host:port
 
213
        # part in front of the request-url (because we know we
 
214
        # would not forward the request to *another* proxy).
 
215
 
 
216
        # So we do what SimpleHTTPRequestHandler.translate_path
 
217
        # do beginning with python 2.4.3: abandon query
 
218
        # parameters, scheme, host port, etc (which ensure we
 
219
        # provide the right behaviour on all python versions).
 
220
        path = urlparse.urlparse(path)[2]
 
221
        # And now, we can apply *our* trick to proxy files
 
222
        self.path += '-proxied'
 
223
        # An finally we leave our mother class do whatever it
 
224
        # wants with the path
 
225
        return TestingHTTPRequestHandler.translate_path(self, path)
 
226
 
565
227
 
566
228