~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_http.py

Make needs_read_lock and needs_write_lock more visible in tracebacks

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2007, 2008, 2009 Canonical Ltd
2
 
#
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
#
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
#
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
17
 
"""Tests for HTTP implementations.
18
 
 
19
 
This module defines a load_tests() method that parametrize tests classes for
20
 
transport implementation, http protocol versions and authentication schemes.
21
 
"""
22
 
 
23
 
# TODO: Should be renamed to bzrlib.transport.http.tests?
24
 
# TODO: What about renaming to bzrlib.tests.transport.http ?
25
 
 
26
 
from cStringIO import StringIO
27
 
import httplib
28
 
import os
29
 
import select
30
 
import SimpleHTTPServer
31
 
import socket
32
 
import sys
33
 
import threading
34
 
 
35
 
import bzrlib
36
 
from bzrlib import (
37
 
    bzrdir,
38
 
    config,
39
 
    errors,
40
 
    osutils,
41
 
    remote as _mod_remote,
42
 
    tests,
43
 
    transport,
44
 
    ui,
45
 
    urlutils,
46
 
    )
47
 
from bzrlib.symbol_versioning import (
48
 
    deprecated_in,
49
 
    )
50
 
from bzrlib.tests import (
51
 
    http_server,
52
 
    http_utils,
53
 
    )
54
 
from bzrlib.transport import (
55
 
    http,
56
 
    remote,
57
 
    )
58
 
from bzrlib.transport.http import (
59
 
    _urllib,
60
 
    _urllib2_wrappers,
61
 
    )
62
 
 
63
 
 
64
 
try:
65
 
    from bzrlib.transport.http._pycurl import PyCurlTransport
66
 
    pycurl_present = True
67
 
except errors.DependencyNotPresent:
68
 
    pycurl_present = False
69
 
 
70
 
 
71
 
def load_tests(standard_tests, module, loader):
72
 
    """Multiply tests for http clients and protocol versions."""
73
 
    result = loader.suiteClass()
74
 
 
75
 
    # one for each transport implementation
76
 
    t_tests, remaining_tests = tests.split_suite_by_condition(
77
 
        standard_tests, tests.condition_isinstance((
78
 
                TestHttpTransportRegistration,
79
 
                TestHttpTransportUrls,
80
 
                Test_redirected_to,
81
 
                )))
82
 
    transport_scenarios = [
83
 
        ('urllib', dict(_transport=_urllib.HttpTransport_urllib,
84
 
                        _server=http_server.HttpServer_urllib,
85
 
                        _qualified_prefix='http+urllib',)),
86
 
        ]
87
 
    if pycurl_present:
88
 
        transport_scenarios.append(
89
 
            ('pycurl', dict(_transport=PyCurlTransport,
90
 
                            _server=http_server.HttpServer_PyCurl,
91
 
                            _qualified_prefix='http+pycurl',)))
92
 
    tests.multiply_tests(t_tests, transport_scenarios, result)
93
 
 
94
 
    # each implementation tested with each HTTP version
95
 
    tp_tests, remaining_tests = tests.split_suite_by_condition(
96
 
        remaining_tests, tests.condition_isinstance((
97
 
                SmartHTTPTunnellingTest,
98
 
                TestDoCatchRedirections,
99
 
                TestHTTPConnections,
100
 
                TestHTTPRedirections,
101
 
                TestHTTPSilentRedirections,
102
 
                TestLimitedRangeRequestServer,
103
 
                TestPost,
104
 
                TestProxyHttpServer,
105
 
                TestRanges,
106
 
                TestSpecificRequestHandler,
107
 
                )))
108
 
    protocol_scenarios = [
109
 
            ('HTTP/1.0',  dict(_protocol_version='HTTP/1.0')),
110
 
            ('HTTP/1.1',  dict(_protocol_version='HTTP/1.1')),
111
 
            ]
112
 
    tp_scenarios = tests.multiply_scenarios(transport_scenarios,
113
 
                                            protocol_scenarios)
114
 
    tests.multiply_tests(tp_tests, tp_scenarios, result)
115
 
 
116
 
    # proxy auth: each auth scheme on all http versions on all implementations.
117
 
    tppa_tests, remaining_tests = tests.split_suite_by_condition(
118
 
        remaining_tests, tests.condition_isinstance((
119
 
                TestProxyAuth,
120
 
                )))
121
 
    proxy_auth_scheme_scenarios = [
122
 
        ('basic', dict(_auth_server=http_utils.ProxyBasicAuthServer)),
123
 
        ('digest', dict(_auth_server=http_utils.ProxyDigestAuthServer)),
124
 
        ('basicdigest',
125
 
         dict(_auth_server=http_utils.ProxyBasicAndDigestAuthServer)),
126
 
        ]
127
 
    tppa_scenarios = tests.multiply_scenarios(tp_scenarios,
128
 
                                              proxy_auth_scheme_scenarios)
129
 
    tests.multiply_tests(tppa_tests, tppa_scenarios, result)
130
 
 
131
 
    # auth: each auth scheme on all http versions on all implementations.
132
 
    tpa_tests, remaining_tests = tests.split_suite_by_condition(
133
 
        remaining_tests, tests.condition_isinstance((
134
 
                TestAuth,
135
 
                )))
136
 
    auth_scheme_scenarios = [
137
 
        ('basic', dict(_auth_server=http_utils.HTTPBasicAuthServer)),
138
 
        ('digest', dict(_auth_server=http_utils.HTTPDigestAuthServer)),
139
 
        ('basicdigest',
140
 
         dict(_auth_server=http_utils.HTTPBasicAndDigestAuthServer)),
141
 
        ]
142
 
    tpa_scenarios = tests.multiply_scenarios(tp_scenarios,
143
 
                                             auth_scheme_scenarios)
144
 
    tests.multiply_tests(tpa_tests, tpa_scenarios, result)
145
 
 
146
 
    # activity: on all http[s] versions on all implementations
147
 
    tpact_tests, remaining_tests = tests.split_suite_by_condition(
148
 
        remaining_tests, tests.condition_isinstance((
149
 
                TestActivity,
150
 
                )))
151
 
    activity_scenarios = [
152
 
        ('urllib,http', dict(_activity_server=ActivityHTTPServer,
153
 
                             _transport=_urllib.HttpTransport_urllib,)),
154
 
        ]
155
 
    if tests.HTTPSServerFeature.available():
156
 
        activity_scenarios.append(
157
 
            ('urllib,https', dict(_activity_server=ActivityHTTPSServer,
158
 
                                  _transport=_urllib.HttpTransport_urllib,)),)
159
 
    if pycurl_present:
160
 
        activity_scenarios.append(
161
 
            ('pycurl,http', dict(_activity_server=ActivityHTTPServer,
162
 
                                 _transport=PyCurlTransport,)),)
163
 
        if tests.HTTPSServerFeature.available():
164
 
            from bzrlib.tests import (
165
 
                ssl_certs,
166
 
                )
167
 
            # FIXME: Until we have a better way to handle self-signed
168
 
            # certificates (like allowing them in a test specific
169
 
            # authentication.conf for example), we need some specialized pycurl
170
 
            # transport for tests.
171
 
            class HTTPS_pycurl_transport(PyCurlTransport):
172
 
 
173
 
                def __init__(self, base, _from_transport=None):
174
 
                    super(HTTPS_pycurl_transport, self).__init__(
175
 
                        base, _from_transport)
176
 
                    self.cabundle = str(ssl_certs.build_path('ca.crt'))
177
 
 
178
 
            activity_scenarios.append(
179
 
                ('pycurl,https', dict(_activity_server=ActivityHTTPSServer,
180
 
                                      _transport=HTTPS_pycurl_transport,)),)
181
 
 
182
 
    tpact_scenarios = tests.multiply_scenarios(activity_scenarios,
183
 
                                               protocol_scenarios)
184
 
    tests.multiply_tests(tpact_tests, tpact_scenarios, result)
185
 
 
186
 
    # No parametrization for the remaining tests
187
 
    result.addTests(remaining_tests)
188
 
 
189
 
    return result
190
 
 
191
 
 
192
 
class FakeManager(object):
193
 
 
 
1
# (C) 2005 Canonical
 
2
 
 
3
from bzrlib.tests import TestCase
 
4
from bzrlib.transport.http import HttpTransport, extract_auth
 
5
 
 
6
class FakeManager (object):
194
7
    def __init__(self):
195
8
        self.credentials = []
196
 
 
 
9
        
197
10
    def add_password(self, realm, host, username, password):
198
11
        self.credentials.append([realm, host, username, password])
199
12
 
200
 
 
201
 
class RecordingServer(object):
202
 
    """A fake HTTP server.
203
 
 
204
 
    It records the bytes sent to it, and replies with a 200.
205
 
    """
206
 
 
207
 
    def __init__(self, expect_body_tail=None):
208
 
        """Constructor.
209
 
 
210
 
        :type expect_body_tail: str
211
 
        :param expect_body_tail: a reply won't be sent until this string is
212
 
            received.
213
 
        """
214
 
        self._expect_body_tail = expect_body_tail
215
 
        self.host = None
216
 
        self.port = None
217
 
        self.received_bytes = ''
218
 
 
219
 
    def setUp(self):
220
 
        self._sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
221
 
        self._sock.bind(('127.0.0.1', 0))
222
 
        self.host, self.port = self._sock.getsockname()
223
 
        self._ready = threading.Event()
224
 
        self._thread = threading.Thread(target=self._accept_read_and_reply)
225
 
        self._thread.setDaemon(True)
226
 
        self._thread.start()
227
 
        self._ready.wait(5)
228
 
 
229
 
    def _accept_read_and_reply(self):
230
 
        self._sock.listen(1)
231
 
        self._ready.set()
232
 
        self._sock.settimeout(5)
233
 
        try:
234
 
            conn, address = self._sock.accept()
235
 
            # On win32, the accepted connection will be non-blocking to start
236
 
            # with because we're using settimeout.
237
 
            conn.setblocking(True)
238
 
            while not self.received_bytes.endswith(self._expect_body_tail):
239
 
                self.received_bytes += conn.recv(4096)
240
 
            conn.sendall('HTTP/1.1 200 OK\r\n')
241
 
        except socket.timeout:
242
 
            # Make sure the client isn't stuck waiting for us to e.g. accept.
243
 
            self._sock.close()
244
 
        except socket.error:
245
 
            # The client may have already closed the socket.
246
 
            pass
247
 
 
248
 
    def tearDown(self):
249
 
        try:
250
 
            self._sock.close()
251
 
        except socket.error:
252
 
            # We might have already closed it.  We don't care.
253
 
            pass
254
 
        self.host = None
255
 
        self.port = None
256
 
 
257
 
 
258
 
class TestAuthHeader(tests.TestCase):
259
 
 
260
 
    def parse_header(self, header, auth_handler_class=None):
261
 
        if auth_handler_class is None:
262
 
            auth_handler_class = _urllib2_wrappers.AbstractAuthHandler
263
 
        self.auth_handler =  auth_handler_class()
264
 
        return self.auth_handler._parse_auth_header(header)
265
 
 
266
 
    def test_empty_header(self):
267
 
        scheme, remainder = self.parse_header('')
268
 
        self.assertEquals('', scheme)
269
 
        self.assertIs(None, remainder)
270
 
 
271
 
    def test_negotiate_header(self):
272
 
        scheme, remainder = self.parse_header('Negotiate')
273
 
        self.assertEquals('negotiate', scheme)
274
 
        self.assertIs(None, remainder)
275
 
 
276
 
    def test_basic_header(self):
277
 
        scheme, remainder = self.parse_header(
278
 
            'Basic realm="Thou should not pass"')
279
 
        self.assertEquals('basic', scheme)
280
 
        self.assertEquals('realm="Thou should not pass"', remainder)
281
 
 
282
 
    def test_basic_extract_realm(self):
283
 
        scheme, remainder = self.parse_header(
284
 
            'Basic realm="Thou should not pass"',
285
 
            _urllib2_wrappers.BasicAuthHandler)
286
 
        match, realm = self.auth_handler.extract_realm(remainder)
287
 
        self.assertTrue(match is not None)
288
 
        self.assertEquals('Thou should not pass', realm)
289
 
 
290
 
    def test_digest_header(self):
291
 
        scheme, remainder = self.parse_header(
292
 
            'Digest realm="Thou should not pass"')
293
 
        self.assertEquals('digest', scheme)
294
 
        self.assertEquals('realm="Thou should not pass"', remainder)
295
 
 
296
 
 
297
 
class TestHTTPServer(tests.TestCase):
298
 
    """Test the HTTP servers implementations."""
299
 
 
300
 
    def test_invalid_protocol(self):
301
 
        class BogusRequestHandler(http_server.TestingHTTPRequestHandler):
302
 
 
303
 
            protocol_version = 'HTTP/0.1'
304
 
 
305
 
        server = http_server.HttpServer(BogusRequestHandler)
306
 
        try:
307
 
            self.assertRaises(httplib.UnknownProtocol, server.setUp)
308
 
        except:
309
 
            server.tearDown()
310
 
            self.fail('HTTP Server creation did not raise UnknownProtocol')
311
 
 
312
 
    def test_force_invalid_protocol(self):
313
 
        server = http_server.HttpServer(protocol_version='HTTP/0.1')
314
 
        try:
315
 
            self.assertRaises(httplib.UnknownProtocol, server.setUp)
316
 
        except:
317
 
            server.tearDown()
318
 
            self.fail('HTTP Server creation did not raise UnknownProtocol')
319
 
 
320
 
    def test_server_start_and_stop(self):
321
 
        server = http_server.HttpServer()
322
 
        server.setUp()
323
 
        try:
324
 
            self.assertTrue(server._http_running)
325
 
        finally:
326
 
            server.tearDown()
327
 
        self.assertFalse(server._http_running)
328
 
 
329
 
    def test_create_http_server_one_zero(self):
330
 
        class RequestHandlerOneZero(http_server.TestingHTTPRequestHandler):
331
 
 
332
 
            protocol_version = 'HTTP/1.0'
333
 
 
334
 
        server = http_server.HttpServer(RequestHandlerOneZero)
335
 
        self.start_server(server)
336
 
        self.assertIsInstance(server._httpd, http_server.TestingHTTPServer)
337
 
 
338
 
    def test_create_http_server_one_one(self):
339
 
        class RequestHandlerOneOne(http_server.TestingHTTPRequestHandler):
340
 
 
341
 
            protocol_version = 'HTTP/1.1'
342
 
 
343
 
        server = http_server.HttpServer(RequestHandlerOneOne)
344
 
        self.start_server(server)
345
 
        self.assertIsInstance(server._httpd,
346
 
                              http_server.TestingThreadingHTTPServer)
347
 
 
348
 
    def test_create_http_server_force_one_one(self):
349
 
        class RequestHandlerOneZero(http_server.TestingHTTPRequestHandler):
350
 
 
351
 
            protocol_version = 'HTTP/1.0'
352
 
 
353
 
        server = http_server.HttpServer(RequestHandlerOneZero,
354
 
                                        protocol_version='HTTP/1.1')
355
 
        self.start_server(server)
356
 
        self.assertIsInstance(server._httpd,
357
 
                              http_server.TestingThreadingHTTPServer)
358
 
 
359
 
    def test_create_http_server_force_one_zero(self):
360
 
        class RequestHandlerOneOne(http_server.TestingHTTPRequestHandler):
361
 
 
362
 
            protocol_version = 'HTTP/1.1'
363
 
 
364
 
        server = http_server.HttpServer(RequestHandlerOneOne,
365
 
                                        protocol_version='HTTP/1.0')
366
 
        self.start_server(server)
367
 
        self.assertIsInstance(server._httpd,
368
 
                              http_server.TestingHTTPServer)
369
 
 
370
 
 
371
 
class TestWithTransport_pycurl(object):
372
 
    """Test case to inherit from if pycurl is present"""
373
 
 
374
 
    def _get_pycurl_maybe(self):
375
 
        try:
376
 
            from bzrlib.transport.http._pycurl import PyCurlTransport
377
 
            return PyCurlTransport
378
 
        except errors.DependencyNotPresent:
379
 
            raise tests.TestSkipped('pycurl not present')
380
 
 
381
 
    _transport = property(_get_pycurl_maybe)
382
 
 
383
 
 
384
 
class TestHttpUrls(tests.TestCase):
385
 
 
386
 
    # TODO: This should be moved to authorization tests once they
387
 
    # are written.
388
 
 
 
13
        
 
14
class TestHttpUrls(TestCase):
389
15
    def test_url_parsing(self):
390
16
        f = FakeManager()
391
 
        url = http.extract_auth('http://example.com', f)
 
17
        url = extract_auth('http://example.com', f)
392
18
        self.assertEquals('http://example.com', url)
393
19
        self.assertEquals(0, len(f.credentials))
394
 
        url = http.extract_auth(
395
 
            'http://user:pass@www.bazaar-vcs.org/bzr/bzr.dev', f)
396
 
        self.assertEquals('http://www.bazaar-vcs.org/bzr/bzr.dev', url)
 
20
        url = extract_auth('http://user:pass@www.bazaar-ng.org/bzr/bzr.dev', f)
 
21
        self.assertEquals('http://www.bazaar-ng.org/bzr/bzr.dev', url)
397
22
        self.assertEquals(1, len(f.credentials))
398
 
        self.assertEquals([None, 'www.bazaar-vcs.org', 'user', 'pass'],
399
 
                          f.credentials[0])
400
 
 
401
 
 
402
 
class TestHttpTransportUrls(tests.TestCase):
403
 
    """Test the http urls."""
404
 
 
 
23
        self.assertEquals([None, 'www.bazaar-ng.org', 'user', 'pass'], f.credentials[0])
 
24
        
405
25
    def test_abs_url(self):
406
26
        """Construction of absolute http URLs"""
407
 
        t = self._transport('http://bazaar-vcs.org/bzr/bzr.dev/')
 
27
        t = HttpTransport('http://bazaar-ng.org/bzr/bzr.dev/')
408
28
        eq = self.assertEqualDiff
409
 
        eq(t.abspath('.'), 'http://bazaar-vcs.org/bzr/bzr.dev')
410
 
        eq(t.abspath('foo/bar'), 'http://bazaar-vcs.org/bzr/bzr.dev/foo/bar')
411
 
        eq(t.abspath('.bzr'), 'http://bazaar-vcs.org/bzr/bzr.dev/.bzr')
 
29
        eq(t.abspath('.'),
 
30
           'http://bazaar-ng.org/bzr/bzr.dev')
 
31
        eq(t.abspath('foo/bar'), 
 
32
           'http://bazaar-ng.org/bzr/bzr.dev/foo/bar')
 
33
        eq(t.abspath('.bzr'),
 
34
           'http://bazaar-ng.org/bzr/bzr.dev/.bzr')
412
35
        eq(t.abspath('.bzr/1//2/./3'),
413
 
           'http://bazaar-vcs.org/bzr/bzr.dev/.bzr/1/2/3')
 
36
           'http://bazaar-ng.org/bzr/bzr.dev/.bzr/1/2/3')
414
37
 
415
38
    def test_invalid_http_urls(self):
416
39
        """Trap invalid construction of urls"""
417
 
        t = self._transport('http://bazaar-vcs.org/bzr/bzr.dev/')
418
 
        self.assertRaises(errors.InvalidURL,
419
 
                          self._transport,
420
 
                          'http://http://bazaar-vcs.org/bzr/bzr.dev/')
 
40
        t = HttpTransport('http://bazaar-ng.org/bzr/bzr.dev/')
 
41
        self.assertRaises(ValueError,
 
42
            t.abspath,
 
43
            '.bzr/')
 
44
        self.assertRaises(ValueError,
 
45
            t.abspath,
 
46
            '/.bzr')
421
47
 
422
48
    def test_http_root_urls(self):
423
49
        """Construction of URLs from server root"""
424
 
        t = self._transport('http://bzr.ozlabs.org/')
 
50
        t = HttpTransport('http://bzr.ozlabs.org/')
425
51
        eq = self.assertEqualDiff
426
52
        eq(t.abspath('.bzr/tree-version'),
427
53
           'http://bzr.ozlabs.org/.bzr/tree-version')
428
 
 
429
 
    def test_http_impl_urls(self):
430
 
        """There are servers which ask for particular clients to connect"""
431
 
        server = self._server()
432
 
        server.setUp()
433
 
        try:
434
 
            url = server.get_url()
435
 
            self.assertTrue(url.startswith('%s://' % self._qualified_prefix))
436
 
        finally:
437
 
            server.tearDown()
438
 
 
439
 
 
440
 
class TestHttps_pycurl(TestWithTransport_pycurl, tests.TestCase):
441
 
 
442
 
    # TODO: This should really be moved into another pycurl
443
 
    # specific test. When https tests will be implemented, take
444
 
    # this one into account.
445
 
    def test_pycurl_without_https_support(self):
446
 
        """Test that pycurl without SSL do not fail with a traceback.
447
 
 
448
 
        For the purpose of the test, we force pycurl to ignore
449
 
        https by supplying a fake version_info that do not
450
 
        support it.
451
 
        """
452
 
        try:
453
 
            import pycurl
454
 
        except ImportError:
455
 
            raise tests.TestSkipped('pycurl not present')
456
 
 
457
 
        version_info_orig = pycurl.version_info
458
 
        try:
459
 
            # Now that we have pycurl imported, we can fake its version_info
460
 
            # This was taken from a windows pycurl without SSL
461
 
            # (thanks to bialix)
462
 
            pycurl.version_info = lambda : (2,
463
 
                                            '7.13.2',
464
 
                                            462082,
465
 
                                            'i386-pc-win32',
466
 
                                            2576,
467
 
                                            None,
468
 
                                            0,
469
 
                                            None,
470
 
                                            ('ftp', 'gopher', 'telnet',
471
 
                                             'dict', 'ldap', 'http', 'file'),
472
 
                                            None,
473
 
                                            0,
474
 
                                            None)
475
 
            self.assertRaises(errors.DependencyNotPresent, self._transport,
476
 
                              'https://launchpad.net')
477
 
        finally:
478
 
            # Restore the right function
479
 
            pycurl.version_info = version_info_orig
480
 
 
481
 
 
482
 
class TestHTTPConnections(http_utils.TestCaseWithWebserver):
483
 
    """Test the http connections."""
484
 
 
485
 
    def setUp(self):
486
 
        http_utils.TestCaseWithWebserver.setUp(self)
487
 
        self.build_tree(['foo/', 'foo/bar'], line_endings='binary',
488
 
                        transport=self.get_transport())
489
 
 
490
 
    def test_http_has(self):
491
 
        server = self.get_readonly_server()
492
 
        t = self._transport(server.get_url())
493
 
        self.assertEqual(t.has('foo/bar'), True)
494
 
        self.assertEqual(len(server.logs), 1)
495
 
        self.assertContainsRe(server.logs[0],
496
 
            r'"HEAD /foo/bar HTTP/1.." (200|302) - "-" "bzr/')
497
 
 
498
 
    def test_http_has_not_found(self):
499
 
        server = self.get_readonly_server()
500
 
        t = self._transport(server.get_url())
501
 
        self.assertEqual(t.has('not-found'), False)
502
 
        self.assertContainsRe(server.logs[1],
503
 
            r'"HEAD /not-found HTTP/1.." 404 - "-" "bzr/')
504
 
 
505
 
    def test_http_get(self):
506
 
        server = self.get_readonly_server()
507
 
        t = self._transport(server.get_url())
508
 
        fp = t.get('foo/bar')
509
 
        self.assertEqualDiff(
510
 
            fp.read(),
511
 
            'contents of foo/bar\n')
512
 
        self.assertEqual(len(server.logs), 1)
513
 
        self.assertTrue(server.logs[0].find(
514
 
            '"GET /foo/bar HTTP/1.1" 200 - "-" "bzr/%s'
515
 
            % bzrlib.__version__) > -1)
516
 
 
517
 
    def test_has_on_bogus_host(self):
518
 
        # Get a free address and don't 'accept' on it, so that we
519
 
        # can be sure there is no http handler there, but set a
520
 
        # reasonable timeout to not slow down tests too much.
521
 
        default_timeout = socket.getdefaulttimeout()
522
 
        try:
523
 
            socket.setdefaulttimeout(2)
524
 
            s = socket.socket()
525
 
            s.bind(('localhost', 0))
526
 
            t = self._transport('http://%s:%s/' % s.getsockname())
527
 
            self.assertRaises(errors.ConnectionError, t.has, 'foo/bar')
528
 
        finally:
529
 
            socket.setdefaulttimeout(default_timeout)
530
 
 
531
 
 
532
 
class TestHttpTransportRegistration(tests.TestCase):
533
 
    """Test registrations of various http implementations"""
534
 
 
535
 
    def test_http_registered(self):
536
 
        t = transport.get_transport('%s://foo.com/' % self._qualified_prefix)
537
 
        self.assertIsInstance(t, transport.Transport)
538
 
        self.assertIsInstance(t, self._transport)
539
 
 
540
 
 
541
 
class TestPost(tests.TestCase):
542
 
 
543
 
    def test_post_body_is_received(self):
544
 
        server = RecordingServer(expect_body_tail='end-of-body')
545
 
        self.start_server(server)
546
 
        scheme = self._qualified_prefix
547
 
        url = '%s://%s:%s/' % (scheme, server.host, server.port)
548
 
        http_transport = self._transport(url)
549
 
        code, response = http_transport._post('abc def end-of-body')
550
 
        self.assertTrue(
551
 
            server.received_bytes.startswith('POST /.bzr/smart HTTP/1.'))
552
 
        self.assertTrue('content-length: 19\r' in server.received_bytes.lower())
553
 
        # The transport should not be assuming that the server can accept
554
 
        # chunked encoding the first time it connects, because HTTP/1.1, so we
555
 
        # check for the literal string.
556
 
        self.assertTrue(
557
 
            server.received_bytes.endswith('\r\n\r\nabc def end-of-body'))
558
 
 
559
 
 
560
 
class TestRangeHeader(tests.TestCase):
561
 
    """Test range_header method"""
562
 
 
563
 
    def check_header(self, value, ranges=[], tail=0):
564
 
        offsets = [ (start, end - start + 1) for start, end in ranges]
565
 
        coalesce = transport.Transport._coalesce_offsets
566
 
        coalesced = list(coalesce(offsets, limit=0, fudge_factor=0))
567
 
        range_header = http.HttpTransportBase._range_header
568
 
        self.assertEqual(value, range_header(coalesced, tail))
569
 
 
570
 
    def test_range_header_single(self):
571
 
        self.check_header('0-9', ranges=[(0,9)])
572
 
        self.check_header('100-109', ranges=[(100,109)])
573
 
 
574
 
    def test_range_header_tail(self):
575
 
        self.check_header('-10', tail=10)
576
 
        self.check_header('-50', tail=50)
577
 
 
578
 
    def test_range_header_multi(self):
579
 
        self.check_header('0-9,100-200,300-5000',
580
 
                          ranges=[(0,9), (100, 200), (300,5000)])
581
 
 
582
 
    def test_range_header_mixed(self):
583
 
        self.check_header('0-9,300-5000,-50',
584
 
                          ranges=[(0,9), (300,5000)],
585
 
                          tail=50)
586
 
 
587
 
 
588
 
class TestSpecificRequestHandler(http_utils.TestCaseWithWebserver):
589
 
    """Tests a specific request handler.
590
 
 
591
 
    Daughter classes are expected to override _req_handler_class
592
 
    """
593
 
 
594
 
    # Provide a useful default
595
 
    _req_handler_class = http_server.TestingHTTPRequestHandler
596
 
 
597
 
    def create_transport_readonly_server(self):
598
 
        return http_server.HttpServer(self._req_handler_class,
599
 
                                      protocol_version=self._protocol_version)
600
 
 
601
 
    def _testing_pycurl(self):
602
 
        return pycurl_present and self._transport == PyCurlTransport
603
 
 
604
 
 
605
 
class WallRequestHandler(http_server.TestingHTTPRequestHandler):
606
 
    """Whatever request comes in, close the connection"""
607
 
 
608
 
    def handle_one_request(self):
609
 
        """Handle a single HTTP request, by abruptly closing the connection"""
610
 
        self.close_connection = 1
611
 
 
612
 
 
613
 
class TestWallServer(TestSpecificRequestHandler):
614
 
    """Tests exceptions during the connection phase"""
615
 
 
616
 
    _req_handler_class = WallRequestHandler
617
 
 
618
 
    def test_http_has(self):
619
 
        server = self.get_readonly_server()
620
 
        t = self._transport(server.get_url())
621
 
        # Unfortunately httplib (see HTTPResponse._read_status
622
 
        # for details) make no distinction between a closed
623
 
        # socket and badly formatted status line, so we can't
624
 
        # just test for ConnectionError, we have to test
625
 
        # InvalidHttpResponse too. And pycurl may raise ConnectionReset
626
 
        # instead of ConnectionError too.
627
 
        self.assertRaises(( errors.ConnectionError, errors.ConnectionReset,
628
 
                            errors.InvalidHttpResponse),
629
 
                          t.has, 'foo/bar')
630
 
 
631
 
    def test_http_get(self):
632
 
        server = self.get_readonly_server()
633
 
        t = self._transport(server.get_url())
634
 
        self.assertRaises((errors.ConnectionError, errors.ConnectionReset,
635
 
                           errors.InvalidHttpResponse),
636
 
                          t.get, 'foo/bar')
637
 
 
638
 
 
639
 
class BadStatusRequestHandler(http_server.TestingHTTPRequestHandler):
640
 
    """Whatever request comes in, returns a bad status"""
641
 
 
642
 
    def parse_request(self):
643
 
        """Fakes handling a single HTTP request, returns a bad status"""
644
 
        ignored = http_server.TestingHTTPRequestHandler.parse_request(self)
645
 
        self.send_response(0, "Bad status")
646
 
        self.close_connection = 1
647
 
        return False
648
 
 
649
 
 
650
 
class TestBadStatusServer(TestSpecificRequestHandler):
651
 
    """Tests bad status from server."""
652
 
 
653
 
    _req_handler_class = BadStatusRequestHandler
654
 
 
655
 
    def test_http_has(self):
656
 
        server = self.get_readonly_server()
657
 
        t = self._transport(server.get_url())
658
 
        self.assertRaises(errors.InvalidHttpResponse, t.has, 'foo/bar')
659
 
 
660
 
    def test_http_get(self):
661
 
        server = self.get_readonly_server()
662
 
        t = self._transport(server.get_url())
663
 
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'foo/bar')
664
 
 
665
 
 
666
 
class InvalidStatusRequestHandler(http_server.TestingHTTPRequestHandler):
667
 
    """Whatever request comes in, returns an invalid status"""
668
 
 
669
 
    def parse_request(self):
670
 
        """Fakes handling a single HTTP request, returns a bad status"""
671
 
        ignored = http_server.TestingHTTPRequestHandler.parse_request(self)
672
 
        self.wfile.write("Invalid status line\r\n")
673
 
        return False
674
 
 
675
 
 
676
 
class TestInvalidStatusServer(TestBadStatusServer):
677
 
    """Tests invalid status from server.
678
 
 
679
 
    Both implementations raises the same error as for a bad status.
680
 
    """
681
 
 
682
 
    _req_handler_class = InvalidStatusRequestHandler
683
 
 
684
 
    def test_http_has(self):
685
 
        if self._testing_pycurl() and self._protocol_version == 'HTTP/1.1':
686
 
            raise tests.KnownFailure(
687
 
                'pycurl hangs if the server send back garbage')
688
 
        super(TestInvalidStatusServer, self).test_http_has()
689
 
 
690
 
    def test_http_get(self):
691
 
        if self._testing_pycurl() and self._protocol_version == 'HTTP/1.1':
692
 
            raise tests.KnownFailure(
693
 
                'pycurl hangs if the server send back garbage')
694
 
        super(TestInvalidStatusServer, self).test_http_get()
695
 
 
696
 
 
697
 
class BadProtocolRequestHandler(http_server.TestingHTTPRequestHandler):
698
 
    """Whatever request comes in, returns a bad protocol version"""
699
 
 
700
 
    def parse_request(self):
701
 
        """Fakes handling a single HTTP request, returns a bad status"""
702
 
        ignored = http_server.TestingHTTPRequestHandler.parse_request(self)
703
 
        # Returns an invalid protocol version, but curl just
704
 
        # ignores it and those cannot be tested.
705
 
        self.wfile.write("%s %d %s\r\n" % ('HTTP/0.0',
706
 
                                           404,
707
 
                                           'Look at my protocol version'))
708
 
        return False
709
 
 
710
 
 
711
 
class TestBadProtocolServer(TestSpecificRequestHandler):
712
 
    """Tests bad protocol from server."""
713
 
 
714
 
    _req_handler_class = BadProtocolRequestHandler
715
 
 
716
 
    def setUp(self):
717
 
        if pycurl_present and self._transport == PyCurlTransport:
718
 
            raise tests.TestNotApplicable(
719
 
                "pycurl doesn't check the protocol version")
720
 
        super(TestBadProtocolServer, self).setUp()
721
 
 
722
 
    def test_http_has(self):
723
 
        server = self.get_readonly_server()
724
 
        t = self._transport(server.get_url())
725
 
        self.assertRaises(errors.InvalidHttpResponse, t.has, 'foo/bar')
726
 
 
727
 
    def test_http_get(self):
728
 
        server = self.get_readonly_server()
729
 
        t = self._transport(server.get_url())
730
 
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'foo/bar')
731
 
 
732
 
 
733
 
class ForbiddenRequestHandler(http_server.TestingHTTPRequestHandler):
734
 
    """Whatever request comes in, returns a 403 code"""
735
 
 
736
 
    def parse_request(self):
737
 
        """Handle a single HTTP request, by replying we cannot handle it"""
738
 
        ignored = http_server.TestingHTTPRequestHandler.parse_request(self)
739
 
        self.send_error(403)
740
 
        return False
741
 
 
742
 
 
743
 
class TestForbiddenServer(TestSpecificRequestHandler):
744
 
    """Tests forbidden server"""
745
 
 
746
 
    _req_handler_class = ForbiddenRequestHandler
747
 
 
748
 
    def test_http_has(self):
749
 
        server = self.get_readonly_server()
750
 
        t = self._transport(server.get_url())
751
 
        self.assertRaises(errors.TransportError, t.has, 'foo/bar')
752
 
 
753
 
    def test_http_get(self):
754
 
        server = self.get_readonly_server()
755
 
        t = self._transport(server.get_url())
756
 
        self.assertRaises(errors.TransportError, t.get, 'foo/bar')
757
 
 
758
 
 
759
 
class TestRecordingServer(tests.TestCase):
760
 
 
761
 
    def test_create(self):
762
 
        server = RecordingServer(expect_body_tail=None)
763
 
        self.assertEqual('', server.received_bytes)
764
 
        self.assertEqual(None, server.host)
765
 
        self.assertEqual(None, server.port)
766
 
 
767
 
    def test_setUp_and_tearDown(self):
768
 
        server = RecordingServer(expect_body_tail=None)
769
 
        server.setUp()
770
 
        try:
771
 
            self.assertNotEqual(None, server.host)
772
 
            self.assertNotEqual(None, server.port)
773
 
        finally:
774
 
            server.tearDown()
775
 
        self.assertEqual(None, server.host)
776
 
        self.assertEqual(None, server.port)
777
 
 
778
 
    def test_send_receive_bytes(self):
779
 
        server = RecordingServer(expect_body_tail='c')
780
 
        self.start_server(server)
781
 
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
782
 
        sock.connect((server.host, server.port))
783
 
        sock.sendall('abc')
784
 
        self.assertEqual('HTTP/1.1 200 OK\r\n',
785
 
                         osutils.recv_all(sock, 4096))
786
 
        self.assertEqual('abc', server.received_bytes)
787
 
 
788
 
 
789
 
class TestRangeRequestServer(TestSpecificRequestHandler):
790
 
    """Tests readv requests against server.
791
 
 
792
 
    We test against default "normal" server.
793
 
    """
794
 
 
795
 
    def setUp(self):
796
 
        super(TestRangeRequestServer, self).setUp()
797
 
        self.build_tree_contents([('a', '0123456789')],)
798
 
 
799
 
    def test_readv(self):
800
 
        server = self.get_readonly_server()
801
 
        t = self._transport(server.get_url())
802
 
        l = list(t.readv('a', ((0, 1), (1, 1), (3, 2), (9, 1))))
803
 
        self.assertEqual(l[0], (0, '0'))
804
 
        self.assertEqual(l[1], (1, '1'))
805
 
        self.assertEqual(l[2], (3, '34'))
806
 
        self.assertEqual(l[3], (9, '9'))
807
 
 
808
 
    def test_readv_out_of_order(self):
809
 
        server = self.get_readonly_server()
810
 
        t = self._transport(server.get_url())
811
 
        l = list(t.readv('a', ((1, 1), (9, 1), (0, 1), (3, 2))))
812
 
        self.assertEqual(l[0], (1, '1'))
813
 
        self.assertEqual(l[1], (9, '9'))
814
 
        self.assertEqual(l[2], (0, '0'))
815
 
        self.assertEqual(l[3], (3, '34'))
816
 
 
817
 
    def test_readv_invalid_ranges(self):
818
 
        server = self.get_readonly_server()
819
 
        t = self._transport(server.get_url())
820
 
 
821
 
        # This is intentionally reading off the end of the file
822
 
        # since we are sure that it cannot get there
823
 
        self.assertListRaises((errors.InvalidRange, errors.ShortReadvError,),
824
 
                              t.readv, 'a', [(1,1), (8,10)])
825
 
 
826
 
        # This is trying to seek past the end of the file, it should
827
 
        # also raise a special error
828
 
        self.assertListRaises((errors.InvalidRange, errors.ShortReadvError,),
829
 
                              t.readv, 'a', [(12,2)])
830
 
 
831
 
    def test_readv_multiple_get_requests(self):
832
 
        server = self.get_readonly_server()
833
 
        t = self._transport(server.get_url())
834
 
        # force transport to issue multiple requests
835
 
        t._max_readv_combine = 1
836
 
        t._max_get_ranges = 1
837
 
        l = list(t.readv('a', ((0, 1), (1, 1), (3, 2), (9, 1))))
838
 
        self.assertEqual(l[0], (0, '0'))
839
 
        self.assertEqual(l[1], (1, '1'))
840
 
        self.assertEqual(l[2], (3, '34'))
841
 
        self.assertEqual(l[3], (9, '9'))
842
 
        # The server should have issued 4 requests
843
 
        self.assertEqual(4, server.GET_request_nb)
844
 
 
845
 
    def test_readv_get_max_size(self):
846
 
        server = self.get_readonly_server()
847
 
        t = self._transport(server.get_url())
848
 
        # force transport to issue multiple requests by limiting the number of
849
 
        # bytes by request. Note that this apply to coalesced offsets only, a
850
 
        # single range will keep its size even if bigger than the limit.
851
 
        t._get_max_size = 2
852
 
        l = list(t.readv('a', ((0, 1), (1, 1), (2, 4), (6, 4))))
853
 
        self.assertEqual(l[0], (0, '0'))
854
 
        self.assertEqual(l[1], (1, '1'))
855
 
        self.assertEqual(l[2], (2, '2345'))
856
 
        self.assertEqual(l[3], (6, '6789'))
857
 
        # The server should have issued 3 requests
858
 
        self.assertEqual(3, server.GET_request_nb)
859
 
 
860
 
    def test_complete_readv_leave_pipe_clean(self):
861
 
        server = self.get_readonly_server()
862
 
        t = self._transport(server.get_url())
863
 
        # force transport to issue multiple requests
864
 
        t._get_max_size = 2
865
 
        l = list(t.readv('a', ((0, 1), (1, 1), (2, 4), (6, 4))))
866
 
        # The server should have issued 3 requests
867
 
        self.assertEqual(3, server.GET_request_nb)
868
 
        self.assertEqual('0123456789', t.get_bytes('a'))
869
 
        self.assertEqual(4, server.GET_request_nb)
870
 
 
871
 
    def test_incomplete_readv_leave_pipe_clean(self):
872
 
        server = self.get_readonly_server()
873
 
        t = self._transport(server.get_url())
874
 
        # force transport to issue multiple requests
875
 
        t._get_max_size = 2
876
 
        # Don't collapse readv results into a list so that we leave unread
877
 
        # bytes on the socket
878
 
        ireadv = iter(t.readv('a', ((0, 1), (1, 1), (2, 4), (6, 4))))
879
 
        self.assertEqual((0, '0'), ireadv.next())
880
 
        # The server should have issued one request so far
881
 
        self.assertEqual(1, server.GET_request_nb)
882
 
        self.assertEqual('0123456789', t.get_bytes('a'))
883
 
        # get_bytes issued an additional request, the readv pending ones are
884
 
        # lost
885
 
        self.assertEqual(2, server.GET_request_nb)
886
 
 
887
 
 
888
 
class SingleRangeRequestHandler(http_server.TestingHTTPRequestHandler):
889
 
    """Always reply to range request as if they were single.
890
 
 
891
 
    Don't be explicit about it, just to annoy the clients.
892
 
    """
893
 
 
894
 
    def get_multiple_ranges(self, file, file_size, ranges):
895
 
        """Answer as if it was a single range request and ignores the rest"""
896
 
        (start, end) = ranges[0]
897
 
        return self.get_single_range(file, file_size, start, end)
898
 
 
899
 
 
900
 
class TestSingleRangeRequestServer(TestRangeRequestServer):
901
 
    """Test readv against a server which accept only single range requests"""
902
 
 
903
 
    _req_handler_class = SingleRangeRequestHandler
904
 
 
905
 
 
906
 
class SingleOnlyRangeRequestHandler(http_server.TestingHTTPRequestHandler):
907
 
    """Only reply to simple range requests, errors out on multiple"""
908
 
 
909
 
    def get_multiple_ranges(self, file, file_size, ranges):
910
 
        """Refuses the multiple ranges request"""
911
 
        if len(ranges) > 1:
912
 
            file.close()
913
 
            self.send_error(416, "Requested range not satisfiable")
914
 
            return
915
 
        (start, end) = ranges[0]
916
 
        return self.get_single_range(file, file_size, start, end)
917
 
 
918
 
 
919
 
class TestSingleOnlyRangeRequestServer(TestRangeRequestServer):
920
 
    """Test readv against a server which only accept single range requests"""
921
 
 
922
 
    _req_handler_class = SingleOnlyRangeRequestHandler
923
 
 
924
 
 
925
 
class NoRangeRequestHandler(http_server.TestingHTTPRequestHandler):
926
 
    """Ignore range requests without notice"""
927
 
 
928
 
    def do_GET(self):
929
 
        # Update the statistics
930
 
        self.server.test_case_server.GET_request_nb += 1
931
 
        # Just bypass the range handling done by TestingHTTPRequestHandler
932
 
        return SimpleHTTPServer.SimpleHTTPRequestHandler.do_GET(self)
933
 
 
934
 
 
935
 
class TestNoRangeRequestServer(TestRangeRequestServer):
936
 
    """Test readv against a server which do not accept range requests"""
937
 
 
938
 
    _req_handler_class = NoRangeRequestHandler
939
 
 
940
 
 
941
 
class MultipleRangeWithoutContentLengthRequestHandler(
942
 
    http_server.TestingHTTPRequestHandler):
943
 
    """Reply to multiple range requests without content length header."""
944
 
 
945
 
    def get_multiple_ranges(self, file, file_size, ranges):
946
 
        self.send_response(206)
947
 
        self.send_header('Accept-Ranges', 'bytes')
948
 
        boundary = "%d" % random.randint(0,0x7FFFFFFF)
949
 
        self.send_header("Content-Type",
950
 
                         "multipart/byteranges; boundary=%s" % boundary)
951
 
        self.end_headers()
952
 
        for (start, end) in ranges:
953
 
            self.wfile.write("--%s\r\n" % boundary)
954
 
            self.send_header("Content-type", 'application/octet-stream')
955
 
            self.send_header("Content-Range", "bytes %d-%d/%d" % (start,
956
 
                                                                  end,
957
 
                                                                  file_size))
958
 
            self.end_headers()
959
 
            self.send_range_content(file, start, end - start + 1)
960
 
        # Final boundary
961
 
        self.wfile.write("--%s\r\n" % boundary)
962
 
 
963
 
 
964
 
class TestMultipleRangeWithoutContentLengthServer(TestRangeRequestServer):
965
 
 
966
 
    _req_handler_class = MultipleRangeWithoutContentLengthRequestHandler
967
 
 
968
 
 
969
 
class TruncatedMultipleRangeRequestHandler(
970
 
    http_server.TestingHTTPRequestHandler):
971
 
    """Reply to multiple range requests truncating the last ones.
972
 
 
973
 
    This server generates responses whose Content-Length describes all the
974
 
    ranges, but fail to include the last ones leading to client short reads.
975
 
    This has been observed randomly with lighttpd (bug #179368).
976
 
    """
977
 
 
978
 
    _truncated_ranges = 2
979
 
 
980
 
    def get_multiple_ranges(self, file, file_size, ranges):
981
 
        self.send_response(206)
982
 
        self.send_header('Accept-Ranges', 'bytes')
983
 
        boundary = 'tagada'
984
 
        self.send_header('Content-Type',
985
 
                         'multipart/byteranges; boundary=%s' % boundary)
986
 
        boundary_line = '--%s\r\n' % boundary
987
 
        # Calculate the Content-Length
988
 
        content_length = 0
989
 
        for (start, end) in ranges:
990
 
            content_length += len(boundary_line)
991
 
            content_length += self._header_line_length(
992
 
                'Content-type', 'application/octet-stream')
993
 
            content_length += self._header_line_length(
994
 
                'Content-Range', 'bytes %d-%d/%d' % (start, end, file_size))
995
 
            content_length += len('\r\n') # end headers
996
 
            content_length += end - start # + 1
997
 
        content_length += len(boundary_line)
998
 
        self.send_header('Content-length', content_length)
999
 
        self.end_headers()
1000
 
 
1001
 
        # Send the multipart body
1002
 
        cur = 0
1003
 
        for (start, end) in ranges:
1004
 
            self.wfile.write(boundary_line)
1005
 
            self.send_header('Content-type', 'application/octet-stream')
1006
 
            self.send_header('Content-Range', 'bytes %d-%d/%d'
1007
 
                             % (start, end, file_size))
1008
 
            self.end_headers()
1009
 
            if cur + self._truncated_ranges >= len(ranges):
1010
 
                # Abruptly ends the response and close the connection
1011
 
                self.close_connection = 1
1012
 
                return
1013
 
            self.send_range_content(file, start, end - start + 1)
1014
 
            cur += 1
1015
 
        # No final boundary
1016
 
        self.wfile.write(boundary_line)
1017
 
 
1018
 
 
1019
 
class TestTruncatedMultipleRangeServer(TestSpecificRequestHandler):
1020
 
 
1021
 
    _req_handler_class = TruncatedMultipleRangeRequestHandler
1022
 
 
1023
 
    def setUp(self):
1024
 
        super(TestTruncatedMultipleRangeServer, self).setUp()
1025
 
        self.build_tree_contents([('a', '0123456789')],)
1026
 
 
1027
 
    def test_readv_with_short_reads(self):
1028
 
        server = self.get_readonly_server()
1029
 
        t = self._transport(server.get_url())
1030
 
        # Force separate ranges for each offset
1031
 
        t._bytes_to_read_before_seek = 0
1032
 
        ireadv = iter(t.readv('a', ((0, 1), (2, 1), (4, 2), (9, 1))))
1033
 
        self.assertEqual((0, '0'), ireadv.next())
1034
 
        self.assertEqual((2, '2'), ireadv.next())
1035
 
        if not self._testing_pycurl():
1036
 
            # Only one request have been issued so far (except for pycurl that
1037
 
            # try to read the whole response at once)
1038
 
            self.assertEqual(1, server.GET_request_nb)
1039
 
        self.assertEqual((4, '45'), ireadv.next())
1040
 
        self.assertEqual((9, '9'), ireadv.next())
1041
 
        # Both implementations issue 3 requests but:
1042
 
        # - urllib does two multiple (4 ranges, then 2 ranges) then a single
1043
 
        #   range,
1044
 
        # - pycurl does two multiple (4 ranges, 4 ranges) then a single range
1045
 
        self.assertEqual(3, server.GET_request_nb)
1046
 
        # Finally the client have tried a single range request and stays in
1047
 
        # that mode
1048
 
        self.assertEqual('single', t._range_hint)
1049
 
 
1050
 
class LimitedRangeRequestHandler(http_server.TestingHTTPRequestHandler):
1051
 
    """Errors out when range specifiers exceed the limit"""
1052
 
 
1053
 
    def get_multiple_ranges(self, file, file_size, ranges):
1054
 
        """Refuses the multiple ranges request"""
1055
 
        tcs = self.server.test_case_server
1056
 
        if tcs.range_limit is not None and len(ranges) > tcs.range_limit:
1057
 
            file.close()
1058
 
            # Emulate apache behavior
1059
 
            self.send_error(400, "Bad Request")
1060
 
            return
1061
 
        return http_server.TestingHTTPRequestHandler.get_multiple_ranges(
1062
 
            self, file, file_size, ranges)
1063
 
 
1064
 
 
1065
 
class LimitedRangeHTTPServer(http_server.HttpServer):
1066
 
    """An HttpServer erroring out on requests with too much range specifiers"""
1067
 
 
1068
 
    def __init__(self, request_handler=LimitedRangeRequestHandler,
1069
 
                 protocol_version=None,
1070
 
                 range_limit=None):
1071
 
        http_server.HttpServer.__init__(self, request_handler,
1072
 
                                        protocol_version=protocol_version)
1073
 
        self.range_limit = range_limit
1074
 
 
1075
 
 
1076
 
class TestLimitedRangeRequestServer(http_utils.TestCaseWithWebserver):
1077
 
    """Tests readv requests against a server erroring out on too much ranges."""
1078
 
 
1079
 
    # Requests with more range specifiers will error out
1080
 
    range_limit = 3
1081
 
 
1082
 
    def create_transport_readonly_server(self):
1083
 
        return LimitedRangeHTTPServer(range_limit=self.range_limit,
1084
 
                                      protocol_version=self._protocol_version)
1085
 
 
1086
 
    def get_transport(self):
1087
 
        return self._transport(self.get_readonly_server().get_url())
1088
 
 
1089
 
    def setUp(self):
1090
 
        http_utils.TestCaseWithWebserver.setUp(self)
1091
 
        # We need to manipulate ranges that correspond to real chunks in the
1092
 
        # response, so we build a content appropriately.
1093
 
        filler = ''.join(['abcdefghij' for x in range(102)])
1094
 
        content = ''.join(['%04d' % v + filler for v in range(16)])
1095
 
        self.build_tree_contents([('a', content)],)
1096
 
 
1097
 
    def test_few_ranges(self):
1098
 
        t = self.get_transport()
1099
 
        l = list(t.readv('a', ((0, 4), (1024, 4), )))
1100
 
        self.assertEqual(l[0], (0, '0000'))
1101
 
        self.assertEqual(l[1], (1024, '0001'))
1102
 
        self.assertEqual(1, self.get_readonly_server().GET_request_nb)
1103
 
 
1104
 
    def test_more_ranges(self):
1105
 
        t = self.get_transport()
1106
 
        l = list(t.readv('a', ((0, 4), (1024, 4), (4096, 4), (8192, 4))))
1107
 
        self.assertEqual(l[0], (0, '0000'))
1108
 
        self.assertEqual(l[1], (1024, '0001'))
1109
 
        self.assertEqual(l[2], (4096, '0004'))
1110
 
        self.assertEqual(l[3], (8192, '0008'))
1111
 
        # The server will refuse to serve the first request (too much ranges),
1112
 
        # a second request will succeed.
1113
 
        self.assertEqual(2, self.get_readonly_server().GET_request_nb)
1114
 
 
1115
 
 
1116
 
class TestHttpProxyWhiteBox(tests.TestCase):
1117
 
    """Whitebox test proxy http authorization.
1118
 
 
1119
 
    Only the urllib implementation is tested here.
1120
 
    """
1121
 
 
1122
 
    def setUp(self):
1123
 
        tests.TestCase.setUp(self)
1124
 
        self._old_env = {}
1125
 
 
1126
 
    def tearDown(self):
1127
 
        self._restore_env()
1128
 
        tests.TestCase.tearDown(self)
1129
 
 
1130
 
    def _install_env(self, env):
1131
 
        for name, value in env.iteritems():
1132
 
            self._old_env[name] = osutils.set_or_unset_env(name, value)
1133
 
 
1134
 
    def _restore_env(self):
1135
 
        for name, value in self._old_env.iteritems():
1136
 
            osutils.set_or_unset_env(name, value)
1137
 
 
1138
 
    def _proxied_request(self):
1139
 
        handler = _urllib2_wrappers.ProxyHandler()
1140
 
        request = _urllib2_wrappers.Request('GET','http://baz/buzzle')
1141
 
        handler.set_proxy(request, 'http')
1142
 
        return request
1143
 
 
1144
 
    def test_empty_user(self):
1145
 
        self._install_env({'http_proxy': 'http://bar.com'})
1146
 
        request = self._proxied_request()
1147
 
        self.assertFalse(request.headers.has_key('Proxy-authorization'))
1148
 
 
1149
 
    def test_invalid_proxy(self):
1150
 
        """A proxy env variable without scheme"""
1151
 
        self._install_env({'http_proxy': 'host:1234'})
1152
 
        self.assertRaises(errors.InvalidURL, self._proxied_request)
1153
 
 
1154
 
 
1155
 
class TestProxyHttpServer(http_utils.TestCaseWithTwoWebservers):
1156
 
    """Tests proxy server.
1157
 
 
1158
 
    Be aware that we do not setup a real proxy here. Instead, we
1159
 
    check that the *connection* goes through the proxy by serving
1160
 
    different content (the faked proxy server append '-proxied'
1161
 
    to the file names).
1162
 
    """
1163
 
 
1164
 
    # FIXME: We don't have an https server available, so we don't
1165
 
    # test https connections.
1166
 
 
1167
 
    def setUp(self):
1168
 
        super(TestProxyHttpServer, self).setUp()
1169
 
        self.build_tree_contents([('foo', 'contents of foo\n'),
1170
 
                                  ('foo-proxied', 'proxied contents of foo\n')])
1171
 
        # Let's setup some attributes for tests
1172
 
        self.server = self.get_readonly_server()
1173
 
        self.proxy_address = '%s:%d' % (self.server.host, self.server.port)
1174
 
        if self._testing_pycurl():
1175
 
            # Oh my ! pycurl does not check for the port as part of
1176
 
            # no_proxy :-( So we just test the host part
1177
 
            self.no_proxy_host = 'localhost'
1178
 
        else:
1179
 
            self.no_proxy_host = self.proxy_address
1180
 
        # The secondary server is the proxy
1181
 
        self.proxy = self.get_secondary_server()
1182
 
        self.proxy_url = self.proxy.get_url()
1183
 
        self._old_env = {}
1184
 
 
1185
 
    def _testing_pycurl(self):
1186
 
        return pycurl_present and self._transport == PyCurlTransport
1187
 
 
1188
 
    def create_transport_secondary_server(self):
1189
 
        """Creates an http server that will serve files with
1190
 
        '-proxied' appended to their names.
1191
 
        """
1192
 
        return http_utils.ProxyServer(protocol_version=self._protocol_version)
1193
 
 
1194
 
    def _install_env(self, env):
1195
 
        for name, value in env.iteritems():
1196
 
            self._old_env[name] = osutils.set_or_unset_env(name, value)
1197
 
 
1198
 
    def _restore_env(self):
1199
 
        for name, value in self._old_env.iteritems():
1200
 
            osutils.set_or_unset_env(name, value)
1201
 
 
1202
 
    def proxied_in_env(self, env):
1203
 
        self._install_env(env)
1204
 
        url = self.server.get_url()
1205
 
        t = self._transport(url)
1206
 
        try:
1207
 
            self.assertEqual('proxied contents of foo\n', t.get('foo').read())
1208
 
        finally:
1209
 
            self._restore_env()
1210
 
 
1211
 
    def not_proxied_in_env(self, env):
1212
 
        self._install_env(env)
1213
 
        url = self.server.get_url()
1214
 
        t = self._transport(url)
1215
 
        try:
1216
 
            self.assertEqual('contents of foo\n', t.get('foo').read())
1217
 
        finally:
1218
 
            self._restore_env()
1219
 
 
1220
 
    def test_http_proxy(self):
1221
 
        self.proxied_in_env({'http_proxy': self.proxy_url})
1222
 
 
1223
 
    def test_HTTP_PROXY(self):
1224
 
        if self._testing_pycurl():
1225
 
            # pycurl does not check HTTP_PROXY for security reasons
1226
 
            # (for use in a CGI context that we do not care
1227
 
            # about. Should we ?)
1228
 
            raise tests.TestNotApplicable(
1229
 
                'pycurl does not check HTTP_PROXY for security reasons')
1230
 
        self.proxied_in_env({'HTTP_PROXY': self.proxy_url})
1231
 
 
1232
 
    def test_all_proxy(self):
1233
 
        self.proxied_in_env({'all_proxy': self.proxy_url})
1234
 
 
1235
 
    def test_ALL_PROXY(self):
1236
 
        self.proxied_in_env({'ALL_PROXY': self.proxy_url})
1237
 
 
1238
 
    def test_http_proxy_with_no_proxy(self):
1239
 
        self.not_proxied_in_env({'http_proxy': self.proxy_url,
1240
 
                                 'no_proxy': self.no_proxy_host})
1241
 
 
1242
 
    def test_HTTP_PROXY_with_NO_PROXY(self):
1243
 
        if self._testing_pycurl():
1244
 
            raise tests.TestNotApplicable(
1245
 
                'pycurl does not check HTTP_PROXY for security reasons')
1246
 
        self.not_proxied_in_env({'HTTP_PROXY': self.proxy_url,
1247
 
                                 'NO_PROXY': self.no_proxy_host})
1248
 
 
1249
 
    def test_all_proxy_with_no_proxy(self):
1250
 
        self.not_proxied_in_env({'all_proxy': self.proxy_url,
1251
 
                                 'no_proxy': self.no_proxy_host})
1252
 
 
1253
 
    def test_ALL_PROXY_with_NO_PROXY(self):
1254
 
        self.not_proxied_in_env({'ALL_PROXY': self.proxy_url,
1255
 
                                 'NO_PROXY': self.no_proxy_host})
1256
 
 
1257
 
    def test_http_proxy_without_scheme(self):
1258
 
        if self._testing_pycurl():
1259
 
            # pycurl *ignores* invalid proxy env variables. If that ever change
1260
 
            # in the future, this test will fail indicating that pycurl do not
1261
 
            # ignore anymore such variables.
1262
 
            self.not_proxied_in_env({'http_proxy': self.proxy_address})
1263
 
        else:
1264
 
            self.assertRaises(errors.InvalidURL,
1265
 
                              self.proxied_in_env,
1266
 
                              {'http_proxy': self.proxy_address})
1267
 
 
1268
 
 
1269
 
class TestRanges(http_utils.TestCaseWithWebserver):
1270
 
    """Test the Range header in GET methods."""
1271
 
 
1272
 
    def setUp(self):
1273
 
        http_utils.TestCaseWithWebserver.setUp(self)
1274
 
        self.build_tree_contents([('a', '0123456789')],)
1275
 
        server = self.get_readonly_server()
1276
 
        self.transport = self._transport(server.get_url())
1277
 
 
1278
 
    def create_transport_readonly_server(self):
1279
 
        return http_server.HttpServer(protocol_version=self._protocol_version)
1280
 
 
1281
 
    def _file_contents(self, relpath, ranges):
1282
 
        offsets = [ (start, end - start + 1) for start, end in ranges]
1283
 
        coalesce = self.transport._coalesce_offsets
1284
 
        coalesced = list(coalesce(offsets, limit=0, fudge_factor=0))
1285
 
        code, data = self.transport._get(relpath, coalesced)
1286
 
        self.assertTrue(code in (200, 206),'_get returns: %d' % code)
1287
 
        for start, end in ranges:
1288
 
            data.seek(start)
1289
 
            yield data.read(end - start + 1)
1290
 
 
1291
 
    def _file_tail(self, relpath, tail_amount):
1292
 
        code, data = self.transport._get(relpath, [], tail_amount)
1293
 
        self.assertTrue(code in (200, 206),'_get returns: %d' % code)
1294
 
        data.seek(-tail_amount, 2)
1295
 
        return data.read(tail_amount)
1296
 
 
1297
 
    def test_range_header(self):
1298
 
        # Valid ranges
1299
 
        map(self.assertEqual,['0', '234'],
1300
 
            list(self._file_contents('a', [(0,0), (2,4)])),)
1301
 
 
1302
 
    def test_range_header_tail(self):
1303
 
        self.assertEqual('789', self._file_tail('a', 3))
1304
 
 
1305
 
    def test_syntactically_invalid_range_header(self):
1306
 
        self.assertListRaises(errors.InvalidHttpRange,
1307
 
                          self._file_contents, 'a', [(4, 3)])
1308
 
 
1309
 
    def test_semantically_invalid_range_header(self):
1310
 
        self.assertListRaises(errors.InvalidHttpRange,
1311
 
                          self._file_contents, 'a', [(42, 128)])
1312
 
 
1313
 
 
1314
 
class TestHTTPRedirections(http_utils.TestCaseWithRedirectedWebserver):
1315
 
    """Test redirection between http servers."""
1316
 
 
1317
 
    def create_transport_secondary_server(self):
1318
 
        """Create the secondary server redirecting to the primary server"""
1319
 
        new = self.get_readonly_server()
1320
 
 
1321
 
        redirecting = http_utils.HTTPServerRedirecting(
1322
 
            protocol_version=self._protocol_version)
1323
 
        redirecting.redirect_to(new.host, new.port)
1324
 
        return redirecting
1325
 
 
1326
 
    def setUp(self):
1327
 
        super(TestHTTPRedirections, self).setUp()
1328
 
        self.build_tree_contents([('a', '0123456789'),
1329
 
                                  ('bundle',
1330
 
                                  '# Bazaar revision bundle v0.9\n#\n')
1331
 
                                  ],)
1332
 
        # The requests to the old server will be redirected to the new server
1333
 
        self.old_transport = self._transport(self.old_server.get_url())
1334
 
 
1335
 
    def test_redirected(self):
1336
 
        self.assertRaises(errors.RedirectRequested, self.old_transport.get, 'a')
1337
 
        t = self._transport(self.new_server.get_url())
1338
 
        self.assertEqual('0123456789', t.get('a').read())
1339
 
 
1340
 
    def test_read_redirected_bundle_from_url(self):
1341
 
        from bzrlib.bundle import read_bundle_from_url
1342
 
        url = self.old_transport.abspath('bundle')
1343
 
        bundle = self.applyDeprecated(deprecated_in((1, 12, 0)),
1344
 
                read_bundle_from_url, url)
1345
 
        # If read_bundle_from_url was successful we get an empty bundle
1346
 
        self.assertEqual([], bundle.revisions)
1347
 
 
1348
 
 
1349
 
class RedirectedRequest(_urllib2_wrappers.Request):
1350
 
    """Request following redirections. """
1351
 
 
1352
 
    init_orig = _urllib2_wrappers.Request.__init__
1353
 
 
1354
 
    def __init__(self, method, url, *args, **kwargs):
1355
 
        """Constructor.
1356
 
 
1357
 
        """
1358
 
        # Since the tests using this class will replace
1359
 
        # _urllib2_wrappers.Request, we can't just call the base class __init__
1360
 
        # or we'll loop.
1361
 
        RedirectedRequest.init_orig(self, method, url, *args, **kwargs)
1362
 
        self.follow_redirections = True
1363
 
 
1364
 
 
1365
 
class TestHTTPSilentRedirections(http_utils.TestCaseWithRedirectedWebserver):
1366
 
    """Test redirections.
1367
 
 
1368
 
    http implementations do not redirect silently anymore (they
1369
 
    do not redirect at all in fact). The mechanism is still in
1370
 
    place at the _urllib2_wrappers.Request level and these tests
1371
 
    exercise it.
1372
 
 
1373
 
    For the pycurl implementation
1374
 
    the redirection have been deleted as we may deprecate pycurl
1375
 
    and I have no place to keep a working implementation.
1376
 
    -- vila 20070212
1377
 
    """
1378
 
 
1379
 
    def setUp(self):
1380
 
        if pycurl_present and self._transport == PyCurlTransport:
1381
 
            raise tests.TestNotApplicable(
1382
 
                "pycurl doesn't redirect silently annymore")
1383
 
        super(TestHTTPSilentRedirections, self).setUp()
1384
 
        self.setup_redirected_request()
1385
 
        self.addCleanup(self.cleanup_redirected_request)
1386
 
        self.build_tree_contents([('a','a'),
1387
 
                                  ('1/',),
1388
 
                                  ('1/a', 'redirected once'),
1389
 
                                  ('2/',),
1390
 
                                  ('2/a', 'redirected twice'),
1391
 
                                  ('3/',),
1392
 
                                  ('3/a', 'redirected thrice'),
1393
 
                                  ('4/',),
1394
 
                                  ('4/a', 'redirected 4 times'),
1395
 
                                  ('5/',),
1396
 
                                  ('5/a', 'redirected 5 times'),
1397
 
                                  ],)
1398
 
 
1399
 
        self.old_transport = self._transport(self.old_server.get_url())
1400
 
 
1401
 
    def setup_redirected_request(self):
1402
 
        self.original_class = _urllib2_wrappers.Request
1403
 
        _urllib2_wrappers.Request = RedirectedRequest
1404
 
 
1405
 
    def cleanup_redirected_request(self):
1406
 
        _urllib2_wrappers.Request = self.original_class
1407
 
 
1408
 
    def create_transport_secondary_server(self):
1409
 
        """Create the secondary server, redirections are defined in the tests"""
1410
 
        return http_utils.HTTPServerRedirecting(
1411
 
            protocol_version=self._protocol_version)
1412
 
 
1413
 
    def test_one_redirection(self):
1414
 
        t = self.old_transport
1415
 
 
1416
 
        req = RedirectedRequest('GET', t.abspath('a'))
1417
 
        req.follow_redirections = True
1418
 
        new_prefix = 'http://%s:%s' % (self.new_server.host,
1419
 
                                       self.new_server.port)
1420
 
        self.old_server.redirections = \
1421
 
            [('(.*)', r'%s/1\1' % (new_prefix), 301),]
1422
 
        self.assertEquals('redirected once',t._perform(req).read())
1423
 
 
1424
 
    def test_five_redirections(self):
1425
 
        t = self.old_transport
1426
 
 
1427
 
        req = RedirectedRequest('GET', t.abspath('a'))
1428
 
        req.follow_redirections = True
1429
 
        old_prefix = 'http://%s:%s' % (self.old_server.host,
1430
 
                                       self.old_server.port)
1431
 
        new_prefix = 'http://%s:%s' % (self.new_server.host,
1432
 
                                       self.new_server.port)
1433
 
        self.old_server.redirections = [
1434
 
            ('/1(.*)', r'%s/2\1' % (old_prefix), 302),
1435
 
            ('/2(.*)', r'%s/3\1' % (old_prefix), 303),
1436
 
            ('/3(.*)', r'%s/4\1' % (old_prefix), 307),
1437
 
            ('/4(.*)', r'%s/5\1' % (new_prefix), 301),
1438
 
            ('(/[^/]+)', r'%s/1\1' % (old_prefix), 301),
1439
 
            ]
1440
 
        self.assertEquals('redirected 5 times',t._perform(req).read())
1441
 
 
1442
 
 
1443
 
class TestDoCatchRedirections(http_utils.TestCaseWithRedirectedWebserver):
1444
 
    """Test transport.do_catching_redirections."""
1445
 
 
1446
 
    def setUp(self):
1447
 
        super(TestDoCatchRedirections, self).setUp()
1448
 
        self.build_tree_contents([('a', '0123456789'),],)
1449
 
 
1450
 
        self.old_transport = self._transport(self.old_server.get_url())
1451
 
 
1452
 
    def get_a(self, transport):
1453
 
        return transport.get('a')
1454
 
 
1455
 
    def test_no_redirection(self):
1456
 
        t = self._transport(self.new_server.get_url())
1457
 
 
1458
 
        # We use None for redirected so that we fail if redirected
1459
 
        self.assertEquals('0123456789',
1460
 
                          transport.do_catching_redirections(
1461
 
                self.get_a, t, None).read())
1462
 
 
1463
 
    def test_one_redirection(self):
1464
 
        self.redirections = 0
1465
 
 
1466
 
        def redirected(transport, exception, redirection_notice):
1467
 
            self.redirections += 1
1468
 
            dir, file = urlutils.split(exception.target)
1469
 
            return self._transport(dir)
1470
 
 
1471
 
        self.assertEquals('0123456789',
1472
 
                          transport.do_catching_redirections(
1473
 
                self.get_a, self.old_transport, redirected).read())
1474
 
        self.assertEquals(1, self.redirections)
1475
 
 
1476
 
    def test_redirection_loop(self):
1477
 
 
1478
 
        def redirected(transport, exception, redirection_notice):
1479
 
            # By using the redirected url as a base dir for the
1480
 
            # *old* transport, we create a loop: a => a/a =>
1481
 
            # a/a/a
1482
 
            return self.old_transport.clone(exception.target)
1483
 
 
1484
 
        self.assertRaises(errors.TooManyRedirections,
1485
 
                          transport.do_catching_redirections,
1486
 
                          self.get_a, self.old_transport, redirected)
1487
 
 
1488
 
 
1489
 
class TestAuth(http_utils.TestCaseWithWebserver):
1490
 
    """Test authentication scheme"""
1491
 
 
1492
 
    _auth_header = 'Authorization'
1493
 
    _password_prompt_prefix = ''
1494
 
    _username_prompt_prefix = ''
1495
 
    # Set by load_tests
1496
 
    _auth_server = None
1497
 
 
1498
 
    def setUp(self):
1499
 
        super(TestAuth, self).setUp()
1500
 
        self.server = self.get_readonly_server()
1501
 
        self.build_tree_contents([('a', 'contents of a\n'),
1502
 
                                  ('b', 'contents of b\n'),])
1503
 
 
1504
 
    def create_transport_readonly_server(self):
1505
 
        return self._auth_server(protocol_version=self._protocol_version)
1506
 
 
1507
 
    def _testing_pycurl(self):
1508
 
        return pycurl_present and self._transport == PyCurlTransport
1509
 
 
1510
 
    def get_user_url(self, user, password):
1511
 
        """Build an url embedding user and password"""
1512
 
        url = '%s://' % self.server._url_protocol
1513
 
        if user is not None:
1514
 
            url += user
1515
 
            if password is not None:
1516
 
                url += ':' + password
1517
 
            url += '@'
1518
 
        url += '%s:%s/' % (self.server.host, self.server.port)
1519
 
        return url
1520
 
 
1521
 
    def get_user_transport(self, user, password):
1522
 
        return self._transport(self.get_user_url(user, password))
1523
 
 
1524
 
    def test_no_user(self):
1525
 
        self.server.add_user('joe', 'foo')
1526
 
        t = self.get_user_transport(None, None)
1527
 
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'a')
1528
 
        # Only one 'Authentication Required' error should occur
1529
 
        self.assertEqual(1, self.server.auth_required_errors)
1530
 
 
1531
 
    def test_empty_pass(self):
1532
 
        self.server.add_user('joe', '')
1533
 
        t = self.get_user_transport('joe', '')
1534
 
        self.assertEqual('contents of a\n', t.get('a').read())
1535
 
        # Only one 'Authentication Required' error should occur
1536
 
        self.assertEqual(1, self.server.auth_required_errors)
1537
 
 
1538
 
    def test_user_pass(self):
1539
 
        self.server.add_user('joe', 'foo')
1540
 
        t = self.get_user_transport('joe', 'foo')
1541
 
        self.assertEqual('contents of a\n', t.get('a').read())
1542
 
        # Only one 'Authentication Required' error should occur
1543
 
        self.assertEqual(1, self.server.auth_required_errors)
1544
 
 
1545
 
    def test_unknown_user(self):
1546
 
        self.server.add_user('joe', 'foo')
1547
 
        t = self.get_user_transport('bill', 'foo')
1548
 
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'a')
1549
 
        # Two 'Authentication Required' errors should occur (the
1550
 
        # initial 'who are you' and 'I don't know you, who are
1551
 
        # you').
1552
 
        self.assertEqual(2, self.server.auth_required_errors)
1553
 
 
1554
 
    def test_wrong_pass(self):
1555
 
        self.server.add_user('joe', 'foo')
1556
 
        t = self.get_user_transport('joe', 'bar')
1557
 
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'a')
1558
 
        # Two 'Authentication Required' errors should occur (the
1559
 
        # initial 'who are you' and 'this is not you, who are you')
1560
 
        self.assertEqual(2, self.server.auth_required_errors)
1561
 
 
1562
 
    def test_prompt_for_username(self):
1563
 
        if self._testing_pycurl():
1564
 
            raise tests.TestNotApplicable(
1565
 
                'pycurl cannot prompt, it handles auth by embedding'
1566
 
                ' user:pass in urls only')
1567
 
 
1568
 
        self.server.add_user('joe', 'foo')
1569
 
        t = self.get_user_transport(None, None)
1570
 
        stdout = tests.StringIOWrapper()
1571
 
        stderr = tests.StringIOWrapper()
1572
 
        ui.ui_factory = tests.TestUIFactory(stdin='joe\nfoo\n',
1573
 
                                            stdout=stdout, stderr=stderr)
1574
 
        self.assertEqual('contents of a\n',t.get('a').read())
1575
 
        # stdin should be empty
1576
 
        self.assertEqual('', ui.ui_factory.stdin.readline())
1577
 
        stderr.seek(0)
1578
 
        expected_prompt = self._expected_username_prompt(t._unqualified_scheme)
1579
 
        self.assertEquals(expected_prompt, stderr.read(len(expected_prompt)))
1580
 
        self.assertEquals('', stdout.getvalue())
1581
 
        self._check_password_prompt(t._unqualified_scheme, 'joe',
1582
 
                                    stderr.readline())
1583
 
 
1584
 
    def test_prompt_for_password(self):
1585
 
        if self._testing_pycurl():
1586
 
            raise tests.TestNotApplicable(
1587
 
                'pycurl cannot prompt, it handles auth by embedding'
1588
 
                ' user:pass in urls only')
1589
 
 
1590
 
        self.server.add_user('joe', 'foo')
1591
 
        t = self.get_user_transport('joe', None)
1592
 
        stdout = tests.StringIOWrapper()
1593
 
        stderr = tests.StringIOWrapper()
1594
 
        ui.ui_factory = tests.TestUIFactory(stdin='foo\n',
1595
 
                                            stdout=stdout, stderr=stderr)
1596
 
        self.assertEqual('contents of a\n', t.get('a').read())
1597
 
        # stdin should be empty
1598
 
        self.assertEqual('', ui.ui_factory.stdin.readline())
1599
 
        self._check_password_prompt(t._unqualified_scheme, 'joe',
1600
 
                                    stderr.getvalue())
1601
 
        self.assertEquals('', stdout.getvalue())
1602
 
        # And we shouldn't prompt again for a different request
1603
 
        # against the same transport.
1604
 
        self.assertEqual('contents of b\n',t.get('b').read())
1605
 
        t2 = t.clone()
1606
 
        # And neither against a clone
1607
 
        self.assertEqual('contents of b\n',t2.get('b').read())
1608
 
        # Only one 'Authentication Required' error should occur
1609
 
        self.assertEqual(1, self.server.auth_required_errors)
1610
 
 
1611
 
    def _check_password_prompt(self, scheme, user, actual_prompt):
1612
 
        expected_prompt = (self._password_prompt_prefix
1613
 
                           + ("%s %s@%s:%d, Realm: '%s' password: "
1614
 
                              % (scheme.upper(),
1615
 
                                 user, self.server.host, self.server.port,
1616
 
                                 self.server.auth_realm)))
1617
 
        self.assertEquals(expected_prompt, actual_prompt)
1618
 
 
1619
 
    def _expected_username_prompt(self, scheme):
1620
 
        return (self._username_prompt_prefix
1621
 
                + "%s %s:%d, Realm: '%s' username: " % (scheme.upper(),
1622
 
                                 self.server.host, self.server.port,
1623
 
                                 self.server.auth_realm))
1624
 
 
1625
 
    def test_no_prompt_for_password_when_using_auth_config(self):
1626
 
        if self._testing_pycurl():
1627
 
            raise tests.TestNotApplicable(
1628
 
                'pycurl does not support authentication.conf'
1629
 
                ' since it cannot prompt')
1630
 
 
1631
 
        user =' joe'
1632
 
        password = 'foo'
1633
 
        stdin_content = 'bar\n'  # Not the right password
1634
 
        self.server.add_user(user, password)
1635
 
        t = self.get_user_transport(user, None)
1636
 
        ui.ui_factory = tests.TestUIFactory(stdin=stdin_content,
1637
 
                                            stdout=tests.StringIOWrapper())
1638
 
        # Create a minimal config file with the right password
1639
 
        conf = config.AuthenticationConfig()
1640
 
        conf._get_config().update(
1641
 
            {'httptest': {'scheme': 'http', 'port': self.server.port,
1642
 
                          'user': user, 'password': password}})
1643
 
        conf._save()
1644
 
        # Issue a request to the server to connect
1645
 
        self.assertEqual('contents of a\n',t.get('a').read())
1646
 
        # stdin should have  been left untouched
1647
 
        self.assertEqual(stdin_content, ui.ui_factory.stdin.readline())
1648
 
        # Only one 'Authentication Required' error should occur
1649
 
        self.assertEqual(1, self.server.auth_required_errors)
1650
 
 
1651
 
    def test_user_from_auth_conf(self):
1652
 
        if self._testing_pycurl():
1653
 
            raise tests.TestNotApplicable(
1654
 
                'pycurl does not support authentication.conf')
1655
 
        user = 'joe'
1656
 
        password = 'foo'
1657
 
        self.server.add_user(user, password)
1658
 
        # Create a minimal config file with the right password
1659
 
        conf = config.AuthenticationConfig()
1660
 
        conf._get_config().update(
1661
 
            {'httptest': {'scheme': 'http', 'port': self.server.port,
1662
 
                          'user': user, 'password': password}})
1663
 
        conf._save()
1664
 
        t = self.get_user_transport(None, None)
1665
 
        # Issue a request to the server to connect
1666
 
        self.assertEqual('contents of a\n', t.get('a').read())
1667
 
        # Only one 'Authentication Required' error should occur
1668
 
        self.assertEqual(1, self.server.auth_required_errors)
1669
 
 
1670
 
    def test_changing_nonce(self):
1671
 
        if self._auth_server not in (http_utils.HTTPDigestAuthServer,
1672
 
                                     http_utils.ProxyDigestAuthServer):
1673
 
            raise tests.TestNotApplicable('HTTP/proxy auth digest only test')
1674
 
        if self._testing_pycurl():
1675
 
            raise tests.KnownFailure(
1676
 
                'pycurl does not handle a nonce change')
1677
 
        self.server.add_user('joe', 'foo')
1678
 
        t = self.get_user_transport('joe', 'foo')
1679
 
        self.assertEqual('contents of a\n', t.get('a').read())
1680
 
        self.assertEqual('contents of b\n', t.get('b').read())
1681
 
        # Only one 'Authentication Required' error should have
1682
 
        # occured so far
1683
 
        self.assertEqual(1, self.server.auth_required_errors)
1684
 
        # The server invalidates the current nonce
1685
 
        self.server.auth_nonce = self.server.auth_nonce + '. No, now!'
1686
 
        self.assertEqual('contents of a\n', t.get('a').read())
1687
 
        # Two 'Authentication Required' errors should occur (the
1688
 
        # initial 'who are you' and a second 'who are you' with the new nonce)
1689
 
        self.assertEqual(2, self.server.auth_required_errors)
1690
 
 
1691
 
 
1692
 
 
1693
 
class TestProxyAuth(TestAuth):
1694
 
    """Test proxy authentication schemes."""
1695
 
 
1696
 
    _auth_header = 'Proxy-authorization'
1697
 
    _password_prompt_prefix = 'Proxy '
1698
 
    _username_prompt_prefix = 'Proxy '
1699
 
 
1700
 
    def setUp(self):
1701
 
        super(TestProxyAuth, self).setUp()
1702
 
        self._old_env = {}
1703
 
        self.addCleanup(self._restore_env)
1704
 
        # Override the contents to avoid false positives
1705
 
        self.build_tree_contents([('a', 'not proxied contents of a\n'),
1706
 
                                  ('b', 'not proxied contents of b\n'),
1707
 
                                  ('a-proxied', 'contents of a\n'),
1708
 
                                  ('b-proxied', 'contents of b\n'),
1709
 
                                  ])
1710
 
 
1711
 
    def get_user_transport(self, user, password):
1712
 
        self._install_env({'all_proxy': self.get_user_url(user, password)})
1713
 
        return self._transport(self.server.get_url())
1714
 
 
1715
 
    def _install_env(self, env):
1716
 
        for name, value in env.iteritems():
1717
 
            self._old_env[name] = osutils.set_or_unset_env(name, value)
1718
 
 
1719
 
    def _restore_env(self):
1720
 
        for name, value in self._old_env.iteritems():
1721
 
            osutils.set_or_unset_env(name, value)
1722
 
 
1723
 
    def test_empty_pass(self):
1724
 
        if self._testing_pycurl():
1725
 
            import pycurl
1726
 
            if pycurl.version_info()[1] < '7.16.0':
1727
 
                raise tests.KnownFailure(
1728
 
                    'pycurl < 7.16.0 does not handle empty proxy passwords')
1729
 
        super(TestProxyAuth, self).test_empty_pass()
1730
 
 
1731
 
 
1732
 
class SampleSocket(object):
1733
 
    """A socket-like object for use in testing the HTTP request handler."""
1734
 
 
1735
 
    def __init__(self, socket_read_content):
1736
 
        """Constructs a sample socket.
1737
 
 
1738
 
        :param socket_read_content: a byte sequence
1739
 
        """
1740
 
        # Use plain python StringIO so we can monkey-patch the close method to
1741
 
        # not discard the contents.
1742
 
        from StringIO import StringIO
1743
 
        self.readfile = StringIO(socket_read_content)
1744
 
        self.writefile = StringIO()
1745
 
        self.writefile.close = lambda: None
1746
 
 
1747
 
    def makefile(self, mode='r', bufsize=None):
1748
 
        if 'r' in mode:
1749
 
            return self.readfile
1750
 
        else:
1751
 
            return self.writefile
1752
 
 
1753
 
 
1754
 
class SmartHTTPTunnellingTest(tests.TestCaseWithTransport):
1755
 
 
1756
 
    def setUp(self):
1757
 
        super(SmartHTTPTunnellingTest, self).setUp()
1758
 
        # We use the VFS layer as part of HTTP tunnelling tests.
1759
 
        self._captureVar('BZR_NO_SMART_VFS', None)
1760
 
        self.transport_readonly_server = http_utils.HTTPServerWithSmarts
1761
 
 
1762
 
    def create_transport_readonly_server(self):
1763
 
        return http_utils.HTTPServerWithSmarts(
1764
 
            protocol_version=self._protocol_version)
1765
 
 
1766
 
    def test_open_bzrdir(self):
1767
 
        branch = self.make_branch('relpath')
1768
 
        http_server = self.get_readonly_server()
1769
 
        url = http_server.get_url() + 'relpath'
1770
 
        bd = bzrdir.BzrDir.open(url)
1771
 
        self.assertIsInstance(bd, _mod_remote.RemoteBzrDir)
1772
 
 
1773
 
    def test_bulk_data(self):
1774
 
        # We should be able to send and receive bulk data in a single message.
1775
 
        # The 'readv' command in the smart protocol both sends and receives
1776
 
        # bulk data, so we use that.
1777
 
        self.build_tree(['data-file'])
1778
 
        http_server = self.get_readonly_server()
1779
 
        http_transport = self._transport(http_server.get_url())
1780
 
        medium = http_transport.get_smart_medium()
1781
 
        # Since we provide the medium, the url below will be mostly ignored
1782
 
        # during the test, as long as the path is '/'.
1783
 
        remote_transport = remote.RemoteTransport('bzr://fake_host/',
1784
 
                                                  medium=medium)
1785
 
        self.assertEqual(
1786
 
            [(0, "c")], list(remote_transport.readv("data-file", [(0,1)])))
1787
 
 
1788
 
    def test_http_send_smart_request(self):
1789
 
 
1790
 
        post_body = 'hello\n'
1791
 
        expected_reply_body = 'ok\x012\n'
1792
 
 
1793
 
        http_server = self.get_readonly_server()
1794
 
        http_transport = self._transport(http_server.get_url())
1795
 
        medium = http_transport.get_smart_medium()
1796
 
        response = medium.send_http_smart_request(post_body)
1797
 
        reply_body = response.read()
1798
 
        self.assertEqual(expected_reply_body, reply_body)
1799
 
 
1800
 
    def test_smart_http_server_post_request_handler(self):
1801
 
        httpd = self.get_readonly_server()._get_httpd()
1802
 
 
1803
 
        socket = SampleSocket(
1804
 
            'POST /.bzr/smart %s \r\n' % self._protocol_version
1805
 
            # HTTP/1.1 posts must have a Content-Length (but it doesn't hurt
1806
 
            # for 1.0)
1807
 
            + 'Content-Length: 6\r\n'
1808
 
            '\r\n'
1809
 
            'hello\n')
1810
 
        # Beware: the ('localhost', 80) below is the
1811
 
        # client_address parameter, but we don't have one because
1812
 
        # we have defined a socket which is not bound to an
1813
 
        # address. The test framework never uses this client
1814
 
        # address, so far...
1815
 
        request_handler = http_utils.SmartRequestHandler(socket,
1816
 
                                                         ('localhost', 80),
1817
 
                                                         httpd)
1818
 
        response = socket.writefile.getvalue()
1819
 
        self.assertStartsWith(response, '%s 200 ' % self._protocol_version)
1820
 
        # This includes the end of the HTTP headers, and all the body.
1821
 
        expected_end_of_response = '\r\n\r\nok\x012\n'
1822
 
        self.assertEndsWith(response, expected_end_of_response)
1823
 
 
1824
 
 
1825
 
class ForbiddenRequestHandler(http_server.TestingHTTPRequestHandler):
1826
 
    """No smart server here request handler."""
1827
 
 
1828
 
    def do_POST(self):
1829
 
        self.send_error(403, "Forbidden")
1830
 
 
1831
 
 
1832
 
class SmartClientAgainstNotSmartServer(TestSpecificRequestHandler):
1833
 
    """Test smart client behaviour against an http server without smarts."""
1834
 
 
1835
 
    _req_handler_class = ForbiddenRequestHandler
1836
 
 
1837
 
    def test_probe_smart_server(self):
1838
 
        """Test error handling against server refusing smart requests."""
1839
 
        server = self.get_readonly_server()
1840
 
        t = self._transport(server.get_url())
1841
 
        # No need to build a valid smart request here, the server will not even
1842
 
        # try to interpret it.
1843
 
        self.assertRaises(errors.SmartProtocolError,
1844
 
                          t.get_smart_medium().send_http_smart_request,
1845
 
                          'whatever')
1846
 
 
1847
 
class Test_redirected_to(tests.TestCase):
1848
 
 
1849
 
    def test_redirected_to_subdir(self):
1850
 
        t = self._transport('http://www.example.com/foo')
1851
 
        r = t._redirected_to('http://www.example.com/foo',
1852
 
                             'http://www.example.com/foo/subdir')
1853
 
        self.assertIsInstance(r, type(t))
1854
 
        # Both transports share the some connection
1855
 
        self.assertEquals(t._get_connection(), r._get_connection())
1856
 
 
1857
 
    def test_redirected_to_self_with_slash(self):
1858
 
        t = self._transport('http://www.example.com/foo')
1859
 
        r = t._redirected_to('http://www.example.com/foo',
1860
 
                             'http://www.example.com/foo/')
1861
 
        self.assertIsInstance(r, type(t))
1862
 
        # Both transports share the some connection (one can argue that we
1863
 
        # should return the exact same transport here, but that seems
1864
 
        # overkill).
1865
 
        self.assertEquals(t._get_connection(), r._get_connection())
1866
 
 
1867
 
    def test_redirected_to_host(self):
1868
 
        t = self._transport('http://www.example.com/foo')
1869
 
        r = t._redirected_to('http://www.example.com/foo',
1870
 
                             'http://foo.example.com/foo/subdir')
1871
 
        self.assertIsInstance(r, type(t))
1872
 
 
1873
 
    def test_redirected_to_same_host_sibling_protocol(self):
1874
 
        t = self._transport('http://www.example.com/foo')
1875
 
        r = t._redirected_to('http://www.example.com/foo',
1876
 
                             'https://www.example.com/foo')
1877
 
        self.assertIsInstance(r, type(t))
1878
 
 
1879
 
    def test_redirected_to_same_host_different_protocol(self):
1880
 
        t = self._transport('http://www.example.com/foo')
1881
 
        r = t._redirected_to('http://www.example.com/foo',
1882
 
                             'ftp://www.example.com/foo')
1883
 
        self.assertNotEquals(type(r), type(t))
1884
 
 
1885
 
    def test_redirected_to_different_host_same_user(self):
1886
 
        t = self._transport('http://joe@www.example.com/foo')
1887
 
        r = t._redirected_to('http://www.example.com/foo',
1888
 
                             'https://foo.example.com/foo')
1889
 
        self.assertIsInstance(r, type(t))
1890
 
        self.assertEquals(t._user, r._user)
1891
 
 
1892
 
 
1893
 
class PredefinedRequestHandler(http_server.TestingHTTPRequestHandler):
1894
 
    """Request handler for a unique and pre-defined request.
1895
 
 
1896
 
    The only thing we care about here is how many bytes travel on the wire. But
1897
 
    since we want to measure it for a real http client, we have to send it
1898
 
    correct responses.
1899
 
 
1900
 
    We expect to receive a *single* request nothing more (and we won't even
1901
 
    check what request it is, we just measure the bytes read until an empty
1902
 
    line.
1903
 
    """
1904
 
 
1905
 
    def handle_one_request(self):
1906
 
        tcs = self.server.test_case_server
1907
 
        requestline = self.rfile.readline()
1908
 
        headers = self.MessageClass(self.rfile, 0)
1909
 
        # We just read: the request, the headers, an empty line indicating the
1910
 
        # end of the headers.
1911
 
        bytes_read = len(requestline)
1912
 
        for line in headers.headers:
1913
 
            bytes_read += len(line)
1914
 
        bytes_read += len('\r\n')
1915
 
        if requestline.startswith('POST'):
1916
 
            # The body should be a single line (or we don't know where it ends
1917
 
            # and we don't want to issue a blocking read)
1918
 
            body = self.rfile.readline()
1919
 
            bytes_read += len(body)
1920
 
        tcs.bytes_read = bytes_read
1921
 
 
1922
 
        # We set the bytes written *before* issuing the write, the client is
1923
 
        # supposed to consume every produced byte *before* checking that value.
1924
 
 
1925
 
        # Doing the oppposite may lead to test failure: we may be interrupted
1926
 
        # after the write but before updating the value. The client can then
1927
 
        # continue and read the value *before* we can update it. And yes,
1928
 
        # this has been observed -- vila 20090129
1929
 
        tcs.bytes_written = len(tcs.canned_response)
1930
 
        self.wfile.write(tcs.canned_response)
1931
 
 
1932
 
 
1933
 
class ActivityServerMixin(object):
1934
 
 
1935
 
    def __init__(self, protocol_version):
1936
 
        super(ActivityServerMixin, self).__init__(
1937
 
            request_handler=PredefinedRequestHandler,
1938
 
            protocol_version=protocol_version)
1939
 
        # Bytes read and written by the server
1940
 
        self.bytes_read = 0
1941
 
        self.bytes_written = 0
1942
 
        self.canned_response = None
1943
 
 
1944
 
 
1945
 
class ActivityHTTPServer(ActivityServerMixin, http_server.HttpServer):
1946
 
    pass
1947
 
 
1948
 
 
1949
 
if tests.HTTPSServerFeature.available():
1950
 
    from bzrlib.tests import https_server
1951
 
    class ActivityHTTPSServer(ActivityServerMixin, https_server.HTTPSServer):
1952
 
        pass
1953
 
 
1954
 
 
1955
 
class TestActivity(tests.TestCase):
1956
 
    """Test socket activity reporting.
1957
 
 
1958
 
    We use a special purpose server to control the bytes sent and received and
1959
 
    be able to predict the activity on the client socket.
1960
 
    """
1961
 
 
1962
 
    def setUp(self):
1963
 
        tests.TestCase.setUp(self)
1964
 
        self.server = self._activity_server(self._protocol_version)
1965
 
        self.server.setUp()
1966
 
        self.activities = {}
1967
 
        def report_activity(t, bytes, direction):
1968
 
            count = self.activities.get(direction, 0)
1969
 
            count += bytes
1970
 
            self.activities[direction] = count
1971
 
 
1972
 
        # We override at class level because constructors may propagate the
1973
 
        # bound method and render instance overriding ineffective (an
1974
 
        # alternative would be to define a specific ui factory instead...)
1975
 
        self.orig_report_activity = self._transport._report_activity
1976
 
        self._transport._report_activity = report_activity
1977
 
 
1978
 
    def tearDown(self):
1979
 
        self._transport._report_activity = self.orig_report_activity
1980
 
        self.server.tearDown()
1981
 
        tests.TestCase.tearDown(self)
1982
 
 
1983
 
    def get_transport(self):
1984
 
        return self._transport(self.server.get_url())
1985
 
 
1986
 
    def assertActivitiesMatch(self):
1987
 
        self.assertEqual(self.server.bytes_read,
1988
 
                         self.activities.get('write', 0), 'written bytes')
1989
 
        self.assertEqual(self.server.bytes_written,
1990
 
                         self.activities.get('read', 0), 'read bytes')
1991
 
 
1992
 
    def test_get(self):
1993
 
        self.server.canned_response = '''HTTP/1.1 200 OK\r
1994
 
Date: Tue, 11 Jul 2006 04:32:56 GMT\r
1995
 
Server: Apache/2.0.54 (Fedora)\r
1996
 
Last-Modified: Sun, 23 Apr 2006 19:35:20 GMT\r
1997
 
ETag: "56691-23-38e9ae00"\r
1998
 
Accept-Ranges: bytes\r
1999
 
Content-Length: 35\r
2000
 
Connection: close\r
2001
 
Content-Type: text/plain; charset=UTF-8\r
2002
 
\r
2003
 
Bazaar-NG meta directory, format 1
2004
 
'''
2005
 
        t = self.get_transport()
2006
 
        self.assertEqual('Bazaar-NG meta directory, format 1\n',
2007
 
                         t.get('foo/bar').read())
2008
 
        self.assertActivitiesMatch()
2009
 
 
2010
 
    def test_has(self):
2011
 
        self.server.canned_response = '''HTTP/1.1 200 OK\r
2012
 
Server: SimpleHTTP/0.6 Python/2.5.2\r
2013
 
Date: Thu, 29 Jan 2009 20:21:47 GMT\r
2014
 
Content-type: application/octet-stream\r
2015
 
Content-Length: 20\r
2016
 
Last-Modified: Thu, 29 Jan 2009 20:21:47 GMT\r
2017
 
\r
2018
 
'''
2019
 
        t = self.get_transport()
2020
 
        self.assertTrue(t.has('foo/bar'))
2021
 
        self.assertActivitiesMatch()
2022
 
 
2023
 
    def test_readv(self):
2024
 
        self.server.canned_response = '''HTTP/1.1 206 Partial Content\r
2025
 
Date: Tue, 11 Jul 2006 04:49:48 GMT\r
2026
 
Server: Apache/2.0.54 (Fedora)\r
2027
 
Last-Modified: Thu, 06 Jul 2006 20:22:05 GMT\r
2028
 
ETag: "238a3c-16ec2-805c5540"\r
2029
 
Accept-Ranges: bytes\r
2030
 
Content-Length: 1534\r
2031
 
Connection: close\r
2032
 
Content-Type: multipart/byteranges; boundary=418470f848b63279b\r
2033
 
\r
2034
 
\r
2035
 
--418470f848b63279b\r
2036
 
Content-type: text/plain; charset=UTF-8\r
2037
 
Content-range: bytes 0-254/93890\r
2038
 
\r
2039
 
mbp@sourcefrog.net-20050309040815-13242001617e4a06
2040
 
mbp@sourcefrog.net-20050309040929-eee0eb3e6d1e7627
2041
 
mbp@sourcefrog.net-20050309040957-6cad07f466bb0bb8
2042
 
mbp@sourcefrog.net-20050309041501-c840e09071de3b67
2043
 
mbp@sourcefrog.net-20050309044615-c24a3250be83220a
2044
 
\r
2045
 
--418470f848b63279b\r
2046
 
Content-type: text/plain; charset=UTF-8\r
2047
 
Content-range: bytes 1000-2049/93890\r
2048
 
\r
2049
 
40-fd4ec249b6b139ab
2050
 
mbp@sourcefrog.net-20050311063625-07858525021f270b
2051
 
mbp@sourcefrog.net-20050311231934-aa3776aff5200bb9
2052
 
mbp@sourcefrog.net-20050311231953-73aeb3a131c3699a
2053
 
mbp@sourcefrog.net-20050311232353-f5e33da490872c6a
2054
 
mbp@sourcefrog.net-20050312071639-0a8f59a34a024ff0
2055
 
mbp@sourcefrog.net-20050312073432-b2c16a55e0d6e9fb
2056
 
mbp@sourcefrog.net-20050312073831-a47c3335ece1920f
2057
 
mbp@sourcefrog.net-20050312085412-13373aa129ccbad3
2058
 
mbp@sourcefrog.net-20050313052251-2bf004cb96b39933
2059
 
mbp@sourcefrog.net-20050313052856-3edd84094687cb11
2060
 
mbp@sourcefrog.net-20050313053233-e30a4f28aef48f9d
2061
 
mbp@sourcefrog.net-20050313053853-7c64085594ff3072
2062
 
mbp@sourcefrog.net-20050313054757-a86c3f5871069e22
2063
 
mbp@sourcefrog.net-20050313061422-418f1f73b94879b9
2064
 
mbp@sourcefrog.net-20050313120651-497bd231b19df600
2065
 
mbp@sourcefrog.net-20050314024931-eae0170ef25a5d1a
2066
 
mbp@sourcefrog.net-20050314025438-d52099f915fe65fc
2067
 
mbp@sourcefrog.net-20050314025539-637a636692c055cf
2068
 
mbp@sourcefrog.net-20050314025737-55eb441f430ab4ba
2069
 
mbp@sourcefrog.net-20050314025901-d74aa93bb7ee8f62
2070
 
mbp@source\r
2071
 
--418470f848b63279b--\r
2072
 
'''
2073
 
        t = self.get_transport()
2074
 
        # Remember that the request is ignored and that the ranges below
2075
 
        # doesn't have to match the canned response.
2076
 
        l = list(t.readv('/foo/bar', ((0, 255), (1000, 1050))))
2077
 
        self.assertEqual(2, len(l))
2078
 
        self.assertActivitiesMatch()
2079
 
 
2080
 
    def test_post(self):
2081
 
        self.server.canned_response = '''HTTP/1.1 200 OK\r
2082
 
Date: Tue, 11 Jul 2006 04:32:56 GMT\r
2083
 
Server: Apache/2.0.54 (Fedora)\r
2084
 
Last-Modified: Sun, 23 Apr 2006 19:35:20 GMT\r
2085
 
ETag: "56691-23-38e9ae00"\r
2086
 
Accept-Ranges: bytes\r
2087
 
Content-Length: 35\r
2088
 
Connection: close\r
2089
 
Content-Type: text/plain; charset=UTF-8\r
2090
 
\r
2091
 
lalala whatever as long as itsssss
2092
 
'''
2093
 
        t = self.get_transport()
2094
 
        # We must send a single line of body bytes, see
2095
 
        # PredefinedRequestHandler.handle_one_request
2096
 
        code, f = t._post('abc def end-of-body\n')
2097
 
        self.assertEqual('lalala whatever as long as itsssss\n', f.read())
2098
 
        self.assertActivitiesMatch()