~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_http.py

  • Committer: John Arbash Meinel
  • Date: 2010-02-17 17:11:16 UTC
  • mfrom: (4797.2.17 2.1)
  • mto: (4797.2.18 2.1)
  • mto: This revision was merged to the branch mainline in revision 5055.
  • Revision ID: john@arbash-meinel.com-20100217171116-h7t9223ystbnx5h8
merge bzr.2.1 in preparation for NEWS entry.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
# FIXME: This test should be repeated for each available http client
18
 
# implementation; at the moment we have urllib and pycurl.
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
"""Tests for HTTP implementations.
 
18
 
 
19
This module defines a load_tests() method that parametrize tests classes for
 
20
transport implementation, http protocol versions and authentication schemes.
 
21
"""
19
22
 
20
23
# TODO: Should be renamed to bzrlib.transport.http.tests?
21
24
# TODO: What about renaming to bzrlib.tests.transport.http ?
22
25
 
23
26
from cStringIO import StringIO
 
27
import httplib
24
28
import os
25
29
import select
 
30
import SimpleHTTPServer
26
31
import socket
27
32
import sys
28
33
import threading
29
34
 
30
35
import bzrlib
31
36
from bzrlib import (
 
37
    bzrdir,
 
38
    config,
32
39
    errors,
33
40
    osutils,
 
41
    remote as _mod_remote,
 
42
    tests,
 
43
    transport,
34
44
    ui,
35
45
    urlutils,
36
46
    )
 
47
from bzrlib.symbol_versioning import (
 
48
    deprecated_in,
 
49
    )
37
50
from bzrlib.tests import (
38
 
    TestCase,
39
 
    TestUIFactory,
40
 
    TestSkipped,
41
 
    StringIOWrapper,
42
 
    )
43
 
from bzrlib.tests.HttpServer import (
44
 
    HttpServer,
45
 
    HttpServer_PyCurl,
46
 
    HttpServer_urllib,
47
 
    )
48
 
from bzrlib.tests.HTTPTestUtil import (
49
 
    BadProtocolRequestHandler,
50
 
    BadStatusRequestHandler,
51
 
    ForbiddenRequestHandler,
52
 
    HTTPBasicAuthServer,
53
 
    HTTPDigestAuthServer,
54
 
    HTTPServerRedirecting,
55
 
    InvalidStatusRequestHandler,
56
 
    LimitedRangeHTTPServer,
57
 
    NoRangeRequestHandler,
58
 
    ProxyBasicAuthServer,
59
 
    ProxyDigestAuthServer,
60
 
    ProxyServer,
61
 
    SingleRangeRequestHandler,
62
 
    SingleOnlyRangeRequestHandler,
63
 
    TestCaseWithRedirectedWebserver,
64
 
    TestCaseWithTwoWebservers,
65
 
    TestCaseWithWebserver,
66
 
    WallRequestHandler,
 
51
    features,
 
52
    http_server,
 
53
    http_utils,
67
54
    )
68
55
from bzrlib.transport import (
69
 
    _CoalescedOffset,
70
 
    do_catching_redirections,
71
 
    get_transport,
72
 
    Transport,
 
56
    http,
 
57
    remote,
73
58
    )
74
59
from bzrlib.transport.http import (
75
 
    extract_auth,
76
 
    HttpTransportBase,
 
60
    _urllib,
77
61
    _urllib2_wrappers,
78
62
    )
79
 
from bzrlib.transport.http._urllib import HttpTransport_urllib
80
 
from bzrlib.transport.http._urllib2_wrappers import (
81
 
    PasswordManager,
82
 
    ProxyHandler,
83
 
    Request,
84
 
    )
 
63
 
 
64
 
 
65
if features.pycurl.available():
 
66
    from bzrlib.transport.http._pycurl import PyCurlTransport
 
67
 
 
68
 
 
69
def load_tests(standard_tests, module, loader):
 
70
    """Multiply tests for http clients and protocol versions."""
 
71
    result = loader.suiteClass()
 
72
 
 
73
    # one for each transport implementation
 
74
    t_tests, remaining_tests = tests.split_suite_by_condition(
 
75
        standard_tests, tests.condition_isinstance((
 
76
                TestHttpTransportRegistration,
 
77
                TestHttpTransportUrls,
 
78
                Test_redirected_to,
 
79
                )))
 
80
    transport_scenarios = [
 
81
        ('urllib', dict(_transport=_urllib.HttpTransport_urllib,
 
82
                        _server=http_server.HttpServer_urllib,
 
83
                        _qualified_prefix='http+urllib',)),
 
84
        ]
 
85
    if features.pycurl.available():
 
86
        transport_scenarios.append(
 
87
            ('pycurl', dict(_transport=PyCurlTransport,
 
88
                            _server=http_server.HttpServer_PyCurl,
 
89
                            _qualified_prefix='http+pycurl',)))
 
90
    tests.multiply_tests(t_tests, transport_scenarios, result)
 
91
 
 
92
    # each implementation tested with each HTTP version
 
93
    tp_tests, remaining_tests = tests.split_suite_by_condition(
 
94
        remaining_tests, tests.condition_isinstance((
 
95
                SmartHTTPTunnellingTest,
 
96
                TestDoCatchRedirections,
 
97
                TestHTTPConnections,
 
98
                TestHTTPRedirections,
 
99
                TestHTTPSilentRedirections,
 
100
                TestLimitedRangeRequestServer,
 
101
                TestPost,
 
102
                TestProxyHttpServer,
 
103
                TestRanges,
 
104
                TestSpecificRequestHandler,
 
105
                )))
 
106
    protocol_scenarios = [
 
107
            ('HTTP/1.0',  dict(_protocol_version='HTTP/1.0')),
 
108
            ('HTTP/1.1',  dict(_protocol_version='HTTP/1.1')),
 
109
            ]
 
110
    tp_scenarios = tests.multiply_scenarios(transport_scenarios,
 
111
                                            protocol_scenarios)
 
112
    tests.multiply_tests(tp_tests, tp_scenarios, result)
 
113
 
 
114
    # proxy auth: each auth scheme on all http versions on all implementations.
 
115
    tppa_tests, remaining_tests = tests.split_suite_by_condition(
 
116
        remaining_tests, tests.condition_isinstance((
 
117
                TestProxyAuth,
 
118
                )))
 
119
    proxy_auth_scheme_scenarios = [
 
120
        ('basic', dict(_auth_server=http_utils.ProxyBasicAuthServer)),
 
121
        ('digest', dict(_auth_server=http_utils.ProxyDigestAuthServer)),
 
122
        ('basicdigest',
 
123
         dict(_auth_server=http_utils.ProxyBasicAndDigestAuthServer)),
 
124
        ]
 
125
    tppa_scenarios = tests.multiply_scenarios(tp_scenarios,
 
126
                                              proxy_auth_scheme_scenarios)
 
127
    tests.multiply_tests(tppa_tests, tppa_scenarios, result)
 
128
 
 
129
    # auth: each auth scheme on all http versions on all implementations.
 
130
    tpa_tests, remaining_tests = tests.split_suite_by_condition(
 
131
        remaining_tests, tests.condition_isinstance((
 
132
                TestAuth,
 
133
                )))
 
134
    auth_scheme_scenarios = [
 
135
        ('basic', dict(_auth_server=http_utils.HTTPBasicAuthServer)),
 
136
        ('digest', dict(_auth_server=http_utils.HTTPDigestAuthServer)),
 
137
        ('basicdigest',
 
138
         dict(_auth_server=http_utils.HTTPBasicAndDigestAuthServer)),
 
139
        ]
 
140
    tpa_scenarios = tests.multiply_scenarios(tp_scenarios,
 
141
                                             auth_scheme_scenarios)
 
142
    tests.multiply_tests(tpa_tests, tpa_scenarios, result)
 
143
 
 
144
    # activity: on all http[s] versions on all implementations
 
145
    tpact_tests, remaining_tests = tests.split_suite_by_condition(
 
146
        remaining_tests, tests.condition_isinstance((
 
147
                TestActivity,
 
148
                )))
 
149
    activity_scenarios = [
 
150
        ('urllib,http', dict(_activity_server=ActivityHTTPServer,
 
151
                             _transport=_urllib.HttpTransport_urllib,)),
 
152
        ]
 
153
    if tests.HTTPSServerFeature.available():
 
154
        activity_scenarios.append(
 
155
            ('urllib,https', dict(_activity_server=ActivityHTTPSServer,
 
156
                                  _transport=_urllib.HttpTransport_urllib,)),)
 
157
    if features.pycurl.available():
 
158
        activity_scenarios.append(
 
159
            ('pycurl,http', dict(_activity_server=ActivityHTTPServer,
 
160
                                 _transport=PyCurlTransport,)),)
 
161
        if tests.HTTPSServerFeature.available():
 
162
            from bzrlib.tests import (
 
163
                ssl_certs,
 
164
                )
 
165
            # FIXME: Until we have a better way to handle self-signed
 
166
            # certificates (like allowing them in a test specific
 
167
            # authentication.conf for example), we need some specialized pycurl
 
168
            # transport for tests.
 
169
            class HTTPS_pycurl_transport(PyCurlTransport):
 
170
 
 
171
                def __init__(self, base, _from_transport=None):
 
172
                    super(HTTPS_pycurl_transport, self).__init__(
 
173
                        base, _from_transport)
 
174
                    self.cabundle = str(ssl_certs.build_path('ca.crt'))
 
175
 
 
176
            activity_scenarios.append(
 
177
                ('pycurl,https', dict(_activity_server=ActivityHTTPSServer,
 
178
                                      _transport=HTTPS_pycurl_transport,)),)
 
179
 
 
180
    tpact_scenarios = tests.multiply_scenarios(activity_scenarios,
 
181
                                               protocol_scenarios)
 
182
    tests.multiply_tests(tpact_tests, tpact_scenarios, result)
 
183
 
 
184
    # No parametrization for the remaining tests
 
185
    result.addTests(remaining_tests)
 
186
 
 
187
    return result
85
188
 
86
189
 
87
190
class FakeManager(object):
95
198
 
96
199
class RecordingServer(object):
97
200
    """A fake HTTP server.
98
 
    
 
201
 
99
202
    It records the bytes sent to it, and replies with a 200.
100
203
    """
101
204
 
102
 
    def __init__(self, expect_body_tail=None):
 
205
    def __init__(self, expect_body_tail=None, scheme=''):
103
206
        """Constructor.
104
207
 
105
208
        :type expect_body_tail: str
110
213
        self.host = None
111
214
        self.port = None
112
215
        self.received_bytes = ''
113
 
 
114
 
    def setUp(self):
 
216
        self.scheme = scheme
 
217
 
 
218
    def get_url(self):
 
219
        return '%s://%s:%s/' % (self.scheme, self.host, self.port)
 
220
 
 
221
    def start_server(self):
115
222
        self._sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
116
223
        self._sock.bind(('127.0.0.1', 0))
117
224
        self.host, self.port = self._sock.getsockname()
140
247
            # The client may have already closed the socket.
141
248
            pass
142
249
 
143
 
    def tearDown(self):
 
250
    def stop_server(self):
144
251
        try:
145
252
            self._sock.close()
146
253
        except socket.error:
150
257
        self.port = None
151
258
 
152
259
 
 
260
class TestAuthHeader(tests.TestCase):
 
261
 
 
262
    def parse_header(self, header, auth_handler_class=None):
 
263
        if auth_handler_class is None:
 
264
            auth_handler_class = _urllib2_wrappers.AbstractAuthHandler
 
265
        self.auth_handler =  auth_handler_class()
 
266
        return self.auth_handler._parse_auth_header(header)
 
267
 
 
268
    def test_empty_header(self):
 
269
        scheme, remainder = self.parse_header('')
 
270
        self.assertEqual('', scheme)
 
271
        self.assertIs(None, remainder)
 
272
 
 
273
    def test_negotiate_header(self):
 
274
        scheme, remainder = self.parse_header('Negotiate')
 
275
        self.assertEqual('negotiate', scheme)
 
276
        self.assertIs(None, remainder)
 
277
 
 
278
    def test_basic_header(self):
 
279
        scheme, remainder = self.parse_header(
 
280
            'Basic realm="Thou should not pass"')
 
281
        self.assertEqual('basic', scheme)
 
282
        self.assertEqual('realm="Thou should not pass"', remainder)
 
283
 
 
284
    def test_basic_extract_realm(self):
 
285
        scheme, remainder = self.parse_header(
 
286
            'Basic realm="Thou should not pass"',
 
287
            _urllib2_wrappers.BasicAuthHandler)
 
288
        match, realm = self.auth_handler.extract_realm(remainder)
 
289
        self.assertTrue(match is not None)
 
290
        self.assertEqual('Thou should not pass', realm)
 
291
 
 
292
    def test_digest_header(self):
 
293
        scheme, remainder = self.parse_header(
 
294
            'Digest realm="Thou should not pass"')
 
295
        self.assertEqual('digest', scheme)
 
296
        self.assertEqual('realm="Thou should not pass"', remainder)
 
297
 
 
298
 
 
299
class TestHTTPServer(tests.TestCase):
 
300
    """Test the HTTP servers implementations."""
 
301
 
 
302
    def test_invalid_protocol(self):
 
303
        class BogusRequestHandler(http_server.TestingHTTPRequestHandler):
 
304
 
 
305
            protocol_version = 'HTTP/0.1'
 
306
 
 
307
        server = http_server.HttpServer(BogusRequestHandler)
 
308
        try:
 
309
            self.assertRaises(httplib.UnknownProtocol, server.start_server)
 
310
        except:
 
311
            server.stop_server()
 
312
            self.fail('HTTP Server creation did not raise UnknownProtocol')
 
313
 
 
314
    def test_force_invalid_protocol(self):
 
315
        server = http_server.HttpServer(protocol_version='HTTP/0.1')
 
316
        try:
 
317
            self.assertRaises(httplib.UnknownProtocol, server.start_server)
 
318
        except:
 
319
            server.stop_server()
 
320
            self.fail('HTTP Server creation did not raise UnknownProtocol')
 
321
 
 
322
    def test_server_start_and_stop(self):
 
323
        server = http_server.HttpServer()
 
324
        server.start_server()
 
325
        try:
 
326
            self.assertTrue(server._http_running)
 
327
        finally:
 
328
            server.stop_server()
 
329
        self.assertFalse(server._http_running)
 
330
 
 
331
    def test_create_http_server_one_zero(self):
 
332
        class RequestHandlerOneZero(http_server.TestingHTTPRequestHandler):
 
333
 
 
334
            protocol_version = 'HTTP/1.0'
 
335
 
 
336
        server = http_server.HttpServer(RequestHandlerOneZero)
 
337
        self.start_server(server)
 
338
        self.assertIsInstance(server._httpd, http_server.TestingHTTPServer)
 
339
 
 
340
    def test_create_http_server_one_one(self):
 
341
        class RequestHandlerOneOne(http_server.TestingHTTPRequestHandler):
 
342
 
 
343
            protocol_version = 'HTTP/1.1'
 
344
 
 
345
        server = http_server.HttpServer(RequestHandlerOneOne)
 
346
        self.start_server(server)
 
347
        self.assertIsInstance(server._httpd,
 
348
                              http_server.TestingThreadingHTTPServer)
 
349
 
 
350
    def test_create_http_server_force_one_one(self):
 
351
        class RequestHandlerOneZero(http_server.TestingHTTPRequestHandler):
 
352
 
 
353
            protocol_version = 'HTTP/1.0'
 
354
 
 
355
        server = http_server.HttpServer(RequestHandlerOneZero,
 
356
                                        protocol_version='HTTP/1.1')
 
357
        self.start_server(server)
 
358
        self.assertIsInstance(server._httpd,
 
359
                              http_server.TestingThreadingHTTPServer)
 
360
 
 
361
    def test_create_http_server_force_one_zero(self):
 
362
        class RequestHandlerOneOne(http_server.TestingHTTPRequestHandler):
 
363
 
 
364
            protocol_version = 'HTTP/1.1'
 
365
 
 
366
        server = http_server.HttpServer(RequestHandlerOneOne,
 
367
                                        protocol_version='HTTP/1.0')
 
368
        self.start_server(server)
 
369
        self.assertIsInstance(server._httpd,
 
370
                              http_server.TestingHTTPServer)
 
371
 
 
372
 
153
373
class TestWithTransport_pycurl(object):
154
374
    """Test case to inherit from if pycurl is present"""
155
375
 
156
376
    def _get_pycurl_maybe(self):
157
 
        try:
158
 
            from bzrlib.transport.http._pycurl import PyCurlTransport
159
 
            return PyCurlTransport
160
 
        except errors.DependencyNotPresent:
161
 
            raise TestSkipped('pycurl not present')
 
377
        self.requireFeature(features.pycurl)
 
378
        return PyCurlTransport
162
379
 
163
380
    _transport = property(_get_pycurl_maybe)
164
381
 
165
382
 
166
 
class TestHttpUrls(TestCase):
 
383
class TestHttpUrls(tests.TestCase):
167
384
 
168
385
    # TODO: This should be moved to authorization tests once they
169
386
    # are written.
170
387
 
171
388
    def test_url_parsing(self):
172
389
        f = FakeManager()
173
 
        url = extract_auth('http://example.com', f)
174
 
        self.assertEquals('http://example.com', url)
175
 
        self.assertEquals(0, len(f.credentials))
176
 
        url = extract_auth('http://user:pass@www.bazaar-vcs.org/bzr/bzr.dev', f)
177
 
        self.assertEquals('http://www.bazaar-vcs.org/bzr/bzr.dev', url)
178
 
        self.assertEquals(1, len(f.credentials))
179
 
        self.assertEquals([None, 'www.bazaar-vcs.org', 'user', 'pass'],
180
 
                          f.credentials[0])
181
 
 
182
 
 
183
 
class TestHttpTransportUrls(object):
184
 
    """Test the http urls.
185
 
 
186
 
    This MUST be used by daughter classes that also inherit from
187
 
    TestCase.
188
 
 
189
 
    We can't inherit directly from TestCase or the
190
 
    test framework will try to create an instance which cannot
191
 
    run, its implementation being incomplete.
192
 
    """
 
390
        url = http.extract_auth('http://example.com', f)
 
391
        self.assertEqual('http://example.com', url)
 
392
        self.assertEqual(0, len(f.credentials))
 
393
        url = http.extract_auth(
 
394
            'http://user:pass@www.bazaar-vcs.org/bzr/bzr.dev', f)
 
395
        self.assertEqual('http://www.bazaar-vcs.org/bzr/bzr.dev', url)
 
396
        self.assertEqual(1, len(f.credentials))
 
397
        self.assertEqual([None, 'www.bazaar-vcs.org', 'user', 'pass'],
 
398
                         f.credentials[0])
 
399
 
 
400
 
 
401
class TestHttpTransportUrls(tests.TestCase):
 
402
    """Test the http urls."""
193
403
 
194
404
    def test_abs_url(self):
195
405
        """Construction of absolute http URLs"""
204
414
    def test_invalid_http_urls(self):
205
415
        """Trap invalid construction of urls"""
206
416
        t = self._transport('http://bazaar-vcs.org/bzr/bzr.dev/')
207
 
        self.assertRaises((errors.InvalidURL, errors.ConnectionError),
 
417
        self.assertRaises(errors.InvalidURL,
208
418
                          self._transport,
209
419
                          'http://http://bazaar-vcs.org/bzr/bzr.dev/')
210
420
 
218
428
    def test_http_impl_urls(self):
219
429
        """There are servers which ask for particular clients to connect"""
220
430
        server = self._server()
 
431
        server.start_server()
221
432
        try:
222
 
            server.setUp()
223
433
            url = server.get_url()
224
434
            self.assertTrue(url.startswith('%s://' % self._qualified_prefix))
225
435
        finally:
226
 
            server.tearDown()
227
 
 
228
 
 
229
 
class TestHttpUrls_urllib(TestHttpTransportUrls, TestCase):
230
 
    """Test http urls with urllib"""
231
 
 
232
 
    _transport = HttpTransport_urllib
233
 
    _server = HttpServer_urllib
234
 
    _qualified_prefix = 'http+urllib'
235
 
 
236
 
 
237
 
class TestHttpUrls_pycurl(TestWithTransport_pycurl, TestHttpTransportUrls,
238
 
                          TestCase):
239
 
    """Test http urls with pycurl"""
240
 
 
241
 
    _server = HttpServer_PyCurl
242
 
    _qualified_prefix = 'http+pycurl'
 
436
            server.stop_server()
 
437
 
 
438
 
 
439
class TestHttps_pycurl(TestWithTransport_pycurl, tests.TestCase):
243
440
 
244
441
    # TODO: This should really be moved into another pycurl
245
442
    # specific test. When https tests will be implemented, take
251
448
        https by supplying a fake version_info that do not
252
449
        support it.
253
450
        """
254
 
        try:
255
 
            import pycurl
256
 
        except ImportError:
257
 
            raise TestSkipped('pycurl not present')
258
 
        # Now that we have pycurl imported, we can fake its version_info
259
 
        # This was taken from a windows pycurl without SSL
260
 
        # (thanks to bialix)
 
451
        self.requireFeature(features.pycurl)
 
452
        # Import the module locally now that we now it's available.
 
453
        pycurl = features.pycurl.module
 
454
 
 
455
        version_info_orig = pycurl.version_info
 
456
        def restore():
 
457
            pycurl.version_info = version_info_orig
 
458
        self.addCleanup(restore)
 
459
 
 
460
        # Fake the pycurl version_info This was taken from a windows pycurl
 
461
        # without SSL (thanks to bialix)
261
462
        pycurl.version_info = lambda : (2,
262
463
                                        '7.13.2',
263
464
                                        462082,
274
475
        self.assertRaises(errors.DependencyNotPresent, self._transport,
275
476
                          'https://launchpad.net')
276
477
 
277
 
class TestHttpConnections(object):
278
 
    """Test the http connections.
279
 
 
280
 
    This MUST be used by daughter classes that also inherit from
281
 
    TestCaseWithWebserver.
282
 
 
283
 
    We can't inherit directly from TestCaseWithWebserver or the
284
 
    test framework will try to create an instance which cannot
285
 
    run, its implementation being incomplete.
286
 
    """
 
478
 
 
479
class TestHTTPConnections(http_utils.TestCaseWithWebserver):
 
480
    """Test the http connections."""
287
481
 
288
482
    def setUp(self):
289
 
        TestCaseWithWebserver.setUp(self)
290
 
        self.build_tree(['xxx', 'foo/', 'foo/bar'], line_endings='binary',
 
483
        http_utils.TestCaseWithWebserver.setUp(self)
 
484
        self.build_tree(['foo/', 'foo/bar'], line_endings='binary',
291
485
                        transport=self.get_transport())
292
486
 
293
487
    def test_http_has(self):
317
511
            '"GET /foo/bar HTTP/1.1" 200 - "-" "bzr/%s'
318
512
            % bzrlib.__version__) > -1)
319
513
 
320
 
    def test_get_smart_medium(self):
321
 
        # For HTTP, get_smart_medium should return the transport object.
322
 
        server = self.get_readonly_server()
323
 
        http_transport = self._transport(server.get_url())
324
 
        medium = http_transport.get_smart_medium()
325
 
        self.assertIs(medium, http_transport)
326
 
 
327
514
    def test_has_on_bogus_host(self):
328
515
        # Get a free address and don't 'accept' on it, so that we
329
516
        # can be sure there is no http handler there, but set a
339
526
            socket.setdefaulttimeout(default_timeout)
340
527
 
341
528
 
342
 
class TestHttpConnections_urllib(TestHttpConnections, TestCaseWithWebserver):
343
 
    """Test http connections with urllib"""
344
 
 
345
 
    _transport = HttpTransport_urllib
346
 
 
347
 
 
348
 
 
349
 
class TestHttpConnections_pycurl(TestWithTransport_pycurl,
350
 
                                 TestHttpConnections,
351
 
                                 TestCaseWithWebserver):
352
 
    """Test http connections with pycurl"""
353
 
 
354
 
 
355
 
class TestHttpTransportRegistration(TestCase):
 
529
class TestHttpTransportRegistration(tests.TestCase):
356
530
    """Test registrations of various http implementations"""
357
531
 
358
532
    def test_http_registered(self):
359
 
        # urlllib should always be present
360
 
        t = get_transport('http+urllib://bzr.google.com/')
361
 
        self.assertIsInstance(t, Transport)
362
 
        self.assertIsInstance(t, HttpTransport_urllib)
363
 
 
364
 
 
365
 
class TestPost(object):
366
 
 
367
 
    def _test_post_body_is_received(self, scheme):
368
 
        server = RecordingServer(expect_body_tail='end-of-body')
369
 
        server.setUp()
370
 
        self.addCleanup(server.tearDown)
371
 
        url = '%s://%s:%s/' % (scheme, server.host, server.port)
372
 
        try:
373
 
            http_transport = get_transport(url)
374
 
        except errors.UnsupportedProtocol:
375
 
            raise TestSkipped('%s not available' % scheme)
 
533
        t = transport.get_transport('%s://foo.com/' % self._qualified_prefix)
 
534
        self.assertIsInstance(t, transport.Transport)
 
535
        self.assertIsInstance(t, self._transport)
 
536
 
 
537
 
 
538
class TestPost(tests.TestCase):
 
539
 
 
540
    def test_post_body_is_received(self):
 
541
        server = RecordingServer(expect_body_tail='end-of-body',
 
542
            scheme=self._qualified_prefix)
 
543
        self.start_server(server)
 
544
        url = server.get_url()
 
545
        http_transport = self._transport(url)
376
546
        code, response = http_transport._post('abc def end-of-body')
377
547
        self.assertTrue(
378
548
            server.received_bytes.startswith('POST /.bzr/smart HTTP/1.'))
384
554
            server.received_bytes.endswith('\r\n\r\nabc def end-of-body'))
385
555
 
386
556
 
387
 
class TestPost_urllib(TestCase, TestPost):
388
 
    """TestPost for urllib implementation"""
389
 
 
390
 
    _transport = HttpTransport_urllib
391
 
 
392
 
    def test_post_body_is_received_urllib(self):
393
 
        self._test_post_body_is_received('http+urllib')
394
 
 
395
 
 
396
 
class TestPost_pycurl(TestWithTransport_pycurl, TestCase, TestPost):
397
 
    """TestPost for pycurl implementation"""
398
 
 
399
 
    def test_post_body_is_received_pycurl(self):
400
 
        self._test_post_body_is_received('http+pycurl')
401
 
 
402
 
 
403
 
class TestRangeHeader(TestCase):
 
557
class TestRangeHeader(tests.TestCase):
404
558
    """Test range_header method"""
405
559
 
406
560
    def check_header(self, value, ranges=[], tail=0):
407
561
        offsets = [ (start, end - start + 1) for start, end in ranges]
408
 
        coalesce = Transport._coalesce_offsets
 
562
        coalesce = transport.Transport._coalesce_offsets
409
563
        coalesced = list(coalesce(offsets, limit=0, fudge_factor=0))
410
 
        range_header = HttpTransportBase._range_header
 
564
        range_header = http.HttpTransportBase._range_header
411
565
        self.assertEqual(value, range_header(coalesced, tail))
412
566
 
413
567
    def test_range_header_single(self):
428
582
                          tail=50)
429
583
 
430
584
 
431
 
class TestWallServer(object):
 
585
class TestSpecificRequestHandler(http_utils.TestCaseWithWebserver):
 
586
    """Tests a specific request handler.
 
587
 
 
588
    Daughter classes are expected to override _req_handler_class
 
589
    """
 
590
 
 
591
    # Provide a useful default
 
592
    _req_handler_class = http_server.TestingHTTPRequestHandler
 
593
 
 
594
    def create_transport_readonly_server(self):
 
595
        return http_server.HttpServer(self._req_handler_class,
 
596
                                      protocol_version=self._protocol_version)
 
597
 
 
598
    def _testing_pycurl(self):
 
599
        # TODO: This is duplicated for lots of the classes in this file
 
600
        return (features.pycurl.available()
 
601
                and self._transport == PyCurlTransport)
 
602
 
 
603
 
 
604
class WallRequestHandler(http_server.TestingHTTPRequestHandler):
 
605
    """Whatever request comes in, close the connection"""
 
606
 
 
607
    def handle_one_request(self):
 
608
        """Handle a single HTTP request, by abruptly closing the connection"""
 
609
        self.close_connection = 1
 
610
 
 
611
 
 
612
class TestWallServer(TestSpecificRequestHandler):
432
613
    """Tests exceptions during the connection phase"""
433
614
 
434
 
    def create_transport_readonly_server(self):
435
 
        return HttpServer(WallRequestHandler)
 
615
    _req_handler_class = WallRequestHandler
436
616
 
437
617
    def test_http_has(self):
438
618
        server = self.get_readonly_server()
441
621
        # for details) make no distinction between a closed
442
622
        # socket and badly formatted status line, so we can't
443
623
        # just test for ConnectionError, we have to test
444
 
        # InvalidHttpResponse too.
445
 
        self.assertRaises((errors.ConnectionError, errors.InvalidHttpResponse),
 
624
        # InvalidHttpResponse too. And pycurl may raise ConnectionReset
 
625
        # instead of ConnectionError too.
 
626
        self.assertRaises(( errors.ConnectionError, errors.ConnectionReset,
 
627
                            errors.InvalidHttpResponse),
446
628
                          t.has, 'foo/bar')
447
629
 
448
630
    def test_http_get(self):
449
631
        server = self.get_readonly_server()
450
632
        t = self._transport(server.get_url())
451
 
        self.assertRaises((errors.ConnectionError, errors.InvalidHttpResponse),
 
633
        self.assertRaises((errors.ConnectionError, errors.ConnectionReset,
 
634
                           errors.InvalidHttpResponse),
452
635
                          t.get, 'foo/bar')
453
636
 
454
637
 
455
 
class TestWallServer_urllib(TestWallServer, TestCaseWithWebserver):
456
 
    """Tests "wall" server for urllib implementation"""
457
 
 
458
 
    _transport = HttpTransport_urllib
459
 
 
460
 
 
461
 
class TestWallServer_pycurl(TestWithTransport_pycurl,
462
 
                            TestWallServer,
463
 
                            TestCaseWithWebserver):
464
 
    """Tests "wall" server for pycurl implementation"""
465
 
 
466
 
 
467
 
class TestBadStatusServer(object):
 
638
class BadStatusRequestHandler(http_server.TestingHTTPRequestHandler):
 
639
    """Whatever request comes in, returns a bad status"""
 
640
 
 
641
    def parse_request(self):
 
642
        """Fakes handling a single HTTP request, returns a bad status"""
 
643
        ignored = http_server.TestingHTTPRequestHandler.parse_request(self)
 
644
        self.send_response(0, "Bad status")
 
645
        self.close_connection = 1
 
646
        return False
 
647
 
 
648
 
 
649
class TestBadStatusServer(TestSpecificRequestHandler):
468
650
    """Tests bad status from server."""
469
651
 
470
 
    def create_transport_readonly_server(self):
471
 
        return HttpServer(BadStatusRequestHandler)
 
652
    _req_handler_class = BadStatusRequestHandler
472
653
 
473
654
    def test_http_has(self):
474
655
        server = self.get_readonly_server()
481
662
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'foo/bar')
482
663
 
483
664
 
484
 
class TestBadStatusServer_urllib(TestBadStatusServer, TestCaseWithWebserver):
485
 
    """Tests bad status server for urllib implementation"""
486
 
 
487
 
    _transport = HttpTransport_urllib
488
 
 
489
 
 
490
 
class TestBadStatusServer_pycurl(TestWithTransport_pycurl,
491
 
                                 TestBadStatusServer,
492
 
                                 TestCaseWithWebserver):
493
 
    """Tests bad status server for pycurl implementation"""
 
665
class InvalidStatusRequestHandler(http_server.TestingHTTPRequestHandler):
 
666
    """Whatever request comes in, returns an invalid status"""
 
667
 
 
668
    def parse_request(self):
 
669
        """Fakes handling a single HTTP request, returns a bad status"""
 
670
        ignored = http_server.TestingHTTPRequestHandler.parse_request(self)
 
671
        self.wfile.write("Invalid status line\r\n")
 
672
        return False
494
673
 
495
674
 
496
675
class TestInvalidStatusServer(TestBadStatusServer):
499
678
    Both implementations raises the same error as for a bad status.
500
679
    """
501
680
 
502
 
    def create_transport_readonly_server(self):
503
 
        return HttpServer(InvalidStatusRequestHandler)
504
 
 
505
 
 
506
 
class TestInvalidStatusServer_urllib(TestInvalidStatusServer,
507
 
                                     TestCaseWithWebserver):
508
 
    """Tests invalid status server for urllib implementation"""
509
 
 
510
 
    _transport = HttpTransport_urllib
511
 
 
512
 
 
513
 
class TestInvalidStatusServer_pycurl(TestWithTransport_pycurl,
514
 
                                     TestInvalidStatusServer,
515
 
                                     TestCaseWithWebserver):
516
 
    """Tests invalid status server for pycurl implementation"""
517
 
 
518
 
 
519
 
class TestBadProtocolServer(object):
 
681
    _req_handler_class = InvalidStatusRequestHandler
 
682
 
 
683
    def test_http_has(self):
 
684
        if self._testing_pycurl() and self._protocol_version == 'HTTP/1.1':
 
685
            raise tests.KnownFailure(
 
686
                'pycurl hangs if the server send back garbage')
 
687
        super(TestInvalidStatusServer, self).test_http_has()
 
688
 
 
689
    def test_http_get(self):
 
690
        if self._testing_pycurl() and self._protocol_version == 'HTTP/1.1':
 
691
            raise tests.KnownFailure(
 
692
                'pycurl hangs if the server send back garbage')
 
693
        super(TestInvalidStatusServer, self).test_http_get()
 
694
 
 
695
 
 
696
class BadProtocolRequestHandler(http_server.TestingHTTPRequestHandler):
 
697
    """Whatever request comes in, returns a bad protocol version"""
 
698
 
 
699
    def parse_request(self):
 
700
        """Fakes handling a single HTTP request, returns a bad status"""
 
701
        ignored = http_server.TestingHTTPRequestHandler.parse_request(self)
 
702
        # Returns an invalid protocol version, but curl just
 
703
        # ignores it and those cannot be tested.
 
704
        self.wfile.write("%s %d %s\r\n" % ('HTTP/0.0',
 
705
                                           404,
 
706
                                           'Look at my protocol version'))
 
707
        return False
 
708
 
 
709
 
 
710
class TestBadProtocolServer(TestSpecificRequestHandler):
520
711
    """Tests bad protocol from server."""
521
712
 
522
 
    def create_transport_readonly_server(self):
523
 
        return HttpServer(BadProtocolRequestHandler)
 
713
    _req_handler_class = BadProtocolRequestHandler
 
714
 
 
715
    def setUp(self):
 
716
        if self._testing_pycurl():
 
717
            raise tests.TestNotApplicable(
 
718
                "pycurl doesn't check the protocol version")
 
719
        super(TestBadProtocolServer, self).setUp()
524
720
 
525
721
    def test_http_has(self):
526
722
        server = self.get_readonly_server()
533
729
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'foo/bar')
534
730
 
535
731
 
536
 
class TestBadProtocolServer_urllib(TestBadProtocolServer,
537
 
                                   TestCaseWithWebserver):
538
 
    """Tests bad protocol server for urllib implementation"""
539
 
 
540
 
    _transport = HttpTransport_urllib
541
 
 
542
 
# curl don't check the protocol version
543
 
#class TestBadProtocolServer_pycurl(TestWithTransport_pycurl,
544
 
#                                   TestBadProtocolServer,
545
 
#                                   TestCaseWithWebserver):
546
 
#    """Tests bad protocol server for pycurl implementation"""
547
 
 
548
 
 
549
 
class TestForbiddenServer(object):
 
732
class ForbiddenRequestHandler(http_server.TestingHTTPRequestHandler):
 
733
    """Whatever request comes in, returns a 403 code"""
 
734
 
 
735
    def parse_request(self):
 
736
        """Handle a single HTTP request, by replying we cannot handle it"""
 
737
        ignored = http_server.TestingHTTPRequestHandler.parse_request(self)
 
738
        self.send_error(403)
 
739
        return False
 
740
 
 
741
 
 
742
class TestForbiddenServer(TestSpecificRequestHandler):
550
743
    """Tests forbidden server"""
551
744
 
552
 
    def create_transport_readonly_server(self):
553
 
        return HttpServer(ForbiddenRequestHandler)
 
745
    _req_handler_class = ForbiddenRequestHandler
554
746
 
555
747
    def test_http_has(self):
556
748
        server = self.get_readonly_server()
563
755
        self.assertRaises(errors.TransportError, t.get, 'foo/bar')
564
756
 
565
757
 
566
 
class TestForbiddenServer_urllib(TestForbiddenServer, TestCaseWithWebserver):
567
 
    """Tests forbidden server for urllib implementation"""
568
 
 
569
 
    _transport = HttpTransport_urllib
570
 
 
571
 
 
572
 
class TestForbiddenServer_pycurl(TestWithTransport_pycurl,
573
 
                                 TestForbiddenServer,
574
 
                                 TestCaseWithWebserver):
575
 
    """Tests forbidden server for pycurl implementation"""
576
 
 
577
 
 
578
 
class TestRecordingServer(TestCase):
 
758
class TestRecordingServer(tests.TestCase):
579
759
 
580
760
    def test_create(self):
581
761
        server = RecordingServer(expect_body_tail=None)
583
763
        self.assertEqual(None, server.host)
584
764
        self.assertEqual(None, server.port)
585
765
 
586
 
    def test_setUp_and_tearDown(self):
 
766
    def test_setUp_and_stop(self):
587
767
        server = RecordingServer(expect_body_tail=None)
588
 
        server.setUp()
 
768
        server.start_server()
589
769
        try:
590
770
            self.assertNotEqual(None, server.host)
591
771
            self.assertNotEqual(None, server.port)
592
772
        finally:
593
 
            server.tearDown()
 
773
            server.stop_server()
594
774
        self.assertEqual(None, server.host)
595
775
        self.assertEqual(None, server.port)
596
776
 
597
777
    def test_send_receive_bytes(self):
598
 
        server = RecordingServer(expect_body_tail='c')
599
 
        server.setUp()
600
 
        self.addCleanup(server.tearDown)
 
778
        server = RecordingServer(expect_body_tail='c', scheme='http')
 
779
        self.start_server(server)
601
780
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
602
781
        sock.connect((server.host, server.port))
603
782
        sock.sendall('abc')
606
785
        self.assertEqual('abc', server.received_bytes)
607
786
 
608
787
 
609
 
class TestRangeRequestServer(object):
 
788
class TestRangeRequestServer(TestSpecificRequestHandler):
610
789
    """Tests readv requests against server.
611
790
 
612
 
    This MUST be used by daughter classes that also inherit from
613
 
    TestCaseWithWebserver.
614
 
 
615
 
    We can't inherit directly from TestCaseWithWebserver or the
616
 
    test framework will try to create an instance which cannot
617
 
    run, its implementation being incomplete.
 
791
    We test against default "normal" server.
618
792
    """
619
793
 
620
794
    def setUp(self):
621
 
        TestCaseWithWebserver.setUp(self)
 
795
        super(TestRangeRequestServer, self).setUp()
622
796
        self.build_tree_contents([('a', '0123456789')],)
623
797
 
624
798
    def test_readv(self):
653
827
        self.assertListRaises((errors.InvalidRange, errors.ShortReadvError,),
654
828
                              t.readv, 'a', [(12,2)])
655
829
 
 
830
    def test_readv_multiple_get_requests(self):
 
831
        server = self.get_readonly_server()
 
832
        t = self._transport(server.get_url())
 
833
        # force transport to issue multiple requests
 
834
        t._max_readv_combine = 1
 
835
        t._max_get_ranges = 1
 
836
        l = list(t.readv('a', ((0, 1), (1, 1), (3, 2), (9, 1))))
 
837
        self.assertEqual(l[0], (0, '0'))
 
838
        self.assertEqual(l[1], (1, '1'))
 
839
        self.assertEqual(l[2], (3, '34'))
 
840
        self.assertEqual(l[3], (9, '9'))
 
841
        # The server should have issued 4 requests
 
842
        self.assertEqual(4, server.GET_request_nb)
 
843
 
 
844
    def test_readv_get_max_size(self):
 
845
        server = self.get_readonly_server()
 
846
        t = self._transport(server.get_url())
 
847
        # force transport to issue multiple requests by limiting the number of
 
848
        # bytes by request. Note that this apply to coalesced offsets only, a
 
849
        # single range will keep its size even if bigger than the limit.
 
850
        t._get_max_size = 2
 
851
        l = list(t.readv('a', ((0, 1), (1, 1), (2, 4), (6, 4))))
 
852
        self.assertEqual(l[0], (0, '0'))
 
853
        self.assertEqual(l[1], (1, '1'))
 
854
        self.assertEqual(l[2], (2, '2345'))
 
855
        self.assertEqual(l[3], (6, '6789'))
 
856
        # The server should have issued 3 requests
 
857
        self.assertEqual(3, server.GET_request_nb)
 
858
 
 
859
    def test_complete_readv_leave_pipe_clean(self):
 
860
        server = self.get_readonly_server()
 
861
        t = self._transport(server.get_url())
 
862
        # force transport to issue multiple requests
 
863
        t._get_max_size = 2
 
864
        l = list(t.readv('a', ((0, 1), (1, 1), (2, 4), (6, 4))))
 
865
        # The server should have issued 3 requests
 
866
        self.assertEqual(3, server.GET_request_nb)
 
867
        self.assertEqual('0123456789', t.get_bytes('a'))
 
868
        self.assertEqual(4, server.GET_request_nb)
 
869
 
 
870
    def test_incomplete_readv_leave_pipe_clean(self):
 
871
        server = self.get_readonly_server()
 
872
        t = self._transport(server.get_url())
 
873
        # force transport to issue multiple requests
 
874
        t._get_max_size = 2
 
875
        # Don't collapse readv results into a list so that we leave unread
 
876
        # bytes on the socket
 
877
        ireadv = iter(t.readv('a', ((0, 1), (1, 1), (2, 4), (6, 4))))
 
878
        self.assertEqual((0, '0'), ireadv.next())
 
879
        # The server should have issued one request so far
 
880
        self.assertEqual(1, server.GET_request_nb)
 
881
        self.assertEqual('0123456789', t.get_bytes('a'))
 
882
        # get_bytes issued an additional request, the readv pending ones are
 
883
        # lost
 
884
        self.assertEqual(2, server.GET_request_nb)
 
885
 
 
886
 
 
887
class SingleRangeRequestHandler(http_server.TestingHTTPRequestHandler):
 
888
    """Always reply to range request as if they were single.
 
889
 
 
890
    Don't be explicit about it, just to annoy the clients.
 
891
    """
 
892
 
 
893
    def get_multiple_ranges(self, file, file_size, ranges):
 
894
        """Answer as if it was a single range request and ignores the rest"""
 
895
        (start, end) = ranges[0]
 
896
        return self.get_single_range(file, file_size, start, end)
 
897
 
656
898
 
657
899
class TestSingleRangeRequestServer(TestRangeRequestServer):
658
900
    """Test readv against a server which accept only single range requests"""
659
901
 
660
 
    def create_transport_readonly_server(self):
661
 
        return HttpServer(SingleRangeRequestHandler)
662
 
 
663
 
 
664
 
class TestSingleRangeRequestServer_urllib(TestSingleRangeRequestServer,
665
 
                                          TestCaseWithWebserver):
666
 
    """Tests single range requests accepting server for urllib implementation"""
667
 
 
668
 
    _transport = HttpTransport_urllib
669
 
 
670
 
 
671
 
class TestSingleRangeRequestServer_pycurl(TestWithTransport_pycurl,
672
 
                                          TestSingleRangeRequestServer,
673
 
                                          TestCaseWithWebserver):
674
 
    """Tests single range requests accepting server for pycurl implementation"""
 
902
    _req_handler_class = SingleRangeRequestHandler
 
903
 
 
904
 
 
905
class SingleOnlyRangeRequestHandler(http_server.TestingHTTPRequestHandler):
 
906
    """Only reply to simple range requests, errors out on multiple"""
 
907
 
 
908
    def get_multiple_ranges(self, file, file_size, ranges):
 
909
        """Refuses the multiple ranges request"""
 
910
        if len(ranges) > 1:
 
911
            file.close()
 
912
            self.send_error(416, "Requested range not satisfiable")
 
913
            return
 
914
        (start, end) = ranges[0]
 
915
        return self.get_single_range(file, file_size, start, end)
675
916
 
676
917
 
677
918
class TestSingleOnlyRangeRequestServer(TestRangeRequestServer):
678
919
    """Test readv against a server which only accept single range requests"""
679
920
 
680
 
    def create_transport_readonly_server(self):
681
 
        return HttpServer(SingleOnlyRangeRequestHandler)
682
 
 
683
 
 
684
 
class TestSingleOnlyRangeRequestServer_urllib(TestSingleOnlyRangeRequestServer,
685
 
                                              TestCaseWithWebserver):
686
 
    """Tests single range requests accepting server for urllib implementation"""
687
 
 
688
 
    _transport = HttpTransport_urllib
689
 
 
690
 
 
691
 
class TestSingleOnlyRangeRequestServer_pycurl(TestWithTransport_pycurl,
692
 
                                              TestSingleOnlyRangeRequestServer,
693
 
                                              TestCaseWithWebserver):
694
 
    """Tests single range requests accepting server for pycurl implementation"""
 
921
    _req_handler_class = SingleOnlyRangeRequestHandler
 
922
 
 
923
 
 
924
class NoRangeRequestHandler(http_server.TestingHTTPRequestHandler):
 
925
    """Ignore range requests without notice"""
 
926
 
 
927
    def do_GET(self):
 
928
        # Update the statistics
 
929
        self.server.test_case_server.GET_request_nb += 1
 
930
        # Just bypass the range handling done by TestingHTTPRequestHandler
 
931
        return SimpleHTTPServer.SimpleHTTPRequestHandler.do_GET(self)
695
932
 
696
933
 
697
934
class TestNoRangeRequestServer(TestRangeRequestServer):
698
935
    """Test readv against a server which do not accept range requests"""
699
936
 
700
 
    def create_transport_readonly_server(self):
701
 
        return HttpServer(NoRangeRequestHandler)
702
 
 
703
 
 
704
 
class TestNoRangeRequestServer_urllib(TestNoRangeRequestServer,
705
 
                                      TestCaseWithWebserver):
706
 
    """Tests range requests refusing server for urllib implementation"""
707
 
 
708
 
    _transport = HttpTransport_urllib
709
 
 
710
 
 
711
 
class TestNoRangeRequestServer_pycurl(TestWithTransport_pycurl,
712
 
                               TestNoRangeRequestServer,
713
 
                               TestCaseWithWebserver):
714
 
    """Tests range requests refusing server for pycurl implementation"""
715
 
 
716
 
 
717
 
class TestLimitedRangeRequestServer(object):
718
 
    """Tests readv requests against server that errors out on too much ranges.
719
 
 
720
 
    This MUST be used by daughter classes that also inherit from
721
 
    TestCaseWithWebserver.
722
 
 
723
 
    We can't inherit directly from TestCaseWithWebserver or the
724
 
    test framework will try to create an instance which cannot
725
 
    run, its implementation being incomplete.
 
937
    _req_handler_class = NoRangeRequestHandler
 
938
 
 
939
 
 
940
class MultipleRangeWithoutContentLengthRequestHandler(
 
941
    http_server.TestingHTTPRequestHandler):
 
942
    """Reply to multiple range requests without content length header."""
 
943
 
 
944
    def get_multiple_ranges(self, file, file_size, ranges):
 
945
        self.send_response(206)
 
946
        self.send_header('Accept-Ranges', 'bytes')
 
947
        boundary = "%d" % random.randint(0,0x7FFFFFFF)
 
948
        self.send_header("Content-Type",
 
949
                         "multipart/byteranges; boundary=%s" % boundary)
 
950
        self.end_headers()
 
951
        for (start, end) in ranges:
 
952
            self.wfile.write("--%s\r\n" % boundary)
 
953
            self.send_header("Content-type", 'application/octet-stream')
 
954
            self.send_header("Content-Range", "bytes %d-%d/%d" % (start,
 
955
                                                                  end,
 
956
                                                                  file_size))
 
957
            self.end_headers()
 
958
            self.send_range_content(file, start, end - start + 1)
 
959
        # Final boundary
 
960
        self.wfile.write("--%s\r\n" % boundary)
 
961
 
 
962
 
 
963
class TestMultipleRangeWithoutContentLengthServer(TestRangeRequestServer):
 
964
 
 
965
    _req_handler_class = MultipleRangeWithoutContentLengthRequestHandler
 
966
 
 
967
 
 
968
class TruncatedMultipleRangeRequestHandler(
 
969
    http_server.TestingHTTPRequestHandler):
 
970
    """Reply to multiple range requests truncating the last ones.
 
971
 
 
972
    This server generates responses whose Content-Length describes all the
 
973
    ranges, but fail to include the last ones leading to client short reads.
 
974
    This has been observed randomly with lighttpd (bug #179368).
726
975
    """
727
976
 
 
977
    _truncated_ranges = 2
 
978
 
 
979
    def get_multiple_ranges(self, file, file_size, ranges):
 
980
        self.send_response(206)
 
981
        self.send_header('Accept-Ranges', 'bytes')
 
982
        boundary = 'tagada'
 
983
        self.send_header('Content-Type',
 
984
                         'multipart/byteranges; boundary=%s' % boundary)
 
985
        boundary_line = '--%s\r\n' % boundary
 
986
        # Calculate the Content-Length
 
987
        content_length = 0
 
988
        for (start, end) in ranges:
 
989
            content_length += len(boundary_line)
 
990
            content_length += self._header_line_length(
 
991
                'Content-type', 'application/octet-stream')
 
992
            content_length += self._header_line_length(
 
993
                'Content-Range', 'bytes %d-%d/%d' % (start, end, file_size))
 
994
            content_length += len('\r\n') # end headers
 
995
            content_length += end - start # + 1
 
996
        content_length += len(boundary_line)
 
997
        self.send_header('Content-length', content_length)
 
998
        self.end_headers()
 
999
 
 
1000
        # Send the multipart body
 
1001
        cur = 0
 
1002
        for (start, end) in ranges:
 
1003
            self.wfile.write(boundary_line)
 
1004
            self.send_header('Content-type', 'application/octet-stream')
 
1005
            self.send_header('Content-Range', 'bytes %d-%d/%d'
 
1006
                             % (start, end, file_size))
 
1007
            self.end_headers()
 
1008
            if cur + self._truncated_ranges >= len(ranges):
 
1009
                # Abruptly ends the response and close the connection
 
1010
                self.close_connection = 1
 
1011
                return
 
1012
            self.send_range_content(file, start, end - start + 1)
 
1013
            cur += 1
 
1014
        # No final boundary
 
1015
        self.wfile.write(boundary_line)
 
1016
 
 
1017
 
 
1018
class TestTruncatedMultipleRangeServer(TestSpecificRequestHandler):
 
1019
 
 
1020
    _req_handler_class = TruncatedMultipleRangeRequestHandler
 
1021
 
 
1022
    def setUp(self):
 
1023
        super(TestTruncatedMultipleRangeServer, self).setUp()
 
1024
        self.build_tree_contents([('a', '0123456789')],)
 
1025
 
 
1026
    def test_readv_with_short_reads(self):
 
1027
        server = self.get_readonly_server()
 
1028
        t = self._transport(server.get_url())
 
1029
        # Force separate ranges for each offset
 
1030
        t._bytes_to_read_before_seek = 0
 
1031
        ireadv = iter(t.readv('a', ((0, 1), (2, 1), (4, 2), (9, 1))))
 
1032
        self.assertEqual((0, '0'), ireadv.next())
 
1033
        self.assertEqual((2, '2'), ireadv.next())
 
1034
        if not self._testing_pycurl():
 
1035
            # Only one request have been issued so far (except for pycurl that
 
1036
            # try to read the whole response at once)
 
1037
            self.assertEqual(1, server.GET_request_nb)
 
1038
        self.assertEqual((4, '45'), ireadv.next())
 
1039
        self.assertEqual((9, '9'), ireadv.next())
 
1040
        # Both implementations issue 3 requests but:
 
1041
        # - urllib does two multiple (4 ranges, then 2 ranges) then a single
 
1042
        #   range,
 
1043
        # - pycurl does two multiple (4 ranges, 4 ranges) then a single range
 
1044
        self.assertEqual(3, server.GET_request_nb)
 
1045
        # Finally the client have tried a single range request and stays in
 
1046
        # that mode
 
1047
        self.assertEqual('single', t._range_hint)
 
1048
 
 
1049
class LimitedRangeRequestHandler(http_server.TestingHTTPRequestHandler):
 
1050
    """Errors out when range specifiers exceed the limit"""
 
1051
 
 
1052
    def get_multiple_ranges(self, file, file_size, ranges):
 
1053
        """Refuses the multiple ranges request"""
 
1054
        tcs = self.server.test_case_server
 
1055
        if tcs.range_limit is not None and len(ranges) > tcs.range_limit:
 
1056
            file.close()
 
1057
            # Emulate apache behavior
 
1058
            self.send_error(400, "Bad Request")
 
1059
            return
 
1060
        return http_server.TestingHTTPRequestHandler.get_multiple_ranges(
 
1061
            self, file, file_size, ranges)
 
1062
 
 
1063
 
 
1064
class LimitedRangeHTTPServer(http_server.HttpServer):
 
1065
    """An HttpServer erroring out on requests with too much range specifiers"""
 
1066
 
 
1067
    def __init__(self, request_handler=LimitedRangeRequestHandler,
 
1068
                 protocol_version=None,
 
1069
                 range_limit=None):
 
1070
        http_server.HttpServer.__init__(self, request_handler,
 
1071
                                        protocol_version=protocol_version)
 
1072
        self.range_limit = range_limit
 
1073
 
 
1074
 
 
1075
class TestLimitedRangeRequestServer(http_utils.TestCaseWithWebserver):
 
1076
    """Tests readv requests against a server erroring out on too much ranges."""
 
1077
 
 
1078
    # Requests with more range specifiers will error out
728
1079
    range_limit = 3
729
1080
 
730
1081
    def create_transport_readonly_server(self):
731
 
        # Requests with more range specifiers will error out
732
 
        return LimitedRangeHTTPServer(range_limit=self.range_limit)
 
1082
        return LimitedRangeHTTPServer(range_limit=self.range_limit,
 
1083
                                      protocol_version=self._protocol_version)
733
1084
 
734
1085
    def get_transport(self):
735
1086
        return self._transport(self.get_readonly_server().get_url())
736
1087
 
737
1088
    def setUp(self):
738
 
        TestCaseWithWebserver.setUp(self)
 
1089
        http_utils.TestCaseWithWebserver.setUp(self)
739
1090
        # We need to manipulate ranges that correspond to real chunks in the
740
1091
        # response, so we build a content appropriately.
741
 
        filler = ''.join(['abcdefghij' for _ in range(102)])
 
1092
        filler = ''.join(['abcdefghij' for x in range(102)])
742
1093
        content = ''.join(['%04d' % v + filler for v in range(16)])
743
1094
        self.build_tree_contents([('a', content)],)
744
1095
 
749
1100
        self.assertEqual(l[1], (1024, '0001'))
750
1101
        self.assertEqual(1, self.get_readonly_server().GET_request_nb)
751
1102
 
752
 
    def test_a_lot_of_ranges(self):
 
1103
    def test_more_ranges(self):
753
1104
        t = self.get_transport()
754
1105
        l = list(t.readv('a', ((0, 4), (1024, 4), (4096, 4), (8192, 4))))
755
1106
        self.assertEqual(l[0], (0, '0000'))
757
1108
        self.assertEqual(l[2], (4096, '0004'))
758
1109
        self.assertEqual(l[3], (8192, '0008'))
759
1110
        # The server will refuse to serve the first request (too much ranges),
760
 
        # a second request will succeeds.
 
1111
        # a second request will succeed.
761
1112
        self.assertEqual(2, self.get_readonly_server().GET_request_nb)
762
1113
 
763
1114
 
764
 
class TestLimitedRangeRequestServer_urllib(TestLimitedRangeRequestServer,
765
 
                                          TestCaseWithWebserver):
766
 
    """Tests limited range requests server for urllib implementation"""
767
 
 
768
 
    _transport = HttpTransport_urllib
769
 
 
770
 
 
771
 
class TestLimitedRangeRequestServer_pycurl(TestWithTransport_pycurl,
772
 
                                          TestLimitedRangeRequestServer,
773
 
                                          TestCaseWithWebserver):
774
 
    """Tests limited range requests server for pycurl implementation"""
775
 
 
776
 
 
777
 
 
778
 
class TestHttpProxyWhiteBox(TestCase):
 
1115
class TestHttpProxyWhiteBox(tests.TestCase):
779
1116
    """Whitebox test proxy http authorization.
780
1117
 
781
1118
    Only the urllib implementation is tested here.
782
1119
    """
783
1120
 
784
1121
    def setUp(self):
785
 
        TestCase.setUp(self)
 
1122
        tests.TestCase.setUp(self)
786
1123
        self._old_env = {}
787
1124
 
788
1125
    def tearDown(self):
789
1126
        self._restore_env()
 
1127
        tests.TestCase.tearDown(self)
790
1128
 
791
1129
    def _install_env(self, env):
792
1130
        for name, value in env.iteritems():
797
1135
            osutils.set_or_unset_env(name, value)
798
1136
 
799
1137
    def _proxied_request(self):
800
 
        handler = ProxyHandler(PasswordManager())
801
 
        request = Request('GET','http://baz/buzzle')
 
1138
        handler = _urllib2_wrappers.ProxyHandler()
 
1139
        request = _urllib2_wrappers.Request('GET','http://baz/buzzle')
802
1140
        handler.set_proxy(request, 'http')
803
1141
        return request
804
1142
 
813
1151
        self.assertRaises(errors.InvalidURL, self._proxied_request)
814
1152
 
815
1153
 
816
 
class TestProxyHttpServer(object):
 
1154
class TestProxyHttpServer(http_utils.TestCaseWithTwoWebservers):
817
1155
    """Tests proxy server.
818
1156
 
819
 
    This MUST be used by daughter classes that also inherit from
820
 
    TestCaseWithTwoWebservers.
821
 
 
822
 
    We can't inherit directly from TestCaseWithTwoWebservers or
823
 
    the test framework will try to create an instance which
824
 
    cannot run, its implementation being incomplete.
825
 
 
826
1157
    Be aware that we do not setup a real proxy here. Instead, we
827
1158
    check that the *connection* goes through the proxy by serving
828
1159
    different content (the faked proxy server append '-proxied'
832
1163
    # FIXME: We don't have an https server available, so we don't
833
1164
    # test https connections.
834
1165
 
835
 
    # FIXME: Once the test suite is better fitted to test
836
 
    # authorization schemes, test proxy authorizations too (see
837
 
    # bug #83954).
838
 
 
839
1166
    def setUp(self):
840
 
        TestCaseWithTwoWebservers.setUp(self)
 
1167
        super(TestProxyHttpServer, self).setUp()
841
1168
        self.build_tree_contents([('foo', 'contents of foo\n'),
842
1169
                                  ('foo-proxied', 'proxied contents of foo\n')])
843
1170
        # Let's setup some attributes for tests
844
1171
        self.server = self.get_readonly_server()
845
1172
        self.proxy_address = '%s:%d' % (self.server.host, self.server.port)
846
 
        self.no_proxy_host = self.proxy_address
 
1173
        if self._testing_pycurl():
 
1174
            # Oh my ! pycurl does not check for the port as part of
 
1175
            # no_proxy :-( So we just test the host part
 
1176
            self.no_proxy_host = self.server.host
 
1177
        else:
 
1178
            self.no_proxy_host = self.proxy_address
847
1179
        # The secondary server is the proxy
848
1180
        self.proxy = self.get_secondary_server()
849
1181
        self.proxy_url = self.proxy.get_url()
850
1182
        self._old_env = {}
851
1183
 
 
1184
    def _testing_pycurl(self):
 
1185
        # TODO: This is duplicated for lots of the classes in this file
 
1186
        return (features.pycurl.available()
 
1187
                and self._transport == PyCurlTransport)
 
1188
 
852
1189
    def create_transport_secondary_server(self):
853
1190
        """Creates an http server that will serve files with
854
1191
        '-proxied' appended to their names.
855
1192
        """
856
 
        return ProxyServer()
 
1193
        return http_utils.ProxyServer(protocol_version=self._protocol_version)
857
1194
 
858
1195
    def _install_env(self, env):
859
1196
        for name, value in env.iteritems():
868
1205
        url = self.server.get_url()
869
1206
        t = self._transport(url)
870
1207
        try:
871
 
            self.assertEqual(t.get('foo').read(), 'proxied contents of foo\n')
 
1208
            self.assertEqual('proxied contents of foo\n', t.get('foo').read())
872
1209
        finally:
873
1210
            self._restore_env()
874
1211
 
877
1214
        url = self.server.get_url()
878
1215
        t = self._transport(url)
879
1216
        try:
880
 
            self.assertEqual(t.get('foo').read(), 'contents of foo\n')
 
1217
            self.assertEqual('contents of foo\n', t.get('foo').read())
881
1218
        finally:
882
1219
            self._restore_env()
883
1220
 
885
1222
        self.proxied_in_env({'http_proxy': self.proxy_url})
886
1223
 
887
1224
    def test_HTTP_PROXY(self):
 
1225
        if self._testing_pycurl():
 
1226
            # pycurl does not check HTTP_PROXY for security reasons
 
1227
            # (for use in a CGI context that we do not care
 
1228
            # about. Should we ?)
 
1229
            raise tests.TestNotApplicable(
 
1230
                'pycurl does not check HTTP_PROXY for security reasons')
888
1231
        self.proxied_in_env({'HTTP_PROXY': self.proxy_url})
889
1232
 
890
1233
    def test_all_proxy(self):
898
1241
                                 'no_proxy': self.no_proxy_host})
899
1242
 
900
1243
    def test_HTTP_PROXY_with_NO_PROXY(self):
 
1244
        if self._testing_pycurl():
 
1245
            raise tests.TestNotApplicable(
 
1246
                'pycurl does not check HTTP_PROXY for security reasons')
901
1247
        self.not_proxied_in_env({'HTTP_PROXY': self.proxy_url,
902
1248
                                 'NO_PROXY': self.no_proxy_host})
903
1249
 
910
1256
                                 'NO_PROXY': self.no_proxy_host})
911
1257
 
912
1258
    def test_http_proxy_without_scheme(self):
913
 
        self.assertRaises(errors.InvalidURL,
914
 
                          self.proxied_in_env,
915
 
                          {'http_proxy': self.proxy_address})
916
 
 
917
 
 
918
 
class TestProxyHttpServer_urllib(TestProxyHttpServer,
919
 
                                 TestCaseWithTwoWebservers):
920
 
    """Tests proxy server for urllib implementation"""
921
 
 
922
 
    _transport = HttpTransport_urllib
923
 
 
924
 
 
925
 
class TestProxyHttpServer_pycurl(TestWithTransport_pycurl,
926
 
                                 TestProxyHttpServer,
927
 
                                 TestCaseWithTwoWebservers):
928
 
    """Tests proxy server for pycurl implementation"""
929
 
 
930
 
    def setUp(self):
931
 
        TestProxyHttpServer.setUp(self)
932
 
        # Oh my ! pycurl does not check for the port as part of
933
 
        # no_proxy :-( So we just test the host part
934
 
        self.no_proxy_host = 'localhost'
935
 
 
936
 
    def test_HTTP_PROXY(self):
937
 
        # pycurl do not check HTTP_PROXY for security reasons
938
 
        # (for use in a CGI context that we do not care
939
 
        # about. Should we ?)
940
 
        raise TestSkipped()
941
 
 
942
 
    def test_HTTP_PROXY_with_NO_PROXY(self):
943
 
        raise TestSkipped()
944
 
 
945
 
    def test_http_proxy_without_scheme(self):
946
 
        # pycurl *ignores* invalid proxy env variables. If that
947
 
        # ever change in the future, this test will fail
948
 
        # indicating that pycurl do not ignore anymore such
949
 
        # variables.
950
 
        self.not_proxied_in_env({'http_proxy': self.proxy_address})
951
 
 
952
 
 
953
 
class TestRanges(object):
954
 
    """Test the Range header in GET methods..
955
 
 
956
 
    This MUST be used by daughter classes that also inherit from
957
 
    TestCaseWithWebserver.
958
 
 
959
 
    We can't inherit directly from TestCaseWithWebserver or the
960
 
    test framework will try to create an instance which cannot
961
 
    run, its implementation being incomplete.
962
 
    """
963
 
 
964
 
    def setUp(self):
965
 
        TestCaseWithWebserver.setUp(self)
 
1259
        if self._testing_pycurl():
 
1260
            # pycurl *ignores* invalid proxy env variables. If that ever change
 
1261
            # in the future, this test will fail indicating that pycurl do not
 
1262
            # ignore anymore such variables.
 
1263
            self.not_proxied_in_env({'http_proxy': self.proxy_address})
 
1264
        else:
 
1265
            self.assertRaises(errors.InvalidURL,
 
1266
                              self.proxied_in_env,
 
1267
                              {'http_proxy': self.proxy_address})
 
1268
 
 
1269
 
 
1270
class TestRanges(http_utils.TestCaseWithWebserver):
 
1271
    """Test the Range header in GET methods."""
 
1272
 
 
1273
    def setUp(self):
 
1274
        http_utils.TestCaseWithWebserver.setUp(self)
966
1275
        self.build_tree_contents([('a', '0123456789')],)
967
1276
        server = self.get_readonly_server()
968
1277
        self.transport = self._transport(server.get_url())
969
1278
 
 
1279
    def create_transport_readonly_server(self):
 
1280
        return http_server.HttpServer(protocol_version=self._protocol_version)
 
1281
 
970
1282
    def _file_contents(self, relpath, ranges):
971
1283
        offsets = [ (start, end - start + 1) for start, end in ranges]
972
1284
        coalesce = self.transport._coalesce_offsets
980
1292
    def _file_tail(self, relpath, tail_amount):
981
1293
        code, data = self.transport._get(relpath, [], tail_amount)
982
1294
        self.assertTrue(code in (200, 206),'_get returns: %d' % code)
983
 
        data.seek(-tail_amount + 1, 2)
 
1295
        data.seek(-tail_amount, 2)
984
1296
        return data.read(tail_amount)
985
1297
 
986
1298
    def test_range_header(self):
987
1299
        # Valid ranges
988
1300
        map(self.assertEqual,['0', '234'],
989
1301
            list(self._file_contents('a', [(0,0), (2,4)])),)
990
 
        # Tail
 
1302
 
 
1303
    def test_range_header_tail(self):
991
1304
        self.assertEqual('789', self._file_tail('a', 3))
992
 
        # Syntactically invalid range
993
 
        self.assertListRaises(errors.InvalidRange,
 
1305
 
 
1306
    def test_syntactically_invalid_range_header(self):
 
1307
        self.assertListRaises(errors.InvalidHttpRange,
994
1308
                          self._file_contents, 'a', [(4, 3)])
995
 
        # Semantically invalid range
996
 
        self.assertListRaises(errors.InvalidRange,
 
1309
 
 
1310
    def test_semantically_invalid_range_header(self):
 
1311
        self.assertListRaises(errors.InvalidHttpRange,
997
1312
                          self._file_contents, 'a', [(42, 128)])
998
1313
 
999
1314
 
1000
 
class TestRanges_urllib(TestRanges, TestCaseWithWebserver):
1001
 
    """Test the Range header in GET methods for urllib implementation"""
1002
 
 
1003
 
    _transport = HttpTransport_urllib
1004
 
 
1005
 
 
1006
 
class TestRanges_pycurl(TestWithTransport_pycurl,
1007
 
                        TestRanges,
1008
 
                        TestCaseWithWebserver):
1009
 
    """Test the Range header in GET methods for pycurl implementation"""
1010
 
 
1011
 
 
1012
 
class TestHTTPRedirections(object):
1013
 
    """Test redirection between http servers.
1014
 
 
1015
 
    This MUST be used by daughter classes that also inherit from
1016
 
    TestCaseWithRedirectedWebserver.
1017
 
 
1018
 
    We can't inherit directly from TestCaseWithTwoWebservers or the
1019
 
    test framework will try to create an instance which cannot
1020
 
    run, its implementation being incomplete. 
1021
 
    """
 
1315
class TestHTTPRedirections(http_utils.TestCaseWithRedirectedWebserver):
 
1316
    """Test redirection between http servers."""
1022
1317
 
1023
1318
    def create_transport_secondary_server(self):
1024
1319
        """Create the secondary server redirecting to the primary server"""
1025
1320
        new = self.get_readonly_server()
1026
1321
 
1027
 
        redirecting = HTTPServerRedirecting()
 
1322
        redirecting = http_utils.HTTPServerRedirecting(
 
1323
            protocol_version=self._protocol_version)
1028
1324
        redirecting.redirect_to(new.host, new.port)
1029
1325
        return redirecting
1030
1326
 
1034
1330
                                  ('bundle',
1035
1331
                                  '# Bazaar revision bundle v0.9\n#\n')
1036
1332
                                  ],)
1037
 
 
 
1333
        # The requests to the old server will be redirected to the new server
1038
1334
        self.old_transport = self._transport(self.old_server.get_url())
1039
1335
 
1040
1336
    def test_redirected(self):
1045
1341
    def test_read_redirected_bundle_from_url(self):
1046
1342
        from bzrlib.bundle import read_bundle_from_url
1047
1343
        url = self.old_transport.abspath('bundle')
1048
 
        bundle = read_bundle_from_url(url)
 
1344
        bundle = self.applyDeprecated(deprecated_in((1, 12, 0)),
 
1345
                read_bundle_from_url, url)
1049
1346
        # If read_bundle_from_url was successful we get an empty bundle
1050
1347
        self.assertEqual([], bundle.revisions)
1051
1348
 
1052
1349
 
1053
 
class TestHTTPRedirections_urllib(TestHTTPRedirections,
1054
 
                                  TestCaseWithRedirectedWebserver):
1055
 
    """Tests redirections for urllib implementation"""
1056
 
 
1057
 
    _transport = HttpTransport_urllib
1058
 
 
1059
 
 
1060
 
 
1061
 
class TestHTTPRedirections_pycurl(TestWithTransport_pycurl,
1062
 
                                  TestHTTPRedirections,
1063
 
                                  TestCaseWithRedirectedWebserver):
1064
 
    """Tests redirections for pycurl implementation"""
1065
 
 
1066
 
 
1067
 
class RedirectedRequest(Request):
1068
 
    """Request following redirections"""
1069
 
 
1070
 
    init_orig = Request.__init__
 
1350
class RedirectedRequest(_urllib2_wrappers.Request):
 
1351
    """Request following redirections. """
 
1352
 
 
1353
    init_orig = _urllib2_wrappers.Request.__init__
1071
1354
 
1072
1355
    def __init__(self, method, url, *args, **kwargs):
1073
 
        RedirectedRequest.init_orig(self, method, url, args, kwargs)
 
1356
        """Constructor.
 
1357
 
 
1358
        """
 
1359
        # Since the tests using this class will replace
 
1360
        # _urllib2_wrappers.Request, we can't just call the base class __init__
 
1361
        # or we'll loop.
 
1362
        RedirectedRequest.init_orig(self, method, url, *args, **kwargs)
1074
1363
        self.follow_redirections = True
1075
1364
 
1076
1365
 
1077
 
class TestHTTPSilentRedirections_urllib(TestCaseWithRedirectedWebserver):
1078
 
    """Test redirections provided by urllib.
 
1366
def install_redirected_request(test):
 
1367
    test.original_class = _urllib2_wrappers.Request
 
1368
    def restore():
 
1369
        _urllib2_wrappers.Request = test.original_class
 
1370
    _urllib2_wrappers.Request = RedirectedRequest
 
1371
    test.addCleanup(restore)
 
1372
 
 
1373
 
 
1374
class TestHTTPSilentRedirections(http_utils.TestCaseWithRedirectedWebserver):
 
1375
    """Test redirections.
1079
1376
 
1080
1377
    http implementations do not redirect silently anymore (they
1081
1378
    do not redirect at all in fact). The mechanism is still in
1088
1385
    -- vila 20070212
1089
1386
    """
1090
1387
 
1091
 
    _transport = HttpTransport_urllib
1092
 
 
1093
1388
    def setUp(self):
1094
 
        super(TestHTTPSilentRedirections_urllib, self).setUp()
1095
 
        self.setup_redirected_request()
1096
 
        self.addCleanup(self.cleanup_redirected_request)
 
1389
        if (features.pycurl.available()
 
1390
            and self._transport == PyCurlTransport):
 
1391
            raise tests.TestNotApplicable(
 
1392
                "pycurl doesn't redirect silently annymore")
 
1393
        super(TestHTTPSilentRedirections, self).setUp()
 
1394
        install_redirected_request(self)
1097
1395
        self.build_tree_contents([('a','a'),
1098
1396
                                  ('1/',),
1099
1397
                                  ('1/a', 'redirected once'),
1109
1407
 
1110
1408
        self.old_transport = self._transport(self.old_server.get_url())
1111
1409
 
1112
 
    def setup_redirected_request(self):
1113
 
        self.original_class = _urllib2_wrappers.Request
1114
 
        _urllib2_wrappers.Request = RedirectedRequest
1115
 
 
1116
 
    def cleanup_redirected_request(self):
1117
 
        _urllib2_wrappers.Request = self.original_class
1118
 
 
1119
1410
    def create_transport_secondary_server(self):
1120
1411
        """Create the secondary server, redirections are defined in the tests"""
1121
 
        return HTTPServerRedirecting()
 
1412
        return http_utils.HTTPServerRedirecting(
 
1413
            protocol_version=self._protocol_version)
1122
1414
 
1123
1415
    def test_one_redirection(self):
1124
1416
        t = self.old_transport
1125
1417
 
1126
1418
        req = RedirectedRequest('GET', t.abspath('a'))
1127
 
        req.follow_redirections = True
1128
1419
        new_prefix = 'http://%s:%s' % (self.new_server.host,
1129
1420
                                       self.new_server.port)
1130
1421
        self.old_server.redirections = \
1131
1422
            [('(.*)', r'%s/1\1' % (new_prefix), 301),]
1132
 
        self.assertEquals('redirected once',t._perform(req).read())
 
1423
        self.assertEqual('redirected once',t._perform(req).read())
1133
1424
 
1134
1425
    def test_five_redirections(self):
1135
1426
        t = self.old_transport
1136
1427
 
1137
1428
        req = RedirectedRequest('GET', t.abspath('a'))
1138
 
        req.follow_redirections = True
1139
1429
        old_prefix = 'http://%s:%s' % (self.old_server.host,
1140
1430
                                       self.old_server.port)
1141
1431
        new_prefix = 'http://%s:%s' % (self.new_server.host,
1142
1432
                                       self.new_server.port)
1143
 
        self.old_server.redirections = \
1144
 
            [('/1(.*)', r'%s/2\1' % (old_prefix), 302),
1145
 
             ('/2(.*)', r'%s/3\1' % (old_prefix), 303),
1146
 
             ('/3(.*)', r'%s/4\1' % (old_prefix), 307),
1147
 
             ('/4(.*)', r'%s/5\1' % (new_prefix), 301),
1148
 
             ('(/[^/]+)', r'%s/1\1' % (old_prefix), 301),
1149
 
             ]
1150
 
        self.assertEquals('redirected 5 times',t._perform(req).read())
1151
 
 
1152
 
 
1153
 
class TestDoCatchRedirections(TestCaseWithRedirectedWebserver):
1154
 
    """Test transport.do_catching_redirections.
1155
 
 
1156
 
    We arbitrarily choose to use urllib transports
1157
 
    """
1158
 
 
1159
 
    _transport = HttpTransport_urllib
 
1433
        self.old_server.redirections = [
 
1434
            ('/1(.*)', r'%s/2\1' % (old_prefix), 302),
 
1435
            ('/2(.*)', r'%s/3\1' % (old_prefix), 303),
 
1436
            ('/3(.*)', r'%s/4\1' % (old_prefix), 307),
 
1437
            ('/4(.*)', r'%s/5\1' % (new_prefix), 301),
 
1438
            ('(/[^/]+)', r'%s/1\1' % (old_prefix), 301),
 
1439
            ]
 
1440
        self.assertEqual('redirected 5 times',t._perform(req).read())
 
1441
 
 
1442
 
 
1443
class TestDoCatchRedirections(http_utils.TestCaseWithRedirectedWebserver):
 
1444
    """Test transport.do_catching_redirections."""
1160
1445
 
1161
1446
    def setUp(self):
1162
1447
        super(TestDoCatchRedirections, self).setUp()
1171
1456
        t = self._transport(self.new_server.get_url())
1172
1457
 
1173
1458
        # We use None for redirected so that we fail if redirected
1174
 
        self.assertEquals('0123456789',
1175
 
                          do_catching_redirections(self.get_a, t, None).read())
 
1459
        self.assertEqual('0123456789',
 
1460
                         transport.do_catching_redirections(
 
1461
                self.get_a, t, None).read())
1176
1462
 
1177
1463
    def test_one_redirection(self):
1178
1464
        self.redirections = 0
1182
1468
            dir, file = urlutils.split(exception.target)
1183
1469
            return self._transport(dir)
1184
1470
 
1185
 
        self.assertEquals('0123456789',
1186
 
                          do_catching_redirections(self.get_a,
1187
 
                                                   self.old_transport,
1188
 
                                                   redirected
1189
 
                                                   ).read())
1190
 
        self.assertEquals(1, self.redirections)
 
1471
        self.assertEqual('0123456789',
 
1472
                         transport.do_catching_redirections(
 
1473
                self.get_a, self.old_transport, redirected).read())
 
1474
        self.assertEqual(1, self.redirections)
1191
1475
 
1192
1476
    def test_redirection_loop(self):
1193
1477
 
1197
1481
            # a/a/a
1198
1482
            return self.old_transport.clone(exception.target)
1199
1483
 
1200
 
        self.assertRaises(errors.TooManyRedirections, do_catching_redirections,
 
1484
        self.assertRaises(errors.TooManyRedirections,
 
1485
                          transport.do_catching_redirections,
1201
1486
                          self.get_a, self.old_transport, redirected)
1202
1487
 
1203
1488
 
1204
 
class TestAuth(object):
1205
 
    """Test some authentication scheme specified by daughter class.
 
1489
class TestAuth(http_utils.TestCaseWithWebserver):
 
1490
    """Test authentication scheme"""
1206
1491
 
1207
 
    This MUST be used by daughter classes that also inherit from
1208
 
    either TestCaseWithWebserver or TestCaseWithTwoWebservers.
1209
 
    """
 
1492
    _auth_header = 'Authorization'
 
1493
    _password_prompt_prefix = ''
 
1494
    _username_prompt_prefix = ''
 
1495
    # Set by load_tests
 
1496
    _auth_server = None
1210
1497
 
1211
1498
    def setUp(self):
1212
 
        """Set up the test environment
1213
 
 
1214
 
        Daughter classes should set up their own environment
1215
 
        (including self.server) and explicitely call this
1216
 
        method. This is needed because we want to reuse the same
1217
 
        tests for proxy and no-proxy accesses which have
1218
 
        different ways of setting self.server.
1219
 
        """
 
1499
        super(TestAuth, self).setUp()
 
1500
        self.server = self.get_readonly_server()
1220
1501
        self.build_tree_contents([('a', 'contents of a\n'),
1221
1502
                                  ('b', 'contents of b\n'),])
1222
 
        self.old_factory = ui.ui_factory
1223
 
        # The following has the unfortunate side-effect of hiding any ouput
1224
 
        # during the tests (including pdb prompts). Feel free to comment them
1225
 
        # for debugging purposes but leave them in place, there are needed to
1226
 
        # run the tests without any console
1227
 
        self.old_stdout = sys.stdout
1228
 
        sys.stdout = StringIOWrapper()
1229
 
        self.addCleanup(self.restoreUIFactory)
1230
 
 
1231
 
    def restoreUIFactory(self):
1232
 
        ui.ui_factory = self.old_factory
1233
 
        sys.stdout = self.old_stdout
1234
 
 
1235
 
    def get_user_url(self, user=None, password=None):
 
1503
 
 
1504
    def create_transport_readonly_server(self):
 
1505
        return self._auth_server(protocol_version=self._protocol_version)
 
1506
 
 
1507
    def _testing_pycurl(self):
 
1508
        # TODO: This is duplicated for lots of the classes in this file
 
1509
        return (features.pycurl.available()
 
1510
                and self._transport == PyCurlTransport)
 
1511
 
 
1512
    def get_user_url(self, user, password):
1236
1513
        """Build an url embedding user and password"""
1237
1514
        url = '%s://' % self.server._url_protocol
1238
1515
        if user is not None:
1243
1520
        url += '%s:%s/' % (self.server.host, self.server.port)
1244
1521
        return url
1245
1522
 
 
1523
    def get_user_transport(self, user, password):
 
1524
        return self._transport(self.get_user_url(user, password))
 
1525
 
1246
1526
    def test_no_user(self):
1247
1527
        self.server.add_user('joe', 'foo')
1248
 
        t = self.get_user_transport()
 
1528
        t = self.get_user_transport(None, None)
1249
1529
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'a')
1250
1530
        # Only one 'Authentication Required' error should occur
1251
1531
        self.assertEqual(1, self.server.auth_required_errors)
1281
1561
        # initial 'who are you' and 'this is not you, who are you')
1282
1562
        self.assertEqual(2, self.server.auth_required_errors)
1283
1563
 
 
1564
    def test_prompt_for_username(self):
 
1565
        if self._testing_pycurl():
 
1566
            raise tests.TestNotApplicable(
 
1567
                'pycurl cannot prompt, it handles auth by embedding'
 
1568
                ' user:pass in urls only')
 
1569
 
 
1570
        self.server.add_user('joe', 'foo')
 
1571
        t = self.get_user_transport(None, None)
 
1572
        stdout = tests.StringIOWrapper()
 
1573
        stderr = tests.StringIOWrapper()
 
1574
        ui.ui_factory = tests.TestUIFactory(stdin='joe\nfoo\n',
 
1575
                                            stdout=stdout, stderr=stderr)
 
1576
        self.assertEqual('contents of a\n',t.get('a').read())
 
1577
        # stdin should be empty
 
1578
        self.assertEqual('', ui.ui_factory.stdin.readline())
 
1579
        stderr.seek(0)
 
1580
        expected_prompt = self._expected_username_prompt(t._unqualified_scheme)
 
1581
        self.assertEqual(expected_prompt, stderr.read(len(expected_prompt)))
 
1582
        self.assertEqual('', stdout.getvalue())
 
1583
        self._check_password_prompt(t._unqualified_scheme, 'joe',
 
1584
                                    stderr.readline())
 
1585
 
1284
1586
    def test_prompt_for_password(self):
 
1587
        if self._testing_pycurl():
 
1588
            raise tests.TestNotApplicable(
 
1589
                'pycurl cannot prompt, it handles auth by embedding'
 
1590
                ' user:pass in urls only')
 
1591
 
1285
1592
        self.server.add_user('joe', 'foo')
1286
1593
        t = self.get_user_transport('joe', None)
1287
 
        ui.ui_factory = TestUIFactory(stdin='foo\n')
1288
 
        self.assertEqual('contents of a\n',t.get('a').read())
 
1594
        stdout = tests.StringIOWrapper()
 
1595
        stderr = tests.StringIOWrapper()
 
1596
        ui.ui_factory = tests.TestUIFactory(stdin='foo\n',
 
1597
                                            stdout=stdout, stderr=stderr)
 
1598
        self.assertEqual('contents of a\n', t.get('a').read())
1289
1599
        # stdin should be empty
1290
1600
        self.assertEqual('', ui.ui_factory.stdin.readline())
 
1601
        self._check_password_prompt(t._unqualified_scheme, 'joe',
 
1602
                                    stderr.getvalue())
 
1603
        self.assertEqual('', stdout.getvalue())
1291
1604
        # And we shouldn't prompt again for a different request
1292
1605
        # against the same transport.
1293
1606
        self.assertEqual('contents of b\n',t.get('b').read())
1297
1610
        # Only one 'Authentication Required' error should occur
1298
1611
        self.assertEqual(1, self.server.auth_required_errors)
1299
1612
 
1300
 
 
1301
 
class TestHTTPAuth(TestAuth):
1302
 
    """Test HTTP authentication schemes.
1303
 
 
1304
 
    Daughter classes MUST inherit from TestCaseWithWebserver too.
1305
 
    """
1306
 
 
1307
 
    _auth_header = 'Authorization'
1308
 
 
1309
 
    def setUp(self):
1310
 
        TestCaseWithWebserver.setUp(self)
1311
 
        self.server = self.get_readonly_server()
1312
 
        TestAuth.setUp(self)
1313
 
 
1314
 
    def get_user_transport(self, user=None, password=None):
1315
 
        return self._transport(self.get_user_url(user, password))
 
1613
    def _check_password_prompt(self, scheme, user, actual_prompt):
 
1614
        expected_prompt = (self._password_prompt_prefix
 
1615
                           + ("%s %s@%s:%d, Realm: '%s' password: "
 
1616
                              % (scheme.upper(),
 
1617
                                 user, self.server.host, self.server.port,
 
1618
                                 self.server.auth_realm)))
 
1619
        self.assertEqual(expected_prompt, actual_prompt)
 
1620
 
 
1621
    def _expected_username_prompt(self, scheme):
 
1622
        return (self._username_prompt_prefix
 
1623
                + "%s %s:%d, Realm: '%s' username: " % (scheme.upper(),
 
1624
                                 self.server.host, self.server.port,
 
1625
                                 self.server.auth_realm))
 
1626
 
 
1627
    def test_no_prompt_for_password_when_using_auth_config(self):
 
1628
        if self._testing_pycurl():
 
1629
            raise tests.TestNotApplicable(
 
1630
                'pycurl does not support authentication.conf'
 
1631
                ' since it cannot prompt')
 
1632
 
 
1633
        user =' joe'
 
1634
        password = 'foo'
 
1635
        stdin_content = 'bar\n'  # Not the right password
 
1636
        self.server.add_user(user, password)
 
1637
        t = self.get_user_transport(user, None)
 
1638
        ui.ui_factory = tests.TestUIFactory(stdin=stdin_content,
 
1639
                                            stderr=tests.StringIOWrapper())
 
1640
        # Create a minimal config file with the right password
 
1641
        conf = config.AuthenticationConfig()
 
1642
        conf._get_config().update(
 
1643
            {'httptest': {'scheme': 'http', 'port': self.server.port,
 
1644
                          'user': user, 'password': password}})
 
1645
        conf._save()
 
1646
        # Issue a request to the server to connect
 
1647
        self.assertEqual('contents of a\n',t.get('a').read())
 
1648
        # stdin should have  been left untouched
 
1649
        self.assertEqual(stdin_content, ui.ui_factory.stdin.readline())
 
1650
        # Only one 'Authentication Required' error should occur
 
1651
        self.assertEqual(1, self.server.auth_required_errors)
 
1652
 
 
1653
    def test_user_from_auth_conf(self):
 
1654
        if self._testing_pycurl():
 
1655
            raise tests.TestNotApplicable(
 
1656
                'pycurl does not support authentication.conf')
 
1657
        user = 'joe'
 
1658
        password = 'foo'
 
1659
        self.server.add_user(user, password)
 
1660
        # Create a minimal config file with the right password
 
1661
        conf = config.AuthenticationConfig()
 
1662
        conf._get_config().update(
 
1663
            {'httptest': {'scheme': 'http', 'port': self.server.port,
 
1664
                          'user': user, 'password': password}})
 
1665
        conf._save()
 
1666
        t = self.get_user_transport(None, None)
 
1667
        # Issue a request to the server to connect
 
1668
        self.assertEqual('contents of a\n', t.get('a').read())
 
1669
        # Only one 'Authentication Required' error should occur
 
1670
        self.assertEqual(1, self.server.auth_required_errors)
 
1671
 
 
1672
    def test_changing_nonce(self):
 
1673
        if self._auth_server not in (http_utils.HTTPDigestAuthServer,
 
1674
                                     http_utils.ProxyDigestAuthServer):
 
1675
            raise tests.TestNotApplicable('HTTP/proxy auth digest only test')
 
1676
        if self._testing_pycurl():
 
1677
            raise tests.KnownFailure(
 
1678
                'pycurl does not handle a nonce change')
 
1679
        self.server.add_user('joe', 'foo')
 
1680
        t = self.get_user_transport('joe', 'foo')
 
1681
        self.assertEqual('contents of a\n', t.get('a').read())
 
1682
        self.assertEqual('contents of b\n', t.get('b').read())
 
1683
        # Only one 'Authentication Required' error should have
 
1684
        # occured so far
 
1685
        self.assertEqual(1, self.server.auth_required_errors)
 
1686
        # The server invalidates the current nonce
 
1687
        self.server.auth_nonce = self.server.auth_nonce + '. No, now!'
 
1688
        self.assertEqual('contents of a\n', t.get('a').read())
 
1689
        # Two 'Authentication Required' errors should occur (the
 
1690
        # initial 'who are you' and a second 'who are you' with the new nonce)
 
1691
        self.assertEqual(2, self.server.auth_required_errors)
 
1692
 
1316
1693
 
1317
1694
 
1318
1695
class TestProxyAuth(TestAuth):
1319
 
    """Test proxy authentication schemes.
 
1696
    """Test proxy authentication schemes."""
1320
1697
 
1321
 
    Daughter classes MUST also inherit from TestCaseWithWebserver.
1322
 
    """
1323
1698
    _auth_header = 'Proxy-authorization'
 
1699
    _password_prompt_prefix = 'Proxy '
 
1700
    _username_prompt_prefix = 'Proxy '
1324
1701
 
1325
1702
    def setUp(self):
1326
 
        TestCaseWithWebserver.setUp(self)
1327
 
        self.server = self.get_readonly_server()
 
1703
        super(TestProxyAuth, self).setUp()
1328
1704
        self._old_env = {}
1329
1705
        self.addCleanup(self._restore_env)
1330
 
        TestAuth.setUp(self)
1331
1706
        # Override the contents to avoid false positives
1332
1707
        self.build_tree_contents([('a', 'not proxied contents of a\n'),
1333
1708
                                  ('b', 'not proxied contents of b\n'),
1335
1710
                                  ('b-proxied', 'contents of b\n'),
1336
1711
                                  ])
1337
1712
 
1338
 
    def get_user_transport(self, user=None, password=None):
 
1713
    def get_user_transport(self, user, password):
1339
1714
        self._install_env({'all_proxy': self.get_user_url(user, password)})
1340
1715
        return self._transport(self.server.get_url())
1341
1716
 
1347
1722
        for name, value in self._old_env.iteritems():
1348
1723
            osutils.set_or_unset_env(name, value)
1349
1724
 
1350
 
 
1351
 
class TestHTTPBasicAuth(TestHTTPAuth, TestCaseWithWebserver):
1352
 
    """Test http basic authentication scheme"""
1353
 
 
1354
 
    _transport = HttpTransport_urllib
1355
 
 
1356
 
    def create_transport_readonly_server(self):
1357
 
        return HTTPBasicAuthServer()
1358
 
 
1359
 
 
1360
 
class TestHTTPProxyBasicAuth(TestProxyAuth, TestCaseWithWebserver):
1361
 
    """Test proxy basic authentication scheme"""
1362
 
 
1363
 
    _transport = HttpTransport_urllib
1364
 
 
1365
 
    def create_transport_readonly_server(self):
1366
 
        return ProxyBasicAuthServer()
1367
 
 
1368
 
 
1369
 
class TestDigestAuth(object):
1370
 
    """Digest Authentication specific tests"""
1371
 
 
1372
 
    def test_changing_nonce(self):
1373
 
        self.server.add_user('joe', 'foo')
1374
 
        t = self.get_user_transport('joe', 'foo')
1375
 
        self.assertEqual('contents of a\n', t.get('a').read())
1376
 
        self.assertEqual('contents of b\n', t.get('b').read())
1377
 
        # Only one 'Authentication Required' error should have
1378
 
        # occured so far
1379
 
        self.assertEqual(1, self.server.auth_required_errors)
1380
 
        # The server invalidates the current nonce
1381
 
        self.server.auth_nonce = self.server.auth_nonce + '. No, now!'
1382
 
        self.assertEqual('contents of a\n', t.get('a').read())
1383
 
        # Two 'Authentication Required' errors should occur (the
1384
 
        # initial 'who are you' and a second 'who are you' with the new nonce)
1385
 
        self.assertEqual(2, self.server.auth_required_errors)
1386
 
 
1387
 
 
1388
 
class TestHTTPDigestAuth(TestHTTPAuth, TestDigestAuth, TestCaseWithWebserver):
1389
 
    """Test http digest authentication scheme"""
1390
 
 
1391
 
    _transport = HttpTransport_urllib
1392
 
 
1393
 
    def create_transport_readonly_server(self):
1394
 
        return HTTPDigestAuthServer()
1395
 
 
1396
 
 
1397
 
class TestHTTPProxyDigestAuth(TestProxyAuth, TestDigestAuth,
1398
 
                              TestCaseWithWebserver):
1399
 
    """Test proxy digest authentication scheme"""
1400
 
 
1401
 
    _transport = HttpTransport_urllib
1402
 
 
1403
 
    def create_transport_readonly_server(self):
1404
 
        return ProxyDigestAuthServer()
 
1725
    def test_empty_pass(self):
 
1726
        if self._testing_pycurl():
 
1727
            import pycurl
 
1728
            if pycurl.version_info()[1] < '7.16.0':
 
1729
                raise tests.KnownFailure(
 
1730
                    'pycurl < 7.16.0 does not handle empty proxy passwords')
 
1731
        super(TestProxyAuth, self).test_empty_pass()
 
1732
 
 
1733
 
 
1734
class SampleSocket(object):
 
1735
    """A socket-like object for use in testing the HTTP request handler."""
 
1736
 
 
1737
    def __init__(self, socket_read_content):
 
1738
        """Constructs a sample socket.
 
1739
 
 
1740
        :param socket_read_content: a byte sequence
 
1741
        """
 
1742
        # Use plain python StringIO so we can monkey-patch the close method to
 
1743
        # not discard the contents.
 
1744
        from StringIO import StringIO
 
1745
        self.readfile = StringIO(socket_read_content)
 
1746
        self.writefile = StringIO()
 
1747
        self.writefile.close = lambda: None
 
1748
 
 
1749
    def makefile(self, mode='r', bufsize=None):
 
1750
        if 'r' in mode:
 
1751
            return self.readfile
 
1752
        else:
 
1753
            return self.writefile
 
1754
 
 
1755
 
 
1756
class SmartHTTPTunnellingTest(tests.TestCaseWithTransport):
 
1757
 
 
1758
    def setUp(self):
 
1759
        super(SmartHTTPTunnellingTest, self).setUp()
 
1760
        # We use the VFS layer as part of HTTP tunnelling tests.
 
1761
        self._captureVar('BZR_NO_SMART_VFS', None)
 
1762
        self.transport_readonly_server = http_utils.HTTPServerWithSmarts
 
1763
 
 
1764
    def create_transport_readonly_server(self):
 
1765
        return http_utils.HTTPServerWithSmarts(
 
1766
            protocol_version=self._protocol_version)
 
1767
 
 
1768
    def test_open_bzrdir(self):
 
1769
        branch = self.make_branch('relpath')
 
1770
        http_server = self.get_readonly_server()
 
1771
        url = http_server.get_url() + 'relpath'
 
1772
        bd = bzrdir.BzrDir.open(url)
 
1773
        self.assertIsInstance(bd, _mod_remote.RemoteBzrDir)
 
1774
 
 
1775
    def test_bulk_data(self):
 
1776
        # We should be able to send and receive bulk data in a single message.
 
1777
        # The 'readv' command in the smart protocol both sends and receives
 
1778
        # bulk data, so we use that.
 
1779
        self.build_tree(['data-file'])
 
1780
        http_server = self.get_readonly_server()
 
1781
        http_transport = self._transport(http_server.get_url())
 
1782
        medium = http_transport.get_smart_medium()
 
1783
        # Since we provide the medium, the url below will be mostly ignored
 
1784
        # during the test, as long as the path is '/'.
 
1785
        remote_transport = remote.RemoteTransport('bzr://fake_host/',
 
1786
                                                  medium=medium)
 
1787
        self.assertEqual(
 
1788
            [(0, "c")], list(remote_transport.readv("data-file", [(0,1)])))
 
1789
 
 
1790
    def test_http_send_smart_request(self):
 
1791
 
 
1792
        post_body = 'hello\n'
 
1793
        expected_reply_body = 'ok\x012\n'
 
1794
 
 
1795
        http_server = self.get_readonly_server()
 
1796
        http_transport = self._transport(http_server.get_url())
 
1797
        medium = http_transport.get_smart_medium()
 
1798
        response = medium.send_http_smart_request(post_body)
 
1799
        reply_body = response.read()
 
1800
        self.assertEqual(expected_reply_body, reply_body)
 
1801
 
 
1802
    def test_smart_http_server_post_request_handler(self):
 
1803
        httpd = self.get_readonly_server()._get_httpd()
 
1804
 
 
1805
        socket = SampleSocket(
 
1806
            'POST /.bzr/smart %s \r\n' % self._protocol_version
 
1807
            # HTTP/1.1 posts must have a Content-Length (but it doesn't hurt
 
1808
            # for 1.0)
 
1809
            + 'Content-Length: 6\r\n'
 
1810
            '\r\n'
 
1811
            'hello\n')
 
1812
        # Beware: the ('localhost', 80) below is the
 
1813
        # client_address parameter, but we don't have one because
 
1814
        # we have defined a socket which is not bound to an
 
1815
        # address. The test framework never uses this client
 
1816
        # address, so far...
 
1817
        request_handler = http_utils.SmartRequestHandler(socket,
 
1818
                                                         ('localhost', 80),
 
1819
                                                         httpd)
 
1820
        response = socket.writefile.getvalue()
 
1821
        self.assertStartsWith(response, '%s 200 ' % self._protocol_version)
 
1822
        # This includes the end of the HTTP headers, and all the body.
 
1823
        expected_end_of_response = '\r\n\r\nok\x012\n'
 
1824
        self.assertEndsWith(response, expected_end_of_response)
 
1825
 
 
1826
 
 
1827
class ForbiddenRequestHandler(http_server.TestingHTTPRequestHandler):
 
1828
    """No smart server here request handler."""
 
1829
 
 
1830
    def do_POST(self):
 
1831
        self.send_error(403, "Forbidden")
 
1832
 
 
1833
 
 
1834
class SmartClientAgainstNotSmartServer(TestSpecificRequestHandler):
 
1835
    """Test smart client behaviour against an http server without smarts."""
 
1836
 
 
1837
    _req_handler_class = ForbiddenRequestHandler
 
1838
 
 
1839
    def test_probe_smart_server(self):
 
1840
        """Test error handling against server refusing smart requests."""
 
1841
        server = self.get_readonly_server()
 
1842
        t = self._transport(server.get_url())
 
1843
        # No need to build a valid smart request here, the server will not even
 
1844
        # try to interpret it.
 
1845
        self.assertRaises(errors.SmartProtocolError,
 
1846
                          t.get_smart_medium().send_http_smart_request,
 
1847
                          'whatever')
 
1848
 
 
1849
class Test_redirected_to(tests.TestCase):
 
1850
 
 
1851
    def test_redirected_to_subdir(self):
 
1852
        t = self._transport('http://www.example.com/foo')
 
1853
        r = t._redirected_to('http://www.example.com/foo',
 
1854
                             'http://www.example.com/foo/subdir')
 
1855
        self.assertIsInstance(r, type(t))
 
1856
        # Both transports share the some connection
 
1857
        self.assertEqual(t._get_connection(), r._get_connection())
 
1858
 
 
1859
    def test_redirected_to_self_with_slash(self):
 
1860
        t = self._transport('http://www.example.com/foo')
 
1861
        r = t._redirected_to('http://www.example.com/foo',
 
1862
                             'http://www.example.com/foo/')
 
1863
        self.assertIsInstance(r, type(t))
 
1864
        # Both transports share the some connection (one can argue that we
 
1865
        # should return the exact same transport here, but that seems
 
1866
        # overkill).
 
1867
        self.assertEqual(t._get_connection(), r._get_connection())
 
1868
 
 
1869
    def test_redirected_to_host(self):
 
1870
        t = self._transport('http://www.example.com/foo')
 
1871
        r = t._redirected_to('http://www.example.com/foo',
 
1872
                             'http://foo.example.com/foo/subdir')
 
1873
        self.assertIsInstance(r, type(t))
 
1874
 
 
1875
    def test_redirected_to_same_host_sibling_protocol(self):
 
1876
        t = self._transport('http://www.example.com/foo')
 
1877
        r = t._redirected_to('http://www.example.com/foo',
 
1878
                             'https://www.example.com/foo')
 
1879
        self.assertIsInstance(r, type(t))
 
1880
 
 
1881
    def test_redirected_to_same_host_different_protocol(self):
 
1882
        t = self._transport('http://www.example.com/foo')
 
1883
        r = t._redirected_to('http://www.example.com/foo',
 
1884
                             'ftp://www.example.com/foo')
 
1885
        self.assertNotEquals(type(r), type(t))
 
1886
 
 
1887
    def test_redirected_to_different_host_same_user(self):
 
1888
        t = self._transport('http://joe@www.example.com/foo')
 
1889
        r = t._redirected_to('http://www.example.com/foo',
 
1890
                             'https://foo.example.com/foo')
 
1891
        self.assertIsInstance(r, type(t))
 
1892
        self.assertEqual(t._user, r._user)
 
1893
 
 
1894
 
 
1895
class PredefinedRequestHandler(http_server.TestingHTTPRequestHandler):
 
1896
    """Request handler for a unique and pre-defined request.
 
1897
 
 
1898
    The only thing we care about here is how many bytes travel on the wire. But
 
1899
    since we want to measure it for a real http client, we have to send it
 
1900
    correct responses.
 
1901
 
 
1902
    We expect to receive a *single* request nothing more (and we won't even
 
1903
    check what request it is, we just measure the bytes read until an empty
 
1904
    line.
 
1905
    """
 
1906
 
 
1907
    def handle_one_request(self):
 
1908
        tcs = self.server.test_case_server
 
1909
        requestline = self.rfile.readline()
 
1910
        headers = self.MessageClass(self.rfile, 0)
 
1911
        # We just read: the request, the headers, an empty line indicating the
 
1912
        # end of the headers.
 
1913
        bytes_read = len(requestline)
 
1914
        for line in headers.headers:
 
1915
            bytes_read += len(line)
 
1916
        bytes_read += len('\r\n')
 
1917
        if requestline.startswith('POST'):
 
1918
            # The body should be a single line (or we don't know where it ends
 
1919
            # and we don't want to issue a blocking read)
 
1920
            body = self.rfile.readline()
 
1921
            bytes_read += len(body)
 
1922
        tcs.bytes_read = bytes_read
 
1923
 
 
1924
        # We set the bytes written *before* issuing the write, the client is
 
1925
        # supposed to consume every produced byte *before* checking that value.
 
1926
 
 
1927
        # Doing the oppposite may lead to test failure: we may be interrupted
 
1928
        # after the write but before updating the value. The client can then
 
1929
        # continue and read the value *before* we can update it. And yes,
 
1930
        # this has been observed -- vila 20090129
 
1931
        tcs.bytes_written = len(tcs.canned_response)
 
1932
        self.wfile.write(tcs.canned_response)
 
1933
 
 
1934
 
 
1935
class ActivityServerMixin(object):
 
1936
 
 
1937
    def __init__(self, protocol_version):
 
1938
        super(ActivityServerMixin, self).__init__(
 
1939
            request_handler=PredefinedRequestHandler,
 
1940
            protocol_version=protocol_version)
 
1941
        # Bytes read and written by the server
 
1942
        self.bytes_read = 0
 
1943
        self.bytes_written = 0
 
1944
        self.canned_response = None
 
1945
 
 
1946
 
 
1947
class ActivityHTTPServer(ActivityServerMixin, http_server.HttpServer):
 
1948
    pass
 
1949
 
 
1950
 
 
1951
if tests.HTTPSServerFeature.available():
 
1952
    from bzrlib.tests import https_server
 
1953
    class ActivityHTTPSServer(ActivityServerMixin, https_server.HTTPSServer):
 
1954
        pass
 
1955
 
 
1956
 
 
1957
class TestActivityMixin(object):
 
1958
    """Test socket activity reporting.
 
1959
 
 
1960
    We use a special purpose server to control the bytes sent and received and
 
1961
    be able to predict the activity on the client socket.
 
1962
    """
 
1963
 
 
1964
    def setUp(self):
 
1965
        tests.TestCase.setUp(self)
 
1966
        self.server = self._activity_server(self._protocol_version)
 
1967
        self.server.start_server()
 
1968
        self.activities = {}
 
1969
        def report_activity(t, bytes, direction):
 
1970
            count = self.activities.get(direction, 0)
 
1971
            count += bytes
 
1972
            self.activities[direction] = count
 
1973
 
 
1974
        # We override at class level because constructors may propagate the
 
1975
        # bound method and render instance overriding ineffective (an
 
1976
        # alternative would be to define a specific ui factory instead...)
 
1977
        self.orig_report_activity = self._transport._report_activity
 
1978
        self._transport._report_activity = report_activity
 
1979
 
 
1980
    def tearDown(self):
 
1981
        self._transport._report_activity = self.orig_report_activity
 
1982
        self.server.stop_server()
 
1983
        tests.TestCase.tearDown(self)
 
1984
 
 
1985
    def get_transport(self):
 
1986
        return self._transport(self.server.get_url())
 
1987
 
 
1988
    def assertActivitiesMatch(self):
 
1989
        self.assertEqual(self.server.bytes_read,
 
1990
                         self.activities.get('write', 0), 'written bytes')
 
1991
        self.assertEqual(self.server.bytes_written,
 
1992
                         self.activities.get('read', 0), 'read bytes')
 
1993
 
 
1994
    def test_get(self):
 
1995
        self.server.canned_response = '''HTTP/1.1 200 OK\r
 
1996
Date: Tue, 11 Jul 2006 04:32:56 GMT\r
 
1997
Server: Apache/2.0.54 (Fedora)\r
 
1998
Last-Modified: Sun, 23 Apr 2006 19:35:20 GMT\r
 
1999
ETag: "56691-23-38e9ae00"\r
 
2000
Accept-Ranges: bytes\r
 
2001
Content-Length: 35\r
 
2002
Connection: close\r
 
2003
Content-Type: text/plain; charset=UTF-8\r
 
2004
\r
 
2005
Bazaar-NG meta directory, format 1
 
2006
'''
 
2007
        t = self.get_transport()
 
2008
        self.assertEqual('Bazaar-NG meta directory, format 1\n',
 
2009
                         t.get('foo/bar').read())
 
2010
        self.assertActivitiesMatch()
 
2011
 
 
2012
    def test_has(self):
 
2013
        self.server.canned_response = '''HTTP/1.1 200 OK\r
 
2014
Server: SimpleHTTP/0.6 Python/2.5.2\r
 
2015
Date: Thu, 29 Jan 2009 20:21:47 GMT\r
 
2016
Content-type: application/octet-stream\r
 
2017
Content-Length: 20\r
 
2018
Last-Modified: Thu, 29 Jan 2009 20:21:47 GMT\r
 
2019
\r
 
2020
'''
 
2021
        t = self.get_transport()
 
2022
        self.assertTrue(t.has('foo/bar'))
 
2023
        self.assertActivitiesMatch()
 
2024
 
 
2025
    def test_readv(self):
 
2026
        self.server.canned_response = '''HTTP/1.1 206 Partial Content\r
 
2027
Date: Tue, 11 Jul 2006 04:49:48 GMT\r
 
2028
Server: Apache/2.0.54 (Fedora)\r
 
2029
Last-Modified: Thu, 06 Jul 2006 20:22:05 GMT\r
 
2030
ETag: "238a3c-16ec2-805c5540"\r
 
2031
Accept-Ranges: bytes\r
 
2032
Content-Length: 1534\r
 
2033
Connection: close\r
 
2034
Content-Type: multipart/byteranges; boundary=418470f848b63279b\r
 
2035
\r
 
2036
\r
 
2037
--418470f848b63279b\r
 
2038
Content-type: text/plain; charset=UTF-8\r
 
2039
Content-range: bytes 0-254/93890\r
 
2040
\r
 
2041
mbp@sourcefrog.net-20050309040815-13242001617e4a06
 
2042
mbp@sourcefrog.net-20050309040929-eee0eb3e6d1e7627
 
2043
mbp@sourcefrog.net-20050309040957-6cad07f466bb0bb8
 
2044
mbp@sourcefrog.net-20050309041501-c840e09071de3b67
 
2045
mbp@sourcefrog.net-20050309044615-c24a3250be83220a
 
2046
\r
 
2047
--418470f848b63279b\r
 
2048
Content-type: text/plain; charset=UTF-8\r
 
2049
Content-range: bytes 1000-2049/93890\r
 
2050
\r
 
2051
40-fd4ec249b6b139ab
 
2052
mbp@sourcefrog.net-20050311063625-07858525021f270b
 
2053
mbp@sourcefrog.net-20050311231934-aa3776aff5200bb9
 
2054
mbp@sourcefrog.net-20050311231953-73aeb3a131c3699a
 
2055
mbp@sourcefrog.net-20050311232353-f5e33da490872c6a
 
2056
mbp@sourcefrog.net-20050312071639-0a8f59a34a024ff0
 
2057
mbp@sourcefrog.net-20050312073432-b2c16a55e0d6e9fb
 
2058
mbp@sourcefrog.net-20050312073831-a47c3335ece1920f
 
2059
mbp@sourcefrog.net-20050312085412-13373aa129ccbad3
 
2060
mbp@sourcefrog.net-20050313052251-2bf004cb96b39933
 
2061
mbp@sourcefrog.net-20050313052856-3edd84094687cb11
 
2062
mbp@sourcefrog.net-20050313053233-e30a4f28aef48f9d
 
2063
mbp@sourcefrog.net-20050313053853-7c64085594ff3072
 
2064
mbp@sourcefrog.net-20050313054757-a86c3f5871069e22
 
2065
mbp@sourcefrog.net-20050313061422-418f1f73b94879b9
 
2066
mbp@sourcefrog.net-20050313120651-497bd231b19df600
 
2067
mbp@sourcefrog.net-20050314024931-eae0170ef25a5d1a
 
2068
mbp@sourcefrog.net-20050314025438-d52099f915fe65fc
 
2069
mbp@sourcefrog.net-20050314025539-637a636692c055cf
 
2070
mbp@sourcefrog.net-20050314025737-55eb441f430ab4ba
 
2071
mbp@sourcefrog.net-20050314025901-d74aa93bb7ee8f62
 
2072
mbp@source\r
 
2073
--418470f848b63279b--\r
 
2074
'''
 
2075
        t = self.get_transport()
 
2076
        # Remember that the request is ignored and that the ranges below
 
2077
        # doesn't have to match the canned response.
 
2078
        l = list(t.readv('/foo/bar', ((0, 255), (1000, 1050))))
 
2079
        self.assertEqual(2, len(l))
 
2080
        self.assertActivitiesMatch()
 
2081
 
 
2082
    def test_post(self):
 
2083
        self.server.canned_response = '''HTTP/1.1 200 OK\r
 
2084
Date: Tue, 11 Jul 2006 04:32:56 GMT\r
 
2085
Server: Apache/2.0.54 (Fedora)\r
 
2086
Last-Modified: Sun, 23 Apr 2006 19:35:20 GMT\r
 
2087
ETag: "56691-23-38e9ae00"\r
 
2088
Accept-Ranges: bytes\r
 
2089
Content-Length: 35\r
 
2090
Connection: close\r
 
2091
Content-Type: text/plain; charset=UTF-8\r
 
2092
\r
 
2093
lalala whatever as long as itsssss
 
2094
'''
 
2095
        t = self.get_transport()
 
2096
        # We must send a single line of body bytes, see
 
2097
        # PredefinedRequestHandler.handle_one_request
 
2098
        code, f = t._post('abc def end-of-body\n')
 
2099
        self.assertEqual('lalala whatever as long as itsssss\n', f.read())
 
2100
        self.assertActivitiesMatch()
 
2101
 
 
2102
 
 
2103
class TestActivity(tests.TestCase, TestActivityMixin):
 
2104
 
 
2105
    def setUp(self):
 
2106
        tests.TestCase.setUp(self)
 
2107
        self.server = self._activity_server(self._protocol_version)
 
2108
        self.server.start_server()
 
2109
        self.activities = {}
 
2110
        def report_activity(t, bytes, direction):
 
2111
            count = self.activities.get(direction, 0)
 
2112
            count += bytes
 
2113
            self.activities[direction] = count
 
2114
 
 
2115
        # We override at class level because constructors may propagate the
 
2116
        # bound method and render instance overriding ineffective (an
 
2117
        # alternative would be to define a specific ui factory instead...)
 
2118
        self.orig_report_activity = self._transport._report_activity
 
2119
        self._transport._report_activity = report_activity
 
2120
 
 
2121
    def tearDown(self):
 
2122
        self._transport._report_activity = self.orig_report_activity
 
2123
        self.server.stop_server()
 
2124
        tests.TestCase.tearDown(self)
 
2125
 
 
2126
 
 
2127
class TestNoReportActivity(tests.TestCase, TestActivityMixin):
 
2128
 
 
2129
    def setUp(self):
 
2130
        tests.TestCase.setUp(self)
 
2131
        # Unlike TestActivity, we are really testing ReportingFileSocket and
 
2132
        # ReportingSocket, so we don't need all the parametrization. Since
 
2133
        # ReportingFileSocket and ReportingSocket are wrappers, it's easier to
 
2134
        # test them through their use by the transport than directly (that's a
 
2135
        # bit less clean but far more simpler and effective).
 
2136
        self.server = ActivityHTTPServer('HTTP/1.1')
 
2137
        self._transport=_urllib.HttpTransport_urllib
 
2138
 
 
2139
        self.server.start_server()
 
2140
 
 
2141
        # We override at class level because constructors may propagate the
 
2142
        # bound method and render instance overriding ineffective (an
 
2143
        # alternative would be to define a specific ui factory instead...)
 
2144
        self.orig_report_activity = self._transport._report_activity
 
2145
        self._transport._report_activity = None
 
2146
 
 
2147
    def tearDown(self):
 
2148
        self._transport._report_activity = self.orig_report_activity
 
2149
        self.server.stop_server()
 
2150
        tests.TestCase.tearDown(self)
 
2151
 
 
2152
    def assertActivitiesMatch(self):
 
2153
        # Nothing to check here
 
2154
        pass
 
2155
 
 
2156
 
 
2157
class TestAuthOnRedirected(http_utils.TestCaseWithRedirectedWebserver):
 
2158
    """Test authentication on the redirected http server."""
 
2159
 
 
2160
    _auth_header = 'Authorization'
 
2161
    _password_prompt_prefix = ''
 
2162
    _username_prompt_prefix = ''
 
2163
    _auth_server = http_utils.HTTPBasicAuthServer
 
2164
    _transport = _urllib.HttpTransport_urllib
 
2165
 
 
2166
    def create_transport_readonly_server(self):
 
2167
        return self._auth_server()
 
2168
 
 
2169
    def create_transport_secondary_server(self):
 
2170
        """Create the secondary server redirecting to the primary server"""
 
2171
        new = self.get_readonly_server()
 
2172
 
 
2173
        redirecting = http_utils.HTTPServerRedirecting()
 
2174
        redirecting.redirect_to(new.host, new.port)
 
2175
        return redirecting
 
2176
 
 
2177
    def setUp(self):
 
2178
        super(TestAuthOnRedirected, self).setUp()
 
2179
        self.build_tree_contents([('a','a'),
 
2180
                                  ('1/',),
 
2181
                                  ('1/a', 'redirected once'),
 
2182
                                  ],)
 
2183
        new_prefix = 'http://%s:%s' % (self.new_server.host,
 
2184
                                       self.new_server.port)
 
2185
        self.old_server.redirections = [
 
2186
            ('(.*)', r'%s/1\1' % (new_prefix), 301),]
 
2187
        self.old_transport = self._transport(self.old_server.get_url())
 
2188
        self.new_server.add_user('joe', 'foo')
 
2189
 
 
2190
    def get_a(self, transport):
 
2191
        return transport.get('a')
 
2192
 
 
2193
    def test_auth_on_redirected_via_do_catching_redirections(self):
 
2194
        self.redirections = 0
 
2195
 
 
2196
        def redirected(transport, exception, redirection_notice):
 
2197
            self.redirections += 1
 
2198
            dir, file = urlutils.split(exception.target)
 
2199
            return self._transport(dir)
 
2200
 
 
2201
        stdout = tests.StringIOWrapper()
 
2202
        stderr = tests.StringIOWrapper()
 
2203
        ui.ui_factory = tests.TestUIFactory(stdin='joe\nfoo\n',
 
2204
                                            stdout=stdout, stderr=stderr)
 
2205
        self.assertEqual('redirected once',
 
2206
                         transport.do_catching_redirections(
 
2207
                self.get_a, self.old_transport, redirected).read())
 
2208
        self.assertEqual(1, self.redirections)
 
2209
        # stdin should be empty
 
2210
        self.assertEqual('', ui.ui_factory.stdin.readline())
 
2211
        # stdout should be empty, stderr will contains the prompts
 
2212
        self.assertEqual('', stdout.getvalue())
 
2213
 
 
2214
    def test_auth_on_redirected_via_following_redirections(self):
 
2215
        self.new_server.add_user('joe', 'foo')
 
2216
        stdout = tests.StringIOWrapper()
 
2217
        stderr = tests.StringIOWrapper()
 
2218
        ui.ui_factory = tests.TestUIFactory(stdin='joe\nfoo\n',
 
2219
                                            stdout=stdout, stderr=stderr)
 
2220
        t = self.old_transport
 
2221
        req = RedirectedRequest('GET', t.abspath('a'))
 
2222
        new_prefix = 'http://%s:%s' % (self.new_server.host,
 
2223
                                       self.new_server.port)
 
2224
        self.old_server.redirections = [
 
2225
            ('(.*)', r'%s/1\1' % (new_prefix), 301),]
 
2226
        self.assertEqual('redirected once',t._perform(req).read())
 
2227
        # stdin should be empty
 
2228
        self.assertEqual('', ui.ui_factory.stdin.readline())
 
2229
        # stdout should be empty, stderr will contains the prompts
 
2230
        self.assertEqual('', stdout.getvalue())
 
2231
 
1405
2232