~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_http.py

  • Committer: Robert Collins
  • Date: 2007-04-19 02:27:44 UTC
  • mto: This revision was merged to the branch mainline in revision 2426.
  • Revision ID: robertc@robertcollins.net-20070419022744-pfdqz42kp1wizh43
``make docs`` now creates a man page at ``man1/bzr.1`` fixing bug 107388.
(Robert Collins)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2007, 2008, 2009 Canonical Ltd
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
17
 
"""Tests for HTTP implementations.
18
 
 
19
 
This module defines a load_tests() method that parametrize tests classes for
20
 
transport implementation, http protocol versions and authentication schemes.
21
 
"""
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
# FIXME: This test should be repeated for each available http client
 
18
# implementation; at the moment we have urllib and pycurl.
22
19
 
23
20
# TODO: Should be renamed to bzrlib.transport.http.tests?
24
21
# TODO: What about renaming to bzrlib.tests.transport.http ?
25
22
 
26
 
from cStringIO import StringIO
27
 
import httplib
28
23
import os
29
24
import select
30
 
import SimpleHTTPServer
31
25
import socket
32
 
import sys
33
26
import threading
34
27
 
35
28
import bzrlib
36
29
from bzrlib import (
37
 
    bzrdir,
38
 
    config,
39
30
    errors,
40
31
    osutils,
41
 
    remote as _mod_remote,
42
 
    tests,
43
 
    transport,
44
 
    ui,
45
32
    urlutils,
46
33
    )
47
 
from bzrlib.symbol_versioning import (
48
 
    deprecated_in,
49
 
    )
50
34
from bzrlib.tests import (
51
 
    http_server,
52
 
    http_utils,
 
35
    TestCase,
 
36
    TestSkipped,
 
37
    )
 
38
from bzrlib.tests.HttpServer import (
 
39
    HttpServer,
 
40
    HttpServer_PyCurl,
 
41
    HttpServer_urllib,
 
42
    )
 
43
from bzrlib.tests.HTTPTestUtil import (
 
44
    BadProtocolRequestHandler,
 
45
    BadStatusRequestHandler,
 
46
    FakeProxyRequestHandler,
 
47
    ForbiddenRequestHandler,
 
48
    HTTPServerRedirecting,
 
49
    InvalidStatusRequestHandler,
 
50
    NoRangeRequestHandler,
 
51
    SingleRangeRequestHandler,
 
52
    TestCaseWithRedirectedWebserver,
 
53
    TestCaseWithTwoWebservers,
 
54
    TestCaseWithWebserver,
 
55
    WallRequestHandler,
53
56
    )
54
57
from bzrlib.transport import (
55
 
    http,
56
 
    remote,
 
58
    do_catching_redirections,
 
59
    get_transport,
 
60
    Transport,
57
61
    )
58
62
from bzrlib.transport.http import (
59
 
    _urllib,
 
63
    extract_auth,
 
64
    HttpTransportBase,
60
65
    _urllib2_wrappers,
61
66
    )
62
 
 
63
 
 
64
 
try:
65
 
    from bzrlib.transport.http._pycurl import PyCurlTransport
66
 
    pycurl_present = True
67
 
except errors.DependencyNotPresent:
68
 
    pycurl_present = False
69
 
 
70
 
 
71
 
def load_tests(standard_tests, module, loader):
72
 
    """Multiply tests for http clients and protocol versions."""
73
 
    result = loader.suiteClass()
74
 
 
75
 
    # one for each transport implementation
76
 
    t_tests, remaining_tests = tests.split_suite_by_condition(
77
 
        standard_tests, tests.condition_isinstance((
78
 
                TestHttpTransportRegistration,
79
 
                TestHttpTransportUrls,
80
 
                Test_redirected_to,
81
 
                )))
82
 
    transport_scenarios = [
83
 
        ('urllib', dict(_transport=_urllib.HttpTransport_urllib,
84
 
                        _server=http_server.HttpServer_urllib,
85
 
                        _qualified_prefix='http+urllib',)),
86
 
        ]
87
 
    if pycurl_present:
88
 
        transport_scenarios.append(
89
 
            ('pycurl', dict(_transport=PyCurlTransport,
90
 
                            _server=http_server.HttpServer_PyCurl,
91
 
                            _qualified_prefix='http+pycurl',)))
92
 
    tests.multiply_tests(t_tests, transport_scenarios, result)
93
 
 
94
 
    # each implementation tested with each HTTP version
95
 
    tp_tests, remaining_tests = tests.split_suite_by_condition(
96
 
        remaining_tests, tests.condition_isinstance((
97
 
                SmartHTTPTunnellingTest,
98
 
                TestDoCatchRedirections,
99
 
                TestHTTPConnections,
100
 
                TestHTTPRedirections,
101
 
                TestHTTPSilentRedirections,
102
 
                TestLimitedRangeRequestServer,
103
 
                TestPost,
104
 
                TestProxyHttpServer,
105
 
                TestRanges,
106
 
                TestSpecificRequestHandler,
107
 
                )))
108
 
    protocol_scenarios = [
109
 
            ('HTTP/1.0',  dict(_protocol_version='HTTP/1.0')),
110
 
            ('HTTP/1.1',  dict(_protocol_version='HTTP/1.1')),
111
 
            ]
112
 
    tp_scenarios = tests.multiply_scenarios(transport_scenarios,
113
 
                                            protocol_scenarios)
114
 
    tests.multiply_tests(tp_tests, tp_scenarios, result)
115
 
 
116
 
    # proxy auth: each auth scheme on all http versions on all implementations.
117
 
    tppa_tests, remaining_tests = tests.split_suite_by_condition(
118
 
        remaining_tests, tests.condition_isinstance((
119
 
                TestProxyAuth,
120
 
                )))
121
 
    proxy_auth_scheme_scenarios = [
122
 
        ('basic', dict(_auth_server=http_utils.ProxyBasicAuthServer)),
123
 
        ('digest', dict(_auth_server=http_utils.ProxyDigestAuthServer)),
124
 
        ('basicdigest',
125
 
         dict(_auth_server=http_utils.ProxyBasicAndDigestAuthServer)),
126
 
        ]
127
 
    tppa_scenarios = tests.multiply_scenarios(tp_scenarios,
128
 
                                              proxy_auth_scheme_scenarios)
129
 
    tests.multiply_tests(tppa_tests, tppa_scenarios, result)
130
 
 
131
 
    # auth: each auth scheme on all http versions on all implementations.
132
 
    tpa_tests, remaining_tests = tests.split_suite_by_condition(
133
 
        remaining_tests, tests.condition_isinstance((
134
 
                TestAuth,
135
 
                )))
136
 
    auth_scheme_scenarios = [
137
 
        ('basic', dict(_auth_server=http_utils.HTTPBasicAuthServer)),
138
 
        ('digest', dict(_auth_server=http_utils.HTTPDigestAuthServer)),
139
 
        ('basicdigest',
140
 
         dict(_auth_server=http_utils.HTTPBasicAndDigestAuthServer)),
141
 
        ]
142
 
    tpa_scenarios = tests.multiply_scenarios(tp_scenarios,
143
 
                                             auth_scheme_scenarios)
144
 
    tests.multiply_tests(tpa_tests, tpa_scenarios, result)
145
 
 
146
 
    # activity: on all http[s] versions on all implementations
147
 
    tpact_tests, remaining_tests = tests.split_suite_by_condition(
148
 
        remaining_tests, tests.condition_isinstance((
149
 
                TestActivity,
150
 
                )))
151
 
    activity_scenarios = [
152
 
        ('urllib,http', dict(_activity_server=ActivityHTTPServer,
153
 
                             _transport=_urllib.HttpTransport_urllib,)),
154
 
        ]
155
 
    if tests.HTTPSServerFeature.available():
156
 
        activity_scenarios.append(
157
 
            ('urllib,https', dict(_activity_server=ActivityHTTPSServer,
158
 
                                  _transport=_urllib.HttpTransport_urllib,)),)
159
 
    if pycurl_present:
160
 
        activity_scenarios.append(
161
 
            ('pycurl,http', dict(_activity_server=ActivityHTTPServer,
162
 
                                 _transport=PyCurlTransport,)),)
163
 
        if tests.HTTPSServerFeature.available():
164
 
            from bzrlib.tests import (
165
 
                ssl_certs,
166
 
                )
167
 
            # FIXME: Until we have a better way to handle self-signed
168
 
            # certificates (like allowing them in a test specific
169
 
            # authentication.conf for example), we need some specialized pycurl
170
 
            # transport for tests.
171
 
            class HTTPS_pycurl_transport(PyCurlTransport):
172
 
 
173
 
                def __init__(self, base, _from_transport=None):
174
 
                    super(HTTPS_pycurl_transport, self).__init__(
175
 
                        base, _from_transport)
176
 
                    self.cabundle = str(ssl_certs.build_path('ca.crt'))
177
 
 
178
 
            activity_scenarios.append(
179
 
                ('pycurl,https', dict(_activity_server=ActivityHTTPSServer,
180
 
                                      _transport=HTTPS_pycurl_transport,)),)
181
 
 
182
 
    tpact_scenarios = tests.multiply_scenarios(activity_scenarios,
183
 
                                               protocol_scenarios)
184
 
    tests.multiply_tests(tpact_tests, tpact_scenarios, result)
185
 
 
186
 
    # No parametrization for the remaining tests
187
 
    result.addTests(remaining_tests)
188
 
 
189
 
    return result
 
67
from bzrlib.transport.http._urllib import HttpTransport_urllib
190
68
 
191
69
 
192
70
class FakeManager(object):
200
78
 
201
79
class RecordingServer(object):
202
80
    """A fake HTTP server.
203
 
 
 
81
    
204
82
    It records the bytes sent to it, and replies with a 200.
205
83
    """
206
84
 
255
133
        self.port = None
256
134
 
257
135
 
258
 
class TestAuthHeader(tests.TestCase):
259
 
 
260
 
    def parse_header(self, header, auth_handler_class=None):
261
 
        if auth_handler_class is None:
262
 
            auth_handler_class = _urllib2_wrappers.AbstractAuthHandler
263
 
        self.auth_handler =  auth_handler_class()
264
 
        return self.auth_handler._parse_auth_header(header)
265
 
 
266
 
    def test_empty_header(self):
267
 
        scheme, remainder = self.parse_header('')
268
 
        self.assertEquals('', scheme)
269
 
        self.assertIs(None, remainder)
270
 
 
271
 
    def test_negotiate_header(self):
272
 
        scheme, remainder = self.parse_header('Negotiate')
273
 
        self.assertEquals('negotiate', scheme)
274
 
        self.assertIs(None, remainder)
275
 
 
276
 
    def test_basic_header(self):
277
 
        scheme, remainder = self.parse_header(
278
 
            'Basic realm="Thou should not pass"')
279
 
        self.assertEquals('basic', scheme)
280
 
        self.assertEquals('realm="Thou should not pass"', remainder)
281
 
 
282
 
    def test_basic_extract_realm(self):
283
 
        scheme, remainder = self.parse_header(
284
 
            'Basic realm="Thou should not pass"',
285
 
            _urllib2_wrappers.BasicAuthHandler)
286
 
        match, realm = self.auth_handler.extract_realm(remainder)
287
 
        self.assertTrue(match is not None)
288
 
        self.assertEquals('Thou should not pass', realm)
289
 
 
290
 
    def test_digest_header(self):
291
 
        scheme, remainder = self.parse_header(
292
 
            'Digest realm="Thou should not pass"')
293
 
        self.assertEquals('digest', scheme)
294
 
        self.assertEquals('realm="Thou should not pass"', remainder)
295
 
 
296
 
 
297
 
class TestHTTPServer(tests.TestCase):
298
 
    """Test the HTTP servers implementations."""
299
 
 
300
 
    def test_invalid_protocol(self):
301
 
        class BogusRequestHandler(http_server.TestingHTTPRequestHandler):
302
 
 
303
 
            protocol_version = 'HTTP/0.1'
304
 
 
305
 
        server = http_server.HttpServer(BogusRequestHandler)
306
 
        try:
307
 
            self.assertRaises(httplib.UnknownProtocol,server.setUp)
308
 
        except:
309
 
            server.tearDown()
310
 
            self.fail('HTTP Server creation did not raise UnknownProtocol')
311
 
 
312
 
    def test_force_invalid_protocol(self):
313
 
        server = http_server.HttpServer(protocol_version='HTTP/0.1')
314
 
        try:
315
 
            self.assertRaises(httplib.UnknownProtocol,server.setUp)
316
 
        except:
317
 
            server.tearDown()
318
 
            self.fail('HTTP Server creation did not raise UnknownProtocol')
319
 
 
320
 
    def test_server_start_and_stop(self):
321
 
        server = http_server.HttpServer()
322
 
        server.setUp()
323
 
        self.assertTrue(server._http_running)
324
 
        server.tearDown()
325
 
        self.assertFalse(server._http_running)
326
 
 
327
 
    def test_create_http_server_one_zero(self):
328
 
        class RequestHandlerOneZero(http_server.TestingHTTPRequestHandler):
329
 
 
330
 
            protocol_version = 'HTTP/1.0'
331
 
 
332
 
        server = http_server.HttpServer(RequestHandlerOneZero)
333
 
        server.setUp()
334
 
        self.addCleanup(server.tearDown)
335
 
        self.assertIsInstance(server._httpd, http_server.TestingHTTPServer)
336
 
 
337
 
    def test_create_http_server_one_one(self):
338
 
        class RequestHandlerOneOne(http_server.TestingHTTPRequestHandler):
339
 
 
340
 
            protocol_version = 'HTTP/1.1'
341
 
 
342
 
        server = http_server.HttpServer(RequestHandlerOneOne)
343
 
        server.setUp()
344
 
        self.addCleanup(server.tearDown)
345
 
        self.assertIsInstance(server._httpd,
346
 
                              http_server.TestingThreadingHTTPServer)
347
 
 
348
 
    def test_create_http_server_force_one_one(self):
349
 
        class RequestHandlerOneZero(http_server.TestingHTTPRequestHandler):
350
 
 
351
 
            protocol_version = 'HTTP/1.0'
352
 
 
353
 
        server = http_server.HttpServer(RequestHandlerOneZero,
354
 
                                        protocol_version='HTTP/1.1')
355
 
        server.setUp()
356
 
        self.addCleanup(server.tearDown)
357
 
        self.assertIsInstance(server._httpd,
358
 
                              http_server.TestingThreadingHTTPServer)
359
 
 
360
 
    def test_create_http_server_force_one_zero(self):
361
 
        class RequestHandlerOneOne(http_server.TestingHTTPRequestHandler):
362
 
 
363
 
            protocol_version = 'HTTP/1.1'
364
 
 
365
 
        server = http_server.HttpServer(RequestHandlerOneOne,
366
 
                                        protocol_version='HTTP/1.0')
367
 
        server.setUp()
368
 
        self.addCleanup(server.tearDown)
369
 
        self.assertIsInstance(server._httpd,
370
 
                              http_server.TestingHTTPServer)
371
 
 
372
 
 
373
136
class TestWithTransport_pycurl(object):
374
137
    """Test case to inherit from if pycurl is present"""
375
138
 
378
141
            from bzrlib.transport.http._pycurl import PyCurlTransport
379
142
            return PyCurlTransport
380
143
        except errors.DependencyNotPresent:
381
 
            raise tests.TestSkipped('pycurl not present')
 
144
            raise TestSkipped('pycurl not present')
382
145
 
383
146
    _transport = property(_get_pycurl_maybe)
384
147
 
385
148
 
386
 
class TestHttpUrls(tests.TestCase):
 
149
class TestHttpUrls(TestCase):
387
150
 
388
151
    # TODO: This should be moved to authorization tests once they
389
152
    # are written.
390
153
 
391
154
    def test_url_parsing(self):
392
155
        f = FakeManager()
393
 
        url = http.extract_auth('http://example.com', f)
 
156
        url = extract_auth('http://example.com', f)
394
157
        self.assertEquals('http://example.com', url)
395
158
        self.assertEquals(0, len(f.credentials))
396
 
        url = http.extract_auth(
397
 
            'http://user:pass@www.bazaar-vcs.org/bzr/bzr.dev', f)
 
159
        url = extract_auth('http://user:pass@www.bazaar-vcs.org/bzr/bzr.dev', f)
398
160
        self.assertEquals('http://www.bazaar-vcs.org/bzr/bzr.dev', url)
399
161
        self.assertEquals(1, len(f.credentials))
400
162
        self.assertEquals([None, 'www.bazaar-vcs.org', 'user', 'pass'],
401
163
                          f.credentials[0])
402
164
 
403
165
 
404
 
class TestHttpTransportUrls(tests.TestCase):
405
 
    """Test the http urls."""
 
166
class TestHttpTransportUrls(object):
 
167
    """Test the http urls.
 
168
 
 
169
    This MUST be used by daughter classes that also inherit from
 
170
    TestCase.
 
171
 
 
172
    We can't inherit directly from TestCase or the
 
173
    test framework will try to create an instance which cannot
 
174
    run, its implementation being incomplete.
 
175
    """
406
176
 
407
177
    def test_abs_url(self):
408
178
        """Construction of absolute http URLs"""
417
187
    def test_invalid_http_urls(self):
418
188
        """Trap invalid construction of urls"""
419
189
        t = self._transport('http://bazaar-vcs.org/bzr/bzr.dev/')
420
 
        self.assertRaises(errors.InvalidURL,
421
 
                          self._transport,
422
 
                          'http://http://bazaar-vcs.org/bzr/bzr.dev/')
 
190
        self.assertRaises(ValueError, t.abspath, '.bzr/')
 
191
        t = self._transport('http://http://bazaar-vcs.org/bzr/bzr.dev/')
 
192
        self.assertRaises((errors.InvalidURL, errors.ConnectionError),
 
193
                          t.has, 'foo/bar')
423
194
 
424
195
    def test_http_root_urls(self):
425
196
        """Construction of URLs from server root"""
439
210
            server.tearDown()
440
211
 
441
212
 
442
 
class TestHttps_pycurl(TestWithTransport_pycurl, tests.TestCase):
 
213
class TestHttpUrls_urllib(TestHttpTransportUrls, TestCase):
 
214
    """Test http urls with urllib"""
 
215
 
 
216
    _transport = HttpTransport_urllib
 
217
    _server = HttpServer_urllib
 
218
    _qualified_prefix = 'http+urllib'
 
219
 
 
220
 
 
221
class TestHttpUrls_pycurl(TestWithTransport_pycurl, TestHttpTransportUrls,
 
222
                          TestCase):
 
223
    """Test http urls with pycurl"""
 
224
 
 
225
    _server = HttpServer_PyCurl
 
226
    _qualified_prefix = 'http+pycurl'
443
227
 
444
228
    # TODO: This should really be moved into another pycurl
445
229
    # specific test. When https tests will be implemented, take
454
238
        try:
455
239
            import pycurl
456
240
        except ImportError:
457
 
            raise tests.TestSkipped('pycurl not present')
458
 
 
459
 
        version_info_orig = pycurl.version_info
460
 
        try:
461
 
            # Now that we have pycurl imported, we can fake its version_info
462
 
            # This was taken from a windows pycurl without SSL
463
 
            # (thanks to bialix)
464
 
            pycurl.version_info = lambda : (2,
465
 
                                            '7.13.2',
466
 
                                            462082,
467
 
                                            'i386-pc-win32',
468
 
                                            2576,
469
 
                                            None,
470
 
                                            0,
471
 
                                            None,
472
 
                                            ('ftp', 'gopher', 'telnet',
473
 
                                             'dict', 'ldap', 'http', 'file'),
474
 
                                            None,
475
 
                                            0,
476
 
                                            None)
477
 
            self.assertRaises(errors.DependencyNotPresent, self._transport,
478
 
                              'https://launchpad.net')
479
 
        finally:
480
 
            # Restore the right function
481
 
            pycurl.version_info = version_info_orig
482
 
 
483
 
 
484
 
class TestHTTPConnections(http_utils.TestCaseWithWebserver):
485
 
    """Test the http connections."""
 
241
            raise TestSkipped('pycurl not present')
 
242
        # Now that we have pycurl imported, we can fake its version_info
 
243
        # This was taken from a windows pycurl without SSL
 
244
        # (thanks to bialix)
 
245
        pycurl.version_info = lambda : (2,
 
246
                                        '7.13.2',
 
247
                                        462082,
 
248
                                        'i386-pc-win32',
 
249
                                        2576,
 
250
                                        None,
 
251
                                        0,
 
252
                                        None,
 
253
                                        ('ftp', 'gopher', 'telnet',
 
254
                                         'dict', 'ldap', 'http', 'file'),
 
255
                                        None,
 
256
                                        0,
 
257
                                        None)
 
258
        self.assertRaises(errors.DependencyNotPresent, self._transport,
 
259
                          'https://launchpad.net')
 
260
 
 
261
class TestHttpConnections(object):
 
262
    """Test the http connections.
 
263
 
 
264
    This MUST be used by daughter classes that also inherit from
 
265
    TestCaseWithWebserver.
 
266
 
 
267
    We can't inherit directly from TestCaseWithWebserver or the
 
268
    test framework will try to create an instance which cannot
 
269
    run, its implementation being incomplete.
 
270
    """
486
271
 
487
272
    def setUp(self):
488
 
        http_utils.TestCaseWithWebserver.setUp(self)
489
 
        self.build_tree(['foo/', 'foo/bar'], line_endings='binary',
 
273
        TestCaseWithWebserver.setUp(self)
 
274
        self.build_tree(['xxx', 'foo/', 'foo/bar'], line_endings='binary',
490
275
                        transport=self.get_transport())
491
276
 
492
277
    def test_http_has(self):
516
301
            '"GET /foo/bar HTTP/1.1" 200 - "-" "bzr/%s'
517
302
            % bzrlib.__version__) > -1)
518
303
 
 
304
    def test_get_smart_medium(self):
 
305
        # For HTTP, get_smart_medium should return the transport object.
 
306
        server = self.get_readonly_server()
 
307
        http_transport = self._transport(server.get_url())
 
308
        medium = http_transport.get_smart_medium()
 
309
        self.assertIs(medium, http_transport)
 
310
 
519
311
    def test_has_on_bogus_host(self):
520
312
        # Get a free address and don't 'accept' on it, so that we
521
313
        # can be sure there is no http handler there, but set a
531
323
            socket.setdefaulttimeout(default_timeout)
532
324
 
533
325
 
534
 
class TestHttpTransportRegistration(tests.TestCase):
 
326
class TestHttpConnections_urllib(TestHttpConnections, TestCaseWithWebserver):
 
327
    """Test http connections with urllib"""
 
328
 
 
329
    _transport = HttpTransport_urllib
 
330
 
 
331
 
 
332
 
 
333
class TestHttpConnections_pycurl(TestWithTransport_pycurl,
 
334
                                 TestHttpConnections,
 
335
                                 TestCaseWithWebserver):
 
336
    """Test http connections with pycurl"""
 
337
 
 
338
 
 
339
class TestHttpTransportRegistration(TestCase):
535
340
    """Test registrations of various http implementations"""
536
341
 
537
342
    def test_http_registered(self):
538
 
        t = transport.get_transport('%s://foo.com/' % self._qualified_prefix)
539
 
        self.assertIsInstance(t, transport.Transport)
540
 
        self.assertIsInstance(t, self._transport)
541
 
 
542
 
 
543
 
class TestPost(tests.TestCase):
544
 
 
545
 
    def test_post_body_is_received(self):
 
343
        # urlllib should always be present
 
344
        t = get_transport('http+urllib://bzr.google.com/')
 
345
        self.assertIsInstance(t, Transport)
 
346
        self.assertIsInstance(t, HttpTransport_urllib)
 
347
 
 
348
 
 
349
class TestOffsets(TestCase):
 
350
    """Test offsets_to_ranges method"""
 
351
 
 
352
    def test_offsets_to_ranges_simple(self):
 
353
        to_range = HttpTransportBase.offsets_to_ranges
 
354
        ranges = to_range([(10, 1)])
 
355
        self.assertEqual([[10, 10]], ranges)
 
356
 
 
357
        ranges = to_range([(0, 1), (1, 1)])
 
358
        self.assertEqual([[0, 1]], ranges)
 
359
 
 
360
        ranges = to_range([(1, 1), (0, 1)])
 
361
        self.assertEqual([[0, 1]], ranges)
 
362
 
 
363
    def test_offset_to_ranges_overlapped(self):
 
364
        to_range = HttpTransportBase.offsets_to_ranges
 
365
 
 
366
        ranges = to_range([(10, 1), (20, 2), (22, 5)])
 
367
        self.assertEqual([[10, 10], [20, 26]], ranges)
 
368
 
 
369
        ranges = to_range([(10, 1), (11, 2), (22, 5)])
 
370
        self.assertEqual([[10, 12], [22, 26]], ranges)
 
371
 
 
372
 
 
373
class TestPost(object):
 
374
 
 
375
    def _test_post_body_is_received(self, scheme):
546
376
        server = RecordingServer(expect_body_tail='end-of-body')
547
377
        server.setUp()
548
378
        self.addCleanup(server.tearDown)
549
 
        scheme = self._qualified_prefix
550
379
        url = '%s://%s:%s/' % (scheme, server.host, server.port)
551
 
        http_transport = self._transport(url)
 
380
        try:
 
381
            http_transport = get_transport(url)
 
382
        except errors.UnsupportedProtocol:
 
383
            raise TestSkipped('%s not available' % scheme)
552
384
        code, response = http_transport._post('abc def end-of-body')
553
385
        self.assertTrue(
554
386
            server.received_bytes.startswith('POST /.bzr/smart HTTP/1.'))
560
392
            server.received_bytes.endswith('\r\n\r\nabc def end-of-body'))
561
393
 
562
394
 
563
 
class TestRangeHeader(tests.TestCase):
 
395
class TestPost_urllib(TestCase, TestPost):
 
396
    """TestPost for urllib implementation"""
 
397
 
 
398
    _transport = HttpTransport_urllib
 
399
 
 
400
    def test_post_body_is_received_urllib(self):
 
401
        self._test_post_body_is_received('http+urllib')
 
402
 
 
403
 
 
404
class TestPost_pycurl(TestWithTransport_pycurl, TestCase, TestPost):
 
405
    """TestPost for pycurl implementation"""
 
406
 
 
407
    def test_post_body_is_received_pycurl(self):
 
408
        self._test_post_body_is_received('http+pycurl')
 
409
 
 
410
 
 
411
class TestRangeHeader(TestCase):
564
412
    """Test range_header method"""
565
413
 
566
414
    def check_header(self, value, ranges=[], tail=0):
567
 
        offsets = [ (start, end - start + 1) for start, end in ranges]
568
 
        coalesce = transport.Transport._coalesce_offsets
569
 
        coalesced = list(coalesce(offsets, limit=0, fudge_factor=0))
570
 
        range_header = http.HttpTransportBase._range_header
571
 
        self.assertEqual(value, range_header(coalesced, tail))
 
415
        range_header = HttpTransportBase.range_header
 
416
        self.assertEqual(value, range_header(ranges, tail))
572
417
 
573
418
    def test_range_header_single(self):
574
 
        self.check_header('0-9', ranges=[(0,9)])
575
 
        self.check_header('100-109', ranges=[(100,109)])
 
419
        self.check_header('0-9', ranges=[[0,9]])
 
420
        self.check_header('100-109', ranges=[[100,109]])
576
421
 
577
422
    def test_range_header_tail(self):
578
423
        self.check_header('-10', tail=10)
588
433
                          tail=50)
589
434
 
590
435
 
591
 
class TestSpecificRequestHandler(http_utils.TestCaseWithWebserver):
592
 
    """Tests a specific request handler.
593
 
 
594
 
    Daughter classes are expected to override _req_handler_class
595
 
    """
596
 
 
597
 
    # Provide a useful default
598
 
    _req_handler_class = http_server.TestingHTTPRequestHandler
599
 
 
600
 
    def create_transport_readonly_server(self):
601
 
        return http_server.HttpServer(self._req_handler_class,
602
 
                                      protocol_version=self._protocol_version)
603
 
 
604
 
    def _testing_pycurl(self):
605
 
        return pycurl_present and self._transport == PyCurlTransport
606
 
 
607
 
 
608
 
class WallRequestHandler(http_server.TestingHTTPRequestHandler):
609
 
    """Whatever request comes in, close the connection"""
610
 
 
611
 
    def handle_one_request(self):
612
 
        """Handle a single HTTP request, by abruptly closing the connection"""
613
 
        self.close_connection = 1
614
 
 
615
 
 
616
 
class TestWallServer(TestSpecificRequestHandler):
 
436
class TestWallServer(object):
617
437
    """Tests exceptions during the connection phase"""
618
438
 
619
 
    _req_handler_class = WallRequestHandler
 
439
    def create_transport_readonly_server(self):
 
440
        return HttpServer(WallRequestHandler)
620
441
 
621
442
    def test_http_has(self):
622
443
        server = self.get_readonly_server()
636
457
                          t.get, 'foo/bar')
637
458
 
638
459
 
639
 
class BadStatusRequestHandler(http_server.TestingHTTPRequestHandler):
640
 
    """Whatever request comes in, returns a bad status"""
641
 
 
642
 
    def parse_request(self):
643
 
        """Fakes handling a single HTTP request, returns a bad status"""
644
 
        ignored = http_server.TestingHTTPRequestHandler.parse_request(self)
645
 
        self.send_response(0, "Bad status")
646
 
        self.close_connection = 1
647
 
        return False
648
 
 
649
 
 
650
 
class TestBadStatusServer(TestSpecificRequestHandler):
 
460
class TestWallServer_urllib(TestWallServer, TestCaseWithWebserver):
 
461
    """Tests "wall" server for urllib implementation"""
 
462
 
 
463
    _transport = HttpTransport_urllib
 
464
 
 
465
 
 
466
class TestWallServer_pycurl(TestWithTransport_pycurl,
 
467
                            TestWallServer,
 
468
                            TestCaseWithWebserver):
 
469
    """Tests "wall" server for pycurl implementation"""
 
470
 
 
471
 
 
472
class TestBadStatusServer(object):
651
473
    """Tests bad status from server."""
652
474
 
653
 
    _req_handler_class = BadStatusRequestHandler
 
475
    def create_transport_readonly_server(self):
 
476
        return HttpServer(BadStatusRequestHandler)
654
477
 
655
478
    def test_http_has(self):
656
479
        server = self.get_readonly_server()
663
486
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'foo/bar')
664
487
 
665
488
 
666
 
class InvalidStatusRequestHandler(http_server.TestingHTTPRequestHandler):
667
 
    """Whatever request comes in, returns an invalid status"""
668
 
 
669
 
    def parse_request(self):
670
 
        """Fakes handling a single HTTP request, returns a bad status"""
671
 
        ignored = http_server.TestingHTTPRequestHandler.parse_request(self)
672
 
        self.wfile.write("Invalid status line\r\n")
673
 
        return False
 
489
class TestBadStatusServer_urllib(TestBadStatusServer, TestCaseWithWebserver):
 
490
    """Tests bad status server for urllib implementation"""
 
491
 
 
492
    _transport = HttpTransport_urllib
 
493
 
 
494
 
 
495
class TestBadStatusServer_pycurl(TestWithTransport_pycurl,
 
496
                                 TestBadStatusServer,
 
497
                                 TestCaseWithWebserver):
 
498
    """Tests bad status server for pycurl implementation"""
674
499
 
675
500
 
676
501
class TestInvalidStatusServer(TestBadStatusServer):
679
504
    Both implementations raises the same error as for a bad status.
680
505
    """
681
506
 
682
 
    _req_handler_class = InvalidStatusRequestHandler
683
 
 
684
 
    def test_http_has(self):
685
 
        if self._testing_pycurl() and self._protocol_version == 'HTTP/1.1':
686
 
            raise tests.KnownFailure(
687
 
                'pycurl hangs if the server send back garbage')
688
 
        super(TestInvalidStatusServer, self).test_http_has()
689
 
 
690
 
    def test_http_get(self):
691
 
        if self._testing_pycurl() and self._protocol_version == 'HTTP/1.1':
692
 
            raise tests.KnownFailure(
693
 
                'pycurl hangs if the server send back garbage')
694
 
        super(TestInvalidStatusServer, self).test_http_get()
695
 
 
696
 
 
697
 
class BadProtocolRequestHandler(http_server.TestingHTTPRequestHandler):
698
 
    """Whatever request comes in, returns a bad protocol version"""
699
 
 
700
 
    def parse_request(self):
701
 
        """Fakes handling a single HTTP request, returns a bad status"""
702
 
        ignored = http_server.TestingHTTPRequestHandler.parse_request(self)
703
 
        # Returns an invalid protocol version, but curl just
704
 
        # ignores it and those cannot be tested.
705
 
        self.wfile.write("%s %d %s\r\n" % ('HTTP/0.0',
706
 
                                           404,
707
 
                                           'Look at my protocol version'))
708
 
        return False
709
 
 
710
 
 
711
 
class TestBadProtocolServer(TestSpecificRequestHandler):
 
507
    def create_transport_readonly_server(self):
 
508
        return HttpServer(InvalidStatusRequestHandler)
 
509
 
 
510
 
 
511
class TestInvalidStatusServer_urllib(TestInvalidStatusServer,
 
512
                                     TestCaseWithWebserver):
 
513
    """Tests invalid status server for urllib implementation"""
 
514
 
 
515
    _transport = HttpTransport_urllib
 
516
 
 
517
 
 
518
class TestInvalidStatusServer_pycurl(TestWithTransport_pycurl,
 
519
                                     TestInvalidStatusServer,
 
520
                                     TestCaseWithWebserver):
 
521
    """Tests invalid status server for pycurl implementation"""
 
522
 
 
523
 
 
524
class TestBadProtocolServer(object):
712
525
    """Tests bad protocol from server."""
713
526
 
714
 
    _req_handler_class = BadProtocolRequestHandler
715
 
 
716
 
    def setUp(self):
717
 
        if pycurl_present and self._transport == PyCurlTransport:
718
 
            raise tests.TestNotApplicable(
719
 
                "pycurl doesn't check the protocol version")
720
 
        super(TestBadProtocolServer, self).setUp()
 
527
    def create_transport_readonly_server(self):
 
528
        return HttpServer(BadProtocolRequestHandler)
721
529
 
722
530
    def test_http_has(self):
723
531
        server = self.get_readonly_server()
730
538
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'foo/bar')
731
539
 
732
540
 
733
 
class ForbiddenRequestHandler(http_server.TestingHTTPRequestHandler):
734
 
    """Whatever request comes in, returns a 403 code"""
735
 
 
736
 
    def parse_request(self):
737
 
        """Handle a single HTTP request, by replying we cannot handle it"""
738
 
        ignored = http_server.TestingHTTPRequestHandler.parse_request(self)
739
 
        self.send_error(403)
740
 
        return False
741
 
 
742
 
 
743
 
class TestForbiddenServer(TestSpecificRequestHandler):
 
541
class TestBadProtocolServer_urllib(TestBadProtocolServer,
 
542
                                   TestCaseWithWebserver):
 
543
    """Tests bad protocol server for urllib implementation"""
 
544
 
 
545
    _transport = HttpTransport_urllib
 
546
 
 
547
# curl don't check the protocol version
 
548
#class TestBadProtocolServer_pycurl(TestWithTransport_pycurl,
 
549
#                                   TestBadProtocolServer,
 
550
#                                   TestCaseWithWebserver):
 
551
#    """Tests bad protocol server for pycurl implementation"""
 
552
 
 
553
 
 
554
class TestForbiddenServer(object):
744
555
    """Tests forbidden server"""
745
556
 
746
 
    _req_handler_class = ForbiddenRequestHandler
 
557
    def create_transport_readonly_server(self):
 
558
        return HttpServer(ForbiddenRequestHandler)
747
559
 
748
560
    def test_http_has(self):
749
561
        server = self.get_readonly_server()
756
568
        self.assertRaises(errors.TransportError, t.get, 'foo/bar')
757
569
 
758
570
 
759
 
class TestRecordingServer(tests.TestCase):
 
571
class TestForbiddenServer_urllib(TestForbiddenServer, TestCaseWithWebserver):
 
572
    """Tests forbidden server for urllib implementation"""
 
573
 
 
574
    _transport = HttpTransport_urllib
 
575
 
 
576
 
 
577
class TestForbiddenServer_pycurl(TestWithTransport_pycurl,
 
578
                                 TestForbiddenServer,
 
579
                                 TestCaseWithWebserver):
 
580
    """Tests forbidden server for pycurl implementation"""
 
581
 
 
582
 
 
583
class TestRecordingServer(TestCase):
760
584
 
761
585
    def test_create(self):
762
586
        server = RecordingServer(expect_body_tail=None)
787
611
        self.assertEqual('abc', server.received_bytes)
788
612
 
789
613
 
790
 
class TestRangeRequestServer(TestSpecificRequestHandler):
 
614
class TestRangeRequestServer(object):
791
615
    """Tests readv requests against server.
792
616
 
793
 
    We test against default "normal" server.
 
617
    This MUST be used by daughter classes that also inherit from
 
618
    TestCaseWithWebserver.
 
619
 
 
620
    We can't inherit directly from TestCaseWithWebserver or the
 
621
    test framework will try to create an instance which cannot
 
622
    run, its implementation being incomplete.
794
623
    """
795
624
 
796
625
    def setUp(self):
797
 
        super(TestRangeRequestServer, self).setUp()
 
626
        TestCaseWithWebserver.setUp(self)
798
627
        self.build_tree_contents([('a', '0123456789')],)
799
628
 
800
629
    def test_readv(self):
829
658
        self.assertListRaises((errors.InvalidRange, errors.ShortReadvError,),
830
659
                              t.readv, 'a', [(12,2)])
831
660
 
832
 
    def test_readv_multiple_get_requests(self):
833
 
        server = self.get_readonly_server()
834
 
        t = self._transport(server.get_url())
835
 
        # force transport to issue multiple requests
836
 
        t._max_readv_combine = 1
837
 
        t._max_get_ranges = 1
838
 
        l = list(t.readv('a', ((0, 1), (1, 1), (3, 2), (9, 1))))
839
 
        self.assertEqual(l[0], (0, '0'))
840
 
        self.assertEqual(l[1], (1, '1'))
841
 
        self.assertEqual(l[2], (3, '34'))
842
 
        self.assertEqual(l[3], (9, '9'))
843
 
        # The server should have issued 4 requests
844
 
        self.assertEqual(4, server.GET_request_nb)
845
 
 
846
 
    def test_readv_get_max_size(self):
847
 
        server = self.get_readonly_server()
848
 
        t = self._transport(server.get_url())
849
 
        # force transport to issue multiple requests by limiting the number of
850
 
        # bytes by request. Note that this apply to coalesced offsets only, a
851
 
        # single range will keep its size even if bigger than the limit.
852
 
        t._get_max_size = 2
853
 
        l = list(t.readv('a', ((0, 1), (1, 1), (2, 4), (6, 4))))
854
 
        self.assertEqual(l[0], (0, '0'))
855
 
        self.assertEqual(l[1], (1, '1'))
856
 
        self.assertEqual(l[2], (2, '2345'))
857
 
        self.assertEqual(l[3], (6, '6789'))
858
 
        # The server should have issued 3 requests
859
 
        self.assertEqual(3, server.GET_request_nb)
860
 
 
861
 
    def test_complete_readv_leave_pipe_clean(self):
862
 
        server = self.get_readonly_server()
863
 
        t = self._transport(server.get_url())
864
 
        # force transport to issue multiple requests
865
 
        t._get_max_size = 2
866
 
        l = list(t.readv('a', ((0, 1), (1, 1), (2, 4), (6, 4))))
867
 
        # The server should have issued 3 requests
868
 
        self.assertEqual(3, server.GET_request_nb)
869
 
        self.assertEqual('0123456789', t.get_bytes('a'))
870
 
        self.assertEqual(4, server.GET_request_nb)
871
 
 
872
 
    def test_incomplete_readv_leave_pipe_clean(self):
873
 
        server = self.get_readonly_server()
874
 
        t = self._transport(server.get_url())
875
 
        # force transport to issue multiple requests
876
 
        t._get_max_size = 2
877
 
        # Don't collapse readv results into a list so that we leave unread
878
 
        # bytes on the socket
879
 
        ireadv = iter(t.readv('a', ((0, 1), (1, 1), (2, 4), (6, 4))))
880
 
        self.assertEqual((0, '0'), ireadv.next())
881
 
        # The server should have issued one request so far
882
 
        self.assertEqual(1, server.GET_request_nb)
883
 
        self.assertEqual('0123456789', t.get_bytes('a'))
884
 
        # get_bytes issued an additional request, the readv pending ones are
885
 
        # lost
886
 
        self.assertEqual(2, server.GET_request_nb)
887
 
 
888
 
 
889
 
class SingleRangeRequestHandler(http_server.TestingHTTPRequestHandler):
890
 
    """Always reply to range request as if they were single.
891
 
 
892
 
    Don't be explicit about it, just to annoy the clients.
893
 
    """
894
 
 
895
 
    def get_multiple_ranges(self, file, file_size, ranges):
896
 
        """Answer as if it was a single range request and ignores the rest"""
897
 
        (start, end) = ranges[0]
898
 
        return self.get_single_range(file, file_size, start, end)
899
 
 
900
661
 
901
662
class TestSingleRangeRequestServer(TestRangeRequestServer):
902
663
    """Test readv against a server which accept only single range requests"""
903
664
 
904
 
    _req_handler_class = SingleRangeRequestHandler
905
 
 
906
 
 
907
 
class SingleOnlyRangeRequestHandler(http_server.TestingHTTPRequestHandler):
908
 
    """Only reply to simple range requests, errors out on multiple"""
909
 
 
910
 
    def get_multiple_ranges(self, file, file_size, ranges):
911
 
        """Refuses the multiple ranges request"""
912
 
        if len(ranges) > 1:
913
 
            file.close()
914
 
            self.send_error(416, "Requested range not satisfiable")
915
 
            return
916
 
        (start, end) = ranges[0]
917
 
        return self.get_single_range(file, file_size, start, end)
918
 
 
919
 
 
920
 
class TestSingleOnlyRangeRequestServer(TestRangeRequestServer):
921
 
    """Test readv against a server which only accept single range requests"""
922
 
 
923
 
    _req_handler_class = SingleOnlyRangeRequestHandler
924
 
 
925
 
 
926
 
class NoRangeRequestHandler(http_server.TestingHTTPRequestHandler):
927
 
    """Ignore range requests without notice"""
928
 
 
929
 
    def do_GET(self):
930
 
        # Update the statistics
931
 
        self.server.test_case_server.GET_request_nb += 1
932
 
        # Just bypass the range handling done by TestingHTTPRequestHandler
933
 
        return SimpleHTTPServer.SimpleHTTPRequestHandler.do_GET(self)
 
665
    def create_transport_readonly_server(self):
 
666
        return HttpServer(SingleRangeRequestHandler)
 
667
 
 
668
 
 
669
class TestSingleRangeRequestServer_urllib(TestSingleRangeRequestServer,
 
670
                                          TestCaseWithWebserver):
 
671
    """Tests single range requests accepting server for urllib implementation"""
 
672
 
 
673
    _transport = HttpTransport_urllib
 
674
 
 
675
 
 
676
class TestSingleRangeRequestServer_pycurl(TestWithTransport_pycurl,
 
677
                                          TestSingleRangeRequestServer,
 
678
                                          TestCaseWithWebserver):
 
679
    """Tests single range requests accepting server for pycurl implementation"""
934
680
 
935
681
 
936
682
class TestNoRangeRequestServer(TestRangeRequestServer):
937
683
    """Test readv against a server which do not accept range requests"""
938
684
 
939
 
    _req_handler_class = NoRangeRequestHandler
940
 
 
941
 
 
942
 
class MultipleRangeWithoutContentLengthRequestHandler(
943
 
    http_server.TestingHTTPRequestHandler):
944
 
    """Reply to multiple range requests without content length header."""
945
 
 
946
 
    def get_multiple_ranges(self, file, file_size, ranges):
947
 
        self.send_response(206)
948
 
        self.send_header('Accept-Ranges', 'bytes')
949
 
        boundary = "%d" % random.randint(0,0x7FFFFFFF)
950
 
        self.send_header("Content-Type",
951
 
                         "multipart/byteranges; boundary=%s" % boundary)
952
 
        self.end_headers()
953
 
        for (start, end) in ranges:
954
 
            self.wfile.write("--%s\r\n" % boundary)
955
 
            self.send_header("Content-type", 'application/octet-stream')
956
 
            self.send_header("Content-Range", "bytes %d-%d/%d" % (start,
957
 
                                                                  end,
958
 
                                                                  file_size))
959
 
            self.end_headers()
960
 
            self.send_range_content(file, start, end - start + 1)
961
 
        # Final boundary
962
 
        self.wfile.write("--%s\r\n" % boundary)
963
 
 
964
 
 
965
 
class TestMultipleRangeWithoutContentLengthServer(TestRangeRequestServer):
966
 
 
967
 
    _req_handler_class = MultipleRangeWithoutContentLengthRequestHandler
968
 
 
969
 
 
970
 
class TruncatedMultipleRangeRequestHandler(
971
 
    http_server.TestingHTTPRequestHandler):
972
 
    """Reply to multiple range requests truncating the last ones.
973
 
 
974
 
    This server generates responses whose Content-Length describes all the
975
 
    ranges, but fail to include the last ones leading to client short reads.
976
 
    This has been observed randomly with lighttpd (bug #179368).
977
 
    """
978
 
 
979
 
    _truncated_ranges = 2
980
 
 
981
 
    def get_multiple_ranges(self, file, file_size, ranges):
982
 
        self.send_response(206)
983
 
        self.send_header('Accept-Ranges', 'bytes')
984
 
        boundary = 'tagada'
985
 
        self.send_header('Content-Type',
986
 
                         'multipart/byteranges; boundary=%s' % boundary)
987
 
        boundary_line = '--%s\r\n' % boundary
988
 
        # Calculate the Content-Length
989
 
        content_length = 0
990
 
        for (start, end) in ranges:
991
 
            content_length += len(boundary_line)
992
 
            content_length += self._header_line_length(
993
 
                'Content-type', 'application/octet-stream')
994
 
            content_length += self._header_line_length(
995
 
                'Content-Range', 'bytes %d-%d/%d' % (start, end, file_size))
996
 
            content_length += len('\r\n') # end headers
997
 
            content_length += end - start # + 1
998
 
        content_length += len(boundary_line)
999
 
        self.send_header('Content-length', content_length)
1000
 
        self.end_headers()
1001
 
 
1002
 
        # Send the multipart body
1003
 
        cur = 0
1004
 
        for (start, end) in ranges:
1005
 
            self.wfile.write(boundary_line)
1006
 
            self.send_header('Content-type', 'application/octet-stream')
1007
 
            self.send_header('Content-Range', 'bytes %d-%d/%d'
1008
 
                             % (start, end, file_size))
1009
 
            self.end_headers()
1010
 
            if cur + self._truncated_ranges >= len(ranges):
1011
 
                # Abruptly ends the response and close the connection
1012
 
                self.close_connection = 1
1013
 
                return
1014
 
            self.send_range_content(file, start, end - start + 1)
1015
 
            cur += 1
1016
 
        # No final boundary
1017
 
        self.wfile.write(boundary_line)
1018
 
 
1019
 
 
1020
 
class TestTruncatedMultipleRangeServer(TestSpecificRequestHandler):
1021
 
 
1022
 
    _req_handler_class = TruncatedMultipleRangeRequestHandler
1023
 
 
1024
 
    def setUp(self):
1025
 
        super(TestTruncatedMultipleRangeServer, self).setUp()
1026
 
        self.build_tree_contents([('a', '0123456789')],)
1027
 
 
1028
 
    def test_readv_with_short_reads(self):
1029
 
        server = self.get_readonly_server()
1030
 
        t = self._transport(server.get_url())
1031
 
        # Force separate ranges for each offset
1032
 
        t._bytes_to_read_before_seek = 0
1033
 
        ireadv = iter(t.readv('a', ((0, 1), (2, 1), (4, 2), (9, 1))))
1034
 
        self.assertEqual((0, '0'), ireadv.next())
1035
 
        self.assertEqual((2, '2'), ireadv.next())
1036
 
        if not self._testing_pycurl():
1037
 
            # Only one request have been issued so far (except for pycurl that
1038
 
            # try to read the whole response at once)
1039
 
            self.assertEqual(1, server.GET_request_nb)
1040
 
        self.assertEqual((4, '45'), ireadv.next())
1041
 
        self.assertEqual((9, '9'), ireadv.next())
1042
 
        # Both implementations issue 3 requests but:
1043
 
        # - urllib does two multiple (4 ranges, then 2 ranges) then a single
1044
 
        #   range,
1045
 
        # - pycurl does two multiple (4 ranges, 4 ranges) then a single range
1046
 
        self.assertEqual(3, server.GET_request_nb)
1047
 
        # Finally the client have tried a single range request and stays in
1048
 
        # that mode
1049
 
        self.assertEqual('single', t._range_hint)
1050
 
 
1051
 
class LimitedRangeRequestHandler(http_server.TestingHTTPRequestHandler):
1052
 
    """Errors out when range specifiers exceed the limit"""
1053
 
 
1054
 
    def get_multiple_ranges(self, file, file_size, ranges):
1055
 
        """Refuses the multiple ranges request"""
1056
 
        tcs = self.server.test_case_server
1057
 
        if tcs.range_limit is not None and len(ranges) > tcs.range_limit:
1058
 
            file.close()
1059
 
            # Emulate apache behavior
1060
 
            self.send_error(400, "Bad Request")
1061
 
            return
1062
 
        return http_server.TestingHTTPRequestHandler.get_multiple_ranges(
1063
 
            self, file, file_size, ranges)
1064
 
 
1065
 
 
1066
 
class LimitedRangeHTTPServer(http_server.HttpServer):
1067
 
    """An HttpServer erroring out on requests with too much range specifiers"""
1068
 
 
1069
 
    def __init__(self, request_handler=LimitedRangeRequestHandler,
1070
 
                 protocol_version=None,
1071
 
                 range_limit=None):
1072
 
        http_server.HttpServer.__init__(self, request_handler,
1073
 
                                        protocol_version=protocol_version)
1074
 
        self.range_limit = range_limit
1075
 
 
1076
 
 
1077
 
class TestLimitedRangeRequestServer(http_utils.TestCaseWithWebserver):
1078
 
    """Tests readv requests against a server erroring out on too much ranges."""
1079
 
 
1080
 
    # Requests with more range specifiers will error out
1081
 
    range_limit = 3
1082
 
 
1083
685
    def create_transport_readonly_server(self):
1084
 
        return LimitedRangeHTTPServer(range_limit=self.range_limit,
1085
 
                                      protocol_version=self._protocol_version)
1086
 
 
1087
 
    def get_transport(self):
1088
 
        return self._transport(self.get_readonly_server().get_url())
1089
 
 
1090
 
    def setUp(self):
1091
 
        http_utils.TestCaseWithWebserver.setUp(self)
1092
 
        # We need to manipulate ranges that correspond to real chunks in the
1093
 
        # response, so we build a content appropriately.
1094
 
        filler = ''.join(['abcdefghij' for x in range(102)])
1095
 
        content = ''.join(['%04d' % v + filler for v in range(16)])
1096
 
        self.build_tree_contents([('a', content)],)
1097
 
 
1098
 
    def test_few_ranges(self):
1099
 
        t = self.get_transport()
1100
 
        l = list(t.readv('a', ((0, 4), (1024, 4), )))
1101
 
        self.assertEqual(l[0], (0, '0000'))
1102
 
        self.assertEqual(l[1], (1024, '0001'))
1103
 
        self.assertEqual(1, self.get_readonly_server().GET_request_nb)
1104
 
 
1105
 
    def test_more_ranges(self):
1106
 
        t = self.get_transport()
1107
 
        l = list(t.readv('a', ((0, 4), (1024, 4), (4096, 4), (8192, 4))))
1108
 
        self.assertEqual(l[0], (0, '0000'))
1109
 
        self.assertEqual(l[1], (1024, '0001'))
1110
 
        self.assertEqual(l[2], (4096, '0004'))
1111
 
        self.assertEqual(l[3], (8192, '0008'))
1112
 
        # The server will refuse to serve the first request (too much ranges),
1113
 
        # a second request will succeed.
1114
 
        self.assertEqual(2, self.get_readonly_server().GET_request_nb)
1115
 
 
1116
 
 
1117
 
class TestHttpProxyWhiteBox(tests.TestCase):
 
686
        return HttpServer(NoRangeRequestHandler)
 
687
 
 
688
 
 
689
class TestNoRangeRequestServer_urllib(TestNoRangeRequestServer,
 
690
                                      TestCaseWithWebserver):
 
691
    """Tests range requests refusing server for urllib implementation"""
 
692
 
 
693
    _transport = HttpTransport_urllib
 
694
 
 
695
 
 
696
class TestNoRangeRequestServer_pycurl(TestWithTransport_pycurl,
 
697
                               TestNoRangeRequestServer,
 
698
                               TestCaseWithWebserver):
 
699
    """Tests range requests refusing server for pycurl implementation"""
 
700
 
 
701
 
 
702
class TestHttpProxyWhiteBox(TestCase):
1118
703
    """Whitebox test proxy http authorization.
1119
704
 
1120
 
    Only the urllib implementation is tested here.
 
705
    These tests concern urllib implementation only.
1121
706
    """
1122
707
 
1123
708
    def setUp(self):
1124
 
        tests.TestCase.setUp(self)
 
709
        TestCase.setUp(self)
1125
710
        self._old_env = {}
1126
711
 
1127
712
    def tearDown(self):
1128
713
        self._restore_env()
1129
 
        tests.TestCase.tearDown(self)
 
714
 
 
715
    def _set_and_capture_env_var(self, name, new_value):
 
716
        """Set an environment variable, and reset it when finished."""
 
717
        self._old_env[name] = osutils.set_or_unset_env(name, new_value)
1130
718
 
1131
719
    def _install_env(self, env):
1132
720
        for name, value in env.iteritems():
1133
 
            self._old_env[name] = osutils.set_or_unset_env(name, value)
 
721
            self._set_and_capture_env_var(name, value)
1134
722
 
1135
723
    def _restore_env(self):
1136
724
        for name, value in self._old_env.iteritems():
1137
725
            osutils.set_or_unset_env(name, value)
1138
726
 
1139
727
    def _proxied_request(self):
1140
 
        handler = _urllib2_wrappers.ProxyHandler()
1141
 
        request = _urllib2_wrappers.Request('GET','http://baz/buzzle')
 
728
        from bzrlib.transport.http._urllib2_wrappers import (
 
729
            ProxyHandler,
 
730
            Request,
 
731
            )
 
732
 
 
733
        handler = ProxyHandler()
 
734
        request = Request('GET','http://baz/buzzle')
1142
735
        handler.set_proxy(request, 'http')
1143
736
        return request
1144
737
 
1147
740
        request = self._proxied_request()
1148
741
        self.assertFalse(request.headers.has_key('Proxy-authorization'))
1149
742
 
 
743
    def test_empty_pass(self):
 
744
        self._install_env({'http_proxy': 'http://joe@bar.com'})
 
745
        request = self._proxied_request()
 
746
        self.assertEqual('Basic ' + 'joe:'.encode('base64').strip(),
 
747
                         request.headers['Proxy-authorization'])
 
748
    def test_user_pass(self):
 
749
        self._install_env({'http_proxy': 'http://joe:foo@bar.com'})
 
750
        request = self._proxied_request()
 
751
        self.assertEqual('Basic ' + 'joe:foo'.encode('base64').strip(),
 
752
                         request.headers['Proxy-authorization'])
 
753
 
1150
754
    def test_invalid_proxy(self):
1151
755
        """A proxy env variable without scheme"""
1152
756
        self._install_env({'http_proxy': 'host:1234'})
1153
757
        self.assertRaises(errors.InvalidURL, self._proxied_request)
1154
758
 
1155
759
 
1156
 
class TestProxyHttpServer(http_utils.TestCaseWithTwoWebservers):
 
760
class TestProxyHttpServer(object):
1157
761
    """Tests proxy server.
1158
762
 
 
763
    This MUST be used by daughter classes that also inherit from
 
764
    TestCaseWithTwoWebservers.
 
765
 
 
766
    We can't inherit directly from TestCaseWithTwoWebservers or
 
767
    the test framework will try to create an instance which
 
768
    cannot run, its implementation being incomplete.
 
769
 
1159
770
    Be aware that we do not setup a real proxy here. Instead, we
1160
771
    check that the *connection* goes through the proxy by serving
1161
772
    different content (the faked proxy server append '-proxied'
1165
776
    # FIXME: We don't have an https server available, so we don't
1166
777
    # test https connections.
1167
778
 
 
779
    # FIXME: Once the test suite is better fitted to test
 
780
    # authorization schemes, test proxy authorizations too (see
 
781
    # bug #83954).
 
782
 
1168
783
    def setUp(self):
1169
 
        super(TestProxyHttpServer, self).setUp()
 
784
        TestCaseWithTwoWebservers.setUp(self)
1170
785
        self.build_tree_contents([('foo', 'contents of foo\n'),
1171
786
                                  ('foo-proxied', 'proxied contents of foo\n')])
1172
787
        # Let's setup some attributes for tests
1173
788
        self.server = self.get_readonly_server()
1174
 
        self.proxy_address = '%s:%d' % (self.server.host, self.server.port)
1175
 
        if self._testing_pycurl():
1176
 
            # Oh my ! pycurl does not check for the port as part of
1177
 
            # no_proxy :-( So we just test the host part
1178
 
            self.no_proxy_host = 'localhost'
1179
 
        else:
1180
 
            self.no_proxy_host = self.proxy_address
 
789
        # FIXME: We should not rely on 'localhost' being the hostname
 
790
        self.proxy_address = 'localhost:%d' % self.server.port
 
791
        self.no_proxy_host = self.proxy_address
1181
792
        # The secondary server is the proxy
1182
793
        self.proxy = self.get_secondary_server()
1183
794
        self.proxy_url = self.proxy.get_url()
1184
795
        self._old_env = {}
1185
796
 
1186
 
    def _testing_pycurl(self):
1187
 
        return pycurl_present and self._transport == PyCurlTransport
1188
 
 
1189
797
    def create_transport_secondary_server(self):
1190
798
        """Creates an http server that will serve files with
1191
799
        '-proxied' appended to their names.
1192
800
        """
1193
 
        return http_utils.ProxyServer(protocol_version=self._protocol_version)
 
801
        return HttpServer(FakeProxyRequestHandler)
 
802
 
 
803
    def _set_and_capture_env_var(self, name, new_value):
 
804
        """Set an environment variable, and reset it when finished."""
 
805
        self._old_env[name] = osutils.set_or_unset_env(name, new_value)
1194
806
 
1195
807
    def _install_env(self, env):
1196
808
        for name, value in env.iteritems():
1197
 
            self._old_env[name] = osutils.set_or_unset_env(name, value)
 
809
            self._set_and_capture_env_var(name, value)
1198
810
 
1199
811
    def _restore_env(self):
1200
812
        for name, value in self._old_env.iteritems():
1205
817
        url = self.server.get_url()
1206
818
        t = self._transport(url)
1207
819
        try:
1208
 
            self.assertEqual('proxied contents of foo\n', t.get('foo').read())
 
820
            self.assertEqual(t.get('foo').read(), 'proxied contents of foo\n')
1209
821
        finally:
1210
822
            self._restore_env()
1211
823
 
1214
826
        url = self.server.get_url()
1215
827
        t = self._transport(url)
1216
828
        try:
1217
 
            self.assertEqual('contents of foo\n', t.get('foo').read())
 
829
            self.assertEqual(t.get('foo').read(), 'contents of foo\n')
1218
830
        finally:
1219
831
            self._restore_env()
1220
832
 
1222
834
        self.proxied_in_env({'http_proxy': self.proxy_url})
1223
835
 
1224
836
    def test_HTTP_PROXY(self):
1225
 
        if self._testing_pycurl():
1226
 
            # pycurl does not check HTTP_PROXY for security reasons
1227
 
            # (for use in a CGI context that we do not care
1228
 
            # about. Should we ?)
1229
 
            raise tests.TestNotApplicable(
1230
 
                'pycurl does not check HTTP_PROXY for security reasons')
1231
837
        self.proxied_in_env({'HTTP_PROXY': self.proxy_url})
1232
838
 
1233
839
    def test_all_proxy(self):
1241
847
                                 'no_proxy': self.no_proxy_host})
1242
848
 
1243
849
    def test_HTTP_PROXY_with_NO_PROXY(self):
1244
 
        if self._testing_pycurl():
1245
 
            raise tests.TestNotApplicable(
1246
 
                'pycurl does not check HTTP_PROXY for security reasons')
1247
850
        self.not_proxied_in_env({'HTTP_PROXY': self.proxy_url,
1248
851
                                 'NO_PROXY': self.no_proxy_host})
1249
852
 
1256
859
                                 'NO_PROXY': self.no_proxy_host})
1257
860
 
1258
861
    def test_http_proxy_without_scheme(self):
1259
 
        if self._testing_pycurl():
1260
 
            # pycurl *ignores* invalid proxy env variables. If that ever change
1261
 
            # in the future, this test will fail indicating that pycurl do not
1262
 
            # ignore anymore such variables.
1263
 
            self.not_proxied_in_env({'http_proxy': self.proxy_address})
1264
 
        else:
1265
 
            self.assertRaises(errors.InvalidURL,
1266
 
                              self.proxied_in_env,
1267
 
                              {'http_proxy': self.proxy_address})
1268
 
 
1269
 
 
1270
 
class TestRanges(http_utils.TestCaseWithWebserver):
1271
 
    """Test the Range header in GET methods."""
1272
 
 
1273
 
    def setUp(self):
1274
 
        http_utils.TestCaseWithWebserver.setUp(self)
 
862
        self.assertRaises(errors.InvalidURL,
 
863
                          self.proxied_in_env,
 
864
                          {'http_proxy': self.proxy_address})
 
865
 
 
866
 
 
867
class TestProxyHttpServer_urllib(TestProxyHttpServer,
 
868
                                 TestCaseWithTwoWebservers):
 
869
    """Tests proxy server for urllib implementation"""
 
870
 
 
871
    _transport = HttpTransport_urllib
 
872
 
 
873
 
 
874
class TestProxyHttpServer_pycurl(TestWithTransport_pycurl,
 
875
                                 TestProxyHttpServer,
 
876
                                 TestCaseWithTwoWebservers):
 
877
    """Tests proxy server for pycurl implementation"""
 
878
 
 
879
    def setUp(self):
 
880
        TestProxyHttpServer.setUp(self)
 
881
        # Oh my ! pycurl does not check for the port as part of
 
882
        # no_proxy :-( So we just test the host part
 
883
        self.no_proxy_host = 'localhost'
 
884
 
 
885
    def test_HTTP_PROXY(self):
 
886
        # pycurl do not check HTTP_PROXY for security reasons
 
887
        # (for use in a CGI context that we do not care
 
888
        # about. Should we ?)
 
889
        raise TestSkipped()
 
890
 
 
891
    def test_HTTP_PROXY_with_NO_PROXY(self):
 
892
        raise TestSkipped()
 
893
 
 
894
    def test_http_proxy_without_scheme(self):
 
895
        # pycurl *ignores* invalid proxy env variables. If that
 
896
        # ever change in the future, this test will fail
 
897
        # indicating that pycurl do not ignore anymore such
 
898
        # variables.
 
899
        self.not_proxied_in_env({'http_proxy': self.proxy_address})
 
900
 
 
901
 
 
902
class TestRanges(object):
 
903
    """Test the Range header in GET methods..
 
904
 
 
905
    This MUST be used by daughter classes that also inherit from
 
906
    TestCaseWithWebserver.
 
907
 
 
908
    We can't inherit directly from TestCaseWithWebserver or the
 
909
    test framework will try to create an instance which cannot
 
910
    run, its implementation being incomplete.
 
911
    """
 
912
 
 
913
    def setUp(self):
 
914
        TestCaseWithWebserver.setUp(self)
1275
915
        self.build_tree_contents([('a', '0123456789')],)
1276
916
        server = self.get_readonly_server()
1277
917
        self.transport = self._transport(server.get_url())
1278
918
 
1279
 
    def create_transport_readonly_server(self):
1280
 
        return http_server.HttpServer(protocol_version=self._protocol_version)
1281
 
 
1282
 
    def _file_contents(self, relpath, ranges):
1283
 
        offsets = [ (start, end - start + 1) for start, end in ranges]
1284
 
        coalesce = self.transport._coalesce_offsets
1285
 
        coalesced = list(coalesce(offsets, limit=0, fudge_factor=0))
1286
 
        code, data = self.transport._get(relpath, coalesced)
1287
 
        self.assertTrue(code in (200, 206),'_get returns: %d' % code)
1288
 
        for start, end in ranges:
1289
 
            data.seek(start)
1290
 
            yield data.read(end - start + 1)
 
919
    def _file_contents(self, relpath, ranges, tail_amount=0):
 
920
         code, data = self.transport._get(relpath, ranges)
 
921
         self.assertTrue(code in (200, 206),'_get returns: %d' % code)
 
922
         for start, end in ranges:
 
923
             data.seek(start)
 
924
             yield data.read(end - start + 1)
1291
925
 
1292
926
    def _file_tail(self, relpath, tail_amount):
1293
 
        code, data = self.transport._get(relpath, [], tail_amount)
1294
 
        self.assertTrue(code in (200, 206),'_get returns: %d' % code)
1295
 
        data.seek(-tail_amount, 2)
1296
 
        return data.read(tail_amount)
 
927
         code, data = self.transport._get(relpath, [], tail_amount)
 
928
         self.assertTrue(code in (200, 206),'_get returns: %d' % code)
 
929
         data.seek(-tail_amount + 1, 2)
 
930
         return data.read(tail_amount)
1297
931
 
1298
932
    def test_range_header(self):
1299
933
        # Valid ranges
1300
934
        map(self.assertEqual,['0', '234'],
1301
935
            list(self._file_contents('a', [(0,0), (2,4)])),)
1302
 
 
1303
 
    def test_range_header_tail(self):
 
936
        # Tail
1304
937
        self.assertEqual('789', self._file_tail('a', 3))
1305
 
 
1306
 
    def test_syntactically_invalid_range_header(self):
1307
 
        self.assertListRaises(errors.InvalidHttpRange,
1308
 
                          self._file_contents, 'a', [(4, 3)])
1309
 
 
1310
 
    def test_semantically_invalid_range_header(self):
1311
 
        self.assertListRaises(errors.InvalidHttpRange,
1312
 
                          self._file_contents, 'a', [(42, 128)])
1313
 
 
1314
 
 
1315
 
class TestHTTPRedirections(http_utils.TestCaseWithRedirectedWebserver):
1316
 
    """Test redirection between http servers."""
 
938
        # Syntactically invalid range
 
939
        self.assertRaises(errors.InvalidRange,
 
940
                          self.transport._get, 'a', [(4, 3)])
 
941
        # Semantically invalid range
 
942
        self.assertRaises(errors.InvalidRange,
 
943
                          self.transport._get, 'a', [(42, 128)])
 
944
 
 
945
 
 
946
class TestRanges_urllib(TestRanges, TestCaseWithWebserver):
 
947
    """Test the Range header in GET methods for urllib implementation"""
 
948
 
 
949
    _transport = HttpTransport_urllib
 
950
 
 
951
 
 
952
class TestRanges_pycurl(TestWithTransport_pycurl,
 
953
                        TestRanges,
 
954
                        TestCaseWithWebserver):
 
955
    """Test the Range header in GET methods for pycurl implementation"""
 
956
 
 
957
 
 
958
class TestHTTPRedirections(object):
 
959
    """Test redirection between http servers.
 
960
 
 
961
    This MUST be used by daughter classes that also inherit from
 
962
    TestCaseWithRedirectedWebserver.
 
963
 
 
964
    We can't inherit directly from TestCaseWithTwoWebservers or the
 
965
    test framework will try to create an instance which cannot
 
966
    run, its implementation being incomplete. 
 
967
    """
1317
968
 
1318
969
    def create_transport_secondary_server(self):
1319
970
        """Create the secondary server redirecting to the primary server"""
1320
971
        new = self.get_readonly_server()
1321
972
 
1322
 
        redirecting = http_utils.HTTPServerRedirecting(
1323
 
            protocol_version=self._protocol_version)
 
973
        redirecting = HTTPServerRedirecting()
1324
974
        redirecting.redirect_to(new.host, new.port)
1325
975
        return redirecting
1326
976
 
1330
980
                                  ('bundle',
1331
981
                                  '# Bazaar revision bundle v0.9\n#\n')
1332
982
                                  ],)
1333
 
        # The requests to the old server will be redirected to the new server
 
983
 
1334
984
        self.old_transport = self._transport(self.old_server.get_url())
1335
985
 
1336
986
    def test_redirected(self):
1341
991
    def test_read_redirected_bundle_from_url(self):
1342
992
        from bzrlib.bundle import read_bundle_from_url
1343
993
        url = self.old_transport.abspath('bundle')
1344
 
        bundle = self.applyDeprecated(deprecated_in((1, 12, 0)),
1345
 
                read_bundle_from_url, url)
 
994
        bundle = read_bundle_from_url(url)
1346
995
        # If read_bundle_from_url was successful we get an empty bundle
1347
996
        self.assertEqual([], bundle.revisions)
1348
997
 
1349
998
 
 
999
class TestHTTPRedirections_urllib(TestHTTPRedirections,
 
1000
                                  TestCaseWithRedirectedWebserver):
 
1001
    """Tests redirections for urllib implementation"""
 
1002
 
 
1003
    _transport = HttpTransport_urllib
 
1004
 
 
1005
 
 
1006
 
 
1007
class TestHTTPRedirections_pycurl(TestWithTransport_pycurl,
 
1008
                                  TestHTTPRedirections,
 
1009
                                  TestCaseWithRedirectedWebserver):
 
1010
    """Tests redirections for pycurl implementation"""
 
1011
 
 
1012
 
1350
1013
class RedirectedRequest(_urllib2_wrappers.Request):
1351
 
    """Request following redirections. """
 
1014
    """Request following redirections"""
1352
1015
 
1353
1016
    init_orig = _urllib2_wrappers.Request.__init__
1354
1017
 
1355
1018
    def __init__(self, method, url, *args, **kwargs):
1356
 
        """Constructor.
1357
 
 
1358
 
        """
1359
 
        # Since the tests using this class will replace
1360
 
        # _urllib2_wrappers.Request, we can't just call the base class __init__
1361
 
        # or we'll loop.
1362
 
        RedirectedRequest.init_orig(self, method, url, *args, **kwargs)
 
1019
        RedirectedRequest.init_orig(self, method, url, args, kwargs)
1363
1020
        self.follow_redirections = True
1364
1021
 
1365
1022
 
1366
 
class TestHTTPSilentRedirections(http_utils.TestCaseWithRedirectedWebserver):
1367
 
    """Test redirections.
 
1023
class TestHTTPSilentRedirections_urllib(TestCaseWithRedirectedWebserver):
 
1024
    """Test redirections provided by urllib.
1368
1025
 
1369
1026
    http implementations do not redirect silently anymore (they
1370
1027
    do not redirect at all in fact). The mechanism is still in
1377
1034
    -- vila 20070212
1378
1035
    """
1379
1036
 
 
1037
    _transport = HttpTransport_urllib
 
1038
 
1380
1039
    def setUp(self):
1381
 
        if pycurl_present and self._transport == PyCurlTransport:
1382
 
            raise tests.TestNotApplicable(
1383
 
                "pycurl doesn't redirect silently annymore")
1384
 
        super(TestHTTPSilentRedirections, self).setUp()
 
1040
        super(TestHTTPSilentRedirections_urllib, self).setUp()
1385
1041
        self.setup_redirected_request()
1386
1042
        self.addCleanup(self.cleanup_redirected_request)
1387
1043
        self.build_tree_contents([('a','a'),
1408
1064
 
1409
1065
    def create_transport_secondary_server(self):
1410
1066
        """Create the secondary server, redirections are defined in the tests"""
1411
 
        return http_utils.HTTPServerRedirecting(
1412
 
            protocol_version=self._protocol_version)
 
1067
        return HTTPServerRedirecting()
1413
1068
 
1414
1069
    def test_one_redirection(self):
1415
1070
        t = self.old_transport
1431
1086
                                       self.old_server.port)
1432
1087
        new_prefix = 'http://%s:%s' % (self.new_server.host,
1433
1088
                                       self.new_server.port)
1434
 
        self.old_server.redirections = [
1435
 
            ('/1(.*)', r'%s/2\1' % (old_prefix), 302),
1436
 
            ('/2(.*)', r'%s/3\1' % (old_prefix), 303),
1437
 
            ('/3(.*)', r'%s/4\1' % (old_prefix), 307),
1438
 
            ('/4(.*)', r'%s/5\1' % (new_prefix), 301),
1439
 
            ('(/[^/]+)', r'%s/1\1' % (old_prefix), 301),
1440
 
            ]
 
1089
        self.old_server.redirections = \
 
1090
            [('/1(.*)', r'%s/2\1' % (old_prefix), 302),
 
1091
             ('/2(.*)', r'%s/3\1' % (old_prefix), 303),
 
1092
             ('/3(.*)', r'%s/4\1' % (old_prefix), 307),
 
1093
             ('/4(.*)', r'%s/5\1' % (new_prefix), 301),
 
1094
             ('(/[^/]+)', r'%s/1\1' % (old_prefix), 301),
 
1095
             ]
1441
1096
        self.assertEquals('redirected 5 times',t._perform(req).read())
1442
1097
 
1443
1098
 
1444
 
class TestDoCatchRedirections(http_utils.TestCaseWithRedirectedWebserver):
1445
 
    """Test transport.do_catching_redirections."""
 
1099
class TestDoCatchRedirections(TestCaseWithRedirectedWebserver):
 
1100
    """Test transport.do_catching_redirections.
 
1101
 
 
1102
    We arbitrarily choose to use urllib transports
 
1103
    """
 
1104
 
 
1105
    _transport = HttpTransport_urllib
1446
1106
 
1447
1107
    def setUp(self):
1448
1108
        super(TestDoCatchRedirections, self).setUp()
1458
1118
 
1459
1119
        # We use None for redirected so that we fail if redirected
1460
1120
        self.assertEquals('0123456789',
1461
 
                          transport.do_catching_redirections(
1462
 
                self.get_a, t, None).read())
 
1121
                          do_catching_redirections(self.get_a, t, None).read())
1463
1122
 
1464
1123
    def test_one_redirection(self):
1465
1124
        self.redirections = 0
1470
1129
            return self._transport(dir)
1471
1130
 
1472
1131
        self.assertEquals('0123456789',
1473
 
                          transport.do_catching_redirections(
1474
 
                self.get_a, self.old_transport, redirected).read())
 
1132
                          do_catching_redirections(self.get_a,
 
1133
                                                   self.old_transport,
 
1134
                                                   redirected
 
1135
                                                   ).read())
1475
1136
        self.assertEquals(1, self.redirections)
1476
1137
 
1477
1138
    def test_redirection_loop(self):
1482
1143
            # a/a/a
1483
1144
            return self.old_transport.clone(exception.target)
1484
1145
 
1485
 
        self.assertRaises(errors.TooManyRedirections,
1486
 
                          transport.do_catching_redirections,
 
1146
        self.assertRaises(errors.TooManyRedirections, do_catching_redirections,
1487
1147
                          self.get_a, self.old_transport, redirected)
1488
 
 
1489
 
 
1490
 
class TestAuth(http_utils.TestCaseWithWebserver):
1491
 
    """Test authentication scheme"""
1492
 
 
1493
 
    _auth_header = 'Authorization'
1494
 
    _password_prompt_prefix = ''
1495
 
    _username_prompt_prefix = ''
1496
 
    # Set by load_tests
1497
 
    _auth_server = None
1498
 
 
1499
 
    def setUp(self):
1500
 
        super(TestAuth, self).setUp()
1501
 
        self.server = self.get_readonly_server()
1502
 
        self.build_tree_contents([('a', 'contents of a\n'),
1503
 
                                  ('b', 'contents of b\n'),])
1504
 
 
1505
 
    def create_transport_readonly_server(self):
1506
 
        return self._auth_server(protocol_version=self._protocol_version)
1507
 
 
1508
 
    def _testing_pycurl(self):
1509
 
        return pycurl_present and self._transport == PyCurlTransport
1510
 
 
1511
 
    def get_user_url(self, user, password):
1512
 
        """Build an url embedding user and password"""
1513
 
        url = '%s://' % self.server._url_protocol
1514
 
        if user is not None:
1515
 
            url += user
1516
 
            if password is not None:
1517
 
                url += ':' + password
1518
 
            url += '@'
1519
 
        url += '%s:%s/' % (self.server.host, self.server.port)
1520
 
        return url
1521
 
 
1522
 
    def get_user_transport(self, user, password):
1523
 
        return self._transport(self.get_user_url(user, password))
1524
 
 
1525
 
    def test_no_user(self):
1526
 
        self.server.add_user('joe', 'foo')
1527
 
        t = self.get_user_transport(None, None)
1528
 
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'a')
1529
 
        # Only one 'Authentication Required' error should occur
1530
 
        self.assertEqual(1, self.server.auth_required_errors)
1531
 
 
1532
 
    def test_empty_pass(self):
1533
 
        self.server.add_user('joe', '')
1534
 
        t = self.get_user_transport('joe', '')
1535
 
        self.assertEqual('contents of a\n', t.get('a').read())
1536
 
        # Only one 'Authentication Required' error should occur
1537
 
        self.assertEqual(1, self.server.auth_required_errors)
1538
 
 
1539
 
    def test_user_pass(self):
1540
 
        self.server.add_user('joe', 'foo')
1541
 
        t = self.get_user_transport('joe', 'foo')
1542
 
        self.assertEqual('contents of a\n', t.get('a').read())
1543
 
        # Only one 'Authentication Required' error should occur
1544
 
        self.assertEqual(1, self.server.auth_required_errors)
1545
 
 
1546
 
    def test_unknown_user(self):
1547
 
        self.server.add_user('joe', 'foo')
1548
 
        t = self.get_user_transport('bill', 'foo')
1549
 
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'a')
1550
 
        # Two 'Authentication Required' errors should occur (the
1551
 
        # initial 'who are you' and 'I don't know you, who are
1552
 
        # you').
1553
 
        self.assertEqual(2, self.server.auth_required_errors)
1554
 
 
1555
 
    def test_wrong_pass(self):
1556
 
        self.server.add_user('joe', 'foo')
1557
 
        t = self.get_user_transport('joe', 'bar')
1558
 
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'a')
1559
 
        # Two 'Authentication Required' errors should occur (the
1560
 
        # initial 'who are you' and 'this is not you, who are you')
1561
 
        self.assertEqual(2, self.server.auth_required_errors)
1562
 
 
1563
 
    def test_prompt_for_username(self):
1564
 
        if self._testing_pycurl():
1565
 
            raise tests.TestNotApplicable(
1566
 
                'pycurl cannot prompt, it handles auth by embedding'
1567
 
                ' user:pass in urls only')
1568
 
 
1569
 
        self.server.add_user('joe', 'foo')
1570
 
        t = self.get_user_transport(None, None)
1571
 
        stdout = tests.StringIOWrapper()
1572
 
        ui.ui_factory = tests.TestUIFactory(stdin='joe\nfoo\n', stdout=stdout)
1573
 
        self.assertEqual('contents of a\n',t.get('a').read())
1574
 
        # stdin should be empty
1575
 
        self.assertEqual('', ui.ui_factory.stdin.readline())
1576
 
        stdout.seek(0)
1577
 
        expected_prompt = self._expected_username_prompt(t._unqualified_scheme)
1578
 
        self.assertEquals(expected_prompt, stdout.read(len(expected_prompt)))
1579
 
        self._check_password_prompt(t._unqualified_scheme, 'joe',
1580
 
                                    stdout.readline())
1581
 
 
1582
 
    def test_prompt_for_password(self):
1583
 
        if self._testing_pycurl():
1584
 
            raise tests.TestNotApplicable(
1585
 
                'pycurl cannot prompt, it handles auth by embedding'
1586
 
                ' user:pass in urls only')
1587
 
 
1588
 
        self.server.add_user('joe', 'foo')
1589
 
        t = self.get_user_transport('joe', None)
1590
 
        stdout = tests.StringIOWrapper()
1591
 
        ui.ui_factory = tests.TestUIFactory(stdin='foo\n', stdout=stdout)
1592
 
        self.assertEqual('contents of a\n',t.get('a').read())
1593
 
        # stdin should be empty
1594
 
        self.assertEqual('', ui.ui_factory.stdin.readline())
1595
 
        self._check_password_prompt(t._unqualified_scheme, 'joe',
1596
 
                                    stdout.getvalue())
1597
 
        # And we shouldn't prompt again for a different request
1598
 
        # against the same transport.
1599
 
        self.assertEqual('contents of b\n',t.get('b').read())
1600
 
        t2 = t.clone()
1601
 
        # And neither against a clone
1602
 
        self.assertEqual('contents of b\n',t2.get('b').read())
1603
 
        # Only one 'Authentication Required' error should occur
1604
 
        self.assertEqual(1, self.server.auth_required_errors)
1605
 
 
1606
 
    def _check_password_prompt(self, scheme, user, actual_prompt):
1607
 
        expected_prompt = (self._password_prompt_prefix
1608
 
                           + ("%s %s@%s:%d, Realm: '%s' password: "
1609
 
                              % (scheme.upper(),
1610
 
                                 user, self.server.host, self.server.port,
1611
 
                                 self.server.auth_realm)))
1612
 
        self.assertEquals(expected_prompt, actual_prompt)
1613
 
 
1614
 
    def _expected_username_prompt(self, scheme):
1615
 
        return (self._username_prompt_prefix
1616
 
                + "%s %s:%d, Realm: '%s' username: " % (scheme.upper(),
1617
 
                                 self.server.host, self.server.port,
1618
 
                                 self.server.auth_realm))
1619
 
 
1620
 
    def test_no_prompt_for_password_when_using_auth_config(self):
1621
 
        if self._testing_pycurl():
1622
 
            raise tests.TestNotApplicable(
1623
 
                'pycurl does not support authentication.conf'
1624
 
                ' since it cannot prompt')
1625
 
 
1626
 
        user =' joe'
1627
 
        password = 'foo'
1628
 
        stdin_content = 'bar\n'  # Not the right password
1629
 
        self.server.add_user(user, password)
1630
 
        t = self.get_user_transport(user, None)
1631
 
        ui.ui_factory = tests.TestUIFactory(stdin=stdin_content,
1632
 
                                            stdout=tests.StringIOWrapper())
1633
 
        # Create a minimal config file with the right password
1634
 
        conf = config.AuthenticationConfig()
1635
 
        conf._get_config().update(
1636
 
            {'httptest': {'scheme': 'http', 'port': self.server.port,
1637
 
                          'user': user, 'password': password}})
1638
 
        conf._save()
1639
 
        # Issue a request to the server to connect
1640
 
        self.assertEqual('contents of a\n',t.get('a').read())
1641
 
        # stdin should have  been left untouched
1642
 
        self.assertEqual(stdin_content, ui.ui_factory.stdin.readline())
1643
 
        # Only one 'Authentication Required' error should occur
1644
 
        self.assertEqual(1, self.server.auth_required_errors)
1645
 
 
1646
 
    def test_user_from_auth_conf(self):
1647
 
        if self._testing_pycurl():
1648
 
            raise tests.TestNotApplicable(
1649
 
                'pycurl does not support authentication.conf')
1650
 
        user = 'joe'
1651
 
        password = 'foo'
1652
 
        self.server.add_user(user, password)
1653
 
        # Create a minimal config file with the right password
1654
 
        conf = config.AuthenticationConfig()
1655
 
        conf._get_config().update(
1656
 
            {'httptest': {'scheme': 'http', 'port': self.server.port,
1657
 
                          'user': user, 'password': password}})
1658
 
        conf._save()
1659
 
        t = self.get_user_transport(None, None)
1660
 
        # Issue a request to the server to connect
1661
 
        self.assertEqual('contents of a\n', t.get('a').read())
1662
 
        # Only one 'Authentication Required' error should occur
1663
 
        self.assertEqual(1, self.server.auth_required_errors)
1664
 
 
1665
 
    def test_changing_nonce(self):
1666
 
        if self._auth_server not in (http_utils.HTTPDigestAuthServer,
1667
 
                                     http_utils.ProxyDigestAuthServer):
1668
 
            raise tests.TestNotApplicable('HTTP/proxy auth digest only test')
1669
 
        if self._testing_pycurl():
1670
 
            raise tests.KnownFailure(
1671
 
                'pycurl does not handle a nonce change')
1672
 
        self.server.add_user('joe', 'foo')
1673
 
        t = self.get_user_transport('joe', 'foo')
1674
 
        self.assertEqual('contents of a\n', t.get('a').read())
1675
 
        self.assertEqual('contents of b\n', t.get('b').read())
1676
 
        # Only one 'Authentication Required' error should have
1677
 
        # occured so far
1678
 
        self.assertEqual(1, self.server.auth_required_errors)
1679
 
        # The server invalidates the current nonce
1680
 
        self.server.auth_nonce = self.server.auth_nonce + '. No, now!'
1681
 
        self.assertEqual('contents of a\n', t.get('a').read())
1682
 
        # Two 'Authentication Required' errors should occur (the
1683
 
        # initial 'who are you' and a second 'who are you' with the new nonce)
1684
 
        self.assertEqual(2, self.server.auth_required_errors)
1685
 
 
1686
 
 
1687
 
 
1688
 
class TestProxyAuth(TestAuth):
1689
 
    """Test proxy authentication schemes."""
1690
 
 
1691
 
    _auth_header = 'Proxy-authorization'
1692
 
    _password_prompt_prefix = 'Proxy '
1693
 
    _username_prompt_prefix = 'Proxy '
1694
 
 
1695
 
    def setUp(self):
1696
 
        super(TestProxyAuth, self).setUp()
1697
 
        self._old_env = {}
1698
 
        self.addCleanup(self._restore_env)
1699
 
        # Override the contents to avoid false positives
1700
 
        self.build_tree_contents([('a', 'not proxied contents of a\n'),
1701
 
                                  ('b', 'not proxied contents of b\n'),
1702
 
                                  ('a-proxied', 'contents of a\n'),
1703
 
                                  ('b-proxied', 'contents of b\n'),
1704
 
                                  ])
1705
 
 
1706
 
    def get_user_transport(self, user, password):
1707
 
        self._install_env({'all_proxy': self.get_user_url(user, password)})
1708
 
        return self._transport(self.server.get_url())
1709
 
 
1710
 
    def _install_env(self, env):
1711
 
        for name, value in env.iteritems():
1712
 
            self._old_env[name] = osutils.set_or_unset_env(name, value)
1713
 
 
1714
 
    def _restore_env(self):
1715
 
        for name, value in self._old_env.iteritems():
1716
 
            osutils.set_or_unset_env(name, value)
1717
 
 
1718
 
    def test_empty_pass(self):
1719
 
        if self._testing_pycurl():
1720
 
            import pycurl
1721
 
            if pycurl.version_info()[1] < '7.16.0':
1722
 
                raise tests.KnownFailure(
1723
 
                    'pycurl < 7.16.0 does not handle empty proxy passwords')
1724
 
        super(TestProxyAuth, self).test_empty_pass()
1725
 
 
1726
 
 
1727
 
class SampleSocket(object):
1728
 
    """A socket-like object for use in testing the HTTP request handler."""
1729
 
 
1730
 
    def __init__(self, socket_read_content):
1731
 
        """Constructs a sample socket.
1732
 
 
1733
 
        :param socket_read_content: a byte sequence
1734
 
        """
1735
 
        # Use plain python StringIO so we can monkey-patch the close method to
1736
 
        # not discard the contents.
1737
 
        from StringIO import StringIO
1738
 
        self.readfile = StringIO(socket_read_content)
1739
 
        self.writefile = StringIO()
1740
 
        self.writefile.close = lambda: None
1741
 
 
1742
 
    def makefile(self, mode='r', bufsize=None):
1743
 
        if 'r' in mode:
1744
 
            return self.readfile
1745
 
        else:
1746
 
            return self.writefile
1747
 
 
1748
 
 
1749
 
class SmartHTTPTunnellingTest(tests.TestCaseWithTransport):
1750
 
 
1751
 
    def setUp(self):
1752
 
        super(SmartHTTPTunnellingTest, self).setUp()
1753
 
        # We use the VFS layer as part of HTTP tunnelling tests.
1754
 
        self._captureVar('BZR_NO_SMART_VFS', None)
1755
 
        self.transport_readonly_server = http_utils.HTTPServerWithSmarts
1756
 
 
1757
 
    def create_transport_readonly_server(self):
1758
 
        return http_utils.HTTPServerWithSmarts(
1759
 
            protocol_version=self._protocol_version)
1760
 
 
1761
 
    def test_open_bzrdir(self):
1762
 
        branch = self.make_branch('relpath')
1763
 
        http_server = self.get_readonly_server()
1764
 
        url = http_server.get_url() + 'relpath'
1765
 
        bd = bzrdir.BzrDir.open(url)
1766
 
        self.assertIsInstance(bd, _mod_remote.RemoteBzrDir)
1767
 
 
1768
 
    def test_bulk_data(self):
1769
 
        # We should be able to send and receive bulk data in a single message.
1770
 
        # The 'readv' command in the smart protocol both sends and receives
1771
 
        # bulk data, so we use that.
1772
 
        self.build_tree(['data-file'])
1773
 
        http_server = self.get_readonly_server()
1774
 
        http_transport = self._transport(http_server.get_url())
1775
 
        medium = http_transport.get_smart_medium()
1776
 
        # Since we provide the medium, the url below will be mostly ignored
1777
 
        # during the test, as long as the path is '/'.
1778
 
        remote_transport = remote.RemoteTransport('bzr://fake_host/',
1779
 
                                                  medium=medium)
1780
 
        self.assertEqual(
1781
 
            [(0, "c")], list(remote_transport.readv("data-file", [(0,1)])))
1782
 
 
1783
 
    def test_http_send_smart_request(self):
1784
 
 
1785
 
        post_body = 'hello\n'
1786
 
        expected_reply_body = 'ok\x012\n'
1787
 
 
1788
 
        http_server = self.get_readonly_server()
1789
 
        http_transport = self._transport(http_server.get_url())
1790
 
        medium = http_transport.get_smart_medium()
1791
 
        response = medium.send_http_smart_request(post_body)
1792
 
        reply_body = response.read()
1793
 
        self.assertEqual(expected_reply_body, reply_body)
1794
 
 
1795
 
    def test_smart_http_server_post_request_handler(self):
1796
 
        httpd = self.get_readonly_server()._get_httpd()
1797
 
 
1798
 
        socket = SampleSocket(
1799
 
            'POST /.bzr/smart %s \r\n' % self._protocol_version
1800
 
            # HTTP/1.1 posts must have a Content-Length (but it doesn't hurt
1801
 
            # for 1.0)
1802
 
            + 'Content-Length: 6\r\n'
1803
 
            '\r\n'
1804
 
            'hello\n')
1805
 
        # Beware: the ('localhost', 80) below is the
1806
 
        # client_address parameter, but we don't have one because
1807
 
        # we have defined a socket which is not bound to an
1808
 
        # address. The test framework never uses this client
1809
 
        # address, so far...
1810
 
        request_handler = http_utils.SmartRequestHandler(socket,
1811
 
                                                         ('localhost', 80),
1812
 
                                                         httpd)
1813
 
        response = socket.writefile.getvalue()
1814
 
        self.assertStartsWith(response, '%s 200 ' % self._protocol_version)
1815
 
        # This includes the end of the HTTP headers, and all the body.
1816
 
        expected_end_of_response = '\r\n\r\nok\x012\n'
1817
 
        self.assertEndsWith(response, expected_end_of_response)
1818
 
 
1819
 
 
1820
 
class ForbiddenRequestHandler(http_server.TestingHTTPRequestHandler):
1821
 
    """No smart server here request handler."""
1822
 
 
1823
 
    def do_POST(self):
1824
 
        self.send_error(403, "Forbidden")
1825
 
 
1826
 
 
1827
 
class SmartClientAgainstNotSmartServer(TestSpecificRequestHandler):
1828
 
    """Test smart client behaviour against an http server without smarts."""
1829
 
 
1830
 
    _req_handler_class = ForbiddenRequestHandler
1831
 
 
1832
 
    def test_probe_smart_server(self):
1833
 
        """Test error handling against server refusing smart requests."""
1834
 
        server = self.get_readonly_server()
1835
 
        t = self._transport(server.get_url())
1836
 
        # No need to build a valid smart request here, the server will not even
1837
 
        # try to interpret it.
1838
 
        self.assertRaises(errors.SmartProtocolError,
1839
 
                          t.get_smart_medium().send_http_smart_request,
1840
 
                          'whatever')
1841
 
 
1842
 
class Test_redirected_to(tests.TestCase):
1843
 
 
1844
 
    def test_redirected_to_subdir(self):
1845
 
        t = self._transport('http://www.example.com/foo')
1846
 
        r = t._redirected_to('http://www.example.com/foo',
1847
 
                             'http://www.example.com/foo/subdir')
1848
 
        self.assertIsInstance(r, type(t))
1849
 
        # Both transports share the some connection
1850
 
        self.assertEquals(t._get_connection(), r._get_connection())
1851
 
 
1852
 
    def test_redirected_to_self_with_slash(self):
1853
 
        t = self._transport('http://www.example.com/foo')
1854
 
        r = t._redirected_to('http://www.example.com/foo',
1855
 
                             'http://www.example.com/foo/')
1856
 
        self.assertIsInstance(r, type(t))
1857
 
        # Both transports share the some connection (one can argue that we
1858
 
        # should return the exact same transport here, but that seems
1859
 
        # overkill).
1860
 
        self.assertEquals(t._get_connection(), r._get_connection())
1861
 
 
1862
 
    def test_redirected_to_host(self):
1863
 
        t = self._transport('http://www.example.com/foo')
1864
 
        r = t._redirected_to('http://www.example.com/foo',
1865
 
                             'http://foo.example.com/foo/subdir')
1866
 
        self.assertIsInstance(r, type(t))
1867
 
 
1868
 
    def test_redirected_to_same_host_sibling_protocol(self):
1869
 
        t = self._transport('http://www.example.com/foo')
1870
 
        r = t._redirected_to('http://www.example.com/foo',
1871
 
                             'https://www.example.com/foo')
1872
 
        self.assertIsInstance(r, type(t))
1873
 
 
1874
 
    def test_redirected_to_same_host_different_protocol(self):
1875
 
        t = self._transport('http://www.example.com/foo')
1876
 
        r = t._redirected_to('http://www.example.com/foo',
1877
 
                             'ftp://www.example.com/foo')
1878
 
        self.assertNotEquals(type(r), type(t))
1879
 
 
1880
 
    def test_redirected_to_different_host_same_user(self):
1881
 
        t = self._transport('http://joe@www.example.com/foo')
1882
 
        r = t._redirected_to('http://www.example.com/foo',
1883
 
                             'https://foo.example.com/foo')
1884
 
        self.assertIsInstance(r, type(t))
1885
 
        self.assertEquals(t._user, r._user)
1886
 
 
1887
 
 
1888
 
class PredefinedRequestHandler(http_server.TestingHTTPRequestHandler):
1889
 
    """Request handler for a unique and pre-defined request.
1890
 
 
1891
 
    The only thing we care about here is how many bytes travel on the wire. But
1892
 
    since we want to measure it for a real http client, we have to send it
1893
 
    correct responses.
1894
 
 
1895
 
    We expect to receive a *single* request nothing more (and we won't even
1896
 
    check what request it is, we just measure the bytes read until an empty
1897
 
    line.
1898
 
    """
1899
 
 
1900
 
    def handle_one_request(self):
1901
 
        tcs = self.server.test_case_server
1902
 
        requestline = self.rfile.readline()
1903
 
        headers = self.MessageClass(self.rfile, 0)
1904
 
        # We just read: the request, the headers, an empty line indicating the
1905
 
        # end of the headers.
1906
 
        bytes_read = len(requestline)
1907
 
        for line in headers.headers:
1908
 
            bytes_read += len(line)
1909
 
        bytes_read += len('\r\n')
1910
 
        if requestline.startswith('POST'):
1911
 
            # The body should be a single line (or we don't know where it ends
1912
 
            # and we don't want to issue a blocking read)
1913
 
            body = self.rfile.readline()
1914
 
            bytes_read += len(body)
1915
 
        tcs.bytes_read = bytes_read
1916
 
 
1917
 
        # We set the bytes written *before* issuing the write, the client is
1918
 
        # supposed to consume every produced byte *before* checking that value.
1919
 
 
1920
 
        # Doing the oppposite may lead to test failure: we may be interrupted
1921
 
        # after the write but before updating the value. The client can then
1922
 
        # continue and read the value *before* we can update it. And yes,
1923
 
        # this has been observed -- vila 20090129
1924
 
        tcs.bytes_written = len(tcs.canned_response)
1925
 
        self.wfile.write(tcs.canned_response)
1926
 
 
1927
 
 
1928
 
class ActivityServerMixin(object):
1929
 
 
1930
 
    def __init__(self, protocol_version):
1931
 
        super(ActivityServerMixin, self).__init__(
1932
 
            request_handler=PredefinedRequestHandler,
1933
 
            protocol_version=protocol_version)
1934
 
        # Bytes read and written by the server
1935
 
        self.bytes_read = 0
1936
 
        self.bytes_written = 0
1937
 
        self.canned_response = None
1938
 
 
1939
 
 
1940
 
class ActivityHTTPServer(ActivityServerMixin, http_server.HttpServer):
1941
 
    pass
1942
 
 
1943
 
 
1944
 
if tests.HTTPSServerFeature.available():
1945
 
    from bzrlib.tests import https_server
1946
 
    class ActivityHTTPSServer(ActivityServerMixin, https_server.HTTPSServer):
1947
 
        pass
1948
 
 
1949
 
 
1950
 
class TestActivity(tests.TestCase):
1951
 
    """Test socket activity reporting.
1952
 
 
1953
 
    We use a special purpose server to control the bytes sent and received and
1954
 
    be able to predict the activity on the client socket.
1955
 
    """
1956
 
 
1957
 
    def setUp(self):
1958
 
        tests.TestCase.setUp(self)
1959
 
        self.server = self._activity_server(self._protocol_version)
1960
 
        self.server.setUp()
1961
 
        self.activities = {}
1962
 
        def report_activity(t, bytes, direction):
1963
 
            count = self.activities.get(direction, 0)
1964
 
            count += bytes
1965
 
            self.activities[direction] = count
1966
 
 
1967
 
        # We override at class level because constructors may propagate the
1968
 
        # bound method and render instance overriding ineffective (an
1969
 
        # alternative would be to define a specific ui factory instead...)
1970
 
        self.orig_report_activity = self._transport._report_activity
1971
 
        self._transport._report_activity = report_activity
1972
 
 
1973
 
    def tearDown(self):
1974
 
        self._transport._report_activity = self.orig_report_activity
1975
 
        self.server.tearDown()
1976
 
        tests.TestCase.tearDown(self)
1977
 
 
1978
 
    def get_transport(self):
1979
 
        return self._transport(self.server.get_url())
1980
 
 
1981
 
    def assertActivitiesMatch(self):
1982
 
        self.assertEqual(self.server.bytes_read,
1983
 
                         self.activities.get('write', 0), 'written bytes')
1984
 
        self.assertEqual(self.server.bytes_written,
1985
 
                         self.activities.get('read', 0), 'read bytes')
1986
 
 
1987
 
    def test_get(self):
1988
 
        self.server.canned_response = '''HTTP/1.1 200 OK\r
1989
 
Date: Tue, 11 Jul 2006 04:32:56 GMT\r
1990
 
Server: Apache/2.0.54 (Fedora)\r
1991
 
Last-Modified: Sun, 23 Apr 2006 19:35:20 GMT\r
1992
 
ETag: "56691-23-38e9ae00"\r
1993
 
Accept-Ranges: bytes\r
1994
 
Content-Length: 35\r
1995
 
Connection: close\r
1996
 
Content-Type: text/plain; charset=UTF-8\r
1997
 
\r
1998
 
Bazaar-NG meta directory, format 1
1999
 
'''
2000
 
        t = self.get_transport()
2001
 
        self.assertEqual('Bazaar-NG meta directory, format 1\n',
2002
 
                         t.get('foo/bar').read())
2003
 
        self.assertActivitiesMatch()
2004
 
 
2005
 
    def test_has(self):
2006
 
        self.server.canned_response = '''HTTP/1.1 200 OK\r
2007
 
Server: SimpleHTTP/0.6 Python/2.5.2\r
2008
 
Date: Thu, 29 Jan 2009 20:21:47 GMT\r
2009
 
Content-type: application/octet-stream\r
2010
 
Content-Length: 20\r
2011
 
Last-Modified: Thu, 29 Jan 2009 20:21:47 GMT\r
2012
 
\r
2013
 
'''
2014
 
        t = self.get_transport()
2015
 
        self.assertTrue(t.has('foo/bar'))
2016
 
        self.assertActivitiesMatch()
2017
 
 
2018
 
    def test_readv(self):
2019
 
        self.server.canned_response = '''HTTP/1.1 206 Partial Content\r
2020
 
Date: Tue, 11 Jul 2006 04:49:48 GMT\r
2021
 
Server: Apache/2.0.54 (Fedora)\r
2022
 
Last-Modified: Thu, 06 Jul 2006 20:22:05 GMT\r
2023
 
ETag: "238a3c-16ec2-805c5540"\r
2024
 
Accept-Ranges: bytes\r
2025
 
Content-Length: 1534\r
2026
 
Connection: close\r
2027
 
Content-Type: multipart/byteranges; boundary=418470f848b63279b\r
2028
 
\r
2029
 
\r
2030
 
--418470f848b63279b\r
2031
 
Content-type: text/plain; charset=UTF-8\r
2032
 
Content-range: bytes 0-254/93890\r
2033
 
\r
2034
 
mbp@sourcefrog.net-20050309040815-13242001617e4a06
2035
 
mbp@sourcefrog.net-20050309040929-eee0eb3e6d1e7627
2036
 
mbp@sourcefrog.net-20050309040957-6cad07f466bb0bb8
2037
 
mbp@sourcefrog.net-20050309041501-c840e09071de3b67
2038
 
mbp@sourcefrog.net-20050309044615-c24a3250be83220a
2039
 
\r
2040
 
--418470f848b63279b\r
2041
 
Content-type: text/plain; charset=UTF-8\r
2042
 
Content-range: bytes 1000-2049/93890\r
2043
 
\r
2044
 
40-fd4ec249b6b139ab
2045
 
mbp@sourcefrog.net-20050311063625-07858525021f270b
2046
 
mbp@sourcefrog.net-20050311231934-aa3776aff5200bb9
2047
 
mbp@sourcefrog.net-20050311231953-73aeb3a131c3699a
2048
 
mbp@sourcefrog.net-20050311232353-f5e33da490872c6a
2049
 
mbp@sourcefrog.net-20050312071639-0a8f59a34a024ff0
2050
 
mbp@sourcefrog.net-20050312073432-b2c16a55e0d6e9fb
2051
 
mbp@sourcefrog.net-20050312073831-a47c3335ece1920f
2052
 
mbp@sourcefrog.net-20050312085412-13373aa129ccbad3
2053
 
mbp@sourcefrog.net-20050313052251-2bf004cb96b39933
2054
 
mbp@sourcefrog.net-20050313052856-3edd84094687cb11
2055
 
mbp@sourcefrog.net-20050313053233-e30a4f28aef48f9d
2056
 
mbp@sourcefrog.net-20050313053853-7c64085594ff3072
2057
 
mbp@sourcefrog.net-20050313054757-a86c3f5871069e22
2058
 
mbp@sourcefrog.net-20050313061422-418f1f73b94879b9
2059
 
mbp@sourcefrog.net-20050313120651-497bd231b19df600
2060
 
mbp@sourcefrog.net-20050314024931-eae0170ef25a5d1a
2061
 
mbp@sourcefrog.net-20050314025438-d52099f915fe65fc
2062
 
mbp@sourcefrog.net-20050314025539-637a636692c055cf
2063
 
mbp@sourcefrog.net-20050314025737-55eb441f430ab4ba
2064
 
mbp@sourcefrog.net-20050314025901-d74aa93bb7ee8f62
2065
 
mbp@source\r
2066
 
--418470f848b63279b--\r
2067
 
'''
2068
 
        t = self.get_transport()
2069
 
        # Remember that the request is ignored and that the ranges below
2070
 
        # doesn't have to match the canned response.
2071
 
        l = list(t.readv('/foo/bar', ((0, 255), (1000, 1050))))
2072
 
        self.assertEqual(2, len(l))
2073
 
        self.assertActivitiesMatch()
2074
 
 
2075
 
    def test_post(self):
2076
 
        self.server.canned_response = '''HTTP/1.1 200 OK\r
2077
 
Date: Tue, 11 Jul 2006 04:32:56 GMT\r
2078
 
Server: Apache/2.0.54 (Fedora)\r
2079
 
Last-Modified: Sun, 23 Apr 2006 19:35:20 GMT\r
2080
 
ETag: "56691-23-38e9ae00"\r
2081
 
Accept-Ranges: bytes\r
2082
 
Content-Length: 35\r
2083
 
Connection: close\r
2084
 
Content-Type: text/plain; charset=UTF-8\r
2085
 
\r
2086
 
lalala whatever as long as itsssss
2087
 
'''
2088
 
        t = self.get_transport()
2089
 
        # We must send a single line of body bytes, see
2090
 
        # PredefinedRequestHandler.handle_one_request
2091
 
        code, f = t._post('abc def end-of-body\n')
2092
 
        self.assertEqual('lalala whatever as long as itsssss\n', f.read())
2093
 
        self.assertActivitiesMatch()