~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_http.py

  • Committer: Martin Pool
  • Date: 2005-09-30 05:56:05 UTC
  • mto: (1185.14.2)
  • mto: This revision was merged to the branch mainline in revision 1396.
  • Revision ID: mbp@sourcefrog.net-20050930055605-a2c534529b392a7d
- fix upgrade for transport changes

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
2
 
#
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
#
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
#
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
# FIXME: This test should be repeated for each available http client
18
 
# implementation; at the moment we have urllib and pycurl.
19
 
 
20
 
# TODO: Should be renamed to bzrlib.transport.http.tests?
21
 
# TODO: What about renaming to bzrlib.tests.transport.http ?
22
 
 
23
 
import os
24
 
import select
25
 
import socket
26
 
import threading
27
 
 
28
 
import bzrlib
29
 
from bzrlib import errors
30
 
from bzrlib import osutils
31
 
from bzrlib.tests import (
32
 
    TestCase,
33
 
    TestSkipped,
34
 
    )
35
 
from bzrlib.tests.HttpServer import (
36
 
    HttpServer,
37
 
    HttpServer_PyCurl,
38
 
    HttpServer_urllib,
39
 
    )
40
 
from bzrlib.tests.HTTPTestUtil import (
41
 
    BadProtocolRequestHandler,
42
 
    BadStatusRequestHandler,
43
 
    FakeProxyRequestHandler,
44
 
    ForbiddenRequestHandler,
45
 
    InvalidStatusRequestHandler,
46
 
    NoRangeRequestHandler,
47
 
    SingleRangeRequestHandler,
48
 
    TestCaseWithTwoWebservers,
49
 
    TestCaseWithWebserver,
50
 
    WallRequestHandler,
51
 
    )
52
 
from bzrlib.transport import (
53
 
    get_transport,
54
 
    Transport,
55
 
    )
56
 
from bzrlib.transport.http import (
57
 
    extract_auth,
58
 
    HttpTransportBase,
59
 
    )
60
 
from bzrlib.transport.http._urllib import HttpTransport_urllib
61
 
 
62
 
 
63
 
class FakeManager(object):
64
 
 
65
 
    def __init__(self):
66
 
        self.credentials = []
67
 
 
68
 
    def add_password(self, realm, host, username, password):
69
 
        self.credentials.append([realm, host, username, password])
70
 
 
71
 
 
72
 
class RecordingServer(object):
73
 
    """A fake HTTP server.
74
 
    
75
 
    It records the bytes sent to it, and replies with a 200.
76
 
    """
77
 
 
78
 
    def __init__(self, expect_body_tail=None):
79
 
        """Constructor.
80
 
 
81
 
        :type expect_body_tail: str
82
 
        :param expect_body_tail: a reply won't be sent until this string is
83
 
            received.
84
 
        """
85
 
        self._expect_body_tail = expect_body_tail
86
 
        self.host = None
87
 
        self.port = None
88
 
        self.received_bytes = ''
89
 
 
90
 
    def setUp(self):
91
 
        self._sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
92
 
        self._sock.bind(('127.0.0.1', 0))
93
 
        self.host, self.port = self._sock.getsockname()
94
 
        self._ready = threading.Event()
95
 
        self._thread = threading.Thread(target=self._accept_read_and_reply)
96
 
        self._thread.setDaemon(True)
97
 
        self._thread.start()
98
 
        self._ready.wait(5)
99
 
 
100
 
    def _accept_read_and_reply(self):
101
 
        self._sock.listen(1)
102
 
        self._ready.set()
103
 
        self._sock.settimeout(5)
104
 
        try:
105
 
            conn, address = self._sock.accept()
106
 
            # On win32, the accepted connection will be non-blocking to start
107
 
            # with because we're using settimeout.
108
 
            conn.setblocking(True)
109
 
            while not self.received_bytes.endswith(self._expect_body_tail):
110
 
                self.received_bytes += conn.recv(4096)
111
 
            conn.sendall('HTTP/1.1 200 OK\r\n')
112
 
        except socket.timeout:
113
 
            # Make sure the client isn't stuck waiting for us to e.g. accept.
114
 
            self._sock.close()
115
 
        except socket.error:
116
 
            # The client may have already closed the socket.
117
 
            pass
118
 
 
119
 
    def tearDown(self):
120
 
        try:
121
 
            self._sock.close()
122
 
        except socket.error:
123
 
            # We might have already closed it.  We don't care.
124
 
            pass
125
 
        self.host = None
126
 
        self.port = None
127
 
 
128
 
 
129
 
class TestHttpUrls(TestCase):
130
 
 
131
 
    # FIXME: Some of these tests should be done for both
132
 
    # implementations
133
 
 
134
 
    def test_url_parsing(self):
135
 
        f = FakeManager()
136
 
        url = extract_auth('http://example.com', f)
137
 
        self.assertEquals('http://example.com', url)
138
 
        self.assertEquals(0, len(f.credentials))
139
 
        url = extract_auth('http://user:pass@www.bazaar-vcs.org/bzr/bzr.dev', f)
140
 
        self.assertEquals('http://www.bazaar-vcs.org/bzr/bzr.dev', url)
141
 
        self.assertEquals(1, len(f.credentials))
142
 
        self.assertEquals([None, 'www.bazaar-vcs.org', 'user', 'pass'],
143
 
                          f.credentials[0])
144
 
 
145
 
    def test_abs_url(self):
146
 
        """Construction of absolute http URLs"""
147
 
        t = HttpTransport_urllib('http://bazaar-vcs.org/bzr/bzr.dev/')
148
 
        eq = self.assertEqualDiff
149
 
        eq(t.abspath('.'),
150
 
           'http://bazaar-vcs.org/bzr/bzr.dev')
151
 
        eq(t.abspath('foo/bar'),
152
 
           'http://bazaar-vcs.org/bzr/bzr.dev/foo/bar')
153
 
        eq(t.abspath('.bzr'),
154
 
           'http://bazaar-vcs.org/bzr/bzr.dev/.bzr')
155
 
        eq(t.abspath('.bzr/1//2/./3'),
156
 
           'http://bazaar-vcs.org/bzr/bzr.dev/.bzr/1/2/3')
157
 
 
158
 
    def test_invalid_http_urls(self):
159
 
        """Trap invalid construction of urls"""
160
 
        t = HttpTransport_urllib('http://bazaar-vcs.org/bzr/bzr.dev/')
161
 
        self.assertRaises(ValueError,
162
 
            t.abspath,
163
 
            '.bzr/')
164
 
        t = HttpTransport_urllib('http://http://bazaar-vcs.org/bzr/bzr.dev/')
165
 
        self.assertRaises(errors.InvalidURL, t.has, 'foo/bar')
166
 
 
167
 
    def test_http_root_urls(self):
168
 
        """Construction of URLs from server root"""
169
 
        t = HttpTransport_urllib('http://bzr.ozlabs.org/')
170
 
        eq = self.assertEqualDiff
171
 
        eq(t.abspath('.bzr/tree-version'),
172
 
           'http://bzr.ozlabs.org/.bzr/tree-version')
173
 
 
174
 
    def test_http_impl_urls(self):
175
 
        """There are servers which ask for particular clients to connect"""
176
 
        server = HttpServer_PyCurl()
177
 
        try:
178
 
            server.setUp()
179
 
            url = server.get_url()
180
 
            self.assertTrue(url.startswith('http+pycurl://'))
181
 
        finally:
182
 
            server.tearDown()
183
 
 
184
 
 
185
 
class TestHttpConnections(object):
186
 
    """Test the http connections.
187
 
 
188
 
    This MUST be used by daughter classes that also inherit from
189
 
    TestCaseWithWebserver.
190
 
 
191
 
    We can't inherit directly from TestCaseWithWebserver or the
192
 
    test framework will try to create an instance which cannot
193
 
    run, its implementation being incomplete.
194
 
    """
195
 
 
196
 
    def setUp(self):
197
 
        TestCaseWithWebserver.setUp(self)
198
 
        self.build_tree(['xxx', 'foo/', 'foo/bar'], line_endings='binary',
199
 
                        transport=self.get_transport())
200
 
 
201
 
    def test_http_has(self):
202
 
        server = self.get_readonly_server()
203
 
        t = self._transport(server.get_url())
204
 
        self.assertEqual(t.has('foo/bar'), True)
205
 
        self.assertEqual(len(server.logs), 1)
206
 
        self.assertContainsRe(server.logs[0],
207
 
            r'"HEAD /foo/bar HTTP/1.." (200|302) - "-" "bzr/')
208
 
 
209
 
    def test_http_has_not_found(self):
210
 
        server = self.get_readonly_server()
211
 
        t = self._transport(server.get_url())
212
 
        self.assertEqual(t.has('not-found'), False)
213
 
        self.assertContainsRe(server.logs[1],
214
 
            r'"HEAD /not-found HTTP/1.." 404 - "-" "bzr/')
215
 
 
216
 
    def test_http_get(self):
217
 
        server = self.get_readonly_server()
218
 
        t = self._transport(server.get_url())
219
 
        fp = t.get('foo/bar')
220
 
        self.assertEqualDiff(
221
 
            fp.read(),
222
 
            'contents of foo/bar\n')
223
 
        self.assertEqual(len(server.logs), 1)
224
 
        self.assertTrue(server.logs[0].find(
225
 
            '"GET /foo/bar HTTP/1.1" 200 - "-" "bzr/%s'
226
 
            % bzrlib.__version__) > -1)
227
 
 
228
 
    def test_get_smart_medium(self):
229
 
        # For HTTP, get_smart_medium should return the transport object.
230
 
        server = self.get_readonly_server()
231
 
        http_transport = self._transport(server.get_url())
232
 
        medium = http_transport.get_smart_medium()
233
 
        self.assertIs(medium, http_transport)
234
 
 
235
 
    def test_has_on_bogus_host(self):
236
 
        # Get a free address and don't 'accept' on it, so that we
237
 
        # can be sure there is no http handler there, but set a
238
 
        # reasonable timeout to not slow down tests too much.
239
 
        default_timeout = socket.getdefaulttimeout()
240
 
        try:
241
 
            socket.setdefaulttimeout(2)
242
 
            s = socket.socket()
243
 
            s.bind(('localhost', 0))
244
 
            t = self._transport('http://%s:%s/' % s.getsockname())
245
 
            self.assertRaises(errors.ConnectionError, t.has, 'foo/bar')
246
 
        finally:
247
 
            socket.setdefaulttimeout(default_timeout)
248
 
 
249
 
 
250
 
class TestWithTransport_pycurl(object):
251
 
    """Test case to inherit from if pycurl is present"""
252
 
 
253
 
    def _get_pycurl_maybe(self):
254
 
        try:
255
 
            from bzrlib.transport.http._pycurl import PyCurlTransport
256
 
            return PyCurlTransport
257
 
        except errors.DependencyNotPresent:
258
 
            raise TestSkipped('pycurl not present')
259
 
 
260
 
    _transport = property(_get_pycurl_maybe)
261
 
 
262
 
 
263
 
class TestHttpConnections_urllib(TestHttpConnections, TestCaseWithWebserver):
264
 
    """Test http connections with urllib"""
265
 
 
266
 
    _transport = HttpTransport_urllib
267
 
 
268
 
 
269
 
 
270
 
class TestHttpConnections_pycurl(TestWithTransport_pycurl,
271
 
                                 TestHttpConnections,
272
 
                                 TestCaseWithWebserver):
273
 
    """Test http connections with pycurl"""
274
 
 
275
 
 
276
 
class TestHttpTransportRegistration(TestCase):
277
 
    """Test registrations of various http implementations"""
278
 
 
279
 
    def test_http_registered(self):
280
 
        # urlllib should always be present
281
 
        t = get_transport('http+urllib://bzr.google.com/')
282
 
        self.assertIsInstance(t, Transport)
283
 
        self.assertIsInstance(t, HttpTransport_urllib)
284
 
 
285
 
 
286
 
class TestOffsets(TestCase):
287
 
    """Test offsets_to_ranges method"""
288
 
 
289
 
    def test_offsets_to_ranges_simple(self):
290
 
        to_range = HttpTransportBase.offsets_to_ranges
291
 
        ranges = to_range([(10, 1)])
292
 
        self.assertEqual([[10, 10]], ranges)
293
 
 
294
 
        ranges = to_range([(0, 1), (1, 1)])
295
 
        self.assertEqual([[0, 1]], ranges)
296
 
 
297
 
        ranges = to_range([(1, 1), (0, 1)])
298
 
        self.assertEqual([[0, 1]], ranges)
299
 
 
300
 
    def test_offset_to_ranges_overlapped(self):
301
 
        to_range = HttpTransportBase.offsets_to_ranges
302
 
 
303
 
        ranges = to_range([(10, 1), (20, 2), (22, 5)])
304
 
        self.assertEqual([[10, 10], [20, 26]], ranges)
305
 
 
306
 
        ranges = to_range([(10, 1), (11, 2), (22, 5)])
307
 
        self.assertEqual([[10, 12], [22, 26]], ranges)
308
 
 
309
 
 
310
 
class TestPost(object):
311
 
 
312
 
    def _test_post_body_is_received(self, scheme):
313
 
        server = RecordingServer(expect_body_tail='end-of-body')
314
 
        server.setUp()
315
 
        self.addCleanup(server.tearDown)
316
 
        url = '%s://%s:%s/' % (scheme, server.host, server.port)
317
 
        try:
318
 
            http_transport = get_transport(url)
319
 
        except errors.UnsupportedProtocol:
320
 
            raise TestSkipped('%s not available' % scheme)
321
 
        code, response = http_transport._post('abc def end-of-body')
322
 
        self.assertTrue(
323
 
            server.received_bytes.startswith('POST /.bzr/smart HTTP/1.'))
324
 
        self.assertTrue('content-length: 19\r' in server.received_bytes.lower())
325
 
        # The transport should not be assuming that the server can accept
326
 
        # chunked encoding the first time it connects, because HTTP/1.1, so we
327
 
        # check for the literal string.
328
 
        self.assertTrue(
329
 
            server.received_bytes.endswith('\r\n\r\nabc def end-of-body'))
330
 
 
331
 
 
332
 
class TestPost_urllib(TestCase, TestPost):
333
 
    """TestPost for urllib implementation"""
334
 
 
335
 
    _transport = HttpTransport_urllib
336
 
 
337
 
    def test_post_body_is_received_urllib(self):
338
 
        self._test_post_body_is_received('http+urllib')
339
 
 
340
 
 
341
 
class TestPost_pycurl(TestWithTransport_pycurl, TestCase, TestPost):
342
 
    """TestPost for pycurl implementation"""
343
 
 
344
 
    def test_post_body_is_received_pycurl(self):
345
 
        self._test_post_body_is_received('http+pycurl')
346
 
 
347
 
 
348
 
class TestRangeHeader(TestCase):
349
 
    """Test range_header method"""
350
 
 
351
 
    def check_header(self, value, ranges=[], tail=0):
352
 
        range_header = HttpTransportBase.range_header
353
 
        self.assertEqual(value, range_header(ranges, tail))
354
 
 
355
 
    def test_range_header_single(self):
356
 
        self.check_header('0-9', ranges=[[0,9]])
357
 
        self.check_header('100-109', ranges=[[100,109]])
358
 
 
359
 
    def test_range_header_tail(self):
360
 
        self.check_header('-10', tail=10)
361
 
        self.check_header('-50', tail=50)
362
 
 
363
 
    def test_range_header_multi(self):
364
 
        self.check_header('0-9,100-200,300-5000',
365
 
                          ranges=[(0,9), (100, 200), (300,5000)])
366
 
 
367
 
    def test_range_header_mixed(self):
368
 
        self.check_header('0-9,300-5000,-50',
369
 
                          ranges=[(0,9), (300,5000)],
370
 
                          tail=50)
371
 
 
372
 
 
373
 
class TestWallServer(object):
374
 
    """Tests exceptions during the connection phase"""
375
 
 
376
 
    def create_transport_readonly_server(self):
377
 
        return HttpServer(WallRequestHandler)
378
 
 
379
 
    def test_http_has(self):
380
 
        server = self.get_readonly_server()
381
 
        t = self._transport(server.get_url())
382
 
        # Unfortunately httplib (see HTTPResponse._read_status
383
 
        # for details) make no distinction between a closed
384
 
        # socket and badly formatted status line, so we can't
385
 
        # just test for ConnectionError, we have to test
386
 
        # InvalidHttpResponse too.
387
 
        self.assertRaises((errors.ConnectionError, errors.InvalidHttpResponse),
388
 
                          t.has, 'foo/bar')
389
 
 
390
 
    def test_http_get(self):
391
 
        server = self.get_readonly_server()
392
 
        t = self._transport(server.get_url())
393
 
        self.assertRaises((errors.ConnectionError, errors.InvalidHttpResponse),
394
 
                          t.get, 'foo/bar')
395
 
 
396
 
 
397
 
class TestWallServer_urllib(TestWallServer, TestCaseWithWebserver):
398
 
    """Tests "wall" server for urllib implementation"""
399
 
 
400
 
    _transport = HttpTransport_urllib
401
 
 
402
 
 
403
 
class TestWallServer_pycurl(TestWithTransport_pycurl,
404
 
                            TestWallServer,
405
 
                            TestCaseWithWebserver):
406
 
    """Tests "wall" server for pycurl implementation"""
407
 
 
408
 
 
409
 
class TestBadStatusServer(object):
410
 
    """Tests bad status from server."""
411
 
 
412
 
    def create_transport_readonly_server(self):
413
 
        return HttpServer(BadStatusRequestHandler)
414
 
 
415
 
    def test_http_has(self):
416
 
        server = self.get_readonly_server()
417
 
        t = self._transport(server.get_url())
418
 
        self.assertRaises(errors.InvalidHttpResponse, t.has, 'foo/bar')
419
 
 
420
 
    def test_http_get(self):
421
 
        server = self.get_readonly_server()
422
 
        t = self._transport(server.get_url())
423
 
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'foo/bar')
424
 
 
425
 
 
426
 
class TestBadStatusServer_urllib(TestBadStatusServer, TestCaseWithWebserver):
427
 
    """Tests bad status server for urllib implementation"""
428
 
 
429
 
    _transport = HttpTransport_urllib
430
 
 
431
 
 
432
 
class TestBadStatusServer_pycurl(TestWithTransport_pycurl,
433
 
                                 TestBadStatusServer,
434
 
                                 TestCaseWithWebserver):
435
 
    """Tests bad status server for pycurl implementation"""
436
 
 
437
 
 
438
 
class TestInvalidStatusServer(TestBadStatusServer):
439
 
    """Tests invalid status from server.
440
 
 
441
 
    Both implementations raises the same error as for a bad status.
442
 
    """
443
 
 
444
 
    def create_transport_readonly_server(self):
445
 
        return HttpServer(InvalidStatusRequestHandler)
446
 
 
447
 
 
448
 
class TestInvalidStatusServer_urllib(TestInvalidStatusServer,
449
 
                                     TestCaseWithWebserver):
450
 
    """Tests invalid status server for urllib implementation"""
451
 
 
452
 
    _transport = HttpTransport_urllib
453
 
 
454
 
 
455
 
class TestInvalidStatusServer_pycurl(TestWithTransport_pycurl,
456
 
                                     TestInvalidStatusServer,
457
 
                                     TestCaseWithWebserver):
458
 
    """Tests invalid status server for pycurl implementation"""
459
 
 
460
 
 
461
 
class TestBadProtocolServer(object):
462
 
    """Tests bad protocol from server."""
463
 
 
464
 
    def create_transport_readonly_server(self):
465
 
        return HttpServer(BadProtocolRequestHandler)
466
 
 
467
 
    def test_http_has(self):
468
 
        server = self.get_readonly_server()
469
 
        t = self._transport(server.get_url())
470
 
        self.assertRaises(errors.InvalidHttpResponse, t.has, 'foo/bar')
471
 
 
472
 
    def test_http_get(self):
473
 
        server = self.get_readonly_server()
474
 
        t = self._transport(server.get_url())
475
 
        self.assertRaises(errors.InvalidHttpResponse, t.get, 'foo/bar')
476
 
 
477
 
 
478
 
class TestBadProtocolServer_urllib(TestBadProtocolServer,
479
 
                                   TestCaseWithWebserver):
480
 
    """Tests bad protocol server for urllib implementation"""
481
 
 
482
 
    _transport = HttpTransport_urllib
483
 
 
484
 
# curl don't check the protocol version
485
 
#class TestBadProtocolServer_pycurl(TestWithTransport_pycurl,
486
 
#                                   TestBadProtocolServer,
487
 
#                                   TestCaseWithWebserver):
488
 
#    """Tests bad protocol server for pycurl implementation"""
489
 
 
490
 
 
491
 
class TestForbiddenServer(object):
492
 
    """Tests forbidden server"""
493
 
 
494
 
    def create_transport_readonly_server(self):
495
 
        return HttpServer(ForbiddenRequestHandler)
496
 
 
497
 
    def test_http_has(self):
498
 
        server = self.get_readonly_server()
499
 
        t = self._transport(server.get_url())
500
 
        self.assertRaises(errors.TransportError, t.has, 'foo/bar')
501
 
 
502
 
    def test_http_get(self):
503
 
        server = self.get_readonly_server()
504
 
        t = self._transport(server.get_url())
505
 
        self.assertRaises(errors.TransportError, t.get, 'foo/bar')
506
 
 
507
 
 
508
 
class TestForbiddenServer_urllib(TestForbiddenServer, TestCaseWithWebserver):
509
 
    """Tests forbidden server for urllib implementation"""
510
 
 
511
 
    _transport = HttpTransport_urllib
512
 
 
513
 
 
514
 
class TestForbiddenServer_pycurl(TestWithTransport_pycurl,
515
 
                                 TestForbiddenServer,
516
 
                                 TestCaseWithWebserver):
517
 
    """Tests forbidden server for pycurl implementation"""
518
 
 
519
 
 
520
 
class TestRecordingServer(TestCase):
521
 
 
522
 
    def test_create(self):
523
 
        server = RecordingServer(expect_body_tail=None)
524
 
        self.assertEqual('', server.received_bytes)
525
 
        self.assertEqual(None, server.host)
526
 
        self.assertEqual(None, server.port)
527
 
 
528
 
    def test_setUp_and_tearDown(self):
529
 
        server = RecordingServer(expect_body_tail=None)
530
 
        server.setUp()
531
 
        try:
532
 
            self.assertNotEqual(None, server.host)
533
 
            self.assertNotEqual(None, server.port)
534
 
        finally:
535
 
            server.tearDown()
536
 
        self.assertEqual(None, server.host)
537
 
        self.assertEqual(None, server.port)
538
 
 
539
 
    def test_send_receive_bytes(self):
540
 
        server = RecordingServer(expect_body_tail='c')
541
 
        server.setUp()
542
 
        self.addCleanup(server.tearDown)
543
 
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
544
 
        sock.connect((server.host, server.port))
545
 
        sock.sendall('abc')
546
 
        self.assertEqual('HTTP/1.1 200 OK\r\n',
547
 
                         osutils.recv_all(sock, 4096))
548
 
        self.assertEqual('abc', server.received_bytes)
549
 
 
550
 
 
551
 
class TestRangeRequestServer(object):
552
 
    """Tests readv requests against server.
553
 
 
554
 
    This MUST be used by daughter classes that also inherit from
555
 
    TestCaseWithWebserver.
556
 
 
557
 
    We can't inherit directly from TestCaseWithWebserver or the
558
 
    test framework will try to create an instance which cannot
559
 
    run, its implementation being incomplete.
560
 
    """
561
 
 
562
 
    def setUp(self):
563
 
        TestCaseWithWebserver.setUp(self)
564
 
        self.build_tree_contents([('a', '0123456789')],)
565
 
 
566
 
    def test_readv(self):
567
 
        server = self.get_readonly_server()
568
 
        t = self._transport(server.get_url())
569
 
        l = list(t.readv('a', ((0, 1), (1, 1), (3, 2), (9, 1))))
570
 
        self.assertEqual(l[0], (0, '0'))
571
 
        self.assertEqual(l[1], (1, '1'))
572
 
        self.assertEqual(l[2], (3, '34'))
573
 
        self.assertEqual(l[3], (9, '9'))
574
 
 
575
 
    def test_readv_out_of_order(self):
576
 
        server = self.get_readonly_server()
577
 
        t = self._transport(server.get_url())
578
 
        l = list(t.readv('a', ((1, 1), (9, 1), (0, 1), (3, 2))))
579
 
        self.assertEqual(l[0], (1, '1'))
580
 
        self.assertEqual(l[1], (9, '9'))
581
 
        self.assertEqual(l[2], (0, '0'))
582
 
        self.assertEqual(l[3], (3, '34'))
583
 
 
584
 
    def test_readv_invalid_ranges(self):
585
 
        server = self.get_readonly_server()
586
 
        t = self._transport(server.get_url())
587
 
 
588
 
        # This is intentionally reading off the end of the file
589
 
        # since we are sure that it cannot get there
590
 
        self.assertListRaises((errors.InvalidRange, errors.ShortReadvError,),
591
 
                              t.readv, 'a', [(1,1), (8,10)])
592
 
 
593
 
        # This is trying to seek past the end of the file, it should
594
 
        # also raise a special error
595
 
        self.assertListRaises((errors.InvalidRange, errors.ShortReadvError,),
596
 
                              t.readv, 'a', [(12,2)])
597
 
 
598
 
 
599
 
class TestSingleRangeRequestServer(TestRangeRequestServer):
600
 
    """Test readv against a server which accept only single range requests"""
601
 
 
602
 
    def create_transport_readonly_server(self):
603
 
        return HttpServer(SingleRangeRequestHandler)
604
 
 
605
 
 
606
 
class TestSingleRangeRequestServer_urllib(TestSingleRangeRequestServer,
607
 
                                          TestCaseWithWebserver):
608
 
    """Tests single range requests accepting server for urllib implementation"""
609
 
 
610
 
    _transport = HttpTransport_urllib
611
 
 
612
 
 
613
 
class TestSingleRangeRequestServer_pycurl(TestWithTransport_pycurl,
614
 
                                          TestSingleRangeRequestServer,
615
 
                                          TestCaseWithWebserver):
616
 
    """Tests single range requests accepting server for pycurl implementation"""
617
 
 
618
 
 
619
 
class TestNoRangeRequestServer(TestRangeRequestServer):
620
 
    """Test readv against a server which do not accept range requests"""
621
 
 
622
 
    def create_transport_readonly_server(self):
623
 
        return HttpServer(NoRangeRequestHandler)
624
 
 
625
 
 
626
 
class TestNoRangeRequestServer_urllib(TestNoRangeRequestServer,
627
 
                                      TestCaseWithWebserver):
628
 
    """Tests range requests refusing server for urllib implementation"""
629
 
 
630
 
    _transport = HttpTransport_urllib
631
 
 
632
 
 
633
 
class TestNoRangeRequestServer_pycurl(TestWithTransport_pycurl,
634
 
                               TestNoRangeRequestServer,
635
 
                               TestCaseWithWebserver):
636
 
    """Tests range requests refusing server for pycurl implementation"""
637
 
 
638
 
 
639
 
class TestHttpProxyWhiteBox(TestCase):
640
 
    """Whitebox test proxy http authorization."""
641
 
 
642
 
    def setUp(self):
643
 
        TestCase.setUp(self)
644
 
        self._old_env = {}
645
 
 
646
 
    def tearDown(self):
647
 
        self._restore_env()
648
 
 
649
 
    def _set_and_capture_env_var(self, name, new_value):
650
 
        """Set an environment variable, and reset it when finished."""
651
 
        self._old_env[name] = osutils.set_or_unset_env(name, new_value)
652
 
 
653
 
    def _install_env(self, env):
654
 
        for name, value in env.iteritems():
655
 
            self._set_and_capture_env_var(name, value)
656
 
 
657
 
    def _restore_env(self):
658
 
        for name, value in self._old_env.iteritems():
659
 
            osutils.set_or_unset_env(name, value)
660
 
 
661
 
    def _proxied_request(self):
662
 
        from bzrlib.transport.http._urllib2_wrappers import (
663
 
            ProxyHandler,
664
 
            Request,
665
 
            )
666
 
 
667
 
        handler = ProxyHandler()
668
 
        request = Request('GET','http://baz/buzzle')
669
 
        handler.set_proxy(request, 'http')
670
 
        return request
671
 
 
672
 
    def test_empty_user(self):
673
 
        self._install_env({'http_proxy': 'http://bar.com'})
674
 
        request = self._proxied_request()
675
 
        self.assertFalse(request.headers.has_key('Proxy-authorization'))
676
 
 
677
 
    def test_empty_pass(self):
678
 
        self._install_env({'http_proxy': 'http://joe@bar.com'})
679
 
        request = self._proxied_request()
680
 
        self.assertEqual('Basic ' + 'joe:'.encode('base64').strip(),
681
 
                         request.headers['Proxy-authorization'])
682
 
    def test_user_pass(self):
683
 
        self._install_env({'http_proxy': 'http://joe:foo@bar.com'})
684
 
        request = self._proxied_request()
685
 
        self.assertEqual('Basic ' + 'joe:foo'.encode('base64').strip(),
686
 
                         request.headers['Proxy-authorization'])
687
 
 
688
 
 
689
 
 
690
 
class TestProxyHttpServer(object):
691
 
    """Tests proxy server.
692
 
 
693
 
    This MUST be used by daughter classes that also inherit from
694
 
    TestCaseWithTwoWebservers.
695
 
 
696
 
    We can't inherit directly from TestCaseWithTwoWebservers or
697
 
    the test framework will try to create an instance which
698
 
    cannot run, its implementation being incomplete.
699
 
 
700
 
    Be aware that we do not setup a real proxy here. Instead, we
701
 
    check that the *connection* goes through the proxy by serving
702
 
    different content (the faked proxy server append '-proxied'
703
 
    to the file names).
704
 
    """
705
 
 
706
 
    # FIXME: We don't have an https server available, so we don't
707
 
    # test https connections.
708
 
 
709
 
    # FIXME: Once the test suite is better fitted to test
710
 
    # authorization schemes, test proxy authorizations too (see
711
 
    # bug #83954).
712
 
 
713
 
    def setUp(self):
714
 
        TestCaseWithTwoWebservers.setUp(self)
715
 
        self.build_tree_contents([('foo', 'contents of foo\n'),
716
 
                                  ('foo-proxied', 'proxied contents of foo\n')])
717
 
        # Let's setup some attributes for tests
718
 
        self.server = self.get_readonly_server()
719
 
        self.no_proxy_host = 'localhost:%d' % self.server.port
720
 
        # The secondary server is the proxy
721
 
        self.proxy = self.get_secondary_server()
722
 
        self.proxy_url = self.proxy.get_url()
723
 
        self._old_env = {}
724
 
 
725
 
    def create_transport_secondary_server(self):
726
 
        """Creates an http server that will serve files with
727
 
        '-proxied' appended to their names.
728
 
        """
729
 
        return HttpServer(FakeProxyRequestHandler)
730
 
 
731
 
    def _set_and_capture_env_var(self, name, new_value):
732
 
        """Set an environment variable, and reset it when finished."""
733
 
        self._old_env[name] = osutils.set_or_unset_env(name, new_value)
734
 
 
735
 
    def _install_env(self, env):
736
 
        for name, value in env.iteritems():
737
 
            self._set_and_capture_env_var(name, value)
738
 
 
739
 
    def _restore_env(self):
740
 
        for name, value in self._old_env.iteritems():
741
 
            osutils.set_or_unset_env(name, value)
742
 
 
743
 
    def proxied_in_env(self, env):
744
 
        self._install_env(env)
745
 
        url = self.server.get_url()
746
 
        t = self._transport(url)
747
 
        try:
748
 
            self.assertEqual(t.get('foo').read(), 'proxied contents of foo\n')
749
 
        finally:
750
 
            self._restore_env()
751
 
 
752
 
    def not_proxied_in_env(self, env):
753
 
        self._install_env(env)
754
 
        url = self.server.get_url()
755
 
        t = self._transport(url)
756
 
        try:
757
 
            self.assertEqual(t.get('foo').read(), 'contents of foo\n')
758
 
        finally:
759
 
            self._restore_env()
760
 
 
761
 
    def test_http_proxy(self):
762
 
        self.proxied_in_env({'http_proxy': self.proxy_url})
763
 
 
764
 
    def test_HTTP_PROXY(self):
765
 
        self.proxied_in_env({'HTTP_PROXY': self.proxy_url})
766
 
 
767
 
    def test_all_proxy(self):
768
 
        self.proxied_in_env({'all_proxy': self.proxy_url})
769
 
 
770
 
    def test_ALL_PROXY(self):
771
 
        self.proxied_in_env({'ALL_PROXY': self.proxy_url})
772
 
 
773
 
    def test_http_proxy_with_no_proxy(self):
774
 
        self.not_proxied_in_env({'http_proxy': self.proxy_url,
775
 
                                 'no_proxy': self.no_proxy_host})
776
 
 
777
 
    def test_HTTP_PROXY_with_NO_PROXY(self):
778
 
        self.not_proxied_in_env({'HTTP_PROXY': self.proxy_url,
779
 
                                 'NO_PROXY': self.no_proxy_host})
780
 
 
781
 
    def test_all_proxy_with_no_proxy(self):
782
 
        self.not_proxied_in_env({'all_proxy': self.proxy_url,
783
 
                                 'no_proxy': self.no_proxy_host})
784
 
 
785
 
    def test_ALL_PROXY_with_NO_PROXY(self):
786
 
        self.not_proxied_in_env({'ALL_PROXY': self.proxy_url,
787
 
                                 'NO_PROXY': self.no_proxy_host})
788
 
 
789
 
 
790
 
class TestProxyHttpServer_urllib(TestProxyHttpServer,
791
 
                                 TestCaseWithTwoWebservers):
792
 
    """Tests proxy server for urllib implementation"""
793
 
 
794
 
    _transport = HttpTransport_urllib
795
 
 
796
 
 
797
 
class TestProxyHttpServer_pycurl(TestWithTransport_pycurl,
798
 
                                 TestProxyHttpServer,
799
 
                                 TestCaseWithTwoWebservers):
800
 
    """Tests proxy server for pycurl implementation"""
801
 
 
802
 
    def setUp(self):
803
 
        TestProxyHttpServer.setUp(self)
804
 
        # Oh my ! pycurl does not check for the port as part of
805
 
        # no_proxy :-( So we just test the host part
806
 
        self.no_proxy_host = 'localhost'
807
 
 
808
 
    def test_HTTP_PROXY(self):
809
 
        # pycurl do not check HTTP_PROXY for security reasons
810
 
        # (for use in a CGI context that we do not care
811
 
        # about. Should we ?)
812
 
        raise TestSkipped()
813
 
 
814
 
    def test_HTTP_PROXY_with_NO_PROXY(self):
815
 
        raise TestSkipped()
816
 
 
817
 
 
818
 
class TestRanges(object):
819
 
    """Test the Range header in GET methods..
820
 
 
821
 
    This MUST be used by daughter classes that also inherit from
822
 
    TestCaseWithWebserver.
823
 
 
824
 
    We can't inherit directly from TestCaseWithWebserver or the
825
 
    test framework will try to create an instance which cannot
826
 
    run, its implementation being incomplete.
827
 
    """
828
 
 
829
 
    def setUp(self):
830
 
        TestCaseWithWebserver.setUp(self)
831
 
        self.build_tree_contents([('a', '0123456789')],)
832
 
        server = self.get_readonly_server()
833
 
        self.transport = self._transport(server.get_url())
834
 
 
835
 
    def _file_contents(self, relpath, ranges, tail_amount=0):
836
 
         code, data = self.transport._get(relpath, ranges)
837
 
         self.assertTrue(code in (200, 206),'_get returns: %d' % code)
838
 
         for start, end in ranges:
839
 
             data.seek(start)
840
 
             yield data.read(end - start + 1)
841
 
 
842
 
    def _file_tail(self, relpath, tail_amount):
843
 
         code, data = self.transport._get(relpath, [], tail_amount)
844
 
         self.assertTrue(code in (200, 206),'_get returns: %d' % code)
845
 
         data.seek(-tail_amount + 1, 2)
846
 
         return data.read(tail_amount)
847
 
 
848
 
    def test_range_header(self):
849
 
        # Valid ranges
850
 
        map(self.assertEqual,['0', '234'],
851
 
            list(self._file_contents('a', [(0,0), (2,4)])),)
852
 
        # Tail
853
 
        self.assertEqual('789', self._file_tail('a', 3))
854
 
        # Syntactically invalid range
855
 
        self.assertRaises(errors.InvalidRange,
856
 
                          self.transport._get, 'a', [(4, 3)])
857
 
        # Semantically invalid range
858
 
        self.assertRaises(errors.InvalidRange,
859
 
                          self.transport._get, 'a', [(42, 128)])
860
 
 
861
 
 
862
 
class TestRanges_urllib(TestRanges, TestCaseWithWebserver):
863
 
    """Test the Range header in GET methods for urllib implementation"""
864
 
 
865
 
    _transport = HttpTransport_urllib
866
 
 
867
 
 
868
 
class TestRanges_pycurl(TestWithTransport_pycurl,
869
 
                        TestRanges,
870
 
                        TestCaseWithWebserver):
871
 
    """Test the Range header in GET methods for pycurl implementation"""