~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_test_server.py

  • Committer: Jonathan Riddell
  • Date: 2011-05-16 11:27:37 UTC
  • mto: This revision was merged to the branch mainline in revision 5869.
  • Revision ID: jriddell@canonical.com-20110516112737-gep642p24rtzp3jt
userĀ guideĀ licence

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2010, 2011, 2016 Canonical Ltd
 
1
# Copyright (C) 2010, 2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
19
19
import SocketServer
20
20
import threading
21
21
 
22
 
 
23
22
from bzrlib import (
24
23
    osutils,
25
24
    tests,
31
30
load_tests = load_tests_apply_scenarios
32
31
 
33
32
 
34
 
def portable_socket_pair():
35
 
    """Return a pair of TCP sockets connected to each other.
36
 
 
37
 
    Unlike socket.socketpair, this should work on Windows.
38
 
    """
39
 
    listen_sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
40
 
    listen_sock.bind(('127.0.0.1', 0))
41
 
    listen_sock.listen(1)
42
 
    client_sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
43
 
    client_sock.connect(listen_sock.getsockname())
44
 
    server_sock, addr = listen_sock.accept()
45
 
    listen_sock.close()
46
 
    return server_sock, client_sock
47
 
 
48
 
 
49
33
class TCPClient(object):
50
34
 
51
35
    def __init__(self):
77
61
        return self.sock.recv(bufsize)
78
62
 
79
63
 
80
 
class TCPConnectionHandler(SocketServer.BaseRequestHandler):
 
64
class TCPConnectionHandler(SocketServer.StreamRequestHandler):
81
65
 
82
66
    def handle(self):
83
67
        self.done = False
85
69
        while not self.done:
86
70
            self.handle_connection()
87
71
 
88
 
    def readline(self):
89
 
        # TODO: We should be buffering any extra data sent, etc. However, in
90
 
        #       practice, we don't send extra content, so we haven't bothered
91
 
        #       to implement it yet.
92
 
        req = self.request.recv(4096)
93
 
        # An empty string is allowed, to indicate the end of the connection
94
 
        if not req or (req.endswith('\n') and req.count('\n') == 1):
95
 
            return req
96
 
        raise ValueError('[%r] not a simple line' % (req,))
97
 
 
98
72
    def handle_connection(self):
99
 
        req = self.readline()
 
73
        req = self.rfile.readline()
100
74
        if not req:
101
75
            self.done = True
102
76
        elif req == 'ping\n':
103
 
            self.request.sendall('pong\n')
 
77
            self.wfile.write('pong\n')
104
78
        else:
105
79
            raise ValueError('[%s] not understood' % req)
106
80
 
107
81
 
108
82
class TestTCPServerInAThread(tests.TestCase):
109
83
 
110
 
    scenarios = [
 
84
    scenarios = [ 
111
85
        (name, {'server_class': getattr(test_server, name)})
112
86
        for name in
113
87
        ('TestingTCPServer', 'TestingThreadingTCPServer')]
114
88
 
 
89
    # Set by load_tests()
 
90
    server_class = None
 
91
 
115
92
    def get_server(self, server_class=None, connection_handler_class=None):
116
93
        if server_class is not None:
117
94
            self.server_class = server_class
118
95
        if connection_handler_class is None:
119
96
            connection_handler_class = TCPConnectionHandler
120
 
        server = test_server.TestingTCPServerInAThread(
 
97
        server =  test_server.TestingTCPServerInAThread(
121
98
            ('localhost', 0), self.server_class, connection_handler_class)
122
99
        server.start_server()
123
100
        self.addCleanup(server.stop_server)
133
110
 
134
111
    def assertClientAddr(self, client, server, conn_rank):
135
112
        conn = self.get_server_connection(server, conn_rank)
136
 
        self.assertEqual(client.sock.getsockname(), conn[1])
 
113
        self.assertEquals(client.sock.getsockname(), conn[1])
137
114
 
138
115
    def test_start_stop(self):
139
116
        server = self.get_server()
152
129
        self.assertIs(None, client.write('ping\n'))
153
130
        resp = client.read()
154
131
        self.assertClientAddr(client, server, 0)
155
 
        self.assertEqual('pong\n', resp)
 
132
        self.assertEquals('pong\n', resp)
156
133
 
157
134
    def test_server_fails_to_start(self):
158
135
        class CantStart(Exception):
181
158
        # The server won't fail until a client connect
182
159
        client = self.get_client()
183
160
        client.connect((server.host, server.port))
184
 
        # We make sure the server wants to handle a request, but the request is
185
 
        # guaranteed to fail. However, the server should make sure that the
186
 
        # connection gets closed, and stop_server should then raise the
187
 
        # original exception.
188
 
        client.write('ping\n')
189
161
        try:
190
 
            self.assertEqual('', client.read())
191
 
        except socket.error, e:
192
 
            # On Windows, failing during 'handle' means we get
193
 
            # 'forced-close-of-connection'. Possibly because we haven't
194
 
            # processed the write request before we close the socket.
195
 
            WSAECONNRESET = 10054
196
 
            if e.errno in (WSAECONNRESET,):
197
 
                pass
 
162
            # Now we must force the server to answer by sending the request and
 
163
            # waiting for some answer. But since we don't control when the
 
164
            # server thread will be given cycles, we don't control either
 
165
            # whether our reads or writes may hang.
 
166
            client.sock.settimeout(0.1)
 
167
            client.write('ping\n')
 
168
            client.read()
 
169
        except socket.error:
 
170
            pass
198
171
        # Now the server has raised the exception in its own thread
199
172
        self.assertRaises(CantConnect, server.stop_server)
200
173
 
201
174
    def test_server_crash_while_responding(self):
202
 
        # We want to ensure the exception has been caught
203
 
        caught = threading.Event()
204
 
        caught.clear()
205
 
        # The thread that will serve the client, this needs to be an attribute
206
 
        # so the handler below can modify it when it's executed (it's
207
 
        # instantiated when the request is processed)
208
 
        self.connection_thread = None
209
 
 
 
175
        sync = threading.Event()
 
176
        sync.clear()
210
177
        class FailToRespond(Exception):
211
178
            pass
212
179
 
213
180
        class FailingDuringResponseHandler(TCPConnectionHandler):
214
181
 
215
 
            # We use 'request' instead of 'self' below because the test matters
216
 
            # more and we need a container to properly set connection_thread.
217
 
            def handle_connection(request):
218
 
                req = request.readline()
219
 
                # Capture the thread and make it use 'caught' so we can wait on
220
 
                # the event that will be set when the exception is caught. We
221
 
                # also capture the thread to know where to look.
222
 
                self.connection_thread = threading.currentThread()
223
 
                self.connection_thread.set_sync_event(caught)
 
182
            def handle_connection(self):
 
183
                req = self.rfile.readline()
 
184
                threading.currentThread().set_sync_event(sync)
224
185
                raise FailToRespond()
225
186
 
226
187
        server = self.get_server(
228
189
        client = self.get_client()
229
190
        client.connect((server.host, server.port))
230
191
        client.write('ping\n')
231
 
        # Wait for the exception to be caught
232
 
        caught.wait()
233
 
        self.assertEqual('', client.read()) # connection closed
234
 
        # Check that the connection thread did catch the exception,
235
 
        # http://pad.lv/869366 was wrongly checking the server thread which
236
 
        # works for TestingTCPServer where the connection is handled in the
237
 
        # same thread than the server one but was racy for
238
 
        # TestingThreadingTCPServer. Since the connection thread detaches
239
 
        # itself before handling the request, we are guaranteed that the
240
 
        # exception won't leak into the server thread anymore.
241
 
        self.assertRaises(FailToRespond,
242
 
                          self.connection_thread.pending_exception)
 
192
        sync.wait()
 
193
        self.assertRaises(FailToRespond, server.pending_exception)
243
194
 
244
195
    def test_exception_swallowed_while_serving(self):
245
 
        # We need to ensure the exception has been caught
246
 
        caught = threading.Event()
247
 
        caught.clear()
248
 
        # The thread that will serve the client, this needs to be an attribute
249
 
        # so the handler below can access it when it's executed (it's
250
 
        # instantiated when the request is processed)
251
 
        self.connection_thread = None
 
196
        sync = threading.Event()
 
197
        sync.clear()
252
198
        class CantServe(Exception):
253
199
            pass
254
200
 
255
201
        class FailingWhileServingConnectionHandler(TCPConnectionHandler):
256
202
 
257
 
            # We use 'request' instead of 'self' below because the test matters
258
 
            # more and we need a container to properly set connection_thread.
259
 
            def handle(request):
260
 
                # Capture the thread and make it use 'caught' so we can wait on
261
 
                # the event that will be set when the exception is caught. We
262
 
                # also capture the thread to know where to look.
263
 
                self.connection_thread = threading.currentThread()
264
 
                self.connection_thread.set_sync_event(caught)
 
203
            def handle(self):
 
204
                # We want to sync with the thread that is serving the
 
205
                # connection.
 
206
                threading.currentThread().set_sync_event(sync)
265
207
                raise CantServe()
266
208
 
267
209
        server = self.get_server(
268
210
            connection_handler_class=FailingWhileServingConnectionHandler)
269
 
        self.assertEqual(True, server.server.serving)
270
211
        # Install the exception swallower
271
212
        server.set_ignored_exceptions(CantServe)
272
213
        client = self.get_client()
273
214
        # Connect to the server so the exception is raised there
274
215
        client.connect((server.host, server.port))
275
 
        # Wait for the exception to be caught
276
 
        caught.wait()
277
 
        self.assertEqual('', client.read()) # connection closed
 
216
        # Wait for the exception to propagate.
 
217
        sync.wait()
278
218
        # The connection wasn't served properly but the exception should have
279
 
        # been swallowed (see test_server_crash_while_responding remark about
280
 
        # http://pad.lv/869366 explaining why we can't check the server thread
281
 
        # here). More precisely, the exception *has* been caught and captured
282
 
        # but it is cleared when joining the thread (or trying to acquire the
283
 
        # exception) and as such won't propagate to the server thread.
284
 
        self.assertIs(None, self.connection_thread.pending_exception())
285
 
        self.assertIs(None, server.pending_exception())
286
 
 
287
 
    def test_handle_request_closes_if_it_doesnt_process(self):
288
 
        server = self.get_server()
289
 
        client = self.get_client()
290
 
        server.server.serving = False
291
 
        client.connect((server.host, server.port))
292
 
        self.assertEqual('', client.read())
293
 
 
294
 
 
295
 
class TestTestingSmartServer(tests.TestCase):
296
 
 
297
 
    def test_sets_client_timeout(self):
298
 
        server = test_server.TestingSmartServer(('localhost', 0), None, None,
299
 
            root_client_path='/no-such-client/path')
300
 
        self.assertEqual(test_server._DEFAULT_TESTING_CLIENT_TIMEOUT,
301
 
                         server._client_timeout)
302
 
        sock = socket.socket()
303
 
        h = server._make_handler(sock)
304
 
        self.assertEqual(test_server._DEFAULT_TESTING_CLIENT_TIMEOUT,
305
 
                         h._client_timeout)
306
 
 
307
 
 
308
 
class FakeServer(object):
309
 
    """Minimal implementation to pass to TestingSmartConnectionHandler"""
310
 
    backing_transport = None
311
 
    root_client_path = '/'
312
 
 
313
 
 
314
 
class TestTestingSmartConnectionHandler(tests.TestCase):
315
 
 
316
 
    def test_connection_timeout_suppressed(self):
317
 
        self.overrideAttr(test_server, '_DEFAULT_TESTING_CLIENT_TIMEOUT', 0.01)
318
 
        s = FakeServer()
319
 
        server_sock, client_sock = portable_socket_pair()
320
 
        # This should timeout quickly, but not generate an exception.
321
 
        handler = test_server.TestingSmartConnectionHandler(server_sock,
322
 
            server_sock.getpeername(), s)
323
 
 
324
 
    def test_connection_shutdown_while_serving_no_error(self):
325
 
        s = FakeServer()
326
 
        server_sock, client_sock = portable_socket_pair()
327
 
        class ShutdownConnectionHandler(
328
 
            test_server.TestingSmartConnectionHandler):
329
 
 
330
 
            def _build_protocol(self):
331
 
                self.finished = True
332
 
                return super(ShutdownConnectionHandler, self)._build_protocol()
333
 
        # This should trigger shutdown after the entering _build_protocol, and
334
 
        # we should exit cleanly, without raising an exception.
335
 
        handler = ShutdownConnectionHandler(server_sock,
336
 
            server_sock.getpeername(), s)
 
219
        # been swallowed.
 
220
        server.pending_exception()