~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Vincent Ladeuil
  • Date: 2011-01-12 00:58:05 UTC
  • mfrom: (5582.7.1 675652-bzr-columns-0)
  • mto: This revision was merged to the branch mainline in revision 5598.
  • Revision ID: v.ladeuil+lp@free.fr-20110112005805-tzclc2wogqef8zty
Accept 0 to mean no limit for BZR_COLUMNS

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2011 Canonical Ltd
 
1
# Copyright (C) 2006-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
18
18
 
19
19
import errno
20
20
import os.path
 
21
import select
21
22
import socket
22
23
import sys
23
 
import time
24
24
import threading
25
25
 
26
 
from bzrlib.hooks import Hooks
 
26
from bzrlib.hooks import HookPoint, Hooks
27
27
from bzrlib import (
28
28
    errors,
29
29
    trace,
30
 
    transport as _mod_transport,
 
30
    transport,
31
31
)
32
 
from bzrlib.i18n import gettext
33
32
from bzrlib.lazy_import import lazy_import
34
33
lazy_import(globals(), """
35
 
from bzrlib.smart import (
36
 
    medium,
37
 
    signals,
38
 
    )
 
34
from bzrlib.smart import medium
39
35
from bzrlib.transport import (
40
36
    chroot,
 
37
    get_transport,
41
38
    pathfilter,
42
39
    )
43
40
from bzrlib import (
44
 
    config,
45
41
    urlutils,
46
42
    )
47
43
""")
56
52
    hooks: An instance of SmartServerHooks.
57
53
    """
58
54
 
59
 
    # This is the timeout on the socket we use .accept() on. It is exposed here
60
 
    # so the test suite can set it faster. (It thread.interrupt_main() will not
61
 
    # fire a KeyboardInterrupt during socket.accept)
62
 
    _ACCEPT_TIMEOUT = 1.0
63
 
    _SHUTDOWN_POLL_TIMEOUT = 1.0
64
 
    _LOG_WAITING_TIMEOUT = 10.0
65
 
 
66
 
    _timer = time.time
67
 
 
68
 
    def __init__(self, backing_transport, root_client_path='/',
69
 
                 client_timeout=None):
 
55
    def __init__(self, backing_transport, root_client_path='/'):
70
56
        """Construct a new server.
71
57
 
72
58
        To actually start it running, call either start_background_thread or
75
61
        :param backing_transport: The transport to serve.
76
62
        :param root_client_path: The client path that will correspond to root
77
63
            of backing_transport.
78
 
        :param client_timeout: See SmartServerSocketStreamMedium's timeout
79
 
            parameter.
80
64
        """
81
65
        self.backing_transport = backing_transport
82
66
        self.root_client_path = root_client_path
83
 
        self._client_timeout = client_timeout
84
 
        self._active_connections = []
85
 
        # This is set to indicate we want to wait for clients to finish before
86
 
        # we disconnect.
87
 
        self._gracefully_stopping = False
88
67
 
89
68
    def start_server(self, host, port):
90
69
        """Create the server listening socket.
116
95
        self._sockname = self._server_socket.getsockname()
117
96
        self.port = self._sockname[1]
118
97
        self._server_socket.listen(1)
119
 
        self._server_socket.settimeout(self._ACCEPT_TIMEOUT)
120
 
        # Once we start accept()ing connections, we set started.
 
98
        self._server_socket.settimeout(1)
121
99
        self._started = threading.Event()
122
 
        # Once we stop accept()ing connections (and are closing the socket) we
123
 
        # set _stopped
124
100
        self._stopped = threading.Event()
125
 
        # Once we have finished waiting for all clients, etc. We set
126
 
        # _fully_stopped
127
 
        self._fully_stopped = threading.Event()
128
101
 
129
102
    def _backing_urls(self):
130
103
        # There are three interesting urls:
132
105
        # The URL that a commit done on the same machine as the server will
133
106
        # have within the servers space. (e.g. file:///home/user/source)
134
107
        # The URL that will be given to other hooks in the same process -
135
 
        # the URL of the backing transport itself. (e.g. filtered-36195:///)
 
108
        # the URL of the backing transport itself. (e.g. chroot+:///)
136
109
        # We need all three because:
137
110
        #  * other machines see the first
138
111
        #  * local commits on this machine should be able to be mapped to
163
136
        for hook in SmartTCPServer.hooks['server_stopped']:
164
137
            hook(backing_urls, self.get_url())
165
138
 
166
 
    def _stop_gracefully(self):
167
 
        trace.note(gettext('Requested to stop gracefully'))
168
 
        self._should_terminate = True
169
 
        self._gracefully_stopping = True
170
 
        for handler, _ in self._active_connections:
171
 
            handler._stop_gracefully()
172
 
 
173
 
    def _wait_for_clients_to_disconnect(self):
174
 
        self._poll_active_connections()
175
 
        if not self._active_connections:
176
 
            return
177
 
        trace.note(gettext('Waiting for %d client(s) to finish')
178
 
                   % (len(self._active_connections),))
179
 
        t_next_log = self._timer() + self._LOG_WAITING_TIMEOUT
180
 
        while self._active_connections:
181
 
            now = self._timer()
182
 
            if now >= t_next_log:
183
 
                trace.note(gettext('Still waiting for %d client(s) to finish')
184
 
                           % (len(self._active_connections),))
185
 
                t_next_log = now + self._LOG_WAITING_TIMEOUT
186
 
            self._poll_active_connections(self._SHUTDOWN_POLL_TIMEOUT)
187
 
 
188
139
    def serve(self, thread_name_suffix=''):
189
 
        # Note: There is a temptation to do
190
 
        #       signals.register_on_hangup(id(self), self._stop_gracefully)
191
 
        #       However, that creates a temporary object which is a bound
192
 
        #       method. signals._on_sighup is a WeakKeyDictionary so it
193
 
        #       immediately gets garbage collected, because nothing else
194
 
        #       references it. Instead, we need to keep a real reference to the
195
 
        #       bound method for the lifetime of the serve() function.
196
 
        stop_gracefully = self._stop_gracefully
197
 
        signals.register_on_hangup(id(self), stop_gracefully)
198
140
        self._should_terminate = False
199
141
        # for hooks we are letting code know that a server has started (and
200
142
        # later stopped).
210
152
                        pass
211
153
                    except self._socket_error, e:
212
154
                        # if the socket is closed by stop_background_thread
213
 
                        # we might get a EBADF here, or if we get a signal we
214
 
                        # can get EINTR, any other socket errors should get
215
 
                        # logged.
216
 
                        if e.args[0] not in (errno.EBADF, errno.EINTR):
217
 
                            trace.warning(gettext("listening socket error: %s")
218
 
                                          % (e,))
 
155
                        # we might get a EBADF here, any other socket errors
 
156
                        # should get logged.
 
157
                        if e.args[0] != errno.EBADF:
 
158
                            trace.warning("listening socket error: %s", e)
219
159
                    else:
220
160
                        if self._should_terminate:
221
 
                            conn.close()
222
161
                            break
223
162
                        self.serve_conn(conn, thread_name_suffix)
224
 
                    # Cleanout any threads that have finished processing.
225
 
                    self._poll_active_connections()
226
163
            except KeyboardInterrupt:
227
164
                # dont log when CTRL-C'd.
228
165
                raise
230
167
                trace.report_exception(sys.exc_info(), sys.stderr)
231
168
                raise
232
169
        finally:
 
170
            self._stopped.set()
233
171
            try:
234
172
                # ensure the server socket is closed.
235
173
                self._server_socket.close()
236
174
            except self._socket_error:
237
175
                # ignore errors on close
238
176
                pass
239
 
            self._stopped.set()
240
 
            signals.unregister_on_hangup(id(self))
241
177
            self.run_server_stopped_hooks()
242
 
        if self._gracefully_stopping:
243
 
            self._wait_for_clients_to_disconnect()
244
 
        self._fully_stopped.set()
245
178
 
246
179
    def get_url(self):
247
180
        """Return the url of the server"""
248
 
        return "bzr://%s:%s/" % (self._sockname[0], self._sockname[1])
249
 
 
250
 
    def _make_handler(self, conn):
251
 
        return medium.SmartServerSocketStreamMedium(
252
 
            conn, self.backing_transport, self.root_client_path,
253
 
            timeout=self._client_timeout)
254
 
 
255
 
    def _poll_active_connections(self, timeout=0.0):
256
 
        """Check to see if any active connections have finished.
257
 
 
258
 
        This will iterate through self._active_connections, and update any
259
 
        connections that are finished.
260
 
 
261
 
        :param timeout: The timeout to pass to thread.join(). By default, we
262
 
            set it to 0, so that we don't hang if threads are not done yet.
263
 
        :return: None
264
 
        """
265
 
        still_active = []
266
 
        for handler, thread in self._active_connections:
267
 
            thread.join(timeout)
268
 
            if thread.isAlive():
269
 
                still_active.append((handler, thread))
270
 
        self._active_connections = still_active
 
181
        return "bzr://%s:%d/" % self._sockname
271
182
 
272
183
    def serve_conn(self, conn, thread_name_suffix):
273
184
        # For WIN32, where the timeout value from the listening socket
274
185
        # propagates to the newly accepted socket.
275
186
        conn.setblocking(True)
276
187
        conn.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
 
188
        handler = medium.SmartServerSocketStreamMedium(
 
189
            conn, self.backing_transport, self.root_client_path)
277
190
        thread_name = 'smart-server-child' + thread_name_suffix
278
 
        handler = self._make_handler(conn)
279
191
        connection_thread = threading.Thread(
280
192
            None, handler.serve, name=thread_name)
281
 
        self._active_connections.append((handler, connection_thread))
 
193
        # FIXME: This thread is never joined, it should at least be collected
 
194
        # somewhere so that tests that want to check for leaked threads can get
 
195
        # rid of them -- vila 20100531
282
196
        connection_thread.setDaemon(True)
283
197
        connection_thread.start()
284
198
        return connection_thread
327
241
        These are all empty initially, because by default nothing should get
328
242
        notified.
329
243
        """
330
 
        Hooks.__init__(self, "bzrlib.smart.server", "SmartTCPServer.hooks")
331
 
        self.add_hook('server_started',
 
244
        Hooks.__init__(self)
 
245
        self.create_hook(HookPoint('server_started',
332
246
            "Called by the bzr server when it starts serving a directory. "
333
247
            "server_started is called with (backing urls, public url), "
334
248
            "where backing_url is a list of URLs giving the "
335
249
            "server-specific directory locations, and public_url is the "
336
 
            "public URL for the directory being served.", (0, 16))
337
 
        self.add_hook('server_started_ex',
 
250
            "public URL for the directory being served.", (0, 16), None))
 
251
        self.create_hook(HookPoint('server_started_ex',
338
252
            "Called by the bzr server when it starts serving a directory. "
339
253
            "server_started is called with (backing_urls, server_obj).",
340
 
            (1, 17))
341
 
        self.add_hook('server_stopped',
 
254
            (1, 17), None))
 
255
        self.create_hook(HookPoint('server_stopped',
342
256
            "Called by the bzr server when it stops serving a directory. "
343
257
            "server_stopped is called with the same parameters as the "
344
 
            "server_started hook: (backing_urls, public_url).", (0, 16))
345
 
        self.add_hook('server_exception',
346
 
            "Called by the bzr server when an exception occurs. "
347
 
            "server_exception is called with the sys.exc_info() tuple "
348
 
            "return true for the hook if the exception has been handled, "
349
 
            "in which case the server will exit normally.", (2, 4))
 
258
            "server_started hook: (backing_urls, public_url).", (0, 16), None))
350
259
 
351
260
SmartTCPServer.hooks = SmartServerHooks()
352
261
 
418
327
        chroot_server = chroot.ChrootServer(transport)
419
328
        chroot_server.start_server()
420
329
        self.cleanups.append(chroot_server.stop_server)
421
 
        transport = _mod_transport.get_transport_from_url(chroot_server.get_url())
 
330
        transport = get_transport(chroot_server.get_url())
422
331
        if self.base_path is not None:
423
332
            # Decorate the server's backing transport with a filter that can
424
333
            # expand homedirs.
425
334
            expand_userdirs = self._make_expand_userdirs_filter(transport)
426
335
            expand_userdirs.start_server()
427
336
            self.cleanups.append(expand_userdirs.stop_server)
428
 
            transport = _mod_transport.get_transport_from_url(expand_userdirs.get_url())
 
337
            transport = get_transport(expand_userdirs.get_url())
429
338
        self.transport = transport
430
339
 
431
 
    def _get_stdin_stdout(self):
432
 
        return sys.stdin, sys.stdout
433
 
 
434
 
    def _make_smart_server(self, host, port, inet, timeout):
435
 
        if timeout is None:
436
 
            c = config.GlobalStack()
437
 
            timeout = c.get('serve.client_timeout')
 
340
    def _make_smart_server(self, host, port, inet):
438
341
        if inet:
439
 
            stdin, stdout = self._get_stdin_stdout()
440
342
            smart_server = medium.SmartServerPipeStreamMedium(
441
 
                stdin, stdout, self.transport, timeout=timeout)
 
343
                sys.stdin, sys.stdout, self.transport)
442
344
        else:
443
345
            if host is None:
444
346
                host = medium.BZR_DEFAULT_INTERFACE
445
347
            if port is None:
446
348
                port = medium.BZR_DEFAULT_PORT
447
 
            smart_server = SmartTCPServer(self.transport,
448
 
                                          client_timeout=timeout)
 
349
            smart_server = SmartTCPServer(self.transport)
449
350
            smart_server.start_server(host, port)
450
 
            trace.note(gettext('listening on port: %s') % smart_server.port)
 
351
            trace.note('listening on port: %s' % smart_server.port)
451
352
        self.smart_server = smart_server
452
353
 
453
354
    def _change_globals(self):
464
365
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
465
366
        ui.ui_factory = ui.SilentUIFactory()
466
367
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
467
 
        orig = signals.install_sighup_handler()
468
 
        def restore_signals():
469
 
            signals.restore_sighup_handler(orig)
470
 
        self.cleanups.append(restore_signals)
471
368
 
472
 
    def set_up(self, transport, host, port, inet, timeout):
 
369
    def set_up(self, transport, host, port, inet):
473
370
        self._make_backing_transport(transport)
474
 
        self._make_smart_server(host, port, inet, timeout)
 
371
        self._make_smart_server(host, port, inet)
475
372
        self._change_globals()
476
373
 
477
374
    def tear_down(self):
479
376
            cleanup()
480
377
 
481
378
 
482
 
def serve_bzr(transport, host=None, port=None, inet=False, timeout=None):
 
379
def serve_bzr(transport, host=None, port=None, inet=False):
483
380
    """This is the default implementation of 'bzr serve'.
484
 
 
 
381
    
485
382
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
486
383
    transport will be decorated with a chroot and pathfilter (using
487
384
    os.path.expanduser).
488
385
    """
489
386
    bzr_server = BzrServerFactory()
490
387
    try:
491
 
        bzr_server.set_up(transport, host, port, inet, timeout)
 
388
        bzr_server.set_up(transport, host, port, inet)
492
389
        bzr_server.smart_server.serve()
493
 
    except:
494
 
        hook_caught_exception = False
495
 
        for hook in SmartTCPServer.hooks['server_exception']:
496
 
            hook_caught_exception = hook(sys.exc_info())
497
 
        if not hook_caught_exception:
498
 
            raise
499
390
    finally:
500
391
        bzr_server.tear_down()
 
392