~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2008-03-16 16:58:03 UTC
  • mfrom: (3224.3.1 news-typo)
  • Revision ID: pqm@pqm.ubuntu.com-20080316165803-tisoc9mpob9z544o
(Matt Nordhoff) Trivial NEWS typo fix

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2011 Canonical Ltd
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""Server for smart-server protocol."""
18
18
 
19
19
import errno
20
 
import os.path
21
20
import socket
22
 
import sys
23
 
import time
24
21
import threading
25
22
 
26
23
from bzrlib.hooks import Hooks
27
24
from bzrlib import (
28
25
    errors,
29
26
    trace,
30
 
    transport as _mod_transport,
 
27
    transport,
31
28
)
32
 
from bzrlib.i18n import gettext
33
 
from bzrlib.lazy_import import lazy_import
34
 
lazy_import(globals(), """
35
 
from bzrlib.smart import (
36
 
    medium,
37
 
    signals,
38
 
    )
39
 
from bzrlib.transport import (
40
 
    chroot,
41
 
    pathfilter,
42
 
    )
43
 
from bzrlib import (
44
 
    config,
45
 
    urlutils,
46
 
    )
47
 
""")
 
29
from bzrlib.smart.medium import SmartServerSocketStreamMedium
48
30
 
49
31
 
50
32
class SmartTCPServer(object):
56
38
    hooks: An instance of SmartServerHooks.
57
39
    """
58
40
 
59
 
    # This is the timeout on the socket we use .accept() on. It is exposed here
60
 
    # so the test suite can set it faster. (It thread.interrupt_main() will not
61
 
    # fire a KeyboardInterrupt during socket.accept)
62
 
    _ACCEPT_TIMEOUT = 1.0
63
 
    _SHUTDOWN_POLL_TIMEOUT = 1.0
64
 
    _LOG_WAITING_TIMEOUT = 10.0
65
 
 
66
 
    _timer = time.time
67
 
 
68
 
    def __init__(self, backing_transport, root_client_path='/',
69
 
                 client_timeout=None):
 
41
    def __init__(self, backing_transport, host='127.0.0.1', port=0):
70
42
        """Construct a new server.
71
43
 
72
44
        To actually start it running, call either start_background_thread or
73
45
        serve.
74
46
 
75
 
        :param backing_transport: The transport to serve.
76
 
        :param root_client_path: The client path that will correspond to root
77
 
            of backing_transport.
78
 
        :param client_timeout: See SmartServerSocketStreamMedium's timeout
79
 
            parameter.
80
 
        """
81
 
        self.backing_transport = backing_transport
82
 
        self.root_client_path = root_client_path
83
 
        self._client_timeout = client_timeout
84
 
        self._active_connections = []
85
 
        # This is set to indicate we want to wait for clients to finish before
86
 
        # we disconnect.
87
 
        self._gracefully_stopping = False
88
 
 
89
 
    def start_server(self, host, port):
90
 
        """Create the server listening socket.
91
 
 
92
47
        :param host: Name of the interface to listen on.
93
48
        :param port: TCP port to listen on, or 0 to allocate a transient port.
94
49
        """
99
54
        from socket import error as socket_error
100
55
        self._socket_error = socket_error
101
56
        self._socket_timeout = socket_timeout
102
 
        addrs = socket.getaddrinfo(host, port, socket.AF_UNSPEC,
103
 
            socket.SOCK_STREAM, 0, socket.AI_PASSIVE)[0]
104
 
 
105
 
        (family, socktype, proto, canonname, sockaddr) = addrs
106
 
 
107
 
        self._server_socket = socket.socket(family, socktype, proto)
108
 
        # SO_REUSERADDR has a different meaning on Windows
109
 
        if sys.platform != 'win32':
110
 
            self._server_socket.setsockopt(socket.SOL_SOCKET,
111
 
                socket.SO_REUSEADDR, 1)
112
 
        try:
113
 
            self._server_socket.bind(sockaddr)
114
 
        except self._socket_error, message:
115
 
            raise errors.CannotBindAddress(host, port, message)
 
57
        self._server_socket = socket.socket()
 
58
        self._server_socket.bind((host, port))
116
59
        self._sockname = self._server_socket.getsockname()
117
60
        self.port = self._sockname[1]
118
61
        self._server_socket.listen(1)
119
 
        self._server_socket.settimeout(self._ACCEPT_TIMEOUT)
120
 
        # Once we start accept()ing connections, we set started.
 
62
        self._server_socket.settimeout(1)
 
63
        self.backing_transport = backing_transport
121
64
        self._started = threading.Event()
122
 
        # Once we stop accept()ing connections (and are closing the socket) we
123
 
        # set _stopped
124
65
        self._stopped = threading.Event()
125
 
        # Once we have finished waiting for all clients, etc. We set
126
 
        # _fully_stopped
127
 
        self._fully_stopped = threading.Event()
128
66
 
129
 
    def _backing_urls(self):
 
67
    def serve(self):
 
68
        self._should_terminate = False
 
69
        # for hooks we are letting code know that a server has started (and
 
70
        # later stopped).
130
71
        # There are three interesting urls:
131
72
        # The URL the server can be contacted on. (e.g. bzr://host/)
132
73
        # The URL that a commit done on the same machine as the server will
133
74
        # have within the servers space. (e.g. file:///home/user/source)
134
75
        # The URL that will be given to other hooks in the same process -
135
 
        # the URL of the backing transport itself. (e.g. filtered-36195:///)
 
76
        # the URL of the backing transport itself. (e.g. chroot+:///)
136
77
        # We need all three because:
137
78
        #  * other machines see the first
138
79
        #  * local commits on this machine should be able to be mapped to
139
 
        #    this server
 
80
        #    this server 
140
81
        #  * commits the server does itself need to be mapped across to this
141
82
        #    server.
142
83
        # The latter two urls are different aliases to the servers url,
143
 
        # so we group those in a list - as there might be more aliases
 
84
        # so we group those in a list - as there might be more aliases 
144
85
        # in the future.
145
 
        urls = [self.backing_transport.base]
 
86
        backing_urls = [self.backing_transport.base]
146
87
        try:
147
 
            urls.append(self.backing_transport.external_url())
 
88
            backing_urls.append(self.backing_transport.external_url())
148
89
        except errors.InProcessTransport:
149
90
            pass
150
 
        return urls
151
 
 
152
 
    def run_server_started_hooks(self, backing_urls=None):
153
 
        if backing_urls is None:
154
 
            backing_urls = self._backing_urls()
155
91
        for hook in SmartTCPServer.hooks['server_started']:
156
92
            hook(backing_urls, self.get_url())
157
 
        for hook in SmartTCPServer.hooks['server_started_ex']:
158
 
            hook(backing_urls, self)
159
 
 
160
 
    def run_server_stopped_hooks(self, backing_urls=None):
161
 
        if backing_urls is None:
162
 
            backing_urls = self._backing_urls()
163
 
        for hook in SmartTCPServer.hooks['server_stopped']:
164
 
            hook(backing_urls, self.get_url())
165
 
 
166
 
    def _stop_gracefully(self):
167
 
        trace.note(gettext('Requested to stop gracefully'))
168
 
        self._should_terminate = True
169
 
        self._gracefully_stopping = True
170
 
        for handler, _ in self._active_connections:
171
 
            handler._stop_gracefully()
172
 
 
173
 
    def _wait_for_clients_to_disconnect(self):
174
 
        self._poll_active_connections()
175
 
        if not self._active_connections:
176
 
            return
177
 
        trace.note(gettext('Waiting for %d client(s) to finish')
178
 
                   % (len(self._active_connections),))
179
 
        t_next_log = self._timer() + self._LOG_WAITING_TIMEOUT
180
 
        while self._active_connections:
181
 
            now = self._timer()
182
 
            if now >= t_next_log:
183
 
                trace.note(gettext('Still waiting for %d client(s) to finish')
184
 
                           % (len(self._active_connections),))
185
 
                t_next_log = now + self._LOG_WAITING_TIMEOUT
186
 
            self._poll_active_connections(self._SHUTDOWN_POLL_TIMEOUT)
187
 
 
188
 
    def serve(self, thread_name_suffix=''):
189
 
        # Note: There is a temptation to do
190
 
        #       signals.register_on_hangup(id(self), self._stop_gracefully)
191
 
        #       However, that creates a temporary object which is a bound
192
 
        #       method. signals._on_sighup is a WeakKeyDictionary so it
193
 
        #       immediately gets garbage collected, because nothing else
194
 
        #       references it. Instead, we need to keep a real reference to the
195
 
        #       bound method for the lifetime of the serve() function.
196
 
        stop_gracefully = self._stop_gracefully
197
 
        signals.register_on_hangup(id(self), stop_gracefully)
198
 
        self._should_terminate = False
199
 
        # for hooks we are letting code know that a server has started (and
200
 
        # later stopped).
201
 
        self.run_server_started_hooks()
202
93
        self._started.set()
203
94
        try:
204
95
            try:
210
101
                        pass
211
102
                    except self._socket_error, e:
212
103
                        # if the socket is closed by stop_background_thread
213
 
                        # we might get a EBADF here, or if we get a signal we
214
 
                        # can get EINTR, any other socket errors should get
215
 
                        # logged.
216
 
                        if e.args[0] not in (errno.EBADF, errno.EINTR):
217
 
                            trace.warning(gettext("listening socket error: %s")
218
 
                                          % (e,))
 
104
                        # we might get a EBADF here, any other socket errors
 
105
                        # should get logged.
 
106
                        if e.args[0] != errno.EBADF:
 
107
                            trace.warning("listening socket error: %s", e)
219
108
                    else:
220
 
                        if self._should_terminate:
221
 
                            conn.close()
222
 
                            break
223
 
                        self.serve_conn(conn, thread_name_suffix)
224
 
                    # Cleanout any threads that have finished processing.
225
 
                    self._poll_active_connections()
 
109
                        self.serve_conn(conn)
226
110
            except KeyboardInterrupt:
227
111
                # dont log when CTRL-C'd.
228
112
                raise
229
113
            except Exception, e:
230
 
                trace.report_exception(sys.exc_info(), sys.stderr)
 
114
                trace.error("Unhandled smart server error.")
 
115
                trace.log_exception_quietly()
231
116
                raise
232
117
        finally:
 
118
            self._stopped.set()
233
119
            try:
234
120
                # ensure the server socket is closed.
235
121
                self._server_socket.close()
236
122
            except self._socket_error:
237
123
                # ignore errors on close
238
124
                pass
239
 
            self._stopped.set()
240
 
            signals.unregister_on_hangup(id(self))
241
 
            self.run_server_stopped_hooks()
242
 
        if self._gracefully_stopping:
243
 
            self._wait_for_clients_to_disconnect()
244
 
        self._fully_stopped.set()
 
125
            for hook in SmartTCPServer.hooks['server_stopped']:
 
126
                hook(backing_urls, self.get_url())
245
127
 
246
128
    def get_url(self):
247
129
        """Return the url of the server"""
248
 
        return "bzr://%s:%s/" % (self._sockname[0], self._sockname[1])
249
 
 
250
 
    def _make_handler(self, conn):
251
 
        return medium.SmartServerSocketStreamMedium(
252
 
            conn, self.backing_transport, self.root_client_path,
253
 
            timeout=self._client_timeout)
254
 
 
255
 
    def _poll_active_connections(self, timeout=0.0):
256
 
        """Check to see if any active connections have finished.
257
 
 
258
 
        This will iterate through self._active_connections, and update any
259
 
        connections that are finished.
260
 
 
261
 
        :param timeout: The timeout to pass to thread.join(). By default, we
262
 
            set it to 0, so that we don't hang if threads are not done yet.
263
 
        :return: None
264
 
        """
265
 
        still_active = []
266
 
        for handler, thread in self._active_connections:
267
 
            thread.join(timeout)
268
 
            if thread.isAlive():
269
 
                still_active.append((handler, thread))
270
 
        self._active_connections = still_active
271
 
 
272
 
    def serve_conn(self, conn, thread_name_suffix):
 
130
        return "bzr://%s:%d/" % self._sockname
 
131
 
 
132
    def serve_conn(self, conn):
273
133
        # For WIN32, where the timeout value from the listening socket
274
 
        # propagates to the newly accepted socket.
 
134
        # propogates to the newly accepted socket.
275
135
        conn.setblocking(True)
276
136
        conn.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
277
 
        thread_name = 'smart-server-child' + thread_name_suffix
278
 
        handler = self._make_handler(conn)
279
 
        connection_thread = threading.Thread(
280
 
            None, handler.serve, name=thread_name)
281
 
        self._active_connections.append((handler, connection_thread))
 
137
        handler = SmartServerSocketStreamMedium(conn, self.backing_transport)
 
138
        connection_thread = threading.Thread(None, handler.serve, name='smart-server-child')
282
139
        connection_thread.setDaemon(True)
283
140
        connection_thread.start()
284
 
        return connection_thread
285
141
 
286
 
    def start_background_thread(self, thread_name_suffix=''):
 
142
    def start_background_thread(self):
287
143
        self._started.clear()
288
144
        self._server_thread = threading.Thread(None,
289
 
                self.serve, args=(thread_name_suffix,),
 
145
                self.serve,
290
146
                name='server-' + self.get_url())
291
147
        self._server_thread.setDaemon(True)
292
148
        self._server_thread.start()
298
154
        self._should_terminate = True
299
155
        # close the socket - gives error to connections from here on in,
300
156
        # rather than a connection reset error to connections made during
301
 
        # the period between setting _should_terminate = True and
 
157
        # the period between setting _should_terminate = True and 
302
158
        # the current request completing/aborting. It may also break out the
303
159
        # main loop if it was currently in accept() (on some platforms).
304
160
        try:
327
183
        These are all empty initially, because by default nothing should get
328
184
        notified.
329
185
        """
330
 
        Hooks.__init__(self, "bzrlib.smart.server", "SmartTCPServer.hooks")
331
 
        self.add_hook('server_started',
332
 
            "Called by the bzr server when it starts serving a directory. "
333
 
            "server_started is called with (backing urls, public url), "
334
 
            "where backing_url is a list of URLs giving the "
335
 
            "server-specific directory locations, and public_url is the "
336
 
            "public URL for the directory being served.", (0, 16))
337
 
        self.add_hook('server_started_ex',
338
 
            "Called by the bzr server when it starts serving a directory. "
339
 
            "server_started is called with (backing_urls, server_obj).",
340
 
            (1, 17))
341
 
        self.add_hook('server_stopped',
342
 
            "Called by the bzr server when it stops serving a directory. "
343
 
            "server_stopped is called with the same parameters as the "
344
 
            "server_started hook: (backing_urls, public_url).", (0, 16))
345
 
        self.add_hook('server_exception',
346
 
            "Called by the bzr server when an exception occurs. "
347
 
            "server_exception is called with the sys.exc_info() tuple "
348
 
            "return true for the hook if the exception has been handled, "
349
 
            "in which case the server will exit normally.", (2, 4))
 
186
        Hooks.__init__(self)
 
187
        # Introduced in 0.16:
 
188
        # invoked whenever the server starts serving a directory.
 
189
        # The api signature is (backing urls, public url).
 
190
        self['server_started'] = []
 
191
        # Introduced in 0.16:
 
192
        # invoked whenever the server stops serving a directory.
 
193
        # The api signature is (backing urls, public url).
 
194
        self['server_stopped'] = []
350
195
 
351
196
SmartTCPServer.hooks = SmartServerHooks()
352
197
 
353
198
 
354
 
def _local_path_for_transport(transport):
355
 
    """Return a local path for transport, if reasonably possible.
356
 
    
357
 
    This function works even if transport's url has a "readonly+" prefix,
358
 
    unlike local_path_from_url.
359
 
    
360
 
    This essentially recovers the --directory argument the user passed to "bzr
361
 
    serve" from the transport passed to serve_bzr.
362
 
    """
363
 
    try:
364
 
        base_url = transport.external_url()
365
 
    except (errors.InProcessTransport, NotImplementedError):
366
 
        return None
367
 
    else:
368
 
        # Strip readonly prefix
369
 
        if base_url.startswith('readonly+'):
370
 
            base_url = base_url[len('readonly+'):]
371
 
        try:
372
 
            return urlutils.local_path_from_url(base_url)
373
 
        except errors.InvalidURL:
374
 
            return None
375
 
 
376
 
 
377
 
class BzrServerFactory(object):
378
 
    """Helper class for serve_bzr."""
379
 
 
380
 
    def __init__(self, userdir_expander=None, get_base_path=None):
381
 
        self.cleanups = []
382
 
        self.base_path = None
383
 
        self.backing_transport = None
384
 
        if userdir_expander is None:
385
 
            userdir_expander = os.path.expanduser
386
 
        self.userdir_expander = userdir_expander
387
 
        if get_base_path is None:
388
 
            get_base_path = _local_path_for_transport
389
 
        self.get_base_path = get_base_path
390
 
 
391
 
    def _expand_userdirs(self, path):
392
 
        """Translate /~/ or /~user/ to e.g. /home/foo, using
393
 
        self.userdir_expander (os.path.expanduser by default).
394
 
 
395
 
        If the translated path would fall outside base_path, or the path does
396
 
        not start with ~, then no translation is applied.
397
 
 
398
 
        If the path is inside, it is adjusted to be relative to the base path.
399
 
 
400
 
        e.g. if base_path is /home, and the expanded path is /home/joe, then
401
 
        the translated path is joe.
402
 
        """
403
 
        result = path
404
 
        if path.startswith('~'):
405
 
            expanded = self.userdir_expander(path)
406
 
            if not expanded.endswith('/'):
407
 
                expanded += '/'
408
 
            if expanded.startswith(self.base_path):
409
 
                result = expanded[len(self.base_path):]
410
 
        return result
411
 
 
412
 
    def _make_expand_userdirs_filter(self, transport):
413
 
        return pathfilter.PathFilteringServer(transport, self._expand_userdirs)
414
 
 
415
 
    def _make_backing_transport(self, transport):
416
 
        """Chroot transport, and decorate with userdir expander."""
417
 
        self.base_path = self.get_base_path(transport)
418
 
        chroot_server = chroot.ChrootServer(transport)
419
 
        chroot_server.start_server()
420
 
        self.cleanups.append(chroot_server.stop_server)
421
 
        transport = _mod_transport.get_transport_from_url(chroot_server.get_url())
422
 
        if self.base_path is not None:
423
 
            # Decorate the server's backing transport with a filter that can
424
 
            # expand homedirs.
425
 
            expand_userdirs = self._make_expand_userdirs_filter(transport)
426
 
            expand_userdirs.start_server()
427
 
            self.cleanups.append(expand_userdirs.stop_server)
428
 
            transport = _mod_transport.get_transport_from_url(expand_userdirs.get_url())
429
 
        self.transport = transport
430
 
 
431
 
    def _get_stdin_stdout(self):
432
 
        return sys.stdin, sys.stdout
433
 
 
434
 
    def _make_smart_server(self, host, port, inet, timeout):
435
 
        if timeout is None:
436
 
            c = config.GlobalStack()
437
 
            timeout = c.get('serve.client_timeout')
438
 
        if inet:
439
 
            stdin, stdout = self._get_stdin_stdout()
440
 
            smart_server = medium.SmartServerPipeStreamMedium(
441
 
                stdin, stdout, self.transport, timeout=timeout)
442
 
        else:
443
 
            if host is None:
444
 
                host = medium.BZR_DEFAULT_INTERFACE
445
 
            if port is None:
446
 
                port = medium.BZR_DEFAULT_PORT
447
 
            smart_server = SmartTCPServer(self.transport,
448
 
                                          client_timeout=timeout)
449
 
            smart_server.start_server(host, port)
450
 
            trace.note(gettext('listening on port: %s') % smart_server.port)
451
 
        self.smart_server = smart_server
452
 
 
453
 
    def _change_globals(self):
454
 
        from bzrlib import lockdir, ui
455
 
        # For the duration of this server, no UI output is permitted. note
456
 
        # that this may cause problems with blackbox tests. This should be
457
 
        # changed with care though, as we dont want to use bandwidth sending
458
 
        # progress over stderr to smart server clients!
459
 
        old_factory = ui.ui_factory
460
 
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
461
 
        def restore_default_ui_factory_and_lockdir_timeout():
462
 
            ui.ui_factory = old_factory
463
 
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
464
 
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
465
 
        ui.ui_factory = ui.SilentUIFactory()
466
 
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
467
 
        orig = signals.install_sighup_handler()
468
 
        def restore_signals():
469
 
            signals.restore_sighup_handler(orig)
470
 
        self.cleanups.append(restore_signals)
471
 
 
472
 
    def set_up(self, transport, host, port, inet, timeout):
473
 
        self._make_backing_transport(transport)
474
 
        self._make_smart_server(host, port, inet, timeout)
475
 
        self._change_globals()
476
 
 
477
 
    def tear_down(self):
478
 
        for cleanup in reversed(self.cleanups):
479
 
            cleanup()
480
 
 
481
 
 
482
 
def serve_bzr(transport, host=None, port=None, inet=False, timeout=None):
483
 
    """This is the default implementation of 'bzr serve'.
484
 
 
485
 
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
486
 
    transport will be decorated with a chroot and pathfilter (using
487
 
    os.path.expanduser).
488
 
    """
489
 
    bzr_server = BzrServerFactory()
490
 
    try:
491
 
        bzr_server.set_up(transport, host, port, inet, timeout)
492
 
        bzr_server.smart_server.serve()
493
 
    except:
494
 
        hook_caught_exception = False
495
 
        for hook in SmartTCPServer.hooks['server_exception']:
496
 
            hook_caught_exception = hook(sys.exc_info())
497
 
        if not hook_caught_exception:
498
 
            raise
499
 
    finally:
500
 
        bzr_server.tear_down()
 
199
class SmartTCPServer_for_testing(SmartTCPServer):
 
200
    """Server suitable for use by transport tests.
 
201
    
 
202
    This server is backed by the process's cwd.
 
203
    """
 
204
 
 
205
    def __init__(self):
 
206
        SmartTCPServer.__init__(self, None)
 
207
        
 
208
    def get_backing_transport(self, backing_transport_server):
 
209
        """Get a backing transport from a server we are decorating."""
 
210
        return transport.get_transport(backing_transport_server.get_url())
 
211
 
 
212
    def setUp(self, backing_transport_server=None):
 
213
        """Set up server for testing"""
 
214
        from bzrlib.transport.chroot import ChrootServer
 
215
        if backing_transport_server is None:
 
216
            from bzrlib.transport.local import LocalURLServer
 
217
            backing_transport_server = LocalURLServer()
 
218
        self.chroot_server = ChrootServer(
 
219
            self.get_backing_transport(backing_transport_server))
 
220
        self.chroot_server.setUp()
 
221
        self.backing_transport = transport.get_transport(
 
222
            self.chroot_server.get_url())
 
223
        self.start_background_thread()
 
224
 
 
225
    def tearDown(self):
 
226
        self.stop_background_thread()
 
227
        self.chroot_server.tearDown()
 
228
 
 
229
    def get_bogus_url(self):
 
230
        """Return a URL which will fail to connect"""
 
231
        return 'bzr://127.0.0.1:1/'
 
232
 
 
233
 
 
234
class ReadonlySmartTCPServer_for_testing(SmartTCPServer_for_testing):
 
235
    """Get a readonly server for testing."""
 
236
 
 
237
    def get_backing_transport(self, backing_transport_server):
 
238
        """Get a backing transport from a server we are decorating."""
 
239
        url = 'readonly+' + backing_transport_server.get_url()
 
240
        return transport.get_transport(url)
 
241