← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Ian Clatworthy
  • Date: 2007-08-13 14:33:10 UTC
  • mto: (2733.1.1 ianc-integration)
  • mto: This revision was merged to the branch mainline in revision 2734.
  • Revision ID: ian.clatworthy@internode.on.net-20070813143310-twhj4la0qnupvze8
Added Quick Start Summary

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/smart/server.py
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""Server for smart-server protocol."""
18
18
 
19
19
import errno
20
 
import os.path
21
 
import select
22
20
import socket
23
 
import sys
24
21
import threading
25
22
 
26
 
from bzrlib.hooks import HookPoint, Hooks
 
23
from bzrlib.hooks import Hooks
27
24
from bzrlib import (
28
25
    errors,
29
26
    trace,
30
27
    transport,
31
28
)
32
 
from bzrlib.lazy_import import lazy_import
33
 
lazy_import(globals(), """
34
 
from bzrlib.smart import medium
35
 
from bzrlib.transport import (
36
 
    chroot,
37
 
    get_transport,
38
 
    pathfilter,
39
 
    )
40
 
from bzrlib import (
41
 
    urlutils,
42
 
    )
43
 
""")
 
29
from bzrlib.smart.medium import SmartServerSocketStreamMedium
44
30
 
45
31
 
46
32
class SmartTCPServer(object):
52
38
    hooks: An instance of SmartServerHooks.
53
39
    """
54
40
 
55
 
    def __init__(self, backing_transport, root_client_path='/'):
 
41
    def __init__(self, backing_transport, host='127.0.0.1', port=0):
56
42
        """Construct a new server.
57
43
 
58
44
        To actually start it running, call either start_background_thread or
59
45
        serve.
60
46
 
61
 
        :param backing_transport: The transport to serve.
62
 
        :param root_client_path: The client path that will correspond to root
63
 
            of backing_transport.
64
 
        """
65
 
        self.backing_transport = backing_transport
66
 
        self.root_client_path = root_client_path
67
 
 
68
 
    def start_server(self, host, port):
69
 
        """Create the server listening socket.
70
 
 
71
47
        :param host: Name of the interface to listen on.
72
48
        :param port: TCP port to listen on, or 0 to allocate a transient port.
73
49
        """
78
54
        from socket import error as socket_error
79
55
        self._socket_error = socket_error
80
56
        self._socket_timeout = socket_timeout
81
 
        addrs = socket.getaddrinfo(host, port, socket.AF_UNSPEC,
82
 
            socket.SOCK_STREAM, 0, socket.AI_PASSIVE)[0]
83
 
 
84
 
        (family, socktype, proto, canonname, sockaddr) = addrs
85
 
 
86
 
        self._server_socket = socket.socket(family, socktype, proto)
87
 
        # SO_REUSERADDR has a different meaning on Windows
88
 
        if sys.platform != 'win32':
89
 
            self._server_socket.setsockopt(socket.SOL_SOCKET,
90
 
                socket.SO_REUSEADDR, 1)
91
 
        try:
92
 
            self._server_socket.bind(sockaddr)
93
 
        except self._socket_error, message:
94
 
            raise errors.CannotBindAddress(host, port, message)
 
57
        self._server_socket = socket.socket()
 
58
        self._server_socket.bind((host, port))
95
59
        self._sockname = self._server_socket.getsockname()
96
60
        self.port = self._sockname[1]
97
61
        self._server_socket.listen(1)
98
62
        self._server_socket.settimeout(1)
 
63
        self.backing_transport = backing_transport
99
64
        self._started = threading.Event()
100
65
        self._stopped = threading.Event()
101
66
 
102
 
    def _backing_urls(self):
 
67
    def serve(self):
 
68
        self._should_terminate = False
 
69
        # for hooks we are letting code know that a server has started (and
 
70
        # later stopped).
103
71
        # There are three interesting urls:
104
72
        # The URL the server can be contacted on. (e.g. bzr://host/)
105
73
        # The URL that a commit done on the same machine as the server will
109
77
        # We need all three because:
110
78
        #  * other machines see the first
111
79
        #  * local commits on this machine should be able to be mapped to
112
 
        #    this server
 
80
        #    this server 
113
81
        #  * commits the server does itself need to be mapped across to this
114
82
        #    server.
115
83
        # The latter two urls are different aliases to the servers url,
116
 
        # so we group those in a list - as there might be more aliases
 
84
        # so we group those in a list - as there might be more aliases 
117
85
        # in the future.
118
 
        urls = [self.backing_transport.base]
 
86
        backing_urls = [self.backing_transport.base]
119
87
        try:
120
 
            urls.append(self.backing_transport.external_url())
 
88
            backing_urls.append(self.backing_transport.external_url())
121
89
        except errors.InProcessTransport:
122
90
            pass
123
 
        return urls
124
 
 
125
 
    def run_server_started_hooks(self, backing_urls=None):
126
 
        if backing_urls is None:
127
 
            backing_urls = self._backing_urls()
128
91
        for hook in SmartTCPServer.hooks['server_started']:
129
92
            hook(backing_urls, self.get_url())
130
 
        for hook in SmartTCPServer.hooks['server_started_ex']:
131
 
            hook(backing_urls, self)
132
 
 
133
 
    def run_server_stopped_hooks(self, backing_urls=None):
134
 
        if backing_urls is None:
135
 
            backing_urls = self._backing_urls()
136
 
        for hook in SmartTCPServer.hooks['server_stopped']:
137
 
            hook(backing_urls, self.get_url())
138
 
 
139
 
    def serve(self, thread_name_suffix=''):
140
 
        self._should_terminate = False
141
 
        # for hooks we are letting code know that a server has started (and
142
 
        # later stopped).
143
 
        self.run_server_started_hooks()
144
93
        self._started.set()
145
94
        try:
146
95
            try:
157
106
                        if e.args[0] != errno.EBADF:
158
107
                            trace.warning("listening socket error: %s", e)
159
108
                    else:
160
 
                        if self._should_terminate:
161
 
                            break
162
 
                        self.serve_conn(conn, thread_name_suffix)
 
109
                        self.serve_conn(conn)
163
110
            except KeyboardInterrupt:
164
111
                # dont log when CTRL-C'd.
165
112
                raise
166
113
            except Exception, e:
167
 
                trace.report_exception(sys.exc_info(), sys.stderr)
 
114
                trace.error("Unhandled smart server error.")
 
115
                trace.log_exception_quietly()
168
116
                raise
169
117
        finally:
170
118
            self._stopped.set()
174
122
            except self._socket_error:
175
123
                # ignore errors on close
176
124
                pass
177
 
            self.run_server_stopped_hooks()
 
125
            for hook in SmartTCPServer.hooks['server_stopped']:
 
126
                hook(backing_urls, self.get_url())
178
127
 
179
128
    def get_url(self):
180
129
        """Return the url of the server"""
181
130
        return "bzr://%s:%d/" % self._sockname
182
131
 
183
 
    def serve_conn(self, conn, thread_name_suffix):
 
132
    def serve_conn(self, conn):
184
133
        # For WIN32, where the timeout value from the listening socket
185
 
        # propagates to the newly accepted socket.
 
134
        # propogates to the newly accepted socket.
186
135
        conn.setblocking(True)
187
136
        conn.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
188
 
        handler = medium.SmartServerSocketStreamMedium(
189
 
            conn, self.backing_transport, self.root_client_path)
190
 
        thread_name = 'smart-server-child' + thread_name_suffix
191
 
        connection_thread = threading.Thread(
192
 
            None, handler.serve, name=thread_name)
193
 
        # FIXME: This thread is never joined, it should at least be collected
194
 
        # somewhere so that tests that want to check for leaked threads can get
195
 
        # rid of them -- vila 20100531
 
137
        handler = SmartServerSocketStreamMedium(conn, self.backing_transport)
 
138
        connection_thread = threading.Thread(None, handler.serve, name='smart-server-child')
196
139
        connection_thread.setDaemon(True)
197
140
        connection_thread.start()
198
 
        return connection_thread
199
141
 
200
 
    def start_background_thread(self, thread_name_suffix=''):
 
142
    def start_background_thread(self):
201
143
        self._started.clear()
202
144
        self._server_thread = threading.Thread(None,
203
 
                self.serve, args=(thread_name_suffix,),
 
145
                self.serve,
204
146
                name='server-' + self.get_url())
205
147
        self._server_thread.setDaemon(True)
206
148
        self._server_thread.start()
212
154
        self._should_terminate = True
213
155
        # close the socket - gives error to connections from here on in,
214
156
        # rather than a connection reset error to connections made during
215
 
        # the period between setting _should_terminate = True and
 
157
        # the period between setting _should_terminate = True and 
216
158
        # the current request completing/aborting. It may also break out the
217
159
        # main loop if it was currently in accept() (on some platforms).
218
160
        try:
242
184
        notified.
243
185
        """
244
186
        Hooks.__init__(self)
245
 
        self.create_hook(HookPoint('server_started',
246
 
            "Called by the bzr server when it starts serving a directory. "
247
 
            "server_started is called with (backing urls, public url), "
248
 
            "where backing_url is a list of URLs giving the "
249
 
            "server-specific directory locations, and public_url is the "
250
 
            "public URL for the directory being served.", (0, 16), None))
251
 
        self.create_hook(HookPoint('server_started_ex',
252
 
            "Called by the bzr server when it starts serving a directory. "
253
 
            "server_started is called with (backing_urls, server_obj).",
254
 
            (1, 17), None))
255
 
        self.create_hook(HookPoint('server_stopped',
256
 
            "Called by the bzr server when it stops serving a directory. "
257
 
            "server_stopped is called with the same parameters as the "
258
 
            "server_started hook: (backing_urls, public_url).", (0, 16), None))
 
187
        # Introduced in 0.16:
 
188
        # invoked whenever the server starts serving a directory.
 
189
        # The api signature is (backing urls, public url).
 
190
        self['server_started'] = []
 
191
        # Introduced in 0.16:
 
192
        # invoked whenever the server stops serving a directory.
 
193
        # The api signature is (backing urls, public url).
 
194
        self['server_stopped'] = []
259
195
 
260
196
SmartTCPServer.hooks = SmartServerHooks()
261
197
 
262
198
 
263
 
def _local_path_for_transport(transport):
264
 
    """Return a local path for transport, if reasonably possible.
265
 
    
266
 
    This function works even if transport's url has a "readonly+" prefix,
267
 
    unlike local_path_from_url.
268
 
    
269
 
    This essentially recovers the --directory argument the user passed to "bzr
270
 
    serve" from the transport passed to serve_bzr.
271
 
    """
272
 
    try:
273
 
        base_url = transport.external_url()
274
 
    except (errors.InProcessTransport, NotImplementedError):
275
 
        return None
276
 
    else:
277
 
        # Strip readonly prefix
278
 
        if base_url.startswith('readonly+'):
279
 
            base_url = base_url[len('readonly+'):]
280
 
        try:
281
 
            return urlutils.local_path_from_url(base_url)
282
 
        except errors.InvalidURL:
283
 
            return None
284
 
 
285
 
 
286
 
class BzrServerFactory(object):
287
 
    """Helper class for serve_bzr."""
288
 
 
289
 
    def __init__(self, userdir_expander=None, get_base_path=None):
290
 
        self.cleanups = []
291
 
        self.base_path = None
292
 
        self.backing_transport = None
293
 
        if userdir_expander is None:
294
 
            userdir_expander = os.path.expanduser
295
 
        self.userdir_expander = userdir_expander
296
 
        if get_base_path is None:
297
 
            get_base_path = _local_path_for_transport
298
 
        self.get_base_path = get_base_path
299
 
 
300
 
    def _expand_userdirs(self, path):
301
 
        """Translate /~/ or /~user/ to e.g. /home/foo, using
302
 
        self.userdir_expander (os.path.expanduser by default).
303
 
 
304
 
        If the translated path would fall outside base_path, or the path does
305
 
        not start with ~, then no translation is applied.
306
 
 
307
 
        If the path is inside, it is adjusted to be relative to the base path.
308
 
 
309
 
        e.g. if base_path is /home, and the expanded path is /home/joe, then
310
 
        the translated path is joe.
311
 
        """
312
 
        result = path
313
 
        if path.startswith('~'):
314
 
            expanded = self.userdir_expander(path)
315
 
            if not expanded.endswith('/'):
316
 
                expanded += '/'
317
 
            if expanded.startswith(self.base_path):
318
 
                result = expanded[len(self.base_path):]
319
 
        return result
320
 
 
321
 
    def _make_expand_userdirs_filter(self, transport):
322
 
        return pathfilter.PathFilteringServer(transport, self._expand_userdirs)
323
 
 
324
 
    def _make_backing_transport(self, transport):
325
 
        """Chroot transport, and decorate with userdir expander."""
326
 
        self.base_path = self.get_base_path(transport)
327
 
        chroot_server = chroot.ChrootServer(transport)
328
 
        chroot_server.start_server()
329
 
        self.cleanups.append(chroot_server.stop_server)
330
 
        transport = get_transport(chroot_server.get_url())
331
 
        if self.base_path is not None:
332
 
            # Decorate the server's backing transport with a filter that can
333
 
            # expand homedirs.
334
 
            expand_userdirs = self._make_expand_userdirs_filter(transport)
335
 
            expand_userdirs.start_server()
336
 
            self.cleanups.append(expand_userdirs.stop_server)
337
 
            transport = get_transport(expand_userdirs.get_url())
338
 
        self.transport = transport
339
 
 
340
 
    def _make_smart_server(self, host, port, inet):
341
 
        if inet:
342
 
            smart_server = medium.SmartServerPipeStreamMedium(
343
 
                sys.stdin, sys.stdout, self.transport)
344
 
        else:
345
 
            if host is None:
346
 
                host = medium.BZR_DEFAULT_INTERFACE
347
 
            if port is None:
348
 
                port = medium.BZR_DEFAULT_PORT
349
 
            smart_server = SmartTCPServer(self.transport)
350
 
            smart_server.start_server(host, port)
351
 
            trace.note('listening on port: %s' % smart_server.port)
352
 
        self.smart_server = smart_server
353
 
 
354
 
    def _change_globals(self):
355
 
        from bzrlib import lockdir, ui
356
 
        # For the duration of this server, no UI output is permitted. note
357
 
        # that this may cause problems with blackbox tests. This should be
358
 
        # changed with care though, as we dont want to use bandwidth sending
359
 
        # progress over stderr to smart server clients!
360
 
        old_factory = ui.ui_factory
361
 
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
362
 
        def restore_default_ui_factory_and_lockdir_timeout():
363
 
            ui.ui_factory = old_factory
364
 
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
365
 
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
366
 
        ui.ui_factory = ui.SilentUIFactory()
367
 
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
368
 
 
369
 
    def set_up(self, transport, host, port, inet):
370
 
        self._make_backing_transport(transport)
371
 
        self._make_smart_server(host, port, inet)
372
 
        self._change_globals()
373
 
 
374
 
    def tear_down(self):
375
 
        for cleanup in reversed(self.cleanups):
376
 
            cleanup()
377
 
 
378
 
 
379
 
def serve_bzr(transport, host=None, port=None, inet=False):
380
 
    """This is the default implementation of 'bzr serve'.
381
 
    
382
 
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
383
 
    transport will be decorated with a chroot and pathfilter (using
384
 
    os.path.expanduser).
385
 
    """
386
 
    bzr_server = BzrServerFactory()
387
 
    try:
388
 
        bzr_server.set_up(transport, host, port, inet)
389
 
        bzr_server.smart_server.serve()
390
 
    finally:
391
 
        bzr_server.tear_down()
 
199
class SmartTCPServer_for_testing(SmartTCPServer):
 
200
    """Server suitable for use by transport tests.
 
201
    
 
202
    This server is backed by the process's cwd.
 
203
    """
 
204
 
 
205
    def __init__(self):
 
206
        SmartTCPServer.__init__(self, None)
 
207
        
 
208
    def get_backing_transport(self, backing_transport_server):
 
209
        """Get a backing transport from a server we are decorating."""
 
210
        return transport.get_transport(backing_transport_server.get_url())
 
211
 
 
212
    def setUp(self, backing_transport_server=None):
 
213
        """Set up server for testing"""
 
214
        from bzrlib.transport.chroot import ChrootServer
 
215
        if backing_transport_server is None:
 
216
            from bzrlib.transport.local import LocalURLServer
 
217
            backing_transport_server = LocalURLServer()
 
218
        self.chroot_server = ChrootServer(
 
219
            self.get_backing_transport(backing_transport_server))
 
220
        self.chroot_server.setUp()
 
221
        self.backing_transport = transport.get_transport(
 
222
            self.chroot_server.get_url())
 
223
        self.start_background_thread()
 
224
 
 
225
    def tearDown(self):
 
226
        self.stop_background_thread()
 
227
        self.chroot_server.tearDown()
 
228
 
 
229
    def get_bogus_url(self):
 
230
        """Return a URL which will fail to connect"""
 
231
        return 'bzr://127.0.0.1:1/'
 
232
 
 
233
 
 
234
class ReadonlySmartTCPServer_for_testing(SmartTCPServer_for_testing):
 
235
    """Get a readonly server for testing."""
 
236
 
 
237
    def get_backing_transport(self, backing_transport_server):
 
238
        """Get a backing transport from a server we are decorating."""
 
239
        url = 'readonly+' + backing_transport_server.get_url()
 
240
        return transport.get_transport(url)
392
241