← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Martin Pool
  • Date: 2010-01-29 10:36:23 UTC
  • mto: This revision was merged to the branch mainline in revision 4992.
  • Revision ID: mbp@sourcefrog.net-20100129103623-hywka5hymo5z13jw
Change url to canonical.com or wiki, plus some doc improvements in passing

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/smart/server.py
1
 
# Copyright (C) 2006, 2007 Canonical Ltd
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
"""Server for smart-server protocol."""
18
18
 
19
19
import errno
 
20
import os.path
20
21
import socket
21
 
import os
 
22
import sys
22
23
import threading
23
24
 
24
 
from bzrlib.hooks import Hooks
25
 
from bzrlib.smart import medium
 
25
from bzrlib.hooks import HookPoint, Hooks
26
26
from bzrlib import (
 
27
    errors,
27
28
    trace,
28
29
    transport,
 
30
)
 
31
from bzrlib.lazy_import import lazy_import
 
32
lazy_import(globals(), """
 
33
from bzrlib.smart import medium
 
34
from bzrlib.transport import (
 
35
    chroot,
 
36
    get_transport,
 
37
    pathfilter,
 
38
    )
 
39
from bzrlib import (
29
40
    urlutils,
30
 
)
31
 
from bzrlib.smart.medium import SmartServerSocketStreamMedium
 
41
    )
 
42
""")
32
43
 
33
44
 
34
45
class SmartTCPServer(object):
35
 
    """Listens on a TCP socket and accepts connections from smart clients
 
46
    """Listens on a TCP socket and accepts connections from smart clients.
 
47
 
 
48
    Each connection will be served by a SmartServerSocketStreamMedium running in
 
49
    a thread.
36
50
 
37
51
    hooks: An instance of SmartServerHooks.
38
52
    """
39
53
 
40
 
    def __init__(self, backing_transport, host='127.0.0.1', port=0):
 
54
    def __init__(self, backing_transport, host='127.0.0.1', port=0,
 
55
                 root_client_path='/'):
41
56
        """Construct a new server.
42
57
 
43
58
        To actually start it running, call either start_background_thread or
44
59
        serve.
45
60
 
 
61
        :param backing_transport: The transport to serve.
46
62
        :param host: Name of the interface to listen on.
47
63
        :param port: TCP port to listen on, or 0 to allocate a transient port.
 
64
        :param root_client_path: The client path that will correspond to root
 
65
            of backing_transport.
48
66
        """
49
67
        # let connections timeout so that we get a chance to terminate
50
68
        # Keep a reference to the exceptions we want to catch because the socket
53
71
        from socket import error as socket_error
54
72
        self._socket_error = socket_error
55
73
        self._socket_timeout = socket_timeout
56
 
        self._server_socket = socket.socket()
57
 
        self._server_socket.bind((host, port))
 
74
        addrs = socket.getaddrinfo(host, port, socket.AF_UNSPEC,
 
75
            socket.SOCK_STREAM, 0, socket.AI_PASSIVE)[0]
 
76
 
 
77
        (family, socktype, proto, canonname, sockaddr) = addrs
 
78
 
 
79
        self._server_socket = socket.socket(family, socktype, proto)
 
80
        # SO_REUSERADDR has a different meaning on Windows
 
81
        if sys.platform != 'win32':
 
82
            self._server_socket.setsockopt(socket.SOL_SOCKET,
 
83
                socket.SO_REUSEADDR, 1)
 
84
        try:
 
85
            self._server_socket.bind(sockaddr)
 
86
        except self._socket_error, message:
 
87
            raise errors.CannotBindAddress(host, port, message)
58
88
        self._sockname = self._server_socket.getsockname()
59
89
        self.port = self._sockname[1]
60
90
        self._server_socket.listen(1)
62
92
        self.backing_transport = backing_transport
63
93
        self._started = threading.Event()
64
94
        self._stopped = threading.Event()
 
95
        self.root_client_path = root_client_path
65
96
 
66
 
    def serve(self):
 
97
    def serve(self, thread_name_suffix=''):
67
98
        self._should_terminate = False
 
99
        # for hooks we are letting code know that a server has started (and
 
100
        # later stopped).
 
101
        # There are three interesting urls:
 
102
        # The URL the server can be contacted on. (e.g. bzr://host/)
 
103
        # The URL that a commit done on the same machine as the server will
 
104
        # have within the servers space. (e.g. file:///home/user/source)
 
105
        # The URL that will be given to other hooks in the same process -
 
106
        # the URL of the backing transport itself. (e.g. chroot+:///)
 
107
        # We need all three because:
 
108
        #  * other machines see the first
 
109
        #  * local commits on this machine should be able to be mapped to
 
110
        #    this server
 
111
        #  * commits the server does itself need to be mapped across to this
 
112
        #    server.
 
113
        # The latter two urls are different aliases to the servers url,
 
114
        # so we group those in a list - as there might be more aliases
 
115
        # in the future.
 
116
        backing_urls = [self.backing_transport.base]
 
117
        try:
 
118
            backing_urls.append(self.backing_transport.external_url())
 
119
        except errors.InProcessTransport:
 
120
            pass
68
121
        for hook in SmartTCPServer.hooks['server_started']:
69
 
            hook(self.backing_transport.base, self.get_url())
 
122
            hook(backing_urls, self.get_url())
 
123
        for hook in SmartTCPServer.hooks['server_started_ex']:
 
124
            hook(backing_urls, self)
70
125
        self._started.set()
71
126
        try:
72
127
            try:
83
138
                        if e.args[0] != errno.EBADF:
84
139
                            trace.warning("listening socket error: %s", e)
85
140
                    else:
86
 
                        self.serve_conn(conn)
 
141
                        self.serve_conn(conn, thread_name_suffix)
87
142
            except KeyboardInterrupt:
88
143
                # dont log when CTRL-C'd.
89
144
                raise
90
145
            except Exception, e:
91
 
                trace.error("Unhandled smart server error.")
92
 
                trace.log_exception_quietly()
 
146
                trace.report_exception(sys.exc_info(), sys.stderr)
93
147
                raise
94
148
        finally:
95
149
            self._stopped.set()
100
154
                # ignore errors on close
101
155
                pass
102
156
            for hook in SmartTCPServer.hooks['server_stopped']:
103
 
                hook(self.backing_transport.base, self.get_url())
 
157
                hook(backing_urls, self.get_url())
104
158
 
105
159
    def get_url(self):
106
160
        """Return the url of the server"""
107
161
        return "bzr://%s:%d/" % self._sockname
108
162
 
109
 
    def serve_conn(self, conn):
 
163
    def serve_conn(self, conn, thread_name_suffix):
110
164
        # For WIN32, where the timeout value from the listening socket
111
 
        # propogates to the newly accepted socket.
 
165
        # propagates to the newly accepted socket.
112
166
        conn.setblocking(True)
113
167
        conn.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
114
 
        handler = SmartServerSocketStreamMedium(conn, self.backing_transport)
115
 
        connection_thread = threading.Thread(None, handler.serve, name='smart-server-child')
 
168
        handler = medium.SmartServerSocketStreamMedium(
 
169
            conn, self.backing_transport, self.root_client_path)
 
170
        thread_name = 'smart-server-child' + thread_name_suffix
 
171
        connection_thread = threading.Thread(
 
172
            None, handler.serve, name=thread_name)
116
173
        connection_thread.setDaemon(True)
117
174
        connection_thread.start()
118
175
 
119
 
    def start_background_thread(self):
 
176
    def start_background_thread(self, thread_name_suffix=''):
120
177
        self._started.clear()
121
178
        self._server_thread = threading.Thread(None,
122
 
                self.serve,
 
179
                self.serve, args=(thread_name_suffix,),
123
180
                name='server-' + self.get_url())
124
181
        self._server_thread.setDaemon(True)
125
182
        self._server_thread.start()
131
188
        self._should_terminate = True
132
189
        # close the socket - gives error to connections from here on in,
133
190
        # rather than a connection reset error to connections made during
134
 
        # the period between setting _should_terminate = True and 
 
191
        # the period between setting _should_terminate = True and
135
192
        # the current request completing/aborting. It may also break out the
136
193
        # main loop if it was currently in accept() (on some platforms).
137
194
        try:
161
218
        notified.
162
219
        """
163
220
        Hooks.__init__(self)
164
 
        # Introduced in 0.16:
165
 
        # invoked whenever the server starts serving a directory.
166
 
        # The api signature is (backing url, public url).
167
 
        self['server_started'] = []
168
 
        # Introduced in 0.16:
169
 
        # invoked whenever the server stops serving a directory.
170
 
        # The api signature is (backing url, public url).
171
 
        self['server_stopped'] = []
 
221
        self.create_hook(HookPoint('server_started',
 
222
            "Called by the bzr server when it starts serving a directory. "
 
223
            "server_started is called with (backing urls, public url), "
 
224
            "where backing_url is a list of URLs giving the "
 
225
            "server-specific directory locations, and public_url is the "
 
226
            "public URL for the directory being served.", (0, 16), None))
 
227
        self.create_hook(HookPoint('server_started_ex',
 
228
            "Called by the bzr server when it starts serving a directory. "
 
229
            "server_started is called with (backing_urls, server_obj).",
 
230
            (1, 17), None))
 
231
        self.create_hook(HookPoint('server_stopped',
 
232
            "Called by the bzr server when it stops serving a directory. "
 
233
            "server_stopped is called with the same parameters as the "
 
234
            "server_started hook: (backing_urls, public_url).", (0, 16), None))
172
235
 
173
236
SmartTCPServer.hooks = SmartServerHooks()
174
237
 
175
238
 
176
239
class SmartTCPServer_for_testing(SmartTCPServer):
177
240
    """Server suitable for use by transport tests.
178
 
    
 
241
 
179
242
    This server is backed by the process's cwd.
180
243
    """
181
244
 
182
 
    def __init__(self):
183
 
        self._homedir = urlutils.local_path_to_url(os.getcwd())[7:]
184
 
        # The server is set up by default like for ssh access: the client
185
 
        # passes filesystem-absolute paths; therefore the server must look
186
 
        # them up relative to the root directory.  it might be better to act
187
 
        # a public server and have the server rewrite paths into the test
188
 
        # directory.
189
 
        SmartTCPServer.__init__(self,
190
 
            transport.get_transport(urlutils.local_path_to_url('/')))
191
 
        
 
245
    def __init__(self, thread_name_suffix=''):
 
246
        SmartTCPServer.__init__(self, None)
 
247
        self.client_path_extra = None
 
248
        self.thread_name_suffix = thread_name_suffix
 
249
 
192
250
    def get_backing_transport(self, backing_transport_server):
193
251
        """Get a backing transport from a server we are decorating."""
194
252
        return transport.get_transport(backing_transport_server.get_url())
195
253
 
196
 
    def setUp(self, backing_transport_server=None):
197
 
        """Set up server for testing"""
198
 
        from bzrlib.transport.chroot import TestingChrootServer
 
254
    def start_server(self, backing_transport_server=None,
 
255
              client_path_extra='/extra/'):
 
256
        """Set up server for testing.
 
257
 
 
258
        :param backing_transport_server: backing server to use.  If not
 
259
            specified, a LocalURLServer at the current working directory will
 
260
            be used.
 
261
        :param client_path_extra: a path segment starting with '/' to append to
 
262
            the root URL for this server.  For instance, a value of '/foo/bar/'
 
263
            will mean the root of the backing transport will be published at a
 
264
            URL like `bzr://127.0.0.1:nnnn/foo/bar/`, rather than
 
265
            `bzr://127.0.0.1:nnnn/`.  Default value is `extra`, so that tests
 
266
            by default will fail unless they do the necessary path translation.
 
267
        """
 
268
        if not client_path_extra.startswith('/'):
 
269
            raise ValueError(client_path_extra)
 
270
        from bzrlib.transport.chroot import ChrootServer
199
271
        if backing_transport_server is None:
200
272
            from bzrlib.transport.local import LocalURLServer
201
273
            backing_transport_server = LocalURLServer()
202
 
        self.chroot_server = TestingChrootServer()
203
 
        self.chroot_server.setUp(backing_transport_server)
 
274
        self.chroot_server = ChrootServer(
 
275
            self.get_backing_transport(backing_transport_server))
 
276
        self.chroot_server.start_server()
204
277
        self.backing_transport = transport.get_transport(
205
278
            self.chroot_server.get_url())
206
 
        self.start_background_thread()
 
279
        self.root_client_path = self.client_path_extra = client_path_extra
 
280
        self.start_background_thread(self.thread_name_suffix)
207
281
 
208
 
    def tearDown(self):
 
282
    def stop_server(self):
209
283
        self.stop_background_thread()
 
284
        self.chroot_server.stop_server()
 
285
 
 
286
    def get_url(self):
 
287
        url = super(SmartTCPServer_for_testing, self).get_url()
 
288
        return url[:-1] + self.client_path_extra
210
289
 
211
290
    def get_bogus_url(self):
212
291
        """Return a URL which will fail to connect"""
213
292
        return 'bzr://127.0.0.1:1/'
214
293
 
215
294
 
 
295
class ReadonlySmartTCPServer_for_testing(SmartTCPServer_for_testing):
 
296
    """Get a readonly server for testing."""
 
297
 
 
298
    def get_backing_transport(self, backing_transport_server):
 
299
        """Get a backing transport from a server we are decorating."""
 
300
        url = 'readonly+' + backing_transport_server.get_url()
 
301
        return transport.get_transport(url)
 
302
 
 
303
 
 
304
class SmartTCPServer_for_testing_v2_only(SmartTCPServer_for_testing):
 
305
    """A variation of SmartTCPServer_for_testing that limits the client to
 
306
    using RPCs in protocol v2 (i.e. bzr <= 1.5).
 
307
    """
 
308
 
 
309
    def get_url(self):
 
310
        url = super(SmartTCPServer_for_testing_v2_only, self).get_url()
 
311
        url = 'bzr-v2://' + url[len('bzr://'):]
 
312
        return url
 
313
 
 
314
 
 
315
class ReadonlySmartTCPServer_for_testing_v2_only(SmartTCPServer_for_testing_v2_only):
 
316
    """Get a readonly server for testing."""
 
317
 
 
318
    def get_backing_transport(self, backing_transport_server):
 
319
        """Get a backing transport from a server we are decorating."""
 
320
        url = 'readonly+' + backing_transport_server.get_url()
 
321
        return transport.get_transport(url)
 
322
 
 
323
 
 
324
def _local_path_for_transport(transport):
 
325
    """Return a local path for transport, if reasonably possible.
 
326
    
 
327
    This function works even if transport's url has a "readonly+" prefix,
 
328
    unlike local_path_from_url.
 
329
    
 
330
    This essentially recovers the --directory argument the user passed to "bzr
 
331
    serve" from the transport passed to serve_bzr.
 
332
    """
 
333
    try:
 
334
        base_url = transport.external_url()
 
335
    except (errors.InProcessTransport, NotImplementedError):
 
336
        return None
 
337
    else:
 
338
        # Strip readonly prefix
 
339
        if base_url.startswith('readonly+'):
 
340
            base_url = base_url[len('readonly+'):]
 
341
        try:
 
342
            return urlutils.local_path_from_url(base_url)
 
343
        except errors.InvalidURL:
 
344
            return None
 
345
 
 
346
 
 
347
class BzrServerFactory(object):
 
348
    """Helper class for serve_bzr."""
 
349
 
 
350
    def __init__(self, userdir_expander=None, get_base_path=None):
 
351
        self.cleanups = []
 
352
        self.base_path = None
 
353
        self.backing_transport = None
 
354
        if userdir_expander is None:
 
355
            userdir_expander = os.path.expanduser
 
356
        self.userdir_expander = userdir_expander
 
357
        if get_base_path is None:
 
358
            get_base_path = _local_path_for_transport
 
359
        self.get_base_path = get_base_path
 
360
 
 
361
    def _expand_userdirs(self, path):
 
362
        """Translate /~/ or /~user/ to e.g. /home/foo, using
 
363
        self.userdir_expander (os.path.expanduser by default).
 
364
 
 
365
        If the translated path would fall outside base_path, or the path does
 
366
        not start with ~, then no translation is applied.
 
367
 
 
368
        If the path is inside, it is adjusted to be relative to the base path.
 
369
 
 
370
        e.g. if base_path is /home, and the expanded path is /home/joe, then
 
371
        the translated path is joe.
 
372
        """
 
373
        result = path
 
374
        if path.startswith('~'):
 
375
            expanded = self.userdir_expander(path)
 
376
            if not expanded.endswith('/'):
 
377
                expanded += '/'
 
378
            if expanded.startswith(self.base_path):
 
379
                result = expanded[len(self.base_path):]
 
380
        return result
 
381
 
 
382
    def _make_expand_userdirs_filter(self, transport):
 
383
        return pathfilter.PathFilteringServer(transport, self._expand_userdirs)
 
384
 
 
385
    def _make_backing_transport(self, transport):
 
386
        """Chroot transport, and decorate with userdir expander."""
 
387
        self.base_path = self.get_base_path(transport)
 
388
        chroot_server = chroot.ChrootServer(transport)
 
389
        chroot_server.start_server()
 
390
        self.cleanups.append(chroot_server.stop_server)
 
391
        transport = get_transport(chroot_server.get_url())
 
392
        if self.base_path is not None:
 
393
            # Decorate the server's backing transport with a filter that can
 
394
            # expand homedirs.
 
395
            expand_userdirs = self._make_expand_userdirs_filter(transport)
 
396
            expand_userdirs.start_server()
 
397
            self.cleanups.append(expand_userdirs.stop_server)
 
398
            transport = get_transport(expand_userdirs.get_url())
 
399
        self.transport = transport
 
400
 
 
401
    def _make_smart_server(self, host, port, inet):
 
402
        if inet:
 
403
            smart_server = medium.SmartServerPipeStreamMedium(
 
404
                sys.stdin, sys.stdout, self.transport)
 
405
        else:
 
406
            if host is None:
 
407
                host = medium.BZR_DEFAULT_INTERFACE
 
408
            if port is None:
 
409
                port = medium.BZR_DEFAULT_PORT
 
410
            smart_server = SmartTCPServer(self.transport, host=host, port=port)
 
411
            trace.note('listening on port: %s' % smart_server.port)
 
412
        self.smart_server = smart_server
 
413
 
 
414
    def _change_globals(self):
 
415
        from bzrlib import lockdir, ui
 
416
        # For the duration of this server, no UI output is permitted. note
 
417
        # that this may cause problems with blackbox tests. This should be
 
418
        # changed with care though, as we dont want to use bandwidth sending
 
419
        # progress over stderr to smart server clients!
 
420
        old_factory = ui.ui_factory
 
421
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
 
422
        def restore_default_ui_factory_and_lockdir_timeout():
 
423
            ui.ui_factory = old_factory
 
424
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
 
425
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
 
426
        ui.ui_factory = ui.SilentUIFactory()
 
427
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
428
 
 
429
    def set_up(self, transport, host, port, inet):
 
430
        self._make_backing_transport(transport)
 
431
        self._make_smart_server(host, port, inet)
 
432
        self._change_globals()
 
433
 
 
434
    def tear_down(self):
 
435
        for cleanup in reversed(self.cleanups):
 
436
            cleanup()
 
437
 
 
438
 
 
439
def serve_bzr(transport, host=None, port=None, inet=False):
 
440
    """This is the default implementation of 'bzr serve'.
 
441
    
 
442
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
 
443
    transport will be decorated with a chroot and pathfilter (using
 
444
    os.path.expanduser).
 
445
    """
 
446
    bzr_server = BzrServerFactory()
 
447
    try:
 
448
        bzr_server.set_up(transport, host, port, inet)
 
449
        bzr_server.smart_server.serve()
 
450
    finally:
 
451
        bzr_server.tear_down()
 
452