← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Vincent Ladeuil
  • Date: 2011-09-09 13:30:12 UTC
  • mfrom: (5609.48.11 2.3)
  • mto: (6015.33.3 2.4)
  • mto: This revision was merged to the branch mainline in revision 6134.
  • Revision ID: v.ladeuil+lp@free.fr-20110909133012-jc1d1zyqgak57123
Merge 2.3 into 2.4

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/smart/server.py
1
 
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2006-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
17
17
"""Server for smart-server protocol."""
18
18
 
19
19
import errno
 
20
import os.path
20
21
import socket
21
22
import sys
22
23
import threading
23
24
 
24
 
from bzrlib.hooks import HookPoint, Hooks
 
25
from bzrlib.hooks import Hooks
25
26
from bzrlib import (
26
27
    errors,
27
28
    trace,
28
 
    transport,
 
29
    transport as _mod_transport,
29
30
)
30
31
from bzrlib.lazy_import import lazy_import
31
32
lazy_import(globals(), """
32
33
from bzrlib.smart import medium
 
34
from bzrlib.transport import (
 
35
    chroot,
 
36
    pathfilter,
 
37
    )
 
38
from bzrlib import (
 
39
    urlutils,
 
40
    )
33
41
""")
34
42
 
35
43
 
42
50
    hooks: An instance of SmartServerHooks.
43
51
    """
44
52
 
45
 
    def __init__(self, backing_transport, host='127.0.0.1', port=0,
46
 
                 root_client_path='/'):
 
53
    def __init__(self, backing_transport, root_client_path='/'):
47
54
        """Construct a new server.
48
55
 
49
56
        To actually start it running, call either start_background_thread or
50
57
        serve.
51
58
 
52
59
        :param backing_transport: The transport to serve.
 
60
        :param root_client_path: The client path that will correspond to root
 
61
            of backing_transport.
 
62
        """
 
63
        self.backing_transport = backing_transport
 
64
        self.root_client_path = root_client_path
 
65
 
 
66
    def start_server(self, host, port):
 
67
        """Create the server listening socket.
 
68
 
53
69
        :param host: Name of the interface to listen on.
54
70
        :param port: TCP port to listen on, or 0 to allocate a transient port.
55
 
        :param root_client_path: The client path that will correspond to root
56
 
            of backing_transport.
57
71
        """
58
72
        # let connections timeout so that we get a chance to terminate
59
73
        # Keep a reference to the exceptions we want to catch because the socket
80
94
        self.port = self._sockname[1]
81
95
        self._server_socket.listen(1)
82
96
        self._server_socket.settimeout(1)
83
 
        self.backing_transport = backing_transport
84
97
        self._started = threading.Event()
85
98
        self._stopped = threading.Event()
86
 
        self.root_client_path = root_client_path
87
99
 
88
 
    def serve(self, thread_name_suffix=''):
89
 
        self._should_terminate = False
90
 
        # for hooks we are letting code know that a server has started (and
91
 
        # later stopped).
 
100
    def _backing_urls(self):
92
101
        # There are three interesting urls:
93
102
        # The URL the server can be contacted on. (e.g. bzr://host/)
94
103
        # The URL that a commit done on the same machine as the server will
95
104
        # have within the servers space. (e.g. file:///home/user/source)
96
105
        # The URL that will be given to other hooks in the same process -
97
 
        # the URL of the backing transport itself. (e.g. chroot+:///)
 
106
        # the URL of the backing transport itself. (e.g. filtered-36195:///)
98
107
        # We need all three because:
99
108
        #  * other machines see the first
100
109
        #  * local commits on this machine should be able to be mapped to
104
113
        # The latter two urls are different aliases to the servers url,
105
114
        # so we group those in a list - as there might be more aliases
106
115
        # in the future.
107
 
        backing_urls = [self.backing_transport.base]
 
116
        urls = [self.backing_transport.base]
108
117
        try:
109
 
            backing_urls.append(self.backing_transport.external_url())
 
118
            urls.append(self.backing_transport.external_url())
110
119
        except errors.InProcessTransport:
111
120
            pass
 
121
        return urls
 
122
 
 
123
    def run_server_started_hooks(self, backing_urls=None):
 
124
        if backing_urls is None:
 
125
            backing_urls = self._backing_urls()
112
126
        for hook in SmartTCPServer.hooks['server_started']:
113
127
            hook(backing_urls, self.get_url())
114
128
        for hook in SmartTCPServer.hooks['server_started_ex']:
115
129
            hook(backing_urls, self)
 
130
 
 
131
    def run_server_stopped_hooks(self, backing_urls=None):
 
132
        if backing_urls is None:
 
133
            backing_urls = self._backing_urls()
 
134
        for hook in SmartTCPServer.hooks['server_stopped']:
 
135
            hook(backing_urls, self.get_url())
 
136
 
 
137
    def serve(self, thread_name_suffix=''):
 
138
        self._should_terminate = False
 
139
        # for hooks we are letting code know that a server has started (and
 
140
        # later stopped).
 
141
        self.run_server_started_hooks()
116
142
        self._started.set()
117
143
        try:
118
144
            try:
129
155
                        if e.args[0] != errno.EBADF:
130
156
                            trace.warning("listening socket error: %s", e)
131
157
                    else:
 
158
                        if self._should_terminate:
 
159
                            break
132
160
                        self.serve_conn(conn, thread_name_suffix)
133
161
            except KeyboardInterrupt:
134
162
                # dont log when CTRL-C'd.
135
163
                raise
136
164
            except Exception, e:
137
 
                trace.error("Unhandled smart server error.")
138
 
                trace.log_exception_quietly()
 
165
                trace.report_exception(sys.exc_info(), sys.stderr)
139
166
                raise
140
167
        finally:
141
168
            self._stopped.set()
145
172
            except self._socket_error:
146
173
                # ignore errors on close
147
174
                pass
148
 
            for hook in SmartTCPServer.hooks['server_stopped']:
149
 
                hook(backing_urls, self.get_url())
 
175
            self.run_server_stopped_hooks()
150
176
 
151
177
    def get_url(self):
152
178
        """Return the url of the server"""
153
 
        return "bzr://%s:%d/" % self._sockname
 
179
        return "bzr://%s:%s/" % (self._sockname[0], self._sockname[1])
154
180
 
155
181
    def serve_conn(self, conn, thread_name_suffix):
156
182
        # For WIN32, where the timeout value from the listening socket
162
188
        thread_name = 'smart-server-child' + thread_name_suffix
163
189
        connection_thread = threading.Thread(
164
190
            None, handler.serve, name=thread_name)
 
191
        # FIXME: This thread is never joined, it should at least be collected
 
192
        # somewhere so that tests that want to check for leaked threads can get
 
193
        # rid of them -- vila 20100531
165
194
        connection_thread.setDaemon(True)
166
195
        connection_thread.start()
 
196
        return connection_thread
167
197
 
168
198
    def start_background_thread(self, thread_name_suffix=''):
169
199
        self._started.clear()
209
239
        These are all empty initially, because by default nothing should get
210
240
        notified.
211
241
        """
212
 
        Hooks.__init__(self)
213
 
        self.create_hook(HookPoint('server_started',
 
242
        Hooks.__init__(self, "bzrlib.smart.server", "SmartTCPServer.hooks")
 
243
        self.add_hook('server_started',
214
244
            "Called by the bzr server when it starts serving a directory. "
215
245
            "server_started is called with (backing urls, public url), "
216
246
            "where backing_url is a list of URLs giving the "
217
247
            "server-specific directory locations, and public_url is the "
218
 
            "public URL for the directory being served.", (0, 16), None))
219
 
        self.create_hook(HookPoint('server_started_ex',
 
248
            "public URL for the directory being served.", (0, 16))
 
249
        self.add_hook('server_started_ex',
220
250
            "Called by the bzr server when it starts serving a directory. "
221
251
            "server_started is called with (backing_urls, server_obj).",
222
 
            (1, 17), None))
223
 
        self.create_hook(HookPoint('server_stopped',
 
252
            (1, 17))
 
253
        self.add_hook('server_stopped',
224
254
            "Called by the bzr server when it stops serving a directory. "
225
255
            "server_stopped is called with the same parameters as the "
226
 
            "server_started hook: (backing_urls, public_url).", (0, 16), None))
 
256
            "server_started hook: (backing_urls, public_url).", (0, 16))
 
257
        self.add_hook('server_exception',
 
258
            "Called by the bzr server when an exception occurs. "
 
259
            "server_exception is called with the sys.exc_info() tuple "
 
260
            "return true for the hook if the exception has been handled, "
 
261
            "in which case the server will exit normally.", (2, 4))
227
262
 
228
263
SmartTCPServer.hooks = SmartServerHooks()
229
264
 
230
265
 
231
 
class SmartTCPServer_for_testing(SmartTCPServer):
232
 
    """Server suitable for use by transport tests.
233
 
 
234
 
    This server is backed by the process's cwd.
235
 
    """
236
 
 
237
 
    def __init__(self, thread_name_suffix=''):
238
 
        SmartTCPServer.__init__(self, None)
239
 
        self.client_path_extra = None
240
 
        self.thread_name_suffix = thread_name_suffix
241
 
 
242
 
    def get_backing_transport(self, backing_transport_server):
243
 
        """Get a backing transport from a server we are decorating."""
244
 
        return transport.get_transport(backing_transport_server.get_url())
245
 
 
246
 
    def setUp(self, backing_transport_server=None,
247
 
              client_path_extra='/extra/'):
248
 
        """Set up server for testing.
249
 
 
250
 
        :param backing_transport_server: backing server to use.  If not
251
 
            specified, a LocalURLServer at the current working directory will
252
 
            be used.
253
 
        :param client_path_extra: a path segment starting with '/' to append to
254
 
            the root URL for this server.  For instance, a value of '/foo/bar/'
255
 
            will mean the root of the backing transport will be published at a
256
 
            URL like `bzr://127.0.0.1:nnnn/foo/bar/`, rather than
257
 
            `bzr://127.0.0.1:nnnn/`.  Default value is `extra`, so that tests
258
 
            by default will fail unless they do the necessary path translation.
259
 
        """
260
 
        if not client_path_extra.startswith('/'):
261
 
            raise ValueError(client_path_extra)
262
 
        from bzrlib.transport.chroot import ChrootServer
263
 
        if backing_transport_server is None:
264
 
            from bzrlib.transport.local import LocalURLServer
265
 
            backing_transport_server = LocalURLServer()
266
 
        self.chroot_server = ChrootServer(
267
 
            self.get_backing_transport(backing_transport_server))
268
 
        self.chroot_server.setUp()
269
 
        self.backing_transport = transport.get_transport(
270
 
            self.chroot_server.get_url())
271
 
        self.root_client_path = self.client_path_extra = client_path_extra
272
 
        self.start_background_thread(self.thread_name_suffix)
273
 
 
274
 
    def tearDown(self):
275
 
        self.stop_background_thread()
276
 
        self.chroot_server.tearDown()
277
 
 
278
 
    def get_url(self):
279
 
        url = super(SmartTCPServer_for_testing, self).get_url()
280
 
        return url[:-1] + self.client_path_extra
281
 
 
282
 
    def get_bogus_url(self):
283
 
        """Return a URL which will fail to connect"""
284
 
        return 'bzr://127.0.0.1:1/'
285
 
 
286
 
 
287
 
class ReadonlySmartTCPServer_for_testing(SmartTCPServer_for_testing):
288
 
    """Get a readonly server for testing."""
289
 
 
290
 
    def get_backing_transport(self, backing_transport_server):
291
 
        """Get a backing transport from a server we are decorating."""
292
 
        url = 'readonly+' + backing_transport_server.get_url()
293
 
        return transport.get_transport(url)
294
 
 
295
 
 
296
 
class SmartTCPServer_for_testing_v2_only(SmartTCPServer_for_testing):
297
 
    """A variation of SmartTCPServer_for_testing that limits the client to
298
 
    using RPCs in protocol v2 (i.e. bzr <= 1.5).
299
 
    """
300
 
 
301
 
    def get_url(self):
302
 
        url = super(SmartTCPServer_for_testing_v2_only, self).get_url()
303
 
        url = 'bzr-v2://' + url[len('bzr://'):]
304
 
        return url
305
 
 
306
 
 
307
 
class ReadonlySmartTCPServer_for_testing_v2_only(SmartTCPServer_for_testing_v2_only):
308
 
    """Get a readonly server for testing."""
309
 
 
310
 
    def get_backing_transport(self, backing_transport_server):
311
 
        """Get a backing transport from a server we are decorating."""
312
 
        url = 'readonly+' + backing_transport_server.get_url()
313
 
        return transport.get_transport(url)
314
 
 
315
 
 
316
 
def serve_bzr(transport, host=None, port=None, inet=False):
317
 
    from bzrlib import lockdir, ui
318
 
    from bzrlib.transport import get_transport
319
 
    from bzrlib.transport.chroot import ChrootServer
320
 
    chroot_server = ChrootServer(transport)
321
 
    chroot_server.setUp()
322
 
    transport = get_transport(chroot_server.get_url())
323
 
    if inet:
324
 
        smart_server = medium.SmartServerPipeStreamMedium(
325
 
            sys.stdin, sys.stdout, transport)
 
266
def _local_path_for_transport(transport):
 
267
    """Return a local path for transport, if reasonably possible.
 
268
    
 
269
    This function works even if transport's url has a "readonly+" prefix,
 
270
    unlike local_path_from_url.
 
271
    
 
272
    This essentially recovers the --directory argument the user passed to "bzr
 
273
    serve" from the transport passed to serve_bzr.
 
274
    """
 
275
    try:
 
276
        base_url = transport.external_url()
 
277
    except (errors.InProcessTransport, NotImplementedError):
 
278
        return None
326
279
    else:
327
 
        if host is None:
328
 
            host = medium.BZR_DEFAULT_INTERFACE
329
 
        if port is None:
330
 
            port = medium.BZR_DEFAULT_PORT
331
 
        smart_server = SmartTCPServer(transport, host=host, port=port)
332
 
        trace.note('listening on port: %s' % smart_server.port)
333
 
    # For the duration of this server, no UI output is permitted. note
334
 
    # that this may cause problems with blackbox tests. This should be
335
 
    # changed with care though, as we dont want to use bandwidth sending
336
 
    # progress over stderr to smart server clients!
337
 
    old_factory = ui.ui_factory
338
 
    old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
339
 
    try:
 
280
        # Strip readonly prefix
 
281
        if base_url.startswith('readonly+'):
 
282
            base_url = base_url[len('readonly+'):]
 
283
        try:
 
284
            return urlutils.local_path_from_url(base_url)
 
285
        except errors.InvalidURL:
 
286
            return None
 
287
 
 
288
 
 
289
class BzrServerFactory(object):
 
290
    """Helper class for serve_bzr."""
 
291
 
 
292
    def __init__(self, userdir_expander=None, get_base_path=None):
 
293
        self.cleanups = []
 
294
        self.base_path = None
 
295
        self.backing_transport = None
 
296
        if userdir_expander is None:
 
297
            userdir_expander = os.path.expanduser
 
298
        self.userdir_expander = userdir_expander
 
299
        if get_base_path is None:
 
300
            get_base_path = _local_path_for_transport
 
301
        self.get_base_path = get_base_path
 
302
 
 
303
    def _expand_userdirs(self, path):
 
304
        """Translate /~/ or /~user/ to e.g. /home/foo, using
 
305
        self.userdir_expander (os.path.expanduser by default).
 
306
 
 
307
        If the translated path would fall outside base_path, or the path does
 
308
        not start with ~, then no translation is applied.
 
309
 
 
310
        If the path is inside, it is adjusted to be relative to the base path.
 
311
 
 
312
        e.g. if base_path is /home, and the expanded path is /home/joe, then
 
313
        the translated path is joe.
 
314
        """
 
315
        result = path
 
316
        if path.startswith('~'):
 
317
            expanded = self.userdir_expander(path)
 
318
            if not expanded.endswith('/'):
 
319
                expanded += '/'
 
320
            if expanded.startswith(self.base_path):
 
321
                result = expanded[len(self.base_path):]
 
322
        return result
 
323
 
 
324
    def _make_expand_userdirs_filter(self, transport):
 
325
        return pathfilter.PathFilteringServer(transport, self._expand_userdirs)
 
326
 
 
327
    def _make_backing_transport(self, transport):
 
328
        """Chroot transport, and decorate with userdir expander."""
 
329
        self.base_path = self.get_base_path(transport)
 
330
        chroot_server = chroot.ChrootServer(transport)
 
331
        chroot_server.start_server()
 
332
        self.cleanups.append(chroot_server.stop_server)
 
333
        transport = _mod_transport.get_transport(chroot_server.get_url())
 
334
        if self.base_path is not None:
 
335
            # Decorate the server's backing transport with a filter that can
 
336
            # expand homedirs.
 
337
            expand_userdirs = self._make_expand_userdirs_filter(transport)
 
338
            expand_userdirs.start_server()
 
339
            self.cleanups.append(expand_userdirs.stop_server)
 
340
            transport = _mod_transport.get_transport(expand_userdirs.get_url())
 
341
        self.transport = transport
 
342
 
 
343
    def _make_smart_server(self, host, port, inet):
 
344
        if inet:
 
345
            smart_server = medium.SmartServerPipeStreamMedium(
 
346
                sys.stdin, sys.stdout, self.transport)
 
347
        else:
 
348
            if host is None:
 
349
                host = medium.BZR_DEFAULT_INTERFACE
 
350
            if port is None:
 
351
                port = medium.BZR_DEFAULT_PORT
 
352
            smart_server = SmartTCPServer(self.transport)
 
353
            smart_server.start_server(host, port)
 
354
            trace.note('listening on port: %s' % smart_server.port)
 
355
        self.smart_server = smart_server
 
356
 
 
357
    def _change_globals(self):
 
358
        from bzrlib import lockdir, ui
 
359
        # For the duration of this server, no UI output is permitted. note
 
360
        # that this may cause problems with blackbox tests. This should be
 
361
        # changed with care though, as we dont want to use bandwidth sending
 
362
        # progress over stderr to smart server clients!
 
363
        old_factory = ui.ui_factory
 
364
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
 
365
        def restore_default_ui_factory_and_lockdir_timeout():
 
366
            ui.ui_factory = old_factory
 
367
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
 
368
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
340
369
        ui.ui_factory = ui.SilentUIFactory()
341
370
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
342
 
        smart_server.serve()
 
371
 
 
372
    def set_up(self, transport, host, port, inet):
 
373
        self._make_backing_transport(transport)
 
374
        self._make_smart_server(host, port, inet)
 
375
        self._change_globals()
 
376
 
 
377
    def tear_down(self):
 
378
        for cleanup in reversed(self.cleanups):
 
379
            cleanup()
 
380
 
 
381
def serve_bzr(transport, host=None, port=None, inet=False):
 
382
    """This is the default implementation of 'bzr serve'.
 
383
    
 
384
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
 
385
    transport will be decorated with a chroot and pathfilter (using
 
386
    os.path.expanduser).
 
387
    """
 
388
    bzr_server = BzrServerFactory()
 
389
    try:
 
390
        bzr_server.set_up(transport, host, port, inet)
 
391
        bzr_server.smart_server.serve()
 
392
    except:
 
393
        hook_caught_exception = False
 
394
        for hook in SmartTCPServer.hooks['server_exception']:
 
395
            hook_caught_exception = hook(sys.exc_info())
 
396
        if not hook_caught_exception:
 
397
            raise
343
398
    finally:
344
 
        ui.ui_factory = old_factory
345
 
        lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
346
 
 
 
399
        bzr_server.tear_down()