← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Martin Pool
  • Date: 2009-07-10 07:47:21 UTC
  • mto: This revision was merged to the branch mainline in revision 4566.
  • Revision ID: mbp@sourcefrog.net-20090710074721-hbq7cl8rvwf8vz6s
Add an option for unlock errors to be non-fatal

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/smart/server.py
1
 
# Copyright (C) 2006-2011 Canonical Ltd
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
17
17
"""Server for smart-server protocol."""
18
18
 
19
19
import errno
20
 
import os.path
21
20
import socket
22
21
import sys
23
22
import threading
24
23
 
25
 
from bzrlib.hooks import Hooks
 
24
from bzrlib.hooks import HookPoint, Hooks
26
25
from bzrlib import (
27
26
    errors,
28
27
    trace,
29
 
    transport as _mod_transport,
 
28
    transport,
30
29
)
31
30
from bzrlib.lazy_import import lazy_import
32
31
lazy_import(globals(), """
33
32
from bzrlib.smart import medium
34
 
from bzrlib.transport import (
35
 
    chroot,
36
 
    pathfilter,
37
 
    )
38
 
from bzrlib import (
39
 
    urlutils,
40
 
    )
41
33
""")
42
34
 
43
35
 
50
42
    hooks: An instance of SmartServerHooks.
51
43
    """
52
44
 
53
 
    def __init__(self, backing_transport, root_client_path='/'):
 
45
    def __init__(self, backing_transport, host='127.0.0.1', port=0,
 
46
                 root_client_path='/'):
54
47
        """Construct a new server.
55
48
 
56
49
        To actually start it running, call either start_background_thread or
57
50
        serve.
58
51
 
59
52
        :param backing_transport: The transport to serve.
 
53
        :param host: Name of the interface to listen on.
 
54
        :param port: TCP port to listen on, or 0 to allocate a transient port.
60
55
        :param root_client_path: The client path that will correspond to root
61
56
            of backing_transport.
62
57
        """
63
 
        self.backing_transport = backing_transport
64
 
        self.root_client_path = root_client_path
65
 
 
66
 
    def start_server(self, host, port):
67
 
        """Create the server listening socket.
68
 
 
69
 
        :param host: Name of the interface to listen on.
70
 
        :param port: TCP port to listen on, or 0 to allocate a transient port.
71
 
        """
72
58
        # let connections timeout so that we get a chance to terminate
73
59
        # Keep a reference to the exceptions we want to catch because the socket
74
60
        # module's globals get set to None during interpreter shutdown.
94
80
        self.port = self._sockname[1]
95
81
        self._server_socket.listen(1)
96
82
        self._server_socket.settimeout(1)
 
83
        self.backing_transport = backing_transport
97
84
        self._started = threading.Event()
98
85
        self._stopped = threading.Event()
 
86
        self.root_client_path = root_client_path
99
87
 
100
 
    def _backing_urls(self):
 
88
    def serve(self, thread_name_suffix=''):
 
89
        self._should_terminate = False
 
90
        # for hooks we are letting code know that a server has started (and
 
91
        # later stopped).
101
92
        # There are three interesting urls:
102
93
        # The URL the server can be contacted on. (e.g. bzr://host/)
103
94
        # The URL that a commit done on the same machine as the server will
104
95
        # have within the servers space. (e.g. file:///home/user/source)
105
96
        # The URL that will be given to other hooks in the same process -
106
 
        # the URL of the backing transport itself. (e.g. filtered-36195:///)
 
97
        # the URL of the backing transport itself. (e.g. chroot+:///)
107
98
        # We need all three because:
108
99
        #  * other machines see the first
109
100
        #  * local commits on this machine should be able to be mapped to
113
104
        # The latter two urls are different aliases to the servers url,
114
105
        # so we group those in a list - as there might be more aliases
115
106
        # in the future.
116
 
        urls = [self.backing_transport.base]
 
107
        backing_urls = [self.backing_transport.base]
117
108
        try:
118
 
            urls.append(self.backing_transport.external_url())
 
109
            backing_urls.append(self.backing_transport.external_url())
119
110
        except errors.InProcessTransport:
120
111
            pass
121
 
        return urls
122
 
 
123
 
    def run_server_started_hooks(self, backing_urls=None):
124
 
        if backing_urls is None:
125
 
            backing_urls = self._backing_urls()
126
112
        for hook in SmartTCPServer.hooks['server_started']:
127
113
            hook(backing_urls, self.get_url())
128
 
        for hook in SmartTCPServer.hooks['server_started_ex']:
129
 
            hook(backing_urls, self)
130
 
 
131
 
    def run_server_stopped_hooks(self, backing_urls=None):
132
 
        if backing_urls is None:
133
 
            backing_urls = self._backing_urls()
134
 
        for hook in SmartTCPServer.hooks['server_stopped']:
135
 
            hook(backing_urls, self.get_url())
136
 
 
137
 
    def serve(self, thread_name_suffix=''):
138
 
        self._should_terminate = False
139
 
        # for hooks we are letting code know that a server has started (and
140
 
        # later stopped).
141
 
        self.run_server_started_hooks()
142
114
        self._started.set()
143
115
        try:
144
116
            try:
155
127
                        if e.args[0] != errno.EBADF:
156
128
                            trace.warning("listening socket error: %s", e)
157
129
                    else:
158
 
                        if self._should_terminate:
159
 
                            break
160
130
                        self.serve_conn(conn, thread_name_suffix)
161
131
            except KeyboardInterrupt:
162
132
                # dont log when CTRL-C'd.
163
133
                raise
164
134
            except Exception, e:
165
 
                trace.report_exception(sys.exc_info(), sys.stderr)
 
135
                trace.error("Unhandled smart server error.")
 
136
                trace.log_exception_quietly()
166
137
                raise
167
138
        finally:
168
139
            self._stopped.set()
172
143
            except self._socket_error:
173
144
                # ignore errors on close
174
145
                pass
175
 
            self.run_server_stopped_hooks()
 
146
            for hook in SmartTCPServer.hooks['server_stopped']:
 
147
                hook(backing_urls, self.get_url())
176
148
 
177
149
    def get_url(self):
178
150
        """Return the url of the server"""
179
 
        return "bzr://%s:%s/" % (self._sockname[0], self._sockname[1])
 
151
        return "bzr://%s:%d/" % self._sockname
180
152
 
181
153
    def serve_conn(self, conn, thread_name_suffix):
182
154
        # For WIN32, where the timeout value from the listening socket
188
160
        thread_name = 'smart-server-child' + thread_name_suffix
189
161
        connection_thread = threading.Thread(
190
162
            None, handler.serve, name=thread_name)
191
 
        # FIXME: This thread is never joined, it should at least be collected
192
 
        # somewhere so that tests that want to check for leaked threads can get
193
 
        # rid of them -- vila 20100531
194
163
        connection_thread.setDaemon(True)
195
164
        connection_thread.start()
196
 
        return connection_thread
197
165
 
198
166
    def start_background_thread(self, thread_name_suffix=''):
199
167
        self._started.clear()
239
207
        These are all empty initially, because by default nothing should get
240
208
        notified.
241
209
        """
242
 
        Hooks.__init__(self, "bzrlib.smart.server", "SmartTCPServer.hooks")
243
 
        self.add_hook('server_started',
 
210
        Hooks.__init__(self)
 
211
        self.create_hook(HookPoint('server_started',
244
212
            "Called by the bzr server when it starts serving a directory. "
245
213
            "server_started is called with (backing urls, public url), "
246
214
            "where backing_url is a list of URLs giving the "
247
215
            "server-specific directory locations, and public_url is the "
248
 
            "public URL for the directory being served.", (0, 16))
249
 
        self.add_hook('server_started_ex',
250
 
            "Called by the bzr server when it starts serving a directory. "
251
 
            "server_started is called with (backing_urls, server_obj).",
252
 
            (1, 17))
253
 
        self.add_hook('server_stopped',
 
216
            "public URL for the directory being served.", (0, 16), None))
 
217
        self.create_hook(HookPoint('server_stopped',
254
218
            "Called by the bzr server when it stops serving a directory. "
255
219
            "server_stopped is called with the same parameters as the "
256
 
            "server_started hook: (backing_urls, public_url).", (0, 16))
257
 
        self.add_hook('server_exception',
258
 
            "Called by the bzr server when an exception occurs. "
259
 
            "server_exception is called with the sys.exc_info() tuple "
260
 
            "return true for the hook if the exception has been handled, "
261
 
            "in which case the server will exit normally.", (2, 4))
 
220
            "server_started hook: (backing_urls, public_url).", (0, 16), None))
262
221
 
263
222
SmartTCPServer.hooks = SmartServerHooks()
264
223
 
265
224
 
266
 
def _local_path_for_transport(transport):
267
 
    """Return a local path for transport, if reasonably possible.
268
 
    
269
 
    This function works even if transport's url has a "readonly+" prefix,
270
 
    unlike local_path_from_url.
271
 
    
272
 
    This essentially recovers the --directory argument the user passed to "bzr
273
 
    serve" from the transport passed to serve_bzr.
274
 
    """
275
 
    try:
276
 
        base_url = transport.external_url()
277
 
    except (errors.InProcessTransport, NotImplementedError):
278
 
        return None
 
225
class SmartTCPServer_for_testing(SmartTCPServer):
 
226
    """Server suitable for use by transport tests.
 
227
 
 
228
    This server is backed by the process's cwd.
 
229
    """
 
230
 
 
231
    def __init__(self, thread_name_suffix=''):
 
232
        SmartTCPServer.__init__(self, None)
 
233
        self.client_path_extra = None
 
234
        self.thread_name_suffix = thread_name_suffix
 
235
 
 
236
    def get_backing_transport(self, backing_transport_server):
 
237
        """Get a backing transport from a server we are decorating."""
 
238
        return transport.get_transport(backing_transport_server.get_url())
 
239
 
 
240
    def setUp(self, backing_transport_server=None,
 
241
              client_path_extra='/extra/'):
 
242
        """Set up server for testing.
 
243
 
 
244
        :param backing_transport_server: backing server to use.  If not
 
245
            specified, a LocalURLServer at the current working directory will
 
246
            be used.
 
247
        :param client_path_extra: a path segment starting with '/' to append to
 
248
            the root URL for this server.  For instance, a value of '/foo/bar/'
 
249
            will mean the root of the backing transport will be published at a
 
250
            URL like `bzr://127.0.0.1:nnnn/foo/bar/`, rather than
 
251
            `bzr://127.0.0.1:nnnn/`.  Default value is `extra`, so that tests
 
252
            by default will fail unless they do the necessary path translation.
 
253
        """
 
254
        if not client_path_extra.startswith('/'):
 
255
            raise ValueError(client_path_extra)
 
256
        from bzrlib.transport.chroot import ChrootServer
 
257
        if backing_transport_server is None:
 
258
            from bzrlib.transport.local import LocalURLServer
 
259
            backing_transport_server = LocalURLServer()
 
260
        self.chroot_server = ChrootServer(
 
261
            self.get_backing_transport(backing_transport_server))
 
262
        self.chroot_server.setUp()
 
263
        self.backing_transport = transport.get_transport(
 
264
            self.chroot_server.get_url())
 
265
        self.root_client_path = self.client_path_extra = client_path_extra
 
266
        self.start_background_thread(self.thread_name_suffix)
 
267
 
 
268
    def tearDown(self):
 
269
        self.stop_background_thread()
 
270
        self.chroot_server.tearDown()
 
271
 
 
272
    def get_url(self):
 
273
        url = super(SmartTCPServer_for_testing, self).get_url()
 
274
        return url[:-1] + self.client_path_extra
 
275
 
 
276
    def get_bogus_url(self):
 
277
        """Return a URL which will fail to connect"""
 
278
        return 'bzr://127.0.0.1:1/'
 
279
 
 
280
 
 
281
class ReadonlySmartTCPServer_for_testing(SmartTCPServer_for_testing):
 
282
    """Get a readonly server for testing."""
 
283
 
 
284
    def get_backing_transport(self, backing_transport_server):
 
285
        """Get a backing transport from a server we are decorating."""
 
286
        url = 'readonly+' + backing_transport_server.get_url()
 
287
        return transport.get_transport(url)
 
288
 
 
289
 
 
290
class SmartTCPServer_for_testing_v2_only(SmartTCPServer_for_testing):
 
291
    """A variation of SmartTCPServer_for_testing that limits the client to
 
292
    using RPCs in protocol v2 (i.e. bzr <= 1.5).
 
293
    """
 
294
 
 
295
    def get_url(self):
 
296
        url = super(SmartTCPServer_for_testing_v2_only, self).get_url()
 
297
        url = 'bzr-v2://' + url[len('bzr://'):]
 
298
        return url
 
299
 
 
300
 
 
301
class ReadonlySmartTCPServer_for_testing_v2_only(SmartTCPServer_for_testing_v2_only):
 
302
    """Get a readonly server for testing."""
 
303
 
 
304
    def get_backing_transport(self, backing_transport_server):
 
305
        """Get a backing transport from a server we are decorating."""
 
306
        url = 'readonly+' + backing_transport_server.get_url()
 
307
        return transport.get_transport(url)
 
308
 
 
309
 
 
310
def serve_bzr(transport, host=None, port=None, inet=False):
 
311
    from bzrlib import lockdir, ui
 
312
    from bzrlib.transport import get_transport
 
313
    from bzrlib.transport.chroot import ChrootServer
 
314
    chroot_server = ChrootServer(transport)
 
315
    chroot_server.setUp()
 
316
    t = get_transport(chroot_server.get_url())
 
317
    if inet:
 
318
        smart_server = medium.SmartServerPipeStreamMedium(
 
319
            sys.stdin, sys.stdout, transport)
279
320
    else:
280
 
        # Strip readonly prefix
281
 
        if base_url.startswith('readonly+'):
282
 
            base_url = base_url[len('readonly+'):]
283
 
        try:
284
 
            return urlutils.local_path_from_url(base_url)
285
 
        except errors.InvalidURL:
286
 
            return None
287
 
 
288
 
 
289
 
class BzrServerFactory(object):
290
 
    """Helper class for serve_bzr."""
291
 
 
292
 
    def __init__(self, userdir_expander=None, get_base_path=None):
293
 
        self.cleanups = []
294
 
        self.base_path = None
295
 
        self.backing_transport = None
296
 
        if userdir_expander is None:
297
 
            userdir_expander = os.path.expanduser
298
 
        self.userdir_expander = userdir_expander
299
 
        if get_base_path is None:
300
 
            get_base_path = _local_path_for_transport
301
 
        self.get_base_path = get_base_path
302
 
 
303
 
    def _expand_userdirs(self, path):
304
 
        """Translate /~/ or /~user/ to e.g. /home/foo, using
305
 
        self.userdir_expander (os.path.expanduser by default).
306
 
 
307
 
        If the translated path would fall outside base_path, or the path does
308
 
        not start with ~, then no translation is applied.
309
 
 
310
 
        If the path is inside, it is adjusted to be relative to the base path.
311
 
 
312
 
        e.g. if base_path is /home, and the expanded path is /home/joe, then
313
 
        the translated path is joe.
314
 
        """
315
 
        result = path
316
 
        if path.startswith('~'):
317
 
            expanded = self.userdir_expander(path)
318
 
            if not expanded.endswith('/'):
319
 
                expanded += '/'
320
 
            if expanded.startswith(self.base_path):
321
 
                result = expanded[len(self.base_path):]
322
 
        return result
323
 
 
324
 
    def _make_expand_userdirs_filter(self, transport):
325
 
        return pathfilter.PathFilteringServer(transport, self._expand_userdirs)
326
 
 
327
 
    def _make_backing_transport(self, transport):
328
 
        """Chroot transport, and decorate with userdir expander."""
329
 
        self.base_path = self.get_base_path(transport)
330
 
        chroot_server = chroot.ChrootServer(transport)
331
 
        chroot_server.start_server()
332
 
        self.cleanups.append(chroot_server.stop_server)
333
 
        transport = _mod_transport.get_transport_from_url(chroot_server.get_url())
334
 
        if self.base_path is not None:
335
 
            # Decorate the server's backing transport with a filter that can
336
 
            # expand homedirs.
337
 
            expand_userdirs = self._make_expand_userdirs_filter(transport)
338
 
            expand_userdirs.start_server()
339
 
            self.cleanups.append(expand_userdirs.stop_server)
340
 
            transport = _mod_transport.get_transport_from_url(expand_userdirs.get_url())
341
 
        self.transport = transport
342
 
 
343
 
    def _make_smart_server(self, host, port, inet):
344
 
        if inet:
345
 
            smart_server = medium.SmartServerPipeStreamMedium(
346
 
                sys.stdin, sys.stdout, self.transport)
347
 
        else:
348
 
            if host is None:
349
 
                host = medium.BZR_DEFAULT_INTERFACE
350
 
            if port is None:
351
 
                port = medium.BZR_DEFAULT_PORT
352
 
            smart_server = SmartTCPServer(self.transport)
353
 
            smart_server.start_server(host, port)
354
 
            trace.note('listening on port: %s' % smart_server.port)
355
 
        self.smart_server = smart_server
356
 
 
357
 
    def _change_globals(self):
358
 
        from bzrlib import lockdir, ui
359
 
        # For the duration of this server, no UI output is permitted. note
360
 
        # that this may cause problems with blackbox tests. This should be
361
 
        # changed with care though, as we dont want to use bandwidth sending
362
 
        # progress over stderr to smart server clients!
363
 
        old_factory = ui.ui_factory
364
 
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
365
 
        def restore_default_ui_factory_and_lockdir_timeout():
366
 
            ui.ui_factory = old_factory
367
 
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
368
 
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
 
321
        if host is None:
 
322
            host = medium.BZR_DEFAULT_INTERFACE
 
323
        if port is None:
 
324
            port = medium.BZR_DEFAULT_PORT
 
325
        smart_server = SmartTCPServer(
 
326
            transport, host=host, port=port)
 
327
        trace.note('listening on port: %s' % smart_server.port)
 
328
    # For the duration of this server, no UI output is permitted. note
 
329
    # that this may cause problems with blackbox tests. This should be
 
330
    # changed with care though, as we dont want to use bandwidth sending
 
331
    # progress over stderr to smart server clients!
 
332
    old_factory = ui.ui_factory
 
333
    old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
 
334
    try:
369
335
        ui.ui_factory = ui.SilentUIFactory()
370
336
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
371
 
 
372
 
    def set_up(self, transport, host, port, inet):
373
 
        self._make_backing_transport(transport)
374
 
        self._make_smart_server(host, port, inet)
375
 
        self._change_globals()
376
 
 
377
 
    def tear_down(self):
378
 
        for cleanup in reversed(self.cleanups):
379
 
            cleanup()
380
 
 
381
 
def serve_bzr(transport, host=None, port=None, inet=False):
382
 
    """This is the default implementation of 'bzr serve'.
383
 
    
384
 
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
385
 
    transport will be decorated with a chroot and pathfilter (using
386
 
    os.path.expanduser).
387
 
    """
388
 
    bzr_server = BzrServerFactory()
389
 
    try:
390
 
        bzr_server.set_up(transport, host, port, inet)
391
 
        bzr_server.smart_server.serve()
392
 
    except:
393
 
        hook_caught_exception = False
394
 
        for hook in SmartTCPServer.hooks['server_exception']:
395
 
            hook_caught_exception = hook(sys.exc_info())
396
 
        if not hook_caught_exception:
397
 
            raise
 
337
        smart_server.serve()
398
338
    finally:
399
 
        bzr_server.tear_down()
 
339
        ui.ui_factory = old_factory
 
340
        lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
 
341