← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Andrew Bennetts
  • Date: 2009-09-08 08:09:25 UTC
  • mto: (4634.6.27 2.0)
  • mto: This revision was merged to the branch mainline in revision 4680.
  • Revision ID: andrew.bennetts@canonical.com-20090908080925-ccmjw4kzzz7bepg7
Fix more tests to cope with new commit_write_group strictness.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/smart/server.py
1
 
# Copyright (C) 2006-2011 Canonical Ltd
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
17
17
"""Server for smart-server protocol."""
18
18
 
19
19
import errno
20
 
import os.path
21
20
import socket
22
21
import sys
23
22
import threading
24
23
 
25
 
from bzrlib.hooks import Hooks
 
24
from bzrlib.hooks import HookPoint, Hooks
26
25
from bzrlib import (
27
26
    errors,
28
27
    trace,
29
 
    transport as _mod_transport,
 
28
    transport,
30
29
)
31
30
from bzrlib.lazy_import import lazy_import
32
31
lazy_import(globals(), """
33
32
from bzrlib.smart import medium
34
 
from bzrlib.transport import (
35
 
    chroot,
36
 
    pathfilter,
37
 
    )
38
 
from bzrlib import (
39
 
    urlutils,
40
 
    )
41
33
""")
42
34
 
43
35
 
50
42
    hooks: An instance of SmartServerHooks.
51
43
    """
52
44
 
53
 
    def __init__(self, backing_transport, root_client_path='/'):
 
45
    def __init__(self, backing_transport, host='127.0.0.1', port=0,
 
46
                 root_client_path='/'):
54
47
        """Construct a new server.
55
48
 
56
49
        To actually start it running, call either start_background_thread or
57
50
        serve.
58
51
 
59
52
        :param backing_transport: The transport to serve.
 
53
        :param host: Name of the interface to listen on.
 
54
        :param port: TCP port to listen on, or 0 to allocate a transient port.
60
55
        :param root_client_path: The client path that will correspond to root
61
56
            of backing_transport.
62
57
        """
63
 
        self.backing_transport = backing_transport
64
 
        self.root_client_path = root_client_path
65
 
 
66
 
    def start_server(self, host, port):
67
 
        """Create the server listening socket.
68
 
 
69
 
        :param host: Name of the interface to listen on.
70
 
        :param port: TCP port to listen on, or 0 to allocate a transient port.
71
 
        """
72
58
        # let connections timeout so that we get a chance to terminate
73
59
        # Keep a reference to the exceptions we want to catch because the socket
74
60
        # module's globals get set to None during interpreter shutdown.
94
80
        self.port = self._sockname[1]
95
81
        self._server_socket.listen(1)
96
82
        self._server_socket.settimeout(1)
 
83
        self.backing_transport = backing_transport
97
84
        self._started = threading.Event()
98
85
        self._stopped = threading.Event()
 
86
        self.root_client_path = root_client_path
99
87
 
100
 
    def _backing_urls(self):
 
88
    def serve(self, thread_name_suffix=''):
 
89
        self._should_terminate = False
 
90
        # for hooks we are letting code know that a server has started (and
 
91
        # later stopped).
101
92
        # There are three interesting urls:
102
93
        # The URL the server can be contacted on. (e.g. bzr://host/)
103
94
        # The URL that a commit done on the same machine as the server will
104
95
        # have within the servers space. (e.g. file:///home/user/source)
105
96
        # The URL that will be given to other hooks in the same process -
106
 
        # the URL of the backing transport itself. (e.g. filtered-36195:///)
 
97
        # the URL of the backing transport itself. (e.g. chroot+:///)
107
98
        # We need all three because:
108
99
        #  * other machines see the first
109
100
        #  * local commits on this machine should be able to be mapped to
113
104
        # The latter two urls are different aliases to the servers url,
114
105
        # so we group those in a list - as there might be more aliases
115
106
        # in the future.
116
 
        urls = [self.backing_transport.base]
 
107
        backing_urls = [self.backing_transport.base]
117
108
        try:
118
 
            urls.append(self.backing_transport.external_url())
 
109
            backing_urls.append(self.backing_transport.external_url())
119
110
        except errors.InProcessTransport:
120
111
            pass
121
 
        return urls
122
 
 
123
 
    def run_server_started_hooks(self, backing_urls=None):
124
 
        if backing_urls is None:
125
 
            backing_urls = self._backing_urls()
126
112
        for hook in SmartTCPServer.hooks['server_started']:
127
113
            hook(backing_urls, self.get_url())
128
114
        for hook in SmartTCPServer.hooks['server_started_ex']:
129
115
            hook(backing_urls, self)
130
 
 
131
 
    def run_server_stopped_hooks(self, backing_urls=None):
132
 
        if backing_urls is None:
133
 
            backing_urls = self._backing_urls()
134
 
        for hook in SmartTCPServer.hooks['server_stopped']:
135
 
            hook(backing_urls, self.get_url())
136
 
 
137
 
    def serve(self, thread_name_suffix=''):
138
 
        self._should_terminate = False
139
 
        # for hooks we are letting code know that a server has started (and
140
 
        # later stopped).
141
 
        self.run_server_started_hooks()
142
116
        self._started.set()
143
117
        try:
144
118
            try:
155
129
                        if e.args[0] != errno.EBADF:
156
130
                            trace.warning("listening socket error: %s", e)
157
131
                    else:
158
 
                        if self._should_terminate:
159
 
                            break
160
132
                        self.serve_conn(conn, thread_name_suffix)
161
133
            except KeyboardInterrupt:
162
134
                # dont log when CTRL-C'd.
163
135
                raise
164
136
            except Exception, e:
165
 
                trace.report_exception(sys.exc_info(), sys.stderr)
 
137
                trace.error("Unhandled smart server error.")
 
138
                trace.log_exception_quietly()
166
139
                raise
167
140
        finally:
168
141
            self._stopped.set()
172
145
            except self._socket_error:
173
146
                # ignore errors on close
174
147
                pass
175
 
            self.run_server_stopped_hooks()
 
148
            for hook in SmartTCPServer.hooks['server_stopped']:
 
149
                hook(backing_urls, self.get_url())
176
150
 
177
151
    def get_url(self):
178
152
        """Return the url of the server"""
179
 
        return "bzr://%s:%s/" % (self._sockname[0], self._sockname[1])
 
153
        return "bzr://%s:%d/" % self._sockname
180
154
 
181
155
    def serve_conn(self, conn, thread_name_suffix):
182
156
        # For WIN32, where the timeout value from the listening socket
188
162
        thread_name = 'smart-server-child' + thread_name_suffix
189
163
        connection_thread = threading.Thread(
190
164
            None, handler.serve, name=thread_name)
191
 
        # FIXME: This thread is never joined, it should at least be collected
192
 
        # somewhere so that tests that want to check for leaked threads can get
193
 
        # rid of them -- vila 20100531
194
165
        connection_thread.setDaemon(True)
195
166
        connection_thread.start()
196
 
        return connection_thread
197
167
 
198
168
    def start_background_thread(self, thread_name_suffix=''):
199
169
        self._started.clear()
239
209
        These are all empty initially, because by default nothing should get
240
210
        notified.
241
211
        """
242
 
        Hooks.__init__(self, "bzrlib.smart.server", "SmartTCPServer.hooks")
243
 
        self.add_hook('server_started',
 
212
        Hooks.__init__(self)
 
213
        self.create_hook(HookPoint('server_started',
244
214
            "Called by the bzr server when it starts serving a directory. "
245
215
            "server_started is called with (backing urls, public url), "
246
216
            "where backing_url is a list of URLs giving the "
247
217
            "server-specific directory locations, and public_url is the "
248
 
            "public URL for the directory being served.", (0, 16))
249
 
        self.add_hook('server_started_ex',
 
218
            "public URL for the directory being served.", (0, 16), None))
 
219
        self.create_hook(HookPoint('server_started_ex',
250
220
            "Called by the bzr server when it starts serving a directory. "
251
221
            "server_started is called with (backing_urls, server_obj).",
252
 
            (1, 17))
253
 
        self.add_hook('server_stopped',
 
222
            (1, 17), None))
 
223
        self.create_hook(HookPoint('server_stopped',
254
224
            "Called by the bzr server when it stops serving a directory. "
255
225
            "server_stopped is called with the same parameters as the "
256
 
            "server_started hook: (backing_urls, public_url).", (0, 16))
257
 
        self.add_hook('server_exception',
258
 
            "Called by the bzr server when an exception occurs. "
259
 
            "server_exception is called with the sys.exc_info() tuple "
260
 
            "return true for the hook if the exception has been handled, "
261
 
            "in which case the server will exit normally.", (2, 4))
 
226
            "server_started hook: (backing_urls, public_url).", (0, 16), None))
262
227
 
263
228
SmartTCPServer.hooks = SmartServerHooks()
264
229
 
265
230
 
266
 
def _local_path_for_transport(transport):
267
 
    """Return a local path for transport, if reasonably possible.
268
 
    
269
 
    This function works even if transport's url has a "readonly+" prefix,
270
 
    unlike local_path_from_url.
271
 
    
272
 
    This essentially recovers the --directory argument the user passed to "bzr
273
 
    serve" from the transport passed to serve_bzr.
274
 
    """
275
 
    try:
276
 
        base_url = transport.external_url()
277
 
    except (errors.InProcessTransport, NotImplementedError):
278
 
        return None
 
231
class SmartTCPServer_for_testing(SmartTCPServer):
 
232
    """Server suitable for use by transport tests.
 
233
 
 
234
    This server is backed by the process's cwd.
 
235
    """
 
236
 
 
237
    def __init__(self, thread_name_suffix=''):
 
238
        SmartTCPServer.__init__(self, None)
 
239
        self.client_path_extra = None
 
240
        self.thread_name_suffix = thread_name_suffix
 
241
 
 
242
    def get_backing_transport(self, backing_transport_server):
 
243
        """Get a backing transport from a server we are decorating."""
 
244
        return transport.get_transport(backing_transport_server.get_url())
 
245
 
 
246
    def setUp(self, backing_transport_server=None,
 
247
              client_path_extra='/extra/'):
 
248
        """Set up server for testing.
 
249
 
 
250
        :param backing_transport_server: backing server to use.  If not
 
251
            specified, a LocalURLServer at the current working directory will
 
252
            be used.
 
253
        :param client_path_extra: a path segment starting with '/' to append to
 
254
            the root URL for this server.  For instance, a value of '/foo/bar/'
 
255
            will mean the root of the backing transport will be published at a
 
256
            URL like `bzr://127.0.0.1:nnnn/foo/bar/`, rather than
 
257
            `bzr://127.0.0.1:nnnn/`.  Default value is `extra`, so that tests
 
258
            by default will fail unless they do the necessary path translation.
 
259
        """
 
260
        if not client_path_extra.startswith('/'):
 
261
            raise ValueError(client_path_extra)
 
262
        from bzrlib.transport.chroot import ChrootServer
 
263
        if backing_transport_server is None:
 
264
            from bzrlib.transport.local import LocalURLServer
 
265
            backing_transport_server = LocalURLServer()
 
266
        self.chroot_server = ChrootServer(
 
267
            self.get_backing_transport(backing_transport_server))
 
268
        self.chroot_server.setUp()
 
269
        self.backing_transport = transport.get_transport(
 
270
            self.chroot_server.get_url())
 
271
        self.root_client_path = self.client_path_extra = client_path_extra
 
272
        self.start_background_thread(self.thread_name_suffix)
 
273
 
 
274
    def tearDown(self):
 
275
        self.stop_background_thread()
 
276
        self.chroot_server.tearDown()
 
277
 
 
278
    def get_url(self):
 
279
        url = super(SmartTCPServer_for_testing, self).get_url()
 
280
        return url[:-1] + self.client_path_extra
 
281
 
 
282
    def get_bogus_url(self):
 
283
        """Return a URL which will fail to connect"""
 
284
        return 'bzr://127.0.0.1:1/'
 
285
 
 
286
 
 
287
class ReadonlySmartTCPServer_for_testing(SmartTCPServer_for_testing):
 
288
    """Get a readonly server for testing."""
 
289
 
 
290
    def get_backing_transport(self, backing_transport_server):
 
291
        """Get a backing transport from a server we are decorating."""
 
292
        url = 'readonly+' + backing_transport_server.get_url()
 
293
        return transport.get_transport(url)
 
294
 
 
295
 
 
296
class SmartTCPServer_for_testing_v2_only(SmartTCPServer_for_testing):
 
297
    """A variation of SmartTCPServer_for_testing that limits the client to
 
298
    using RPCs in protocol v2 (i.e. bzr <= 1.5).
 
299
    """
 
300
 
 
301
    def get_url(self):
 
302
        url = super(SmartTCPServer_for_testing_v2_only, self).get_url()
 
303
        url = 'bzr-v2://' + url[len('bzr://'):]
 
304
        return url
 
305
 
 
306
 
 
307
class ReadonlySmartTCPServer_for_testing_v2_only(SmartTCPServer_for_testing_v2_only):
 
308
    """Get a readonly server for testing."""
 
309
 
 
310
    def get_backing_transport(self, backing_transport_server):
 
311
        """Get a backing transport from a server we are decorating."""
 
312
        url = 'readonly+' + backing_transport_server.get_url()
 
313
        return transport.get_transport(url)
 
314
 
 
315
 
 
316
def serve_bzr(transport, host=None, port=None, inet=False):
 
317
    from bzrlib import lockdir, ui
 
318
    from bzrlib.transport import get_transport
 
319
    from bzrlib.transport.chroot import ChrootServer
 
320
    chroot_server = ChrootServer(transport)
 
321
    chroot_server.setUp()
 
322
    transport = get_transport(chroot_server.get_url())
 
323
    if inet:
 
324
        smart_server = medium.SmartServerPipeStreamMedium(
 
325
            sys.stdin, sys.stdout, transport)
279
326
    else:
280
 
        # Strip readonly prefix
281
 
        if base_url.startswith('readonly+'):
282
 
            base_url = base_url[len('readonly+'):]
283
 
        try:
284
 
            return urlutils.local_path_from_url(base_url)
285
 
        except errors.InvalidURL:
286
 
            return None
287
 
 
288
 
 
289
 
class BzrServerFactory(object):
290
 
    """Helper class for serve_bzr."""
291
 
 
292
 
    def __init__(self, userdir_expander=None, get_base_path=None):
293
 
        self.cleanups = []
294
 
        self.base_path = None
295
 
        self.backing_transport = None
296
 
        if userdir_expander is None:
297
 
            userdir_expander = os.path.expanduser
298
 
        self.userdir_expander = userdir_expander
299
 
        if get_base_path is None:
300
 
            get_base_path = _local_path_for_transport
301
 
        self.get_base_path = get_base_path
302
 
 
303
 
    def _expand_userdirs(self, path):
304
 
        """Translate /~/ or /~user/ to e.g. /home/foo, using
305
 
        self.userdir_expander (os.path.expanduser by default).
306
 
 
307
 
        If the translated path would fall outside base_path, or the path does
308
 
        not start with ~, then no translation is applied.
309
 
 
310
 
        If the path is inside, it is adjusted to be relative to the base path.
311
 
 
312
 
        e.g. if base_path is /home, and the expanded path is /home/joe, then
313
 
        the translated path is joe.
314
 
        """
315
 
        result = path
316
 
        if path.startswith('~'):
317
 
            expanded = self.userdir_expander(path)
318
 
            if not expanded.endswith('/'):
319
 
                expanded += '/'
320
 
            if expanded.startswith(self.base_path):
321
 
                result = expanded[len(self.base_path):]
322
 
        return result
323
 
 
324
 
    def _make_expand_userdirs_filter(self, transport):
325
 
        return pathfilter.PathFilteringServer(transport, self._expand_userdirs)
326
 
 
327
 
    def _make_backing_transport(self, transport):
328
 
        """Chroot transport, and decorate with userdir expander."""
329
 
        self.base_path = self.get_base_path(transport)
330
 
        chroot_server = chroot.ChrootServer(transport)
331
 
        chroot_server.start_server()
332
 
        self.cleanups.append(chroot_server.stop_server)
333
 
        transport = _mod_transport.get_transport_from_url(chroot_server.get_url())
334
 
        if self.base_path is not None:
335
 
            # Decorate the server's backing transport with a filter that can
336
 
            # expand homedirs.
337
 
            expand_userdirs = self._make_expand_userdirs_filter(transport)
338
 
            expand_userdirs.start_server()
339
 
            self.cleanups.append(expand_userdirs.stop_server)
340
 
            transport = _mod_transport.get_transport_from_url(expand_userdirs.get_url())
341
 
        self.transport = transport
342
 
 
343
 
    def _make_smart_server(self, host, port, inet):
344
 
        if inet:
345
 
            smart_server = medium.SmartServerPipeStreamMedium(
346
 
                sys.stdin, sys.stdout, self.transport)
347
 
        else:
348
 
            if host is None:
349
 
                host = medium.BZR_DEFAULT_INTERFACE
350
 
            if port is None:
351
 
                port = medium.BZR_DEFAULT_PORT
352
 
            smart_server = SmartTCPServer(self.transport)
353
 
            smart_server.start_server(host, port)
354
 
            trace.note('listening on port: %s' % smart_server.port)
355
 
        self.smart_server = smart_server
356
 
 
357
 
    def _change_globals(self):
358
 
        from bzrlib import lockdir, ui
359
 
        # For the duration of this server, no UI output is permitted. note
360
 
        # that this may cause problems with blackbox tests. This should be
361
 
        # changed with care though, as we dont want to use bandwidth sending
362
 
        # progress over stderr to smart server clients!
363
 
        old_factory = ui.ui_factory
364
 
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
365
 
        def restore_default_ui_factory_and_lockdir_timeout():
366
 
            ui.ui_factory = old_factory
367
 
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
368
 
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
 
327
        if host is None:
 
328
            host = medium.BZR_DEFAULT_INTERFACE
 
329
        if port is None:
 
330
            port = medium.BZR_DEFAULT_PORT
 
331
        smart_server = SmartTCPServer(transport, host=host, port=port)
 
332
        trace.note('listening on port: %s' % smart_server.port)
 
333
    # For the duration of this server, no UI output is permitted. note
 
334
    # that this may cause problems with blackbox tests. This should be
 
335
    # changed with care though, as we dont want to use bandwidth sending
 
336
    # progress over stderr to smart server clients!
 
337
    old_factory = ui.ui_factory
 
338
    old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
 
339
    try:
369
340
        ui.ui_factory = ui.SilentUIFactory()
370
341
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
371
 
 
372
 
    def set_up(self, transport, host, port, inet):
373
 
        self._make_backing_transport(transport)
374
 
        self._make_smart_server(host, port, inet)
375
 
        self._change_globals()
376
 
 
377
 
    def tear_down(self):
378
 
        for cleanup in reversed(self.cleanups):
379
 
            cleanup()
380
 
 
381
 
def serve_bzr(transport, host=None, port=None, inet=False):
382
 
    """This is the default implementation of 'bzr serve'.
383
 
    
384
 
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
385
 
    transport will be decorated with a chroot and pathfilter (using
386
 
    os.path.expanduser).
387
 
    """
388
 
    bzr_server = BzrServerFactory()
389
 
    try:
390
 
        bzr_server.set_up(transport, host, port, inet)
391
 
        bzr_server.smart_server.serve()
392
 
    except:
393
 
        hook_caught_exception = False
394
 
        for hook in SmartTCPServer.hooks['server_exception']:
395
 
            hook_caught_exception = hook(sys.exc_info())
396
 
        if not hook_caught_exception:
397
 
            raise
 
342
        smart_server.serve()
398
343
    finally:
399
 
        bzr_server.tear_down()
 
344
        ui.ui_factory = old_factory
 
345
        lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
 
346