← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2010-09-01 08:02:42 UTC
  • mfrom: (5390.3.3 faster-revert-593560)
  • Revision ID: pqm@pqm.ubuntu.com-20100901080242-esg62ody4frwmy66
(spiv) Avoid repeatedly calling self.target.all_file_ids() in
 InterTree.iter_changes. (Andrew Bennetts)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/smart/server.py
1
 
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2006-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
"""Server for smart-server protocol."""
18
18
 
19
19
import errno
 
20
import os.path
 
21
import select
20
22
import socket
21
23
import sys
22
24
import threading
23
25
 
24
 
from bzrlib.hooks import Hooks
 
26
from bzrlib.hooks import HookPoint, Hooks
25
27
from bzrlib import (
26
28
    errors,
27
29
    trace,
30
32
from bzrlib.lazy_import import lazy_import
31
33
lazy_import(globals(), """
32
34
from bzrlib.smart import medium
 
35
from bzrlib.transport import (
 
36
    chroot,
 
37
    get_transport,
 
38
    pathfilter,
 
39
    )
 
40
from bzrlib import (
 
41
    urlutils,
 
42
    )
33
43
""")
34
44
 
35
45
 
42
52
    hooks: An instance of SmartServerHooks.
43
53
    """
44
54
 
45
 
    def __init__(self, backing_transport, host='127.0.0.1', port=0,
46
 
                 root_client_path='/'):
 
55
    def __init__(self, backing_transport, root_client_path='/'):
47
56
        """Construct a new server.
48
57
 
49
58
        To actually start it running, call either start_background_thread or
50
59
        serve.
51
60
 
52
61
        :param backing_transport: The transport to serve.
 
62
        :param root_client_path: The client path that will correspond to root
 
63
            of backing_transport.
 
64
        """
 
65
        self.backing_transport = backing_transport
 
66
        self.root_client_path = root_client_path
 
67
 
 
68
    def start_server(self, host, port):
 
69
        """Create the server listening socket.
 
70
 
53
71
        :param host: Name of the interface to listen on.
54
72
        :param port: TCP port to listen on, or 0 to allocate a transient port.
55
 
        :param root_client_path: The client path that will correspond to root
56
 
            of backing_transport.
57
73
        """
58
74
        # let connections timeout so that we get a chance to terminate
59
75
        # Keep a reference to the exceptions we want to catch because the socket
80
96
        self.port = self._sockname[1]
81
97
        self._server_socket.listen(1)
82
98
        self._server_socket.settimeout(1)
83
 
        self.backing_transport = backing_transport
84
99
        self._started = threading.Event()
85
100
        self._stopped = threading.Event()
86
 
        self.root_client_path = root_client_path
87
101
 
88
 
    def serve(self, thread_name_suffix=''):
89
 
        self._should_terminate = False
90
 
        # for hooks we are letting code know that a server has started (and
91
 
        # later stopped).
 
102
    def _backing_urls(self):
92
103
        # There are three interesting urls:
93
104
        # The URL the server can be contacted on. (e.g. bzr://host/)
94
105
        # The URL that a commit done on the same machine as the server will
104
115
        # The latter two urls are different aliases to the servers url,
105
116
        # so we group those in a list - as there might be more aliases
106
117
        # in the future.
107
 
        backing_urls = [self.backing_transport.base]
 
118
        urls = [self.backing_transport.base]
108
119
        try:
109
 
            backing_urls.append(self.backing_transport.external_url())
 
120
            urls.append(self.backing_transport.external_url())
110
121
        except errors.InProcessTransport:
111
122
            pass
 
123
        return urls
 
124
 
 
125
    def run_server_started_hooks(self, backing_urls=None):
 
126
        if backing_urls is None:
 
127
            backing_urls = self._backing_urls()
112
128
        for hook in SmartTCPServer.hooks['server_started']:
113
129
            hook(backing_urls, self.get_url())
 
130
        for hook in SmartTCPServer.hooks['server_started_ex']:
 
131
            hook(backing_urls, self)
 
132
 
 
133
    def run_server_stopped_hooks(self, backing_urls=None):
 
134
        if backing_urls is None:
 
135
            backing_urls = self._backing_urls()
 
136
        for hook in SmartTCPServer.hooks['server_stopped']:
 
137
            hook(backing_urls, self.get_url())
 
138
 
 
139
    def serve(self, thread_name_suffix=''):
 
140
        self._should_terminate = False
 
141
        # for hooks we are letting code know that a server has started (and
 
142
        # later stopped).
 
143
        self.run_server_started_hooks()
114
144
        self._started.set()
115
145
        try:
116
146
            try:
127
157
                        if e.args[0] != errno.EBADF:
128
158
                            trace.warning("listening socket error: %s", e)
129
159
                    else:
 
160
                        if self._should_terminate:
 
161
                            break
130
162
                        self.serve_conn(conn, thread_name_suffix)
131
163
            except KeyboardInterrupt:
132
164
                # dont log when CTRL-C'd.
133
165
                raise
134
166
            except Exception, e:
135
 
                trace.error("Unhandled smart server error.")
136
 
                trace.log_exception_quietly()
 
167
                trace.report_exception(sys.exc_info(), sys.stderr)
137
168
                raise
138
169
        finally:
139
170
            self._stopped.set()
143
174
            except self._socket_error:
144
175
                # ignore errors on close
145
176
                pass
146
 
            for hook in SmartTCPServer.hooks['server_stopped']:
147
 
                hook(backing_urls, self.get_url())
 
177
            self.run_server_stopped_hooks()
148
178
 
149
179
    def get_url(self):
150
180
        """Return the url of the server"""
152
182
 
153
183
    def serve_conn(self, conn, thread_name_suffix):
154
184
        # For WIN32, where the timeout value from the listening socket
155
 
        # propogates to the newly accepted socket.
 
185
        # propagates to the newly accepted socket.
156
186
        conn.setblocking(True)
157
187
        conn.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
158
188
        handler = medium.SmartServerSocketStreamMedium(
160
190
        thread_name = 'smart-server-child' + thread_name_suffix
161
191
        connection_thread = threading.Thread(
162
192
            None, handler.serve, name=thread_name)
 
193
        # FIXME: This thread is never joined, it should at least be collected
 
194
        # somewhere so that tests that want to check for leaked threads can get
 
195
        # rid of them -- vila 20100531
163
196
        connection_thread.setDaemon(True)
164
197
        connection_thread.start()
 
198
        return connection_thread
165
199
 
166
200
    def start_background_thread(self, thread_name_suffix=''):
167
201
        self._started.clear()
208
242
        notified.
209
243
        """
210
244
        Hooks.__init__(self)
211
 
        # Introduced in 0.16:
212
 
        # invoked whenever the server starts serving a directory.
213
 
        # The api signature is (backing urls, public url).
214
 
        self['server_started'] = []
215
 
        # Introduced in 0.16:
216
 
        # invoked whenever the server stops serving a directory.
217
 
        # The api signature is (backing urls, public url).
218
 
        self['server_stopped'] = []
 
245
        self.create_hook(HookPoint('server_started',
 
246
            "Called by the bzr server when it starts serving a directory. "
 
247
            "server_started is called with (backing urls, public url), "
 
248
            "where backing_url is a list of URLs giving the "
 
249
            "server-specific directory locations, and public_url is the "
 
250
            "public URL for the directory being served.", (0, 16), None))
 
251
        self.create_hook(HookPoint('server_started_ex',
 
252
            "Called by the bzr server when it starts serving a directory. "
 
253
            "server_started is called with (backing_urls, server_obj).",
 
254
            (1, 17), None))
 
255
        self.create_hook(HookPoint('server_stopped',
 
256
            "Called by the bzr server when it stops serving a directory. "
 
257
            "server_stopped is called with the same parameters as the "
 
258
            "server_started hook: (backing_urls, public_url).", (0, 16), None))
219
259
 
220
260
SmartTCPServer.hooks = SmartServerHooks()
221
261
 
222
262
 
223
 
class SmartTCPServer_for_testing(SmartTCPServer):
224
 
    """Server suitable for use by transport tests.
225
 
 
226
 
    This server is backed by the process's cwd.
 
263
def _local_path_for_transport(transport):
 
264
    """Return a local path for transport, if reasonably possible.
 
265
    
 
266
    This function works even if transport's url has a "readonly+" prefix,
 
267
    unlike local_path_from_url.
 
268
    
 
269
    This essentially recovers the --directory argument the user passed to "bzr
 
270
    serve" from the transport passed to serve_bzr.
227
271
    """
228
 
 
229
 
    def __init__(self, thread_name_suffix=''):
230
 
        SmartTCPServer.__init__(self, None)
231
 
        self.client_path_extra = None
232
 
        self.thread_name_suffix = thread_name_suffix
233
 
 
234
 
    def get_backing_transport(self, backing_transport_server):
235
 
        """Get a backing transport from a server we are decorating."""
236
 
        return transport.get_transport(backing_transport_server.get_url())
237
 
 
238
 
    def setUp(self, backing_transport_server=None,
239
 
              client_path_extra='/extra/'):
240
 
        """Set up server for testing.
241
 
 
242
 
        :param backing_transport_server: backing server to use.  If not
243
 
            specified, a LocalURLServer at the current working directory will
244
 
            be used.
245
 
        :param client_path_extra: a path segment starting with '/' to append to
246
 
            the root URL for this server.  For instance, a value of '/foo/bar/'
247
 
            will mean the root of the backing transport will be published at a
248
 
            URL like `bzr://127.0.0.1:nnnn/foo/bar/`, rather than
249
 
            `bzr://127.0.0.1:nnnn/`.  Default value is `extra`, so that tests
250
 
            by default will fail unless they do the necessary path translation.
 
272
    try:
 
273
        base_url = transport.external_url()
 
274
    except (errors.InProcessTransport, NotImplementedError):
 
275
        return None
 
276
    else:
 
277
        # Strip readonly prefix
 
278
        if base_url.startswith('readonly+'):
 
279
            base_url = base_url[len('readonly+'):]
 
280
        try:
 
281
            return urlutils.local_path_from_url(base_url)
 
282
        except errors.InvalidURL:
 
283
            return None
 
284
 
 
285
 
 
286
class BzrServerFactory(object):
 
287
    """Helper class for serve_bzr."""
 
288
 
 
289
    def __init__(self, userdir_expander=None, get_base_path=None):
 
290
        self.cleanups = []
 
291
        self.base_path = None
 
292
        self.backing_transport = None
 
293
        if userdir_expander is None:
 
294
            userdir_expander = os.path.expanduser
 
295
        self.userdir_expander = userdir_expander
 
296
        if get_base_path is None:
 
297
            get_base_path = _local_path_for_transport
 
298
        self.get_base_path = get_base_path
 
299
 
 
300
    def _expand_userdirs(self, path):
 
301
        """Translate /~/ or /~user/ to e.g. /home/foo, using
 
302
        self.userdir_expander (os.path.expanduser by default).
 
303
 
 
304
        If the translated path would fall outside base_path, or the path does
 
305
        not start with ~, then no translation is applied.
 
306
 
 
307
        If the path is inside, it is adjusted to be relative to the base path.
 
308
 
 
309
        e.g. if base_path is /home, and the expanded path is /home/joe, then
 
310
        the translated path is joe.
251
311
        """
252
 
        if not client_path_extra.startswith('/'):
253
 
            raise ValueError(client_path_extra)
254
 
        from bzrlib.transport.chroot import ChrootServer
255
 
        if backing_transport_server is None:
256
 
            from bzrlib.transport.local import LocalURLServer
257
 
            backing_transport_server = LocalURLServer()
258
 
        self.chroot_server = ChrootServer(
259
 
            self.get_backing_transport(backing_transport_server))
260
 
        self.chroot_server.setUp()
261
 
        self.backing_transport = transport.get_transport(
262
 
            self.chroot_server.get_url())
263
 
        self.root_client_path = self.client_path_extra = client_path_extra
264
 
        self.start_background_thread(self.thread_name_suffix)
265
 
 
266
 
    def tearDown(self):
267
 
        self.stop_background_thread()
268
 
        self.chroot_server.tearDown()
269
 
 
270
 
    def get_url(self):
271
 
        url = super(SmartTCPServer_for_testing, self).get_url()
272
 
        return url[:-1] + self.client_path_extra
273
 
 
274
 
    def get_bogus_url(self):
275
 
        """Return a URL which will fail to connect"""
276
 
        return 'bzr://127.0.0.1:1/'
277
 
 
278
 
 
279
 
class ReadonlySmartTCPServer_for_testing(SmartTCPServer_for_testing):
280
 
    """Get a readonly server for testing."""
281
 
 
282
 
    def get_backing_transport(self, backing_transport_server):
283
 
        """Get a backing transport from a server we are decorating."""
284
 
        url = 'readonly+' + backing_transport_server.get_url()
285
 
        return transport.get_transport(url)
286
 
 
287
 
 
288
 
class SmartTCPServer_for_testing_v2_only(SmartTCPServer_for_testing):
289
 
    """A variation of SmartTCPServer_for_testing that limits the client to
290
 
    using RPCs in protocol v2 (i.e. bzr <= 1.5).
 
312
        result = path
 
313
        if path.startswith('~'):
 
314
            expanded = self.userdir_expander(path)
 
315
            if not expanded.endswith('/'):
 
316
                expanded += '/'
 
317
            if expanded.startswith(self.base_path):
 
318
                result = expanded[len(self.base_path):]
 
319
        return result
 
320
 
 
321
    def _make_expand_userdirs_filter(self, transport):
 
322
        return pathfilter.PathFilteringServer(transport, self._expand_userdirs)
 
323
 
 
324
    def _make_backing_transport(self, transport):
 
325
        """Chroot transport, and decorate with userdir expander."""
 
326
        self.base_path = self.get_base_path(transport)
 
327
        chroot_server = chroot.ChrootServer(transport)
 
328
        chroot_server.start_server()
 
329
        self.cleanups.append(chroot_server.stop_server)
 
330
        transport = get_transport(chroot_server.get_url())
 
331
        if self.base_path is not None:
 
332
            # Decorate the server's backing transport with a filter that can
 
333
            # expand homedirs.
 
334
            expand_userdirs = self._make_expand_userdirs_filter(transport)
 
335
            expand_userdirs.start_server()
 
336
            self.cleanups.append(expand_userdirs.stop_server)
 
337
            transport = get_transport(expand_userdirs.get_url())
 
338
        self.transport = transport
 
339
 
 
340
    def _make_smart_server(self, host, port, inet):
 
341
        if inet:
 
342
            smart_server = medium.SmartServerPipeStreamMedium(
 
343
                sys.stdin, sys.stdout, self.transport)
 
344
        else:
 
345
            if host is None:
 
346
                host = medium.BZR_DEFAULT_INTERFACE
 
347
            if port is None:
 
348
                port = medium.BZR_DEFAULT_PORT
 
349
            smart_server = SmartTCPServer(self.transport)
 
350
            smart_server.start_server(host, port)
 
351
            trace.note('listening on port: %s' % smart_server.port)
 
352
        self.smart_server = smart_server
 
353
 
 
354
    def _change_globals(self):
 
355
        from bzrlib import lockdir, ui
 
356
        # For the duration of this server, no UI output is permitted. note
 
357
        # that this may cause problems with blackbox tests. This should be
 
358
        # changed with care though, as we dont want to use bandwidth sending
 
359
        # progress over stderr to smart server clients!
 
360
        old_factory = ui.ui_factory
 
361
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
 
362
        def restore_default_ui_factory_and_lockdir_timeout():
 
363
            ui.ui_factory = old_factory
 
364
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
 
365
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
 
366
        ui.ui_factory = ui.SilentUIFactory()
 
367
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
 
368
 
 
369
    def set_up(self, transport, host, port, inet):
 
370
        self._make_backing_transport(transport)
 
371
        self._make_smart_server(host, port, inet)
 
372
        self._change_globals()
 
373
 
 
374
    def tear_down(self):
 
375
        for cleanup in reversed(self.cleanups):
 
376
            cleanup()
 
377
 
 
378
 
 
379
def serve_bzr(transport, host=None, port=None, inet=False):
 
380
    """This is the default implementation of 'bzr serve'.
 
381
    
 
382
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
 
383
    transport will be decorated with a chroot and pathfilter (using
 
384
    os.path.expanduser).
291
385
    """
292
 
 
293
 
    def get_url(self):
294
 
        url = super(SmartTCPServer_for_testing_v2_only, self).get_url()
295
 
        url = 'bzr-v2://' + url[len('bzr://'):]
296
 
        return url
297
 
 
298
 
 
299
 
class ReadonlySmartTCPServer_for_testing_v2_only(SmartTCPServer_for_testing_v2_only):
300
 
    """Get a readonly server for testing."""
301
 
 
302
 
    def get_backing_transport(self, backing_transport_server):
303
 
        """Get a backing transport from a server we are decorating."""
304
 
        url = 'readonly+' + backing_transport_server.get_url()
305
 
        return transport.get_transport(url)
306
 
 
 
386
    bzr_server = BzrServerFactory()
 
387
    try:
 
388
        bzr_server.set_up(transport, host, port, inet)
 
389
        bzr_server.smart_server.serve()
 
390
    finally:
 
391
        bzr_server.tear_down()
307
392