← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Ian Clatworthy
  • Date: 2007-11-28 00:07:56 UTC
  • mto: (3054.1.1 ianc-integration)
  • mto: This revision was merged to the branch mainline in revision 3055.
  • Revision ID: ian.clatworthy@internode.on.net-20071128000756-kqm8iqmc9281roii
more cleanups and creation of tutorials directory

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/smart/server.py
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""Server for smart-server protocol."""
18
18
 
19
19
import errno
20
 
import os.path
21
20
import socket
22
 
import sys
23
21
import threading
24
22
 
25
 
from bzrlib.hooks import HookPoint, Hooks
 
23
from bzrlib.hooks import Hooks
26
24
from bzrlib import (
27
25
    errors,
28
26
    trace,
29
27
    transport,
30
28
)
31
 
from bzrlib.lazy_import import lazy_import
32
 
lazy_import(globals(), """
33
 
from bzrlib.smart import medium
34
 
from bzrlib.transport import (
35
 
    chroot,
36
 
    get_transport,
37
 
    pathfilter,
38
 
    )
39
 
from bzrlib import (
40
 
    urlutils,
41
 
    )
42
 
""")
 
29
from bzrlib.smart.medium import SmartServerSocketStreamMedium
43
30
 
44
31
 
45
32
class SmartTCPServer(object):
51
38
    hooks: An instance of SmartServerHooks.
52
39
    """
53
40
 
54
 
    def __init__(self, backing_transport, host='127.0.0.1', port=0,
55
 
                 root_client_path='/'):
 
41
    def __init__(self, backing_transport, host='127.0.0.1', port=0):
56
42
        """Construct a new server.
57
43
 
58
44
        To actually start it running, call either start_background_thread or
59
45
        serve.
60
46
 
61
 
        :param backing_transport: The transport to serve.
62
47
        :param host: Name of the interface to listen on.
63
48
        :param port: TCP port to listen on, or 0 to allocate a transient port.
64
 
        :param root_client_path: The client path that will correspond to root
65
 
            of backing_transport.
66
49
        """
67
50
        # let connections timeout so that we get a chance to terminate
68
51
        # Keep a reference to the exceptions we want to catch because the socket
71
54
        from socket import error as socket_error
72
55
        self._socket_error = socket_error
73
56
        self._socket_timeout = socket_timeout
74
 
        addrs = socket.getaddrinfo(host, port, socket.AF_UNSPEC,
75
 
            socket.SOCK_STREAM, 0, socket.AI_PASSIVE)[0]
76
 
 
77
 
        (family, socktype, proto, canonname, sockaddr) = addrs
78
 
 
79
 
        self._server_socket = socket.socket(family, socktype, proto)
80
 
        # SO_REUSERADDR has a different meaning on Windows
81
 
        if sys.platform != 'win32':
82
 
            self._server_socket.setsockopt(socket.SOL_SOCKET,
83
 
                socket.SO_REUSEADDR, 1)
84
 
        try:
85
 
            self._server_socket.bind(sockaddr)
86
 
        except self._socket_error, message:
87
 
            raise errors.CannotBindAddress(host, port, message)
 
57
        self._server_socket = socket.socket()
 
58
        self._server_socket.bind((host, port))
88
59
        self._sockname = self._server_socket.getsockname()
89
60
        self.port = self._sockname[1]
90
61
        self._server_socket.listen(1)
92
63
        self.backing_transport = backing_transport
93
64
        self._started = threading.Event()
94
65
        self._stopped = threading.Event()
95
 
        self.root_client_path = root_client_path
96
66
 
97
 
    def serve(self, thread_name_suffix=''):
 
67
    def serve(self):
98
68
        self._should_terminate = False
99
69
        # for hooks we are letting code know that a server has started (and
100
70
        # later stopped).
107
77
        # We need all three because:
108
78
        #  * other machines see the first
109
79
        #  * local commits on this machine should be able to be mapped to
110
 
        #    this server
 
80
        #    this server 
111
81
        #  * commits the server does itself need to be mapped across to this
112
82
        #    server.
113
83
        # The latter two urls are different aliases to the servers url,
114
 
        # so we group those in a list - as there might be more aliases
 
84
        # so we group those in a list - as there might be more aliases 
115
85
        # in the future.
116
86
        backing_urls = [self.backing_transport.base]
117
87
        try:
120
90
            pass
121
91
        for hook in SmartTCPServer.hooks['server_started']:
122
92
            hook(backing_urls, self.get_url())
123
 
        for hook in SmartTCPServer.hooks['server_started_ex']:
124
 
            hook(backing_urls, self)
125
93
        self._started.set()
126
94
        try:
127
95
            try:
138
106
                        if e.args[0] != errno.EBADF:
139
107
                            trace.warning("listening socket error: %s", e)
140
108
                    else:
141
 
                        self.serve_conn(conn, thread_name_suffix)
 
109
                        self.serve_conn(conn)
142
110
            except KeyboardInterrupt:
143
111
                # dont log when CTRL-C'd.
144
112
                raise
145
113
            except Exception, e:
146
 
                trace.report_exception(sys.exc_info(), sys.stderr)
 
114
                trace.error("Unhandled smart server error.")
 
115
                trace.log_exception_quietly()
147
116
                raise
148
117
        finally:
149
118
            self._stopped.set()
160
129
        """Return the url of the server"""
161
130
        return "bzr://%s:%d/" % self._sockname
162
131
 
163
 
    def serve_conn(self, conn, thread_name_suffix):
 
132
    def serve_conn(self, conn):
164
133
        # For WIN32, where the timeout value from the listening socket
165
 
        # propagates to the newly accepted socket.
 
134
        # propogates to the newly accepted socket.
166
135
        conn.setblocking(True)
167
136
        conn.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
168
 
        handler = medium.SmartServerSocketStreamMedium(
169
 
            conn, self.backing_transport, self.root_client_path)
170
 
        thread_name = 'smart-server-child' + thread_name_suffix
171
 
        connection_thread = threading.Thread(
172
 
            None, handler.serve, name=thread_name)
 
137
        handler = SmartServerSocketStreamMedium(conn, self.backing_transport)
 
138
        connection_thread = threading.Thread(None, handler.serve, name='smart-server-child')
173
139
        connection_thread.setDaemon(True)
174
140
        connection_thread.start()
175
141
 
176
 
    def start_background_thread(self, thread_name_suffix=''):
 
142
    def start_background_thread(self):
177
143
        self._started.clear()
178
144
        self._server_thread = threading.Thread(None,
179
 
                self.serve, args=(thread_name_suffix,),
 
145
                self.serve,
180
146
                name='server-' + self.get_url())
181
147
        self._server_thread.setDaemon(True)
182
148
        self._server_thread.start()
188
154
        self._should_terminate = True
189
155
        # close the socket - gives error to connections from here on in,
190
156
        # rather than a connection reset error to connections made during
191
 
        # the period between setting _should_terminate = True and
 
157
        # the period between setting _should_terminate = True and 
192
158
        # the current request completing/aborting. It may also break out the
193
159
        # main loop if it was currently in accept() (on some platforms).
194
160
        try:
218
184
        notified.
219
185
        """
220
186
        Hooks.__init__(self)
221
 
        self.create_hook(HookPoint('server_started',
222
 
            "Called by the bzr server when it starts serving a directory. "
223
 
            "server_started is called with (backing urls, public url), "
224
 
            "where backing_url is a list of URLs giving the "
225
 
            "server-specific directory locations, and public_url is the "
226
 
            "public URL for the directory being served.", (0, 16), None))
227
 
        self.create_hook(HookPoint('server_started_ex',
228
 
            "Called by the bzr server when it starts serving a directory. "
229
 
            "server_started is called with (backing_urls, server_obj).",
230
 
            (1, 17), None))
231
 
        self.create_hook(HookPoint('server_stopped',
232
 
            "Called by the bzr server when it stops serving a directory. "
233
 
            "server_stopped is called with the same parameters as the "
234
 
            "server_started hook: (backing_urls, public_url).", (0, 16), None))
 
187
        # Introduced in 0.16:
 
188
        # invoked whenever the server starts serving a directory.
 
189
        # The api signature is (backing urls, public url).
 
190
        self['server_started'] = []
 
191
        # Introduced in 0.16:
 
192
        # invoked whenever the server stops serving a directory.
 
193
        # The api signature is (backing urls, public url).
 
194
        self['server_stopped'] = []
235
195
 
236
196
SmartTCPServer.hooks = SmartServerHooks()
237
197
 
238
198
 
239
 
def _local_path_for_transport(transport):
240
 
    """Return a local path for transport, if reasonably possible.
241
 
    
242
 
    This function works even if transport's url has a "readonly+" prefix,
243
 
    unlike local_path_from_url.
244
 
    
245
 
    This essentially recovers the --directory argument the user passed to "bzr
246
 
    serve" from the transport passed to serve_bzr.
247
 
    """
248
 
    try:
249
 
        base_url = transport.external_url()
250
 
    except (errors.InProcessTransport, NotImplementedError):
251
 
        return None
252
 
    else:
253
 
        # Strip readonly prefix
254
 
        if base_url.startswith('readonly+'):
255
 
            base_url = base_url[len('readonly+'):]
256
 
        try:
257
 
            return urlutils.local_path_from_url(base_url)
258
 
        except errors.InvalidURL:
259
 
            return None
260
 
 
261
 
 
262
 
class BzrServerFactory(object):
263
 
    """Helper class for serve_bzr."""
264
 
 
265
 
    def __init__(self, userdir_expander=None, get_base_path=None):
266
 
        self.cleanups = []
267
 
        self.base_path = None
268
 
        self.backing_transport = None
269
 
        if userdir_expander is None:
270
 
            userdir_expander = os.path.expanduser
271
 
        self.userdir_expander = userdir_expander
272
 
        if get_base_path is None:
273
 
            get_base_path = _local_path_for_transport
274
 
        self.get_base_path = get_base_path
275
 
 
276
 
    def _expand_userdirs(self, path):
277
 
        """Translate /~/ or /~user/ to e.g. /home/foo, using
278
 
        self.userdir_expander (os.path.expanduser by default).
279
 
 
280
 
        If the translated path would fall outside base_path, or the path does
281
 
        not start with ~, then no translation is applied.
282
 
 
283
 
        If the path is inside, it is adjusted to be relative to the base path.
284
 
 
285
 
        e.g. if base_path is /home, and the expanded path is /home/joe, then
286
 
        the translated path is joe.
287
 
        """
288
 
        result = path
289
 
        if path.startswith('~'):
290
 
            expanded = self.userdir_expander(path)
291
 
            if not expanded.endswith('/'):
292
 
                expanded += '/'
293
 
            if expanded.startswith(self.base_path):
294
 
                result = expanded[len(self.base_path):]
295
 
        return result
296
 
 
297
 
    def _make_expand_userdirs_filter(self, transport):
298
 
        return pathfilter.PathFilteringServer(transport, self._expand_userdirs)
299
 
 
300
 
    def _make_backing_transport(self, transport):
301
 
        """Chroot transport, and decorate with userdir expander."""
302
 
        self.base_path = self.get_base_path(transport)
303
 
        chroot_server = chroot.ChrootServer(transport)
304
 
        chroot_server.start_server()
305
 
        self.cleanups.append(chroot_server.stop_server)
306
 
        transport = get_transport(chroot_server.get_url())
307
 
        if self.base_path is not None:
308
 
            # Decorate the server's backing transport with a filter that can
309
 
            # expand homedirs.
310
 
            expand_userdirs = self._make_expand_userdirs_filter(transport)
311
 
            expand_userdirs.start_server()
312
 
            self.cleanups.append(expand_userdirs.stop_server)
313
 
            transport = get_transport(expand_userdirs.get_url())
314
 
        self.transport = transport
315
 
 
316
 
    def _make_smart_server(self, host, port, inet):
317
 
        if inet:
318
 
            smart_server = medium.SmartServerPipeStreamMedium(
319
 
                sys.stdin, sys.stdout, self.transport)
320
 
        else:
321
 
            if host is None:
322
 
                host = medium.BZR_DEFAULT_INTERFACE
323
 
            if port is None:
324
 
                port = medium.BZR_DEFAULT_PORT
325
 
            smart_server = SmartTCPServer(self.transport, host=host, port=port)
326
 
            trace.note('listening on port: %s' % smart_server.port)
327
 
        self.smart_server = smart_server
328
 
 
329
 
    def _change_globals(self):
330
 
        from bzrlib import lockdir, ui
331
 
        # For the duration of this server, no UI output is permitted. note
332
 
        # that this may cause problems with blackbox tests. This should be
333
 
        # changed with care though, as we dont want to use bandwidth sending
334
 
        # progress over stderr to smart server clients!
335
 
        old_factory = ui.ui_factory
336
 
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
337
 
        def restore_default_ui_factory_and_lockdir_timeout():
338
 
            ui.ui_factory = old_factory
339
 
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
340
 
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
341
 
        ui.ui_factory = ui.SilentUIFactory()
342
 
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
343
 
 
344
 
    def set_up(self, transport, host, port, inet):
345
 
        self._make_backing_transport(transport)
346
 
        self._make_smart_server(host, port, inet)
347
 
        self._change_globals()
348
 
 
349
 
    def tear_down(self):
350
 
        for cleanup in reversed(self.cleanups):
351
 
            cleanup()
352
 
 
353
 
 
354
 
def serve_bzr(transport, host=None, port=None, inet=False):
355
 
    """This is the default implementation of 'bzr serve'.
356
 
    
357
 
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
358
 
    transport will be decorated with a chroot and pathfilter (using
359
 
    os.path.expanduser).
360
 
    """
361
 
    bzr_server = BzrServerFactory()
362
 
    try:
363
 
        bzr_server.set_up(transport, host, port, inet)
364
 
        bzr_server.smart_server.serve()
365
 
    finally:
366
 
        bzr_server.tear_down()
 
199
class SmartTCPServer_for_testing(SmartTCPServer):
 
200
    """Server suitable for use by transport tests.
 
201
    
 
202
    This server is backed by the process's cwd.
 
203
    """
 
204
 
 
205
    def __init__(self):
 
206
        SmartTCPServer.__init__(self, None)
 
207
        
 
208
    def get_backing_transport(self, backing_transport_server):
 
209
        """Get a backing transport from a server we are decorating."""
 
210
        return transport.get_transport(backing_transport_server.get_url())
 
211
 
 
212
    def setUp(self, backing_transport_server=None):
 
213
        """Set up server for testing"""
 
214
        from bzrlib.transport.chroot import ChrootServer
 
215
        if backing_transport_server is None:
 
216
            from bzrlib.transport.local import LocalURLServer
 
217
            backing_transport_server = LocalURLServer()
 
218
        self.chroot_server = ChrootServer(
 
219
            self.get_backing_transport(backing_transport_server))
 
220
        self.chroot_server.setUp()
 
221
        self.backing_transport = transport.get_transport(
 
222
            self.chroot_server.get_url())
 
223
        self.start_background_thread()
 
224
 
 
225
    def tearDown(self):
 
226
        self.stop_background_thread()
 
227
        self.chroot_server.tearDown()
 
228
 
 
229
    def get_bogus_url(self):
 
230
        """Return a URL which will fail to connect"""
 
231
        return 'bzr://127.0.0.1:1/'
 
232
 
 
233
 
 
234
class ReadonlySmartTCPServer_for_testing(SmartTCPServer_for_testing):
 
235
    """Get a readonly server for testing."""
 
236
 
 
237
    def get_backing_transport(self, backing_transport_server):
 
238
        """Get a backing transport from a server we are decorating."""
 
239
        url = 'readonly+' + backing_transport_server.get_url()
 
240
        return transport.get_transport(url)
367
241