← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: Martin Pool
  • Date: 2007-04-19 07:17:16 UTC
  • mto: This revision was merged to the branch mainline in revision 2461.
  • Revision ID: mbp@sourcefrog.net-20070419071716-tcuv5i38vhci6fuf
Fix formatting of timezones in bundles and merge directives.
Always give epoch time in utc.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/smart/server.py
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""Server for smart-server protocol."""
18
18
 
19
19
import errno
20
 
import os.path
21
20
import socket
22
 
import sys
 
21
import os
23
22
import threading
24
23
 
25
 
from bzrlib.hooks import HookPoint, Hooks
 
24
from bzrlib.hooks import Hooks
 
25
from bzrlib.smart import medium
26
26
from bzrlib import (
27
 
    errors,
28
27
    trace,
29
28
    transport,
 
29
    urlutils,
30
30
)
31
 
from bzrlib.lazy_import import lazy_import
32
 
lazy_import(globals(), """
33
 
from bzrlib.smart import medium
34
 
from bzrlib.transport import (
35
 
    chroot,
36
 
    get_transport,
37
 
    pathfilter,
38
 
    )
39
 
from bzrlib import (
40
 
    urlutils,
41
 
    )
42
 
""")
 
31
from bzrlib.smart.medium import SmartServerSocketStreamMedium
43
32
 
44
33
 
45
34
class SmartTCPServer(object):
46
 
    """Listens on a TCP socket and accepts connections from smart clients.
47
 
 
48
 
    Each connection will be served by a SmartServerSocketStreamMedium running in
49
 
    a thread.
 
35
    """Listens on a TCP socket and accepts connections from smart clients
50
36
 
51
37
    hooks: An instance of SmartServerHooks.
52
38
    """
53
39
 
54
 
    def __init__(self, backing_transport, host='127.0.0.1', port=0,
55
 
                 root_client_path='/'):
 
40
    def __init__(self, backing_transport, host='127.0.0.1', port=0):
56
41
        """Construct a new server.
57
42
 
58
43
        To actually start it running, call either start_background_thread or
59
44
        serve.
60
45
 
61
 
        :param backing_transport: The transport to serve.
62
46
        :param host: Name of the interface to listen on.
63
47
        :param port: TCP port to listen on, or 0 to allocate a transient port.
64
 
        :param root_client_path: The client path that will correspond to root
65
 
            of backing_transport.
66
48
        """
67
49
        # let connections timeout so that we get a chance to terminate
68
50
        # Keep a reference to the exceptions we want to catch because the socket
71
53
        from socket import error as socket_error
72
54
        self._socket_error = socket_error
73
55
        self._socket_timeout = socket_timeout
74
 
        addrs = socket.getaddrinfo(host, port, socket.AF_UNSPEC,
75
 
            socket.SOCK_STREAM, 0, socket.AI_PASSIVE)[0]
76
 
 
77
 
        (family, socktype, proto, canonname, sockaddr) = addrs
78
 
 
79
 
        self._server_socket = socket.socket(family, socktype, proto)
80
 
        # SO_REUSERADDR has a different meaning on Windows
81
 
        if sys.platform != 'win32':
82
 
            self._server_socket.setsockopt(socket.SOL_SOCKET,
83
 
                socket.SO_REUSEADDR, 1)
84
 
        try:
85
 
            self._server_socket.bind(sockaddr)
86
 
        except self._socket_error, message:
87
 
            raise errors.CannotBindAddress(host, port, message)
 
56
        self._server_socket = socket.socket()
 
57
        self._server_socket.bind((host, port))
88
58
        self._sockname = self._server_socket.getsockname()
89
59
        self.port = self._sockname[1]
90
60
        self._server_socket.listen(1)
92
62
        self.backing_transport = backing_transport
93
63
        self._started = threading.Event()
94
64
        self._stopped = threading.Event()
95
 
        self.root_client_path = root_client_path
96
65
 
97
 
    def serve(self, thread_name_suffix=''):
 
66
    def serve(self):
98
67
        self._should_terminate = False
99
 
        # for hooks we are letting code know that a server has started (and
100
 
        # later stopped).
101
 
        # There are three interesting urls:
102
 
        # The URL the server can be contacted on. (e.g. bzr://host/)
103
 
        # The URL that a commit done on the same machine as the server will
104
 
        # have within the servers space. (e.g. file:///home/user/source)
105
 
        # The URL that will be given to other hooks in the same process -
106
 
        # the URL of the backing transport itself. (e.g. chroot+:///)
107
 
        # We need all three because:
108
 
        #  * other machines see the first
109
 
        #  * local commits on this machine should be able to be mapped to
110
 
        #    this server
111
 
        #  * commits the server does itself need to be mapped across to this
112
 
        #    server.
113
 
        # The latter two urls are different aliases to the servers url,
114
 
        # so we group those in a list - as there might be more aliases
115
 
        # in the future.
116
 
        backing_urls = [self.backing_transport.base]
117
 
        try:
118
 
            backing_urls.append(self.backing_transport.external_url())
119
 
        except errors.InProcessTransport:
120
 
            pass
121
68
        for hook in SmartTCPServer.hooks['server_started']:
122
 
            hook(backing_urls, self.get_url())
123
 
        for hook in SmartTCPServer.hooks['server_started_ex']:
124
 
            hook(backing_urls, self)
 
69
            hook(self.backing_transport.base, self.get_url())
125
70
        self._started.set()
126
71
        try:
127
72
            try:
138
83
                        if e.args[0] != errno.EBADF:
139
84
                            trace.warning("listening socket error: %s", e)
140
85
                    else:
141
 
                        if self._should_terminate:
142
 
                            break
143
 
                        self.serve_conn(conn, thread_name_suffix)
 
86
                        self.serve_conn(conn)
144
87
            except KeyboardInterrupt:
145
88
                # dont log when CTRL-C'd.
146
89
                raise
147
90
            except Exception, e:
148
 
                trace.report_exception(sys.exc_info(), sys.stderr)
 
91
                trace.error("Unhandled smart server error.")
 
92
                trace.log_exception_quietly()
149
93
                raise
150
94
        finally:
151
95
            self._stopped.set()
156
100
                # ignore errors on close
157
101
                pass
158
102
            for hook in SmartTCPServer.hooks['server_stopped']:
159
 
                hook(backing_urls, self.get_url())
 
103
                hook(self.backing_transport.base, self.get_url())
160
104
 
161
105
    def get_url(self):
162
106
        """Return the url of the server"""
163
107
        return "bzr://%s:%d/" % self._sockname
164
108
 
165
 
    def serve_conn(self, conn, thread_name_suffix):
 
109
    def serve_conn(self, conn):
166
110
        # For WIN32, where the timeout value from the listening socket
167
 
        # propagates to the newly accepted socket.
 
111
        # propogates to the newly accepted socket.
168
112
        conn.setblocking(True)
169
113
        conn.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
170
 
        handler = medium.SmartServerSocketStreamMedium(
171
 
            conn, self.backing_transport, self.root_client_path)
172
 
        thread_name = 'smart-server-child' + thread_name_suffix
173
 
        connection_thread = threading.Thread(
174
 
            None, handler.serve, name=thread_name)
 
114
        handler = SmartServerSocketStreamMedium(conn, self.backing_transport)
 
115
        connection_thread = threading.Thread(None, handler.serve, name='smart-server-child')
175
116
        connection_thread.setDaemon(True)
176
117
        connection_thread.start()
177
118
 
178
 
    def start_background_thread(self, thread_name_suffix=''):
 
119
    def start_background_thread(self):
179
120
        self._started.clear()
180
121
        self._server_thread = threading.Thread(None,
181
 
                self.serve, args=(thread_name_suffix,),
 
122
                self.serve,
182
123
                name='server-' + self.get_url())
183
124
        self._server_thread.setDaemon(True)
184
125
        self._server_thread.start()
190
131
        self._should_terminate = True
191
132
        # close the socket - gives error to connections from here on in,
192
133
        # rather than a connection reset error to connections made during
193
 
        # the period between setting _should_terminate = True and
 
134
        # the period between setting _should_terminate = True and 
194
135
        # the current request completing/aborting. It may also break out the
195
136
        # main loop if it was currently in accept() (on some platforms).
196
137
        try:
220
161
        notified.
221
162
        """
222
163
        Hooks.__init__(self)
223
 
        self.create_hook(HookPoint('server_started',
224
 
            "Called by the bzr server when it starts serving a directory. "
225
 
            "server_started is called with (backing urls, public url), "
226
 
            "where backing_url is a list of URLs giving the "
227
 
            "server-specific directory locations, and public_url is the "
228
 
            "public URL for the directory being served.", (0, 16), None))
229
 
        self.create_hook(HookPoint('server_started_ex',
230
 
            "Called by the bzr server when it starts serving a directory. "
231
 
            "server_started is called with (backing_urls, server_obj).",
232
 
            (1, 17), None))
233
 
        self.create_hook(HookPoint('server_stopped',
234
 
            "Called by the bzr server when it stops serving a directory. "
235
 
            "server_stopped is called with the same parameters as the "
236
 
            "server_started hook: (backing_urls, public_url).", (0, 16), None))
 
164
        # Introduced in 0.16:
 
165
        # invoked whenever the server starts serving a directory.
 
166
        # The api signature is (backing url, public url).
 
167
        self['server_started'] = []
 
168
        # Introduced in 0.16:
 
169
        # invoked whenever the server stops serving a directory.
 
170
        # The api signature is (backing url, public url).
 
171
        self['server_stopped'] = []
237
172
 
238
173
SmartTCPServer.hooks = SmartServerHooks()
239
174
 
240
175
 
241
 
def _local_path_for_transport(transport):
242
 
    """Return a local path for transport, if reasonably possible.
243
 
    
244
 
    This function works even if transport's url has a "readonly+" prefix,
245
 
    unlike local_path_from_url.
246
 
    
247
 
    This essentially recovers the --directory argument the user passed to "bzr
248
 
    serve" from the transport passed to serve_bzr.
249
 
    """
250
 
    try:
251
 
        base_url = transport.external_url()
252
 
    except (errors.InProcessTransport, NotImplementedError):
253
 
        return None
254
 
    else:
255
 
        # Strip readonly prefix
256
 
        if base_url.startswith('readonly+'):
257
 
            base_url = base_url[len('readonly+'):]
258
 
        try:
259
 
            return urlutils.local_path_from_url(base_url)
260
 
        except errors.InvalidURL:
261
 
            return None
262
 
 
263
 
 
264
 
class BzrServerFactory(object):
265
 
    """Helper class for serve_bzr."""
266
 
 
267
 
    def __init__(self, userdir_expander=None, get_base_path=None):
268
 
        self.cleanups = []
269
 
        self.base_path = None
270
 
        self.backing_transport = None
271
 
        if userdir_expander is None:
272
 
            userdir_expander = os.path.expanduser
273
 
        self.userdir_expander = userdir_expander
274
 
        if get_base_path is None:
275
 
            get_base_path = _local_path_for_transport
276
 
        self.get_base_path = get_base_path
277
 
 
278
 
    def _expand_userdirs(self, path):
279
 
        """Translate /~/ or /~user/ to e.g. /home/foo, using
280
 
        self.userdir_expander (os.path.expanduser by default).
281
 
 
282
 
        If the translated path would fall outside base_path, or the path does
283
 
        not start with ~, then no translation is applied.
284
 
 
285
 
        If the path is inside, it is adjusted to be relative to the base path.
286
 
 
287
 
        e.g. if base_path is /home, and the expanded path is /home/joe, then
288
 
        the translated path is joe.
289
 
        """
290
 
        result = path
291
 
        if path.startswith('~'):
292
 
            expanded = self.userdir_expander(path)
293
 
            if not expanded.endswith('/'):
294
 
                expanded += '/'
295
 
            if expanded.startswith(self.base_path):
296
 
                result = expanded[len(self.base_path):]
297
 
        return result
298
 
 
299
 
    def _make_expand_userdirs_filter(self, transport):
300
 
        return pathfilter.PathFilteringServer(transport, self._expand_userdirs)
301
 
 
302
 
    def _make_backing_transport(self, transport):
303
 
        """Chroot transport, and decorate with userdir expander."""
304
 
        self.base_path = self.get_base_path(transport)
305
 
        chroot_server = chroot.ChrootServer(transport)
306
 
        chroot_server.start_server()
307
 
        self.cleanups.append(chroot_server.stop_server)
308
 
        transport = get_transport(chroot_server.get_url())
309
 
        if self.base_path is not None:
310
 
            # Decorate the server's backing transport with a filter that can
311
 
            # expand homedirs.
312
 
            expand_userdirs = self._make_expand_userdirs_filter(transport)
313
 
            expand_userdirs.start_server()
314
 
            self.cleanups.append(expand_userdirs.stop_server)
315
 
            transport = get_transport(expand_userdirs.get_url())
316
 
        self.transport = transport
317
 
 
318
 
    def _make_smart_server(self, host, port, inet):
319
 
        if inet:
320
 
            smart_server = medium.SmartServerPipeStreamMedium(
321
 
                sys.stdin, sys.stdout, self.transport)
322
 
        else:
323
 
            if host is None:
324
 
                host = medium.BZR_DEFAULT_INTERFACE
325
 
            if port is None:
326
 
                port = medium.BZR_DEFAULT_PORT
327
 
            smart_server = SmartTCPServer(self.transport, host=host, port=port)
328
 
            trace.note('listening on port: %s' % smart_server.port)
329
 
        self.smart_server = smart_server
330
 
 
331
 
    def _change_globals(self):
332
 
        from bzrlib import lockdir, ui
333
 
        # For the duration of this server, no UI output is permitted. note
334
 
        # that this may cause problems with blackbox tests. This should be
335
 
        # changed with care though, as we dont want to use bandwidth sending
336
 
        # progress over stderr to smart server clients!
337
 
        old_factory = ui.ui_factory
338
 
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
339
 
        def restore_default_ui_factory_and_lockdir_timeout():
340
 
            ui.ui_factory = old_factory
341
 
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
342
 
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
343
 
        ui.ui_factory = ui.SilentUIFactory()
344
 
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
345
 
 
346
 
    def set_up(self, transport, host, port, inet):
347
 
        self._make_backing_transport(transport)
348
 
        self._make_smart_server(host, port, inet)
349
 
        self._change_globals()
350
 
 
351
 
    def tear_down(self):
352
 
        for cleanup in reversed(self.cleanups):
353
 
            cleanup()
354
 
 
355
 
 
356
 
def serve_bzr(transport, host=None, port=None, inet=False):
357
 
    """This is the default implementation of 'bzr serve'.
358
 
    
359
 
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
360
 
    transport will be decorated with a chroot and pathfilter (using
361
 
    os.path.expanduser).
362
 
    """
363
 
    bzr_server = BzrServerFactory()
364
 
    try:
365
 
        bzr_server.set_up(transport, host, port, inet)
366
 
        bzr_server.smart_server.serve()
367
 
    finally:
368
 
        bzr_server.tear_down()
 
176
class SmartTCPServer_for_testing(SmartTCPServer):
 
177
    """Server suitable for use by transport tests.
 
178
    
 
179
    This server is backed by the process's cwd.
 
180
    """
 
181
 
 
182
    def __init__(self):
 
183
        self._homedir = urlutils.local_path_to_url(os.getcwd())[7:]
 
184
        # The server is set up by default like for ssh access: the client
 
185
        # passes filesystem-absolute paths; therefore the server must look
 
186
        # them up relative to the root directory.  it might be better to act
 
187
        # a public server and have the server rewrite paths into the test
 
188
        # directory.
 
189
        SmartTCPServer.__init__(self,
 
190
            transport.get_transport(urlutils.local_path_to_url('/')))
 
191
        
 
192
    def get_backing_transport(self, backing_transport_server):
 
193
        """Get a backing transport from a server we are decorating."""
 
194
        return transport.get_transport(backing_transport_server.get_url())
 
195
 
 
196
    def setUp(self, backing_transport_server=None):
 
197
        """Set up server for testing"""
 
198
        from bzrlib.transport.chroot import TestingChrootServer
 
199
        if backing_transport_server is None:
 
200
            from bzrlib.transport.local import LocalURLServer
 
201
            backing_transport_server = LocalURLServer()
 
202
        self.chroot_server = TestingChrootServer()
 
203
        self.chroot_server.setUp(backing_transport_server)
 
204
        self.backing_transport = transport.get_transport(
 
205
            self.chroot_server.get_url())
 
206
        self.start_background_thread()
 
207
 
 
208
    def tearDown(self):
 
209
        self.stop_background_thread()
 
210
 
 
211
    def get_bogus_url(self):
 
212
        """Return a URL which will fail to connect"""
 
213
        return 'bzr://127.0.0.1:1/'
 
214
 
369
215