← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/smart/server.py

  • Committer: John Arbash Meinel
  • Date: 2009-07-31 17:42:29 UTC
  • mto: This revision was merged to the branch mainline in revision 4611.
  • Revision ID: john@arbash-meinel.com-20090731174229-w2zdsdlfpeddk8gl
Now we got to the per-workingtree tests, etc.

The main causes seem to break down into:
  bzrdir.clone() is known to be broken wrt locking, this effects
  everything that tries to 'push'

  shelf code is not compatible with strict locking

  merge code seems to have an issue. This might actually be the
  root cause of the clone() problems.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/smart/server.py
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
17
17
"""Server for smart-server protocol."""
18
18
 
19
19
import errno
20
 
import os.path
21
20
import socket
22
21
import sys
23
22
import threading
31
30
from bzrlib.lazy_import import lazy_import
32
31
lazy_import(globals(), """
33
32
from bzrlib.smart import medium
34
 
from bzrlib.transport import (
35
 
    chroot,
36
 
    get_transport,
37
 
    pathfilter,
38
 
    )
39
 
from bzrlib import (
40
 
    urlutils,
41
 
    )
42
33
""")
43
34
 
44
35
 
138
129
                        if e.args[0] != errno.EBADF:
139
130
                            trace.warning("listening socket error: %s", e)
140
131
                    else:
141
 
                        if self._should_terminate:
142
 
                            break
143
132
                        self.serve_conn(conn, thread_name_suffix)
144
133
            except KeyboardInterrupt:
145
134
                # dont log when CTRL-C'd.
146
135
                raise
147
136
            except Exception, e:
148
 
                trace.report_exception(sys.exc_info(), sys.stderr)
 
137
                trace.error("Unhandled smart server error.")
 
138
                trace.log_exception_quietly()
149
139
                raise
150
140
        finally:
151
141
            self._stopped.set()
238
228
SmartTCPServer.hooks = SmartServerHooks()
239
229
 
240
230
 
241
 
def _local_path_for_transport(transport):
242
 
    """Return a local path for transport, if reasonably possible.
243
 
    
244
 
    This function works even if transport's url has a "readonly+" prefix,
245
 
    unlike local_path_from_url.
246
 
    
247
 
    This essentially recovers the --directory argument the user passed to "bzr
248
 
    serve" from the transport passed to serve_bzr.
249
 
    """
250
 
    try:
251
 
        base_url = transport.external_url()
252
 
    except (errors.InProcessTransport, NotImplementedError):
253
 
        return None
 
231
class SmartTCPServer_for_testing(SmartTCPServer):
 
232
    """Server suitable for use by transport tests.
 
233
 
 
234
    This server is backed by the process's cwd.
 
235
    """
 
236
 
 
237
    def __init__(self, thread_name_suffix=''):
 
238
        SmartTCPServer.__init__(self, None)
 
239
        self.client_path_extra = None
 
240
        self.thread_name_suffix = thread_name_suffix
 
241
 
 
242
    def get_backing_transport(self, backing_transport_server):
 
243
        """Get a backing transport from a server we are decorating."""
 
244
        return transport.get_transport(backing_transport_server.get_url())
 
245
 
 
246
    def setUp(self, backing_transport_server=None,
 
247
              client_path_extra='/extra/'):
 
248
        """Set up server for testing.
 
249
 
 
250
        :param backing_transport_server: backing server to use.  If not
 
251
            specified, a LocalURLServer at the current working directory will
 
252
            be used.
 
253
        :param client_path_extra: a path segment starting with '/' to append to
 
254
            the root URL for this server.  For instance, a value of '/foo/bar/'
 
255
            will mean the root of the backing transport will be published at a
 
256
            URL like `bzr://127.0.0.1:nnnn/foo/bar/`, rather than
 
257
            `bzr://127.0.0.1:nnnn/`.  Default value is `extra`, so that tests
 
258
            by default will fail unless they do the necessary path translation.
 
259
        """
 
260
        if not client_path_extra.startswith('/'):
 
261
            raise ValueError(client_path_extra)
 
262
        from bzrlib.transport.chroot import ChrootServer
 
263
        if backing_transport_server is None:
 
264
            from bzrlib.transport.local import LocalURLServer
 
265
            backing_transport_server = LocalURLServer()
 
266
        self.chroot_server = ChrootServer(
 
267
            self.get_backing_transport(backing_transport_server))
 
268
        self.chroot_server.setUp()
 
269
        self.backing_transport = transport.get_transport(
 
270
            self.chroot_server.get_url())
 
271
        self.root_client_path = self.client_path_extra = client_path_extra
 
272
        self.start_background_thread(self.thread_name_suffix)
 
273
 
 
274
    def tearDown(self):
 
275
        self.stop_background_thread()
 
276
        self.chroot_server.tearDown()
 
277
 
 
278
    def get_url(self):
 
279
        url = super(SmartTCPServer_for_testing, self).get_url()
 
280
        return url[:-1] + self.client_path_extra
 
281
 
 
282
    def get_bogus_url(self):
 
283
        """Return a URL which will fail to connect"""
 
284
        return 'bzr://127.0.0.1:1/'
 
285
 
 
286
 
 
287
class ReadonlySmartTCPServer_for_testing(SmartTCPServer_for_testing):
 
288
    """Get a readonly server for testing."""
 
289
 
 
290
    def get_backing_transport(self, backing_transport_server):
 
291
        """Get a backing transport from a server we are decorating."""
 
292
        url = 'readonly+' + backing_transport_server.get_url()
 
293
        return transport.get_transport(url)
 
294
 
 
295
 
 
296
class SmartTCPServer_for_testing_v2_only(SmartTCPServer_for_testing):
 
297
    """A variation of SmartTCPServer_for_testing that limits the client to
 
298
    using RPCs in protocol v2 (i.e. bzr <= 1.5).
 
299
    """
 
300
 
 
301
    def get_url(self):
 
302
        url = super(SmartTCPServer_for_testing_v2_only, self).get_url()
 
303
        url = 'bzr-v2://' + url[len('bzr://'):]
 
304
        return url
 
305
 
 
306
 
 
307
class ReadonlySmartTCPServer_for_testing_v2_only(SmartTCPServer_for_testing_v2_only):
 
308
    """Get a readonly server for testing."""
 
309
 
 
310
    def get_backing_transport(self, backing_transport_server):
 
311
        """Get a backing transport from a server we are decorating."""
 
312
        url = 'readonly+' + backing_transport_server.get_url()
 
313
        return transport.get_transport(url)
 
314
 
 
315
 
 
316
def serve_bzr(transport, host=None, port=None, inet=False):
 
317
    from bzrlib import lockdir, ui
 
318
    from bzrlib.transport import get_transport
 
319
    from bzrlib.transport.chroot import ChrootServer
 
320
    chroot_server = ChrootServer(transport)
 
321
    chroot_server.setUp()
 
322
    transport = get_transport(chroot_server.get_url())
 
323
    if inet:
 
324
        smart_server = medium.SmartServerPipeStreamMedium(
 
325
            sys.stdin, sys.stdout, transport)
254
326
    else:
255
 
        # Strip readonly prefix
256
 
        if base_url.startswith('readonly+'):
257
 
            base_url = base_url[len('readonly+'):]
258
 
        try:
259
 
            return urlutils.local_path_from_url(base_url)
260
 
        except errors.InvalidURL:
261
 
            return None
262
 
 
263
 
 
264
 
class BzrServerFactory(object):
265
 
    """Helper class for serve_bzr."""
266
 
 
267
 
    def __init__(self, userdir_expander=None, get_base_path=None):
268
 
        self.cleanups = []
269
 
        self.base_path = None
270
 
        self.backing_transport = None
271
 
        if userdir_expander is None:
272
 
            userdir_expander = os.path.expanduser
273
 
        self.userdir_expander = userdir_expander
274
 
        if get_base_path is None:
275
 
            get_base_path = _local_path_for_transport
276
 
        self.get_base_path = get_base_path
277
 
 
278
 
    def _expand_userdirs(self, path):
279
 
        """Translate /~/ or /~user/ to e.g. /home/foo, using
280
 
        self.userdir_expander (os.path.expanduser by default).
281
 
 
282
 
        If the translated path would fall outside base_path, or the path does
283
 
        not start with ~, then no translation is applied.
284
 
 
285
 
        If the path is inside, it is adjusted to be relative to the base path.
286
 
 
287
 
        e.g. if base_path is /home, and the expanded path is /home/joe, then
288
 
        the translated path is joe.
289
 
        """
290
 
        result = path
291
 
        if path.startswith('~'):
292
 
            expanded = self.userdir_expander(path)
293
 
            if not expanded.endswith('/'):
294
 
                expanded += '/'
295
 
            if expanded.startswith(self.base_path):
296
 
                result = expanded[len(self.base_path):]
297
 
        return result
298
 
 
299
 
    def _make_expand_userdirs_filter(self, transport):
300
 
        return pathfilter.PathFilteringServer(transport, self._expand_userdirs)
301
 
 
302
 
    def _make_backing_transport(self, transport):
303
 
        """Chroot transport, and decorate with userdir expander."""
304
 
        self.base_path = self.get_base_path(transport)
305
 
        chroot_server = chroot.ChrootServer(transport)
306
 
        chroot_server.start_server()
307
 
        self.cleanups.append(chroot_server.stop_server)
308
 
        transport = get_transport(chroot_server.get_url())
309
 
        if self.base_path is not None:
310
 
            # Decorate the server's backing transport with a filter that can
311
 
            # expand homedirs.
312
 
            expand_userdirs = self._make_expand_userdirs_filter(transport)
313
 
            expand_userdirs.start_server()
314
 
            self.cleanups.append(expand_userdirs.stop_server)
315
 
            transport = get_transport(expand_userdirs.get_url())
316
 
        self.transport = transport
317
 
 
318
 
    def _make_smart_server(self, host, port, inet):
319
 
        if inet:
320
 
            smart_server = medium.SmartServerPipeStreamMedium(
321
 
                sys.stdin, sys.stdout, self.transport)
322
 
        else:
323
 
            if host is None:
324
 
                host = medium.BZR_DEFAULT_INTERFACE
325
 
            if port is None:
326
 
                port = medium.BZR_DEFAULT_PORT
327
 
            smart_server = SmartTCPServer(self.transport, host=host, port=port)
328
 
            trace.note('listening on port: %s' % smart_server.port)
329
 
        self.smart_server = smart_server
330
 
 
331
 
    def _change_globals(self):
332
 
        from bzrlib import lockdir, ui
333
 
        # For the duration of this server, no UI output is permitted. note
334
 
        # that this may cause problems with blackbox tests. This should be
335
 
        # changed with care though, as we dont want to use bandwidth sending
336
 
        # progress over stderr to smart server clients!
337
 
        old_factory = ui.ui_factory
338
 
        old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
339
 
        def restore_default_ui_factory_and_lockdir_timeout():
340
 
            ui.ui_factory = old_factory
341
 
            lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
342
 
        self.cleanups.append(restore_default_ui_factory_and_lockdir_timeout)
 
327
        if host is None:
 
328
            host = medium.BZR_DEFAULT_INTERFACE
 
329
        if port is None:
 
330
            port = medium.BZR_DEFAULT_PORT
 
331
        smart_server = SmartTCPServer(transport, host=host, port=port)
 
332
        trace.note('listening on port: %s' % smart_server.port)
 
333
    # For the duration of this server, no UI output is permitted. note
 
334
    # that this may cause problems with blackbox tests. This should be
 
335
    # changed with care though, as we dont want to use bandwidth sending
 
336
    # progress over stderr to smart server clients!
 
337
    old_factory = ui.ui_factory
 
338
    old_lockdir_timeout = lockdir._DEFAULT_TIMEOUT_SECONDS
 
339
    try:
343
340
        ui.ui_factory = ui.SilentUIFactory()
344
341
        lockdir._DEFAULT_TIMEOUT_SECONDS = 0
345
 
 
346
 
    def set_up(self, transport, host, port, inet):
347
 
        self._make_backing_transport(transport)
348
 
        self._make_smart_server(host, port, inet)
349
 
        self._change_globals()
350
 
 
351
 
    def tear_down(self):
352
 
        for cleanup in reversed(self.cleanups):
353
 
            cleanup()
354
 
 
355
 
 
356
 
def serve_bzr(transport, host=None, port=None, inet=False):
357
 
    """This is the default implementation of 'bzr serve'.
358
 
    
359
 
    It creates a TCP or pipe smart server on 'transport, and runs it.  The
360
 
    transport will be decorated with a chroot and pathfilter (using
361
 
    os.path.expanduser).
362
 
    """
363
 
    bzr_server = BzrServerFactory()
364
 
    try:
365
 
        bzr_server.set_up(transport, host, port, inet)
366
 
        bzr_server.smart_server.serve()
 
342
        smart_server.serve()
367
343
    finally:
368
 
        bzr_server.tear_down()
 
344
        ui.ui_factory = old_factory
 
345
        lockdir._DEFAULT_TIMEOUT_SECONDS = old_lockdir_timeout
369
346