~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/blackbox/test_serve.py

  • Committer: Martin Pool
  • Date: 2005-09-15 08:37:41 UTC
  • Revision ID: mbp@sourcefrog.net-20050915083741-70d7550b97c7b580
- some updates for fetch/update function

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2011 Canonical Ltd
2
 
#
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
#
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
#
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
17
 
 
18
 
"""Tests of the bzr serve command."""
19
 
 
20
 
import os
21
 
import signal
22
 
import sys
23
 
import thread
24
 
import threading
25
 
 
26
 
from bzrlib import (
27
 
    builtins,
28
 
    errors,
29
 
    osutils,
30
 
    revision as _mod_revision,
31
 
    trace,
32
 
    transport,
33
 
    urlutils,
34
 
    )
35
 
from bzrlib.branch import Branch
36
 
from bzrlib.bzrdir import BzrDir
37
 
from bzrlib.smart import client, medium
38
 
from bzrlib.smart.server import (
39
 
    BzrServerFactory,
40
 
    SmartTCPServer,
41
 
    )
42
 
from bzrlib.tests import (
43
 
    TestCaseWithMemoryTransport,
44
 
    TestCaseWithTransport,
45
 
    )
46
 
from bzrlib.transport import remote
47
 
 
48
 
 
49
 
class TestBzrServeBase(TestCaseWithTransport):
50
 
 
51
 
    def run_bzr_serve_then_func(self, serve_args, retcode=0, func=None,
52
 
                                *func_args, **func_kwargs):
53
 
        """Run 'bzr serve', and run the given func in a thread once the server
54
 
        has started.
55
 
 
56
 
        When 'func' terminates, the server will be terminated too.
57
 
 
58
 
        Returns stdout and stderr.
59
 
        """
60
 
        def on_server_start_thread(tcp_server):
61
 
            """This runs concurrently with the server thread.
62
 
 
63
 
            The server is interrupted as soon as ``func`` finishes, even if an
64
 
            exception is encountered.
65
 
            """
66
 
            try:
67
 
                # Run func if set
68
 
                self.tcp_server = tcp_server
69
 
                if not func is None:
70
 
                    try:
71
 
                        func(*func_args, **func_kwargs)
72
 
                    except Exception, e:
73
 
                        # Log errors to make some test failures a little less
74
 
                        # mysterious.
75
 
                        trace.mutter('func broke: %r', e)
76
 
            finally:
77
 
                # Then stop the server
78
 
                trace.mutter('interrupting...')
79
 
                thread.interrupt_main()
80
 
        # When the hook is fired, it just starts ``on_server_start_thread`` and
81
 
        # return
82
 
        def on_server_start(backing_urls, tcp_server):
83
 
            t = threading.Thread(
84
 
                target=on_server_start_thread, args=(tcp_server,))
85
 
            t.start()
86
 
        # install hook
87
 
        SmartTCPServer.hooks.install_named_hook(
88
 
            'server_started_ex', on_server_start,
89
 
            'run_bzr_serve_then_func hook')
90
 
        # start a TCP server
91
 
        try:
92
 
            out, err = self.run_bzr(['serve'] + list(serve_args),
93
 
                                    retcode=retcode)
94
 
        except KeyboardInterrupt, e:
95
 
            out, err = e.args
96
 
        return out, err
97
 
 
98
 
 
99
 
class TestBzrServe(TestBzrServeBase):
100
 
 
101
 
    def setUp(self):
102
 
        super(TestBzrServe, self).setUp()
103
 
        self.disable_missing_extensions_warning()
104
 
 
105
 
    def test_server_exception_with_hook(self):
106
 
        """Catch exception from the server in the server_exception hook.
107
 
 
108
 
        We use ``run_bzr_serve_then_func`` without a ``func`` so the server
109
 
        will receive a KeyboardInterrupt exception we want to catch.
110
 
        """
111
 
        def hook(exception):
112
 
            if exception[0] is KeyboardInterrupt:
113
 
                sys.stderr.write('catching KeyboardInterrupt\n')
114
 
                return True
115
 
            else:
116
 
                return False
117
 
        SmartTCPServer.hooks.install_named_hook(
118
 
            'server_exception', hook,
119
 
            'test_server_except_hook hook')
120
 
        args = ['--port', 'localhost:0', '--quiet']
121
 
        out, err = self.run_bzr_serve_then_func(args, retcode=0)
122
 
        self.assertEqual('catching KeyboardInterrupt\n', err)
123
 
 
124
 
    def test_server_exception_no_hook(self):
125
 
        """test exception without hook returns error"""
126
 
        args = []
127
 
        out, err = self.run_bzr_serve_then_func(args, retcode=3)
128
 
 
129
 
    def assertInetServerShutsdownCleanly(self, process):
130
 
        """Shutdown the server process looking for errors."""
131
 
        # Shutdown the server: the server should shut down when it cannot read
132
 
        # from stdin anymore.
133
 
        process.stdin.close()
134
 
        # Hide stdin from the subprocess module, so it won't fail to close it.
135
 
        process.stdin = None
136
 
        result = self.finish_bzr_subprocess(process)
137
 
        self.assertEqual('', result[0])
138
 
        self.assertEqual('', result[1])
139
 
 
140
 
    def assertServerFinishesCleanly(self, process):
141
 
        """Shutdown the bzr serve instance process looking for errors."""
142
 
        # Shutdown the server
143
 
        result = self.finish_bzr_subprocess(process, retcode=3,
144
 
                                            send_signal=signal.SIGINT)
145
 
        self.assertEqual('', result[0])
146
 
        self.assertEqual('bzr: interrupted\n', result[1])
147
 
 
148
 
    def make_read_requests(self, branch):
149
 
        """Do some read only requests."""
150
 
        branch.lock_read()
151
 
        try:
152
 
            branch.repository.all_revision_ids()
153
 
            self.assertEqual(_mod_revision.NULL_REVISION,
154
 
                             _mod_revision.ensure_null(branch.last_revision()))
155
 
        finally:
156
 
            branch.unlock()
157
 
 
158
 
    def start_server_inet(self, extra_options=()):
159
 
        """Start a bzr server subprocess using the --inet option.
160
 
 
161
 
        :param extra_options: extra options to give the server.
162
 
        :return: a tuple with the bzr process handle for passing to
163
 
            finish_bzr_subprocess, a client for the server, and a transport.
164
 
        """
165
 
        # Serve from the current directory
166
 
        args = ['serve', '--inet']
167
 
        args.extend(extra_options)
168
 
        process = self.start_bzr_subprocess(args)
169
 
 
170
 
        # Connect to the server
171
 
        # We use this url because while this is no valid URL to connect to this
172
 
        # server instance, the transport needs a URL.
173
 
        url = 'bzr://localhost/'
174
 
        self.permit_url(url)
175
 
        client_medium = medium.SmartSimplePipesClientMedium(
176
 
            process.stdout, process.stdin, url)
177
 
        transport = remote.RemoteTransport(url, medium=client_medium)
178
 
        return process, transport
179
 
 
180
 
    def start_server_port(self, extra_options=()):
181
 
        """Start a bzr server subprocess.
182
 
 
183
 
        :param extra_options: extra options to give the server.
184
 
        :return: a tuple with the bzr process handle for passing to
185
 
            finish_bzr_subprocess, and the base url for the server.
186
 
        """
187
 
        # Serve from the current directory
188
 
        args = ['serve', '--port', 'localhost:0']
189
 
        args.extend(extra_options)
190
 
        process = self.start_bzr_subprocess(args, skip_if_plan_to_signal=True)
191
 
        port_line = process.stderr.readline()
192
 
        prefix = 'listening on port: '
193
 
        self.assertStartsWith(port_line, prefix)
194
 
        port = int(port_line[len(prefix):])
195
 
        url = 'bzr://localhost:%d/' % port
196
 
        self.permit_url(url)
197
 
        return process, url
198
 
 
199
 
    def test_bzr_serve_quiet(self):
200
 
        self.make_branch('.')
201
 
        args = ['--port', 'localhost:0', '--quiet']
202
 
        out, err = self.run_bzr_serve_then_func(args, retcode=3)
203
 
        self.assertEqual('', out)
204
 
        self.assertEqual('', err)
205
 
 
206
 
    def test_bzr_serve_inet_readonly(self):
207
 
        """bzr server should provide a read only filesystem by default."""
208
 
        process, transport = self.start_server_inet()
209
 
        self.assertRaises(errors.TransportNotPossible, transport.mkdir, 'adir')
210
 
        self.assertInetServerShutsdownCleanly(process)
211
 
 
212
 
    def test_bzr_serve_inet_readwrite(self):
213
 
        # Make a branch
214
 
        self.make_branch('.')
215
 
 
216
 
        process, transport = self.start_server_inet(['--allow-writes'])
217
 
 
218
 
        # We get a working branch, and can create a directory
219
 
        branch = BzrDir.open_from_transport(transport).open_branch()
220
 
        self.make_read_requests(branch)
221
 
        transport.mkdir('adir')
222
 
        self.assertInetServerShutsdownCleanly(process)
223
 
 
224
 
    def test_bzr_serve_port_readonly(self):
225
 
        """bzr server should provide a read only filesystem by default."""
226
 
        process, url = self.start_server_port()
227
 
        t = transport.get_transport_from_url(url)
228
 
        self.assertRaises(errors.TransportNotPossible, t.mkdir, 'adir')
229
 
        self.assertServerFinishesCleanly(process)
230
 
 
231
 
    def test_bzr_serve_port_readwrite(self):
232
 
        # Make a branch
233
 
        self.make_branch('.')
234
 
 
235
 
        process, url = self.start_server_port(['--allow-writes'])
236
 
 
237
 
        # Connect to the server
238
 
        branch = Branch.open(url)
239
 
        self.make_read_requests(branch)
240
 
        self.assertServerFinishesCleanly(process)
241
 
 
242
 
    def test_bzr_serve_supports_protocol(self):
243
 
        # Make a branch
244
 
        self.make_branch('.')
245
 
 
246
 
        process, url = self.start_server_port(['--allow-writes',
247
 
                                               '--protocol=bzr'])
248
 
 
249
 
        # Connect to the server
250
 
        branch = Branch.open(url)
251
 
        self.make_read_requests(branch)
252
 
        self.assertServerFinishesCleanly(process)
253
 
 
254
 
    def test_bzr_serve_dhpss(self):
255
 
        # This is a smoke test that the server doesn't crash when run with
256
 
        # -Dhpss, and does drop some hpss logging to the file.
257
 
        self.make_branch('.')
258
 
        log_fname = os.getcwd() + '/server.log'
259
 
        self.overrideEnv('BZR_LOG', log_fname)
260
 
        process, transport = self.start_server_inet(['-Dhpss'])
261
 
        branch = BzrDir.open_from_transport(transport).open_branch()
262
 
        self.make_read_requests(branch)
263
 
        self.assertInetServerShutsdownCleanly(process)
264
 
        f = open(log_fname, 'rb')
265
 
        content = f.read()
266
 
        f.close()
267
 
        self.assertContainsRe(content, r'hpss request: \[[0-9-]+\]')
268
 
 
269
 
 
270
 
class TestCmdServeChrooting(TestBzrServeBase):
271
 
 
272
 
    def test_serve_tcp(self):
273
 
        """'bzr serve' wraps the given --directory in a ChrootServer.
274
 
 
275
 
        So requests that search up through the parent directories (like
276
 
        find_repositoryV3) will give "not found" responses, rather than
277
 
        InvalidURLJoin or jail break errors.
278
 
        """
279
 
        t = self.get_transport()
280
 
        t.mkdir('server-root')
281
 
        self.run_bzr_serve_then_func(
282
 
            ['--port', '127.0.0.1:0',
283
 
             '--directory', t.local_abspath('server-root'),
284
 
             '--allow-writes'],
285
 
            func=self.when_server_started)
286
 
        # The when_server_started method issued a find_repositoryV3 that should
287
 
        # fail with 'norepository' because there are no repositories inside the
288
 
        # --directory.
289
 
        self.assertEqual(('norepository',), self.client_resp)
290
 
 
291
 
    def when_server_started(self):
292
 
        # Connect to the TCP server and issue some requests and see what comes
293
 
        # back.
294
 
        client_medium = medium.SmartTCPClientMedium(
295
 
            '127.0.0.1', self.tcp_server.port,
296
 
            'bzr://localhost:%d/' % (self.tcp_server.port,))
297
 
        smart_client = client._SmartClient(client_medium)
298
 
        resp = smart_client.call('mkdir', 'foo', '')
299
 
        resp = smart_client.call('BzrDirFormat.initialize', 'foo/')
300
 
        try:
301
 
            resp = smart_client.call('BzrDir.find_repositoryV3', 'foo/')
302
 
        except errors.ErrorFromSmartServer, e:
303
 
            resp = e.error_tuple
304
 
        self.client_resp = resp
305
 
        client_medium.disconnect()
306
 
 
307
 
 
308
 
class TestUserdirExpansion(TestCaseWithMemoryTransport):
309
 
 
310
 
    @staticmethod
311
 
    def fake_expanduser(path):
312
 
        """A simple, environment-independent, function for the duration of this
313
 
        test.
314
 
 
315
 
        Paths starting with a path segment of '~user' will expand to start with
316
 
        '/home/user/'.  Every other path will be unchanged.
317
 
        """
318
 
        if path.split('/', 1)[0] == '~user':
319
 
            return '/home/user' + path[len('~user'):]
320
 
        return path
321
 
 
322
 
    def make_test_server(self, base_path='/'):
323
 
        """Make and start a BzrServerFactory, backed by a memory transport, and
324
 
        creat '/home/user' in that transport.
325
 
        """
326
 
        bzr_server = BzrServerFactory(
327
 
            self.fake_expanduser, lambda t: base_path)
328
 
        mem_transport = self.get_transport()
329
 
        mem_transport.mkdir_multi(['home', 'home/user'])
330
 
        bzr_server.set_up(mem_transport, None, None, inet=True)
331
 
        self.addCleanup(bzr_server.tear_down)
332
 
        return bzr_server
333
 
 
334
 
    def test_bzr_serve_expands_userdir(self):
335
 
        bzr_server = self.make_test_server()
336
 
        self.assertTrue(bzr_server.smart_server.backing_transport.has('~user'))
337
 
 
338
 
    def test_bzr_serve_does_not_expand_userdir_outside_base(self):
339
 
        bzr_server = self.make_test_server('/foo')
340
 
        self.assertFalse(bzr_server.smart_server.backing_transport.has('~user'))
341
 
 
342
 
    def test_get_base_path(self):
343
 
        """cmd_serve will turn the --directory option into a LocalTransport
344
 
        (optionally decorated with 'readonly+').  BzrServerFactory can
345
 
        determine the original --directory from that transport.
346
 
        """
347
 
        # URLs always include the trailing slash, and get_base_path returns it
348
 
        base_dir = osutils.abspath('/a/b/c') + '/'
349
 
        base_url = urlutils.local_path_to_url(base_dir) + '/'
350
 
        # Define a fake 'protocol' to capture the transport that cmd_serve
351
 
        # passes to serve_bzr.
352
 
        def capture_transport(transport, host, port, inet):
353
 
            self.bzr_serve_transport = transport
354
 
        cmd = builtins.cmd_serve()
355
 
        # Read-only
356
 
        cmd.run(directory=base_dir, protocol=capture_transport)
357
 
        server_maker = BzrServerFactory()
358
 
        self.assertEqual(
359
 
            'readonly+%s' % base_url, self.bzr_serve_transport.base)
360
 
        self.assertEqual(
361
 
            base_dir, server_maker.get_base_path(self.bzr_serve_transport))
362
 
        # Read-write
363
 
        cmd.run(directory=base_dir, protocol=capture_transport,
364
 
            allow_writes=True)
365
 
        server_maker = BzrServerFactory()
366
 
        self.assertEqual(base_url, self.bzr_serve_transport.base)
367
 
        self.assertEqual(base_dir,
368
 
            server_maker.get_base_path(self.bzr_serve_transport))