~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/blackbox/test_serve.py

  • Committer: Patch Queue Manager
  • Date: 2011-09-22 14:12:18 UTC
  • mfrom: (6155.3.1 jam)
  • Revision ID: pqm@pqm.ubuntu.com-20110922141218-86s4uu6nqvourw4f
(jameinel) Cleanup comments bzrlib/smart/__init__.py (John A Meinel)

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2006-2011 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
 
 
18
"""Tests of the bzr serve command."""
 
19
 
 
20
import os
 
21
import signal
 
22
import sys
 
23
import thread
 
24
import threading
 
25
 
 
26
from bzrlib import (
 
27
    builtins,
 
28
    errors,
 
29
    osutils,
 
30
    revision as _mod_revision,
 
31
    trace,
 
32
    transport,
 
33
    urlutils,
 
34
    )
 
35
from bzrlib.branch import Branch
 
36
from bzrlib.bzrdir import BzrDir
 
37
from bzrlib.smart import client, medium
 
38
from bzrlib.smart.server import (
 
39
    BzrServerFactory,
 
40
    SmartTCPServer,
 
41
    )
 
42
from bzrlib.tests import (
 
43
    TestCaseWithMemoryTransport,
 
44
    TestCaseWithTransport,
 
45
    )
 
46
from bzrlib.transport import remote
 
47
 
 
48
 
 
49
class TestBzrServeBase(TestCaseWithTransport):
 
50
 
 
51
    def run_bzr_serve_then_func(self, serve_args, retcode=0, func=None,
 
52
                                *func_args, **func_kwargs):
 
53
        """Run 'bzr serve', and run the given func in a thread once the server
 
54
        has started.
 
55
 
 
56
        When 'func' terminates, the server will be terminated too.
 
57
 
 
58
        Returns stdout and stderr.
 
59
        """
 
60
        def on_server_start_thread(tcp_server):
 
61
            """This runs concurrently with the server thread.
 
62
 
 
63
            The server is interrupted as soon as ``func`` finishes, even if an
 
64
            exception is encountered.
 
65
            """
 
66
            try:
 
67
                # Run func if set
 
68
                self.tcp_server = tcp_server
 
69
                if not func is None:
 
70
                    try:
 
71
                        func(*func_args, **func_kwargs)
 
72
                    except Exception, e:
 
73
                        # Log errors to make some test failures a little less
 
74
                        # mysterious.
 
75
                        trace.mutter('func broke: %r', e)
 
76
            finally:
 
77
                # Then stop the server
 
78
                trace.mutter('interrupting...')
 
79
                thread.interrupt_main()
 
80
        # When the hook is fired, it just starts ``on_server_start_thread`` and
 
81
        # return
 
82
        def on_server_start(backing_urls, tcp_server):
 
83
            t = threading.Thread(
 
84
                target=on_server_start_thread, args=(tcp_server,))
 
85
            t.start()
 
86
        # install hook
 
87
        SmartTCPServer.hooks.install_named_hook(
 
88
            'server_started_ex', on_server_start,
 
89
            'run_bzr_serve_then_func hook')
 
90
        # start a TCP server
 
91
        try:
 
92
            out, err = self.run_bzr(['serve'] + list(serve_args),
 
93
                                    retcode=retcode)
 
94
        except KeyboardInterrupt, e:
 
95
            out, err = e.args
 
96
        return out, err
 
97
 
 
98
 
 
99
class TestBzrServe(TestBzrServeBase):
 
100
 
 
101
    def setUp(self):
 
102
        super(TestBzrServe, self).setUp()
 
103
        self.disable_missing_extensions_warning()
 
104
 
 
105
    def test_server_exception_with_hook(self):
 
106
        """Catch exception from the server in the server_exception hook.
 
107
 
 
108
        We use ``run_bzr_serve_then_func`` without a ``func`` so the server
 
109
        will receive a KeyboardInterrupt exception we want to catch.
 
110
        """
 
111
        def hook(exception):
 
112
            if exception[0] is KeyboardInterrupt:
 
113
                sys.stderr.write('catching KeyboardInterrupt\n')
 
114
                return True
 
115
            else:
 
116
                return False
 
117
        SmartTCPServer.hooks.install_named_hook(
 
118
            'server_exception', hook,
 
119
            'test_server_except_hook hook')
 
120
        args = ['--port', 'localhost:0', '--quiet']
 
121
        out, err = self.run_bzr_serve_then_func(args, retcode=0)
 
122
        self.assertEqual('catching KeyboardInterrupt\n', err)
 
123
 
 
124
    def test_server_exception_no_hook(self):
 
125
        """test exception without hook returns error"""
 
126
        args = []
 
127
        out, err = self.run_bzr_serve_then_func(args, retcode=3)
 
128
 
 
129
    def assertInetServerShutsdownCleanly(self, process):
 
130
        """Shutdown the server process looking for errors."""
 
131
        # Shutdown the server: the server should shut down when it cannot read
 
132
        # from stdin anymore.
 
133
        process.stdin.close()
 
134
        # Hide stdin from the subprocess module, so it won't fail to close it.
 
135
        process.stdin = None
 
136
        result = self.finish_bzr_subprocess(process)
 
137
        self.assertEqual('', result[0])
 
138
        self.assertEqual('', result[1])
 
139
 
 
140
    def assertServerFinishesCleanly(self, process):
 
141
        """Shutdown the bzr serve instance process looking for errors."""
 
142
        # Shutdown the server
 
143
        result = self.finish_bzr_subprocess(process, retcode=3,
 
144
                                            send_signal=signal.SIGINT)
 
145
        self.assertEqual('', result[0])
 
146
        self.assertEqual('bzr: interrupted\n', result[1])
 
147
 
 
148
    def make_read_requests(self, branch):
 
149
        """Do some read only requests."""
 
150
        branch.lock_read()
 
151
        try:
 
152
            branch.repository.all_revision_ids()
 
153
            self.assertEqual(_mod_revision.NULL_REVISION,
 
154
                             _mod_revision.ensure_null(branch.last_revision()))
 
155
        finally:
 
156
            branch.unlock()
 
157
 
 
158
    def start_server_inet(self, extra_options=()):
 
159
        """Start a bzr server subprocess using the --inet option.
 
160
 
 
161
        :param extra_options: extra options to give the server.
 
162
        :return: a tuple with the bzr process handle for passing to
 
163
            finish_bzr_subprocess, a client for the server, and a transport.
 
164
        """
 
165
        # Serve from the current directory
 
166
        args = ['serve', '--inet']
 
167
        args.extend(extra_options)
 
168
        process = self.start_bzr_subprocess(args)
 
169
 
 
170
        # Connect to the server
 
171
        # We use this url because while this is no valid URL to connect to this
 
172
        # server instance, the transport needs a URL.
 
173
        url = 'bzr://localhost/'
 
174
        self.permit_url(url)
 
175
        client_medium = medium.SmartSimplePipesClientMedium(
 
176
            process.stdout, process.stdin, url)
 
177
        transport = remote.RemoteTransport(url, medium=client_medium)
 
178
        return process, transport
 
179
 
 
180
    def start_server_port(self, extra_options=()):
 
181
        """Start a bzr server subprocess.
 
182
 
 
183
        :param extra_options: extra options to give the server.
 
184
        :return: a tuple with the bzr process handle for passing to
 
185
            finish_bzr_subprocess, and the base url for the server.
 
186
        """
 
187
        # Serve from the current directory
 
188
        args = ['serve', '--port', 'localhost:0']
 
189
        args.extend(extra_options)
 
190
        process = self.start_bzr_subprocess(args, skip_if_plan_to_signal=True)
 
191
        port_line = process.stderr.readline()
 
192
        prefix = 'listening on port: '
 
193
        self.assertStartsWith(port_line, prefix)
 
194
        port = int(port_line[len(prefix):])
 
195
        url = 'bzr://localhost:%d/' % port
 
196
        self.permit_url(url)
 
197
        return process, url
 
198
 
 
199
    def test_bzr_serve_quiet(self):
 
200
        self.make_branch('.')
 
201
        args = ['--port', 'localhost:0', '--quiet']
 
202
        out, err = self.run_bzr_serve_then_func(args, retcode=3)
 
203
        self.assertEqual('', out)
 
204
        self.assertEqual('', err)
 
205
 
 
206
    def test_bzr_serve_inet_readonly(self):
 
207
        """bzr server should provide a read only filesystem by default."""
 
208
        process, transport = self.start_server_inet()
 
209
        self.assertRaises(errors.TransportNotPossible, transport.mkdir, 'adir')
 
210
        self.assertInetServerShutsdownCleanly(process)
 
211
 
 
212
    def test_bzr_serve_inet_readwrite(self):
 
213
        # Make a branch
 
214
        self.make_branch('.')
 
215
 
 
216
        process, transport = self.start_server_inet(['--allow-writes'])
 
217
 
 
218
        # We get a working branch, and can create a directory
 
219
        branch = BzrDir.open_from_transport(transport).open_branch()
 
220
        self.make_read_requests(branch)
 
221
        transport.mkdir('adir')
 
222
        self.assertInetServerShutsdownCleanly(process)
 
223
 
 
224
    def test_bzr_serve_port_readonly(self):
 
225
        """bzr server should provide a read only filesystem by default."""
 
226
        process, url = self.start_server_port()
 
227
        t = transport.get_transport_from_url(url)
 
228
        self.assertRaises(errors.TransportNotPossible, t.mkdir, 'adir')
 
229
        self.assertServerFinishesCleanly(process)
 
230
 
 
231
    def test_bzr_serve_port_readwrite(self):
 
232
        # Make a branch
 
233
        self.make_branch('.')
 
234
 
 
235
        process, url = self.start_server_port(['--allow-writes'])
 
236
 
 
237
        # Connect to the server
 
238
        branch = Branch.open(url)
 
239
        self.make_read_requests(branch)
 
240
        self.assertServerFinishesCleanly(process)
 
241
 
 
242
    def test_bzr_serve_supports_protocol(self):
 
243
        # Make a branch
 
244
        self.make_branch('.')
 
245
 
 
246
        process, url = self.start_server_port(['--allow-writes',
 
247
                                               '--protocol=bzr'])
 
248
 
 
249
        # Connect to the server
 
250
        branch = Branch.open(url)
 
251
        self.make_read_requests(branch)
 
252
        self.assertServerFinishesCleanly(process)
 
253
 
 
254
    def test_bzr_serve_dhpss(self):
 
255
        # This is a smoke test that the server doesn't crash when run with
 
256
        # -Dhpss, and does drop some hpss logging to the file.
 
257
        self.make_branch('.')
 
258
        log_fname = os.getcwd() + '/server.log'
 
259
        self.overrideEnv('BZR_LOG', log_fname)
 
260
        process, transport = self.start_server_inet(['-Dhpss'])
 
261
        branch = BzrDir.open_from_transport(transport).open_branch()
 
262
        self.make_read_requests(branch)
 
263
        self.assertInetServerShutsdownCleanly(process)
 
264
        f = open(log_fname, 'rb')
 
265
        content = f.read()
 
266
        f.close()
 
267
        self.assertContainsRe(content, r'hpss request: \[[0-9-]+\]')
 
268
 
 
269
 
 
270
class TestCmdServeChrooting(TestBzrServeBase):
 
271
 
 
272
    def test_serve_tcp(self):
 
273
        """'bzr serve' wraps the given --directory in a ChrootServer.
 
274
 
 
275
        So requests that search up through the parent directories (like
 
276
        find_repositoryV3) will give "not found" responses, rather than
 
277
        InvalidURLJoin or jail break errors.
 
278
        """
 
279
        t = self.get_transport()
 
280
        t.mkdir('server-root')
 
281
        self.run_bzr_serve_then_func(
 
282
            ['--port', '127.0.0.1:0',
 
283
             '--directory', t.local_abspath('server-root'),
 
284
             '--allow-writes'],
 
285
            func=self.when_server_started)
 
286
        # The when_server_started method issued a find_repositoryV3 that should
 
287
        # fail with 'norepository' because there are no repositories inside the
 
288
        # --directory.
 
289
        self.assertEqual(('norepository',), self.client_resp)
 
290
 
 
291
    def when_server_started(self):
 
292
        # Connect to the TCP server and issue some requests and see what comes
 
293
        # back.
 
294
        client_medium = medium.SmartTCPClientMedium(
 
295
            '127.0.0.1', self.tcp_server.port,
 
296
            'bzr://localhost:%d/' % (self.tcp_server.port,))
 
297
        smart_client = client._SmartClient(client_medium)
 
298
        resp = smart_client.call('mkdir', 'foo', '')
 
299
        resp = smart_client.call('BzrDirFormat.initialize', 'foo/')
 
300
        try:
 
301
            resp = smart_client.call('BzrDir.find_repositoryV3', 'foo/')
 
302
        except errors.ErrorFromSmartServer, e:
 
303
            resp = e.error_tuple
 
304
        self.client_resp = resp
 
305
        client_medium.disconnect()
 
306
 
 
307
 
 
308
class TestUserdirExpansion(TestCaseWithMemoryTransport):
 
309
 
 
310
    @staticmethod
 
311
    def fake_expanduser(path):
 
312
        """A simple, environment-independent, function for the duration of this
 
313
        test.
 
314
 
 
315
        Paths starting with a path segment of '~user' will expand to start with
 
316
        '/home/user/'.  Every other path will be unchanged.
 
317
        """
 
318
        if path.split('/', 1)[0] == '~user':
 
319
            return '/home/user' + path[len('~user'):]
 
320
        return path
 
321
 
 
322
    def make_test_server(self, base_path='/'):
 
323
        """Make and start a BzrServerFactory, backed by a memory transport, and
 
324
        creat '/home/user' in that transport.
 
325
        """
 
326
        bzr_server = BzrServerFactory(
 
327
            self.fake_expanduser, lambda t: base_path)
 
328
        mem_transport = self.get_transport()
 
329
        mem_transport.mkdir_multi(['home', 'home/user'])
 
330
        bzr_server.set_up(mem_transport, None, None, inet=True)
 
331
        self.addCleanup(bzr_server.tear_down)
 
332
        return bzr_server
 
333
 
 
334
    def test_bzr_serve_expands_userdir(self):
 
335
        bzr_server = self.make_test_server()
 
336
        self.assertTrue(bzr_server.smart_server.backing_transport.has('~user'))
 
337
 
 
338
    def test_bzr_serve_does_not_expand_userdir_outside_base(self):
 
339
        bzr_server = self.make_test_server('/foo')
 
340
        self.assertFalse(bzr_server.smart_server.backing_transport.has('~user'))
 
341
 
 
342
    def test_get_base_path(self):
 
343
        """cmd_serve will turn the --directory option into a LocalTransport
 
344
        (optionally decorated with 'readonly+').  BzrServerFactory can
 
345
        determine the original --directory from that transport.
 
346
        """
 
347
        # URLs always include the trailing slash, and get_base_path returns it
 
348
        base_dir = osutils.abspath('/a/b/c') + '/'
 
349
        base_url = urlutils.local_path_to_url(base_dir) + '/'
 
350
        # Define a fake 'protocol' to capture the transport that cmd_serve
 
351
        # passes to serve_bzr.
 
352
        def capture_transport(transport, host, port, inet):
 
353
            self.bzr_serve_transport = transport
 
354
        cmd = builtins.cmd_serve()
 
355
        # Read-only
 
356
        cmd.run(directory=base_dir, protocol=capture_transport)
 
357
        server_maker = BzrServerFactory()
 
358
        self.assertEqual(
 
359
            'readonly+%s' % base_url, self.bzr_serve_transport.base)
 
360
        self.assertEqual(
 
361
            base_dir, server_maker.get_base_path(self.bzr_serve_transport))
 
362
        # Read-write
 
363
        cmd.run(directory=base_dir, protocol=capture_transport,
 
364
            allow_writes=True)
 
365
        server_maker = BzrServerFactory()
 
366
        self.assertEqual(base_url, self.bzr_serve_transport.base)
 
367
        self.assertEqual(base_dir,
 
368
            server_maker.get_base_path(self.bzr_serve_transport))