~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_transport.py

  • Committer: Martin Pool
  • Date: 2011-06-28 22:25:28 UTC
  • mto: This revision was merged to the branch mainline in revision 6004.
  • Revision ID: mbp@canonical.com-20110628222528-gwf27vdagmxatljc
More explicit laziness

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2004, 2005 by Canonical Ltd
2
 
 
 
1
# Copyright (C) 2005-2011 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
 
18
 
import os
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
 
19
18
from cStringIO import StringIO
20
 
 
21
 
from bzrlib.errors import NoSuchFile, FileExists, TransportNotPossible
22
 
from bzrlib.selftest import TestCase, TestCaseInTempDir
23
 
from bzrlib.selftest.HTTPTestUtil import TestCaseWithWebserver
24
 
from bzrlib.transport import memory, urlescape
25
 
 
26
 
 
27
 
def _append(fn, txt):
28
 
    """Append the given text (file-like object) to the supplied filename."""
29
 
    f = open(fn, 'ab')
30
 
    f.write(txt)
31
 
    f.flush()
32
 
    f.close()
33
 
    del f
34
 
 
35
 
class TestTransport(TestCase):
 
19
import subprocess
 
20
import sys
 
21
import threading
 
22
 
 
23
from bzrlib import (
 
24
    errors,
 
25
    osutils,
 
26
    tests,
 
27
    transport,
 
28
    urlutils,
 
29
    )
 
30
from bzrlib.transport import (
 
31
    chroot,
 
32
    fakenfs,
 
33
    http,
 
34
    local,
 
35
    memory,
 
36
    pathfilter,
 
37
    readonly,
 
38
    )
 
39
from bzrlib.tests import (
 
40
    features,
 
41
    test_server,
 
42
    )
 
43
 
 
44
 
 
45
# TODO: Should possibly split transport-specific tests into their own files.
 
46
 
 
47
 
 
48
class TestTransport(tests.TestCase):
36
49
    """Test the non transport-concrete class functionality."""
37
50
 
38
 
    def test_urlescape(self):
39
 
        self.assertEqual('%25', urlescape('%'))
40
 
 
41
 
 
42
 
class TestTransportMixIn(object):
43
 
    """Subclass this, and it will provide a series of tests for a Transport.
44
 
    It assumes that the Transport object is connected to the 
45
 
    current working directory.  So that whatever is done 
46
 
    through the transport, should show up in the working 
47
 
    directory, and vice-versa.
48
 
 
49
 
    This also tests to make sure that the functions work with both
50
 
    generators and lists (assuming iter(list) is effectively a generator)
51
 
    """
52
 
    readonly = False
53
 
    def get_transport(self):
54
 
        """Children should override this to return the Transport object.
55
 
        """
56
 
        raise NotImplementedError
57
 
 
58
 
    def test_has(self):
59
 
        t = self.get_transport()
60
 
 
61
 
        files = ['a', 'b', 'e', 'g', '%']
62
 
        self.build_tree(files)
63
 
        self.assertEqual(t.has('a'), True)
64
 
        self.assertEqual(t.has('c'), False)
65
 
        self.assertEqual(t.has(urlescape('%')), True)
66
 
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])),
67
 
                [True, True, False, False, True, False, True, False])
68
 
        self.assertEqual(list(t.has_multi(iter(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']))),
69
 
                [True, True, False, False, True, False, True, False])
70
 
 
71
 
    def test_get(self):
72
 
        t = self.get_transport()
73
 
 
74
 
        files = ['a', 'b', 'e', 'g']
75
 
        self.build_tree(files)
76
 
        self.assertEqual(t.get('a').read(), open('a').read())
77
 
        content_f = t.get_multi(files)
78
 
        for path,f in zip(files, content_f):
79
 
            self.assertEqual(open(path).read(), f.read())
80
 
 
81
 
        content_f = t.get_multi(iter(files))
82
 
        for path,f in zip(files, content_f):
83
 
            self.assertEqual(open(path).read(), f.read())
84
 
 
85
 
        self.assertRaises(NoSuchFile, t.get, 'c')
86
 
        try:
87
 
            files = list(t.get_multi(['a', 'b', 'c']))
88
 
        except NoSuchFile:
89
 
            pass
90
 
        else:
91
 
            self.fail('Failed to raise NoSuchFile for missing file in get_multi')
92
 
        try:
93
 
            files = list(t.get_multi(iter(['a', 'b', 'c', 'e'])))
94
 
        except NoSuchFile:
95
 
            pass
96
 
        else:
97
 
            self.fail('Failed to raise NoSuchFile for missing file in get_multi')
98
 
 
99
 
    def test_put(self):
100
 
        t = self.get_transport()
101
 
 
102
 
        if self.readonly:
103
 
            self.assertRaises(TransportNotPossible,
104
 
                    t.put, 'a', 'some text for a\n')
105
 
            open('a', 'wb').write('some text for a\n')
106
 
        else:
107
 
            t.put('a', 'some text for a\n')
108
 
        self.assert_(os.path.exists('a'))
109
 
        self.check_file_contents('a', 'some text for a\n')
110
 
        self.assertEqual(t.get('a').read(), 'some text for a\n')
111
 
        # Make sure 'has' is updated
112
 
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e'])),
113
 
                [True, False, False, False, False])
114
 
        if self.readonly:
115
 
            self.assertRaises(TransportNotPossible,
116
 
                    t.put_multi,
117
 
                    [('a', 'new\ncontents for\na\n'),
118
 
                        ('d', 'contents\nfor d\n')])
119
 
            open('a', 'wb').write('new\ncontents for\na\n')
120
 
            open('d', 'wb').write('contents\nfor d\n')
121
 
        else:
122
 
            # Put also replaces contents
123
 
            self.assertEqual(t.put_multi([('a', 'new\ncontents for\na\n'),
124
 
                                          ('d', 'contents\nfor d\n')]),
125
 
                             2)
126
 
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e'])),
127
 
                [True, False, False, True, False])
128
 
        self.check_file_contents('a', 'new\ncontents for\na\n')
129
 
        self.check_file_contents('d', 'contents\nfor d\n')
130
 
 
131
 
        if self.readonly:
132
 
            self.assertRaises(TransportNotPossible,
133
 
                t.put_multi, iter([('a', 'diff\ncontents for\na\n'),
134
 
                                  ('d', 'another contents\nfor d\n')]))
135
 
            open('a', 'wb').write('diff\ncontents for\na\n')
136
 
            open('d', 'wb').write('another contents\nfor d\n')
137
 
        else:
138
 
            self.assertEqual(
139
 
                t.put_multi(iter([('a', 'diff\ncontents for\na\n'),
140
 
                                  ('d', 'another contents\nfor d\n')]))
141
 
                             , 2)
142
 
        self.check_file_contents('a', 'diff\ncontents for\na\n')
143
 
        self.check_file_contents('d', 'another contents\nfor d\n')
144
 
 
145
 
        if self.readonly:
146
 
            self.assertRaises(TransportNotPossible,
147
 
                    t.put, 'path/doesnt/exist/c', 'contents')
148
 
        else:
149
 
            self.assertRaises(NoSuchFile,
150
 
                    t.put, 'path/doesnt/exist/c', 'contents')
151
 
 
152
 
    def test_put_file(self):
153
 
        t = self.get_transport()
154
 
 
155
 
        # Test that StringIO can be used as a file-like object with put
156
 
        f1 = StringIO('this is a string\nand some more stuff\n')
157
 
        if self.readonly:
158
 
            open('f1', 'wb').write(f1.read())
159
 
        else:
160
 
            t.put('f1', f1)
161
 
 
162
 
        del f1
163
 
 
164
 
        self.check_file_contents('f1', 
165
 
                'this is a string\nand some more stuff\n')
166
 
 
167
 
        f2 = StringIO('here is some text\nand a bit more\n')
168
 
        f3 = StringIO('some text for the\nthird file created\n')
169
 
 
170
 
        if self.readonly:
171
 
            open('f2', 'wb').write(f2.read())
172
 
            open('f3', 'wb').write(f3.read())
173
 
        else:
174
 
            t.put_multi([('f2', f2), ('f3', f3)])
175
 
 
176
 
        del f2, f3
177
 
 
178
 
        self.check_file_contents('f2', 'here is some text\nand a bit more\n')
179
 
        self.check_file_contents('f3', 'some text for the\nthird file created\n')
180
 
 
181
 
        # Test that an actual file object can be used with put
182
 
        f4 = open('f1', 'rb')
183
 
        if self.readonly:
184
 
            open('f4', 'wb').write(f4.read())
185
 
        else:
186
 
            t.put('f4', f4)
187
 
 
188
 
        del f4
189
 
 
190
 
        self.check_file_contents('f4', 
191
 
                'this is a string\nand some more stuff\n')
192
 
 
193
 
        f5 = open('f2', 'rb')
194
 
        f6 = open('f3', 'rb')
195
 
        if self.readonly:
196
 
            open('f5', 'wb').write(f5.read())
197
 
            open('f6', 'wb').write(f6.read())
198
 
        else:
199
 
            t.put_multi([('f5', f5), ('f6', f6)])
200
 
 
201
 
        del f5, f6
202
 
 
203
 
        self.check_file_contents('f5', 'here is some text\nand a bit more\n')
204
 
        self.check_file_contents('f6', 'some text for the\nthird file created\n')
205
 
 
206
 
 
207
 
 
208
 
    def test_mkdir(self):
209
 
        t = self.get_transport()
210
 
 
211
 
        # Test mkdir
212
 
        os.mkdir('dir_a')
213
 
        self.assertEqual(t.has('dir_a'), True)
214
 
        self.assertEqual(t.has('dir_b'), False)
215
 
 
216
 
        if self.readonly:
217
 
            self.assertRaises(TransportNotPossible,
218
 
                    t.mkdir, 'dir_b')
219
 
            os.mkdir('dir_b')
220
 
        else:
221
 
            t.mkdir('dir_b')
222
 
        self.assertEqual(t.has('dir_b'), True)
223
 
        self.assert_(os.path.isdir('dir_b'))
224
 
 
225
 
        if self.readonly:
226
 
            self.assertRaises(TransportNotPossible,
227
 
                    t.mkdir_multi, ['dir_c', 'dir_d'])
228
 
            os.mkdir('dir_c')
229
 
            os.mkdir('dir_d')
230
 
        else:
231
 
            t.mkdir_multi(['dir_c', 'dir_d'])
232
 
 
233
 
        if self.readonly:
234
 
            self.assertRaises(TransportNotPossible,
235
 
                    t.mkdir_multi, iter(['dir_e', 'dir_f']))
236
 
            os.mkdir('dir_e')
237
 
            os.mkdir('dir_f')
238
 
        else:
239
 
            t.mkdir_multi(iter(['dir_e', 'dir_f']))
240
 
        self.assertEqual(list(t.has_multi(
241
 
            ['dir_a', 'dir_b', 'dir_c', 'dir_q',
242
 
             'dir_d', 'dir_e', 'dir_f', 'dir_b'])),
243
 
            [True, True, True, False,
244
 
             True, True, True, True])
245
 
        for d in ['dir_a', 'dir_b', 'dir_c', 'dir_d', 'dir_e', 'dir_f']:
246
 
            self.assert_(os.path.isdir(d))
247
 
 
248
 
        if not self.readonly:
249
 
            self.assertRaises(NoSuchFile, t.mkdir, 'path/doesnt/exist')
250
 
            self.assertRaises(FileExists, t.mkdir, 'dir_a') # Creating a directory again should fail
251
 
 
252
 
        # Make sure the transport recognizes when a
253
 
        # directory is created by other means
254
 
        # Caching Transports will fail, because dir_e was already seen not
255
 
        # to exist. So instead, we will search for a new directory
256
 
        #os.mkdir('dir_e')
257
 
        #if not self.readonly:
258
 
        #    self.assertRaises(FileExists, t.mkdir, 'dir_e')
259
 
 
260
 
        os.mkdir('dir_g')
261
 
        if not self.readonly:
262
 
            self.assertRaises(FileExists, t.mkdir, 'dir_g')
263
 
 
264
 
        # Test get/put in sub-directories
265
 
        if self.readonly:
266
 
            open('dir_a/a', 'wb').write('contents of dir_a/a')
267
 
            open('dir_b/b', 'wb').write('contents of dir_b/b')
268
 
        else:
269
 
            self.assertEqual(
270
 
                t.put_multi([('dir_a/a', 'contents of dir_a/a'),
271
 
                             ('dir_b/b', 'contents of dir_b/b')])
272
 
                          , 2)
273
 
        for f in ('dir_a/a', 'dir_b/b'):
274
 
            self.assertEqual(t.get(f).read(), open(f).read())
275
 
 
276
 
    def test_copy_to(self):
277
 
        import tempfile
278
 
        from bzrlib.transport.local import LocalTransport
279
 
 
280
 
        t = self.get_transport()
281
 
 
282
 
        files = ['a', 'b', 'c', 'd']
283
 
        self.build_tree(files)
284
 
 
285
 
        dtmp = tempfile.mkdtemp(dir='.', prefix='test-transport-')
286
 
        dtmp_base = os.path.basename(dtmp)
287
 
        local_t = LocalTransport(dtmp)
288
 
 
289
 
        t.copy_to(files, local_t)
290
 
        for f in files:
291
 
            self.assertEquals(open(f).read(),
292
 
                    open(os.path.join(dtmp_base, f)).read())
293
 
 
294
 
        del dtmp, dtmp_base, local_t
295
 
 
296
 
        dtmp = tempfile.mkdtemp(dir='.', prefix='test-transport-')
297
 
        dtmp_base = os.path.basename(dtmp)
298
 
        local_t = LocalTransport(dtmp)
299
 
 
300
 
        files = ['a', 'b', 'c', 'd']
301
 
        t.copy_to(iter(files), local_t)
302
 
        for f in files:
303
 
            self.assertEquals(open(f).read(),
304
 
                    open(os.path.join(dtmp_base, f)).read())
305
 
 
306
 
        del dtmp, dtmp_base, local_t
307
 
 
308
 
    def test_append(self):
309
 
        t = self.get_transport()
310
 
 
311
 
        if self.readonly:
312
 
            open('a', 'wb').write('diff\ncontents for\na\n')
313
 
            open('b', 'wb').write('contents\nfor b\n')
314
 
        else:
315
 
            t.put_multi([
316
 
                    ('a', 'diff\ncontents for\na\n'),
317
 
                    ('b', 'contents\nfor b\n')
318
 
                    ])
319
 
 
320
 
        if self.readonly:
321
 
            self.assertRaises(TransportNotPossible,
322
 
                    t.append, 'a', 'add\nsome\nmore\ncontents\n')
323
 
            _append('a', 'add\nsome\nmore\ncontents\n')
324
 
        else:
325
 
            t.append('a', 'add\nsome\nmore\ncontents\n')
326
 
 
327
 
        self.check_file_contents('a', 
328
 
            'diff\ncontents for\na\nadd\nsome\nmore\ncontents\n')
329
 
 
330
 
        if self.readonly:
331
 
            self.assertRaises(TransportNotPossible,
332
 
                    t.append_multi,
333
 
                        [('a', 'and\nthen\nsome\nmore\n'),
334
 
                         ('b', 'some\nmore\nfor\nb\n')])
335
 
            _append('a', 'and\nthen\nsome\nmore\n')
336
 
            _append('b', 'some\nmore\nfor\nb\n')
337
 
        else:
338
 
            t.append_multi([('a', 'and\nthen\nsome\nmore\n'),
339
 
                    ('b', 'some\nmore\nfor\nb\n')])
340
 
        self.check_file_contents('a', 
341
 
            'diff\ncontents for\na\n'
342
 
            'add\nsome\nmore\ncontents\n'
343
 
            'and\nthen\nsome\nmore\n')
344
 
        self.check_file_contents('b', 
345
 
                'contents\nfor b\n'
346
 
                'some\nmore\nfor\nb\n')
347
 
 
348
 
        if self.readonly:
349
 
            _append('a', 'a little bit more\n')
350
 
            _append('b', 'from an iterator\n')
351
 
        else:
352
 
            t.append_multi(iter([('a', 'a little bit more\n'),
353
 
                    ('b', 'from an iterator\n')]))
354
 
        self.check_file_contents('a', 
355
 
            'diff\ncontents for\na\n'
356
 
            'add\nsome\nmore\ncontents\n'
357
 
            'and\nthen\nsome\nmore\n'
358
 
            'a little bit more\n')
359
 
        self.check_file_contents('b', 
360
 
                'contents\nfor b\n'
361
 
                'some\nmore\nfor\nb\n'
362
 
                'from an iterator\n')
363
 
 
364
 
    def test_append_file(self):
365
 
        t = self.get_transport()
366
 
 
367
 
        contents = [
368
 
            ('f1', 'this is a string\nand some more stuff\n'),
369
 
            ('f2', 'here is some text\nand a bit more\n'),
370
 
            ('f3', 'some text for the\nthird file created\n'),
371
 
            ('f4', 'this is a string\nand some more stuff\n'),
372
 
            ('f5', 'here is some text\nand a bit more\n'),
373
 
            ('f6', 'some text for the\nthird file created\n')
374
 
        ]
375
 
        
376
 
        if self.readonly:
377
 
            for f, val in contents:
378
 
                open(f, 'wb').write(val)
379
 
        else:
380
 
            t.put_multi(contents)
381
 
 
382
 
        a1 = StringIO('appending to\none\n')
383
 
        if self.readonly:
384
 
            _append('f1', a1.read())
385
 
        else:
386
 
            t.append('f1', a1)
387
 
 
388
 
        del a1
389
 
 
390
 
        self.check_file_contents('f1', 
391
 
                'this is a string\nand some more stuff\n'
392
 
                'appending to\none\n')
393
 
 
394
 
        a2 = StringIO('adding more\ntext to two\n')
395
 
        a3 = StringIO('some garbage\nto put in three\n')
396
 
 
397
 
        if self.readonly:
398
 
            _append('f2', a2.read())
399
 
            _append('f3', a3.read())
400
 
        else:
401
 
            t.append_multi([('f2', a2), ('f3', a3)])
402
 
 
403
 
        del a2, a3
404
 
 
405
 
        self.check_file_contents('f2',
406
 
                'here is some text\nand a bit more\n'
407
 
                'adding more\ntext to two\n')
408
 
        self.check_file_contents('f3', 
409
 
                'some text for the\nthird file created\n'
410
 
                'some garbage\nto put in three\n')
411
 
 
412
 
        # Test that an actual file object can be used with put
413
 
        a4 = open('f1', 'rb')
414
 
        if self.readonly:
415
 
            _append('f4', a4.read())
416
 
        else:
417
 
            t.append('f4', a4)
418
 
 
419
 
        del a4
420
 
 
421
 
        self.check_file_contents('f4', 
422
 
                'this is a string\nand some more stuff\n'
423
 
                'this is a string\nand some more stuff\n'
424
 
                'appending to\none\n')
425
 
 
426
 
        a5 = open('f2', 'rb')
427
 
        a6 = open('f3', 'rb')
428
 
        if self.readonly:
429
 
            _append('f5', a5.read())
430
 
            _append('f6', a6.read())
431
 
        else:
432
 
            t.append_multi([('f5', a5), ('f6', a6)])
433
 
 
434
 
        del a5, a6
435
 
 
436
 
        self.check_file_contents('f5',
437
 
                'here is some text\nand a bit more\n'
438
 
                'here is some text\nand a bit more\n'
439
 
                'adding more\ntext to two\n')
440
 
        self.check_file_contents('f6',
441
 
                'some text for the\nthird file created\n'
442
 
                'some text for the\nthird file created\n'
443
 
                'some garbage\nto put in three\n')
444
 
 
445
 
    def test_delete(self):
446
 
        # TODO: Test Transport.delete
447
 
        pass
448
 
 
449
 
    def test_move(self):
450
 
        # TODO: Test Transport.move
451
 
        pass
452
 
 
453
 
 
454
 
class LocalTransportTest(TestCaseInTempDir, TestTransportMixIn):
455
 
    def get_transport(self):
456
 
        from bzrlib.transport.local import LocalTransport
457
 
        return LocalTransport('.')
458
 
 
459
 
 
460
 
class HttpTransportTest(TestCaseWithWebserver, TestTransportMixIn):
461
 
 
462
 
    readonly = True
463
 
 
464
 
    def get_transport(self):
465
 
        from bzrlib.transport.http import HttpTransport
466
 
        url = self.get_remote_url('.')
467
 
        return HttpTransport(url)
468
 
 
469
 
 
470
 
class TestMemoryTransport(TestCase):
 
51
    # FIXME: These tests should use addCleanup() and/or overrideAttr() instead
 
52
    # of try/finally -- vila 20100205
 
53
 
 
54
    def test__get_set_protocol_handlers(self):
 
55
        handlers = transport._get_protocol_handlers()
 
56
        self.assertNotEqual([], handlers.keys( ))
 
57
        try:
 
58
            transport._clear_protocol_handlers()
 
59
            self.assertEqual([], transport._get_protocol_handlers().keys())
 
60
        finally:
 
61
            transport._set_protocol_handlers(handlers)
 
62
 
 
63
    def test_get_transport_modules(self):
 
64
        handlers = transport._get_protocol_handlers()
 
65
        # don't pollute the current handlers
 
66
        transport._clear_protocol_handlers()
 
67
        class SampleHandler(object):
 
68
            """I exist, isnt that enough?"""
 
69
        try:
 
70
            transport._clear_protocol_handlers()
 
71
            transport.register_transport_proto('foo')
 
72
            transport.register_lazy_transport('foo',
 
73
                                              'bzrlib.tests.test_transport',
 
74
                                              'TestTransport.SampleHandler')
 
75
            transport.register_transport_proto('bar')
 
76
            transport.register_lazy_transport('bar',
 
77
                                              'bzrlib.tests.test_transport',
 
78
                                              'TestTransport.SampleHandler')
 
79
            self.assertEqual([SampleHandler.__module__,
 
80
                              'bzrlib.transport.chroot',
 
81
                              'bzrlib.transport.pathfilter'],
 
82
                             transport._get_transport_modules())
 
83
        finally:
 
84
            transport._set_protocol_handlers(handlers)
 
85
 
 
86
    def test_transport_dependency(self):
 
87
        """Transport with missing dependency causes no error"""
 
88
        saved_handlers = transport._get_protocol_handlers()
 
89
        # don't pollute the current handlers
 
90
        transport._clear_protocol_handlers()
 
91
        try:
 
92
            transport.register_transport_proto('foo')
 
93
            transport.register_lazy_transport(
 
94
                'foo', 'bzrlib.tests.test_transport', 'BadTransportHandler')
 
95
            try:
 
96
                transport.get_transport('foo://fooserver/foo')
 
97
            except errors.UnsupportedProtocol, e:
 
98
                e_str = str(e)
 
99
                self.assertEquals('Unsupported protocol'
 
100
                                  ' for url "foo://fooserver/foo":'
 
101
                                  ' Unable to import library "some_lib":'
 
102
                                  ' testing missing dependency', str(e))
 
103
            else:
 
104
                self.fail('Did not raise UnsupportedProtocol')
 
105
        finally:
 
106
            # restore original values
 
107
            transport._set_protocol_handlers(saved_handlers)
 
108
 
 
109
    def test_transport_fallback(self):
 
110
        """Transport with missing dependency causes no error"""
 
111
        saved_handlers = transport._get_protocol_handlers()
 
112
        try:
 
113
            transport._clear_protocol_handlers()
 
114
            transport.register_transport_proto('foo')
 
115
            transport.register_lazy_transport(
 
116
                'foo', 'bzrlib.tests.test_transport', 'BackupTransportHandler')
 
117
            transport.register_lazy_transport(
 
118
                'foo', 'bzrlib.tests.test_transport', 'BadTransportHandler')
 
119
            t = transport.get_transport('foo://fooserver/foo')
 
120
            self.assertTrue(isinstance(t, BackupTransportHandler))
 
121
        finally:
 
122
            transport._set_protocol_handlers(saved_handlers)
 
123
 
 
124
    def test_ssh_hints(self):
 
125
        """Transport ssh:// should raise an error pointing out bzr+ssh://"""
 
126
        try:
 
127
            transport.get_transport('ssh://fooserver/foo')
 
128
        except errors.UnsupportedProtocol, e:
 
129
            e_str = str(e)
 
130
            self.assertEquals('Unsupported protocol'
 
131
                              ' for url "ssh://fooserver/foo":'
 
132
                              ' bzr supports bzr+ssh to operate over ssh,'
 
133
                              ' use "bzr+ssh://fooserver/foo".',
 
134
                              str(e))
 
135
        else:
 
136
            self.fail('Did not raise UnsupportedProtocol')
 
137
 
 
138
    def test_LateReadError(self):
 
139
        """The LateReadError helper should raise on read()."""
 
140
        a_file = transport.LateReadError('a path')
 
141
        try:
 
142
            a_file.read()
 
143
        except errors.ReadError, error:
 
144
            self.assertEqual('a path', error.path)
 
145
        self.assertRaises(errors.ReadError, a_file.read, 40)
 
146
        a_file.close()
 
147
 
 
148
    def test__combine_paths(self):
 
149
        t = transport.Transport('/')
 
150
        self.assertEqual('/home/sarah/project/foo',
 
151
                         t._combine_paths('/home/sarah', 'project/foo'))
 
152
        self.assertEqual('/etc',
 
153
                         t._combine_paths('/home/sarah', '../../etc'))
 
154
        self.assertEqual('/etc',
 
155
                         t._combine_paths('/home/sarah', '../../../etc'))
 
156
        self.assertEqual('/etc',
 
157
                         t._combine_paths('/home/sarah', '/etc'))
 
158
 
 
159
    def test_local_abspath_non_local_transport(self):
 
160
        # the base implementation should throw
 
161
        t = memory.MemoryTransport()
 
162
        e = self.assertRaises(errors.NotLocalUrl, t.local_abspath, 't')
 
163
        self.assertEqual('memory:///t is not a local path.', str(e))
 
164
 
 
165
 
 
166
class TestCoalesceOffsets(tests.TestCase):
 
167
 
 
168
    def check(self, expected, offsets, limit=0, max_size=0, fudge=0):
 
169
        coalesce = transport.Transport._coalesce_offsets
 
170
        exp = [transport._CoalescedOffset(*x) for x in expected]
 
171
        out = list(coalesce(offsets, limit=limit, fudge_factor=fudge,
 
172
                            max_size=max_size))
 
173
        self.assertEqual(exp, out)
 
174
 
 
175
    def test_coalesce_empty(self):
 
176
        self.check([], [])
 
177
 
 
178
    def test_coalesce_simple(self):
 
179
        self.check([(0, 10, [(0, 10)])], [(0, 10)])
 
180
 
 
181
    def test_coalesce_unrelated(self):
 
182
        self.check([(0, 10, [(0, 10)]),
 
183
                    (20, 10, [(0, 10)]),
 
184
                   ], [(0, 10), (20, 10)])
 
185
 
 
186
    def test_coalesce_unsorted(self):
 
187
        self.check([(20, 10, [(0, 10)]),
 
188
                    (0, 10, [(0, 10)]),
 
189
                   ], [(20, 10), (0, 10)])
 
190
 
 
191
    def test_coalesce_nearby(self):
 
192
        self.check([(0, 20, [(0, 10), (10, 10)])],
 
193
                   [(0, 10), (10, 10)])
 
194
 
 
195
    def test_coalesce_overlapped(self):
 
196
        self.assertRaises(ValueError,
 
197
            self.check, [(0, 15, [(0, 10), (5, 10)])],
 
198
                        [(0, 10), (5, 10)])
 
199
 
 
200
    def test_coalesce_limit(self):
 
201
        self.check([(10, 50, [(0, 10), (10, 10), (20, 10),
 
202
                              (30, 10), (40, 10)]),
 
203
                    (60, 50, [(0, 10), (10, 10), (20, 10),
 
204
                              (30, 10), (40, 10)]),
 
205
                   ], [(10, 10), (20, 10), (30, 10), (40, 10),
 
206
                       (50, 10), (60, 10), (70, 10), (80, 10),
 
207
                       (90, 10), (100, 10)],
 
208
                    limit=5)
 
209
 
 
210
    def test_coalesce_no_limit(self):
 
211
        self.check([(10, 100, [(0, 10), (10, 10), (20, 10),
 
212
                               (30, 10), (40, 10), (50, 10),
 
213
                               (60, 10), (70, 10), (80, 10),
 
214
                               (90, 10)]),
 
215
                   ], [(10, 10), (20, 10), (30, 10), (40, 10),
 
216
                       (50, 10), (60, 10), (70, 10), (80, 10),
 
217
                       (90, 10), (100, 10)])
 
218
 
 
219
    def test_coalesce_fudge(self):
 
220
        self.check([(10, 30, [(0, 10), (20, 10)]),
 
221
                    (100, 10, [(0, 10),]),
 
222
                   ], [(10, 10), (30, 10), (100, 10)],
 
223
                   fudge=10
 
224
                  )
 
225
    def test_coalesce_max_size(self):
 
226
        self.check([(10, 20, [(0, 10), (10, 10)]),
 
227
                    (30, 50, [(0, 50)]),
 
228
                    # If one range is above max_size, it gets its own coalesced
 
229
                    # offset
 
230
                    (100, 80, [(0, 80),]),],
 
231
                   [(10, 10), (20, 10), (30, 50), (100, 80)],
 
232
                   max_size=50
 
233
                  )
 
234
 
 
235
    def test_coalesce_no_max_size(self):
 
236
        self.check([(10, 170, [(0, 10), (10, 10), (20, 50), (70, 100)]),],
 
237
                   [(10, 10), (20, 10), (30, 50), (80, 100)],
 
238
                  )
 
239
 
 
240
    def test_coalesce_default_limit(self):
 
241
        # By default we use a 100MB max size.
 
242
        ten_mb = 10*1024*1024
 
243
        self.check([(0, 10*ten_mb, [(i*ten_mb, ten_mb) for i in range(10)]),
 
244
                    (10*ten_mb, ten_mb, [(0, ten_mb)])],
 
245
                   [(i*ten_mb, ten_mb) for i in range(11)])
 
246
        self.check([(0, 11*ten_mb, [(i*ten_mb, ten_mb) for i in range(11)]),],
 
247
                   [(i*ten_mb, ten_mb) for i in range(11)],
 
248
                   max_size=1*1024*1024*1024)
 
249
 
 
250
 
 
251
class TestMemoryServer(tests.TestCase):
 
252
 
 
253
    def test_create_server(self):
 
254
        server = memory.MemoryServer()
 
255
        server.start_server()
 
256
        url = server.get_url()
 
257
        self.assertTrue(url in transport.transport_list_registry)
 
258
        t = transport.get_transport(url)
 
259
        del t
 
260
        server.stop_server()
 
261
        self.assertFalse(url in transport.transport_list_registry)
 
262
        self.assertRaises(errors.UnsupportedProtocol,
 
263
                          transport.get_transport, url)
 
264
 
 
265
 
 
266
class TestMemoryTransport(tests.TestCase):
471
267
 
472
268
    def test_get_transport(self):
473
269
        memory.MemoryTransport()
474
270
 
475
271
    def test_clone(self):
476
 
        transport = memory.MemoryTransport()
477
 
        self.failUnless(transport.clone() is transport)
 
272
        t = memory.MemoryTransport()
 
273
        self.assertTrue(isinstance(t, memory.MemoryTransport))
 
274
        self.assertEqual("memory:///", t.clone("/").base)
478
275
 
479
276
    def test_abspath(self):
480
 
        transport = memory.MemoryTransport()
481
 
        self.assertEqual("in-memory:relpath", transport.abspath('relpath'))
482
 
 
483
 
    def test_relpath(self):
484
 
        transport = memory.MemoryTransport()
 
277
        t = memory.MemoryTransport()
 
278
        self.assertEqual("memory:///relpath", t.abspath('relpath'))
 
279
 
 
280
    def test_abspath_of_root(self):
 
281
        t = memory.MemoryTransport()
 
282
        self.assertEqual("memory:///", t.base)
 
283
        self.assertEqual("memory:///", t.abspath('/'))
 
284
 
 
285
    def test_abspath_of_relpath_starting_at_root(self):
 
286
        t = memory.MemoryTransport()
 
287
        self.assertEqual("memory:///foo", t.abspath('/foo'))
485
288
 
486
289
    def test_append_and_get(self):
487
 
        transport = memory.MemoryTransport()
488
 
        transport.append('path', StringIO('content'))
489
 
        self.assertEqual(transport.get('path').read(), 'content')
490
 
        transport.append('path', StringIO('content'))
491
 
        self.assertEqual(transport.get('path').read(), 'contentcontent')
 
290
        t = memory.MemoryTransport()
 
291
        t.append_bytes('path', 'content')
 
292
        self.assertEqual(t.get('path').read(), 'content')
 
293
        t.append_file('path', StringIO('content'))
 
294
        self.assertEqual(t.get('path').read(), 'contentcontent')
492
295
 
493
296
    def test_put_and_get(self):
494
 
        transport = memory.MemoryTransport()
495
 
        transport.put('path', StringIO('content'))
496
 
        self.assertEqual(transport.get('path').read(), 'content')
497
 
        transport.put('path', StringIO('content'))
498
 
        self.assertEqual(transport.get('path').read(), 'content')
 
297
        t = memory.MemoryTransport()
 
298
        t.put_file('path', StringIO('content'))
 
299
        self.assertEqual(t.get('path').read(), 'content')
 
300
        t.put_bytes('path', 'content')
 
301
        self.assertEqual(t.get('path').read(), 'content')
499
302
 
500
303
    def test_append_without_dir_fails(self):
501
 
        transport = memory.MemoryTransport()
502
 
        self.assertRaises(NoSuchFile,
503
 
                          transport.append, 'dir/path', StringIO('content'))
 
304
        t = memory.MemoryTransport()
 
305
        self.assertRaises(errors.NoSuchFile,
 
306
                          t.append_bytes, 'dir/path', 'content')
504
307
 
505
308
    def test_put_without_dir_fails(self):
506
 
        transport = memory.MemoryTransport()
507
 
        self.assertRaises(NoSuchFile,
508
 
                          transport.put, 'dir/path', StringIO('content'))
 
309
        t = memory.MemoryTransport()
 
310
        self.assertRaises(errors.NoSuchFile,
 
311
                          t.put_file, 'dir/path', StringIO('content'))
509
312
 
510
313
    def test_get_missing(self):
511
314
        transport = memory.MemoryTransport()
512
 
        self.assertRaises(NoSuchFile, transport.get, 'foo')
 
315
        self.assertRaises(errors.NoSuchFile, transport.get, 'foo')
513
316
 
514
317
    def test_has_missing(self):
515
 
        transport = memory.MemoryTransport()
516
 
        self.assertEquals(False, transport.has('foo'))
 
318
        t = memory.MemoryTransport()
 
319
        self.assertEquals(False, t.has('foo'))
517
320
 
518
321
    def test_has_present(self):
519
 
        transport = memory.MemoryTransport()
520
 
        transport.append('foo', StringIO('content'))
521
 
        self.assertEquals(True, transport.has('foo'))
 
322
        t = memory.MemoryTransport()
 
323
        t.append_bytes('foo', 'content')
 
324
        self.assertEquals(True, t.has('foo'))
 
325
 
 
326
    def test_list_dir(self):
 
327
        t = memory.MemoryTransport()
 
328
        t.put_bytes('foo', 'content')
 
329
        t.mkdir('dir')
 
330
        t.put_bytes('dir/subfoo', 'content')
 
331
        t.put_bytes('dirlike', 'content')
 
332
 
 
333
        self.assertEquals(['dir', 'dirlike', 'foo'], sorted(t.list_dir('.')))
 
334
        self.assertEquals(['subfoo'], sorted(t.list_dir('dir')))
522
335
 
523
336
    def test_mkdir(self):
524
 
        transport = memory.MemoryTransport()
525
 
        transport.mkdir('dir')
526
 
        transport.append('dir/path', StringIO('content'))
527
 
        self.assertEqual(transport.get('dir/path').read(), 'content')
 
337
        t = memory.MemoryTransport()
 
338
        t.mkdir('dir')
 
339
        t.append_bytes('dir/path', 'content')
 
340
        self.assertEqual(t.get('dir/path').read(), 'content')
528
341
 
529
342
    def test_mkdir_missing_parent(self):
530
 
        transport = memory.MemoryTransport()
531
 
        self.assertRaises(NoSuchFile,
532
 
                          transport.mkdir, 'dir/dir')
 
343
        t = memory.MemoryTransport()
 
344
        self.assertRaises(errors.NoSuchFile, t.mkdir, 'dir/dir')
533
345
 
534
346
    def test_mkdir_twice(self):
535
 
        transport = memory.MemoryTransport()
536
 
        transport.mkdir('dir')
537
 
        self.assertRaises(FileExists, transport.mkdir, 'dir')
 
347
        t = memory.MemoryTransport()
 
348
        t.mkdir('dir')
 
349
        self.assertRaises(errors.FileExists, t.mkdir, 'dir')
538
350
 
539
351
    def test_parameters(self):
540
 
        transport = memory.MemoryTransport()
541
 
        self.assertEqual(True, transport.listable())
542
 
        self.assertEqual(False, transport.should_cache())
 
352
        t = memory.MemoryTransport()
 
353
        self.assertEqual(True, t.listable())
 
354
        self.assertEqual(False, t.is_readonly())
543
355
 
544
356
    def test_iter_files_recursive(self):
545
 
        transport = memory.MemoryTransport()
546
 
        transport.mkdir('dir')
547
 
        transport.put('dir/foo', StringIO('content'))
548
 
        transport.put('dir/bar', StringIO('content'))
549
 
        transport.put('bar', StringIO('content'))
550
 
        paths = set(transport.iter_files_recursive())
 
357
        t = memory.MemoryTransport()
 
358
        t.mkdir('dir')
 
359
        t.put_bytes('dir/foo', 'content')
 
360
        t.put_bytes('dir/bar', 'content')
 
361
        t.put_bytes('bar', 'content')
 
362
        paths = set(t.iter_files_recursive())
551
363
        self.assertEqual(set(['dir/foo', 'dir/bar', 'bar']), paths)
552
364
 
553
365
    def test_stat(self):
554
 
        transport = memory.MemoryTransport()
555
 
        transport.put('foo', StringIO('content'))
556
 
        transport.put('bar', StringIO('phowar'))
557
 
        self.assertEqual(7, transport.stat('foo').st_size)
558
 
        self.assertEqual(6, transport.stat('bar').st_size)
 
366
        t = memory.MemoryTransport()
 
367
        t.put_bytes('foo', 'content')
 
368
        t.put_bytes('bar', 'phowar')
 
369
        self.assertEqual(7, t.stat('foo').st_size)
 
370
        self.assertEqual(6, t.stat('bar').st_size)
 
371
 
 
372
 
 
373
class ChrootDecoratorTransportTest(tests.TestCase):
 
374
    """Chroot decoration specific tests."""
 
375
 
 
376
    def test_abspath(self):
 
377
        # The abspath is always relative to the chroot_url.
 
378
        server = chroot.ChrootServer(
 
379
            transport.get_transport('memory:///foo/bar/'))
 
380
        self.start_server(server)
 
381
        t = transport.get_transport(server.get_url())
 
382
        self.assertEqual(server.get_url(), t.abspath('/'))
 
383
 
 
384
        subdir_t = t.clone('subdir')
 
385
        self.assertEqual(server.get_url(), subdir_t.abspath('/'))
 
386
 
 
387
    def test_clone(self):
 
388
        server = chroot.ChrootServer(
 
389
            transport.get_transport('memory:///foo/bar/'))
 
390
        self.start_server(server)
 
391
        t = transport.get_transport(server.get_url())
 
392
        # relpath from root and root path are the same
 
393
        relpath_cloned = t.clone('foo')
 
394
        abspath_cloned = t.clone('/foo')
 
395
        self.assertEqual(server, relpath_cloned.server)
 
396
        self.assertEqual(server, abspath_cloned.server)
 
397
 
 
398
    def test_chroot_url_preserves_chroot(self):
 
399
        """Calling get_transport on a chroot transport's base should produce a
 
400
        transport with exactly the same behaviour as the original chroot
 
401
        transport.
 
402
 
 
403
        This is so that it is not possible to escape a chroot by doing::
 
404
            url = chroot_transport.base
 
405
            parent_url = urlutils.join(url, '..')
 
406
            new_t = transport.get_transport(parent_url)
 
407
        """
 
408
        server = chroot.ChrootServer(
 
409
            transport.get_transport('memory:///path/subpath'))
 
410
        self.start_server(server)
 
411
        t = transport.get_transport(server.get_url())
 
412
        new_t = transport.get_transport(t.base)
 
413
        self.assertEqual(t.server, new_t.server)
 
414
        self.assertEqual(t.base, new_t.base)
 
415
 
 
416
    def test_urljoin_preserves_chroot(self):
 
417
        """Using urlutils.join(url, '..') on a chroot URL should not produce a
 
418
        URL that escapes the intended chroot.
 
419
 
 
420
        This is so that it is not possible to escape a chroot by doing::
 
421
            url = chroot_transport.base
 
422
            parent_url = urlutils.join(url, '..')
 
423
            new_t = transport.get_transport(parent_url)
 
424
        """
 
425
        server = chroot.ChrootServer(transport.get_transport('memory:///path/'))
 
426
        self.start_server(server)
 
427
        t = transport.get_transport(server.get_url())
 
428
        self.assertRaises(
 
429
            errors.InvalidURLJoin, urlutils.join, t.base, '..')
 
430
 
 
431
 
 
432
class TestChrootServer(tests.TestCase):
 
433
 
 
434
    def test_construct(self):
 
435
        backing_transport = memory.MemoryTransport()
 
436
        server = chroot.ChrootServer(backing_transport)
 
437
        self.assertEqual(backing_transport, server.backing_transport)
 
438
 
 
439
    def test_setUp(self):
 
440
        backing_transport = memory.MemoryTransport()
 
441
        server = chroot.ChrootServer(backing_transport)
 
442
        server.start_server()
 
443
        try:
 
444
            self.assertTrue(server.scheme
 
445
                            in transport._get_protocol_handlers().keys())
 
446
        finally:
 
447
            server.stop_server()
 
448
 
 
449
    def test_stop_server(self):
 
450
        backing_transport = memory.MemoryTransport()
 
451
        server = chroot.ChrootServer(backing_transport)
 
452
        server.start_server()
 
453
        server.stop_server()
 
454
        self.assertFalse(server.scheme
 
455
                         in transport._get_protocol_handlers().keys())
 
456
 
 
457
    def test_get_url(self):
 
458
        backing_transport = memory.MemoryTransport()
 
459
        server = chroot.ChrootServer(backing_transport)
 
460
        server.start_server()
 
461
        try:
 
462
            self.assertEqual('chroot-%d:///' % id(server), server.get_url())
 
463
        finally:
 
464
            server.stop_server()
 
465
 
 
466
 
 
467
class PathFilteringDecoratorTransportTest(tests.TestCase):
 
468
    """Pathfilter decoration specific tests."""
 
469
 
 
470
    def test_abspath(self):
 
471
        # The abspath is always relative to the base of the backing transport.
 
472
        server = pathfilter.PathFilteringServer(
 
473
            transport.get_transport('memory:///foo/bar/'),
 
474
            lambda x: x)
 
475
        server.start_server()
 
476
        t = transport.get_transport(server.get_url())
 
477
        self.assertEqual(server.get_url(), t.abspath('/'))
 
478
 
 
479
        subdir_t = t.clone('subdir')
 
480
        self.assertEqual(server.get_url(), subdir_t.abspath('/'))
 
481
        server.stop_server()
 
482
 
 
483
    def make_pf_transport(self, filter_func=None):
 
484
        """Make a PathFilteringTransport backed by a MemoryTransport.
559
485
        
 
486
        :param filter_func: by default this will be a no-op function.  Use this
 
487
            parameter to override it."""
 
488
        if filter_func is None:
 
489
            filter_func = lambda x: x
 
490
        server = pathfilter.PathFilteringServer(
 
491
            transport.get_transport('memory:///foo/bar/'), filter_func)
 
492
        server.start_server()
 
493
        self.addCleanup(server.stop_server)
 
494
        return transport.get_transport(server.get_url())
 
495
 
 
496
    def test__filter(self):
 
497
        # _filter (with an identity func as filter_func) always returns
 
498
        # paths relative to the base of the backing transport.
 
499
        t = self.make_pf_transport()
 
500
        self.assertEqual('foo', t._filter('foo'))
 
501
        self.assertEqual('foo/bar', t._filter('foo/bar'))
 
502
        self.assertEqual('', t._filter('..'))
 
503
        self.assertEqual('', t._filter('/'))
 
504
        # The base of the pathfiltering transport is taken into account too.
 
505
        t = t.clone('subdir1/subdir2')
 
506
        self.assertEqual('subdir1/subdir2/foo', t._filter('foo'))
 
507
        self.assertEqual('subdir1/subdir2/foo/bar', t._filter('foo/bar'))
 
508
        self.assertEqual('subdir1', t._filter('..'))
 
509
        self.assertEqual('', t._filter('/'))
 
510
 
 
511
    def test_filter_invocation(self):
 
512
        filter_log = []
 
513
        def filter(path):
 
514
            filter_log.append(path)
 
515
            return path
 
516
        t = self.make_pf_transport(filter)
 
517
        t.has('abc')
 
518
        self.assertEqual(['abc'], filter_log)
 
519
        del filter_log[:]
 
520
        t.clone('abc').has('xyz')
 
521
        self.assertEqual(['abc/xyz'], filter_log)
 
522
        del filter_log[:]
 
523
        t.has('/abc')
 
524
        self.assertEqual(['abc'], filter_log)
 
525
 
 
526
    def test_clone(self):
 
527
        t = self.make_pf_transport()
 
528
        # relpath from root and root path are the same
 
529
        relpath_cloned = t.clone('foo')
 
530
        abspath_cloned = t.clone('/foo')
 
531
        self.assertEqual(t.server, relpath_cloned.server)
 
532
        self.assertEqual(t.server, abspath_cloned.server)
 
533
 
 
534
    def test_url_preserves_pathfiltering(self):
 
535
        """Calling get_transport on a pathfiltered transport's base should
 
536
        produce a transport with exactly the same behaviour as the original
 
537
        pathfiltered transport.
 
538
 
 
539
        This is so that it is not possible to escape (accidentally or
 
540
        otherwise) the filtering by doing::
 
541
            url = filtered_transport.base
 
542
            parent_url = urlutils.join(url, '..')
 
543
            new_t = transport.get_transport(parent_url)
 
544
        """
 
545
        t = self.make_pf_transport()
 
546
        new_t = transport.get_transport(t.base)
 
547
        self.assertEqual(t.server, new_t.server)
 
548
        self.assertEqual(t.base, new_t.base)
 
549
 
 
550
 
 
551
class ReadonlyDecoratorTransportTest(tests.TestCase):
 
552
    """Readonly decoration specific tests."""
 
553
 
 
554
    def test_local_parameters(self):
 
555
        # connect to . in readonly mode
 
556
        t = readonly.ReadonlyTransportDecorator('readonly+.')
 
557
        self.assertEqual(True, t.listable())
 
558
        self.assertEqual(True, t.is_readonly())
 
559
 
 
560
    def test_http_parameters(self):
 
561
        from bzrlib.tests.http_server import HttpServer
 
562
        # connect to '.' via http which is not listable
 
563
        server = HttpServer()
 
564
        self.start_server(server)
 
565
        t = transport.get_transport('readonly+' + server.get_url())
 
566
        self.assertIsInstance(t, readonly.ReadonlyTransportDecorator)
 
567
        self.assertEqual(False, t.listable())
 
568
        self.assertEqual(True, t.is_readonly())
 
569
 
 
570
 
 
571
class FakeNFSDecoratorTests(tests.TestCaseInTempDir):
 
572
    """NFS decorator specific tests."""
 
573
 
 
574
    def get_nfs_transport(self, url):
 
575
        # connect to url with nfs decoration
 
576
        return fakenfs.FakeNFSTransportDecorator('fakenfs+' + url)
 
577
 
 
578
    def test_local_parameters(self):
 
579
        # the listable and is_readonly parameters
 
580
        # are not changed by the fakenfs decorator
 
581
        t = self.get_nfs_transport('.')
 
582
        self.assertEqual(True, t.listable())
 
583
        self.assertEqual(False, t.is_readonly())
 
584
 
 
585
    def test_http_parameters(self):
 
586
        # the listable and is_readonly parameters
 
587
        # are not changed by the fakenfs decorator
 
588
        from bzrlib.tests.http_server import HttpServer
 
589
        # connect to '.' via http which is not listable
 
590
        server = HttpServer()
 
591
        self.start_server(server)
 
592
        t = self.get_nfs_transport(server.get_url())
 
593
        self.assertIsInstance(t, fakenfs.FakeNFSTransportDecorator)
 
594
        self.assertEqual(False, t.listable())
 
595
        self.assertEqual(True, t.is_readonly())
 
596
 
 
597
    def test_fakenfs_server_default(self):
 
598
        # a FakeNFSServer() should bring up a local relpath server for itself
 
599
        server = test_server.FakeNFSServer()
 
600
        self.start_server(server)
 
601
        # the url should be decorated appropriately
 
602
        self.assertStartsWith(server.get_url(), 'fakenfs+')
 
603
        # and we should be able to get a transport for it
 
604
        t = transport.get_transport(server.get_url())
 
605
        # which must be a FakeNFSTransportDecorator instance.
 
606
        self.assertIsInstance(t, fakenfs.FakeNFSTransportDecorator)
 
607
 
 
608
    def test_fakenfs_rename_semantics(self):
 
609
        # a FakeNFS transport must mangle the way rename errors occur to
 
610
        # look like NFS problems.
 
611
        t = self.get_nfs_transport('.')
 
612
        self.build_tree(['from/', 'from/foo', 'to/', 'to/bar'],
 
613
                        transport=t)
 
614
        self.assertRaises(errors.ResourceBusy, t.rename, 'from', 'to')
 
615
 
 
616
 
 
617
class FakeVFATDecoratorTests(tests.TestCaseInTempDir):
 
618
    """Tests for simulation of VFAT restrictions"""
 
619
 
 
620
    def get_vfat_transport(self, url):
 
621
        """Return vfat-backed transport for test directory"""
 
622
        from bzrlib.transport.fakevfat import FakeVFATTransportDecorator
 
623
        return FakeVFATTransportDecorator('vfat+' + url)
 
624
 
 
625
    def test_transport_creation(self):
 
626
        from bzrlib.transport.fakevfat import FakeVFATTransportDecorator
 
627
        t = self.get_vfat_transport('.')
 
628
        self.assertIsInstance(t, FakeVFATTransportDecorator)
 
629
 
 
630
    def test_transport_mkdir(self):
 
631
        t = self.get_vfat_transport('.')
 
632
        t.mkdir('HELLO')
 
633
        self.assertTrue(t.has('hello'))
 
634
        self.assertTrue(t.has('Hello'))
 
635
 
 
636
    def test_forbidden_chars(self):
 
637
        t = self.get_vfat_transport('.')
 
638
        self.assertRaises(ValueError, t.has, "<NU>")
 
639
 
 
640
 
 
641
class BadTransportHandler(transport.Transport):
 
642
    def __init__(self, base_url):
 
643
        raise errors.DependencyNotPresent('some_lib',
 
644
                                          'testing missing dependency')
 
645
 
 
646
 
 
647
class BackupTransportHandler(transport.Transport):
 
648
    """Test transport that works as a backup for the BadTransportHandler"""
 
649
    pass
 
650
 
 
651
 
 
652
class TestTransportImplementation(tests.TestCaseInTempDir):
 
653
    """Implementation verification for transports.
 
654
 
 
655
    To verify a transport we need a server factory, which is a callable
 
656
    that accepts no parameters and returns an implementation of
 
657
    bzrlib.transport.Server.
 
658
 
 
659
    That Server is then used to construct transport instances and test
 
660
    the transport via loopback activity.
 
661
 
 
662
    Currently this assumes that the Transport object is connected to the
 
663
    current working directory.  So that whatever is done
 
664
    through the transport, should show up in the working
 
665
    directory, and vice-versa. This is a bug, because its possible to have
 
666
    URL schemes which provide access to something that may not be
 
667
    result in storage on the local disk, i.e. due to file system limits, or
 
668
    due to it being a database or some other non-filesystem tool.
 
669
 
 
670
    This also tests to make sure that the functions work with both
 
671
    generators and lists (assuming iter(list) is effectively a generator)
 
672
    """
 
673
 
 
674
    def setUp(self):
 
675
        super(TestTransportImplementation, self).setUp()
 
676
        self._server = self.transport_server()
 
677
        self.start_server(self._server)
 
678
 
 
679
    def get_transport(self, relpath=None):
 
680
        """Return a connected transport to the local directory.
 
681
 
 
682
        :param relpath: a path relative to the base url.
 
683
        """
 
684
        base_url = self._server.get_url()
 
685
        url = self._adjust_url(base_url, relpath)
 
686
        # try getting the transport via the regular interface:
 
687
        t = transport.get_transport(url)
 
688
        # vila--20070607 if the following are commented out the test suite
 
689
        # still pass. Is this really still needed or was it a forgotten
 
690
        # temporary fix ?
 
691
        if not isinstance(t, self.transport_class):
 
692
            # we did not get the correct transport class type. Override the
 
693
            # regular connection behaviour by direct construction.
 
694
            t = self.transport_class(url)
 
695
        return t
 
696
 
 
697
 
 
698
class TestLocalTransports(tests.TestCase):
 
699
 
 
700
    def test_get_transport_from_abspath(self):
 
701
        here = osutils.abspath('.')
 
702
        t = transport.get_transport(here)
 
703
        self.assertIsInstance(t, local.LocalTransport)
 
704
        self.assertEquals(t.base, urlutils.local_path_to_url(here) + '/')
 
705
 
 
706
    def test_get_transport_from_relpath(self):
 
707
        here = osutils.abspath('.')
 
708
        t = transport.get_transport('.')
 
709
        self.assertIsInstance(t, local.LocalTransport)
 
710
        self.assertEquals(t.base, urlutils.local_path_to_url('.') + '/')
 
711
 
 
712
    def test_get_transport_from_local_url(self):
 
713
        here = osutils.abspath('.')
 
714
        here_url = urlutils.local_path_to_url(here) + '/'
 
715
        t = transport.get_transport(here_url)
 
716
        self.assertIsInstance(t, local.LocalTransport)
 
717
        self.assertEquals(t.base, here_url)
 
718
 
 
719
    def test_local_abspath(self):
 
720
        here = osutils.abspath('.')
 
721
        t = transport.get_transport(here)
 
722
        self.assertEquals(t.local_abspath(''), here)
 
723
 
 
724
 
 
725
class TestWin32LocalTransport(tests.TestCase):
 
726
 
 
727
    def test_unc_clone_to_root(self):
 
728
        # Win32 UNC path like \\HOST\path
 
729
        # clone to root should stop at least at \\HOST part
 
730
        # not on \\
 
731
        t = local.EmulatedWin32LocalTransport('file://HOST/path/to/some/dir/')
 
732
        for i in xrange(4):
 
733
            t = t.clone('..')
 
734
        self.assertEquals(t.base, 'file://HOST/')
 
735
        # make sure we reach the root
 
736
        t = t.clone('..')
 
737
        self.assertEquals(t.base, 'file://HOST/')
 
738
 
 
739
 
 
740
class TestConnectedTransport(tests.TestCase):
 
741
    """Tests for connected to remote server transports"""
 
742
 
 
743
    def test_parse_url(self):
 
744
        t = transport.ConnectedTransport(
 
745
            'http://simple.example.com/home/source')
 
746
        self.assertEquals(t._host, 'simple.example.com')
 
747
        self.assertEquals(t._port, None)
 
748
        self.assertEquals(t._path, '/home/source/')
 
749
        self.assertTrue(t._user is None)
 
750
        self.assertTrue(t._password is None)
 
751
 
 
752
        self.assertEquals(t.base, 'http://simple.example.com/home/source/')
 
753
 
 
754
    def test_parse_url_with_at_in_user(self):
 
755
        # Bug 228058
 
756
        t = transport.ConnectedTransport('ftp://user@host.com@www.host.com/')
 
757
        self.assertEquals(t._user, 'user@host.com')
 
758
 
 
759
    def test_parse_quoted_url(self):
 
760
        t = transport.ConnectedTransport(
 
761
            'http://ro%62ey:h%40t@ex%41mple.com:2222/path')
 
762
        self.assertEquals(t._host, 'exAmple.com')
 
763
        self.assertEquals(t._port, 2222)
 
764
        self.assertEquals(t._user, 'robey')
 
765
        self.assertEquals(t._password, 'h@t')
 
766
        self.assertEquals(t._path, '/path/')
 
767
 
 
768
        # Base should not keep track of the password
 
769
        self.assertEquals(t.base, 'http://robey@exAmple.com:2222/path/')
 
770
 
 
771
    def test_parse_invalid_url(self):
 
772
        self.assertRaises(errors.InvalidURL,
 
773
                          transport.ConnectedTransport,
 
774
                          'sftp://lily.org:~janneke/public/bzr/gub')
 
775
 
 
776
    def test_relpath(self):
 
777
        t = transport.ConnectedTransport('sftp://user@host.com/abs/path')
 
778
 
 
779
        self.assertEquals(t.relpath('sftp://user@host.com/abs/path/sub'), 'sub')
 
780
        self.assertRaises(errors.PathNotChild, t.relpath,
 
781
                          'http://user@host.com/abs/path/sub')
 
782
        self.assertRaises(errors.PathNotChild, t.relpath,
 
783
                          'sftp://user2@host.com/abs/path/sub')
 
784
        self.assertRaises(errors.PathNotChild, t.relpath,
 
785
                          'sftp://user@otherhost.com/abs/path/sub')
 
786
        self.assertRaises(errors.PathNotChild, t.relpath,
 
787
                          'sftp://user@host.com:33/abs/path/sub')
 
788
        # Make sure it works when we don't supply a username
 
789
        t = transport.ConnectedTransport('sftp://host.com/abs/path')
 
790
        self.assertEquals(t.relpath('sftp://host.com/abs/path/sub'), 'sub')
 
791
 
 
792
        # Make sure it works when parts of the path will be url encoded
 
793
        t = transport.ConnectedTransport('sftp://host.com/dev/%path')
 
794
        self.assertEquals(t.relpath('sftp://host.com/dev/%path/sub'), 'sub')
 
795
 
 
796
    def test_connection_sharing_propagate_credentials(self):
 
797
        t = transport.ConnectedTransport('ftp://user@host.com/abs/path')
 
798
        self.assertEquals('user', t._user)
 
799
        self.assertEquals('host.com', t._host)
 
800
        self.assertIs(None, t._get_connection())
 
801
        self.assertIs(None, t._password)
 
802
        c = t.clone('subdir')
 
803
        self.assertIs(None, c._get_connection())
 
804
        self.assertIs(None, t._password)
 
805
 
 
806
        # Simulate the user entering a password
 
807
        password = 'secret'
 
808
        connection = object()
 
809
        t._set_connection(connection, password)
 
810
        self.assertIs(connection, t._get_connection())
 
811
        self.assertIs(password, t._get_credentials())
 
812
        self.assertIs(connection, c._get_connection())
 
813
        self.assertIs(password, c._get_credentials())
 
814
 
 
815
        # credentials can be updated
 
816
        new_password = 'even more secret'
 
817
        c._update_credentials(new_password)
 
818
        self.assertIs(connection, t._get_connection())
 
819
        self.assertIs(new_password, t._get_credentials())
 
820
        self.assertIs(connection, c._get_connection())
 
821
        self.assertIs(new_password, c._get_credentials())
 
822
 
 
823
 
 
824
class TestReusedTransports(tests.TestCase):
 
825
    """Tests for transport reuse"""
 
826
 
 
827
    def test_reuse_same_transport(self):
 
828
        possible_transports = []
 
829
        t1 = transport.get_transport('http://foo/',
 
830
                                     possible_transports=possible_transports)
 
831
        self.assertEqual([t1], possible_transports)
 
832
        t2 = transport.get_transport('http://foo/',
 
833
                                     possible_transports=[t1])
 
834
        self.assertIs(t1, t2)
 
835
 
 
836
        # Also check that final '/' are handled correctly
 
837
        t3 = transport.get_transport('http://foo/path/')
 
838
        t4 = transport.get_transport('http://foo/path',
 
839
                                     possible_transports=[t3])
 
840
        self.assertIs(t3, t4)
 
841
 
 
842
        t5 = transport.get_transport('http://foo/path')
 
843
        t6 = transport.get_transport('http://foo/path/',
 
844
                                     possible_transports=[t5])
 
845
        self.assertIs(t5, t6)
 
846
 
 
847
    def test_don_t_reuse_different_transport(self):
 
848
        t1 = transport.get_transport('http://foo/path')
 
849
        t2 = transport.get_transport('http://bar/path',
 
850
                                     possible_transports=[t1])
 
851
        self.assertIsNot(t1, t2)
 
852
 
 
853
 
 
854
class TestTransportTrace(tests.TestCase):
 
855
 
 
856
    def test_get(self):
 
857
        t = transport.get_transport('trace+memory://')
 
858
        self.assertIsInstance(t, bzrlib.transport.trace.TransportTraceDecorator)
 
859
 
 
860
    def test_clone_preserves_activity(self):
 
861
        t = transport.get_transport('trace+memory://')
 
862
        t2 = t.clone('.')
 
863
        self.assertTrue(t is not t2)
 
864
        self.assertTrue(t._activity is t2._activity)
 
865
 
 
866
    # the following specific tests are for the operations that have made use of
 
867
    # logging in tests; we could test every single operation but doing that
 
868
    # still won't cause a test failure when the top level Transport API
 
869
    # changes; so there is little return doing that.
 
870
    def test_get(self):
 
871
        t = transport.get_transport('trace+memory:///')
 
872
        t.put_bytes('foo', 'barish')
 
873
        t.get('foo')
 
874
        expected_result = []
 
875
        # put_bytes records the bytes, not the content to avoid memory
 
876
        # pressure.
 
877
        expected_result.append(('put_bytes', 'foo', 6, None))
 
878
        # get records the file name only.
 
879
        expected_result.append(('get', 'foo'))
 
880
        self.assertEqual(expected_result, t._activity)
 
881
 
 
882
    def test_readv(self):
 
883
        t = transport.get_transport('trace+memory:///')
 
884
        t.put_bytes('foo', 'barish')
 
885
        list(t.readv('foo', [(0, 1), (3, 2)],
 
886
                     adjust_for_latency=True, upper_limit=6))
 
887
        expected_result = []
 
888
        # put_bytes records the bytes, not the content to avoid memory
 
889
        # pressure.
 
890
        expected_result.append(('put_bytes', 'foo', 6, None))
 
891
        # readv records the supplied offset request
 
892
        expected_result.append(('readv', 'foo', [(0, 1), (3, 2)], True, 6))
 
893
        self.assertEqual(expected_result, t._activity)
 
894
 
 
895
 
 
896
class TestSSHConnections(tests.TestCaseWithTransport):
 
897
 
 
898
    def test_bzr_connect_to_bzr_ssh(self):
 
899
        """User acceptance that get_transport of a bzr+ssh:// behaves correctly.
 
900
 
 
901
        bzr+ssh:// should cause bzr to run a remote bzr smart server over SSH.
 
902
        """
 
903
        # This test actually causes a bzr instance to be invoked, which is very
 
904
        # expensive: it should be the only such test in the test suite.
 
905
        # A reasonable evolution for this would be to simply check inside
 
906
        # check_channel_exec_request that the command is appropriate, and then
 
907
        # satisfy requests in-process.
 
908
        self.requireFeature(features.paramiko)
 
909
        # SFTPFullAbsoluteServer has a get_url method, and doesn't
 
910
        # override the interface (doesn't change self._vendor).
 
911
        # Note that this does encryption, so can be slow.
 
912
        from bzrlib.tests import stub_sftp
 
913
 
 
914
        # Start an SSH server
 
915
        self.command_executed = []
 
916
        # XXX: This is horrible -- we define a really dumb SSH server that
 
917
        # executes commands, and manage the hooking up of stdin/out/err to the
 
918
        # SSH channel ourselves.  Surely this has already been implemented
 
919
        # elsewhere?
 
920
        started = []
 
921
        class StubSSHServer(stub_sftp.StubServer):
 
922
 
 
923
            test = self
 
924
 
 
925
            def check_channel_exec_request(self, channel, command):
 
926
                self.test.command_executed.append(command)
 
927
                proc = subprocess.Popen(
 
928
                    command, shell=True, stdin=subprocess.PIPE,
 
929
                    stdout=subprocess.PIPE, stderr=subprocess.PIPE)
 
930
 
 
931
                # XXX: horribly inefficient, not to mention ugly.
 
932
                # Start a thread for each of stdin/out/err, and relay bytes from
 
933
                # the subprocess to channel and vice versa.
 
934
                def ferry_bytes(read, write, close):
 
935
                    while True:
 
936
                        bytes = read(1)
 
937
                        if bytes == '':
 
938
                            close()
 
939
                            break
 
940
                        write(bytes)
 
941
 
 
942
                file_functions = [
 
943
                    (channel.recv, proc.stdin.write, proc.stdin.close),
 
944
                    (proc.stdout.read, channel.sendall, channel.close),
 
945
                    (proc.stderr.read, channel.sendall_stderr, channel.close)]
 
946
                started.append(proc)
 
947
                for read, write, close in file_functions:
 
948
                    t = threading.Thread(
 
949
                        target=ferry_bytes, args=(read, write, close))
 
950
                    t.start()
 
951
                    started.append(t)
 
952
 
 
953
                return True
 
954
 
 
955
        ssh_server = stub_sftp.SFTPFullAbsoluteServer(StubSSHServer)
 
956
        # We *don't* want to override the default SSH vendor: the detected one
 
957
        # is the one to use.
 
958
 
 
959
        # FIXME: I don't understand the above comment, SFTPFullAbsoluteServer
 
960
        # inherits from SFTPServer which forces the SSH vendor to
 
961
        # ssh.ParamikoVendor(). So it's forced, not detected. --vila 20100623
 
962
        self.start_server(ssh_server)
 
963
        port = ssh_server.port
 
964
 
 
965
        if sys.platform == 'win32':
 
966
            bzr_remote_path = sys.executable + ' ' + self.get_bzr_path()
 
967
        else:
 
968
            bzr_remote_path = self.get_bzr_path()
 
969
        self.overrideEnv('BZR_REMOTE_PATH', bzr_remote_path)
 
970
 
 
971
        # Access the branch via a bzr+ssh URL.  The BZR_REMOTE_PATH environment
 
972
        # variable is used to tell bzr what command to run on the remote end.
 
973
        path_to_branch = osutils.abspath('.')
 
974
        if sys.platform == 'win32':
 
975
            # On Windows, we export all drives as '/C:/, etc. So we need to
 
976
            # prefix a '/' to get the right path.
 
977
            path_to_branch = '/' + path_to_branch
 
978
        url = 'bzr+ssh://fred:secret@localhost:%d%s' % (port, path_to_branch)
 
979
        t = transport.get_transport(url)
 
980
        self.permit_url(t.base)
 
981
        t.mkdir('foo')
 
982
 
 
983
        self.assertEqual(
 
984
            ['%s serve --inet --directory=/ --allow-writes' % bzr_remote_path],
 
985
            self.command_executed)
 
986
        # Make sure to disconnect, so that the remote process can stop, and we
 
987
        # can cleanup. Then pause the test until everything is shutdown
 
988
        t._client._medium.disconnect()
 
989
        if not started:
 
990
            return
 
991
        # First wait for the subprocess
 
992
        started[0].wait()
 
993
        # And the rest are threads
 
994
        for t in started[1:]:
 
995
            t.join()
 
996
 
 
997
 
 
998
class TestUnhtml(tests.TestCase):
 
999
 
 
1000
    """Tests for unhtml_roughly"""
 
1001
 
 
1002
    def test_truncation(self):
 
1003
        fake_html = "<p>something!\n" * 1000
 
1004
        result = http.unhtml_roughly(fake_html)
 
1005
        self.assertEquals(len(result), 1000)
 
1006
        self.assertStartsWith(result, " something!")