~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_transport.py

  • Committer: Aaron Bentley
  • Date: 2006-08-08 06:47:16 UTC
  • mto: (1910.2.43 format-bumps)
  • mto: This revision was merged to the branch mainline in revision 1922.
  • Revision ID: aaron.bentley@utoronto.ca-20060808064716-75bc465292c2708f
Ensure root entry always has a revision

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2004, 2005 by Canonical Ltd
2
 
 
 
1
# Copyright (C) 2004, 2005, 2006 by Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
 
18
18
import os
 
19
import sys
 
20
import stat
19
21
from cStringIO import StringIO
20
22
 
21
 
from bzrlib.errors import NoSuchFile, FileExists, TransportNotPossible
22
 
from bzrlib.selftest import TestCase, TestCaseInTempDir
23
 
from bzrlib.selftest.HTTPTestUtil import TestCaseWithWebserver
24
 
from bzrlib.transport import memory, urlescape
25
 
 
26
 
 
27
 
def _append(fn, txt):
28
 
    """Append the given text (file-like object) to the supplied filename."""
29
 
    f = open(fn, 'ab')
30
 
    f.write(txt)
31
 
    f.flush()
32
 
    f.close()
33
 
    del f
 
23
import bzrlib
 
24
from bzrlib.errors import (NoSuchFile, FileExists,
 
25
                           TransportNotPossible,
 
26
                           ConnectionError,
 
27
                           DependencyNotPresent,
 
28
                           UnsupportedProtocol,
 
29
                           )
 
30
from bzrlib.tests import TestCase, TestCaseInTempDir
 
31
from bzrlib.transport import (_CoalescedOffset,
 
32
                              _get_protocol_handlers,
 
33
                              _get_transport_modules,
 
34
                              get_transport,
 
35
                              register_lazy_transport,
 
36
                              _set_protocol_handlers,
 
37
                              Transport,
 
38
                              )
 
39
from bzrlib.transport.memory import MemoryTransport
 
40
from bzrlib.transport.local import LocalTransport
 
41
 
34
42
 
35
43
class TestTransport(TestCase):
36
44
    """Test the non transport-concrete class functionality."""
37
45
 
38
 
    def test_urlescape(self):
39
 
        self.assertEqual('%25', urlescape('%'))
40
 
 
41
 
 
42
 
class TestTransportMixIn(object):
43
 
    """Subclass this, and it will provide a series of tests for a Transport.
44
 
    It assumes that the Transport object is connected to the 
45
 
    current working directory.  So that whatever is done 
46
 
    through the transport, should show up in the working 
47
 
    directory, and vice-versa.
48
 
 
49
 
    This also tests to make sure that the functions work with both
50
 
    generators and lists (assuming iter(list) is effectively a generator)
51
 
    """
52
 
    readonly = False
53
 
    def get_transport(self):
54
 
        """Children should override this to return the Transport object.
55
 
        """
56
 
        raise NotImplementedError
57
 
 
58
 
    def test_has(self):
59
 
        t = self.get_transport()
60
 
 
61
 
        files = ['a', 'b', 'e', 'g', '%']
62
 
        self.build_tree(files)
63
 
        self.assertEqual(t.has('a'), True)
64
 
        self.assertEqual(t.has('c'), False)
65
 
        self.assertEqual(t.has(urlescape('%')), True)
66
 
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])),
67
 
                [True, True, False, False, True, False, True, False])
68
 
        self.assertEqual(list(t.has_multi(iter(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']))),
69
 
                [True, True, False, False, True, False, True, False])
70
 
 
71
 
    def test_get(self):
72
 
        t = self.get_transport()
73
 
 
74
 
        files = ['a', 'b', 'e', 'g']
75
 
        self.build_tree(files)
76
 
        self.assertEqual(t.get('a').read(), open('a').read())
77
 
        content_f = t.get_multi(files)
78
 
        for path,f in zip(files, content_f):
79
 
            self.assertEqual(open(path).read(), f.read())
80
 
 
81
 
        content_f = t.get_multi(iter(files))
82
 
        for path,f in zip(files, content_f):
83
 
            self.assertEqual(open(path).read(), f.read())
84
 
 
85
 
        self.assertRaises(NoSuchFile, t.get, 'c')
86
 
        try:
87
 
            files = list(t.get_multi(['a', 'b', 'c']))
88
 
        except NoSuchFile:
89
 
            pass
90
 
        else:
91
 
            self.fail('Failed to raise NoSuchFile for missing file in get_multi')
92
 
        try:
93
 
            files = list(t.get_multi(iter(['a', 'b', 'c', 'e'])))
94
 
        except NoSuchFile:
95
 
            pass
96
 
        else:
97
 
            self.fail('Failed to raise NoSuchFile for missing file in get_multi')
98
 
 
99
 
    def test_put(self):
100
 
        t = self.get_transport()
101
 
 
102
 
        if self.readonly:
103
 
            self.assertRaises(TransportNotPossible,
104
 
                    t.put, 'a', 'some text for a\n')
105
 
            open('a', 'wb').write('some text for a\n')
106
 
        else:
107
 
            t.put('a', 'some text for a\n')
108
 
        self.assert_(os.path.exists('a'))
109
 
        self.check_file_contents('a', 'some text for a\n')
110
 
        self.assertEqual(t.get('a').read(), 'some text for a\n')
111
 
        # Make sure 'has' is updated
112
 
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e'])),
113
 
                [True, False, False, False, False])
114
 
        if self.readonly:
115
 
            self.assertRaises(TransportNotPossible,
116
 
                    t.put_multi,
117
 
                    [('a', 'new\ncontents for\na\n'),
118
 
                        ('d', 'contents\nfor d\n')])
119
 
            open('a', 'wb').write('new\ncontents for\na\n')
120
 
            open('d', 'wb').write('contents\nfor d\n')
121
 
        else:
122
 
            # Put also replaces contents
123
 
            self.assertEqual(t.put_multi([('a', 'new\ncontents for\na\n'),
124
 
                                          ('d', 'contents\nfor d\n')]),
125
 
                             2)
126
 
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e'])),
127
 
                [True, False, False, True, False])
128
 
        self.check_file_contents('a', 'new\ncontents for\na\n')
129
 
        self.check_file_contents('d', 'contents\nfor d\n')
130
 
 
131
 
        if self.readonly:
132
 
            self.assertRaises(TransportNotPossible,
133
 
                t.put_multi, iter([('a', 'diff\ncontents for\na\n'),
134
 
                                  ('d', 'another contents\nfor d\n')]))
135
 
            open('a', 'wb').write('diff\ncontents for\na\n')
136
 
            open('d', 'wb').write('another contents\nfor d\n')
137
 
        else:
138
 
            self.assertEqual(
139
 
                t.put_multi(iter([('a', 'diff\ncontents for\na\n'),
140
 
                                  ('d', 'another contents\nfor d\n')]))
141
 
                             , 2)
142
 
        self.check_file_contents('a', 'diff\ncontents for\na\n')
143
 
        self.check_file_contents('d', 'another contents\nfor d\n')
144
 
 
145
 
        if self.readonly:
146
 
            self.assertRaises(TransportNotPossible,
147
 
                    t.put, 'path/doesnt/exist/c', 'contents')
148
 
        else:
149
 
            self.assertRaises(NoSuchFile,
150
 
                    t.put, 'path/doesnt/exist/c', 'contents')
151
 
 
152
 
    def test_put_file(self):
153
 
        t = self.get_transport()
154
 
 
155
 
        # Test that StringIO can be used as a file-like object with put
156
 
        f1 = StringIO('this is a string\nand some more stuff\n')
157
 
        if self.readonly:
158
 
            open('f1', 'wb').write(f1.read())
159
 
        else:
160
 
            t.put('f1', f1)
161
 
 
162
 
        del f1
163
 
 
164
 
        self.check_file_contents('f1', 
165
 
                'this is a string\nand some more stuff\n')
166
 
 
167
 
        f2 = StringIO('here is some text\nand a bit more\n')
168
 
        f3 = StringIO('some text for the\nthird file created\n')
169
 
 
170
 
        if self.readonly:
171
 
            open('f2', 'wb').write(f2.read())
172
 
            open('f3', 'wb').write(f3.read())
173
 
        else:
174
 
            t.put_multi([('f2', f2), ('f3', f3)])
175
 
 
176
 
        del f2, f3
177
 
 
178
 
        self.check_file_contents('f2', 'here is some text\nand a bit more\n')
179
 
        self.check_file_contents('f3', 'some text for the\nthird file created\n')
180
 
 
181
 
        # Test that an actual file object can be used with put
182
 
        f4 = open('f1', 'rb')
183
 
        if self.readonly:
184
 
            open('f4', 'wb').write(f4.read())
185
 
        else:
186
 
            t.put('f4', f4)
187
 
 
188
 
        del f4
189
 
 
190
 
        self.check_file_contents('f4', 
191
 
                'this is a string\nand some more stuff\n')
192
 
 
193
 
        f5 = open('f2', 'rb')
194
 
        f6 = open('f3', 'rb')
195
 
        if self.readonly:
196
 
            open('f5', 'wb').write(f5.read())
197
 
            open('f6', 'wb').write(f6.read())
198
 
        else:
199
 
            t.put_multi([('f5', f5), ('f6', f6)])
200
 
 
201
 
        del f5, f6
202
 
 
203
 
        self.check_file_contents('f5', 'here is some text\nand a bit more\n')
204
 
        self.check_file_contents('f6', 'some text for the\nthird file created\n')
205
 
 
206
 
 
207
 
 
208
 
    def test_mkdir(self):
209
 
        t = self.get_transport()
210
 
 
211
 
        # Test mkdir
212
 
        os.mkdir('dir_a')
213
 
        self.assertEqual(t.has('dir_a'), True)
214
 
        self.assertEqual(t.has('dir_b'), False)
215
 
 
216
 
        if self.readonly:
217
 
            self.assertRaises(TransportNotPossible,
218
 
                    t.mkdir, 'dir_b')
219
 
            os.mkdir('dir_b')
220
 
        else:
221
 
            t.mkdir('dir_b')
222
 
        self.assertEqual(t.has('dir_b'), True)
223
 
        self.assert_(os.path.isdir('dir_b'))
224
 
 
225
 
        if self.readonly:
226
 
            self.assertRaises(TransportNotPossible,
227
 
                    t.mkdir_multi, ['dir_c', 'dir_d'])
228
 
            os.mkdir('dir_c')
229
 
            os.mkdir('dir_d')
230
 
        else:
231
 
            t.mkdir_multi(['dir_c', 'dir_d'])
232
 
 
233
 
        if self.readonly:
234
 
            self.assertRaises(TransportNotPossible,
235
 
                    t.mkdir_multi, iter(['dir_e', 'dir_f']))
236
 
            os.mkdir('dir_e')
237
 
            os.mkdir('dir_f')
238
 
        else:
239
 
            t.mkdir_multi(iter(['dir_e', 'dir_f']))
240
 
        self.assertEqual(list(t.has_multi(
241
 
            ['dir_a', 'dir_b', 'dir_c', 'dir_q',
242
 
             'dir_d', 'dir_e', 'dir_f', 'dir_b'])),
243
 
            [True, True, True, False,
244
 
             True, True, True, True])
245
 
        for d in ['dir_a', 'dir_b', 'dir_c', 'dir_d', 'dir_e', 'dir_f']:
246
 
            self.assert_(os.path.isdir(d))
247
 
 
248
 
        if not self.readonly:
249
 
            self.assertRaises(NoSuchFile, t.mkdir, 'path/doesnt/exist')
250
 
            self.assertRaises(FileExists, t.mkdir, 'dir_a') # Creating a directory again should fail
251
 
 
252
 
        # Make sure the transport recognizes when a
253
 
        # directory is created by other means
254
 
        # Caching Transports will fail, because dir_e was already seen not
255
 
        # to exist. So instead, we will search for a new directory
256
 
        #os.mkdir('dir_e')
257
 
        #if not self.readonly:
258
 
        #    self.assertRaises(FileExists, t.mkdir, 'dir_e')
259
 
 
260
 
        os.mkdir('dir_g')
261
 
        if not self.readonly:
262
 
            self.assertRaises(FileExists, t.mkdir, 'dir_g')
263
 
 
264
 
        # Test get/put in sub-directories
265
 
        if self.readonly:
266
 
            open('dir_a/a', 'wb').write('contents of dir_a/a')
267
 
            open('dir_b/b', 'wb').write('contents of dir_b/b')
268
 
        else:
269
 
            self.assertEqual(
270
 
                t.put_multi([('dir_a/a', 'contents of dir_a/a'),
271
 
                             ('dir_b/b', 'contents of dir_b/b')])
272
 
                          , 2)
273
 
        for f in ('dir_a/a', 'dir_b/b'):
274
 
            self.assertEqual(t.get(f).read(), open(f).read())
275
 
 
276
 
    def test_copy_to(self):
277
 
        import tempfile
278
 
        from bzrlib.transport.local import LocalTransport
279
 
 
280
 
        t = self.get_transport()
281
 
 
282
 
        files = ['a', 'b', 'c', 'd']
283
 
        self.build_tree(files)
284
 
 
285
 
        dtmp = tempfile.mkdtemp(dir='.', prefix='test-transport-')
286
 
        dtmp_base = os.path.basename(dtmp)
287
 
        local_t = LocalTransport(dtmp)
288
 
 
289
 
        t.copy_to(files, local_t)
290
 
        for f in files:
291
 
            self.assertEquals(open(f).read(),
292
 
                    open(os.path.join(dtmp_base, f)).read())
293
 
 
294
 
        del dtmp, dtmp_base, local_t
295
 
 
296
 
        dtmp = tempfile.mkdtemp(dir='.', prefix='test-transport-')
297
 
        dtmp_base = os.path.basename(dtmp)
298
 
        local_t = LocalTransport(dtmp)
299
 
 
300
 
        files = ['a', 'b', 'c', 'd']
301
 
        t.copy_to(iter(files), local_t)
302
 
        for f in files:
303
 
            self.assertEquals(open(f).read(),
304
 
                    open(os.path.join(dtmp_base, f)).read())
305
 
 
306
 
        del dtmp, dtmp_base, local_t
307
 
 
308
 
    def test_append(self):
309
 
        t = self.get_transport()
310
 
 
311
 
        if self.readonly:
312
 
            open('a', 'wb').write('diff\ncontents for\na\n')
313
 
            open('b', 'wb').write('contents\nfor b\n')
314
 
        else:
315
 
            t.put_multi([
316
 
                    ('a', 'diff\ncontents for\na\n'),
317
 
                    ('b', 'contents\nfor b\n')
318
 
                    ])
319
 
 
320
 
        if self.readonly:
321
 
            self.assertRaises(TransportNotPossible,
322
 
                    t.append, 'a', 'add\nsome\nmore\ncontents\n')
323
 
            _append('a', 'add\nsome\nmore\ncontents\n')
324
 
        else:
325
 
            t.append('a', 'add\nsome\nmore\ncontents\n')
326
 
 
327
 
        self.check_file_contents('a', 
328
 
            'diff\ncontents for\na\nadd\nsome\nmore\ncontents\n')
329
 
 
330
 
        if self.readonly:
331
 
            self.assertRaises(TransportNotPossible,
332
 
                    t.append_multi,
333
 
                        [('a', 'and\nthen\nsome\nmore\n'),
334
 
                         ('b', 'some\nmore\nfor\nb\n')])
335
 
            _append('a', 'and\nthen\nsome\nmore\n')
336
 
            _append('b', 'some\nmore\nfor\nb\n')
337
 
        else:
338
 
            t.append_multi([('a', 'and\nthen\nsome\nmore\n'),
339
 
                    ('b', 'some\nmore\nfor\nb\n')])
340
 
        self.check_file_contents('a', 
341
 
            'diff\ncontents for\na\n'
342
 
            'add\nsome\nmore\ncontents\n'
343
 
            'and\nthen\nsome\nmore\n')
344
 
        self.check_file_contents('b', 
345
 
                'contents\nfor b\n'
346
 
                'some\nmore\nfor\nb\n')
347
 
 
348
 
        if self.readonly:
349
 
            _append('a', 'a little bit more\n')
350
 
            _append('b', 'from an iterator\n')
351
 
        else:
352
 
            t.append_multi(iter([('a', 'a little bit more\n'),
353
 
                    ('b', 'from an iterator\n')]))
354
 
        self.check_file_contents('a', 
355
 
            'diff\ncontents for\na\n'
356
 
            'add\nsome\nmore\ncontents\n'
357
 
            'and\nthen\nsome\nmore\n'
358
 
            'a little bit more\n')
359
 
        self.check_file_contents('b', 
360
 
                'contents\nfor b\n'
361
 
                'some\nmore\nfor\nb\n'
362
 
                'from an iterator\n')
363
 
 
364
 
    def test_append_file(self):
365
 
        t = self.get_transport()
366
 
 
367
 
        contents = [
368
 
            ('f1', 'this is a string\nand some more stuff\n'),
369
 
            ('f2', 'here is some text\nand a bit more\n'),
370
 
            ('f3', 'some text for the\nthird file created\n'),
371
 
            ('f4', 'this is a string\nand some more stuff\n'),
372
 
            ('f5', 'here is some text\nand a bit more\n'),
373
 
            ('f6', 'some text for the\nthird file created\n')
374
 
        ]
375
 
        
376
 
        if self.readonly:
377
 
            for f, val in contents:
378
 
                open(f, 'wb').write(val)
379
 
        else:
380
 
            t.put_multi(contents)
381
 
 
382
 
        a1 = StringIO('appending to\none\n')
383
 
        if self.readonly:
384
 
            _append('f1', a1.read())
385
 
        else:
386
 
            t.append('f1', a1)
387
 
 
388
 
        del a1
389
 
 
390
 
        self.check_file_contents('f1', 
391
 
                'this is a string\nand some more stuff\n'
392
 
                'appending to\none\n')
393
 
 
394
 
        a2 = StringIO('adding more\ntext to two\n')
395
 
        a3 = StringIO('some garbage\nto put in three\n')
396
 
 
397
 
        if self.readonly:
398
 
            _append('f2', a2.read())
399
 
            _append('f3', a3.read())
400
 
        else:
401
 
            t.append_multi([('f2', a2), ('f3', a3)])
402
 
 
403
 
        del a2, a3
404
 
 
405
 
        self.check_file_contents('f2',
406
 
                'here is some text\nand a bit more\n'
407
 
                'adding more\ntext to two\n')
408
 
        self.check_file_contents('f3', 
409
 
                'some text for the\nthird file created\n'
410
 
                'some garbage\nto put in three\n')
411
 
 
412
 
        # Test that an actual file object can be used with put
413
 
        a4 = open('f1', 'rb')
414
 
        if self.readonly:
415
 
            _append('f4', a4.read())
416
 
        else:
417
 
            t.append('f4', a4)
418
 
 
419
 
        del a4
420
 
 
421
 
        self.check_file_contents('f4', 
422
 
                'this is a string\nand some more stuff\n'
423
 
                'this is a string\nand some more stuff\n'
424
 
                'appending to\none\n')
425
 
 
426
 
        a5 = open('f2', 'rb')
427
 
        a6 = open('f3', 'rb')
428
 
        if self.readonly:
429
 
            _append('f5', a5.read())
430
 
            _append('f6', a6.read())
431
 
        else:
432
 
            t.append_multi([('f5', a5), ('f6', a6)])
433
 
 
434
 
        del a5, a6
435
 
 
436
 
        self.check_file_contents('f5',
437
 
                'here is some text\nand a bit more\n'
438
 
                'here is some text\nand a bit more\n'
439
 
                'adding more\ntext to two\n')
440
 
        self.check_file_contents('f6',
441
 
                'some text for the\nthird file created\n'
442
 
                'some text for the\nthird file created\n'
443
 
                'some garbage\nto put in three\n')
444
 
 
445
 
    def test_delete(self):
446
 
        # TODO: Test Transport.delete
447
 
        pass
448
 
 
449
 
    def test_move(self):
450
 
        # TODO: Test Transport.move
451
 
        pass
452
 
 
453
 
 
454
 
class LocalTransportTest(TestCaseInTempDir, TestTransportMixIn):
455
 
    def get_transport(self):
456
 
        from bzrlib.transport.local import LocalTransport
457
 
        return LocalTransport('.')
458
 
 
459
 
 
460
 
class HttpTransportTest(TestCaseWithWebserver, TestTransportMixIn):
461
 
 
462
 
    readonly = True
463
 
 
464
 
    def get_transport(self):
465
 
        from bzrlib.transport.http import HttpTransport
466
 
        url = self.get_remote_url('.')
467
 
        return HttpTransport(url)
 
46
    def test__get_set_protocol_handlers(self):
 
47
        handlers = _get_protocol_handlers()
 
48
        self.assertNotEqual({}, handlers)
 
49
        try:
 
50
            _set_protocol_handlers({})
 
51
            self.assertEqual({}, _get_protocol_handlers())
 
52
        finally:
 
53
            _set_protocol_handlers(handlers)
 
54
 
 
55
    def test_get_transport_modules(self):
 
56
        handlers = _get_protocol_handlers()
 
57
        class SampleHandler(object):
 
58
            """I exist, isnt that enough?"""
 
59
        try:
 
60
            my_handlers = {}
 
61
            _set_protocol_handlers(my_handlers)
 
62
            register_lazy_transport('foo', 'bzrlib.tests.test_transport', 'TestTransport.SampleHandler')
 
63
            register_lazy_transport('bar', 'bzrlib.tests.test_transport', 'TestTransport.SampleHandler')
 
64
            self.assertEqual([SampleHandler.__module__],
 
65
                             _get_transport_modules())
 
66
        finally:
 
67
            _set_protocol_handlers(handlers)
 
68
 
 
69
    def test_transport_dependency(self):
 
70
        """Transport with missing dependency causes no error"""
 
71
        saved_handlers = _get_protocol_handlers()
 
72
        try:
 
73
            register_lazy_transport('foo', 'bzrlib.tests.test_transport',
 
74
                    'BadTransportHandler')
 
75
            try:
 
76
                get_transport('foo://fooserver/foo')
 
77
            except UnsupportedProtocol, e:
 
78
                e_str = str(e)
 
79
                self.assertEquals('Unsupported protocol'
 
80
                                  ' for url "foo://fooserver/foo":'
 
81
                                  ' Unable to import library "some_lib":'
 
82
                                  ' testing missing dependency', str(e))
 
83
            else:
 
84
                self.fail('Did not raise UnsupportedProtocol')
 
85
        finally:
 
86
            # restore original values
 
87
            _set_protocol_handlers(saved_handlers)
 
88
            
 
89
    def test_transport_fallback(self):
 
90
        """Transport with missing dependency causes no error"""
 
91
        saved_handlers = _get_protocol_handlers()
 
92
        try:
 
93
            _set_protocol_handlers({})
 
94
            register_lazy_transport('foo', 'bzrlib.tests.test_transport',
 
95
                    'BackupTransportHandler')
 
96
            register_lazy_transport('foo', 'bzrlib.tests.test_transport',
 
97
                    'BadTransportHandler')
 
98
            t = get_transport('foo://fooserver/foo')
 
99
            self.assertTrue(isinstance(t, BackupTransportHandler))
 
100
        finally:
 
101
            _set_protocol_handlers(saved_handlers)
 
102
 
 
103
 
 
104
class TestCoalesceOffsets(TestCase):
 
105
    
 
106
    def check(self, expected, offsets, limit=0, fudge=0):
 
107
        coalesce = Transport._coalesce_offsets
 
108
        exp = [_CoalescedOffset(*x) for x in expected]
 
109
        out = list(coalesce(offsets, limit=limit, fudge_factor=fudge))
 
110
        self.assertEqual(exp, out)
 
111
 
 
112
    def test_coalesce_empty(self):
 
113
        self.check([], [])
 
114
 
 
115
    def test_coalesce_simple(self):
 
116
        self.check([(0, 10, [(0, 10)])], [(0, 10)])
 
117
 
 
118
    def test_coalesce_unrelated(self):
 
119
        self.check([(0, 10, [(0, 10)]),
 
120
                    (20, 10, [(0, 10)]),
 
121
                   ], [(0, 10), (20, 10)])
 
122
            
 
123
    def test_coalesce_unsorted(self):
 
124
        self.check([(20, 10, [(0, 10)]),
 
125
                    (0, 10, [(0, 10)]),
 
126
                   ], [(20, 10), (0, 10)])
 
127
 
 
128
    def test_coalesce_nearby(self):
 
129
        self.check([(0, 20, [(0, 10), (10, 10)])],
 
130
                   [(0, 10), (10, 10)])
 
131
 
 
132
    def test_coalesce_overlapped(self):
 
133
        self.check([(0, 15, [(0, 10), (5, 10)])],
 
134
                   [(0, 10), (5, 10)])
 
135
 
 
136
    def test_coalesce_limit(self):
 
137
        self.check([(10, 50, [(0, 10), (10, 10), (20, 10),
 
138
                              (30, 10), (40, 10)]),
 
139
                    (60, 50, [(0, 10), (10, 10), (20, 10),
 
140
                              (30, 10), (40, 10)]),
 
141
                   ], [(10, 10), (20, 10), (30, 10), (40, 10),
 
142
                       (50, 10), (60, 10), (70, 10), (80, 10),
 
143
                       (90, 10), (100, 10)],
 
144
                    limit=5)
 
145
 
 
146
    def test_coalesce_no_limit(self):
 
147
        self.check([(10, 100, [(0, 10), (10, 10), (20, 10),
 
148
                               (30, 10), (40, 10), (50, 10),
 
149
                               (60, 10), (70, 10), (80, 10),
 
150
                               (90, 10)]),
 
151
                   ], [(10, 10), (20, 10), (30, 10), (40, 10),
 
152
                       (50, 10), (60, 10), (70, 10), (80, 10),
 
153
                       (90, 10), (100, 10)])
 
154
 
 
155
    def test_coalesce_fudge(self):
 
156
        self.check([(10, 30, [(0, 10), (20, 10)]),
 
157
                    (100, 10, [(0, 10),]),
 
158
                   ], [(10, 10), (30, 10), (100, 10)],
 
159
                   fudge=10
 
160
                  )
468
161
 
469
162
 
470
163
class TestMemoryTransport(TestCase):
471
164
 
472
165
    def test_get_transport(self):
473
 
        memory.MemoryTransport()
 
166
        MemoryTransport()
474
167
 
475
168
    def test_clone(self):
476
 
        transport = memory.MemoryTransport()
477
 
        self.failUnless(transport.clone() is transport)
 
169
        transport = MemoryTransport()
 
170
        self.assertTrue(isinstance(transport, MemoryTransport))
478
171
 
479
172
    def test_abspath(self):
480
 
        transport = memory.MemoryTransport()
481
 
        self.assertEqual("in-memory:relpath", transport.abspath('relpath'))
 
173
        transport = MemoryTransport()
 
174
        self.assertEqual("memory:///relpath", transport.abspath('relpath'))
482
175
 
483
176
    def test_relpath(self):
484
 
        transport = memory.MemoryTransport()
 
177
        transport = MemoryTransport()
485
178
 
486
179
    def test_append_and_get(self):
487
 
        transport = memory.MemoryTransport()
 
180
        transport = MemoryTransport()
488
181
        transport.append('path', StringIO('content'))
489
182
        self.assertEqual(transport.get('path').read(), 'content')
490
183
        transport.append('path', StringIO('content'))
491
184
        self.assertEqual(transport.get('path').read(), 'contentcontent')
492
185
 
493
186
    def test_put_and_get(self):
494
 
        transport = memory.MemoryTransport()
 
187
        transport = MemoryTransport()
495
188
        transport.put('path', StringIO('content'))
496
189
        self.assertEqual(transport.get('path').read(), 'content')
497
190
        transport.put('path', StringIO('content'))
498
191
        self.assertEqual(transport.get('path').read(), 'content')
499
192
 
500
193
    def test_append_without_dir_fails(self):
501
 
        transport = memory.MemoryTransport()
 
194
        transport = MemoryTransport()
502
195
        self.assertRaises(NoSuchFile,
503
196
                          transport.append, 'dir/path', StringIO('content'))
504
197
 
505
198
    def test_put_without_dir_fails(self):
506
 
        transport = memory.MemoryTransport()
 
199
        transport = MemoryTransport()
507
200
        self.assertRaises(NoSuchFile,
508
201
                          transport.put, 'dir/path', StringIO('content'))
509
202
 
510
203
    def test_get_missing(self):
511
 
        transport = memory.MemoryTransport()
 
204
        transport = MemoryTransport()
512
205
        self.assertRaises(NoSuchFile, transport.get, 'foo')
513
206
 
514
207
    def test_has_missing(self):
515
 
        transport = memory.MemoryTransport()
 
208
        transport = MemoryTransport()
516
209
        self.assertEquals(False, transport.has('foo'))
517
210
 
518
211
    def test_has_present(self):
519
 
        transport = memory.MemoryTransport()
 
212
        transport = MemoryTransport()
520
213
        transport.append('foo', StringIO('content'))
521
214
        self.assertEquals(True, transport.has('foo'))
522
215
 
523
216
    def test_mkdir(self):
524
 
        transport = memory.MemoryTransport()
 
217
        transport = MemoryTransport()
525
218
        transport.mkdir('dir')
526
219
        transport.append('dir/path', StringIO('content'))
527
220
        self.assertEqual(transport.get('dir/path').read(), 'content')
528
221
 
529
222
    def test_mkdir_missing_parent(self):
530
 
        transport = memory.MemoryTransport()
 
223
        transport = MemoryTransport()
531
224
        self.assertRaises(NoSuchFile,
532
225
                          transport.mkdir, 'dir/dir')
533
226
 
534
227
    def test_mkdir_twice(self):
535
 
        transport = memory.MemoryTransport()
 
228
        transport = MemoryTransport()
536
229
        transport.mkdir('dir')
537
230
        self.assertRaises(FileExists, transport.mkdir, 'dir')
538
231
 
539
232
    def test_parameters(self):
540
 
        transport = memory.MemoryTransport()
 
233
        transport = MemoryTransport()
541
234
        self.assertEqual(True, transport.listable())
542
235
        self.assertEqual(False, transport.should_cache())
 
236
        self.assertEqual(False, transport.is_readonly())
543
237
 
544
238
    def test_iter_files_recursive(self):
545
 
        transport = memory.MemoryTransport()
 
239
        transport = MemoryTransport()
546
240
        transport.mkdir('dir')
547
241
        transport.put('dir/foo', StringIO('content'))
548
242
        transport.put('dir/bar', StringIO('content'))
551
245
        self.assertEqual(set(['dir/foo', 'dir/bar', 'bar']), paths)
552
246
 
553
247
    def test_stat(self):
554
 
        transport = memory.MemoryTransport()
 
248
        transport = MemoryTransport()
555
249
        transport.put('foo', StringIO('content'))
556
250
        transport.put('bar', StringIO('phowar'))
557
251
        self.assertEqual(7, transport.stat('foo').st_size)
558
252
        self.assertEqual(6, transport.stat('bar').st_size)
559
 
        
 
253
 
 
254
        
 
255
class ReadonlyDecoratorTransportTest(TestCase):
 
256
    """Readonly decoration specific tests."""
 
257
 
 
258
    def test_local_parameters(self):
 
259
        import bzrlib.transport.readonly as readonly
 
260
        # connect to . in readonly mode
 
261
        transport = readonly.ReadonlyTransportDecorator('readonly+.')
 
262
        self.assertEqual(True, transport.listable())
 
263
        self.assertEqual(False, transport.should_cache())
 
264
        self.assertEqual(True, transport.is_readonly())
 
265
 
 
266
    def test_http_parameters(self):
 
267
        import bzrlib.transport.readonly as readonly
 
268
        from bzrlib.transport.http import HttpServer
 
269
        # connect to . via http which is not listable
 
270
        server = HttpServer()
 
271
        server.setUp()
 
272
        try:
 
273
            transport = get_transport('readonly+' + server.get_url())
 
274
            self.failUnless(isinstance(transport,
 
275
                                       readonly.ReadonlyTransportDecorator))
 
276
            self.assertEqual(False, transport.listable())
 
277
            self.assertEqual(True, transport.should_cache())
 
278
            self.assertEqual(True, transport.is_readonly())
 
279
        finally:
 
280
            server.tearDown()
 
281
 
 
282
 
 
283
class FakeNFSDecoratorTests(TestCaseInTempDir):
 
284
    """NFS decorator specific tests."""
 
285
 
 
286
    def get_nfs_transport(self, url):
 
287
        import bzrlib.transport.fakenfs as fakenfs
 
288
        # connect to url with nfs decoration
 
289
        return fakenfs.FakeNFSTransportDecorator('fakenfs+' + url)
 
290
 
 
291
    def test_local_parameters(self):
 
292
        # the listable, should_cache and is_readonly parameters
 
293
        # are not changed by the fakenfs decorator
 
294
        transport = self.get_nfs_transport('.')
 
295
        self.assertEqual(True, transport.listable())
 
296
        self.assertEqual(False, transport.should_cache())
 
297
        self.assertEqual(False, transport.is_readonly())
 
298
 
 
299
    def test_http_parameters(self):
 
300
        # the listable, should_cache and is_readonly parameters
 
301
        # are not changed by the fakenfs decorator
 
302
        from bzrlib.transport.http import HttpServer
 
303
        # connect to . via http which is not listable
 
304
        server = HttpServer()
 
305
        server.setUp()
 
306
        try:
 
307
            transport = self.get_nfs_transport(server.get_url())
 
308
            self.assertIsInstance(
 
309
                transport, bzrlib.transport.fakenfs.FakeNFSTransportDecorator)
 
310
            self.assertEqual(False, transport.listable())
 
311
            self.assertEqual(True, transport.should_cache())
 
312
            self.assertEqual(True, transport.is_readonly())
 
313
        finally:
 
314
            server.tearDown()
 
315
 
 
316
    def test_fakenfs_server_default(self):
 
317
        # a FakeNFSServer() should bring up a local relpath server for itself
 
318
        import bzrlib.transport.fakenfs as fakenfs
 
319
        server = fakenfs.FakeNFSServer()
 
320
        server.setUp()
 
321
        try:
 
322
            # the server should be a relpath localhost server
 
323
            self.assertEqual(server.get_url(), 'fakenfs+.')
 
324
            # and we should be able to get a transport for it
 
325
            transport = get_transport(server.get_url())
 
326
            # which must be a FakeNFSTransportDecorator instance.
 
327
            self.assertIsInstance(
 
328
                transport, fakenfs.FakeNFSTransportDecorator)
 
329
        finally:
 
330
            server.tearDown()
 
331
 
 
332
    def test_fakenfs_rename_semantics(self):
 
333
        # a FakeNFS transport must mangle the way rename errors occur to
 
334
        # look like NFS problems.
 
335
        transport = self.get_nfs_transport('.')
 
336
        self.build_tree(['from/', 'from/foo', 'to/', 'to/bar'],
 
337
                        transport=transport)
 
338
        self.assertRaises(bzrlib.errors.ResourceBusy,
 
339
                          transport.rename, 'from', 'to')
 
340
 
 
341
 
 
342
class FakeVFATDecoratorTests(TestCaseInTempDir):
 
343
    """Tests for simulation of VFAT restrictions"""
 
344
 
 
345
    def get_vfat_transport(self, url):
 
346
        """Return vfat-backed transport for test directory"""
 
347
        from bzrlib.transport.fakevfat import FakeVFATTransportDecorator
 
348
        return FakeVFATTransportDecorator('vfat+' + url)
 
349
 
 
350
    def test_transport_creation(self):
 
351
        from bzrlib.transport.fakevfat import FakeVFATTransportDecorator
 
352
        transport = self.get_vfat_transport('.')
 
353
        self.assertIsInstance(transport, FakeVFATTransportDecorator)
 
354
 
 
355
    def test_transport_mkdir(self):
 
356
        transport = self.get_vfat_transport('.')
 
357
        transport.mkdir('HELLO')
 
358
        self.assertTrue(transport.has('hello'))
 
359
        self.assertTrue(transport.has('Hello'))
 
360
 
 
361
    def test_forbidden_chars(self):
 
362
        transport = self.get_vfat_transport('.')
 
363
        self.assertRaises(ValueError, transport.has, "<NU>")
 
364
 
 
365
 
 
366
class BadTransportHandler(Transport):
 
367
    def __init__(self, base_url):
 
368
        raise DependencyNotPresent('some_lib', 'testing missing dependency')
 
369
 
 
370
 
 
371
class BackupTransportHandler(Transport):
 
372
    """Test transport that works as a backup for the BadTransportHandler"""
 
373
    pass
 
374
 
 
375
 
 
376
class TestTransportImplementation(TestCaseInTempDir):
 
377
    """Implementation verification for transports.
 
378
    
 
379
    To verify a transport we need a server factory, which is a callable
 
380
    that accepts no parameters and returns an implementation of
 
381
    bzrlib.transport.Server.
 
382
    
 
383
    That Server is then used to construct transport instances and test
 
384
    the transport via loopback activity.
 
385
 
 
386
    Currently this assumes that the Transport object is connected to the 
 
387
    current working directory.  So that whatever is done 
 
388
    through the transport, should show up in the working 
 
389
    directory, and vice-versa. This is a bug, because its possible to have
 
390
    URL schemes which provide access to something that may not be 
 
391
    result in storage on the local disk, i.e. due to file system limits, or 
 
392
    due to it being a database or some other non-filesystem tool.
 
393
 
 
394
    This also tests to make sure that the functions work with both
 
395
    generators and lists (assuming iter(list) is effectively a generator)
 
396
    """
 
397
    
 
398
    def setUp(self):
 
399
        super(TestTransportImplementation, self).setUp()
 
400
        self._server = self.transport_server()
 
401
        self._server.setUp()
 
402
 
 
403
    def tearDown(self):
 
404
        super(TestTransportImplementation, self).tearDown()
 
405
        self._server.tearDown()
 
406
        
 
407
    def get_transport(self):
 
408
        """Return a connected transport to the local directory."""
 
409
        base_url = self._server.get_url()
 
410
        # try getting the transport via the regular interface:
 
411
        t = get_transport(base_url)
 
412
        if not isinstance(t, self.transport_class): 
 
413
            # we did not get the correct transport class type. Override the
 
414
            # regular connection behaviour by direct construction.
 
415
            t = self.transport_class(base_url)
 
416
        return t