~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_transport.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2006-10-02 00:43:10 UTC
  • mfrom: (2057.1.1 bzr.dev)
  • Revision ID: pqm@pqm.ubuntu.com-20061002004310-6e09ddd7fd28f71c
Merge in 0.11 NEWS entry.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2004, 2005 by Canonical Ltd
2
 
 
 
1
# Copyright (C) 2004, 2005, 2006 by Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
 
18
18
import os
 
19
import sys
 
20
import stat
19
21
from cStringIO import StringIO
20
22
 
21
 
from bzrlib.errors import NoSuchFile, FileExists, TransportNotPossible
22
 
from bzrlib.selftest import TestCase, TestCaseInTempDir
23
 
from bzrlib.selftest.HTTPTestUtil import TestCaseWithWebserver
24
 
from bzrlib.transport import memory, urlescape
25
 
 
26
 
 
27
 
def _append(fn, txt):
28
 
    """Append the given text (file-like object) to the supplied filename."""
29
 
    f = open(fn, 'ab')
30
 
    f.write(txt)
31
 
    f.flush()
32
 
    f.close()
33
 
    del f
 
23
import bzrlib
 
24
from bzrlib.errors import (NoSuchFile, FileExists,
 
25
                           TransportNotPossible,
 
26
                           ConnectionError,
 
27
                           DependencyNotPresent,
 
28
                           UnsupportedProtocol,
 
29
                           )
 
30
from bzrlib.tests import TestCase, TestCaseInTempDir
 
31
from bzrlib.transport import (_CoalescedOffset,
 
32
                              _get_protocol_handlers,
 
33
                              _get_transport_modules,
 
34
                              get_transport,
 
35
                              register_lazy_transport,
 
36
                              _set_protocol_handlers,
 
37
                              Transport,
 
38
                              )
 
39
from bzrlib.transport.memory import MemoryTransport
 
40
from bzrlib.transport.local import LocalTransport
 
41
 
34
42
 
35
43
class TestTransport(TestCase):
36
44
    """Test the non transport-concrete class functionality."""
37
45
 
38
 
    def test_urlescape(self):
39
 
        self.assertEqual('%25', urlescape('%'))
40
 
 
41
 
 
42
 
class TestTransportMixIn(object):
43
 
    """Subclass this, and it will provide a series of tests for a Transport.
44
 
    It assumes that the Transport object is connected to the 
45
 
    current working directory.  So that whatever is done 
46
 
    through the transport, should show up in the working 
47
 
    directory, and vice-versa.
48
 
 
49
 
    This also tests to make sure that the functions work with both
50
 
    generators and lists (assuming iter(list) is effectively a generator)
51
 
    """
52
 
    readonly = False
53
 
    def get_transport(self):
54
 
        """Children should override this to return the Transport object.
55
 
        """
56
 
        raise NotImplementedError
57
 
 
58
 
    def test_has(self):
59
 
        t = self.get_transport()
60
 
 
61
 
        files = ['a', 'b', 'e', 'g', '%']
62
 
        self.build_tree(files)
63
 
        self.assertEqual(t.has('a'), True)
64
 
        self.assertEqual(t.has('c'), False)
65
 
        self.assertEqual(t.has(urlescape('%')), True)
66
 
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])),
67
 
                [True, True, False, False, True, False, True, False])
68
 
        self.assertEqual(list(t.has_multi(iter(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']))),
69
 
                [True, True, False, False, True, False, True, False])
70
 
 
71
 
    def test_get(self):
72
 
        t = self.get_transport()
73
 
 
74
 
        files = ['a', 'b', 'e', 'g']
75
 
        self.build_tree(files)
76
 
        self.assertEqual(t.get('a').read(), open('a').read())
77
 
        content_f = t.get_multi(files)
78
 
        for path,f in zip(files, content_f):
79
 
            self.assertEqual(open(path).read(), f.read())
80
 
 
81
 
        content_f = t.get_multi(iter(files))
82
 
        for path,f in zip(files, content_f):
83
 
            self.assertEqual(open(path).read(), f.read())
84
 
 
85
 
        self.assertRaises(NoSuchFile, t.get, 'c')
86
 
        try:
87
 
            files = list(t.get_multi(['a', 'b', 'c']))
88
 
        except NoSuchFile:
89
 
            pass
90
 
        else:
91
 
            self.fail('Failed to raise NoSuchFile for missing file in get_multi')
92
 
        try:
93
 
            files = list(t.get_multi(iter(['a', 'b', 'c', 'e'])))
94
 
        except NoSuchFile:
95
 
            pass
96
 
        else:
97
 
            self.fail('Failed to raise NoSuchFile for missing file in get_multi')
98
 
 
99
 
    def test_put(self):
100
 
        t = self.get_transport()
101
 
 
102
 
        if self.readonly:
103
 
            self.assertRaises(TransportNotPossible,
104
 
                    t.put, 'a', 'some text for a\n')
105
 
            open('a', 'wb').write('some text for a\n')
106
 
        else:
107
 
            t.put('a', 'some text for a\n')
108
 
        self.assert_(os.path.exists('a'))
109
 
        self.check_file_contents('a', 'some text for a\n')
110
 
        self.assertEqual(t.get('a').read(), 'some text for a\n')
111
 
        # Make sure 'has' is updated
112
 
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e'])),
113
 
                [True, False, False, False, False])
114
 
        if self.readonly:
115
 
            self.assertRaises(TransportNotPossible,
116
 
                    t.put_multi,
117
 
                    [('a', 'new\ncontents for\na\n'),
118
 
                        ('d', 'contents\nfor d\n')])
119
 
            open('a', 'wb').write('new\ncontents for\na\n')
120
 
            open('d', 'wb').write('contents\nfor d\n')
121
 
        else:
122
 
            # Put also replaces contents
123
 
            self.assertEqual(t.put_multi([('a', 'new\ncontents for\na\n'),
124
 
                                          ('d', 'contents\nfor d\n')]),
125
 
                             2)
126
 
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e'])),
127
 
                [True, False, False, True, False])
128
 
        self.check_file_contents('a', 'new\ncontents for\na\n')
129
 
        self.check_file_contents('d', 'contents\nfor d\n')
130
 
 
131
 
        if self.readonly:
132
 
            self.assertRaises(TransportNotPossible,
133
 
                t.put_multi, iter([('a', 'diff\ncontents for\na\n'),
134
 
                                  ('d', 'another contents\nfor d\n')]))
135
 
            open('a', 'wb').write('diff\ncontents for\na\n')
136
 
            open('d', 'wb').write('another contents\nfor d\n')
137
 
        else:
138
 
            self.assertEqual(
139
 
                t.put_multi(iter([('a', 'diff\ncontents for\na\n'),
140
 
                                  ('d', 'another contents\nfor d\n')]))
141
 
                             , 2)
142
 
        self.check_file_contents('a', 'diff\ncontents for\na\n')
143
 
        self.check_file_contents('d', 'another contents\nfor d\n')
144
 
 
145
 
        if self.readonly:
146
 
            self.assertRaises(TransportNotPossible,
147
 
                    t.put, 'path/doesnt/exist/c', 'contents')
148
 
        else:
149
 
            self.assertRaises(NoSuchFile,
150
 
                    t.put, 'path/doesnt/exist/c', 'contents')
151
 
 
152
 
    def test_put_file(self):
153
 
        t = self.get_transport()
154
 
 
155
 
        # Test that StringIO can be used as a file-like object with put
156
 
        f1 = StringIO('this is a string\nand some more stuff\n')
157
 
        if self.readonly:
158
 
            open('f1', 'wb').write(f1.read())
159
 
        else:
160
 
            t.put('f1', f1)
161
 
 
162
 
        del f1
163
 
 
164
 
        self.check_file_contents('f1', 
165
 
                'this is a string\nand some more stuff\n')
166
 
 
167
 
        f2 = StringIO('here is some text\nand a bit more\n')
168
 
        f3 = StringIO('some text for the\nthird file created\n')
169
 
 
170
 
        if self.readonly:
171
 
            open('f2', 'wb').write(f2.read())
172
 
            open('f3', 'wb').write(f3.read())
173
 
        else:
174
 
            t.put_multi([('f2', f2), ('f3', f3)])
175
 
 
176
 
        del f2, f3
177
 
 
178
 
        self.check_file_contents('f2', 'here is some text\nand a bit more\n')
179
 
        self.check_file_contents('f3', 'some text for the\nthird file created\n')
180
 
 
181
 
        # Test that an actual file object can be used with put
182
 
        f4 = open('f1', 'rb')
183
 
        if self.readonly:
184
 
            open('f4', 'wb').write(f4.read())
185
 
        else:
186
 
            t.put('f4', f4)
187
 
 
188
 
        del f4
189
 
 
190
 
        self.check_file_contents('f4', 
191
 
                'this is a string\nand some more stuff\n')
192
 
 
193
 
        f5 = open('f2', 'rb')
194
 
        f6 = open('f3', 'rb')
195
 
        if self.readonly:
196
 
            open('f5', 'wb').write(f5.read())
197
 
            open('f6', 'wb').write(f6.read())
198
 
        else:
199
 
            t.put_multi([('f5', f5), ('f6', f6)])
200
 
 
201
 
        del f5, f6
202
 
 
203
 
        self.check_file_contents('f5', 'here is some text\nand a bit more\n')
204
 
        self.check_file_contents('f6', 'some text for the\nthird file created\n')
205
 
 
206
 
 
207
 
 
208
 
    def test_mkdir(self):
209
 
        t = self.get_transport()
210
 
 
211
 
        # Test mkdir
212
 
        os.mkdir('dir_a')
213
 
        self.assertEqual(t.has('dir_a'), True)
214
 
        self.assertEqual(t.has('dir_b'), False)
215
 
 
216
 
        if self.readonly:
217
 
            self.assertRaises(TransportNotPossible,
218
 
                    t.mkdir, 'dir_b')
219
 
            os.mkdir('dir_b')
220
 
        else:
221
 
            t.mkdir('dir_b')
222
 
        self.assertEqual(t.has('dir_b'), True)
223
 
        self.assert_(os.path.isdir('dir_b'))
224
 
 
225
 
        if self.readonly:
226
 
            self.assertRaises(TransportNotPossible,
227
 
                    t.mkdir_multi, ['dir_c', 'dir_d'])
228
 
            os.mkdir('dir_c')
229
 
            os.mkdir('dir_d')
230
 
        else:
231
 
            t.mkdir_multi(['dir_c', 'dir_d'])
232
 
 
233
 
        if self.readonly:
234
 
            self.assertRaises(TransportNotPossible,
235
 
                    t.mkdir_multi, iter(['dir_e', 'dir_f']))
236
 
            os.mkdir('dir_e')
237
 
            os.mkdir('dir_f')
238
 
        else:
239
 
            t.mkdir_multi(iter(['dir_e', 'dir_f']))
240
 
        self.assertEqual(list(t.has_multi(
241
 
            ['dir_a', 'dir_b', 'dir_c', 'dir_q',
242
 
             'dir_d', 'dir_e', 'dir_f', 'dir_b'])),
243
 
            [True, True, True, False,
244
 
             True, True, True, True])
245
 
        for d in ['dir_a', 'dir_b', 'dir_c', 'dir_d', 'dir_e', 'dir_f']:
246
 
            self.assert_(os.path.isdir(d))
247
 
 
248
 
        if not self.readonly:
249
 
            self.assertRaises(NoSuchFile, t.mkdir, 'path/doesnt/exist')
250
 
            self.assertRaises(FileExists, t.mkdir, 'dir_a') # Creating a directory again should fail
251
 
 
252
 
        # Make sure the transport recognizes when a
253
 
        # directory is created by other means
254
 
        # Caching Transports will fail, because dir_e was already seen not
255
 
        # to exist. So instead, we will search for a new directory
256
 
        #os.mkdir('dir_e')
257
 
        #if not self.readonly:
258
 
        #    self.assertRaises(FileExists, t.mkdir, 'dir_e')
259
 
 
260
 
        os.mkdir('dir_g')
261
 
        if not self.readonly:
262
 
            self.assertRaises(FileExists, t.mkdir, 'dir_g')
263
 
 
264
 
        # Test get/put in sub-directories
265
 
        if self.readonly:
266
 
            open('dir_a/a', 'wb').write('contents of dir_a/a')
267
 
            open('dir_b/b', 'wb').write('contents of dir_b/b')
268
 
        else:
269
 
            self.assertEqual(
270
 
                t.put_multi([('dir_a/a', 'contents of dir_a/a'),
271
 
                             ('dir_b/b', 'contents of dir_b/b')])
272
 
                          , 2)
273
 
        for f in ('dir_a/a', 'dir_b/b'):
274
 
            self.assertEqual(t.get(f).read(), open(f).read())
275
 
 
276
 
    def test_copy_to(self):
277
 
        import tempfile
278
 
        from bzrlib.transport.local import LocalTransport
279
 
 
280
 
        t = self.get_transport()
281
 
 
282
 
        files = ['a', 'b', 'c', 'd']
283
 
        self.build_tree(files)
284
 
 
285
 
        dtmp = tempfile.mkdtemp(dir='.', prefix='test-transport-')
286
 
        dtmp_base = os.path.basename(dtmp)
287
 
        local_t = LocalTransport(dtmp)
288
 
 
289
 
        t.copy_to(files, local_t)
290
 
        for f in files:
291
 
            self.assertEquals(open(f).read(),
292
 
                    open(os.path.join(dtmp_base, f)).read())
293
 
 
294
 
        del dtmp, dtmp_base, local_t
295
 
 
296
 
        dtmp = tempfile.mkdtemp(dir='.', prefix='test-transport-')
297
 
        dtmp_base = os.path.basename(dtmp)
298
 
        local_t = LocalTransport(dtmp)
299
 
 
300
 
        files = ['a', 'b', 'c', 'd']
301
 
        t.copy_to(iter(files), local_t)
302
 
        for f in files:
303
 
            self.assertEquals(open(f).read(),
304
 
                    open(os.path.join(dtmp_base, f)).read())
305
 
 
306
 
        del dtmp, dtmp_base, local_t
307
 
 
308
 
    def test_append(self):
309
 
        t = self.get_transport()
310
 
 
311
 
        if self.readonly:
312
 
            open('a', 'wb').write('diff\ncontents for\na\n')
313
 
            open('b', 'wb').write('contents\nfor b\n')
314
 
        else:
315
 
            t.put_multi([
316
 
                    ('a', 'diff\ncontents for\na\n'),
317
 
                    ('b', 'contents\nfor b\n')
318
 
                    ])
319
 
 
320
 
        if self.readonly:
321
 
            self.assertRaises(TransportNotPossible,
322
 
                    t.append, 'a', 'add\nsome\nmore\ncontents\n')
323
 
            _append('a', 'add\nsome\nmore\ncontents\n')
324
 
        else:
325
 
            t.append('a', 'add\nsome\nmore\ncontents\n')
326
 
 
327
 
        self.check_file_contents('a', 
328
 
            'diff\ncontents for\na\nadd\nsome\nmore\ncontents\n')
329
 
 
330
 
        if self.readonly:
331
 
            self.assertRaises(TransportNotPossible,
332
 
                    t.append_multi,
333
 
                        [('a', 'and\nthen\nsome\nmore\n'),
334
 
                         ('b', 'some\nmore\nfor\nb\n')])
335
 
            _append('a', 'and\nthen\nsome\nmore\n')
336
 
            _append('b', 'some\nmore\nfor\nb\n')
337
 
        else:
338
 
            t.append_multi([('a', 'and\nthen\nsome\nmore\n'),
339
 
                    ('b', 'some\nmore\nfor\nb\n')])
340
 
        self.check_file_contents('a', 
341
 
            'diff\ncontents for\na\n'
342
 
            'add\nsome\nmore\ncontents\n'
343
 
            'and\nthen\nsome\nmore\n')
344
 
        self.check_file_contents('b', 
345
 
                'contents\nfor b\n'
346
 
                'some\nmore\nfor\nb\n')
347
 
 
348
 
        if self.readonly:
349
 
            _append('a', 'a little bit more\n')
350
 
            _append('b', 'from an iterator\n')
351
 
        else:
352
 
            t.append_multi(iter([('a', 'a little bit more\n'),
353
 
                    ('b', 'from an iterator\n')]))
354
 
        self.check_file_contents('a', 
355
 
            'diff\ncontents for\na\n'
356
 
            'add\nsome\nmore\ncontents\n'
357
 
            'and\nthen\nsome\nmore\n'
358
 
            'a little bit more\n')
359
 
        self.check_file_contents('b', 
360
 
                'contents\nfor b\n'
361
 
                'some\nmore\nfor\nb\n'
362
 
                'from an iterator\n')
363
 
 
364
 
    def test_append_file(self):
365
 
        t = self.get_transport()
366
 
 
367
 
        contents = [
368
 
            ('f1', 'this is a string\nand some more stuff\n'),
369
 
            ('f2', 'here is some text\nand a bit more\n'),
370
 
            ('f3', 'some text for the\nthird file created\n'),
371
 
            ('f4', 'this is a string\nand some more stuff\n'),
372
 
            ('f5', 'here is some text\nand a bit more\n'),
373
 
            ('f6', 'some text for the\nthird file created\n')
374
 
        ]
375
 
        
376
 
        if self.readonly:
377
 
            for f, val in contents:
378
 
                open(f, 'wb').write(val)
379
 
        else:
380
 
            t.put_multi(contents)
381
 
 
382
 
        a1 = StringIO('appending to\none\n')
383
 
        if self.readonly:
384
 
            _append('f1', a1.read())
385
 
        else:
386
 
            t.append('f1', a1)
387
 
 
388
 
        del a1
389
 
 
390
 
        self.check_file_contents('f1', 
391
 
                'this is a string\nand some more stuff\n'
392
 
                'appending to\none\n')
393
 
 
394
 
        a2 = StringIO('adding more\ntext to two\n')
395
 
        a3 = StringIO('some garbage\nto put in three\n')
396
 
 
397
 
        if self.readonly:
398
 
            _append('f2', a2.read())
399
 
            _append('f3', a3.read())
400
 
        else:
401
 
            t.append_multi([('f2', a2), ('f3', a3)])
402
 
 
403
 
        del a2, a3
404
 
 
405
 
        self.check_file_contents('f2',
406
 
                'here is some text\nand a bit more\n'
407
 
                'adding more\ntext to two\n')
408
 
        self.check_file_contents('f3', 
409
 
                'some text for the\nthird file created\n'
410
 
                'some garbage\nto put in three\n')
411
 
 
412
 
        # Test that an actual file object can be used with put
413
 
        a4 = open('f1', 'rb')
414
 
        if self.readonly:
415
 
            _append('f4', a4.read())
416
 
        else:
417
 
            t.append('f4', a4)
418
 
 
419
 
        del a4
420
 
 
421
 
        self.check_file_contents('f4', 
422
 
                'this is a string\nand some more stuff\n'
423
 
                'this is a string\nand some more stuff\n'
424
 
                'appending to\none\n')
425
 
 
426
 
        a5 = open('f2', 'rb')
427
 
        a6 = open('f3', 'rb')
428
 
        if self.readonly:
429
 
            _append('f5', a5.read())
430
 
            _append('f6', a6.read())
431
 
        else:
432
 
            t.append_multi([('f5', a5), ('f6', a6)])
433
 
 
434
 
        del a5, a6
435
 
 
436
 
        self.check_file_contents('f5',
437
 
                'here is some text\nand a bit more\n'
438
 
                'here is some text\nand a bit more\n'
439
 
                'adding more\ntext to two\n')
440
 
        self.check_file_contents('f6',
441
 
                'some text for the\nthird file created\n'
442
 
                'some text for the\nthird file created\n'
443
 
                'some garbage\nto put in three\n')
444
 
 
445
 
    def test_delete(self):
446
 
        # TODO: Test Transport.delete
447
 
        pass
448
 
 
449
 
    def test_move(self):
450
 
        # TODO: Test Transport.move
451
 
        pass
452
 
 
453
 
 
454
 
class LocalTransportTest(TestCaseInTempDir, TestTransportMixIn):
455
 
    def get_transport(self):
456
 
        from bzrlib.transport.local import LocalTransport
457
 
        return LocalTransport('.')
458
 
 
459
 
 
460
 
class HttpTransportTest(TestCaseWithWebserver, TestTransportMixIn):
461
 
 
462
 
    readonly = True
463
 
 
464
 
    def get_transport(self):
465
 
        from bzrlib.transport.http import HttpTransport
466
 
        url = self.get_remote_url('.')
467
 
        return HttpTransport(url)
 
46
    def test__get_set_protocol_handlers(self):
 
47
        handlers = _get_protocol_handlers()
 
48
        self.assertNotEqual({}, handlers)
 
49
        try:
 
50
            _set_protocol_handlers({})
 
51
            self.assertEqual({}, _get_protocol_handlers())
 
52
        finally:
 
53
            _set_protocol_handlers(handlers)
 
54
 
 
55
    def test_get_transport_modules(self):
 
56
        handlers = _get_protocol_handlers()
 
57
        class SampleHandler(object):
 
58
            """I exist, isnt that enough?"""
 
59
        try:
 
60
            my_handlers = {}
 
61
            _set_protocol_handlers(my_handlers)
 
62
            register_lazy_transport('foo', 'bzrlib.tests.test_transport', 'TestTransport.SampleHandler')
 
63
            register_lazy_transport('bar', 'bzrlib.tests.test_transport', 'TestTransport.SampleHandler')
 
64
            self.assertEqual([SampleHandler.__module__],
 
65
                             _get_transport_modules())
 
66
        finally:
 
67
            _set_protocol_handlers(handlers)
 
68
 
 
69
    def test_transport_dependency(self):
 
70
        """Transport with missing dependency causes no error"""
 
71
        saved_handlers = _get_protocol_handlers()
 
72
        try:
 
73
            register_lazy_transport('foo', 'bzrlib.tests.test_transport',
 
74
                    'BadTransportHandler')
 
75
            try:
 
76
                get_transport('foo://fooserver/foo')
 
77
            except UnsupportedProtocol, e:
 
78
                e_str = str(e)
 
79
                self.assertEquals('Unsupported protocol'
 
80
                                  ' for url "foo://fooserver/foo":'
 
81
                                  ' Unable to import library "some_lib":'
 
82
                                  ' testing missing dependency', str(e))
 
83
            else:
 
84
                self.fail('Did not raise UnsupportedProtocol')
 
85
        finally:
 
86
            # restore original values
 
87
            _set_protocol_handlers(saved_handlers)
 
88
            
 
89
    def test_transport_fallback(self):
 
90
        """Transport with missing dependency causes no error"""
 
91
        saved_handlers = _get_protocol_handlers()
 
92
        try:
 
93
            _set_protocol_handlers({})
 
94
            register_lazy_transport('foo', 'bzrlib.tests.test_transport',
 
95
                    'BackupTransportHandler')
 
96
            register_lazy_transport('foo', 'bzrlib.tests.test_transport',
 
97
                    'BadTransportHandler')
 
98
            t = get_transport('foo://fooserver/foo')
 
99
            self.assertTrue(isinstance(t, BackupTransportHandler))
 
100
        finally:
 
101
            _set_protocol_handlers(saved_handlers)
 
102
 
 
103
 
 
104
class TestCoalesceOffsets(TestCase):
 
105
    
 
106
    def check(self, expected, offsets, limit=0, fudge=0):
 
107
        coalesce = Transport._coalesce_offsets
 
108
        exp = [_CoalescedOffset(*x) for x in expected]
 
109
        out = list(coalesce(offsets, limit=limit, fudge_factor=fudge))
 
110
        self.assertEqual(exp, out)
 
111
 
 
112
    def test_coalesce_empty(self):
 
113
        self.check([], [])
 
114
 
 
115
    def test_coalesce_simple(self):
 
116
        self.check([(0, 10, [(0, 10)])], [(0, 10)])
 
117
 
 
118
    def test_coalesce_unrelated(self):
 
119
        self.check([(0, 10, [(0, 10)]),
 
120
                    (20, 10, [(0, 10)]),
 
121
                   ], [(0, 10), (20, 10)])
 
122
            
 
123
    def test_coalesce_unsorted(self):
 
124
        self.check([(20, 10, [(0, 10)]),
 
125
                    (0, 10, [(0, 10)]),
 
126
                   ], [(20, 10), (0, 10)])
 
127
 
 
128
    def test_coalesce_nearby(self):
 
129
        self.check([(0, 20, [(0, 10), (10, 10)])],
 
130
                   [(0, 10), (10, 10)])
 
131
 
 
132
    def test_coalesce_overlapped(self):
 
133
        self.check([(0, 15, [(0, 10), (5, 10)])],
 
134
                   [(0, 10), (5, 10)])
 
135
 
 
136
    def test_coalesce_limit(self):
 
137
        self.check([(10, 50, [(0, 10), (10, 10), (20, 10),
 
138
                              (30, 10), (40, 10)]),
 
139
                    (60, 50, [(0, 10), (10, 10), (20, 10),
 
140
                              (30, 10), (40, 10)]),
 
141
                   ], [(10, 10), (20, 10), (30, 10), (40, 10),
 
142
                       (50, 10), (60, 10), (70, 10), (80, 10),
 
143
                       (90, 10), (100, 10)],
 
144
                    limit=5)
 
145
 
 
146
    def test_coalesce_no_limit(self):
 
147
        self.check([(10, 100, [(0, 10), (10, 10), (20, 10),
 
148
                               (30, 10), (40, 10), (50, 10),
 
149
                               (60, 10), (70, 10), (80, 10),
 
150
                               (90, 10)]),
 
151
                   ], [(10, 10), (20, 10), (30, 10), (40, 10),
 
152
                       (50, 10), (60, 10), (70, 10), (80, 10),
 
153
                       (90, 10), (100, 10)])
 
154
 
 
155
    def test_coalesce_fudge(self):
 
156
        self.check([(10, 30, [(0, 10), (20, 10)]),
 
157
                    (100, 10, [(0, 10),]),
 
158
                   ], [(10, 10), (30, 10), (100, 10)],
 
159
                   fudge=10
 
160
                  )
468
161
 
469
162
 
470
163
class TestMemoryTransport(TestCase):
471
164
 
472
165
    def test_get_transport(self):
473
 
        memory.MemoryTransport()
 
166
        MemoryTransport()
474
167
 
475
168
    def test_clone(self):
476
 
        transport = memory.MemoryTransport()
477
 
        self.failUnless(transport.clone() is transport)
 
169
        transport = MemoryTransport()
 
170
        self.assertTrue(isinstance(transport, MemoryTransport))
 
171
        self.assertEqual("memory:///", transport.clone("/").base)
478
172
 
479
173
    def test_abspath(self):
480
 
        transport = memory.MemoryTransport()
481
 
        self.assertEqual("in-memory:relpath", transport.abspath('relpath'))
 
174
        transport = MemoryTransport()
 
175
        self.assertEqual("memory:///relpath", transport.abspath('relpath'))
 
176
 
 
177
    def test_abspath_of_root(self):
 
178
        transport = MemoryTransport()
 
179
        self.assertEqual("memory:///", transport.base)
 
180
        self.assertEqual("memory:///", transport.abspath('/'))
482
181
 
483
182
    def test_relpath(self):
484
 
        transport = memory.MemoryTransport()
 
183
        transport = MemoryTransport()
485
184
 
486
185
    def test_append_and_get(self):
487
 
        transport = memory.MemoryTransport()
488
 
        transport.append('path', StringIO('content'))
 
186
        transport = MemoryTransport()
 
187
        transport.append_bytes('path', 'content')
489
188
        self.assertEqual(transport.get('path').read(), 'content')
490
 
        transport.append('path', StringIO('content'))
 
189
        transport.append_file('path', StringIO('content'))
491
190
        self.assertEqual(transport.get('path').read(), 'contentcontent')
492
191
 
493
192
    def test_put_and_get(self):
494
 
        transport = memory.MemoryTransport()
495
 
        transport.put('path', StringIO('content'))
 
193
        transport = MemoryTransport()
 
194
        transport.put_file('path', StringIO('content'))
496
195
        self.assertEqual(transport.get('path').read(), 'content')
497
 
        transport.put('path', StringIO('content'))
 
196
        transport.put_bytes('path', 'content')
498
197
        self.assertEqual(transport.get('path').read(), 'content')
499
198
 
500
199
    def test_append_without_dir_fails(self):
501
 
        transport = memory.MemoryTransport()
 
200
        transport = MemoryTransport()
502
201
        self.assertRaises(NoSuchFile,
503
 
                          transport.append, 'dir/path', StringIO('content'))
 
202
                          transport.append_bytes, 'dir/path', 'content')
504
203
 
505
204
    def test_put_without_dir_fails(self):
506
 
        transport = memory.MemoryTransport()
 
205
        transport = MemoryTransport()
507
206
        self.assertRaises(NoSuchFile,
508
 
                          transport.put, 'dir/path', StringIO('content'))
 
207
                          transport.put_file, 'dir/path', StringIO('content'))
509
208
 
510
209
    def test_get_missing(self):
511
 
        transport = memory.MemoryTransport()
 
210
        transport = MemoryTransport()
512
211
        self.assertRaises(NoSuchFile, transport.get, 'foo')
513
212
 
514
213
    def test_has_missing(self):
515
 
        transport = memory.MemoryTransport()
 
214
        transport = MemoryTransport()
516
215
        self.assertEquals(False, transport.has('foo'))
517
216
 
518
217
    def test_has_present(self):
519
 
        transport = memory.MemoryTransport()
520
 
        transport.append('foo', StringIO('content'))
 
218
        transport = MemoryTransport()
 
219
        transport.append_bytes('foo', 'content')
521
220
        self.assertEquals(True, transport.has('foo'))
522
221
 
523
222
    def test_mkdir(self):
524
 
        transport = memory.MemoryTransport()
 
223
        transport = MemoryTransport()
525
224
        transport.mkdir('dir')
526
 
        transport.append('dir/path', StringIO('content'))
 
225
        transport.append_bytes('dir/path', 'content')
527
226
        self.assertEqual(transport.get('dir/path').read(), 'content')
528
227
 
529
228
    def test_mkdir_missing_parent(self):
530
 
        transport = memory.MemoryTransport()
 
229
        transport = MemoryTransport()
531
230
        self.assertRaises(NoSuchFile,
532
231
                          transport.mkdir, 'dir/dir')
533
232
 
534
233
    def test_mkdir_twice(self):
535
 
        transport = memory.MemoryTransport()
 
234
        transport = MemoryTransport()
536
235
        transport.mkdir('dir')
537
236
        self.assertRaises(FileExists, transport.mkdir, 'dir')
538
237
 
539
238
    def test_parameters(self):
540
 
        transport = memory.MemoryTransport()
 
239
        transport = MemoryTransport()
541
240
        self.assertEqual(True, transport.listable())
542
241
        self.assertEqual(False, transport.should_cache())
 
242
        self.assertEqual(False, transport.is_readonly())
543
243
 
544
244
    def test_iter_files_recursive(self):
545
 
        transport = memory.MemoryTransport()
 
245
        transport = MemoryTransport()
546
246
        transport.mkdir('dir')
547
 
        transport.put('dir/foo', StringIO('content'))
548
 
        transport.put('dir/bar', StringIO('content'))
549
 
        transport.put('bar', StringIO('content'))
 
247
        transport.put_bytes('dir/foo', 'content')
 
248
        transport.put_bytes('dir/bar', 'content')
 
249
        transport.put_bytes('bar', 'content')
550
250
        paths = set(transport.iter_files_recursive())
551
251
        self.assertEqual(set(['dir/foo', 'dir/bar', 'bar']), paths)
552
252
 
553
253
    def test_stat(self):
554
 
        transport = memory.MemoryTransport()
555
 
        transport.put('foo', StringIO('content'))
556
 
        transport.put('bar', StringIO('phowar'))
 
254
        transport = MemoryTransport()
 
255
        transport.put_bytes('foo', 'content')
 
256
        transport.put_bytes('bar', 'phowar')
557
257
        self.assertEqual(7, transport.stat('foo').st_size)
558
258
        self.assertEqual(6, transport.stat('bar').st_size)
559
 
        
 
259
 
 
260
        
 
261
class ReadonlyDecoratorTransportTest(TestCase):
 
262
    """Readonly decoration specific tests."""
 
263
 
 
264
    def test_local_parameters(self):
 
265
        import bzrlib.transport.readonly as readonly
 
266
        # connect to . in readonly mode
 
267
        transport = readonly.ReadonlyTransportDecorator('readonly+.')
 
268
        self.assertEqual(True, transport.listable())
 
269
        self.assertEqual(False, transport.should_cache())
 
270
        self.assertEqual(True, transport.is_readonly())
 
271
 
 
272
    def test_http_parameters(self):
 
273
        import bzrlib.transport.readonly as readonly
 
274
        from bzrlib.transport.http import HttpServer
 
275
        # connect to . via http which is not listable
 
276
        server = HttpServer()
 
277
        server.setUp()
 
278
        try:
 
279
            transport = get_transport('readonly+' + server.get_url())
 
280
            self.failUnless(isinstance(transport,
 
281
                                       readonly.ReadonlyTransportDecorator))
 
282
            self.assertEqual(False, transport.listable())
 
283
            self.assertEqual(True, transport.should_cache())
 
284
            self.assertEqual(True, transport.is_readonly())
 
285
        finally:
 
286
            server.tearDown()
 
287
 
 
288
 
 
289
class FakeNFSDecoratorTests(TestCaseInTempDir):
 
290
    """NFS decorator specific tests."""
 
291
 
 
292
    def get_nfs_transport(self, url):
 
293
        import bzrlib.transport.fakenfs as fakenfs
 
294
        # connect to url with nfs decoration
 
295
        return fakenfs.FakeNFSTransportDecorator('fakenfs+' + url)
 
296
 
 
297
    def test_local_parameters(self):
 
298
        # the listable, should_cache and is_readonly parameters
 
299
        # are not changed by the fakenfs decorator
 
300
        transport = self.get_nfs_transport('.')
 
301
        self.assertEqual(True, transport.listable())
 
302
        self.assertEqual(False, transport.should_cache())
 
303
        self.assertEqual(False, transport.is_readonly())
 
304
 
 
305
    def test_http_parameters(self):
 
306
        # the listable, should_cache and is_readonly parameters
 
307
        # are not changed by the fakenfs decorator
 
308
        from bzrlib.transport.http import HttpServer
 
309
        # connect to . via http which is not listable
 
310
        server = HttpServer()
 
311
        server.setUp()
 
312
        try:
 
313
            transport = self.get_nfs_transport(server.get_url())
 
314
            self.assertIsInstance(
 
315
                transport, bzrlib.transport.fakenfs.FakeNFSTransportDecorator)
 
316
            self.assertEqual(False, transport.listable())
 
317
            self.assertEqual(True, transport.should_cache())
 
318
            self.assertEqual(True, transport.is_readonly())
 
319
        finally:
 
320
            server.tearDown()
 
321
 
 
322
    def test_fakenfs_server_default(self):
 
323
        # a FakeNFSServer() should bring up a local relpath server for itself
 
324
        import bzrlib.transport.fakenfs as fakenfs
 
325
        server = fakenfs.FakeNFSServer()
 
326
        server.setUp()
 
327
        try:
 
328
            # the server should be a relpath localhost server
 
329
            self.assertEqual(server.get_url(), 'fakenfs+.')
 
330
            # and we should be able to get a transport for it
 
331
            transport = get_transport(server.get_url())
 
332
            # which must be a FakeNFSTransportDecorator instance.
 
333
            self.assertIsInstance(
 
334
                transport, fakenfs.FakeNFSTransportDecorator)
 
335
        finally:
 
336
            server.tearDown()
 
337
 
 
338
    def test_fakenfs_rename_semantics(self):
 
339
        # a FakeNFS transport must mangle the way rename errors occur to
 
340
        # look like NFS problems.
 
341
        transport = self.get_nfs_transport('.')
 
342
        self.build_tree(['from/', 'from/foo', 'to/', 'to/bar'],
 
343
                        transport=transport)
 
344
        self.assertRaises(bzrlib.errors.ResourceBusy,
 
345
                          transport.rename, 'from', 'to')
 
346
 
 
347
 
 
348
class FakeVFATDecoratorTests(TestCaseInTempDir):
 
349
    """Tests for simulation of VFAT restrictions"""
 
350
 
 
351
    def get_vfat_transport(self, url):
 
352
        """Return vfat-backed transport for test directory"""
 
353
        from bzrlib.transport.fakevfat import FakeVFATTransportDecorator
 
354
        return FakeVFATTransportDecorator('vfat+' + url)
 
355
 
 
356
    def test_transport_creation(self):
 
357
        from bzrlib.transport.fakevfat import FakeVFATTransportDecorator
 
358
        transport = self.get_vfat_transport('.')
 
359
        self.assertIsInstance(transport, FakeVFATTransportDecorator)
 
360
 
 
361
    def test_transport_mkdir(self):
 
362
        transport = self.get_vfat_transport('.')
 
363
        transport.mkdir('HELLO')
 
364
        self.assertTrue(transport.has('hello'))
 
365
        self.assertTrue(transport.has('Hello'))
 
366
 
 
367
    def test_forbidden_chars(self):
 
368
        transport = self.get_vfat_transport('.')
 
369
        self.assertRaises(ValueError, transport.has, "<NU>")
 
370
 
 
371
 
 
372
class BadTransportHandler(Transport):
 
373
    def __init__(self, base_url):
 
374
        raise DependencyNotPresent('some_lib', 'testing missing dependency')
 
375
 
 
376
 
 
377
class BackupTransportHandler(Transport):
 
378
    """Test transport that works as a backup for the BadTransportHandler"""
 
379
    pass
 
380
 
 
381
 
 
382
class TestTransportImplementation(TestCaseInTempDir):
 
383
    """Implementation verification for transports.
 
384
    
 
385
    To verify a transport we need a server factory, which is a callable
 
386
    that accepts no parameters and returns an implementation of
 
387
    bzrlib.transport.Server.
 
388
    
 
389
    That Server is then used to construct transport instances and test
 
390
    the transport via loopback activity.
 
391
 
 
392
    Currently this assumes that the Transport object is connected to the 
 
393
    current working directory.  So that whatever is done 
 
394
    through the transport, should show up in the working 
 
395
    directory, and vice-versa. This is a bug, because its possible to have
 
396
    URL schemes which provide access to something that may not be 
 
397
    result in storage on the local disk, i.e. due to file system limits, or 
 
398
    due to it being a database or some other non-filesystem tool.
 
399
 
 
400
    This also tests to make sure that the functions work with both
 
401
    generators and lists (assuming iter(list) is effectively a generator)
 
402
    """
 
403
    
 
404
    def setUp(self):
 
405
        super(TestTransportImplementation, self).setUp()
 
406
        self._server = self.transport_server()
 
407
        self._server.setUp()
 
408
 
 
409
    def tearDown(self):
 
410
        super(TestTransportImplementation, self).tearDown()
 
411
        self._server.tearDown()
 
412
        
 
413
    def get_transport(self):
 
414
        """Return a connected transport to the local directory."""
 
415
        base_url = self._server.get_url()
 
416
        # try getting the transport via the regular interface:
 
417
        t = get_transport(base_url)
 
418
        if not isinstance(t, self.transport_class): 
 
419
            # we did not get the correct transport class type. Override the
 
420
            # regular connection behaviour by direct construction.
 
421
            t = self.transport_class(base_url)
 
422
        return t