~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/selftest/testtransport.py

Magnus Thernings patch to remove status --revision, adjusted to update help.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2004, 2005 by Canonical Ltd
2
 
 
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
 
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
 
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
 
18
 
import os
19
 
from cStringIO import StringIO
20
 
 
21
 
from bzrlib.errors import NoSuchFile, FileExists, TransportNotPossible
22
 
from bzrlib.selftest import TestCase, TestCaseInTempDir
23
 
from bzrlib.selftest.HTTPTestUtil import TestCaseWithWebserver
24
 
from bzrlib.transport import memory, urlescape
25
 
 
26
 
 
27
 
def _append(fn, txt):
28
 
    """Append the given text (file-like object) to the supplied filename."""
29
 
    f = open(fn, 'ab')
30
 
    f.write(txt)
31
 
    f.flush()
32
 
    f.close()
33
 
    del f
34
 
 
35
 
class TestTransport(TestCase):
36
 
    """Test the non transport-concrete class functionality."""
37
 
 
38
 
    def test_urlescape(self):
39
 
        self.assertEqual('%25', urlescape('%'))
40
 
 
41
 
 
42
 
class TestTransportMixIn(object):
43
 
    """Subclass this, and it will provide a series of tests for a Transport.
44
 
    It assumes that the Transport object is connected to the 
45
 
    current working directory.  So that whatever is done 
46
 
    through the transport, should show up in the working 
47
 
    directory, and vice-versa.
48
 
 
49
 
    This also tests to make sure that the functions work with both
50
 
    generators and lists (assuming iter(list) is effectively a generator)
51
 
    """
52
 
    readonly = False
53
 
    def get_transport(self):
54
 
        """Children should override this to return the Transport object.
55
 
        """
56
 
        raise NotImplementedError
57
 
 
58
 
    def test_has(self):
59
 
        t = self.get_transport()
60
 
 
61
 
        files = ['a', 'b', 'e', 'g', '%']
62
 
        self.build_tree(files)
63
 
        self.assertEqual(t.has('a'), True)
64
 
        self.assertEqual(t.has('c'), False)
65
 
        self.assertEqual(t.has(urlescape('%')), True)
66
 
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])),
67
 
                [True, True, False, False, True, False, True, False])
68
 
        self.assertEqual(list(t.has_multi(iter(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']))),
69
 
                [True, True, False, False, True, False, True, False])
70
 
 
71
 
    def test_get(self):
72
 
        t = self.get_transport()
73
 
 
74
 
        files = ['a', 'b', 'e', 'g']
75
 
        self.build_tree(files)
76
 
        self.assertEqual(t.get('a').read(), open('a').read())
77
 
        content_f = t.get_multi(files)
78
 
        for path,f in zip(files, content_f):
79
 
            self.assertEqual(open(path).read(), f.read())
80
 
 
81
 
        content_f = t.get_multi(iter(files))
82
 
        for path,f in zip(files, content_f):
83
 
            self.assertEqual(open(path).read(), f.read())
84
 
 
85
 
        self.assertRaises(NoSuchFile, t.get, 'c')
86
 
        try:
87
 
            files = list(t.get_multi(['a', 'b', 'c']))
88
 
        except NoSuchFile:
89
 
            pass
90
 
        else:
91
 
            self.fail('Failed to raise NoSuchFile for missing file in get_multi')
92
 
        try:
93
 
            files = list(t.get_multi(iter(['a', 'b', 'c', 'e'])))
94
 
        except NoSuchFile:
95
 
            pass
96
 
        else:
97
 
            self.fail('Failed to raise NoSuchFile for missing file in get_multi')
98
 
 
99
 
    def test_put(self):
100
 
        t = self.get_transport()
101
 
 
102
 
        if self.readonly:
103
 
            self.assertRaises(TransportNotPossible,
104
 
                    t.put, 'a', 'some text for a\n')
105
 
            open('a', 'wb').write('some text for a\n')
106
 
        else:
107
 
            t.put('a', 'some text for a\n')
108
 
        self.assert_(os.path.exists('a'))
109
 
        self.check_file_contents('a', 'some text for a\n')
110
 
        self.assertEqual(t.get('a').read(), 'some text for a\n')
111
 
        # Make sure 'has' is updated
112
 
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e'])),
113
 
                [True, False, False, False, False])
114
 
        if self.readonly:
115
 
            self.assertRaises(TransportNotPossible,
116
 
                    t.put_multi,
117
 
                    [('a', 'new\ncontents for\na\n'),
118
 
                        ('d', 'contents\nfor d\n')])
119
 
            open('a', 'wb').write('new\ncontents for\na\n')
120
 
            open('d', 'wb').write('contents\nfor d\n')
121
 
        else:
122
 
            # Put also replaces contents
123
 
            self.assertEqual(t.put_multi([('a', 'new\ncontents for\na\n'),
124
 
                                          ('d', 'contents\nfor d\n')]),
125
 
                             2)
126
 
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e'])),
127
 
                [True, False, False, True, False])
128
 
        self.check_file_contents('a', 'new\ncontents for\na\n')
129
 
        self.check_file_contents('d', 'contents\nfor d\n')
130
 
 
131
 
        if self.readonly:
132
 
            self.assertRaises(TransportNotPossible,
133
 
                t.put_multi, iter([('a', 'diff\ncontents for\na\n'),
134
 
                                  ('d', 'another contents\nfor d\n')]))
135
 
            open('a', 'wb').write('diff\ncontents for\na\n')
136
 
            open('d', 'wb').write('another contents\nfor d\n')
137
 
        else:
138
 
            self.assertEqual(
139
 
                t.put_multi(iter([('a', 'diff\ncontents for\na\n'),
140
 
                                  ('d', 'another contents\nfor d\n')]))
141
 
                             , 2)
142
 
        self.check_file_contents('a', 'diff\ncontents for\na\n')
143
 
        self.check_file_contents('d', 'another contents\nfor d\n')
144
 
 
145
 
        if self.readonly:
146
 
            self.assertRaises(TransportNotPossible,
147
 
                    t.put, 'path/doesnt/exist/c', 'contents')
148
 
        else:
149
 
            self.assertRaises(NoSuchFile,
150
 
                    t.put, 'path/doesnt/exist/c', 'contents')
151
 
 
152
 
    def test_put_file(self):
153
 
        t = self.get_transport()
154
 
 
155
 
        # Test that StringIO can be used as a file-like object with put
156
 
        f1 = StringIO('this is a string\nand some more stuff\n')
157
 
        if self.readonly:
158
 
            open('f1', 'wb').write(f1.read())
159
 
        else:
160
 
            t.put('f1', f1)
161
 
 
162
 
        del f1
163
 
 
164
 
        self.check_file_contents('f1', 
165
 
                'this is a string\nand some more stuff\n')
166
 
 
167
 
        f2 = StringIO('here is some text\nand a bit more\n')
168
 
        f3 = StringIO('some text for the\nthird file created\n')
169
 
 
170
 
        if self.readonly:
171
 
            open('f2', 'wb').write(f2.read())
172
 
            open('f3', 'wb').write(f3.read())
173
 
        else:
174
 
            t.put_multi([('f2', f2), ('f3', f3)])
175
 
 
176
 
        del f2, f3
177
 
 
178
 
        self.check_file_contents('f2', 'here is some text\nand a bit more\n')
179
 
        self.check_file_contents('f3', 'some text for the\nthird file created\n')
180
 
 
181
 
        # Test that an actual file object can be used with put
182
 
        f4 = open('f1', 'rb')
183
 
        if self.readonly:
184
 
            open('f4', 'wb').write(f4.read())
185
 
        else:
186
 
            t.put('f4', f4)
187
 
 
188
 
        del f4
189
 
 
190
 
        self.check_file_contents('f4', 
191
 
                'this is a string\nand some more stuff\n')
192
 
 
193
 
        f5 = open('f2', 'rb')
194
 
        f6 = open('f3', 'rb')
195
 
        if self.readonly:
196
 
            open('f5', 'wb').write(f5.read())
197
 
            open('f6', 'wb').write(f6.read())
198
 
        else:
199
 
            t.put_multi([('f5', f5), ('f6', f6)])
200
 
 
201
 
        del f5, f6
202
 
 
203
 
        self.check_file_contents('f5', 'here is some text\nand a bit more\n')
204
 
        self.check_file_contents('f6', 'some text for the\nthird file created\n')
205
 
 
206
 
 
207
 
 
208
 
    def test_mkdir(self):
209
 
        t = self.get_transport()
210
 
 
211
 
        # Test mkdir
212
 
        os.mkdir('dir_a')
213
 
        self.assertEqual(t.has('dir_a'), True)
214
 
        self.assertEqual(t.has('dir_b'), False)
215
 
 
216
 
        if self.readonly:
217
 
            self.assertRaises(TransportNotPossible,
218
 
                    t.mkdir, 'dir_b')
219
 
            os.mkdir('dir_b')
220
 
        else:
221
 
            t.mkdir('dir_b')
222
 
        self.assertEqual(t.has('dir_b'), True)
223
 
        self.assert_(os.path.isdir('dir_b'))
224
 
 
225
 
        if self.readonly:
226
 
            self.assertRaises(TransportNotPossible,
227
 
                    t.mkdir_multi, ['dir_c', 'dir_d'])
228
 
            os.mkdir('dir_c')
229
 
            os.mkdir('dir_d')
230
 
        else:
231
 
            t.mkdir_multi(['dir_c', 'dir_d'])
232
 
 
233
 
        if self.readonly:
234
 
            self.assertRaises(TransportNotPossible,
235
 
                    t.mkdir_multi, iter(['dir_e', 'dir_f']))
236
 
            os.mkdir('dir_e')
237
 
            os.mkdir('dir_f')
238
 
        else:
239
 
            t.mkdir_multi(iter(['dir_e', 'dir_f']))
240
 
        self.assertEqual(list(t.has_multi(
241
 
            ['dir_a', 'dir_b', 'dir_c', 'dir_q',
242
 
             'dir_d', 'dir_e', 'dir_f', 'dir_b'])),
243
 
            [True, True, True, False,
244
 
             True, True, True, True])
245
 
        for d in ['dir_a', 'dir_b', 'dir_c', 'dir_d', 'dir_e', 'dir_f']:
246
 
            self.assert_(os.path.isdir(d))
247
 
 
248
 
        if not self.readonly:
249
 
            self.assertRaises(NoSuchFile, t.mkdir, 'path/doesnt/exist')
250
 
            self.assertRaises(FileExists, t.mkdir, 'dir_a') # Creating a directory again should fail
251
 
 
252
 
        # Make sure the transport recognizes when a
253
 
        # directory is created by other means
254
 
        # Caching Transports will fail, because dir_e was already seen not
255
 
        # to exist. So instead, we will search for a new directory
256
 
        #os.mkdir('dir_e')
257
 
        #if not self.readonly:
258
 
        #    self.assertRaises(FileExists, t.mkdir, 'dir_e')
259
 
 
260
 
        os.mkdir('dir_g')
261
 
        if not self.readonly:
262
 
            self.assertRaises(FileExists, t.mkdir, 'dir_g')
263
 
 
264
 
        # Test get/put in sub-directories
265
 
        if self.readonly:
266
 
            open('dir_a/a', 'wb').write('contents of dir_a/a')
267
 
            open('dir_b/b', 'wb').write('contents of dir_b/b')
268
 
        else:
269
 
            self.assertEqual(
270
 
                t.put_multi([('dir_a/a', 'contents of dir_a/a'),
271
 
                             ('dir_b/b', 'contents of dir_b/b')])
272
 
                          , 2)
273
 
        for f in ('dir_a/a', 'dir_b/b'):
274
 
            self.assertEqual(t.get(f).read(), open(f).read())
275
 
 
276
 
    def test_copy_to(self):
277
 
        import tempfile
278
 
        from bzrlib.transport.local import LocalTransport
279
 
 
280
 
        t = self.get_transport()
281
 
 
282
 
        files = ['a', 'b', 'c', 'd']
283
 
        self.build_tree(files)
284
 
 
285
 
        dtmp = tempfile.mkdtemp(dir='.', prefix='test-transport-')
286
 
        dtmp_base = os.path.basename(dtmp)
287
 
        local_t = LocalTransport(dtmp)
288
 
 
289
 
        t.copy_to(files, local_t)
290
 
        for f in files:
291
 
            self.assertEquals(open(f).read(),
292
 
                    open(os.path.join(dtmp_base, f)).read())
293
 
 
294
 
        del dtmp, dtmp_base, local_t
295
 
 
296
 
        dtmp = tempfile.mkdtemp(dir='.', prefix='test-transport-')
297
 
        dtmp_base = os.path.basename(dtmp)
298
 
        local_t = LocalTransport(dtmp)
299
 
 
300
 
        files = ['a', 'b', 'c', 'd']
301
 
        t.copy_to(iter(files), local_t)
302
 
        for f in files:
303
 
            self.assertEquals(open(f).read(),
304
 
                    open(os.path.join(dtmp_base, f)).read())
305
 
 
306
 
        del dtmp, dtmp_base, local_t
307
 
 
308
 
    def test_append(self):
309
 
        t = self.get_transport()
310
 
 
311
 
        if self.readonly:
312
 
            open('a', 'wb').write('diff\ncontents for\na\n')
313
 
            open('b', 'wb').write('contents\nfor b\n')
314
 
        else:
315
 
            t.put_multi([
316
 
                    ('a', 'diff\ncontents for\na\n'),
317
 
                    ('b', 'contents\nfor b\n')
318
 
                    ])
319
 
 
320
 
        if self.readonly:
321
 
            self.assertRaises(TransportNotPossible,
322
 
                    t.append, 'a', 'add\nsome\nmore\ncontents\n')
323
 
            _append('a', 'add\nsome\nmore\ncontents\n')
324
 
        else:
325
 
            t.append('a', 'add\nsome\nmore\ncontents\n')
326
 
 
327
 
        self.check_file_contents('a', 
328
 
            'diff\ncontents for\na\nadd\nsome\nmore\ncontents\n')
329
 
 
330
 
        if self.readonly:
331
 
            self.assertRaises(TransportNotPossible,
332
 
                    t.append_multi,
333
 
                        [('a', 'and\nthen\nsome\nmore\n'),
334
 
                         ('b', 'some\nmore\nfor\nb\n')])
335
 
            _append('a', 'and\nthen\nsome\nmore\n')
336
 
            _append('b', 'some\nmore\nfor\nb\n')
337
 
        else:
338
 
            t.append_multi([('a', 'and\nthen\nsome\nmore\n'),
339
 
                    ('b', 'some\nmore\nfor\nb\n')])
340
 
        self.check_file_contents('a', 
341
 
            'diff\ncontents for\na\n'
342
 
            'add\nsome\nmore\ncontents\n'
343
 
            'and\nthen\nsome\nmore\n')
344
 
        self.check_file_contents('b', 
345
 
                'contents\nfor b\n'
346
 
                'some\nmore\nfor\nb\n')
347
 
 
348
 
        if self.readonly:
349
 
            _append('a', 'a little bit more\n')
350
 
            _append('b', 'from an iterator\n')
351
 
        else:
352
 
            t.append_multi(iter([('a', 'a little bit more\n'),
353
 
                    ('b', 'from an iterator\n')]))
354
 
        self.check_file_contents('a', 
355
 
            'diff\ncontents for\na\n'
356
 
            'add\nsome\nmore\ncontents\n'
357
 
            'and\nthen\nsome\nmore\n'
358
 
            'a little bit more\n')
359
 
        self.check_file_contents('b', 
360
 
                'contents\nfor b\n'
361
 
                'some\nmore\nfor\nb\n'
362
 
                'from an iterator\n')
363
 
 
364
 
    def test_append_file(self):
365
 
        t = self.get_transport()
366
 
 
367
 
        contents = [
368
 
            ('f1', 'this is a string\nand some more stuff\n'),
369
 
            ('f2', 'here is some text\nand a bit more\n'),
370
 
            ('f3', 'some text for the\nthird file created\n'),
371
 
            ('f4', 'this is a string\nand some more stuff\n'),
372
 
            ('f5', 'here is some text\nand a bit more\n'),
373
 
            ('f6', 'some text for the\nthird file created\n')
374
 
        ]
375
 
        
376
 
        if self.readonly:
377
 
            for f, val in contents:
378
 
                open(f, 'wb').write(val)
379
 
        else:
380
 
            t.put_multi(contents)
381
 
 
382
 
        a1 = StringIO('appending to\none\n')
383
 
        if self.readonly:
384
 
            _append('f1', a1.read())
385
 
        else:
386
 
            t.append('f1', a1)
387
 
 
388
 
        del a1
389
 
 
390
 
        self.check_file_contents('f1', 
391
 
                'this is a string\nand some more stuff\n'
392
 
                'appending to\none\n')
393
 
 
394
 
        a2 = StringIO('adding more\ntext to two\n')
395
 
        a3 = StringIO('some garbage\nto put in three\n')
396
 
 
397
 
        if self.readonly:
398
 
            _append('f2', a2.read())
399
 
            _append('f3', a3.read())
400
 
        else:
401
 
            t.append_multi([('f2', a2), ('f3', a3)])
402
 
 
403
 
        del a2, a3
404
 
 
405
 
        self.check_file_contents('f2',
406
 
                'here is some text\nand a bit more\n'
407
 
                'adding more\ntext to two\n')
408
 
        self.check_file_contents('f3', 
409
 
                'some text for the\nthird file created\n'
410
 
                'some garbage\nto put in three\n')
411
 
 
412
 
        # Test that an actual file object can be used with put
413
 
        a4 = open('f1', 'rb')
414
 
        if self.readonly:
415
 
            _append('f4', a4.read())
416
 
        else:
417
 
            t.append('f4', a4)
418
 
 
419
 
        del a4
420
 
 
421
 
        self.check_file_contents('f4', 
422
 
                'this is a string\nand some more stuff\n'
423
 
                'this is a string\nand some more stuff\n'
424
 
                'appending to\none\n')
425
 
 
426
 
        a5 = open('f2', 'rb')
427
 
        a6 = open('f3', 'rb')
428
 
        if self.readonly:
429
 
            _append('f5', a5.read())
430
 
            _append('f6', a6.read())
431
 
        else:
432
 
            t.append_multi([('f5', a5), ('f6', a6)])
433
 
 
434
 
        del a5, a6
435
 
 
436
 
        self.check_file_contents('f5',
437
 
                'here is some text\nand a bit more\n'
438
 
                'here is some text\nand a bit more\n'
439
 
                'adding more\ntext to two\n')
440
 
        self.check_file_contents('f6',
441
 
                'some text for the\nthird file created\n'
442
 
                'some text for the\nthird file created\n'
443
 
                'some garbage\nto put in three\n')
444
 
 
445
 
    def test_delete(self):
446
 
        # TODO: Test Transport.delete
447
 
        pass
448
 
 
449
 
    def test_move(self):
450
 
        # TODO: Test Transport.move
451
 
        pass
452
 
 
453
 
 
454
 
class LocalTransportTest(TestCaseInTempDir, TestTransportMixIn):
455
 
    def get_transport(self):
456
 
        from bzrlib.transport.local import LocalTransport
457
 
        return LocalTransport('.')
458
 
 
459
 
 
460
 
class HttpTransportTest(TestCaseWithWebserver, TestTransportMixIn):
461
 
 
462
 
    readonly = True
463
 
 
464
 
    def get_transport(self):
465
 
        from bzrlib.transport.http import HttpTransport
466
 
        url = self.get_remote_url('.')
467
 
        return HttpTransport(url)
468
 
 
469
 
 
470
 
class TestMemoryTransport(TestCase):
471
 
 
472
 
    def test_get_transport(self):
473
 
        memory.MemoryTransport()
474
 
 
475
 
    def test_clone(self):
476
 
        transport = memory.MemoryTransport()
477
 
        self.failUnless(transport.clone() is transport)
478
 
 
479
 
    def test_abspath(self):
480
 
        transport = memory.MemoryTransport()
481
 
        self.assertEqual("in-memory:relpath", transport.abspath('relpath'))
482
 
 
483
 
    def test_relpath(self):
484
 
        transport = memory.MemoryTransport()
485
 
 
486
 
    def test_append_and_get(self):
487
 
        transport = memory.MemoryTransport()
488
 
        transport.append('path', StringIO('content'))
489
 
        self.assertEqual(transport.get('path').read(), 'content')
490
 
        transport.append('path', StringIO('content'))
491
 
        self.assertEqual(transport.get('path').read(), 'contentcontent')
492
 
 
493
 
    def test_put_and_get(self):
494
 
        transport = memory.MemoryTransport()
495
 
        transport.put('path', StringIO('content'))
496
 
        self.assertEqual(transport.get('path').read(), 'content')
497
 
        transport.put('path', StringIO('content'))
498
 
        self.assertEqual(transport.get('path').read(), 'content')
499
 
 
500
 
    def test_append_without_dir_fails(self):
501
 
        transport = memory.MemoryTransport()
502
 
        self.assertRaises(NoSuchFile,
503
 
                          transport.append, 'dir/path', StringIO('content'))
504
 
 
505
 
    def test_put_without_dir_fails(self):
506
 
        transport = memory.MemoryTransport()
507
 
        self.assertRaises(NoSuchFile,
508
 
                          transport.put, 'dir/path', StringIO('content'))
509
 
 
510
 
    def test_get_missing(self):
511
 
        transport = memory.MemoryTransport()
512
 
        self.assertRaises(NoSuchFile, transport.get, 'foo')
513
 
 
514
 
    def test_has_missing(self):
515
 
        transport = memory.MemoryTransport()
516
 
        self.assertEquals(False, transport.has('foo'))
517
 
 
518
 
    def test_has_present(self):
519
 
        transport = memory.MemoryTransport()
520
 
        transport.append('foo', StringIO('content'))
521
 
        self.assertEquals(True, transport.has('foo'))
522
 
 
523
 
    def test_mkdir(self):
524
 
        transport = memory.MemoryTransport()
525
 
        transport.mkdir('dir')
526
 
        transport.append('dir/path', StringIO('content'))
527
 
        self.assertEqual(transport.get('dir/path').read(), 'content')
528
 
 
529
 
    def test_mkdir_missing_parent(self):
530
 
        transport = memory.MemoryTransport()
531
 
        self.assertRaises(NoSuchFile,
532
 
                          transport.mkdir, 'dir/dir')
533
 
 
534
 
    def test_mkdir_twice(self):
535
 
        transport = memory.MemoryTransport()
536
 
        transport.mkdir('dir')
537
 
        self.assertRaises(FileExists, transport.mkdir, 'dir')
538
 
 
539
 
    def test_parameters(self):
540
 
        transport = memory.MemoryTransport()
541
 
        self.assertEqual(True, transport.listable())
542
 
        self.assertEqual(False, transport.should_cache())
543
 
 
544
 
    def test_iter_files_recursive(self):
545
 
        transport = memory.MemoryTransport()
546
 
        transport.mkdir('dir')
547
 
        transport.put('dir/foo', StringIO('content'))
548
 
        transport.put('dir/bar', StringIO('content'))
549
 
        transport.put('bar', StringIO('content'))
550
 
        paths = set(transport.iter_files_recursive())
551
 
        self.assertEqual(set(['dir/foo', 'dir/bar', 'bar']), paths)
552
 
 
553
 
    def test_stat(self):
554
 
        transport = memory.MemoryTransport()
555
 
        transport.put('foo', StringIO('content'))
556
 
        transport.put('bar', StringIO('phowar'))
557
 
        self.assertEqual(7, transport.stat('foo').st_size)
558
 
        self.assertEqual(6, transport.stat('bar').st_size)
559