~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/selftest/testtransport.py

Update news and readme

- better explanation of dependencies

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2004, 2005, 2006, 2007 Canonical Ltd
2
 
#
 
1
# Copyright (C) 2004, 2005 by Canonical Ltd
 
2
 
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
#
 
7
 
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
#
 
12
 
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
 
18
18
import os
19
 
import sys
20
 
import stat
21
19
from cStringIO import StringIO
22
20
 
23
 
import bzrlib
24
 
from bzrlib import (
25
 
    errors,
26
 
    urlutils,
27
 
    )
28
 
from bzrlib.errors import (ConnectionError,
29
 
                           DependencyNotPresent,
30
 
                           FileExists,
31
 
                           InvalidURLJoin,
32
 
                           NoSuchFile,
33
 
                           PathNotChild,
34
 
                           TransportNotPossible,
35
 
                           ConnectionError,
36
 
                           DependencyNotPresent,
37
 
                           ReadError,
38
 
                           UnsupportedProtocol,
39
 
                           )
40
 
from bzrlib.tests import TestCase, TestCaseInTempDir
41
 
from bzrlib.transport import (_CoalescedOffset,
42
 
                              _get_protocol_handlers,
43
 
                              _set_protocol_handlers,
44
 
                              _get_transport_modules,
45
 
                              get_transport,
46
 
                              LateReadError,
47
 
                              register_lazy_transport,
48
 
                              register_transport_proto,
49
 
                              _clear_protocol_handlers,
50
 
                              Transport,
51
 
                              )
52
 
from bzrlib.transport.chroot import ChrootServer
53
 
from bzrlib.transport.memory import MemoryTransport
54
 
from bzrlib.transport.local import (LocalTransport,
55
 
                                    EmulatedWin32LocalTransport)
56
 
 
57
 
 
58
 
# TODO: Should possibly split transport-specific tests into their own files.
59
 
 
60
 
 
61
 
class TestTransport(TestCase):
62
 
    """Test the non transport-concrete class functionality."""
63
 
 
64
 
    def test__get_set_protocol_handlers(self):
65
 
        handlers = _get_protocol_handlers()
66
 
        self.assertNotEqual([], handlers.keys( ))
67
 
        try:
68
 
            _clear_protocol_handlers()
69
 
            self.assertEqual([], _get_protocol_handlers().keys())
70
 
        finally:
71
 
            _set_protocol_handlers(handlers)
72
 
 
73
 
    def test_get_transport_modules(self):
74
 
        handlers = _get_protocol_handlers()
75
 
        class SampleHandler(object):
76
 
            """I exist, isnt that enough?"""
77
 
        try:
78
 
            _clear_protocol_handlers()
79
 
            register_transport_proto('foo')
80
 
            register_lazy_transport('foo', 'bzrlib.tests.test_transport', 'TestTransport.SampleHandler')
81
 
            register_transport_proto('bar')
82
 
            register_lazy_transport('bar', 'bzrlib.tests.test_transport', 'TestTransport.SampleHandler')
83
 
            self.assertEqual([SampleHandler.__module__, 'bzrlib.transport.chroot'],
84
 
                             _get_transport_modules())
85
 
        finally:
86
 
            _set_protocol_handlers(handlers)
87
 
 
88
 
    def test_transport_dependency(self):
89
 
        """Transport with missing dependency causes no error"""
90
 
        saved_handlers = _get_protocol_handlers()
91
 
        try:
92
 
            register_transport_proto('foo')
93
 
            register_lazy_transport('foo', 'bzrlib.tests.test_transport',
94
 
                    'BadTransportHandler')
95
 
            try:
96
 
                get_transport('foo://fooserver/foo')
97
 
            except UnsupportedProtocol, e:
98
 
                e_str = str(e)
99
 
                self.assertEquals('Unsupported protocol'
100
 
                                  ' for url "foo://fooserver/foo":'
101
 
                                  ' Unable to import library "some_lib":'
102
 
                                  ' testing missing dependency', str(e))
103
 
            else:
104
 
                self.fail('Did not raise UnsupportedProtocol')
105
 
        finally:
106
 
            # restore original values
107
 
            _set_protocol_handlers(saved_handlers)
108
 
            
109
 
    def test_transport_fallback(self):
110
 
        """Transport with missing dependency causes no error"""
111
 
        saved_handlers = _get_protocol_handlers()
112
 
        try:
113
 
            _clear_protocol_handlers()
114
 
            register_transport_proto('foo')
115
 
            register_lazy_transport('foo', 'bzrlib.tests.test_transport',
116
 
                    'BackupTransportHandler')
117
 
            register_lazy_transport('foo', 'bzrlib.tests.test_transport',
118
 
                    'BadTransportHandler')
119
 
            t = get_transport('foo://fooserver/foo')
120
 
            self.assertTrue(isinstance(t, BackupTransportHandler))
121
 
        finally:
122
 
            _set_protocol_handlers(saved_handlers)
123
 
 
124
 
    def test_LateReadError(self):
125
 
        """The LateReadError helper should raise on read()."""
126
 
        a_file = LateReadError('a path')
127
 
        try:
128
 
            a_file.read()
129
 
        except ReadError, error:
130
 
            self.assertEqual('a path', error.path)
131
 
        self.assertRaises(ReadError, a_file.read, 40)
132
 
        a_file.close()
133
 
 
134
 
    def test__combine_paths(self):
135
 
        t = Transport('/')
136
 
        self.assertEqual('/home/sarah/project/foo',
137
 
                         t._combine_paths('/home/sarah', 'project/foo'))
138
 
        self.assertEqual('/etc',
139
 
                         t._combine_paths('/home/sarah', '../../etc'))
140
 
        self.assertEqual('/etc',
141
 
                         t._combine_paths('/home/sarah', '../../../etc'))
142
 
        self.assertEqual('/etc',
143
 
                         t._combine_paths('/home/sarah', '/etc'))
144
 
 
145
 
    def test_local_abspath_non_local_transport(self):
146
 
        # the base implementation should throw
147
 
        t = MemoryTransport()
148
 
        e = self.assertRaises(errors.NotLocalUrl, t.local_abspath, 't')
149
 
        self.assertEqual('memory:///t is not a local path.', str(e))
150
 
 
151
 
 
152
 
class TestCoalesceOffsets(TestCase):
153
 
    
154
 
    def check(self, expected, offsets, limit=0, fudge=0):
155
 
        coalesce = Transport._coalesce_offsets
156
 
        exp = [_CoalescedOffset(*x) for x in expected]
157
 
        out = list(coalesce(offsets, limit=limit, fudge_factor=fudge))
158
 
        self.assertEqual(exp, out)
159
 
 
160
 
    def test_coalesce_empty(self):
161
 
        self.check([], [])
162
 
 
163
 
    def test_coalesce_simple(self):
164
 
        self.check([(0, 10, [(0, 10)])], [(0, 10)])
165
 
 
166
 
    def test_coalesce_unrelated(self):
167
 
        self.check([(0, 10, [(0, 10)]),
168
 
                    (20, 10, [(0, 10)]),
169
 
                   ], [(0, 10), (20, 10)])
170
 
            
171
 
    def test_coalesce_unsorted(self):
172
 
        self.check([(20, 10, [(0, 10)]),
173
 
                    (0, 10, [(0, 10)]),
174
 
                   ], [(20, 10), (0, 10)])
175
 
 
176
 
    def test_coalesce_nearby(self):
177
 
        self.check([(0, 20, [(0, 10), (10, 10)])],
178
 
                   [(0, 10), (10, 10)])
179
 
 
180
 
    def test_coalesce_overlapped(self):
181
 
        self.check([(0, 15, [(0, 10), (5, 10)])],
182
 
                   [(0, 10), (5, 10)])
183
 
 
184
 
    def test_coalesce_limit(self):
185
 
        self.check([(10, 50, [(0, 10), (10, 10), (20, 10),
186
 
                              (30, 10), (40, 10)]),
187
 
                    (60, 50, [(0, 10), (10, 10), (20, 10),
188
 
                              (30, 10), (40, 10)]),
189
 
                   ], [(10, 10), (20, 10), (30, 10), (40, 10),
190
 
                       (50, 10), (60, 10), (70, 10), (80, 10),
191
 
                       (90, 10), (100, 10)],
192
 
                    limit=5)
193
 
 
194
 
    def test_coalesce_no_limit(self):
195
 
        self.check([(10, 100, [(0, 10), (10, 10), (20, 10),
196
 
                               (30, 10), (40, 10), (50, 10),
197
 
                               (60, 10), (70, 10), (80, 10),
198
 
                               (90, 10)]),
199
 
                   ], [(10, 10), (20, 10), (30, 10), (40, 10),
200
 
                       (50, 10), (60, 10), (70, 10), (80, 10),
201
 
                       (90, 10), (100, 10)])
202
 
 
203
 
    def test_coalesce_fudge(self):
204
 
        self.check([(10, 30, [(0, 10), (20, 10)]),
205
 
                    (100, 10, [(0, 10),]),
206
 
                   ], [(10, 10), (30, 10), (100, 10)],
207
 
                   fudge=10
208
 
                  )
 
21
from bzrlib.errors import NoSuchFile, FileExists, TransportNotPossible
 
22
from bzrlib.selftest import TestCase, TestCaseInTempDir
 
23
from bzrlib.selftest.HTTPTestUtil import TestCaseWithWebserver
 
24
from bzrlib.transport import memory
 
25
 
 
26
 
 
27
def _append(fn, txt):
 
28
    """Append the given text (file-like object) to the supplied filename."""
 
29
    f = open(fn, 'ab')
 
30
    f.write(txt)
 
31
    f.flush()
 
32
    f.close()
 
33
    del f
 
34
 
 
35
class TestTransportMixIn(object):
 
36
    """Subclass this, and it will provide a series of tests for a Transport.
 
37
    It assumes that the Transport object is connected to the 
 
38
    current working directory.  So that whatever is done 
 
39
    through the transport, should show up in the working 
 
40
    directory, and vice-versa.
 
41
 
 
42
    This also tests to make sure that the functions work with both
 
43
    generators and lists (assuming iter(list) is effectively a generator)
 
44
    """
 
45
    readonly = False
 
46
    def get_transport(self):
 
47
        """Children should override this to return the Transport object.
 
48
        """
 
49
        raise NotImplementedError
 
50
 
 
51
    def test_has(self):
 
52
        t = self.get_transport()
 
53
 
 
54
        files = ['a', 'b', 'e', 'g']
 
55
        self.build_tree(files)
 
56
        self.assertEqual(t.has('a'), True)
 
57
        self.assertEqual(t.has('c'), False)
 
58
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])),
 
59
                [True, True, False, False, True, False, True, False])
 
60
        self.assertEqual(list(t.has_multi(iter(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h']))),
 
61
                [True, True, False, False, True, False, True, False])
 
62
 
 
63
    def test_get(self):
 
64
        t = self.get_transport()
 
65
 
 
66
        files = ['a', 'b', 'e', 'g']
 
67
        self.build_tree(files)
 
68
        self.assertEqual(t.get('a').read(), open('a').read())
 
69
        content_f = t.get_multi(files)
 
70
        for path,f in zip(files, content_f):
 
71
            self.assertEqual(open(path).read(), f.read())
 
72
 
 
73
        content_f = t.get_multi(iter(files))
 
74
        for path,f in zip(files, content_f):
 
75
            self.assertEqual(open(path).read(), f.read())
 
76
 
 
77
        self.assertRaises(NoSuchFile, t.get, 'c')
 
78
        try:
 
79
            files = list(t.get_multi(['a', 'b', 'c']))
 
80
        except NoSuchFile:
 
81
            pass
 
82
        else:
 
83
            self.fail('Failed to raise NoSuchFile for missing file in get_multi')
 
84
        try:
 
85
            files = list(t.get_multi(iter(['a', 'b', 'c', 'e'])))
 
86
        except NoSuchFile:
 
87
            pass
 
88
        else:
 
89
            self.fail('Failed to raise NoSuchFile for missing file in get_multi')
 
90
 
 
91
    def test_put(self):
 
92
        t = self.get_transport()
 
93
 
 
94
        if self.readonly:
 
95
            self.assertRaises(TransportNotPossible,
 
96
                    t.put, 'a', 'some text for a\n')
 
97
            open('a', 'wb').write('some text for a\n')
 
98
        else:
 
99
            t.put('a', 'some text for a\n')
 
100
        self.assert_(os.path.exists('a'))
 
101
        self.check_file_contents('a', 'some text for a\n')
 
102
        self.assertEqual(t.get('a').read(), 'some text for a\n')
 
103
        # Make sure 'has' is updated
 
104
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e'])),
 
105
                [True, False, False, False, False])
 
106
        if self.readonly:
 
107
            self.assertRaises(TransportNotPossible,
 
108
                    t.put_multi,
 
109
                    [('a', 'new\ncontents for\na\n'),
 
110
                        ('d', 'contents\nfor d\n')])
 
111
            open('a', 'wb').write('new\ncontents for\na\n')
 
112
            open('d', 'wb').write('contents\nfor d\n')
 
113
        else:
 
114
            # Put also replaces contents
 
115
            self.assertEqual(t.put_multi([('a', 'new\ncontents for\na\n'),
 
116
                                          ('d', 'contents\nfor d\n')]),
 
117
                             2)
 
118
        self.assertEqual(list(t.has_multi(['a', 'b', 'c', 'd', 'e'])),
 
119
                [True, False, False, True, False])
 
120
        self.check_file_contents('a', 'new\ncontents for\na\n')
 
121
        self.check_file_contents('d', 'contents\nfor d\n')
 
122
 
 
123
        if self.readonly:
 
124
            self.assertRaises(TransportNotPossible,
 
125
                t.put_multi, iter([('a', 'diff\ncontents for\na\n'),
 
126
                                  ('d', 'another contents\nfor d\n')]))
 
127
            open('a', 'wb').write('diff\ncontents for\na\n')
 
128
            open('d', 'wb').write('another contents\nfor d\n')
 
129
        else:
 
130
            self.assertEqual(
 
131
                t.put_multi(iter([('a', 'diff\ncontents for\na\n'),
 
132
                                  ('d', 'another contents\nfor d\n')]))
 
133
                             , 2)
 
134
        self.check_file_contents('a', 'diff\ncontents for\na\n')
 
135
        self.check_file_contents('d', 'another contents\nfor d\n')
 
136
 
 
137
        if self.readonly:
 
138
            self.assertRaises(TransportNotPossible,
 
139
                    t.put, 'path/doesnt/exist/c', 'contents')
 
140
        else:
 
141
            self.assertRaises(NoSuchFile,
 
142
                    t.put, 'path/doesnt/exist/c', 'contents')
 
143
 
 
144
    def test_put_file(self):
 
145
        t = self.get_transport()
 
146
 
 
147
        # Test that StringIO can be used as a file-like object with put
 
148
        f1 = StringIO('this is a string\nand some more stuff\n')
 
149
        if self.readonly:
 
150
            open('f1', 'wb').write(f1.read())
 
151
        else:
 
152
            t.put('f1', f1)
 
153
 
 
154
        del f1
 
155
 
 
156
        self.check_file_contents('f1', 
 
157
                'this is a string\nand some more stuff\n')
 
158
 
 
159
        f2 = StringIO('here is some text\nand a bit more\n')
 
160
        f3 = StringIO('some text for the\nthird file created\n')
 
161
 
 
162
        if self.readonly:
 
163
            open('f2', 'wb').write(f2.read())
 
164
            open('f3', 'wb').write(f3.read())
 
165
        else:
 
166
            t.put_multi([('f2', f2), ('f3', f3)])
 
167
 
 
168
        del f2, f3
 
169
 
 
170
        self.check_file_contents('f2', 'here is some text\nand a bit more\n')
 
171
        self.check_file_contents('f3', 'some text for the\nthird file created\n')
 
172
 
 
173
        # Test that an actual file object can be used with put
 
174
        f4 = open('f1', 'rb')
 
175
        if self.readonly:
 
176
            open('f4', 'wb').write(f4.read())
 
177
        else:
 
178
            t.put('f4', f4)
 
179
 
 
180
        del f4
 
181
 
 
182
        self.check_file_contents('f4', 
 
183
                'this is a string\nand some more stuff\n')
 
184
 
 
185
        f5 = open('f2', 'rb')
 
186
        f6 = open('f3', 'rb')
 
187
        if self.readonly:
 
188
            open('f5', 'wb').write(f5.read())
 
189
            open('f6', 'wb').write(f6.read())
 
190
        else:
 
191
            t.put_multi([('f5', f5), ('f6', f6)])
 
192
 
 
193
        del f5, f6
 
194
 
 
195
        self.check_file_contents('f5', 'here is some text\nand a bit more\n')
 
196
        self.check_file_contents('f6', 'some text for the\nthird file created\n')
 
197
 
 
198
 
 
199
 
 
200
    def test_mkdir(self):
 
201
        t = self.get_transport()
 
202
 
 
203
        # Test mkdir
 
204
        os.mkdir('dir_a')
 
205
        self.assertEqual(t.has('dir_a'), True)
 
206
        self.assertEqual(t.has('dir_b'), False)
 
207
 
 
208
        if self.readonly:
 
209
            self.assertRaises(TransportNotPossible,
 
210
                    t.mkdir, 'dir_b')
 
211
            os.mkdir('dir_b')
 
212
        else:
 
213
            t.mkdir('dir_b')
 
214
        self.assertEqual(t.has('dir_b'), True)
 
215
        self.assert_(os.path.isdir('dir_b'))
 
216
 
 
217
        if self.readonly:
 
218
            self.assertRaises(TransportNotPossible,
 
219
                    t.mkdir_multi, ['dir_c', 'dir_d'])
 
220
            os.mkdir('dir_c')
 
221
            os.mkdir('dir_d')
 
222
        else:
 
223
            t.mkdir_multi(['dir_c', 'dir_d'])
 
224
 
 
225
        if self.readonly:
 
226
            self.assertRaises(TransportNotPossible,
 
227
                    t.mkdir_multi, iter(['dir_e', 'dir_f']))
 
228
            os.mkdir('dir_e')
 
229
            os.mkdir('dir_f')
 
230
        else:
 
231
            t.mkdir_multi(iter(['dir_e', 'dir_f']))
 
232
        self.assertEqual(list(t.has_multi(
 
233
            ['dir_a', 'dir_b', 'dir_c', 'dir_q',
 
234
             'dir_d', 'dir_e', 'dir_f', 'dir_b'])),
 
235
            [True, True, True, False,
 
236
             True, True, True, True])
 
237
        for d in ['dir_a', 'dir_b', 'dir_c', 'dir_d', 'dir_e', 'dir_f']:
 
238
            self.assert_(os.path.isdir(d))
 
239
 
 
240
        if not self.readonly:
 
241
            self.assertRaises(NoSuchFile, t.mkdir, 'path/doesnt/exist')
 
242
            self.assertRaises(FileExists, t.mkdir, 'dir_a') # Creating a directory again should fail
 
243
 
 
244
        # Make sure the transport recognizes when a
 
245
        # directory is created by other means
 
246
        # Caching Transports will fail, because dir_e was already seen not
 
247
        # to exist. So instead, we will search for a new directory
 
248
        #os.mkdir('dir_e')
 
249
        #if not self.readonly:
 
250
        #    self.assertRaises(FileExists, t.mkdir, 'dir_e')
 
251
 
 
252
        os.mkdir('dir_g')
 
253
        if not self.readonly:
 
254
            self.assertRaises(FileExists, t.mkdir, 'dir_g')
 
255
 
 
256
        # Test get/put in sub-directories
 
257
        if self.readonly:
 
258
            open('dir_a/a', 'wb').write('contents of dir_a/a')
 
259
            open('dir_b/b', 'wb').write('contents of dir_b/b')
 
260
        else:
 
261
            self.assertEqual(
 
262
                t.put_multi([('dir_a/a', 'contents of dir_a/a'),
 
263
                             ('dir_b/b', 'contents of dir_b/b')])
 
264
                          , 2)
 
265
        for f in ('dir_a/a', 'dir_b/b'):
 
266
            self.assertEqual(t.get(f).read(), open(f).read())
 
267
 
 
268
    def test_copy_to(self):
 
269
        import tempfile
 
270
        from bzrlib.transport.local import LocalTransport
 
271
 
 
272
        t = self.get_transport()
 
273
 
 
274
        files = ['a', 'b', 'c', 'd']
 
275
        self.build_tree(files)
 
276
 
 
277
        dtmp = tempfile.mkdtemp(dir='.', prefix='test-transport-')
 
278
        dtmp_base = os.path.basename(dtmp)
 
279
        local_t = LocalTransport(dtmp)
 
280
 
 
281
        t.copy_to(files, local_t)
 
282
        for f in files:
 
283
            self.assertEquals(open(f).read(),
 
284
                    open(os.path.join(dtmp_base, f)).read())
 
285
 
 
286
        del dtmp, dtmp_base, local_t
 
287
 
 
288
        dtmp = tempfile.mkdtemp(dir='.', prefix='test-transport-')
 
289
        dtmp_base = os.path.basename(dtmp)
 
290
        local_t = LocalTransport(dtmp)
 
291
 
 
292
        files = ['a', 'b', 'c', 'd']
 
293
        t.copy_to(iter(files), local_t)
 
294
        for f in files:
 
295
            self.assertEquals(open(f).read(),
 
296
                    open(os.path.join(dtmp_base, f)).read())
 
297
 
 
298
        del dtmp, dtmp_base, local_t
 
299
 
 
300
    def test_append(self):
 
301
        t = self.get_transport()
 
302
 
 
303
        if self.readonly:
 
304
            open('a', 'wb').write('diff\ncontents for\na\n')
 
305
            open('b', 'wb').write('contents\nfor b\n')
 
306
        else:
 
307
            t.put_multi([
 
308
                    ('a', 'diff\ncontents for\na\n'),
 
309
                    ('b', 'contents\nfor b\n')
 
310
                    ])
 
311
 
 
312
        if self.readonly:
 
313
            self.assertRaises(TransportNotPossible,
 
314
                    t.append, 'a', 'add\nsome\nmore\ncontents\n')
 
315
            _append('a', 'add\nsome\nmore\ncontents\n')
 
316
        else:
 
317
            t.append('a', 'add\nsome\nmore\ncontents\n')
 
318
 
 
319
        self.check_file_contents('a', 
 
320
            'diff\ncontents for\na\nadd\nsome\nmore\ncontents\n')
 
321
 
 
322
        if self.readonly:
 
323
            self.assertRaises(TransportNotPossible,
 
324
                    t.append_multi,
 
325
                        [('a', 'and\nthen\nsome\nmore\n'),
 
326
                         ('b', 'some\nmore\nfor\nb\n')])
 
327
            _append('a', 'and\nthen\nsome\nmore\n')
 
328
            _append('b', 'some\nmore\nfor\nb\n')
 
329
        else:
 
330
            t.append_multi([('a', 'and\nthen\nsome\nmore\n'),
 
331
                    ('b', 'some\nmore\nfor\nb\n')])
 
332
        self.check_file_contents('a', 
 
333
            'diff\ncontents for\na\n'
 
334
            'add\nsome\nmore\ncontents\n'
 
335
            'and\nthen\nsome\nmore\n')
 
336
        self.check_file_contents('b', 
 
337
                'contents\nfor b\n'
 
338
                'some\nmore\nfor\nb\n')
 
339
 
 
340
        if self.readonly:
 
341
            _append('a', 'a little bit more\n')
 
342
            _append('b', 'from an iterator\n')
 
343
        else:
 
344
            t.append_multi(iter([('a', 'a little bit more\n'),
 
345
                    ('b', 'from an iterator\n')]))
 
346
        self.check_file_contents('a', 
 
347
            'diff\ncontents for\na\n'
 
348
            'add\nsome\nmore\ncontents\n'
 
349
            'and\nthen\nsome\nmore\n'
 
350
            'a little bit more\n')
 
351
        self.check_file_contents('b', 
 
352
                'contents\nfor b\n'
 
353
                'some\nmore\nfor\nb\n'
 
354
                'from an iterator\n')
 
355
 
 
356
    def test_append_file(self):
 
357
        t = self.get_transport()
 
358
 
 
359
        contents = [
 
360
            ('f1', 'this is a string\nand some more stuff\n'),
 
361
            ('f2', 'here is some text\nand a bit more\n'),
 
362
            ('f3', 'some text for the\nthird file created\n'),
 
363
            ('f4', 'this is a string\nand some more stuff\n'),
 
364
            ('f5', 'here is some text\nand a bit more\n'),
 
365
            ('f6', 'some text for the\nthird file created\n')
 
366
        ]
 
367
        
 
368
        if self.readonly:
 
369
            for f, val in contents:
 
370
                open(f, 'wb').write(val)
 
371
        else:
 
372
            t.put_multi(contents)
 
373
 
 
374
        a1 = StringIO('appending to\none\n')
 
375
        if self.readonly:
 
376
            _append('f1', a1.read())
 
377
        else:
 
378
            t.append('f1', a1)
 
379
 
 
380
        del a1
 
381
 
 
382
        self.check_file_contents('f1', 
 
383
                'this is a string\nand some more stuff\n'
 
384
                'appending to\none\n')
 
385
 
 
386
        a2 = StringIO('adding more\ntext to two\n')
 
387
        a3 = StringIO('some garbage\nto put in three\n')
 
388
 
 
389
        if self.readonly:
 
390
            _append('f2', a2.read())
 
391
            _append('f3', a3.read())
 
392
        else:
 
393
            t.append_multi([('f2', a2), ('f3', a3)])
 
394
 
 
395
        del a2, a3
 
396
 
 
397
        self.check_file_contents('f2',
 
398
                'here is some text\nand a bit more\n'
 
399
                'adding more\ntext to two\n')
 
400
        self.check_file_contents('f3', 
 
401
                'some text for the\nthird file created\n'
 
402
                'some garbage\nto put in three\n')
 
403
 
 
404
        # Test that an actual file object can be used with put
 
405
        a4 = open('f1', 'rb')
 
406
        if self.readonly:
 
407
            _append('f4', a4.read())
 
408
        else:
 
409
            t.append('f4', a4)
 
410
 
 
411
        del a4
 
412
 
 
413
        self.check_file_contents('f4', 
 
414
                'this is a string\nand some more stuff\n'
 
415
                'this is a string\nand some more stuff\n'
 
416
                'appending to\none\n')
 
417
 
 
418
        a5 = open('f2', 'rb')
 
419
        a6 = open('f3', 'rb')
 
420
        if self.readonly:
 
421
            _append('f5', a5.read())
 
422
            _append('f6', a6.read())
 
423
        else:
 
424
            t.append_multi([('f5', a5), ('f6', a6)])
 
425
 
 
426
        del a5, a6
 
427
 
 
428
        self.check_file_contents('f5',
 
429
                'here is some text\nand a bit more\n'
 
430
                'here is some text\nand a bit more\n'
 
431
                'adding more\ntext to two\n')
 
432
        self.check_file_contents('f6',
 
433
                'some text for the\nthird file created\n'
 
434
                'some text for the\nthird file created\n'
 
435
                'some garbage\nto put in three\n')
 
436
 
 
437
    def test_delete(self):
 
438
        # TODO: Test Transport.delete
 
439
        pass
 
440
 
 
441
    def test_move(self):
 
442
        # TODO: Test Transport.move
 
443
        pass
 
444
 
 
445
 
 
446
class LocalTransportTest(TestCaseInTempDir, TestTransportMixIn):
 
447
    def get_transport(self):
 
448
        from bzrlib.transport.local import LocalTransport
 
449
        return LocalTransport('.')
 
450
 
 
451
 
 
452
class HttpTransportTest(TestCaseWithWebserver, TestTransportMixIn):
 
453
 
 
454
    readonly = True
 
455
 
 
456
    def get_transport(self):
 
457
        from bzrlib.transport.http import HttpTransport
 
458
        url = self.get_remote_url('.')
 
459
        return HttpTransport(url)
209
460
 
210
461
 
211
462
class TestMemoryTransport(TestCase):
212
463
 
213
464
    def test_get_transport(self):
214
 
        MemoryTransport()
 
465
        memory.MemoryTransport()
215
466
 
216
467
    def test_clone(self):
217
 
        transport = MemoryTransport()
218
 
        self.assertTrue(isinstance(transport, MemoryTransport))
219
 
        self.assertEqual("memory:///", transport.clone("/").base)
 
468
        transport = memory.MemoryTransport()
 
469
        self.failUnless(transport.clone() is transport)
220
470
 
221
471
    def test_abspath(self):
222
 
        transport = MemoryTransport()
223
 
        self.assertEqual("memory:///relpath", transport.abspath('relpath'))
224
 
 
225
 
    def test_abspath_of_root(self):
226
 
        transport = MemoryTransport()
227
 
        self.assertEqual("memory:///", transport.base)
228
 
        self.assertEqual("memory:///", transport.abspath('/'))
229
 
 
230
 
    def test_abspath_of_relpath_starting_at_root(self):
231
 
        transport = MemoryTransport()
232
 
        self.assertEqual("memory:///foo", transport.abspath('/foo'))
 
472
        transport = memory.MemoryTransport()
 
473
        self.assertEqual("in-memory:relpath", transport.abspath('relpath'))
 
474
 
 
475
    def test_relpath(self):
 
476
        transport = memory.MemoryTransport()
233
477
 
234
478
    def test_append_and_get(self):
235
 
        transport = MemoryTransport()
236
 
        transport.append_bytes('path', 'content')
 
479
        transport = memory.MemoryTransport()
 
480
        transport.append('path', StringIO('content'))
237
481
        self.assertEqual(transport.get('path').read(), 'content')
238
 
        transport.append_file('path', StringIO('content'))
 
482
        transport.append('path', StringIO('content'))
239
483
        self.assertEqual(transport.get('path').read(), 'contentcontent')
240
484
 
241
485
    def test_put_and_get(self):
242
 
        transport = MemoryTransport()
243
 
        transport.put_file('path', StringIO('content'))
 
486
        transport = memory.MemoryTransport()
 
487
        transport.put('path', StringIO('content'))
244
488
        self.assertEqual(transport.get('path').read(), 'content')
245
 
        transport.put_bytes('path', 'content')
 
489
        transport.put('path', StringIO('content'))
246
490
        self.assertEqual(transport.get('path').read(), 'content')
247
491
 
248
492
    def test_append_without_dir_fails(self):
249
 
        transport = MemoryTransport()
 
493
        transport = memory.MemoryTransport()
250
494
        self.assertRaises(NoSuchFile,
251
 
                          transport.append_bytes, 'dir/path', 'content')
 
495
                          transport.append, 'dir/path', StringIO('content'))
252
496
 
253
497
    def test_put_without_dir_fails(self):
254
 
        transport = MemoryTransport()
 
498
        transport = memory.MemoryTransport()
255
499
        self.assertRaises(NoSuchFile,
256
 
                          transport.put_file, 'dir/path', StringIO('content'))
 
500
                          transport.put, 'dir/path', StringIO('content'))
257
501
 
258
502
    def test_get_missing(self):
259
 
        transport = MemoryTransport()
 
503
        transport = memory.MemoryTransport()
260
504
        self.assertRaises(NoSuchFile, transport.get, 'foo')
261
505
 
262
506
    def test_has_missing(self):
263
 
        transport = MemoryTransport()
 
507
        transport = memory.MemoryTransport()
264
508
        self.assertEquals(False, transport.has('foo'))
265
509
 
266
510
    def test_has_present(self):
267
 
        transport = MemoryTransport()
268
 
        transport.append_bytes('foo', 'content')
 
511
        transport = memory.MemoryTransport()
 
512
        transport.append('foo', StringIO('content'))
269
513
        self.assertEquals(True, transport.has('foo'))
270
514
 
271
 
    def test_list_dir(self):
272
 
        transport = MemoryTransport()
273
 
        transport.put_bytes('foo', 'content')
274
 
        transport.mkdir('dir')
275
 
        transport.put_bytes('dir/subfoo', 'content')
276
 
        transport.put_bytes('dirlike', 'content')
277
 
 
278
 
        self.assertEquals(['dir', 'dirlike', 'foo'], sorted(transport.list_dir('.')))
279
 
        self.assertEquals(['subfoo'], sorted(transport.list_dir('dir')))
280
 
 
281
515
    def test_mkdir(self):
282
 
        transport = MemoryTransport()
 
516
        transport = memory.MemoryTransport()
283
517
        transport.mkdir('dir')
284
 
        transport.append_bytes('dir/path', 'content')
 
518
        transport.append('dir/path', StringIO('content'))
285
519
        self.assertEqual(transport.get('dir/path').read(), 'content')
286
520
 
287
521
    def test_mkdir_missing_parent(self):
288
 
        transport = MemoryTransport()
 
522
        transport = memory.MemoryTransport()
289
523
        self.assertRaises(NoSuchFile,
290
524
                          transport.mkdir, 'dir/dir')
291
525
 
292
526
    def test_mkdir_twice(self):
293
 
        transport = MemoryTransport()
 
527
        transport = memory.MemoryTransport()
294
528
        transport.mkdir('dir')
295
529
        self.assertRaises(FileExists, transport.mkdir, 'dir')
296
530
 
297
531
    def test_parameters(self):
298
 
        transport = MemoryTransport()
 
532
        transport = memory.MemoryTransport()
299
533
        self.assertEqual(True, transport.listable())
300
534
        self.assertEqual(False, transport.should_cache())
301
 
        self.assertEqual(False, transport.is_readonly())
302
535
 
303
536
    def test_iter_files_recursive(self):
304
 
        transport = MemoryTransport()
 
537
        transport = memory.MemoryTransport()
305
538
        transport.mkdir('dir')
306
 
        transport.put_bytes('dir/foo', 'content')
307
 
        transport.put_bytes('dir/bar', 'content')
308
 
        transport.put_bytes('bar', 'content')
 
539
        transport.put('dir/foo', StringIO('content'))
 
540
        transport.put('dir/bar', StringIO('content'))
 
541
        transport.put('bar', StringIO('content'))
309
542
        paths = set(transport.iter_files_recursive())
310
543
        self.assertEqual(set(['dir/foo', 'dir/bar', 'bar']), paths)
311
544
 
312
545
    def test_stat(self):
313
 
        transport = MemoryTransport()
314
 
        transport.put_bytes('foo', 'content')
315
 
        transport.put_bytes('bar', 'phowar')
 
546
        transport = memory.MemoryTransport()
 
547
        transport.put('foo', StringIO('content'))
 
548
        transport.put('bar', StringIO('phowar'))
316
549
        self.assertEqual(7, transport.stat('foo').st_size)
317
550
        self.assertEqual(6, transport.stat('bar').st_size)
318
 
 
319
 
 
320
 
class ChrootDecoratorTransportTest(TestCase):
321
 
    """Chroot decoration specific tests."""
322
 
 
323
 
    def test_abspath(self):
324
 
        # The abspath is always relative to the chroot_url.
325
 
        server = ChrootServer(get_transport('memory:///foo/bar/'))
326
 
        server.setUp()
327
 
        transport = get_transport(server.get_url())
328
 
        self.assertEqual(server.get_url(), transport.abspath('/'))
329
 
 
330
 
        subdir_transport = transport.clone('subdir')
331
 
        self.assertEqual(server.get_url(), subdir_transport.abspath('/'))
332
 
        server.tearDown()
333
 
 
334
 
    def test_clone(self):
335
 
        server = ChrootServer(get_transport('memory:///foo/bar/'))
336
 
        server.setUp()
337
 
        transport = get_transport(server.get_url())
338
 
        # relpath from root and root path are the same
339
 
        relpath_cloned = transport.clone('foo')
340
 
        abspath_cloned = transport.clone('/foo')
341
 
        self.assertEqual(server, relpath_cloned.server)
342
 
        self.assertEqual(server, abspath_cloned.server)
343
 
        server.tearDown()
344
 
    
345
 
    def test_chroot_url_preserves_chroot(self):
346
 
        """Calling get_transport on a chroot transport's base should produce a
347
 
        transport with exactly the same behaviour as the original chroot
348
 
        transport.
349
 
 
350
 
        This is so that it is not possible to escape a chroot by doing::
351
 
            url = chroot_transport.base
352
 
            parent_url = urlutils.join(url, '..')
353
 
            new_transport = get_transport(parent_url)
354
 
        """
355
 
        server = ChrootServer(get_transport('memory:///path/subpath'))
356
 
        server.setUp()
357
 
        transport = get_transport(server.get_url())
358
 
        new_transport = get_transport(transport.base)
359
 
        self.assertEqual(transport.server, new_transport.server)
360
 
        self.assertEqual(transport.base, new_transport.base)
361
 
        server.tearDown()
362
551
        
363
 
    def test_urljoin_preserves_chroot(self):
364
 
        """Using urlutils.join(url, '..') on a chroot URL should not produce a
365
 
        URL that escapes the intended chroot.
366
 
 
367
 
        This is so that it is not possible to escape a chroot by doing::
368
 
            url = chroot_transport.base
369
 
            parent_url = urlutils.join(url, '..')
370
 
            new_transport = get_transport(parent_url)
371
 
        """
372
 
        server = ChrootServer(get_transport('memory:///path/'))
373
 
        server.setUp()
374
 
        transport = get_transport(server.get_url())
375
 
        self.assertRaises(
376
 
            InvalidURLJoin, urlutils.join, transport.base, '..')
377
 
        server.tearDown()
378
 
 
379
 
 
380
 
class ChrootServerTest(TestCase):
381
 
 
382
 
    def test_construct(self):
383
 
        backing_transport = MemoryTransport()
384
 
        server = ChrootServer(backing_transport)
385
 
        self.assertEqual(backing_transport, server.backing_transport)
386
 
 
387
 
    def test_setUp(self):
388
 
        backing_transport = MemoryTransport()
389
 
        server = ChrootServer(backing_transport)
390
 
        server.setUp()
391
 
        self.assertTrue(server.scheme in _get_protocol_handlers().keys())
392
 
 
393
 
    def test_tearDown(self):
394
 
        backing_transport = MemoryTransport()
395
 
        server = ChrootServer(backing_transport)
396
 
        server.setUp()
397
 
        server.tearDown()
398
 
        self.assertFalse(server.scheme in _get_protocol_handlers().keys())
399
 
 
400
 
    def test_get_url(self):
401
 
        backing_transport = MemoryTransport()
402
 
        server = ChrootServer(backing_transport)
403
 
        server.setUp()
404
 
        self.assertEqual('chroot-%d:///' % id(server), server.get_url())
405
 
        server.tearDown()
406
 
 
407
 
 
408
 
class ReadonlyDecoratorTransportTest(TestCase):
409
 
    """Readonly decoration specific tests."""
410
 
 
411
 
    def test_local_parameters(self):
412
 
        import bzrlib.transport.readonly as readonly
413
 
        # connect to . in readonly mode
414
 
        transport = readonly.ReadonlyTransportDecorator('readonly+.')
415
 
        self.assertEqual(True, transport.listable())
416
 
        self.assertEqual(False, transport.should_cache())
417
 
        self.assertEqual(True, transport.is_readonly())
418
 
 
419
 
    def test_http_parameters(self):
420
 
        from bzrlib.tests.HttpServer import HttpServer
421
 
        import bzrlib.transport.readonly as readonly
422
 
        # connect to . via http which is not listable
423
 
        server = HttpServer()
424
 
        server.setUp()
425
 
        try:
426
 
            transport = get_transport('readonly+' + server.get_url())
427
 
            self.failUnless(isinstance(transport,
428
 
                                       readonly.ReadonlyTransportDecorator))
429
 
            self.assertEqual(False, transport.listable())
430
 
            self.assertEqual(True, transport.should_cache())
431
 
            self.assertEqual(True, transport.is_readonly())
432
 
        finally:
433
 
            server.tearDown()
434
 
 
435
 
 
436
 
class FakeNFSDecoratorTests(TestCaseInTempDir):
437
 
    """NFS decorator specific tests."""
438
 
 
439
 
    def get_nfs_transport(self, url):
440
 
        import bzrlib.transport.fakenfs as fakenfs
441
 
        # connect to url with nfs decoration
442
 
        return fakenfs.FakeNFSTransportDecorator('fakenfs+' + url)
443
 
 
444
 
    def test_local_parameters(self):
445
 
        # the listable, should_cache and is_readonly parameters
446
 
        # are not changed by the fakenfs decorator
447
 
        transport = self.get_nfs_transport('.')
448
 
        self.assertEqual(True, transport.listable())
449
 
        self.assertEqual(False, transport.should_cache())
450
 
        self.assertEqual(False, transport.is_readonly())
451
 
 
452
 
    def test_http_parameters(self):
453
 
        # the listable, should_cache and is_readonly parameters
454
 
        # are not changed by the fakenfs decorator
455
 
        from bzrlib.tests.HttpServer import HttpServer
456
 
        # connect to . via http which is not listable
457
 
        server = HttpServer()
458
 
        server.setUp()
459
 
        try:
460
 
            transport = self.get_nfs_transport(server.get_url())
461
 
            self.assertIsInstance(
462
 
                transport, bzrlib.transport.fakenfs.FakeNFSTransportDecorator)
463
 
            self.assertEqual(False, transport.listable())
464
 
            self.assertEqual(True, transport.should_cache())
465
 
            self.assertEqual(True, transport.is_readonly())
466
 
        finally:
467
 
            server.tearDown()
468
 
 
469
 
    def test_fakenfs_server_default(self):
470
 
        # a FakeNFSServer() should bring up a local relpath server for itself
471
 
        import bzrlib.transport.fakenfs as fakenfs
472
 
        server = fakenfs.FakeNFSServer()
473
 
        server.setUp()
474
 
        try:
475
 
            # the url should be decorated appropriately
476
 
            self.assertStartsWith(server.get_url(), 'fakenfs+')
477
 
            # and we should be able to get a transport for it
478
 
            transport = get_transport(server.get_url())
479
 
            # which must be a FakeNFSTransportDecorator instance.
480
 
            self.assertIsInstance(
481
 
                transport, fakenfs.FakeNFSTransportDecorator)
482
 
        finally:
483
 
            server.tearDown()
484
 
 
485
 
    def test_fakenfs_rename_semantics(self):
486
 
        # a FakeNFS transport must mangle the way rename errors occur to
487
 
        # look like NFS problems.
488
 
        transport = self.get_nfs_transport('.')
489
 
        self.build_tree(['from/', 'from/foo', 'to/', 'to/bar'],
490
 
                        transport=transport)
491
 
        self.assertRaises(errors.ResourceBusy,
492
 
                          transport.rename, 'from', 'to')
493
 
 
494
 
 
495
 
class FakeVFATDecoratorTests(TestCaseInTempDir):
496
 
    """Tests for simulation of VFAT restrictions"""
497
 
 
498
 
    def get_vfat_transport(self, url):
499
 
        """Return vfat-backed transport for test directory"""
500
 
        from bzrlib.transport.fakevfat import FakeVFATTransportDecorator
501
 
        return FakeVFATTransportDecorator('vfat+' + url)
502
 
 
503
 
    def test_transport_creation(self):
504
 
        from bzrlib.transport.fakevfat import FakeVFATTransportDecorator
505
 
        transport = self.get_vfat_transport('.')
506
 
        self.assertIsInstance(transport, FakeVFATTransportDecorator)
507
 
 
508
 
    def test_transport_mkdir(self):
509
 
        transport = self.get_vfat_transport('.')
510
 
        transport.mkdir('HELLO')
511
 
        self.assertTrue(transport.has('hello'))
512
 
        self.assertTrue(transport.has('Hello'))
513
 
 
514
 
    def test_forbidden_chars(self):
515
 
        transport = self.get_vfat_transport('.')
516
 
        self.assertRaises(ValueError, transport.has, "<NU>")
517
 
 
518
 
 
519
 
class BadTransportHandler(Transport):
520
 
    def __init__(self, base_url):
521
 
        raise DependencyNotPresent('some_lib', 'testing missing dependency')
522
 
 
523
 
 
524
 
class BackupTransportHandler(Transport):
525
 
    """Test transport that works as a backup for the BadTransportHandler"""
526
 
    pass
527
 
 
528
 
 
529
 
class TestTransportImplementation(TestCaseInTempDir):
530
 
    """Implementation verification for transports.
531
 
    
532
 
    To verify a transport we need a server factory, which is a callable
533
 
    that accepts no parameters and returns an implementation of
534
 
    bzrlib.transport.Server.
535
 
    
536
 
    That Server is then used to construct transport instances and test
537
 
    the transport via loopback activity.
538
 
 
539
 
    Currently this assumes that the Transport object is connected to the 
540
 
    current working directory.  So that whatever is done 
541
 
    through the transport, should show up in the working 
542
 
    directory, and vice-versa. This is a bug, because its possible to have
543
 
    URL schemes which provide access to something that may not be 
544
 
    result in storage on the local disk, i.e. due to file system limits, or 
545
 
    due to it being a database or some other non-filesystem tool.
546
 
 
547
 
    This also tests to make sure that the functions work with both
548
 
    generators and lists (assuming iter(list) is effectively a generator)
549
 
    """
550
 
    
551
 
    def setUp(self):
552
 
        super(TestTransportImplementation, self).setUp()
553
 
        self._server = self.transport_server()
554
 
        self._server.setUp()
555
 
        self.addCleanup(self._server.tearDown)
556
 
 
557
 
    def get_transport(self, relpath=None):
558
 
        """Return a connected transport to the local directory.
559
 
 
560
 
        :param relpath: a path relative to the base url.
561
 
        """
562
 
        base_url = self._server.get_url()
563
 
        url = self._adjust_url(base_url, relpath)
564
 
        # try getting the transport via the regular interface:
565
 
        t = get_transport(url)
566
 
        if not isinstance(t, self.transport_class):
567
 
            # we did not get the correct transport class type. Override the
568
 
            # regular connection behaviour by direct construction.
569
 
            t = self.transport_class(url)
570
 
        return t
571
 
 
572
 
 
573
 
class TestLocalTransports(TestCase):
574
 
 
575
 
    def test_get_transport_from_abspath(self):
576
 
        here = os.path.abspath('.')
577
 
        t = get_transport(here)
578
 
        self.assertIsInstance(t, LocalTransport)
579
 
        self.assertEquals(t.base, urlutils.local_path_to_url(here) + '/')
580
 
 
581
 
    def test_get_transport_from_relpath(self):
582
 
        here = os.path.abspath('.')
583
 
        t = get_transport('.')
584
 
        self.assertIsInstance(t, LocalTransport)
585
 
        self.assertEquals(t.base, urlutils.local_path_to_url('.') + '/')
586
 
 
587
 
    def test_get_transport_from_local_url(self):
588
 
        here = os.path.abspath('.')
589
 
        here_url = urlutils.local_path_to_url(here) + '/'
590
 
        t = get_transport(here_url)
591
 
        self.assertIsInstance(t, LocalTransport)
592
 
        self.assertEquals(t.base, here_url)
593
 
 
594
 
    def test_local_abspath(self):
595
 
        here = os.path.abspath('.')
596
 
        t = get_transport(here)
597
 
        self.assertEquals(t.local_abspath(''), here)
598
 
 
599
 
 
600
 
class TestWin32LocalTransport(TestCase):
601
 
 
602
 
    def test_unc_clone_to_root(self):
603
 
        # Win32 UNC path like \\HOST\path
604
 
        # clone to root should stop at least at \\HOST part
605
 
        # not on \\
606
 
        t = EmulatedWin32LocalTransport('file://HOST/path/to/some/dir/')
607
 
        for i in xrange(4):
608
 
            t = t.clone('..')
609
 
        self.assertEquals(t.base, 'file://HOST/')
610
 
        # make sure we reach the root
611
 
        t = t.clone('..')
612
 
        self.assertEquals(t.base, 'file://HOST/')
613
 
 
614
 
 
615
 
def get_test_permutations():
616
 
    """Return transport permutations to be used in testing.
617
 
 
618
 
    This module registers some transports, but they're only for testing
619
 
    registration.  We don't really want to run all the transport tests against
620
 
    them.
621
 
    """
622
 
    return []