← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/memory.py

Move doctest import to increase speed

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/transport/memory.py
1
 
# Copyright (C) 2005-2010 Canonical Ltd
2
 
#
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
 
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
#
 
7
 
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
#
 
12
 
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""Implementation of Transport that uses memory for its storage.
18
18
 
20
20
so this is primarily useful for testing.
21
21
"""
22
22
 
 
23
from copy import copy
23
24
import os
24
25
import errno
25
26
import re
26
 
from stat import S_IFREG, S_IFDIR
 
27
from stat import *
27
28
from cStringIO import StringIO
28
 
import warnings
29
29
 
30
 
from bzrlib import (
31
 
    transport,
32
 
    urlutils,
33
 
    )
34
 
from bzrlib.errors import (
35
 
    FileExists,
36
 
    LockError,
37
 
    InProcessTransport,
38
 
    NoSuchFile,
39
 
    TransportError,
40
 
    )
 
30
from bzrlib.errors import TransportError, NoSuchFile, FileExists, LockError
41
31
from bzrlib.trace import mutter
42
 
from bzrlib.transport import (
43
 
    AppendBasedFileStream,
44
 
    _file_streams,
45
 
    LateReadError,
46
 
    )
 
32
from bzrlib.transport import (Transport, register_transport, Server)
 
33
import bzrlib.urlutils as urlutils
47
34
 
48
35
 
49
36
 
61
48
            self.st_mode = S_IFDIR | perms
62
49
 
63
50
 
64
 
class MemoryTransport(transport.Transport):
 
51
class MemoryTransport(Transport):
65
52
    """This is an in memory file system for transient data storage."""
66
53
 
67
54
    def __init__(self, url=""):
71
58
        if url[-1] != '/':
72
59
            url = url + '/'
73
60
        super(MemoryTransport, self).__init__(url)
74
 
        split = url.find(':') + 3
75
 
        self._scheme = url[:split]
76
 
        self._cwd = url[split:]
 
61
        self._cwd = url[url.find(':') + 3:]
77
62
        # dictionaries from absolute path to file mode
78
63
        self._dirs = {'/':None}
79
64
        self._files = {}
81
66
 
82
67
    def clone(self, offset=None):
83
68
        """See Transport.clone()."""
84
 
        path = self._combine_paths(self._cwd, offset)
85
 
        if len(path) == 0 or path[-1] != '/':
86
 
            path += '/'
87
 
        url = self._scheme + path
88
 
        result = self.__class__(url)
 
69
        if offset is None or offset == '':
 
70
            return copy(self)
 
71
        segments = offset.split('/')
 
72
        cwdsegments = self._cwd.split('/')[:-1]
 
73
        while len(segments):
 
74
            segment = segments.pop(0)
 
75
            if segment == '.':
 
76
                continue
 
77
            if segment == '..':
 
78
                if len(cwdsegments) > 1:
 
79
                    cwdsegments.pop()
 
80
                continue
 
81
            cwdsegments.append(segment)
 
82
        url = self.base[:self.base.find(':') + 3] + '/'.join(cwdsegments) + '/'
 
83
        result = MemoryTransport(url)
89
84
        result._dirs = self._dirs
90
85
        result._files = self._files
91
86
        result._locks = self._locks
102
97
        else:
103
98
            return temp_t.base[:-1]
104
99
 
105
 
    def append_file(self, relpath, f, mode=None):
106
 
        """See Transport.append_file()."""
 
100
    def append(self, relpath, f, mode=None):
 
101
        """See Transport.append()."""
107
102
        _abspath = self._abspath(relpath)
108
103
        self._check_parent(_abspath)
109
104
        orig_content, orig_mode = self._files.get(_abspath, ("", None))
121
116
    def has(self, relpath):
122
117
        """See Transport.has()."""
123
118
        _abspath = self._abspath(relpath)
124
 
        return (_abspath in self._files) or (_abspath in self._dirs)
 
119
        return _abspath in self._files or _abspath in self._dirs
125
120
 
126
121
    def delete(self, relpath):
127
122
        """See Transport.delete()."""
130
125
            raise NoSuchFile(relpath)
131
126
        del self._files[_abspath]
132
127
 
133
 
    def external_url(self):
134
 
        """See bzrlib.transport.Transport.external_url."""
135
 
        # MemoryTransport's are only accessible in-process
136
 
        # so we raise here
137
 
        raise InProcessTransport(self)
138
 
 
139
128
    def get(self, relpath):
140
129
        """See Transport.get()."""
141
130
        _abspath = self._abspath(relpath)
142
131
        if not _abspath in self._files:
143
 
            if _abspath in self._dirs:
144
 
                return LateReadError(relpath)
145
 
            else:
146
 
                raise NoSuchFile(relpath)
 
132
            raise NoSuchFile(relpath)
147
133
        return StringIO(self._files[_abspath][0])
148
134
 
149
 
    def put_file(self, relpath, f, mode=None):
150
 
        """See Transport.put_file()."""
 
135
    def put(self, relpath, f, mode=None):
 
136
        """See Transport.put()."""
151
137
        _abspath = self._abspath(relpath)
152
138
        self._check_parent(_abspath)
153
 
        bytes = f.read()
154
 
        if type(bytes) is not str:
155
 
            # Although not strictly correct, we raise UnicodeEncodeError to be
156
 
            # compatible with other transports.
157
 
            raise UnicodeEncodeError(
158
 
                'undefined', bytes, 0, 1,
159
 
                'put_file must be given a file of bytes, not unicode.')
160
 
        self._files[_abspath] = (bytes, mode)
161
 
        return len(bytes)
 
139
        self._files[_abspath] = (f.read(), mode)
162
140
 
163
141
    def mkdir(self, relpath, mode=None):
164
142
        """See Transport.mkdir()."""
168
146
            raise FileExists(relpath)
169
147
        self._dirs[_abspath]=mode
170
148
 
171
 
    def open_write_stream(self, relpath, mode=None):
172
 
        """See Transport.open_write_stream."""
173
 
        self.put_bytes(relpath, "", mode)
174
 
        result = AppendBasedFileStream(self, relpath)
175
 
        _file_streams[self.abspath(relpath)] = result
176
 
        return result
177
 
 
178
149
    def listable(self):
179
150
        """See Transport.listable."""
180
151
        return True
182
153
    def iter_files_recursive(self):
183
154
        for file in self._files:
184
155
            if file.startswith(self._cwd):
185
 
                yield urlutils.escape(file[len(self._cwd):])
186
 
 
 
156
                yield file[len(self._cwd):]
 
157
    
187
158
    def list_dir(self, relpath):
188
159
        """See Transport.list_dir()."""
189
160
        _abspath = self._abspath(relpath)
190
161
        if _abspath != '/' and _abspath not in self._dirs:
191
162
            raise NoSuchFile(relpath)
192
163
        result = []
193
 
 
194
 
        if not _abspath.endswith('/'):
195
 
            _abspath += '/'
196
 
 
197
 
        for path_group in self._files, self._dirs:
198
 
            for path in path_group:
199
 
                if path.startswith(_abspath):
200
 
                    trailing = path[len(_abspath):]
201
 
                    if trailing and '/' not in trailing:
202
 
                        result.append(trailing)
203
 
        return map(urlutils.escape, result)
 
164
        for path in self._files:
 
165
            if (path.startswith(_abspath) and 
 
166
                path[len(_abspath) + 1:].find('/') == -1 and
 
167
                len(path) > len(_abspath)):
 
168
                result.append(path[len(_abspath) + 1:])
 
169
        for path in self._dirs:
 
170
            if (path.startswith(_abspath) and 
 
171
                path[len(_abspath) + 1:].find('/') == -1 and
 
172
                len(path) > len(_abspath) and
 
173
                path[len(_abspath)] == '/'):
 
174
                result.append(path[len(_abspath) + 1:])
 
175
        return result
204
176
 
205
177
    def rename(self, rel_from, rel_to):
206
178
        """Rename a file or directory; fail if the destination exists"""
222
194
                    del container[path]
223
195
        do_renames(self._files)
224
196
        do_renames(self._dirs)
225
 
 
 
197
    
226
198
    def rmdir(self, relpath):
227
199
        """See Transport.rmdir."""
228
200
        _abspath = self._abspath(relpath)
229
201
        if _abspath in self._files:
230
202
            self._translate_error(IOError(errno.ENOTDIR, relpath), relpath)
231
203
        for path in self._files:
232
 
            if path.startswith(_abspath + '/'):
 
204
            if path.startswith(_abspath):
233
205
                self._translate_error(IOError(errno.ENOTEMPTY, relpath),
234
206
                                      relpath)
235
207
        for path in self._dirs:
236
 
            if path.startswith(_abspath + '/') and path != _abspath:
 
208
            if path.startswith(_abspath) and path != _abspath:
237
209
                self._translate_error(IOError(errno.ENOTEMPTY, relpath), relpath)
238
210
        if not _abspath in self._dirs:
239
211
            raise NoSuchFile(relpath)
243
215
        """See Transport.stat()."""
244
216
        _abspath = self._abspath(relpath)
245
217
        if _abspath in self._files:
246
 
            return MemoryStat(len(self._files[_abspath][0]), False,
 
218
            return MemoryStat(len(self._files[_abspath][0]), False, 
247
219
                              self._files[_abspath][1])
248
220
        elif _abspath in self._dirs:
249
221
            return MemoryStat(0, True, self._dirs[_abspath])
261
233
    def _abspath(self, relpath):
262
234
        """Generate an internal absolute path."""
263
235
        relpath = urlutils.unescape(relpath)
264
 
        if relpath[:1] == '/':
265
 
            return relpath
266
 
        cwd_parts = self._cwd.split('/')
267
 
        rel_parts = relpath.split('/')
268
 
        r = []
269
 
        for i in cwd_parts + rel_parts:
270
 
            if i == '..':
271
 
                if not r:
272
 
                    raise ValueError("illegal relpath %r under %r"
273
 
                        % (relpath, self._cwd))
274
 
                r = r[:-1]
275
 
            elif i == '.' or i == '':
276
 
                pass
277
 
            else:
278
 
                r.append(i)
279
 
        return '/' + '/'.join(r)
 
236
        if relpath.find('..') != -1:
 
237
            raise AssertionError('relpath contains ..')
 
238
        if relpath == '.':
 
239
            if (self._cwd == '/'):
 
240
                return self._cwd
 
241
            return self._cwd[:-1]
 
242
        if relpath.endswith('/'):
 
243
            relpath = relpath[:-1]
 
244
        if relpath.startswith('./'):
 
245
            relpath = relpath[2:]
 
246
        return self._cwd + relpath
280
247
 
281
248
 
282
249
class _MemoryLock(object):
283
250
    """This makes a lock."""
284
251
 
285
252
    def __init__(self, path, transport):
 
253
        assert isinstance(transport, MemoryTransport)
286
254
        self.path = path
287
255
        self.transport = transport
288
256
        if self.path in self.transport._locks:
292
260
    def __del__(self):
293
261
        # Should this warn, or actually try to cleanup?
294
262
        if self.transport:
295
 
            warnings.warn("MemoryLock %r not explicitly unlocked" % (self.path,))
 
263
            warn("MemoryLock %r not explicitly unlocked" % (self.path,))
296
264
            self.unlock()
297
265
 
298
266
    def unlock(self):
300
268
        self.transport = None
301
269
 
302
270
 
303
 
class MemoryServer(transport.Server):
 
271
class MemoryServer(Server):
304
272
    """Server for the MemoryTransport for testing with."""
305
273
 
306
 
    def start_server(self):
 
274
    def setUp(self):
 
275
        """See bzrlib.transport.Server.setUp."""
307
276
        self._dirs = {'/':None}
308
277
        self._files = {}
309
278
        self._locks = {}
310
279
        self._scheme = "memory+%s:///" % id(self)
311
280
        def memory_factory(url):
312
 
            from bzrlib.transport import memory
313
 
            result = memory.MemoryTransport(url)
 
281
            result = MemoryTransport(url)
314
282
            result._dirs = self._dirs
315
283
            result._files = self._files
316
284
            result._locks = self._locks
317
285
            return result
318
 
        self._memory_factory = memory_factory
319
 
        transport.register_transport(self._scheme, self._memory_factory)
 
286
        register_transport(self._scheme, memory_factory)
320
287
 
321
 
    def stop_server(self):
 
288
    def tearDown(self):
 
289
        """See bzrlib.transport.Server.tearDown."""
322
290
        # unregister this server
323
 
        transport.unregister_transport(self._scheme, self._memory_factory)
324
291
 
325
292
    def get_url(self):
326
293
        """See bzrlib.transport.Server.get_url."""
327
294
        return self._scheme
328
295
 
329
 
    def get_bogus_url(self):
330
 
        raise NotImplementedError
331
 
 
332
296
 
333
297
def get_test_permutations():
334
298
    """Return the permutations to be used in testing."""