← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/memory.py

  • Committer: Robert Collins
  • Date: 2006-03-01 03:26:23 UTC
  • mto: (1594.2.4 integration)
  • mto: This revision was merged to the branch mainline in revision 1596.
  • Revision ID: robertc@robertcollins.net-20060301032623-9d3c073e102f2239
Move WeaveStore down into bzrlib.store.versioned.weave.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/transport/memory.py
1
 
# Copyright (C) 2005-2010 Canonical Ltd
2
 
#
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
 
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
#
 
7
 
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
#
 
12
 
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""Implementation of Transport that uses memory for its storage.
18
18
 
20
20
so this is primarily useful for testing.
21
21
"""
22
22
 
 
23
from copy import copy
23
24
import os
24
25
import errno
25
26
import re
26
 
from stat import S_IFREG, S_IFDIR
 
27
from stat import *
27
28
from cStringIO import StringIO
28
 
import warnings
29
29
 
30
 
from bzrlib import (
31
 
    transport,
32
 
    urlutils,
33
 
    )
34
 
from bzrlib.errors import (
35
 
    FileExists,
36
 
    LockError,
37
 
    InProcessTransport,
38
 
    NoSuchFile,
39
 
    TransportError,
40
 
    )
41
30
from bzrlib.trace import mutter
42
 
from bzrlib.transport import (
43
 
    AppendBasedFileStream,
44
 
    _file_streams,
45
 
    LateReadError,
46
 
    )
47
 
 
48
 
 
 
31
from bzrlib.errors import TransportError, NoSuchFile, FileExists, LockError
 
32
from bzrlib.transport import Transport, register_transport, Server
49
33
 
50
34
class MemoryStat(object):
51
35
 
52
36
    def __init__(self, size, is_dir, perms):
53
37
        self.st_size = size
 
38
        if perms is None:
 
39
            perms = 0644
54
40
        if not is_dir:
55
 
            if perms is None:
56
 
                perms = 0644
57
41
            self.st_mode = S_IFREG | perms
58
42
        else:
59
 
            if perms is None:
60
 
                perms = 0755
61
43
            self.st_mode = S_IFDIR | perms
62
44
 
63
45
 
64
 
class MemoryTransport(transport.Transport):
 
46
class MemoryTransport(Transport):
65
47
    """This is an in memory file system for transient data storage."""
66
48
 
67
49
    def __init__(self, url=""):
68
50
        """Set the 'base' path where files will be stored."""
69
51
        if url == "":
70
 
            url = "memory:///"
 
52
            url = "memory:/"
71
53
        if url[-1] != '/':
72
54
            url = url + '/'
73
55
        super(MemoryTransport, self).__init__(url)
74
 
        split = url.find(':') + 3
75
 
        self._scheme = url[:split]
76
 
        self._cwd = url[split:]
 
56
        self._cwd = url[url.find(':') + 1:]
77
57
        # dictionaries from absolute path to file mode
78
 
        self._dirs = {'/':None}
 
58
        self._dirs = {}
79
59
        self._files = {}
80
60
        self._locks = {}
81
61
 
82
62
    def clone(self, offset=None):
83
63
        """See Transport.clone()."""
84
 
        path = urlutils.URL._combine_paths(self._cwd, offset)
85
 
        if len(path) == 0 or path[-1] != '/':
86
 
            path += '/'
87
 
        url = self._scheme + path
88
 
        result = self.__class__(url)
 
64
        if offset is None:
 
65
            return copy(self)
 
66
        segments = offset.split('/')
 
67
        cwdsegments = self._cwd.split('/')[:-1]
 
68
        while len(segments):
 
69
            segment = segments.pop(0)
 
70
            if segment == '.':
 
71
                continue
 
72
            if segment == '..':
 
73
                if len(cwdsegments) > 1:
 
74
                    cwdsegments.pop()
 
75
                continue
 
76
            cwdsegments.append(segment)
 
77
        url = self.base[:self.base.find(':') + 1] + '/'.join(cwdsegments) + '/'
 
78
        result = MemoryTransport(url)
89
79
        result._dirs = self._dirs
90
80
        result._files = self._files
91
81
        result._locks = self._locks
93
83
 
94
84
    def abspath(self, relpath):
95
85
        """See Transport.abspath()."""
96
 
        # while a little slow, this is sufficiently fast to not matter in our
97
 
        # current environment - XXX RBC 20060404 move the clone '..' handling
98
 
        # into here and call abspath from clone
99
 
        temp_t = self.clone(relpath)
100
 
        if temp_t.base.count('/') == 3:
101
 
            return temp_t.base
102
 
        else:
103
 
            return temp_t.base[:-1]
 
86
        return self.base[:-1] + self._abspath(relpath)[len(self._cwd) - 1:]
104
87
 
105
 
    def append_file(self, relpath, f, mode=None):
106
 
        """See Transport.append_file()."""
 
88
    def append(self, relpath, f):
 
89
        """See Transport.append()."""
107
90
        _abspath = self._abspath(relpath)
108
91
        self._check_parent(_abspath)
109
92
        orig_content, orig_mode = self._files.get(_abspath, ("", None))
110
 
        if mode is None:
111
 
            mode = orig_mode
112
 
        self._files[_abspath] = (orig_content + f.read(), mode)
 
93
        self._files[_abspath] = (orig_content + f.read(), orig_mode)
113
94
        return len(orig_content)
114
95
 
115
96
    def _check_parent(self, _abspath):
121
102
    def has(self, relpath):
122
103
        """See Transport.has()."""
123
104
        _abspath = self._abspath(relpath)
124
 
        return (_abspath in self._files) or (_abspath in self._dirs)
 
105
        return _abspath in self._files or _abspath in self._dirs
125
106
 
126
107
    def delete(self, relpath):
127
108
        """See Transport.delete()."""
130
111
            raise NoSuchFile(relpath)
131
112
        del self._files[_abspath]
132
113
 
133
 
    def external_url(self):
134
 
        """See bzrlib.transport.Transport.external_url."""
135
 
        # MemoryTransport's are only accessible in-process
136
 
        # so we raise here
137
 
        raise InProcessTransport(self)
138
 
 
139
114
    def get(self, relpath):
140
115
        """See Transport.get()."""
141
116
        _abspath = self._abspath(relpath)
142
117
        if not _abspath in self._files:
143
 
            if _abspath in self._dirs:
144
 
                return LateReadError(relpath)
145
 
            else:
146
 
                raise NoSuchFile(relpath)
 
118
            raise NoSuchFile(relpath)
147
119
        return StringIO(self._files[_abspath][0])
148
120
 
149
 
    def put_file(self, relpath, f, mode=None):
150
 
        """See Transport.put_file()."""
 
121
    def put(self, relpath, f, mode=None):
 
122
        """See Transport.put()."""
151
123
        _abspath = self._abspath(relpath)
152
124
        self._check_parent(_abspath)
153
 
        bytes = f.read()
154
 
        if type(bytes) is not str:
155
 
            # Although not strictly correct, we raise UnicodeEncodeError to be
156
 
            # compatible with other transports.
157
 
            raise UnicodeEncodeError(
158
 
                'undefined', bytes, 0, 1,
159
 
                'put_file must be given a file of bytes, not unicode.')
160
 
        self._files[_abspath] = (bytes, mode)
161
 
        return len(bytes)
 
125
        self._files[_abspath] = (f.read(), mode)
162
126
 
163
127
    def mkdir(self, relpath, mode=None):
164
128
        """See Transport.mkdir()."""
168
132
            raise FileExists(relpath)
169
133
        self._dirs[_abspath]=mode
170
134
 
171
 
    def open_write_stream(self, relpath, mode=None):
172
 
        """See Transport.open_write_stream."""
173
 
        self.put_bytes(relpath, "", mode)
174
 
        result = AppendBasedFileStream(self, relpath)
175
 
        _file_streams[self.abspath(relpath)] = result
176
 
        return result
177
 
 
178
135
    def listable(self):
179
136
        """See Transport.listable."""
180
137
        return True
182
139
    def iter_files_recursive(self):
183
140
        for file in self._files:
184
141
            if file.startswith(self._cwd):
185
 
                yield urlutils.escape(file[len(self._cwd):])
186
 
 
 
142
                yield file[len(self._cwd):]
 
143
    
187
144
    def list_dir(self, relpath):
188
145
        """See Transport.list_dir()."""
189
146
        _abspath = self._abspath(relpath)
190
147
        if _abspath != '/' and _abspath not in self._dirs:
191
148
            raise NoSuchFile(relpath)
192
149
        result = []
193
 
 
194
 
        if not _abspath.endswith('/'):
195
 
            _abspath += '/'
196
 
 
197
 
        for path_group in self._files, self._dirs:
198
 
            for path in path_group:
199
 
                if path.startswith(_abspath):
200
 
                    trailing = path[len(_abspath):]
201
 
                    if trailing and '/' not in trailing:
202
 
                        result.append(trailing)
203
 
        return map(urlutils.escape, result)
 
150
        for path in self._files:
 
151
            if (path.startswith(_abspath) and 
 
152
                path[len(_abspath) + 1:].find('/') == -1 and
 
153
                len(path) > len(_abspath)):
 
154
                result.append(path[len(_abspath) + 1:])
 
155
        for path in self._dirs:
 
156
            if (path.startswith(_abspath) and 
 
157
                path[len(_abspath) + 1:].find('/') == -1 and
 
158
                len(path) > len(_abspath) and
 
159
                path[len(_abspath)] == '/'):
 
160
                result.append(path[len(_abspath) + 1:])
 
161
        return result
204
162
 
205
163
    def rename(self, rel_from, rel_to):
206
164
        """Rename a file or directory; fail if the destination exists"""
222
180
                    del container[path]
223
181
        do_renames(self._files)
224
182
        do_renames(self._dirs)
225
 
 
 
183
    
226
184
    def rmdir(self, relpath):
227
185
        """See Transport.rmdir."""
228
186
        _abspath = self._abspath(relpath)
229
187
        if _abspath in self._files:
230
188
            self._translate_error(IOError(errno.ENOTDIR, relpath), relpath)
231
189
        for path in self._files:
232
 
            if path.startswith(_abspath + '/'):
 
190
            if path.startswith(_abspath):
233
191
                self._translate_error(IOError(errno.ENOTEMPTY, relpath),
234
192
                                      relpath)
235
193
        for path in self._dirs:
236
 
            if path.startswith(_abspath + '/') and path != _abspath:
 
194
            if path.startswith(_abspath) and path != _abspath:
237
195
                self._translate_error(IOError(errno.ENOTEMPTY, relpath), relpath)
238
196
        if not _abspath in self._dirs:
239
197
            raise NoSuchFile(relpath)
243
201
        """See Transport.stat()."""
244
202
        _abspath = self._abspath(relpath)
245
203
        if _abspath in self._files:
246
 
            return MemoryStat(len(self._files[_abspath][0]), False,
 
204
            return MemoryStat(len(self._files[_abspath][0]), False, 
247
205
                              self._files[_abspath][1])
 
206
        elif _abspath == '':
 
207
            return MemoryStat(0, True, None)
248
208
        elif _abspath in self._dirs:
249
209
            return MemoryStat(0, True, self._dirs[_abspath])
250
210
        else:
260
220
 
261
221
    def _abspath(self, relpath):
262
222
        """Generate an internal absolute path."""
263
 
        relpath = urlutils.unescape(relpath)
264
 
        if relpath[:1] == '/':
265
 
            return relpath
266
 
        cwd_parts = self._cwd.split('/')
267
 
        rel_parts = relpath.split('/')
268
 
        r = []
269
 
        for i in cwd_parts + rel_parts:
270
 
            if i == '..':
271
 
                if not r:
272
 
                    raise ValueError("illegal relpath %r under %r"
273
 
                        % (relpath, self._cwd))
274
 
                r = r[:-1]
275
 
            elif i == '.' or i == '':
276
 
                pass
277
 
            else:
278
 
                r.append(i)
279
 
        return '/' + '/'.join(r)
 
223
        if relpath.find('..') != -1:
 
224
            raise AssertionError('relpath contains ..')
 
225
        if relpath == '.':
 
226
            return self._cwd[:-1]
 
227
        if relpath.endswith('/'):
 
228
            relpath = relpath[:-1]
 
229
        if relpath.startswith('./'):
 
230
            relpath = relpath[2:]
 
231
        return self._cwd + relpath
280
232
 
281
233
 
282
234
class _MemoryLock(object):
283
235
    """This makes a lock."""
284
236
 
285
237
    def __init__(self, path, transport):
 
238
        assert isinstance(transport, MemoryTransport)
286
239
        self.path = path
287
240
        self.transport = transport
288
241
        if self.path in self.transport._locks:
289
242
            raise LockError('File %r already locked' % (self.path,))
290
243
        self.transport._locks[self.path] = self
291
244
 
 
245
    def __del__(self):
 
246
        # Should this warn, or actually try to cleanup?
 
247
        if self.transport:
 
248
            warn("MemoryLock %r not explicitly unlocked" % (self.path,))
 
249
            self.unlock()
 
250
 
292
251
    def unlock(self):
293
252
        del self.transport._locks[self.path]
294
253
        self.transport = None
295
254
 
296
255
 
297
 
class MemoryServer(transport.Server):
 
256
class MemoryServer(Server):
298
257
    """Server for the MemoryTransport for testing with."""
299
258
 
300
 
    def start_server(self):
301
 
        self._dirs = {'/':None}
 
259
    def setUp(self):
 
260
        """See bzrlib.transport.Server.setUp."""
 
261
        self._dirs = {}
302
262
        self._files = {}
303
263
        self._locks = {}
304
 
        self._scheme = "memory+%s:///" % id(self)
 
264
        self._scheme = "memory+%s:" % id(self)
305
265
        def memory_factory(url):
306
 
            from bzrlib.transport import memory
307
 
            result = memory.MemoryTransport(url)
 
266
            result = MemoryTransport(url)
308
267
            result._dirs = self._dirs
309
268
            result._files = self._files
310
269
            result._locks = self._locks
311
270
            return result
312
 
        self._memory_factory = memory_factory
313
 
        transport.register_transport(self._scheme, self._memory_factory)
 
271
        register_transport(self._scheme, memory_factory)
314
272
 
315
 
    def stop_server(self):
 
273
    def tearDown(self):
 
274
        """See bzrlib.transport.Server.tearDown."""
316
275
        # unregister this server
317
 
        transport.unregister_transport(self._scheme, self._memory_factory)
318
276
 
319
277
    def get_url(self):
320
278
        """See bzrlib.transport.Server.get_url."""
321
279
        return self._scheme
322
280
 
323
 
    def get_bogus_url(self):
324
 
        raise NotImplementedError
325
 
 
326
281
 
327
282
def get_test_permutations():
328
283
    """Return the permutations to be used in testing."""