← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/local.py

Merge bzr.dev

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/transport/local.py
1
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
 
 
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""Transport for the local filesystem.
18
18
 
19
 
This is a fairly thin wrapper on regular file IO."""
 
19
This is a fairly thin wrapper on regular file IO.
 
20
"""
20
21
 
21
22
import os
 
23
from stat import ST_MODE, S_ISDIR, ST_SIZE, S_IMODE
 
24
import sys
 
25
 
 
26
from bzrlib.lazy_import import lazy_import
 
27
lazy_import(globals(), """
 
28
import errno
22
29
import shutil
23
 
import sys
24
 
from stat import ST_MODE, S_ISDIR, ST_SIZE
25
 
import tempfile
26
 
import urllib
27
30
 
 
31
from bzrlib import (
 
32
    atomicfile,
 
33
    osutils,
 
34
    urlutils,
 
35
    symbol_versioning,
 
36
    )
28
37
from bzrlib.trace import mutter
 
38
""")
 
39
 
29
40
from bzrlib.transport import Transport, Server
30
 
from bzrlib.osutils import (abspath, realpath, normpath, pathjoin, rename, 
31
 
                            check_legal_path, rmtree)
 
41
 
 
42
 
 
43
_append_flags = os.O_CREAT | os.O_APPEND | os.O_WRONLY | osutils.O_BINARY
 
44
_put_non_atomic_flags = os.O_CREAT | os.O_TRUNC | os.O_WRONLY | osutils.O_BINARY
32
45
 
33
46
 
34
47
class LocalTransport(Transport):
36
49
 
37
50
    def __init__(self, base):
38
51
        """Set the base path where files will be stored."""
39
 
        if base.startswith('file://'):
40
 
            base = base[len('file://'):]
41
 
        # realpath is incompatible with symlinks. When we traverse
42
 
        # up we might be able to normpath stuff. RBC 20051003
43
 
        base = normpath(abspath(base))
 
52
        if not base.startswith('file://'):
 
53
            symbol_versioning.warn(
 
54
                "Instantiating LocalTransport with a filesystem path"
 
55
                " is deprecated as of bzr 0.8."
 
56
                " Please use bzrlib.transport.get_transport()"
 
57
                " or pass in a file:// url.",
 
58
                 DeprecationWarning,
 
59
                 stacklevel=2
 
60
                 )
 
61
            base = urlutils.local_path_to_url(base)
44
62
        if base[-1] != '/':
45
63
            base = base + '/'
46
64
        super(LocalTransport, self).__init__(base)
 
65
        self._local_base = urlutils.local_path_from_url(base)
47
66
 
48
67
    def should_cache(self):
49
68
        return False
56
75
        if offset is None:
57
76
            return LocalTransport(self.base)
58
77
        else:
59
 
            return LocalTransport(self.abspath(offset))
 
78
            abspath = self.abspath(offset)
 
79
            if abspath == 'file://':
 
80
                # fix upwalk for UNC path
 
81
                # when clone from //HOST/path updir recursively
 
82
                # we should stop at least at //HOST part
 
83
                abspath = self.base
 
84
            return LocalTransport(abspath)
 
85
 
 
86
    def _abspath(self, relative_reference):
 
87
        """Return a path for use in os calls.
 
88
 
 
89
        Several assumptions are made:
 
90
         - relative_reference does not contain '..'
 
91
         - relative_reference is url escaped.
 
92
        """
 
93
        if relative_reference in ('.', ''):
 
94
            return self._local_base
 
95
        return self._local_base + urlutils.unescape(relative_reference)
60
96
 
61
97
    def abspath(self, relpath):
62
98
        """Return the full url to the given relative URL."""
 
99
        # TODO: url escape the result. RBC 20060523.
63
100
        assert isinstance(relpath, basestring), (type(relpath), relpath)
64
 
        result = normpath(pathjoin(self.base, urllib.unquote(relpath)))
65
 
        #if result[-1] != '/':
66
 
        #    result += '/'
67
 
        return result
 
101
        # jam 20060426 Using normpath on the real path, because that ensures
 
102
        #       proper handling of stuff like
 
103
        path = osutils.normpath(osutils.pathjoin(
 
104
                    self._local_base, urlutils.unescape(relpath)))
 
105
        return urlutils.local_path_to_url(path)
 
106
 
 
107
    def local_abspath(self, relpath):
 
108
        """Transform the given relative path URL into the actual path on disk
 
109
 
 
110
        This function only exists for the LocalTransport, since it is
 
111
        the only one that has direct local access.
 
112
        This is mostly for stuff like WorkingTree which needs to know
 
113
        the local working directory.
 
114
        
 
115
        This function is quite expensive: it calls realpath which resolves
 
116
        symlinks.
 
117
        """
 
118
        absurl = self.abspath(relpath)
 
119
        # mutter(u'relpath %s => base: %s, absurl %s', relpath, self.base, absurl)
 
120
        return urlutils.local_path_from_url(absurl)
68
121
 
69
122
    def relpath(self, abspath):
70
123
        """Return the local path portion from a given absolute path.
71
124
        """
72
 
        from bzrlib.osutils import relpath, strip_trailing_slash
73
125
        if abspath is None:
74
126
            abspath = u'.'
75
127
 
76
 
        return relpath(strip_trailing_slash(self.base), 
77
 
                       strip_trailing_slash(abspath))
 
128
        return urlutils.file_relpath(
 
129
            urlutils.strip_trailing_slash(self.base), 
 
130
            urlutils.strip_trailing_slash(abspath))
78
131
 
79
132
    def has(self, relpath):
80
 
        return os.access(self.abspath(relpath), os.F_OK)
 
133
        return os.access(self._abspath(relpath), os.F_OK)
81
134
 
82
135
    def get(self, relpath):
83
136
        """Get the file at the given relative path.
85
138
        :param relpath: The relative path to the file
86
139
        """
87
140
        try:
88
 
            path = self.abspath(relpath)
 
141
            path = self._abspath(relpath)
89
142
            return open(path, 'rb')
90
143
        except (IOError, OSError),e:
91
144
            self._translate_error(e, path)
92
145
 
93
 
    def put(self, relpath, f, mode=None):
94
 
        """Copy the file-like or string object into the location.
 
146
    def put_file(self, relpath, f, mode=None):
 
147
        """Copy the file-like object into the location.
95
148
 
96
149
        :param relpath: Location to put the contents, relative to base.
97
 
        :param f:       File-like or string object.
 
150
        :param f:       File-like object.
 
151
        :param mode: The mode for the newly created file, 
 
152
                     None means just use the default
98
153
        """
99
 
        from bzrlib.atomicfile import AtomicFile
100
154
 
101
155
        path = relpath
102
156
        try:
103
 
            path = self.abspath(relpath)
104
 
            check_legal_path(path)
105
 
            fp = AtomicFile(path, 'wb', new_mode=mode)
 
157
            path = self._abspath(relpath)
 
158
            osutils.check_legal_path(path)
 
159
            fp = atomicfile.AtomicFile(path, 'wb', new_mode=mode)
106
160
        except (IOError, OSError),e:
107
161
            self._translate_error(e, path)
108
162
        try:
111
165
        finally:
112
166
            fp.close()
113
167
 
 
168
    def put_bytes(self, relpath, bytes, mode=None):
 
169
        """Copy the string into the location.
 
170
 
 
171
        :param relpath: Location to put the contents, relative to base.
 
172
        :param bytes:   String
 
173
        """
 
174
 
 
175
        path = relpath
 
176
        try:
 
177
            path = self._abspath(relpath)
 
178
            osutils.check_legal_path(path)
 
179
            fp = atomicfile.AtomicFile(path, 'wb', new_mode=mode)
 
180
        except (IOError, OSError),e:
 
181
            self._translate_error(e, path)
 
182
        try:
 
183
            fp.write(bytes)
 
184
            fp.commit()
 
185
        finally:
 
186
            fp.close()
 
187
 
 
188
    def _put_non_atomic_helper(self, relpath, writer,
 
189
                               mode=None,
 
190
                               create_parent_dir=False,
 
191
                               dir_mode=None):
 
192
        """Common functionality information for the put_*_non_atomic.
 
193
 
 
194
        This tracks all the create_parent_dir stuff.
 
195
 
 
196
        :param relpath: the path we are putting to.
 
197
        :param writer: A function that takes an os level file descriptor
 
198
            and writes whatever data it needs to write there.
 
199
        :param mode: The final file mode.
 
200
        :param create_parent_dir: Should we be creating the parent directory
 
201
            if it doesn't exist?
 
202
        """
 
203
        abspath = self._abspath(relpath)
 
204
        if mode is None:
 
205
            # os.open() will automatically use the umask
 
206
            local_mode = 0666
 
207
        else:
 
208
            local_mode = mode
 
209
        try:
 
210
            fd = os.open(abspath, _put_non_atomic_flags, local_mode)
 
211
        except (IOError, OSError),e:
 
212
            # We couldn't create the file, maybe we need to create
 
213
            # the parent directory, and try again
 
214
            if (not create_parent_dir
 
215
                or e.errno not in (errno.ENOENT,errno.ENOTDIR)):
 
216
                self._translate_error(e, relpath)
 
217
            parent_dir = os.path.dirname(abspath)
 
218
            if not parent_dir:
 
219
                self._translate_error(e, relpath)
 
220
            self._mkdir(parent_dir, mode=dir_mode)
 
221
            # We created the parent directory, lets try to open the
 
222
            # file again
 
223
            try:
 
224
                fd = os.open(abspath, _put_non_atomic_flags, local_mode)
 
225
            except (IOError, OSError), e:
 
226
                self._translate_error(e, relpath)
 
227
        try:
 
228
            st = os.fstat(fd)
 
229
            if mode is not None and mode != S_IMODE(st.st_mode):
 
230
                # Because of umask, we may still need to chmod the file.
 
231
                # But in the general case, we won't have to
 
232
                os.chmod(abspath, mode)
 
233
            writer(fd)
 
234
        finally:
 
235
            os.close(fd)
 
236
 
 
237
    def put_file_non_atomic(self, relpath, f, mode=None,
 
238
                            create_parent_dir=False,
 
239
                            dir_mode=None):
 
240
        """Copy the file-like object into the target location.
 
241
 
 
242
        This function is not strictly safe to use. It is only meant to
 
243
        be used when you already know that the target does not exist.
 
244
        It is not safe, because it will open and truncate the remote
 
245
        file. So there may be a time when the file has invalid contents.
 
246
 
 
247
        :param relpath: The remote location to put the contents.
 
248
        :param f:       File-like object.
 
249
        :param mode:    Possible access permissions for new file.
 
250
                        None means do not set remote permissions.
 
251
        :param create_parent_dir: If we cannot create the target file because
 
252
                        the parent directory does not exist, go ahead and
 
253
                        create it, and then try again.
 
254
        """
 
255
        def writer(fd):
 
256
            self._pump_to_fd(f, fd)
 
257
        self._put_non_atomic_helper(relpath, writer, mode=mode,
 
258
                                    create_parent_dir=create_parent_dir,
 
259
                                    dir_mode=dir_mode)
 
260
 
 
261
    def put_bytes_non_atomic(self, relpath, bytes, mode=None,
 
262
                             create_parent_dir=False, dir_mode=None):
 
263
        def writer(fd):
 
264
            os.write(fd, bytes)
 
265
        self._put_non_atomic_helper(relpath, writer, mode=mode,
 
266
                                    create_parent_dir=create_parent_dir,
 
267
                                    dir_mode=dir_mode)
 
268
 
114
269
    def iter_files_recursive(self):
115
270
        """Iter the relative paths of files in the transports sub-tree."""
116
271
        queue = list(self.list_dir(u'.'))
123
278
            else:
124
279
                yield relpath
125
280
 
 
281
    def _mkdir(self, abspath, mode=None):
 
282
        """Create a real directory, filtering through mode"""
 
283
        if mode is None:
 
284
            # os.mkdir() will filter through umask
 
285
            local_mode = 0777
 
286
        else:
 
287
            local_mode = mode
 
288
        try:
 
289
            os.mkdir(abspath, local_mode)
 
290
            if mode is not None:
 
291
                # It is probably faster to just do the chmod, rather than
 
292
                # doing a stat, and then trying to compare
 
293
                os.chmod(abspath, mode)
 
294
        except (IOError, OSError),e:
 
295
            self._translate_error(e, abspath)
 
296
 
126
297
    def mkdir(self, relpath, mode=None):
127
298
        """Create a directory at the given path."""
128
 
        path = relpath
129
 
        try:
130
 
            path = self.abspath(relpath)
131
 
            os.mkdir(path)
132
 
            if mode is not None:
133
 
                os.chmod(path, mode)
134
 
        except (IOError, OSError),e:
135
 
            self._translate_error(e, path)
 
299
        self._mkdir(self._abspath(relpath), mode=mode)
136
300
 
137
 
    def append(self, relpath, f, mode=None):
138
 
        """Append the text in the file-like object into the final
139
 
        location.
140
 
        """
 
301
    def _get_append_file(self, relpath, mode=None):
 
302
        """Call os.open() for the given relpath"""
 
303
        file_abspath = self._abspath(relpath)
 
304
        if mode is None:
 
305
            # os.open() will automatically use the umask
 
306
            local_mode = 0666
 
307
        else:
 
308
            local_mode = mode
141
309
        try:
142
 
            fp = open(self.abspath(relpath), 'ab')
143
 
            if mode is not None:
144
 
                os.chmod(self.abspath(relpath), mode)
 
310
            return file_abspath, os.open(file_abspath, _append_flags, local_mode)
145
311
        except (IOError, OSError),e:
146
312
            self._translate_error(e, relpath)
147
 
        # win32 workaround (tell on an unwritten file returns 0)
148
 
        fp.seek(0, 2)
149
 
        result = fp.tell()
150
 
        self._pump(f, fp)
151
 
        return result
 
313
 
 
314
    def _check_mode_and_size(self, file_abspath, fd, mode=None):
 
315
        """Check the mode of the file, and return the current size"""
 
316
        st = os.fstat(fd)
 
317
        if mode is not None and mode != S_IMODE(st.st_mode):
 
318
            # Because of umask, we may still need to chmod the file.
 
319
            # But in the general case, we won't have to
 
320
            os.chmod(file_abspath, mode)
 
321
        return st.st_size
 
322
 
 
323
    def append_file(self, relpath, f, mode=None):
 
324
        """Append the text in the file-like object into the final location."""
 
325
        file_abspath, fd = self._get_append_file(relpath, mode=mode)
 
326
        try:
 
327
            result = self._check_mode_and_size(file_abspath, fd, mode=mode)
 
328
            self._pump_to_fd(f, fd)
 
329
        finally:
 
330
            os.close(fd)
 
331
        return result
 
332
 
 
333
    def append_bytes(self, relpath, bytes, mode=None):
 
334
        """Append the text in the string into the final location."""
 
335
        file_abspath, fd = self._get_append_file(relpath, mode=mode)
 
336
        try:
 
337
            result = self._check_mode_and_size(file_abspath, fd, mode=mode)
 
338
            os.write(fd, bytes)
 
339
        finally:
 
340
            os.close(fd)
 
341
        return result
 
342
 
 
343
    def _pump_to_fd(self, fromfile, to_fd):
 
344
        """Copy contents of one file to another."""
 
345
        BUFSIZE = 32768
 
346
        while True:
 
347
            b = fromfile.read(BUFSIZE)
 
348
            if not b:
 
349
                break
 
350
            os.write(to_fd, b)
152
351
 
153
352
    def copy(self, rel_from, rel_to):
154
353
        """Copy the item at rel_from to the location at rel_to"""
155
 
        path_from = self.abspath(rel_from)
156
 
        path_to = self.abspath(rel_to)
 
354
        path_from = self._abspath(rel_from)
 
355
        path_to = self._abspath(rel_to)
157
356
        try:
158
357
            shutil.copy(path_from, path_to)
159
358
        except (IOError, OSError),e:
161
360
            self._translate_error(e, path_from)
162
361
 
163
362
    def rename(self, rel_from, rel_to):
164
 
        path_from = self.abspath(rel_from)
 
363
        path_from = self._abspath(rel_from)
165
364
        try:
166
365
            # *don't* call bzrlib.osutils.rename, because we want to 
167
366
            # detect errors on rename
168
 
            os.rename(path_from, self.abspath(rel_to))
 
367
            os.rename(path_from, self._abspath(rel_to))
169
368
        except (IOError, OSError),e:
170
369
            # TODO: What about path_to?
171
370
            self._translate_error(e, path_from)
172
371
 
173
372
    def move(self, rel_from, rel_to):
174
373
        """Move the item at rel_from to the location at rel_to"""
175
 
        path_from = self.abspath(rel_from)
176
 
        path_to = self.abspath(rel_to)
 
374
        path_from = self._abspath(rel_from)
 
375
        path_to = self._abspath(rel_to)
177
376
 
178
377
        try:
179
378
            # this version will delete the destination if necessary
180
 
            rename(path_from, path_to)
 
379
            osutils.rename(path_from, path_to)
181
380
        except (IOError, OSError),e:
182
381
            # TODO: What about path_to?
183
382
            self._translate_error(e, path_from)
186
385
        """Delete the item at relpath"""
187
386
        path = relpath
188
387
        try:
189
 
            path = self.abspath(relpath)
 
388
            path = self._abspath(relpath)
190
389
            os.remove(path)
191
390
        except (IOError, OSError),e:
192
 
            # TODO: What about path_to?
193
391
            self._translate_error(e, path)
194
392
 
195
393
    def copy_to(self, relpaths, other, mode=None, pb=None):
206
404
            for path in relpaths:
207
405
                self._update_pb(pb, 'copy-to', count, total)
208
406
                try:
209
 
                    mypath = self.abspath(path)
210
 
                    otherpath = other.abspath(path)
 
407
                    mypath = self._abspath(path)
 
408
                    otherpath = other._abspath(path)
211
409
                    shutil.copy(mypath, otherpath)
212
410
                    if mode is not None:
213
411
                        os.chmod(otherpath, mode)
227
425
        WARNING: many transports do not support this, so trying avoid using
228
426
        it if at all possible.
229
427
        """
230
 
        path = self.abspath(relpath)
 
428
        path = self._abspath(relpath)
231
429
        try:
232
 
            return [urllib.quote(entry) for entry in os.listdir(path)]
 
430
            entries = os.listdir(path)
233
431
        except (IOError, OSError), e:
234
432
            self._translate_error(e, path)
 
433
        return [urlutils.escape(entry) for entry in entries]
235
434
 
236
435
    def stat(self, relpath):
237
436
        """Return the stat information for a file.
238
437
        """
239
438
        path = relpath
240
439
        try:
241
 
            path = self.abspath(relpath)
 
440
            path = self._abspath(relpath)
242
441
            return os.stat(path)
243
442
        except (IOError, OSError),e:
244
443
            self._translate_error(e, path)
250
449
        from bzrlib.lock import ReadLock
251
450
        path = relpath
252
451
        try:
253
 
            path = self.abspath(relpath)
 
452
            path = self._abspath(relpath)
254
453
            return ReadLock(path)
255
454
        except (IOError, OSError), e:
256
455
            self._translate_error(e, path)
262
461
        :return: A lock object, which should be passed to Transport.unlock()
263
462
        """
264
463
        from bzrlib.lock import WriteLock
265
 
        return WriteLock(self.abspath(relpath))
 
464
        return WriteLock(self._abspath(relpath))
266
465
 
267
466
    def rmdir(self, relpath):
268
467
        """See Transport.rmdir."""
269
468
        path = relpath
270
469
        try:
271
 
            path = self.abspath(relpath)
 
470
            path = self._abspath(relpath)
272
471
            os.rmdir(path)
273
472
        except (IOError, OSError),e:
274
473
            self._translate_error(e, path)
281
480
            return True
282
481
 
283
482
 
284
 
class ScratchTransport(LocalTransport):
285
 
    """A transport that works in a temporary dir and cleans up after itself.
 
483
class EmulatedWin32LocalTransport(LocalTransport):
 
484
    """Special transport for testing Win32 [UNC] paths on non-windows"""
 
485
 
 
486
    def __init__(self, base):
 
487
        if base[-1] != '/':
 
488
            base = base + '/'
 
489
        super(LocalTransport, self).__init__(base)
 
490
        self._local_base = urlutils._win32_local_path_from_url(base)
 
491
 
 
492
    def abspath(self, relpath):
 
493
        assert isinstance(relpath, basestring), (type(relpath), relpath)
 
494
        path = osutils.normpath(osutils.pathjoin(
 
495
                    self._local_base, urlutils.unescape(relpath)))
 
496
        return urlutils._win32_local_path_to_url(path)
 
497
 
 
498
    def clone(self, offset=None):
 
499
        """Return a new LocalTransport with root at self.base + offset
 
500
        Because the local filesystem does not require a connection, 
 
501
        we can just return a new object.
 
502
        """
 
503
        if offset is None:
 
504
            return EmulatedWin32LocalTransport(self.base)
 
505
        else:
 
506
            abspath = self.abspath(offset)
 
507
            if abspath == 'file://':
 
508
                # fix upwalk for UNC path
 
509
                # when clone from //HOST/path updir recursively
 
510
                # we should stop at least at //HOST part
 
511
                abspath = self.base
 
512
            return EmulatedWin32LocalTransport(abspath)
 
513
 
 
514
 
 
515
class LocalURLServer(Server):
 
516
    """A pretend server for local transports, using file:// urls.
286
517
    
287
 
    The dir only exists for the lifetime of the Python object.
288
 
    Obviously you should not put anything precious in it.
 
518
    Of course no actual server is required to access the local filesystem, so
 
519
    this just exists to tell the test code how to get to it.
289
520
    """
290
521
 
291
 
    def __init__(self, base=None):
292
 
        if base is None:
293
 
            base = tempfile.mkdtemp()
294
 
        super(ScratchTransport, self).__init__(base)
295
 
 
296
 
    def __del__(self):
297
 
        rmtree(self.base, ignore_errors=True)
298
 
        mutter("%r destroyed" % self)
299
 
 
300
 
 
301
 
class LocalRelpathServer(Server):
302
 
    """A pretend server for local transports, using relpaths."""
303
 
 
304
 
    def get_url(self):
305
 
        """See Transport.Server.get_url."""
306
 
        return "."
307
 
 
308
 
 
309
 
class LocalAbspathServer(Server):
310
 
    """A pretend server for local transports, using absolute paths."""
311
 
 
312
 
    def get_url(self):
313
 
        """See Transport.Server.get_url."""
314
 
        return os.path.abspath("")
315
 
 
316
 
 
317
 
class LocalURLServer(Server):
318
 
    """A pretend server for local transports, using file:// urls."""
319
 
 
320
 
    def get_url(self):
321
 
        """See Transport.Server.get_url."""
322
 
        # FIXME: \ to / on windows
323
 
        return "file://%s" % os.path.abspath("")
 
522
    def get_url(self):
 
523
        """See Transport.Server.get_url."""
 
524
        return urlutils.local_path_to_url('')
324
525
 
325
526
 
326
527
def get_test_permutations():
327
528
    """Return the permutations to be used in testing."""
328
 
    return [(LocalTransport, LocalRelpathServer),
329
 
            (LocalTransport, LocalAbspathServer),
 
529
    return [
330
530
            (LocalTransport, LocalURLServer),
331
531
            ]