~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/local.py

  • Committer: Andrew Bennetts
  • Date: 2008-05-21 11:58:09 UTC
  • mto: (3452.2.9 inter-remote-pack)
  • mto: This revision was merged to the branch mainline in revision 3511.
  • Revision ID: andrew.bennetts@canonical.com-20080521115809-6cw3t8gn4qm0bpg9
Remove a bit more debugging cruft.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
 
 
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
20
20
"""
21
21
 
22
22
import os
 
23
from stat import ST_MODE, S_ISDIR, ST_SIZE, S_IMODE
 
24
import sys
 
25
 
 
26
from bzrlib.lazy_import import lazy_import
 
27
lazy_import(globals(), """
 
28
import errno
23
29
import shutil
24
 
import sys
25
 
from stat import ST_MODE, S_ISDIR, ST_SIZE
26
 
import tempfile
27
30
 
28
 
from bzrlib.osutils import (abspath, realpath, normpath, pathjoin, rename, 
29
 
                            check_legal_path, rmtree)
30
 
from bzrlib.symbol_versioning import warn
 
31
from bzrlib import (
 
32
    atomicfile,
 
33
    osutils,
 
34
    urlutils,
 
35
    symbol_versioning,
 
36
    transport,
 
37
    )
31
38
from bzrlib.trace import mutter
 
39
from bzrlib.transport import LateReadError
 
40
""")
 
41
 
32
42
from bzrlib.transport import Transport, Server
33
 
import bzrlib.urlutils as urlutils
 
43
 
 
44
 
 
45
_append_flags = os.O_CREAT | os.O_APPEND | os.O_WRONLY | osutils.O_BINARY
 
46
_put_non_atomic_flags = os.O_CREAT | os.O_TRUNC | os.O_WRONLY | osutils.O_BINARY
34
47
 
35
48
 
36
49
class LocalTransport(Transport):
39
52
    def __init__(self, base):
40
53
        """Set the base path where files will be stored."""
41
54
        if not base.startswith('file://'):
42
 
            warn("Instantiating LocalTransport with a filesystem path"
 
55
            symbol_versioning.warn(
 
56
                "Instantiating LocalTransport with a filesystem path"
43
57
                " is deprecated as of bzr 0.8."
44
58
                " Please use bzrlib.transport.get_transport()"
45
59
                " or pass in a file:// url.",
52
66
        super(LocalTransport, self).__init__(base)
53
67
        self._local_base = urlutils.local_path_from_url(base)
54
68
 
55
 
    def should_cache(self):
56
 
        return False
57
 
 
58
69
    def clone(self, offset=None):
59
70
        """Return a new LocalTransport with root at self.base + offset
60
71
        Because the local filesystem does not require a connection, 
63
74
        if offset is None:
64
75
            return LocalTransport(self.base)
65
76
        else:
66
 
            return LocalTransport(self.abspath(offset))
 
77
            abspath = self.abspath(offset)
 
78
            if abspath == 'file://':
 
79
                # fix upwalk for UNC path
 
80
                # when clone from //HOST/path updir recursively
 
81
                # we should stop at least at //HOST part
 
82
                abspath = self.base
 
83
            return LocalTransport(abspath)
67
84
 
68
85
    def _abspath(self, relative_reference):
69
86
        """Return a path for use in os calls.
79
96
    def abspath(self, relpath):
80
97
        """Return the full url to the given relative URL."""
81
98
        # TODO: url escape the result. RBC 20060523.
82
 
        assert isinstance(relpath, basestring), (type(relpath), relpath)
83
99
        # jam 20060426 Using normpath on the real path, because that ensures
84
100
        #       proper handling of stuff like
85
 
        path = normpath(pathjoin(self._local_base, urlutils.unescape(relpath)))
 
101
        path = osutils.normpath(osutils.pathjoin(
 
102
                    self._local_base, urlutils.unescape(relpath)))
86
103
        return urlutils.local_path_to_url(path)
87
104
 
88
105
    def local_abspath(self, relpath):
107
124
            abspath = u'.'
108
125
 
109
126
        return urlutils.file_relpath(
110
 
            urlutils.strip_trailing_slash(self.base), 
 
127
            urlutils.strip_trailing_slash(self.base),
111
128
            urlutils.strip_trailing_slash(abspath))
112
129
 
113
130
    def has(self, relpath):
118
135
 
119
136
        :param relpath: The relative path to the file
120
137
        """
 
138
        canonical_url = self.abspath(relpath)
 
139
        if canonical_url in transport._file_streams:
 
140
            transport._file_streams[canonical_url].flush()
121
141
        try:
122
142
            path = self._abspath(relpath)
123
143
            return open(path, 'rb')
124
144
        except (IOError, OSError),e:
125
 
            self._translate_error(e, path)
126
 
 
127
 
    def put(self, relpath, f, mode=None):
128
 
        """Copy the file-like or string object into the location.
129
 
 
130
 
        :param relpath: Location to put the contents, relative to base.
131
 
        :param f:       File-like or string object.
132
 
        """
133
 
        from bzrlib.atomicfile import AtomicFile
134
 
 
135
 
        path = relpath
136
 
        try:
137
 
            path = self._abspath(relpath)
138
 
            check_legal_path(path)
139
 
            fp = AtomicFile(path, 'wb', new_mode=mode)
140
 
        except (IOError, OSError),e:
141
 
            self._translate_error(e, path)
142
 
        try:
143
 
            self._pump(f, fp)
144
 
            fp.commit()
145
 
        finally:
146
 
            fp.close()
 
145
            if e.errno == errno.EISDIR:
 
146
                return LateReadError(relpath)
 
147
            self._translate_error(e, path)
 
148
 
 
149
    def put_file(self, relpath, f, mode=None):
 
150
        """Copy the file-like object into the location.
 
151
 
 
152
        :param relpath: Location to put the contents, relative to base.
 
153
        :param f:       File-like object.
 
154
        :param mode: The mode for the newly created file, 
 
155
                     None means just use the default
 
156
        """
 
157
 
 
158
        path = relpath
 
159
        try:
 
160
            path = self._abspath(relpath)
 
161
            osutils.check_legal_path(path)
 
162
            fp = atomicfile.AtomicFile(path, 'wb', new_mode=mode)
 
163
        except (IOError, OSError),e:
 
164
            self._translate_error(e, path)
 
165
        try:
 
166
            length = self._pump(f, fp)
 
167
            fp.commit()
 
168
        finally:
 
169
            fp.close()
 
170
        return length
 
171
 
 
172
    def put_bytes(self, relpath, bytes, mode=None):
 
173
        """Copy the string into the location.
 
174
 
 
175
        :param relpath: Location to put the contents, relative to base.
 
176
        :param bytes:   String
 
177
        """
 
178
 
 
179
        path = relpath
 
180
        try:
 
181
            path = self._abspath(relpath)
 
182
            osutils.check_legal_path(path)
 
183
            fp = atomicfile.AtomicFile(path, 'wb', new_mode=mode)
 
184
        except (IOError, OSError),e:
 
185
            self._translate_error(e, path)
 
186
        try:
 
187
            fp.write(bytes)
 
188
            fp.commit()
 
189
        finally:
 
190
            fp.close()
 
191
 
 
192
    def _put_non_atomic_helper(self, relpath, writer,
 
193
                               mode=None,
 
194
                               create_parent_dir=False,
 
195
                               dir_mode=None):
 
196
        """Common functionality information for the put_*_non_atomic.
 
197
 
 
198
        This tracks all the create_parent_dir stuff.
 
199
 
 
200
        :param relpath: the path we are putting to.
 
201
        :param writer: A function that takes an os level file descriptor
 
202
            and writes whatever data it needs to write there.
 
203
        :param mode: The final file mode.
 
204
        :param create_parent_dir: Should we be creating the parent directory
 
205
            if it doesn't exist?
 
206
        """
 
207
        abspath = self._abspath(relpath)
 
208
        if mode is None:
 
209
            # os.open() will automatically use the umask
 
210
            local_mode = 0666
 
211
        else:
 
212
            local_mode = mode
 
213
        try:
 
214
            fd = os.open(abspath, _put_non_atomic_flags, local_mode)
 
215
        except (IOError, OSError),e:
 
216
            # We couldn't create the file, maybe we need to create
 
217
            # the parent directory, and try again
 
218
            if (not create_parent_dir
 
219
                or e.errno not in (errno.ENOENT,errno.ENOTDIR)):
 
220
                self._translate_error(e, relpath)
 
221
            parent_dir = os.path.dirname(abspath)
 
222
            if not parent_dir:
 
223
                self._translate_error(e, relpath)
 
224
            self._mkdir(parent_dir, mode=dir_mode)
 
225
            # We created the parent directory, lets try to open the
 
226
            # file again
 
227
            try:
 
228
                fd = os.open(abspath, _put_non_atomic_flags, local_mode)
 
229
            except (IOError, OSError), e:
 
230
                self._translate_error(e, relpath)
 
231
        try:
 
232
            st = os.fstat(fd)
 
233
            if mode is not None and mode != S_IMODE(st.st_mode):
 
234
                # Because of umask, we may still need to chmod the file.
 
235
                # But in the general case, we won't have to
 
236
                os.chmod(abspath, mode)
 
237
            writer(fd)
 
238
        finally:
 
239
            os.close(fd)
 
240
 
 
241
    def put_file_non_atomic(self, relpath, f, mode=None,
 
242
                            create_parent_dir=False,
 
243
                            dir_mode=None):
 
244
        """Copy the file-like object into the target location.
 
245
 
 
246
        This function is not strictly safe to use. It is only meant to
 
247
        be used when you already know that the target does not exist.
 
248
        It is not safe, because it will open and truncate the remote
 
249
        file. So there may be a time when the file has invalid contents.
 
250
 
 
251
        :param relpath: The remote location to put the contents.
 
252
        :param f:       File-like object.
 
253
        :param mode:    Possible access permissions for new file.
 
254
                        None means do not set remote permissions.
 
255
        :param create_parent_dir: If we cannot create the target file because
 
256
                        the parent directory does not exist, go ahead and
 
257
                        create it, and then try again.
 
258
        """
 
259
        def writer(fd):
 
260
            self._pump_to_fd(f, fd)
 
261
        self._put_non_atomic_helper(relpath, writer, mode=mode,
 
262
                                    create_parent_dir=create_parent_dir,
 
263
                                    dir_mode=dir_mode)
 
264
 
 
265
    def put_bytes_non_atomic(self, relpath, bytes, mode=None,
 
266
                             create_parent_dir=False, dir_mode=None):
 
267
        def writer(fd):
 
268
            os.write(fd, bytes)
 
269
        self._put_non_atomic_helper(relpath, writer, mode=mode,
 
270
                                    create_parent_dir=create_parent_dir,
 
271
                                    dir_mode=dir_mode)
147
272
 
148
273
    def iter_files_recursive(self):
149
274
        """Iter the relative paths of files in the transports sub-tree."""
157
282
            else:
158
283
                yield relpath
159
284
 
 
285
    def _mkdir(self, abspath, mode=None):
 
286
        """Create a real directory, filtering through mode"""
 
287
        if mode is None:
 
288
            # os.mkdir() will filter through umask
 
289
            local_mode = 0777
 
290
        else:
 
291
            local_mode = mode
 
292
        try:
 
293
            os.mkdir(abspath, local_mode)
 
294
            if mode is not None:
 
295
                # It is probably faster to just do the chmod, rather than
 
296
                # doing a stat, and then trying to compare
 
297
                os.chmod(abspath, mode)
 
298
        except (IOError, OSError),e:
 
299
            self._translate_error(e, abspath)
 
300
 
160
301
    def mkdir(self, relpath, mode=None):
161
302
        """Create a directory at the given path."""
162
 
        path = relpath
 
303
        self._mkdir(self._abspath(relpath), mode=mode)
 
304
 
 
305
    def open_write_stream(self, relpath, mode=None):
 
306
        """See Transport.open_write_stream."""
 
307
        # initialise the file
 
308
        self.put_bytes_non_atomic(relpath, "", mode=mode)
 
309
        abspath = self._abspath(relpath)
 
310
        handle = open(abspath, 'wb')
 
311
        if mode is not None:
 
312
            self._check_mode_and_size(abspath, handle.fileno(), mode)
 
313
        transport._file_streams[self.abspath(relpath)] = handle
 
314
        return transport.FileFileStream(self, relpath, handle)
 
315
 
 
316
    def _get_append_file(self, relpath, mode=None):
 
317
        """Call os.open() for the given relpath"""
 
318
        file_abspath = self._abspath(relpath)
 
319
        if mode is None:
 
320
            # os.open() will automatically use the umask
 
321
            local_mode = 0666
 
322
        else:
 
323
            local_mode = mode
163
324
        try:
164
 
            path = self._abspath(relpath)
165
 
            os.mkdir(path)
166
 
            if mode is not None:
167
 
                os.chmod(path, mode)
 
325
            return file_abspath, os.open(file_abspath, _append_flags, local_mode)
168
326
        except (IOError, OSError),e:
169
 
            self._translate_error(e, path)
170
 
 
171
 
    def append(self, relpath, f, mode=None):
 
327
            self._translate_error(e, relpath)
 
328
 
 
329
    def _check_mode_and_size(self, file_abspath, fd, mode=None):
 
330
        """Check the mode of the file, and return the current size"""
 
331
        st = os.fstat(fd)
 
332
        if mode is not None and mode != S_IMODE(st.st_mode):
 
333
            # Because of umask, we may still need to chmod the file.
 
334
            # But in the general case, we won't have to
 
335
            os.chmod(file_abspath, mode)
 
336
        return st.st_size
 
337
 
 
338
    def append_file(self, relpath, f, mode=None):
172
339
        """Append the text in the file-like object into the final location."""
173
 
        abspath = self._abspath(relpath)
174
 
        try:
175
 
            fp = open(abspath, 'ab')
176
 
            # FIXME should we really be chmodding every time ? RBC 20060523
177
 
            if mode is not None:
178
 
                os.chmod(abspath, mode)
179
 
        except (IOError, OSError),e:
180
 
            self._translate_error(e, relpath)
181
 
        # win32 workaround (tell on an unwritten file returns 0)
182
 
        fp.seek(0, 2)
183
 
        result = fp.tell()
184
 
        self._pump(f, fp)
185
 
        return result
 
340
        file_abspath, fd = self._get_append_file(relpath, mode=mode)
 
341
        try:
 
342
            result = self._check_mode_and_size(file_abspath, fd, mode=mode)
 
343
            self._pump_to_fd(f, fd)
 
344
        finally:
 
345
            os.close(fd)
 
346
        return result
 
347
 
 
348
    def append_bytes(self, relpath, bytes, mode=None):
 
349
        """Append the text in the string into the final location."""
 
350
        file_abspath, fd = self._get_append_file(relpath, mode=mode)
 
351
        try:
 
352
            result = self._check_mode_and_size(file_abspath, fd, mode=mode)
 
353
            os.write(fd, bytes)
 
354
        finally:
 
355
            os.close(fd)
 
356
        return result
 
357
 
 
358
    def _pump_to_fd(self, fromfile, to_fd):
 
359
        """Copy contents of one file to another."""
 
360
        BUFSIZE = 32768
 
361
        while True:
 
362
            b = fromfile.read(BUFSIZE)
 
363
            if not b:
 
364
                break
 
365
            os.write(to_fd, b)
186
366
 
187
367
    def copy(self, rel_from, rel_to):
188
368
        """Copy the item at rel_from to the location at rel_to"""
211
391
 
212
392
        try:
213
393
            # this version will delete the destination if necessary
214
 
            rename(path_from, path_to)
 
394
            osutils.rename(path_from, path_to)
215
395
        except (IOError, OSError),e:
216
396
            # TODO: What about path_to?
217
397
            self._translate_error(e, path_from)
225
405
        except (IOError, OSError),e:
226
406
            self._translate_error(e, path)
227
407
 
 
408
    def external_url(self):
 
409
        """See bzrlib.transport.Transport.external_url."""
 
410
        # File URL's are externally usable.
 
411
        return self.base
 
412
 
228
413
    def copy_to(self, relpaths, other, mode=None, pb=None):
229
414
        """Copy a set of entries from self into another Transport.
230
415
 
262
447
        """
263
448
        path = self._abspath(relpath)
264
449
        try:
265
 
            return [urlutils.escape(entry) for entry in os.listdir(path)]
 
450
            entries = os.listdir(path)
266
451
        except (IOError, OSError), e:
267
452
            self._translate_error(e, path)
 
453
        return [urlutils.escape(entry) for entry in entries]
268
454
 
269
455
    def stat(self, relpath):
270
456
        """Return the stat information for a file.
314
500
            return True
315
501
 
316
502
 
317
 
class ScratchTransport(LocalTransport):
318
 
    """A transport that works in a temporary dir and cleans up after itself.
 
503
class EmulatedWin32LocalTransport(LocalTransport):
 
504
    """Special transport for testing Win32 [UNC] paths on non-windows"""
 
505
 
 
506
    def __init__(self, base):
 
507
        if base[-1] != '/':
 
508
            base = base + '/'
 
509
        super(LocalTransport, self).__init__(base)
 
510
        self._local_base = urlutils._win32_local_path_from_url(base)
 
511
 
 
512
    def abspath(self, relpath):
 
513
        path = osutils.normpath(osutils.pathjoin(
 
514
                    self._local_base, urlutils.unescape(relpath)))
 
515
        return urlutils._win32_local_path_to_url(path)
 
516
 
 
517
    def clone(self, offset=None):
 
518
        """Return a new LocalTransport with root at self.base + offset
 
519
        Because the local filesystem does not require a connection, 
 
520
        we can just return a new object.
 
521
        """
 
522
        if offset is None:
 
523
            return EmulatedWin32LocalTransport(self.base)
 
524
        else:
 
525
            abspath = self.abspath(offset)
 
526
            if abspath == 'file://':
 
527
                # fix upwalk for UNC path
 
528
                # when clone from //HOST/path updir recursively
 
529
                # we should stop at least at //HOST part
 
530
                abspath = self.base
 
531
            return EmulatedWin32LocalTransport(abspath)
 
532
 
 
533
 
 
534
class LocalURLServer(Server):
 
535
    """A pretend server for local transports, using file:// urls.
319
536
    
320
 
    The dir only exists for the lifetime of the Python object.
321
 
    Obviously you should not put anything precious in it.
 
537
    Of course no actual server is required to access the local filesystem, so
 
538
    this just exists to tell the test code how to get to it.
322
539
    """
323
540
 
324
 
    def __init__(self, base=None):
325
 
        if base is None:
326
 
            base = tempfile.mkdtemp()
327
 
        super(ScratchTransport, self).__init__(base)
328
 
 
329
 
    def __del__(self):
330
 
        rmtree(self.base, ignore_errors=True)
331
 
        mutter("%r destroyed" % self)
332
 
 
333
 
 
334
 
class LocalRelpathServer(Server):
335
 
    """A pretend server for local transports, using relpaths."""
336
 
 
337
 
    def get_url(self):
338
 
        """See Transport.Server.get_url."""
339
 
        return "."
340
 
 
341
 
 
342
 
class LocalAbspathServer(Server):
343
 
    """A pretend server for local transports, using absolute paths."""
344
 
 
345
 
    def get_url(self):
346
 
        """See Transport.Server.get_url."""
347
 
        return os.path.abspath("")
348
 
 
349
 
 
350
 
class LocalURLServer(Server):
351
 
    """A pretend server for local transports, using file:// urls."""
 
541
    def setUp(self):
 
542
        """Setup the server to service requests.
 
543
        
 
544
        :param decorated_transport: ignored by this implementation.
 
545
        """
352
546
 
353
547
    def get_url(self):
354
548
        """See Transport.Server.get_url."""
357
551
 
358
552
def get_test_permutations():
359
553
    """Return the permutations to be used in testing."""
360
 
    return [(LocalTransport, LocalRelpathServer),
361
 
            (LocalTransport, LocalAbspathServer),
 
554
    return [
362
555
            (LocalTransport, LocalURLServer),
363
556
            ]