~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/local.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2007-10-24 12:49:17 UTC
  • mfrom: (2935.1.1 ianc-integration)
  • Revision ID: pqm@pqm.ubuntu.com-20071024124917-xb75eckyxx6vkrlg
Makefile fixes - hooks.html generation & allow python to be overridden (Ian Clatworthy)

Show diffs side-by-side

added added

removed removed

Lines of Context:
20
20
"""
21
21
 
22
22
import os
 
23
from stat import ST_MODE, S_ISDIR, ST_SIZE, S_IMODE
 
24
import sys
 
25
 
 
26
from bzrlib.lazy_import import lazy_import
 
27
lazy_import(globals(), """
 
28
import errno
23
29
import shutil
24
 
import sys
25
 
from stat import ST_MODE, S_ISDIR, ST_SIZE, S_IMODE
26
 
import tempfile
27
30
 
28
31
from bzrlib import (
 
32
    atomicfile,
29
33
    osutils,
30
34
    urlutils,
 
35
    symbol_versioning,
 
36
    transport,
31
37
    )
32
 
from bzrlib.osutils import (abspath, realpath, normpath, pathjoin, rename,
33
 
                            check_legal_path, rmtree)
34
 
from bzrlib.symbol_versioning import warn
35
38
from bzrlib.trace import mutter
 
39
from bzrlib.transport import LateReadError
 
40
""")
 
41
 
36
42
from bzrlib.transport import Transport, Server
37
43
 
38
44
 
39
45
_append_flags = os.O_CREAT | os.O_APPEND | os.O_WRONLY | osutils.O_BINARY
 
46
_put_non_atomic_flags = os.O_CREAT | os.O_TRUNC | os.O_WRONLY | osutils.O_BINARY
40
47
 
41
48
 
42
49
class LocalTransport(Transport):
45
52
    def __init__(self, base):
46
53
        """Set the base path where files will be stored."""
47
54
        if not base.startswith('file://'):
48
 
            warn("Instantiating LocalTransport with a filesystem path"
 
55
            symbol_versioning.warn(
 
56
                "Instantiating LocalTransport with a filesystem path"
49
57
                " is deprecated as of bzr 0.8."
50
58
                " Please use bzrlib.transport.get_transport()"
51
59
                " or pass in a file:// url.",
58
66
        super(LocalTransport, self).__init__(base)
59
67
        self._local_base = urlutils.local_path_from_url(base)
60
68
 
61
 
    def should_cache(self):
62
 
        return False
63
 
 
64
69
    def clone(self, offset=None):
65
70
        """Return a new LocalTransport with root at self.base + offset
66
71
        Because the local filesystem does not require a connection, 
69
74
        if offset is None:
70
75
            return LocalTransport(self.base)
71
76
        else:
72
 
            return LocalTransport(self.abspath(offset))
 
77
            abspath = self.abspath(offset)
 
78
            if abspath == 'file://':
 
79
                # fix upwalk for UNC path
 
80
                # when clone from //HOST/path updir recursively
 
81
                # we should stop at least at //HOST part
 
82
                abspath = self.base
 
83
            return LocalTransport(abspath)
73
84
 
74
85
    def _abspath(self, relative_reference):
75
86
        """Return a path for use in os calls.
88
99
        assert isinstance(relpath, basestring), (type(relpath), relpath)
89
100
        # jam 20060426 Using normpath on the real path, because that ensures
90
101
        #       proper handling of stuff like
91
 
        path = normpath(pathjoin(self._local_base, urlutils.unescape(relpath)))
 
102
        path = osutils.normpath(osutils.pathjoin(
 
103
                    self._local_base, urlutils.unescape(relpath)))
92
104
        return urlutils.local_path_to_url(path)
93
105
 
94
106
    def local_abspath(self, relpath):
113
125
            abspath = u'.'
114
126
 
115
127
        return urlutils.file_relpath(
116
 
            urlutils.strip_trailing_slash(self.base), 
 
128
            urlutils.strip_trailing_slash(self.base),
117
129
            urlutils.strip_trailing_slash(abspath))
118
130
 
119
131
    def has(self, relpath):
124
136
 
125
137
        :param relpath: The relative path to the file
126
138
        """
 
139
        canonical_url = self.abspath(relpath)
 
140
        if canonical_url in transport._file_streams:
 
141
            transport._file_streams[canonical_url].flush()
127
142
        try:
128
143
            path = self._abspath(relpath)
129
144
            return open(path, 'rb')
130
145
        except (IOError, OSError),e:
131
 
            self._translate_error(e, path)
132
 
 
133
 
    def put(self, relpath, f, mode=None):
134
 
        """Copy the file-like or string object into the location.
135
 
 
136
 
        :param relpath: Location to put the contents, relative to base.
137
 
        :param f:       File-like or string object.
138
 
        """
139
 
        from bzrlib.atomicfile import AtomicFile
140
 
 
141
 
        path = relpath
142
 
        try:
143
 
            path = self._abspath(relpath)
144
 
            check_legal_path(path)
145
 
            fp = AtomicFile(path, 'wb', new_mode=mode)
146
 
        except (IOError, OSError),e:
147
 
            self._translate_error(e, path)
148
 
        try:
149
 
            self._pump(f, fp)
150
 
            fp.commit()
151
 
        finally:
152
 
            fp.close()
 
146
            if e.errno == errno.EISDIR:
 
147
                return LateReadError(relpath)
 
148
            self._translate_error(e, path)
 
149
 
 
150
    def put_file(self, relpath, f, mode=None):
 
151
        """Copy the file-like object into the location.
 
152
 
 
153
        :param relpath: Location to put the contents, relative to base.
 
154
        :param f:       File-like object.
 
155
        :param mode: The mode for the newly created file, 
 
156
                     None means just use the default
 
157
        """
 
158
 
 
159
        path = relpath
 
160
        try:
 
161
            path = self._abspath(relpath)
 
162
            osutils.check_legal_path(path)
 
163
            fp = atomicfile.AtomicFile(path, 'wb', new_mode=mode)
 
164
        except (IOError, OSError),e:
 
165
            self._translate_error(e, path)
 
166
        try:
 
167
            length = self._pump(f, fp)
 
168
            fp.commit()
 
169
        finally:
 
170
            fp.close()
 
171
        return length
 
172
 
 
173
    def put_bytes(self, relpath, bytes, mode=None):
 
174
        """Copy the string into the location.
 
175
 
 
176
        :param relpath: Location to put the contents, relative to base.
 
177
        :param bytes:   String
 
178
        """
 
179
 
 
180
        path = relpath
 
181
        try:
 
182
            path = self._abspath(relpath)
 
183
            osutils.check_legal_path(path)
 
184
            fp = atomicfile.AtomicFile(path, 'wb', new_mode=mode)
 
185
        except (IOError, OSError),e:
 
186
            self._translate_error(e, path)
 
187
        try:
 
188
            fp.write(bytes)
 
189
            fp.commit()
 
190
        finally:
 
191
            fp.close()
 
192
 
 
193
    def _put_non_atomic_helper(self, relpath, writer,
 
194
                               mode=None,
 
195
                               create_parent_dir=False,
 
196
                               dir_mode=None):
 
197
        """Common functionality information for the put_*_non_atomic.
 
198
 
 
199
        This tracks all the create_parent_dir stuff.
 
200
 
 
201
        :param relpath: the path we are putting to.
 
202
        :param writer: A function that takes an os level file descriptor
 
203
            and writes whatever data it needs to write there.
 
204
        :param mode: The final file mode.
 
205
        :param create_parent_dir: Should we be creating the parent directory
 
206
            if it doesn't exist?
 
207
        """
 
208
        abspath = self._abspath(relpath)
 
209
        if mode is None:
 
210
            # os.open() will automatically use the umask
 
211
            local_mode = 0666
 
212
        else:
 
213
            local_mode = mode
 
214
        try:
 
215
            fd = os.open(abspath, _put_non_atomic_flags, local_mode)
 
216
        except (IOError, OSError),e:
 
217
            # We couldn't create the file, maybe we need to create
 
218
            # the parent directory, and try again
 
219
            if (not create_parent_dir
 
220
                or e.errno not in (errno.ENOENT,errno.ENOTDIR)):
 
221
                self._translate_error(e, relpath)
 
222
            parent_dir = os.path.dirname(abspath)
 
223
            if not parent_dir:
 
224
                self._translate_error(e, relpath)
 
225
            self._mkdir(parent_dir, mode=dir_mode)
 
226
            # We created the parent directory, lets try to open the
 
227
            # file again
 
228
            try:
 
229
                fd = os.open(abspath, _put_non_atomic_flags, local_mode)
 
230
            except (IOError, OSError), e:
 
231
                self._translate_error(e, relpath)
 
232
        try:
 
233
            st = os.fstat(fd)
 
234
            if mode is not None and mode != S_IMODE(st.st_mode):
 
235
                # Because of umask, we may still need to chmod the file.
 
236
                # But in the general case, we won't have to
 
237
                os.chmod(abspath, mode)
 
238
            writer(fd)
 
239
        finally:
 
240
            os.close(fd)
 
241
 
 
242
    def put_file_non_atomic(self, relpath, f, mode=None,
 
243
                            create_parent_dir=False,
 
244
                            dir_mode=None):
 
245
        """Copy the file-like object into the target location.
 
246
 
 
247
        This function is not strictly safe to use. It is only meant to
 
248
        be used when you already know that the target does not exist.
 
249
        It is not safe, because it will open and truncate the remote
 
250
        file. So there may be a time when the file has invalid contents.
 
251
 
 
252
        :param relpath: The remote location to put the contents.
 
253
        :param f:       File-like object.
 
254
        :param mode:    Possible access permissions for new file.
 
255
                        None means do not set remote permissions.
 
256
        :param create_parent_dir: If we cannot create the target file because
 
257
                        the parent directory does not exist, go ahead and
 
258
                        create it, and then try again.
 
259
        """
 
260
        def writer(fd):
 
261
            self._pump_to_fd(f, fd)
 
262
        self._put_non_atomic_helper(relpath, writer, mode=mode,
 
263
                                    create_parent_dir=create_parent_dir,
 
264
                                    dir_mode=dir_mode)
 
265
 
 
266
    def put_bytes_non_atomic(self, relpath, bytes, mode=None,
 
267
                             create_parent_dir=False, dir_mode=None):
 
268
        def writer(fd):
 
269
            os.write(fd, bytes)
 
270
        self._put_non_atomic_helper(relpath, writer, mode=mode,
 
271
                                    create_parent_dir=create_parent_dir,
 
272
                                    dir_mode=dir_mode)
153
273
 
154
274
    def iter_files_recursive(self):
155
275
        """Iter the relative paths of files in the transports sub-tree."""
163
283
            else:
164
284
                yield relpath
165
285
 
166
 
    def mkdir(self, relpath, mode=None):
167
 
        """Create a directory at the given path."""
168
 
        path = relpath
 
286
    def _mkdir(self, abspath, mode=None):
 
287
        """Create a real directory, filtering through mode"""
 
288
        if mode is None:
 
289
            # os.mkdir() will filter through umask
 
290
            local_mode = 0777
 
291
        else:
 
292
            local_mode = mode
169
293
        try:
170
 
            if mode is None:
171
 
                # os.mkdir() will filter through umask
172
 
                local_mode = 0777
173
 
            else:
174
 
                local_mode = mode
175
 
            path = self._abspath(relpath)
176
 
            os.mkdir(path, local_mode)
 
294
            os.mkdir(abspath, local_mode)
177
295
            if mode is not None:
178
296
                # It is probably faster to just do the chmod, rather than
179
297
                # doing a stat, and then trying to compare
180
 
                os.chmod(path, mode)
181
 
        except (IOError, OSError),e:
182
 
            self._translate_error(e, path)
183
 
 
184
 
    def append(self, relpath, f, mode=None):
 
298
                os.chmod(abspath, mode)
 
299
        except (IOError, OSError),e:
 
300
            self._translate_error(e, abspath)
 
301
 
 
302
    def mkdir(self, relpath, mode=None):
 
303
        """Create a directory at the given path."""
 
304
        self._mkdir(self._abspath(relpath), mode=mode)
 
305
 
 
306
    def open_write_stream(self, relpath, mode=None):
 
307
        """See Transport.open_write_stream."""
 
308
        # initialise the file
 
309
        self.put_bytes_non_atomic(relpath, "", mode=mode)
 
310
        handle = open(self._abspath(relpath), 'wb')
 
311
        transport._file_streams[self.abspath(relpath)] = handle
 
312
        return transport.FileFileStream(self, relpath, handle)
 
313
 
 
314
    def _get_append_file(self, relpath, mode=None):
 
315
        """Call os.open() for the given relpath"""
 
316
        file_abspath = self._abspath(relpath)
 
317
        if mode is None:
 
318
            # os.open() will automatically use the umask
 
319
            local_mode = 0666
 
320
        else:
 
321
            local_mode = mode
 
322
        try:
 
323
            return file_abspath, os.open(file_abspath, _append_flags, local_mode)
 
324
        except (IOError, OSError),e:
 
325
            self._translate_error(e, relpath)
 
326
 
 
327
    def _check_mode_and_size(self, file_abspath, fd, mode=None):
 
328
        """Check the mode of the file, and return the current size"""
 
329
        st = os.fstat(fd)
 
330
        if mode is not None and mode != S_IMODE(st.st_mode):
 
331
            # Because of umask, we may still need to chmod the file.
 
332
            # But in the general case, we won't have to
 
333
            os.chmod(file_abspath, mode)
 
334
        return st.st_size
 
335
 
 
336
    def append_file(self, relpath, f, mode=None):
185
337
        """Append the text in the file-like object into the final location."""
186
 
        abspath = self._abspath(relpath)
187
 
        if mode is None:
188
 
            # os.open() will automatically use the umask
189
 
            local_mode = 0666
190
 
        else:
191
 
            local_mode = mode
192
 
        try:
193
 
            fd = os.open(abspath, _append_flags, local_mode)
194
 
        except (IOError, OSError),e:
195
 
            self._translate_error(e, relpath)
196
 
        try:
197
 
            st = os.fstat(fd)
198
 
            result = st.st_size
199
 
            if mode is not None and mode != S_IMODE(st.st_mode):
200
 
                # Because of umask, we may still need to chmod the file.
201
 
                # But in the general case, we won't have to
202
 
                os.chmod(abspath, mode)
 
338
        file_abspath, fd = self._get_append_file(relpath, mode=mode)
 
339
        try:
 
340
            result = self._check_mode_and_size(file_abspath, fd, mode=mode)
203
341
            self._pump_to_fd(f, fd)
204
342
        finally:
205
343
            os.close(fd)
206
344
        return result
207
345
 
 
346
    def append_bytes(self, relpath, bytes, mode=None):
 
347
        """Append the text in the string into the final location."""
 
348
        file_abspath, fd = self._get_append_file(relpath, mode=mode)
 
349
        try:
 
350
            result = self._check_mode_and_size(file_abspath, fd, mode=mode)
 
351
            os.write(fd, bytes)
 
352
        finally:
 
353
            os.close(fd)
 
354
        return result
 
355
 
208
356
    def _pump_to_fd(self, fromfile, to_fd):
209
357
        """Copy contents of one file to another."""
210
358
        BUFSIZE = 32768
241
389
 
242
390
        try:
243
391
            # this version will delete the destination if necessary
244
 
            rename(path_from, path_to)
 
392
            osutils.rename(path_from, path_to)
245
393
        except (IOError, OSError),e:
246
394
            # TODO: What about path_to?
247
395
            self._translate_error(e, path_from)
255
403
        except (IOError, OSError),e:
256
404
            self._translate_error(e, path)
257
405
 
 
406
    def external_url(self):
 
407
        """See bzrlib.transport.Transport.external_url."""
 
408
        # File URL's are externally usable.
 
409
        return self.base
 
410
 
258
411
    def copy_to(self, relpaths, other, mode=None, pb=None):
259
412
        """Copy a set of entries from self into another Transport.
260
413
 
292
445
        """
293
446
        path = self._abspath(relpath)
294
447
        try:
295
 
            return [urlutils.escape(entry) for entry in os.listdir(path)]
 
448
            entries = os.listdir(path)
296
449
        except (IOError, OSError), e:
297
450
            self._translate_error(e, path)
 
451
        return [urlutils.escape(entry) for entry in entries]
298
452
 
299
453
    def stat(self, relpath):
300
454
        """Return the stat information for a file.
344
498
            return True
345
499
 
346
500
 
347
 
class LocalRelpathServer(Server):
348
 
    """A pretend server for local transports, using relpaths."""
349
 
 
350
 
    def get_url(self):
351
 
        """See Transport.Server.get_url."""
352
 
        return "."
353
 
 
354
 
 
355
 
class LocalAbspathServer(Server):
356
 
    """A pretend server for local transports, using absolute paths."""
357
 
 
358
 
    def get_url(self):
359
 
        """See Transport.Server.get_url."""
360
 
        return os.path.abspath("")
 
501
class EmulatedWin32LocalTransport(LocalTransport):
 
502
    """Special transport for testing Win32 [UNC] paths on non-windows"""
 
503
 
 
504
    def __init__(self, base):
 
505
        if base[-1] != '/':
 
506
            base = base + '/'
 
507
        super(LocalTransport, self).__init__(base)
 
508
        self._local_base = urlutils._win32_local_path_from_url(base)
 
509
 
 
510
    def abspath(self, relpath):
 
511
        assert isinstance(relpath, basestring), (type(relpath), relpath)
 
512
        path = osutils.normpath(osutils.pathjoin(
 
513
                    self._local_base, urlutils.unescape(relpath)))
 
514
        return urlutils._win32_local_path_to_url(path)
 
515
 
 
516
    def clone(self, offset=None):
 
517
        """Return a new LocalTransport with root at self.base + offset
 
518
        Because the local filesystem does not require a connection, 
 
519
        we can just return a new object.
 
520
        """
 
521
        if offset is None:
 
522
            return EmulatedWin32LocalTransport(self.base)
 
523
        else:
 
524
            abspath = self.abspath(offset)
 
525
            if abspath == 'file://':
 
526
                # fix upwalk for UNC path
 
527
                # when clone from //HOST/path updir recursively
 
528
                # we should stop at least at //HOST part
 
529
                abspath = self.base
 
530
            return EmulatedWin32LocalTransport(abspath)
361
531
 
362
532
 
363
533
class LocalURLServer(Server):
364
 
    """A pretend server for local transports, using file:// urls."""
 
534
    """A pretend server for local transports, using file:// urls.
 
535
    
 
536
    Of course no actual server is required to access the local filesystem, so
 
537
    this just exists to tell the test code how to get to it.
 
538
    """
 
539
 
 
540
    def setUp(self):
 
541
        """Setup the server to service requests.
 
542
        
 
543
        :param decorated_transport: ignored by this implementation.
 
544
        """
365
545
 
366
546
    def get_url(self):
367
547
        """See Transport.Server.get_url."""
370
550
 
371
551
def get_test_permutations():
372
552
    """Return the permutations to be used in testing."""
373
 
    return [(LocalTransport, LocalRelpathServer),
374
 
            (LocalTransport, LocalAbspathServer),
 
553
    return [
375
554
            (LocalTransport, LocalURLServer),
376
555
            ]