~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/local.py

  • Committer: John Arbash Meinel
  • Date: 2006-07-04 14:00:29 UTC
  • mto: (1711.2.74 jam-integration)
  • mto: This revision was merged to the branch mainline in revision 1837.
  • Revision ID: john@arbash-meinel.com-20060704140029-f7d23145ea05d75a
Add emacs ignores, remove old ignores

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
 
#
 
2
 
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
#
 
7
 
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
#
 
12
 
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
20
20
"""
21
21
 
22
22
import os
23
 
from stat import ST_MODE, S_ISDIR, ST_SIZE, S_IMODE
 
23
import shutil
24
24
import sys
25
 
 
26
 
from bzrlib.lazy_import import lazy_import
27
 
lazy_import(globals(), """
28
 
import errno
29
 
import shutil
30
 
 
31
 
from bzrlib import (
32
 
    atomicfile,
33
 
    osutils,
34
 
    urlutils,
35
 
    symbol_versioning,
36
 
    )
 
25
from stat import ST_MODE, S_ISDIR, ST_SIZE
 
26
import tempfile
 
27
 
 
28
from bzrlib.osutils import (abspath, realpath, normpath, pathjoin, rename, 
 
29
                            check_legal_path, rmtree)
 
30
from bzrlib.symbol_versioning import warn
37
31
from bzrlib.trace import mutter
38
 
from bzrlib.transport import LateReadError
39
 
""")
40
 
 
41
32
from bzrlib.transport import Transport, Server
42
 
 
43
 
 
44
 
_append_flags = os.O_CREAT | os.O_APPEND | os.O_WRONLY | osutils.O_BINARY
45
 
_put_non_atomic_flags = os.O_CREAT | os.O_TRUNC | os.O_WRONLY | osutils.O_BINARY
 
33
import bzrlib.urlutils as urlutils
46
34
 
47
35
 
48
36
class LocalTransport(Transport):
51
39
    def __init__(self, base):
52
40
        """Set the base path where files will be stored."""
53
41
        if not base.startswith('file://'):
54
 
            symbol_versioning.warn(
55
 
                "Instantiating LocalTransport with a filesystem path"
 
42
            warn("Instantiating LocalTransport with a filesystem path"
56
43
                " is deprecated as of bzr 0.8."
57
44
                " Please use bzrlib.transport.get_transport()"
58
45
                " or pass in a file:// url.",
64
51
            base = base + '/'
65
52
        super(LocalTransport, self).__init__(base)
66
53
        self._local_base = urlutils.local_path_from_url(base)
 
54
        ## mutter("_local_base: %r => %r", base, self._local_base)
67
55
 
68
56
    def should_cache(self):
69
57
        return False
76
64
        if offset is None:
77
65
            return LocalTransport(self.base)
78
66
        else:
79
 
            abspath = self.abspath(offset)
80
 
            if abspath == 'file://':
81
 
                # fix upwalk for UNC path
82
 
                # when clone from //HOST/path updir recursively
83
 
                # we should stop at least at //HOST part
84
 
                abspath = self.base
85
 
            return LocalTransport(abspath)
 
67
            return LocalTransport(self.abspath(offset))
86
68
 
87
69
    def _abspath(self, relative_reference):
88
70
        """Return a path for use in os calls.
101
83
        assert isinstance(relpath, basestring), (type(relpath), relpath)
102
84
        # jam 20060426 Using normpath on the real path, because that ensures
103
85
        #       proper handling of stuff like
104
 
        path = osutils.normpath(osutils.pathjoin(
105
 
                    self._local_base, urlutils.unescape(relpath)))
 
86
        path = normpath(pathjoin(self._local_base, urlutils.unescape(relpath)))
106
87
        return urlutils.local_path_to_url(path)
107
88
 
108
89
    def local_abspath(self, relpath):
142
123
            path = self._abspath(relpath)
143
124
            return open(path, 'rb')
144
125
        except (IOError, OSError),e:
145
 
            if e.errno == errno.EISDIR:
146
 
                return LateReadError(relpath)
147
126
            self._translate_error(e, path)
148
127
 
149
 
    def put_file(self, relpath, f, mode=None):
150
 
        """Copy the file-like object into the location.
 
128
    def put(self, relpath, f, mode=None):
 
129
        """Copy the file-like or string object into the location.
151
130
 
152
131
        :param relpath: Location to put the contents, relative to base.
153
 
        :param f:       File-like object.
154
 
        :param mode: The mode for the newly created file, 
155
 
                     None means just use the default
 
132
        :param f:       File-like or string object.
156
133
        """
 
134
        from bzrlib.atomicfile import AtomicFile
157
135
 
158
136
        path = relpath
159
137
        try:
160
138
            path = self._abspath(relpath)
161
 
            osutils.check_legal_path(path)
162
 
            fp = atomicfile.AtomicFile(path, 'wb', new_mode=mode)
 
139
            check_legal_path(path)
 
140
            fp = AtomicFile(path, 'wb', new_mode=mode)
163
141
        except (IOError, OSError),e:
164
142
            self._translate_error(e, path)
165
143
        try:
168
146
        finally:
169
147
            fp.close()
170
148
 
171
 
    def put_bytes(self, relpath, bytes, mode=None):
172
 
        """Copy the string into the location.
173
 
 
174
 
        :param relpath: Location to put the contents, relative to base.
175
 
        :param bytes:   String
176
 
        """
177
 
 
178
 
        path = relpath
179
 
        try:
180
 
            path = self._abspath(relpath)
181
 
            osutils.check_legal_path(path)
182
 
            fp = atomicfile.AtomicFile(path, 'wb', new_mode=mode)
183
 
        except (IOError, OSError),e:
184
 
            self._translate_error(e, path)
185
 
        try:
186
 
            fp.write(bytes)
187
 
            fp.commit()
188
 
        finally:
189
 
            fp.close()
190
 
 
191
 
    def _put_non_atomic_helper(self, relpath, writer,
192
 
                               mode=None,
193
 
                               create_parent_dir=False,
194
 
                               dir_mode=None):
195
 
        """Common functionality information for the put_*_non_atomic.
196
 
 
197
 
        This tracks all the create_parent_dir stuff.
198
 
 
199
 
        :param relpath: the path we are putting to.
200
 
        :param writer: A function that takes an os level file descriptor
201
 
            and writes whatever data it needs to write there.
202
 
        :param mode: The final file mode.
203
 
        :param create_parent_dir: Should we be creating the parent directory
204
 
            if it doesn't exist?
205
 
        """
206
 
        abspath = self._abspath(relpath)
207
 
        if mode is None:
208
 
            # os.open() will automatically use the umask
209
 
            local_mode = 0666
210
 
        else:
211
 
            local_mode = mode
212
 
        try:
213
 
            fd = os.open(abspath, _put_non_atomic_flags, local_mode)
214
 
        except (IOError, OSError),e:
215
 
            # We couldn't create the file, maybe we need to create
216
 
            # the parent directory, and try again
217
 
            if (not create_parent_dir
218
 
                or e.errno not in (errno.ENOENT,errno.ENOTDIR)):
219
 
                self._translate_error(e, relpath)
220
 
            parent_dir = os.path.dirname(abspath)
221
 
            if not parent_dir:
222
 
                self._translate_error(e, relpath)
223
 
            self._mkdir(parent_dir, mode=dir_mode)
224
 
            # We created the parent directory, lets try to open the
225
 
            # file again
226
 
            try:
227
 
                fd = os.open(abspath, _put_non_atomic_flags, local_mode)
228
 
            except (IOError, OSError), e:
229
 
                self._translate_error(e, relpath)
230
 
        try:
231
 
            st = os.fstat(fd)
232
 
            if mode is not None and mode != S_IMODE(st.st_mode):
233
 
                # Because of umask, we may still need to chmod the file.
234
 
                # But in the general case, we won't have to
235
 
                os.chmod(abspath, mode)
236
 
            writer(fd)
237
 
        finally:
238
 
            os.close(fd)
239
 
 
240
 
    def put_file_non_atomic(self, relpath, f, mode=None,
241
 
                            create_parent_dir=False,
242
 
                            dir_mode=None):
243
 
        """Copy the file-like object into the target location.
244
 
 
245
 
        This function is not strictly safe to use. It is only meant to
246
 
        be used when you already know that the target does not exist.
247
 
        It is not safe, because it will open and truncate the remote
248
 
        file. So there may be a time when the file has invalid contents.
249
 
 
250
 
        :param relpath: The remote location to put the contents.
251
 
        :param f:       File-like object.
252
 
        :param mode:    Possible access permissions for new file.
253
 
                        None means do not set remote permissions.
254
 
        :param create_parent_dir: If we cannot create the target file because
255
 
                        the parent directory does not exist, go ahead and
256
 
                        create it, and then try again.
257
 
        """
258
 
        def writer(fd):
259
 
            self._pump_to_fd(f, fd)
260
 
        self._put_non_atomic_helper(relpath, writer, mode=mode,
261
 
                                    create_parent_dir=create_parent_dir,
262
 
                                    dir_mode=dir_mode)
263
 
 
264
 
    def put_bytes_non_atomic(self, relpath, bytes, mode=None,
265
 
                             create_parent_dir=False, dir_mode=None):
266
 
        def writer(fd):
267
 
            os.write(fd, bytes)
268
 
        self._put_non_atomic_helper(relpath, writer, mode=mode,
269
 
                                    create_parent_dir=create_parent_dir,
270
 
                                    dir_mode=dir_mode)
271
 
 
272
149
    def iter_files_recursive(self):
273
150
        """Iter the relative paths of files in the transports sub-tree."""
274
151
        queue = list(self.list_dir(u'.'))
281
158
            else:
282
159
                yield relpath
283
160
 
284
 
    def _mkdir(self, abspath, mode=None):
285
 
        """Create a real directory, filtering through mode"""
286
 
        if mode is None:
287
 
            # os.mkdir() will filter through umask
288
 
            local_mode = 0777
289
 
        else:
290
 
            local_mode = mode
291
 
        try:
292
 
            os.mkdir(abspath, local_mode)
293
 
            if mode is not None:
294
 
                # It is probably faster to just do the chmod, rather than
295
 
                # doing a stat, and then trying to compare
296
 
                os.chmod(abspath, mode)
297
 
        except (IOError, OSError),e:
298
 
            self._translate_error(e, abspath)
299
 
 
300
161
    def mkdir(self, relpath, mode=None):
301
162
        """Create a directory at the given path."""
302
 
        self._mkdir(self._abspath(relpath), mode=mode)
303
 
 
304
 
    def _get_append_file(self, relpath, mode=None):
305
 
        """Call os.open() for the given relpath"""
306
 
        file_abspath = self._abspath(relpath)
307
 
        if mode is None:
308
 
            # os.open() will automatically use the umask
309
 
            local_mode = 0666
310
 
        else:
311
 
            local_mode = mode
 
163
        path = relpath
312
164
        try:
313
 
            return file_abspath, os.open(file_abspath, _append_flags, local_mode)
 
165
            path = self._abspath(relpath)
 
166
            os.mkdir(path)
 
167
            if mode is not None:
 
168
                os.chmod(path, mode)
314
169
        except (IOError, OSError),e:
315
 
            self._translate_error(e, relpath)
316
 
 
317
 
    def _check_mode_and_size(self, file_abspath, fd, mode=None):
318
 
        """Check the mode of the file, and return the current size"""
319
 
        st = os.fstat(fd)
320
 
        if mode is not None and mode != S_IMODE(st.st_mode):
321
 
            # Because of umask, we may still need to chmod the file.
322
 
            # But in the general case, we won't have to
323
 
            os.chmod(file_abspath, mode)
324
 
        return st.st_size
325
 
 
326
 
    def append_file(self, relpath, f, mode=None):
 
170
            self._translate_error(e, path)
 
171
 
 
172
    def append(self, relpath, f, mode=None):
327
173
        """Append the text in the file-like object into the final location."""
328
 
        file_abspath, fd = self._get_append_file(relpath, mode=mode)
329
 
        try:
330
 
            result = self._check_mode_and_size(file_abspath, fd, mode=mode)
331
 
            self._pump_to_fd(f, fd)
332
 
        finally:
333
 
            os.close(fd)
334
 
        return result
335
 
 
336
 
    def append_bytes(self, relpath, bytes, mode=None):
337
 
        """Append the text in the string into the final location."""
338
 
        file_abspath, fd = self._get_append_file(relpath, mode=mode)
339
 
        try:
340
 
            result = self._check_mode_and_size(file_abspath, fd, mode=mode)
341
 
            os.write(fd, bytes)
342
 
        finally:
343
 
            os.close(fd)
344
 
        return result
345
 
 
346
 
    def _pump_to_fd(self, fromfile, to_fd):
347
 
        """Copy contents of one file to another."""
348
 
        BUFSIZE = 32768
349
 
        while True:
350
 
            b = fromfile.read(BUFSIZE)
351
 
            if not b:
352
 
                break
353
 
            os.write(to_fd, b)
 
174
        abspath = self._abspath(relpath)
 
175
        fp = None
 
176
        try:
 
177
            try:
 
178
                fp = open(abspath, 'ab')
 
179
                # FIXME should we really be chmodding every time ? RBC 20060523
 
180
                if mode is not None:
 
181
                    os.chmod(abspath, mode)
 
182
            except (IOError, OSError),e:
 
183
                self._translate_error(e, relpath)
 
184
            # win32 workaround (tell on an unwritten file returns 0)
 
185
            fp.seek(0, 2)
 
186
            result = fp.tell()
 
187
            self._pump(f, fp)
 
188
        finally:
 
189
            if fp is not None:
 
190
                fp.close()
 
191
        return result
354
192
 
355
193
    def copy(self, rel_from, rel_to):
356
194
        """Copy the item at rel_from to the location at rel_to"""
379
217
 
380
218
        try:
381
219
            # this version will delete the destination if necessary
382
 
            osutils.rename(path_from, path_to)
 
220
            rename(path_from, path_to)
383
221
        except (IOError, OSError),e:
384
222
            # TODO: What about path_to?
385
223
            self._translate_error(e, path_from)
393
231
        except (IOError, OSError),e:
394
232
            self._translate_error(e, path)
395
233
 
396
 
    def external_url(self):
397
 
        """See bzrlib.transport.Transport.external_url."""
398
 
        # File URL's are externally usable.
399
 
        return self.base
400
 
 
401
234
    def copy_to(self, relpaths, other, mode=None, pb=None):
402
235
        """Copy a set of entries from self into another Transport.
403
236
 
435
268
        """
436
269
        path = self._abspath(relpath)
437
270
        try:
438
 
            entries = os.listdir(path)
 
271
            return [urlutils.escape(entry) for entry in os.listdir(path)]
439
272
        except (IOError, OSError), e:
440
273
            self._translate_error(e, path)
441
 
        return [urlutils.escape(entry) for entry in entries]
442
274
 
443
275
    def stat(self, relpath):
444
276
        """Return the stat information for a file.
488
320
            return True
489
321
 
490
322
 
491
 
class EmulatedWin32LocalTransport(LocalTransport):
492
 
    """Special transport for testing Win32 [UNC] paths on non-windows"""
493
 
 
494
 
    def __init__(self, base):
495
 
        if base[-1] != '/':
496
 
            base = base + '/'
497
 
        super(LocalTransport, self).__init__(base)
498
 
        self._local_base = urlutils._win32_local_path_from_url(base)
499
 
 
500
 
    def abspath(self, relpath):
501
 
        assert isinstance(relpath, basestring), (type(relpath), relpath)
502
 
        path = osutils.normpath(osutils.pathjoin(
503
 
                    self._local_base, urlutils.unescape(relpath)))
504
 
        return urlutils._win32_local_path_to_url(path)
505
 
 
506
 
    def clone(self, offset=None):
507
 
        """Return a new LocalTransport with root at self.base + offset
508
 
        Because the local filesystem does not require a connection, 
509
 
        we can just return a new object.
510
 
        """
511
 
        if offset is None:
512
 
            return EmulatedWin32LocalTransport(self.base)
513
 
        else:
514
 
            abspath = self.abspath(offset)
515
 
            if abspath == 'file://':
516
 
                # fix upwalk for UNC path
517
 
                # when clone from //HOST/path updir recursively
518
 
                # we should stop at least at //HOST part
519
 
                abspath = self.base
520
 
            return EmulatedWin32LocalTransport(abspath)
 
323
class LocalRelpathServer(Server):
 
324
    """A pretend server for local transports, using relpaths."""
 
325
 
 
326
    def get_url(self):
 
327
        """See Transport.Server.get_url."""
 
328
        return "."
 
329
 
 
330
 
 
331
class LocalAbspathServer(Server):
 
332
    """A pretend server for local transports, using absolute paths."""
 
333
 
 
334
    def get_url(self):
 
335
        """See Transport.Server.get_url."""
 
336
        return os.path.abspath("")
521
337
 
522
338
 
523
339
class LocalURLServer(Server):
524
 
    """A pretend server for local transports, using file:// urls.
525
 
    
526
 
    Of course no actual server is required to access the local filesystem, so
527
 
    this just exists to tell the test code how to get to it.
528
 
    """
529
 
 
530
 
    def setUp(self):
531
 
        """Setup the server to service requests.
532
 
        
533
 
        :param decorated_transport: ignored by this implementation.
534
 
        """
 
340
    """A pretend server for local transports, using file:// urls."""
535
341
 
536
342
    def get_url(self):
537
343
        """See Transport.Server.get_url."""
540
346
 
541
347
def get_test_permutations():
542
348
    """Return the permutations to be used in testing."""
543
 
    return [
 
349
    return [(LocalTransport, LocalRelpathServer),
 
350
            (LocalTransport, LocalAbspathServer),
544
351
            (LocalTransport, LocalURLServer),
545
352
            ]