~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/local.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2006-07-06 03:15:29 UTC
  • mfrom: (1711.2.78 jam-integration)
  • Revision ID: pqm@pqm.ubuntu.com-20060706031529-e189d8c3f42076be
(jam) allow plugins to include benchmarks

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
 
#
 
2
 
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
#
 
7
 
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
#
 
12
 
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
20
20
"""
21
21
 
22
22
import os
23
 
from stat import ST_MODE, S_ISDIR, ST_SIZE, S_IMODE
 
23
import shutil
24
24
import sys
25
 
 
26
 
from bzrlib.lazy_import import lazy_import
27
 
lazy_import(globals(), """
28
 
import errno
29
 
import shutil
30
 
 
31
 
from bzrlib import (
32
 
    atomicfile,
33
 
    osutils,
34
 
    urlutils,
35
 
    symbol_versioning,
36
 
    )
 
25
from stat import ST_MODE, S_ISDIR, ST_SIZE
 
26
import tempfile
 
27
 
 
28
from bzrlib.osutils import (abspath, realpath, normpath, pathjoin, rename, 
 
29
                            check_legal_path, rmtree)
 
30
from bzrlib.symbol_versioning import warn
37
31
from bzrlib.trace import mutter
38
 
from bzrlib.transport import LateReadError
39
 
""")
40
 
 
41
32
from bzrlib.transport import Transport, Server
42
 
 
43
 
 
44
 
_append_flags = os.O_CREAT | os.O_APPEND | os.O_WRONLY | osutils.O_BINARY
45
 
_put_non_atomic_flags = os.O_CREAT | os.O_TRUNC | os.O_WRONLY | osutils.O_BINARY
 
33
import bzrlib.urlutils as urlutils
46
34
 
47
35
 
48
36
class LocalTransport(Transport):
51
39
    def __init__(self, base):
52
40
        """Set the base path where files will be stored."""
53
41
        if not base.startswith('file://'):
54
 
            symbol_versioning.warn(
55
 
                "Instantiating LocalTransport with a filesystem path"
 
42
            warn("Instantiating LocalTransport with a filesystem path"
56
43
                " is deprecated as of bzr 0.8."
57
44
                " Please use bzrlib.transport.get_transport()"
58
45
                " or pass in a file:// url.",
64
51
            base = base + '/'
65
52
        super(LocalTransport, self).__init__(base)
66
53
        self._local_base = urlutils.local_path_from_url(base)
 
54
        ## mutter("_local_base: %r => %r", base, self._local_base)
67
55
 
68
56
    def should_cache(self):
69
57
        return False
76
64
        if offset is None:
77
65
            return LocalTransport(self.base)
78
66
        else:
79
 
            abspath = self.abspath(offset)
80
 
            if abspath == 'file://':
81
 
                # fix upwalk for UNC path
82
 
                # when clone from //HOST/path updir recursively
83
 
                # we should stop at least at //HOST part
84
 
                abspath = self.base
85
 
            return LocalTransport(abspath)
 
67
            return LocalTransport(self.abspath(offset))
86
68
 
87
69
    def _abspath(self, relative_reference):
88
70
        """Return a path for use in os calls.
101
83
        assert isinstance(relpath, basestring), (type(relpath), relpath)
102
84
        # jam 20060426 Using normpath on the real path, because that ensures
103
85
        #       proper handling of stuff like
104
 
        path = osutils.normpath(osutils.pathjoin(
105
 
                    self._local_base, urlutils.unescape(relpath)))
 
86
        path = normpath(pathjoin(self._local_base, urlutils.unescape(relpath)))
106
87
        return urlutils.local_path_to_url(path)
107
88
 
108
89
    def local_abspath(self, relpath):
142
123
            path = self._abspath(relpath)
143
124
            return open(path, 'rb')
144
125
        except (IOError, OSError),e:
145
 
            if e.errno == errno.EISDIR:
146
 
                return LateReadError(relpath)
147
126
            self._translate_error(e, path)
148
127
 
149
 
    def put_file(self, relpath, f, mode=None):
150
 
        """Copy the file-like object into the location.
 
128
    def put(self, relpath, f, mode=None):
 
129
        """Copy the file-like or string object into the location.
151
130
 
152
131
        :param relpath: Location to put the contents, relative to base.
153
 
        :param f:       File-like object.
154
 
        :param mode: The mode for the newly created file, 
155
 
                     None means just use the default
 
132
        :param f:       File-like or string object.
156
133
        """
 
134
        from bzrlib.atomicfile import AtomicFile
157
135
 
158
136
        path = relpath
159
137
        try:
160
138
            path = self._abspath(relpath)
161
 
            osutils.check_legal_path(path)
162
 
            fp = atomicfile.AtomicFile(path, 'wb', new_mode=mode)
 
139
            check_legal_path(path)
 
140
            fp = AtomicFile(path, 'wb', new_mode=mode)
163
141
        except (IOError, OSError),e:
164
142
            self._translate_error(e, path)
165
143
        try:
168
146
        finally:
169
147
            fp.close()
170
148
 
171
 
    def put_bytes(self, relpath, bytes, mode=None):
172
 
        """Copy the string into the location.
173
 
 
174
 
        :param relpath: Location to put the contents, relative to base.
175
 
        :param bytes:   String
176
 
        """
177
 
 
178
 
        path = relpath
179
 
        try:
180
 
            path = self._abspath(relpath)
181
 
            osutils.check_legal_path(path)
182
 
            fp = atomicfile.AtomicFile(path, 'wb', new_mode=mode)
183
 
        except (IOError, OSError),e:
184
 
            self._translate_error(e, path)
185
 
        try:
186
 
            fp.write(bytes)
187
 
            fp.commit()
188
 
        finally:
189
 
            fp.close()
190
 
 
191
 
    def _put_non_atomic_helper(self, relpath, writer,
192
 
                               mode=None,
193
 
                               create_parent_dir=False,
194
 
                               dir_mode=None):
195
 
        """Common functionality information for the put_*_non_atomic.
196
 
 
197
 
        This tracks all the create_parent_dir stuff.
198
 
 
199
 
        :param relpath: the path we are putting to.
200
 
        :param writer: A function that takes an os level file descriptor
201
 
            and writes whatever data it needs to write there.
202
 
        :param mode: The final file mode.
203
 
        :param create_parent_dir: Should we be creating the parent directory
204
 
            if it doesn't exist?
205
 
        """
206
 
        abspath = self._abspath(relpath)
207
 
        if mode is None:
208
 
            # os.open() will automatically use the umask
209
 
            local_mode = 0666
210
 
        else:
211
 
            local_mode = mode
212
 
        try:
213
 
            fd = os.open(abspath, _put_non_atomic_flags, local_mode)
214
 
        except (IOError, OSError),e:
215
 
            # We couldn't create the file, maybe we need to create
216
 
            # the parent directory, and try again
217
 
            if (not create_parent_dir
218
 
                or e.errno not in (errno.ENOENT,errno.ENOTDIR)):
219
 
                self._translate_error(e, relpath)
220
 
            parent_dir = os.path.dirname(abspath)
221
 
            if not parent_dir:
222
 
                self._translate_error(e, relpath)
223
 
            self._mkdir(parent_dir, mode=dir_mode)
224
 
            # We created the parent directory, lets try to open the
225
 
            # file again
226
 
            try:
227
 
                fd = os.open(abspath, _put_non_atomic_flags, local_mode)
228
 
            except (IOError, OSError), e:
229
 
                self._translate_error(e, relpath)
230
 
        try:
231
 
            st = os.fstat(fd)
232
 
            if mode is not None and mode != S_IMODE(st.st_mode):
233
 
                # Because of umask, we may still need to chmod the file.
234
 
                # But in the general case, we won't have to
235
 
                os.chmod(abspath, mode)
236
 
            writer(fd)
237
 
        finally:
238
 
            os.close(fd)
239
 
 
240
 
    def put_file_non_atomic(self, relpath, f, mode=None,
241
 
                            create_parent_dir=False,
242
 
                            dir_mode=None):
243
 
        """Copy the file-like object into the target location.
244
 
 
245
 
        This function is not strictly safe to use. It is only meant to
246
 
        be used when you already know that the target does not exist.
247
 
        It is not safe, because it will open and truncate the remote
248
 
        file. So there may be a time when the file has invalid contents.
249
 
 
250
 
        :param relpath: The remote location to put the contents.
251
 
        :param f:       File-like object.
252
 
        :param mode:    Possible access permissions for new file.
253
 
                        None means do not set remote permissions.
254
 
        :param create_parent_dir: If we cannot create the target file because
255
 
                        the parent directory does not exist, go ahead and
256
 
                        create it, and then try again.
257
 
        """
258
 
        def writer(fd):
259
 
            self._pump_to_fd(f, fd)
260
 
        self._put_non_atomic_helper(relpath, writer, mode=mode,
261
 
                                    create_parent_dir=create_parent_dir,
262
 
                                    dir_mode=dir_mode)
263
 
 
264
 
    def put_bytes_non_atomic(self, relpath, bytes, mode=None,
265
 
                             create_parent_dir=False, dir_mode=None):
266
 
        def writer(fd):
267
 
            os.write(fd, bytes)
268
 
        self._put_non_atomic_helper(relpath, writer, mode=mode,
269
 
                                    create_parent_dir=create_parent_dir,
270
 
                                    dir_mode=dir_mode)
271
 
 
272
149
    def iter_files_recursive(self):
273
150
        """Iter the relative paths of files in the transports sub-tree."""
274
151
        queue = list(self.list_dir(u'.'))
281
158
            else:
282
159
                yield relpath
283
160
 
284
 
    def _mkdir(self, abspath, mode=None):
285
 
        """Create a real directory, filtering through mode"""
286
 
        if mode is None:
287
 
            # os.mkdir() will filter through umask
288
 
            local_mode = 0777
289
 
        else:
290
 
            local_mode = mode
291
 
        try:
292
 
            os.mkdir(abspath, local_mode)
293
 
            if mode is not None:
294
 
                # It is probably faster to just do the chmod, rather than
295
 
                # doing a stat, and then trying to compare
296
 
                os.chmod(abspath, mode)
297
 
        except (IOError, OSError),e:
298
 
            self._translate_error(e, abspath)
299
 
 
300
161
    def mkdir(self, relpath, mode=None):
301
162
        """Create a directory at the given path."""
302
 
        self._mkdir(self._abspath(relpath), mode=mode)
303
 
 
304
 
    def _get_append_file(self, relpath, mode=None):
305
 
        """Call os.open() for the given relpath"""
306
 
        file_abspath = self._abspath(relpath)
307
 
        if mode is None:
308
 
            # os.open() will automatically use the umask
309
 
            local_mode = 0666
310
 
        else:
311
 
            local_mode = mode
 
163
        path = relpath
312
164
        try:
313
 
            return file_abspath, os.open(file_abspath, _append_flags, local_mode)
 
165
            path = self._abspath(relpath)
 
166
            os.mkdir(path)
 
167
            if mode is not None:
 
168
                os.chmod(path, mode)
314
169
        except (IOError, OSError),e:
315
 
            self._translate_error(e, relpath)
316
 
 
317
 
    def _check_mode_and_size(self, file_abspath, fd, mode=None):
318
 
        """Check the mode of the file, and return the current size"""
319
 
        st = os.fstat(fd)
320
 
        if mode is not None and mode != S_IMODE(st.st_mode):
321
 
            # Because of umask, we may still need to chmod the file.
322
 
            # But in the general case, we won't have to
323
 
            os.chmod(file_abspath, mode)
324
 
        return st.st_size
325
 
 
326
 
    def append_file(self, relpath, f, mode=None):
 
170
            self._translate_error(e, path)
 
171
 
 
172
    def append(self, relpath, f, mode=None):
327
173
        """Append the text in the file-like object into the final location."""
328
 
        file_abspath, fd = self._get_append_file(relpath, mode=mode)
329
 
        try:
330
 
            result = self._check_mode_and_size(file_abspath, fd, mode=mode)
331
 
            self._pump_to_fd(f, fd)
332
 
        finally:
333
 
            os.close(fd)
334
 
        return result
335
 
 
336
 
    def append_bytes(self, relpath, bytes, mode=None):
337
 
        """Append the text in the string into the final location."""
338
 
        file_abspath, fd = self._get_append_file(relpath, mode=mode)
339
 
        try:
340
 
            result = self._check_mode_and_size(file_abspath, fd, mode=mode)
341
 
            os.write(fd, bytes)
342
 
        finally:
343
 
            os.close(fd)
344
 
        return result
345
 
 
346
 
    def _pump_to_fd(self, fromfile, to_fd):
347
 
        """Copy contents of one file to another."""
348
 
        BUFSIZE = 32768
349
 
        while True:
350
 
            b = fromfile.read(BUFSIZE)
351
 
            if not b:
352
 
                break
353
 
            os.write(to_fd, b)
 
174
        abspath = self._abspath(relpath)
 
175
        fp = None
 
176
        try:
 
177
            try:
 
178
                fp = open(abspath, 'ab')
 
179
                # FIXME should we really be chmodding every time ? RBC 20060523
 
180
                if mode is not None:
 
181
                    os.chmod(abspath, mode)
 
182
            except (IOError, OSError),e:
 
183
                self._translate_error(e, relpath)
 
184
            # win32 workaround (tell on an unwritten file returns 0)
 
185
            fp.seek(0, 2)
 
186
            result = fp.tell()
 
187
            self._pump(f, fp)
 
188
        finally:
 
189
            if fp is not None:
 
190
                fp.close()
 
191
        return result
354
192
 
355
193
    def copy(self, rel_from, rel_to):
356
194
        """Copy the item at rel_from to the location at rel_to"""
379
217
 
380
218
        try:
381
219
            # this version will delete the destination if necessary
382
 
            osutils.rename(path_from, path_to)
 
220
            rename(path_from, path_to)
383
221
        except (IOError, OSError),e:
384
222
            # TODO: What about path_to?
385
223
            self._translate_error(e, path_from)
430
268
        """
431
269
        path = self._abspath(relpath)
432
270
        try:
433
 
            entries = os.listdir(path)
 
271
            return [urlutils.escape(entry) for entry in os.listdir(path)]
434
272
        except (IOError, OSError), e:
435
273
            self._translate_error(e, path)
436
 
        return [urlutils.escape(entry) for entry in entries]
437
274
 
438
275
    def stat(self, relpath):
439
276
        """Return the stat information for a file.
483
320
            return True
484
321
 
485
322
 
486
 
class EmulatedWin32LocalTransport(LocalTransport):
487
 
    """Special transport for testing Win32 [UNC] paths on non-windows"""
488
 
 
489
 
    def __init__(self, base):
490
 
        if base[-1] != '/':
491
 
            base = base + '/'
492
 
        super(LocalTransport, self).__init__(base)
493
 
        self._local_base = urlutils._win32_local_path_from_url(base)
494
 
 
495
 
    def abspath(self, relpath):
496
 
        assert isinstance(relpath, basestring), (type(relpath), relpath)
497
 
        path = osutils.normpath(osutils.pathjoin(
498
 
                    self._local_base, urlutils.unescape(relpath)))
499
 
        return urlutils._win32_local_path_to_url(path)
500
 
 
501
 
    def clone(self, offset=None):
502
 
        """Return a new LocalTransport with root at self.base + offset
503
 
        Because the local filesystem does not require a connection, 
504
 
        we can just return a new object.
505
 
        """
506
 
        if offset is None:
507
 
            return EmulatedWin32LocalTransport(self.base)
508
 
        else:
509
 
            abspath = self.abspath(offset)
510
 
            if abspath == 'file://':
511
 
                # fix upwalk for UNC path
512
 
                # when clone from //HOST/path updir recursively
513
 
                # we should stop at least at //HOST part
514
 
                abspath = self.base
515
 
            return EmulatedWin32LocalTransport(abspath)
 
323
class LocalRelpathServer(Server):
 
324
    """A pretend server for local transports, using relpaths."""
 
325
 
 
326
    def get_url(self):
 
327
        """See Transport.Server.get_url."""
 
328
        return "."
 
329
 
 
330
 
 
331
class LocalAbspathServer(Server):
 
332
    """A pretend server for local transports, using absolute paths."""
 
333
 
 
334
    def get_url(self):
 
335
        """See Transport.Server.get_url."""
 
336
        return os.path.abspath("")
516
337
 
517
338
 
518
339
class LocalURLServer(Server):
519
 
    """A pretend server for local transports, using file:// urls.
520
 
    
521
 
    Of course no actual server is required to access the local filesystem, so
522
 
    this just exists to tell the test code how to get to it.
523
 
    """
524
 
 
525
 
    def setUp(self):
526
 
        """Setup the server to service requests.
527
 
        
528
 
        :param decorated_transport: ignored by this implementation.
529
 
        """
 
340
    """A pretend server for local transports, using file:// urls."""
530
341
 
531
342
    def get_url(self):
532
343
        """See Transport.Server.get_url."""
535
346
 
536
347
def get_test_permutations():
537
348
    """Return the permutations to be used in testing."""
538
 
    return [
 
349
    return [(LocalTransport, LocalRelpathServer),
 
350
            (LocalTransport, LocalAbspathServer),
539
351
            (LocalTransport, LocalURLServer),
540
352
            ]