~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Jelmer Vernooij
  • Date: 2011-05-10 07:46:15 UTC
  • mfrom: (5844 +trunk)
  • mto: This revision was merged to the branch mainline in revision 5845.
  • Revision ID: jelmer@samba.org-20110510074615-eptod049ndjxc4i7
Merge bzr.dev.

Show diffs side-by-side

added added

removed removed

Lines of Context:
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
from __future__ import absolute_import
18
 
 
19
17
import errno
20
18
import os
21
19
import re
28
26
lazy_import(globals(), """
29
27
from datetime import datetime
30
28
import getpass
31
 
import locale
32
29
import ntpath
33
30
import posixpath
34
 
import select
35
31
# We need to import both shutil and rmtree as we export the later on posix
36
32
# and need the former on windows
37
33
import shutil
46
42
 
47
43
from bzrlib import (
48
44
    cache_utf8,
49
 
    config,
50
45
    errors,
51
46
    trace,
52
47
    win32utils,
53
48
    )
54
 
from bzrlib.i18n import gettext
55
49
""")
56
50
 
57
51
from bzrlib.symbol_versioning import (
58
 
    DEPRECATED_PARAMETER,
59
52
    deprecated_function,
60
53
    deprecated_in,
61
 
    deprecated_passed,
62
 
    warn as warn_deprecated,
63
54
    )
64
55
 
65
 
from hashlib import (
66
 
    md5,
67
 
    sha1 as sha,
68
 
    )
 
56
# sha and md5 modules are deprecated in python2.6 but hashlib is available as
 
57
# of 2.5
 
58
if sys.version_info < (2, 5):
 
59
    import md5 as _mod_md5
 
60
    md5 = _mod_md5.new
 
61
    import sha as _mod_sha
 
62
    sha = _mod_sha.new
 
63
else:
 
64
    from hashlib import (
 
65
        md5,
 
66
        sha1 as sha,
 
67
        )
69
68
 
70
69
 
71
70
import bzrlib
72
 
from bzrlib import symbol_versioning, _fs_enc
 
71
from bzrlib import symbol_versioning
73
72
 
74
73
 
75
74
# Cross platform wall-clock time functionality with decent resolution.
97
96
        user_encoding = get_user_encoding()
98
97
        return [a.decode(user_encoding) for a in sys.argv[1:]]
99
98
    except UnicodeDecodeError:
100
 
        raise errors.BzrError(gettext("Parameter {0!r} encoding is unsupported by {1} "
101
 
            "application locale.").format(a, user_encoding))
 
99
        raise errors.BzrError("Parameter %r encoding is unsupported by %s "
 
100
            "application locale." % (a, user_encoding))
102
101
 
103
102
 
104
103
def make_readonly(filename):
106
105
    mod = os.lstat(filename).st_mode
107
106
    if not stat.S_ISLNK(mod):
108
107
        mod = mod & 0777555
109
 
        chmod_if_possible(filename, mod)
 
108
        os.chmod(filename, mod)
110
109
 
111
110
 
112
111
def make_writable(filename):
113
112
    mod = os.lstat(filename).st_mode
114
113
    if not stat.S_ISLNK(mod):
115
114
        mod = mod | 0200
116
 
        chmod_if_possible(filename, mod)
117
 
 
118
 
 
119
 
def chmod_if_possible(filename, mode):
120
 
    # Set file mode if that can be safely done.
121
 
    # Sometimes even on unix the filesystem won't allow it - see
122
 
    # https://bugs.launchpad.net/bzr/+bug/606537
123
 
    try:
124
 
        # It is probably faster to just do the chmod, rather than
125
 
        # doing a stat, and then trying to compare
126
 
        os.chmod(filename, mode)
127
 
    except (IOError, OSError),e:
128
 
        # Permission/access denied seems to commonly happen on smbfs; there's
129
 
        # probably no point warning about it.
130
 
        # <https://bugs.launchpad.net/bzr/+bug/606537>
131
 
        if getattr(e, 'errno') in (errno.EPERM, errno.EACCES):
132
 
            trace.mutter("ignore error on chmod of %r: %r" % (
133
 
                filename, e))
134
 
            return
135
 
        raise
 
115
        os.chmod(filename, mod)
136
116
 
137
117
 
138
118
def minimum_path_selection(paths):
217
197
            if e.errno == errno.ENOENT:
218
198
                return False;
219
199
            else:
220
 
                raise errors.BzrError(gettext("lstat/stat of ({0!r}): {1!r}").format(f, e))
 
200
                raise errors.BzrError("lstat/stat of (%r): %r" % (f, e))
221
201
 
222
202
 
223
203
def fancy_rename(old, new, rename_func, unlink_func):
289
269
            else:
290
270
                rename_func(tmp_name, new)
291
271
    if failure_exc is not None:
292
 
        try:
293
 
            raise failure_exc[0], failure_exc[1], failure_exc[2]
294
 
        finally:
295
 
            del failure_exc
 
272
        raise failure_exc[0], failure_exc[1], failure_exc[2]
296
273
 
297
274
 
298
275
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
299
276
# choke on a Unicode string containing a relative path if
300
277
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
301
278
# string.
 
279
_fs_enc = sys.getfilesystemencoding() or 'utf-8'
302
280
def _posix_abspath(path):
303
281
    # jam 20060426 rather than encoding to fsencoding
304
282
    # copy posixpath.abspath, but use os.getcwdu instead
305
283
    if not posixpath.isabs(path):
306
284
        path = posixpath.join(getcwd(), path)
307
 
    return _posix_normpath(path)
 
285
    return posixpath.normpath(path)
308
286
 
309
287
 
310
288
def _posix_realpath(path):
311
289
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
312
290
 
313
291
 
314
 
def _posix_normpath(path):
315
 
    path = posixpath.normpath(path)
316
 
    # Bug 861008: posixpath.normpath() returns a path normalized according to
317
 
    # the POSIX standard, which stipulates (for compatibility reasons) that two
318
 
    # leading slashes must not be simplified to one, and only if there are 3 or
319
 
    # more should they be simplified as one. So we treat the leading 2 slashes
320
 
    # as a special case here by simply removing the first slash, as we consider
321
 
    # that breaking POSIX compatibility for this obscure feature is acceptable.
322
 
    # This is not a paranoid precaution, as we notably get paths like this when
323
 
    # the repo is hosted at the root of the filesystem, i.e. in "/".    
324
 
    if path.startswith('//'):
325
 
        path = path[1:]
326
 
    return path
327
 
 
328
 
 
329
 
def _posix_path_from_environ(key):
330
 
    """Get unicode path from `key` in environment or None if not present
331
 
 
332
 
    Note that posix systems use arbitrary byte strings for filesystem objects,
333
 
    so a path that raises BadFilenameEncoding here may still be accessible.
334
 
    """
335
 
    val = os.environ.get(key, None)
336
 
    if val is None:
337
 
        return val
338
 
    try:
339
 
        return val.decode(_fs_enc)
340
 
    except UnicodeDecodeError:
341
 
        # GZ 2011-12-12:Ideally want to include `key` in the exception message
342
 
        raise errors.BadFilenameEncoding(val, _fs_enc)
343
 
 
344
 
 
345
 
def _posix_get_home_dir():
346
 
    """Get the home directory of the current user as a unicode path"""
347
 
    path = posixpath.expanduser("~")
348
 
    try:
349
 
        return path.decode(_fs_enc)
350
 
    except UnicodeDecodeError:
351
 
        raise errors.BadFilenameEncoding(path, _fs_enc)
352
 
 
353
 
 
354
 
def _posix_getuser_unicode():
355
 
    """Get username from environment or password database as unicode"""
356
 
    name = getpass.getuser()
357
 
    user_encoding = get_user_encoding()
358
 
    try:
359
 
        return name.decode(user_encoding)
360
 
    except UnicodeDecodeError:
361
 
        raise errors.BzrError("Encoding of username %r is unsupported by %s "
362
 
            "application locale." % (name, user_encoding))
363
 
 
364
 
 
365
292
def _win32_fixdrive(path):
366
293
    """Force drive letters to be consistent.
367
294
 
455
382
abspath = _posix_abspath
456
383
realpath = _posix_realpath
457
384
pathjoin = os.path.join
458
 
normpath = _posix_normpath
459
 
path_from_environ = _posix_path_from_environ
460
 
_get_home_dir = _posix_get_home_dir
461
 
getuser_unicode = _posix_getuser_unicode
 
385
normpath = os.path.normpath
462
386
getcwd = os.getcwdu
463
387
rename = os.rename
464
388
dirname = os.path.dirname
520
444
    f = win32utils.get_unicode_argv     # special function or None
521
445
    if f is not None:
522
446
        get_unicode_argv = f
523
 
    path_from_environ = win32utils.get_environ_unicode
524
 
    _get_home_dir = win32utils.get_home_location
525
 
    getuser_unicode = win32utils.get_user_name
526
447
 
527
448
elif sys.platform == 'darwin':
528
449
    getcwd = _mac_getcwd
960
881
    return os.fstat(f.fileno())[stat.ST_SIZE]
961
882
 
962
883
 
963
 
# Alias os.urandom to support platforms (which?) without /dev/urandom and 
964
 
# override if it doesn't work. Avoid checking on windows where there is
965
 
# significant initialisation cost that can be avoided for some bzr calls.
966
 
 
967
 
rand_bytes = os.urandom
968
 
 
969
 
if rand_bytes.__module__ != "nt":
 
884
# Define rand_bytes based on platform.
 
885
try:
 
886
    # Python 2.4 and later have os.urandom,
 
887
    # but it doesn't work on some arches
 
888
    os.urandom(1)
 
889
    rand_bytes = os.urandom
 
890
except (NotImplementedError, AttributeError):
 
891
    # If python doesn't have os.urandom, or it doesn't work,
 
892
    # then try to first pull random data from /dev/urandom
970
893
    try:
971
 
        rand_bytes(1)
972
 
    except NotImplementedError:
 
894
        rand_bytes = file('/dev/urandom', 'rb').read
 
895
    # Otherwise, use this hack as a last resort
 
896
    except (IOError, OSError):
973
897
        # not well seeded, but better than nothing
974
898
        def rand_bytes(n):
975
899
            import random
1005
929
    rps = []
1006
930
    for f in ps:
1007
931
        if f == '..':
1008
 
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
 
932
            raise errors.BzrError("sorry, %r not allowed in path" % f)
1009
933
        elif (f == '.') or (f == ''):
1010
934
            pass
1011
935
        else:
1016
940
def joinpath(p):
1017
941
    for f in p:
1018
942
        if (f == '..') or (f is None) or (f == ''):
1019
 
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
 
943
            raise errors.BzrError("sorry, %r not allowed in path" % f)
1020
944
    return pathjoin(*p)
1021
945
 
1022
946
 
1066
990
def report_extension_load_failures():
1067
991
    if not _extension_load_failures:
1068
992
        return
1069
 
    if config.GlobalStack().get('ignore_missing_extensions'):
 
993
    from bzrlib.config import GlobalConfig
 
994
    if GlobalConfig().get_user_option_as_bool('ignore_missing_extensions'):
1070
995
        return
1071
996
    # the warnings framework should by default show this only once
1072
997
    from bzrlib.trace import warning
1234
1159
 
1235
1160
    if len(base) < MIN_ABS_PATHLENGTH:
1236
1161
        # must have space for e.g. a drive letter
1237
 
        raise ValueError(gettext('%r is too short to calculate a relative path')
 
1162
        raise ValueError('%r is too short to calculate a relative path'
1238
1163
            % (base,))
1239
1164
 
1240
1165
    rp = abspath(path)
1815
1740
    """
1816
1741
    global _selected_dir_reader
1817
1742
    if _selected_dir_reader is None:
 
1743
        fs_encoding = _fs_enc.upper()
1818
1744
        if sys.platform == "win32" and win32utils.winver == 'Windows NT':
1819
1745
            # Win98 doesn't have unicode apis like FindFirstFileW
1820
1746
            # TODO: We possibly could support Win98 by falling back to the
1826
1752
                _selected_dir_reader = Win32ReadDir()
1827
1753
            except ImportError:
1828
1754
                pass
1829
 
        elif _fs_enc in ('utf-8', 'ascii'):
 
1755
        elif fs_encoding in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968'):
 
1756
            # ANSI_X3.4-1968 is a form of ASCII
1830
1757
            try:
1831
1758
                from bzrlib._readdir_pyx import UTF8DirReader
1832
1759
                _selected_dir_reader = UTF8DirReader()
1991
1918
_cached_user_encoding = None
1992
1919
 
1993
1920
 
1994
 
def get_user_encoding(use_cache=DEPRECATED_PARAMETER):
 
1921
def get_user_encoding(use_cache=True):
1995
1922
    """Find out what the preferred user encoding is.
1996
1923
 
1997
1924
    This is generally the encoding that is used for command line parameters
1998
1925
    and file contents. This may be different from the terminal encoding
1999
1926
    or the filesystem encoding.
2000
1927
 
 
1928
    :param  use_cache:  Enable cache for detected encoding.
 
1929
                        (This parameter is turned on by default,
 
1930
                        and required only for selftesting)
 
1931
 
2001
1932
    :return: A string defining the preferred user encoding
2002
1933
    """
2003
1934
    global _cached_user_encoding
2004
 
    if deprecated_passed(use_cache):
2005
 
        warn_deprecated("use_cache should only have been used for tests",
2006
 
            DeprecationWarning, stacklevel=2) 
2007
 
    if _cached_user_encoding is not None:
 
1935
    if _cached_user_encoding is not None and use_cache:
2008
1936
        return _cached_user_encoding
2009
1937
 
2010
 
    if os.name == 'posix' and getattr(locale, 'CODESET', None) is not None:
2011
 
        # Use the existing locale settings and call nl_langinfo directly
2012
 
        # rather than going through getpreferredencoding. This avoids
2013
 
        # <http://bugs.python.org/issue6202> on OSX Python 2.6 and the
2014
 
        # possibility of the setlocale call throwing an error.
2015
 
        user_encoding = locale.nl_langinfo(locale.CODESET)
 
1938
    if sys.platform == 'darwin':
 
1939
        # python locale.getpreferredencoding() always return
 
1940
        # 'mac-roman' on darwin. That's a lie.
 
1941
        sys.platform = 'posix'
 
1942
        try:
 
1943
            if os.environ.get('LANG', None) is None:
 
1944
                # If LANG is not set, we end up with 'ascii', which is bad
 
1945
                # ('mac-roman' is more than ascii), so we set a default which
 
1946
                # will give us UTF-8 (which appears to work in all cases on
 
1947
                # OSX). Users are still free to override LANG of course, as
 
1948
                # long as it give us something meaningful. This work-around
 
1949
                # *may* not be needed with python 3k and/or OSX 10.5, but will
 
1950
                # work with them too -- vila 20080908
 
1951
                os.environ['LANG'] = 'en_US.UTF-8'
 
1952
            import locale
 
1953
        finally:
 
1954
            sys.platform = 'darwin'
2016
1955
    else:
2017
 
        # GZ 2011-12-19: On windows could call GetACP directly instead.
2018
 
        user_encoding = locale.getpreferredencoding(False)
 
1956
        import locale
2019
1957
 
2020
1958
    try:
2021
 
        user_encoding = codecs.lookup(user_encoding).name
2022
 
    except LookupError:
2023
 
        if user_encoding not in ("", "cp0"):
 
1959
        user_encoding = locale.getpreferredencoding()
 
1960
    except locale.Error, e:
 
1961
        sys.stderr.write('bzr: warning: %s\n'
 
1962
                         '  Could not determine what text encoding to use.\n'
 
1963
                         '  This error usually means your Python interpreter\n'
 
1964
                         '  doesn\'t support the locale set by $LANG (%s)\n'
 
1965
                         "  Continuing with ascii encoding.\n"
 
1966
                         % (e, os.environ.get('LANG')))
 
1967
        user_encoding = 'ascii'
 
1968
 
 
1969
    # Windows returns 'cp0' to indicate there is no code page. So we'll just
 
1970
    # treat that as ASCII, and not support printing unicode characters to the
 
1971
    # console.
 
1972
    #
 
1973
    # For python scripts run under vim, we get '', so also treat that as ASCII
 
1974
    if user_encoding in (None, 'cp0', ''):
 
1975
        user_encoding = 'ascii'
 
1976
    else:
 
1977
        # check encoding
 
1978
        try:
 
1979
            codecs.lookup(user_encoding)
 
1980
        except LookupError:
2024
1981
            sys.stderr.write('bzr: warning:'
2025
1982
                             ' unknown encoding %s.'
2026
1983
                             ' Continuing with ascii encoding.\n'
2027
1984
                             % user_encoding
2028
1985
                            )
2029
 
        user_encoding = 'ascii'
2030
 
    else:
2031
 
        # Get 'ascii' when setlocale has not been called or LANG=C or unset.
2032
 
        if user_encoding == 'ascii':
2033
 
            if sys.platform == 'darwin':
2034
 
                # OSX is special-cased in Python to have a UTF-8 filesystem
2035
 
                # encoding and previously had LANG set here if not present.
2036
 
                user_encoding = 'utf-8'
2037
 
            # GZ 2011-12-19: Maybe UTF-8 should be the default in this case
2038
 
            #                for some other posix platforms as well.
2039
 
 
2040
 
    _cached_user_encoding = user_encoding
 
1986
            user_encoding = 'ascii'
 
1987
 
 
1988
    if use_cache:
 
1989
        _cached_user_encoding = user_encoding
 
1990
 
2041
1991
    return user_encoding
2042
1992
 
2043
1993
 
2052
2002
    behaves inconsistently on different platforms.
2053
2003
    """
2054
2004
    if sys.platform == "win32":
 
2005
        import win32utils
2055
2006
        return win32utils.get_host_name()
2056
2007
    else:
2057
2008
        import socket
2232
2183
    return file_kind_from_stat_mode(mode)
2233
2184
file_kind_from_stat_mode = file_kind_from_stat_mode_thunk
2234
2185
 
2235
 
def file_stat(f, _lstat=os.lstat):
 
2186
 
 
2187
def file_kind(f, _lstat=os.lstat):
2236
2188
    try:
2237
 
        # XXX cache?
2238
 
        return _lstat(f)
 
2189
        return file_kind_from_stat_mode(_lstat(f).st_mode)
2239
2190
    except OSError, e:
2240
2191
        if getattr(e, 'errno', None) in (errno.ENOENT, errno.ENOTDIR):
2241
2192
            raise errors.NoSuchFile(f)
2242
2193
        raise
2243
2194
 
2244
 
def file_kind(f, _lstat=os.lstat):
2245
 
    stat_value = file_stat(f, _lstat)
2246
 
    return file_kind_from_stat_mode(stat_value.st_mode)
2247
2195
 
2248
2196
def until_no_eintr(f, *a, **kw):
2249
2197
    """Run f(*a, **kw), retrying if an EINTR error occurs.
2293
2241
 
2294
2242
 
2295
2243
if sys.platform == "win32":
 
2244
    import msvcrt
2296
2245
    def getchar():
2297
 
        import msvcrt
2298
2246
        return msvcrt.getch()
2299
2247
else:
 
2248
    import tty
 
2249
    import termios
2300
2250
    def getchar():
2301
 
        import tty
2302
 
        import termios
2303
2251
        fd = sys.stdin.fileno()
2304
2252
        settings = termios.tcgetattr(fd)
2305
2253
        try:
2309
2257
            termios.tcsetattr(fd, termios.TCSADRAIN, settings)
2310
2258
        return ch
2311
2259
 
2312
 
if sys.platform.startswith('linux'):
 
2260
if sys.platform == 'linux2':
2313
2261
    def _local_concurrency():
2314
2262
        try:
2315
2263
            return os.sysconf('SC_NPROCESSORS_ONLN')
2354
2302
    if concurrency is None:
2355
2303
        try:
2356
2304
            import multiprocessing
2357
 
            concurrency = multiprocessing.cpu_count()
2358
 
        except (ImportError, NotImplementedError):
 
2305
        except ImportError:
2359
2306
            # multiprocessing is only available on Python >= 2.6
2360
 
            # and multiprocessing.cpu_count() isn't implemented on all
2361
 
            # platforms
2362
2307
            try:
2363
2308
                concurrency = _local_concurrency()
2364
2309
            except (OSError, IOError):
2365
2310
                pass
 
2311
        else:
 
2312
            concurrency = multiprocessing.cpu_count()
2366
2313
    try:
2367
2314
        concurrency = int(concurrency)
2368
2315
    except (TypeError, ValueError):
2430
2377
    open_file = open
2431
2378
 
2432
2379
 
 
2380
def getuser_unicode():
 
2381
    """Return the username as unicode.
 
2382
    """
 
2383
    try:
 
2384
        user_encoding = get_user_encoding()
 
2385
        username = getpass.getuser().decode(user_encoding)
 
2386
    except UnicodeDecodeError:
 
2387
        raise errors.BzrError("Can't decode username as %s." % \
 
2388
                user_encoding)
 
2389
    return username
 
2390
 
 
2391
 
2433
2392
def available_backup_name(base, exists):
2434
2393
    """Find a non-existing backup file name.
2435
2394
 
2494
2453
            if os.access(f, os.X_OK):
2495
2454
                return f
2496
2455
    return None
2497
 
 
2498
 
 
2499
 
def _posix_is_local_pid_dead(pid):
2500
 
    """True if pid doesn't correspond to live process on this machine"""
2501
 
    try:
2502
 
        # Special meaning of unix kill: just check if it's there.
2503
 
        os.kill(pid, 0)
2504
 
    except OSError, e:
2505
 
        if e.errno == errno.ESRCH:
2506
 
            # On this machine, and really not found: as sure as we can be
2507
 
            # that it's dead.
2508
 
            return True
2509
 
        elif e.errno == errno.EPERM:
2510
 
            # exists, though not ours
2511
 
            return False
2512
 
        else:
2513
 
            mutter("os.kill(%d, 0) failed: %s" % (pid, e))
2514
 
            # Don't really know.
2515
 
            return False
2516
 
    else:
2517
 
        # Exists and our process: not dead.
2518
 
        return False
2519
 
 
2520
 
if sys.platform == "win32":
2521
 
    is_local_pid_dead = win32utils.is_local_pid_dead
2522
 
else:
2523
 
    is_local_pid_dead = _posix_is_local_pid_dead
2524
 
 
2525
 
 
2526
 
def fdatasync(fileno):
2527
 
    """Flush file contents to disk if possible.
2528
 
    
2529
 
    :param fileno: Integer OS file handle.
2530
 
    :raises TransportNotPossible: If flushing to disk is not possible.
2531
 
    """
2532
 
    fn = getattr(os, 'fdatasync', getattr(os, 'fsync', None))
2533
 
    if fn is not None:
2534
 
        fn(fileno)
2535
 
 
2536
 
 
2537
 
def ensure_empty_directory_exists(path, exception_class):
2538
 
    """Make sure a local directory exists and is empty.
2539
 
    
2540
 
    If it does not exist, it is created.  If it exists and is not empty, an
2541
 
    instance of exception_class is raised.
2542
 
    """
2543
 
    try:
2544
 
        os.mkdir(path)
2545
 
    except OSError, e:
2546
 
        if e.errno != errno.EEXIST:
2547
 
            raise
2548
 
        if os.listdir(path) != []:
2549
 
            raise exception_class(path)
2550
 
 
2551
 
 
2552
 
def is_environment_error(evalue):
2553
 
    """True if exception instance is due to a process environment issue
2554
 
 
2555
 
    This includes OSError and IOError, but also other errors that come from
2556
 
    the operating system or core libraries but are not subclasses of those.
2557
 
    """
2558
 
    if isinstance(evalue, (EnvironmentError, select.error)):
2559
 
        return True
2560
 
    if sys.platform == "win32" and win32utils._is_pywintypes_error(evalue):
2561
 
        return True
2562
 
    return False