~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Jelmer Vernooij
  • Date: 2012-02-18 16:55:04 UTC
  • mfrom: (6437.23.10 2.5)
  • mto: This revision was merged to the branch mainline in revision 6469.
  • Revision ID: jelmer@samba.org-20120218165504-c9oe5c5ue805y8wp
Merge bzr/2.5.

Show diffs side-by-side

added added

removed removed

Lines of Context:
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
 
17
from __future__ import absolute_import
 
18
 
17
19
import errno
18
20
import os
19
21
import re
26
28
lazy_import(globals(), """
27
29
from datetime import datetime
28
30
import getpass
 
31
import locale
29
32
import ntpath
30
33
import posixpath
 
34
import select
31
35
# We need to import both shutil and rmtree as we export the later on posix
32
36
# and need the former on windows
33
37
import shutil
51
55
""")
52
56
 
53
57
from bzrlib.symbol_versioning import (
 
58
    DEPRECATED_PARAMETER,
54
59
    deprecated_function,
55
60
    deprecated_in,
 
61
    deprecated_passed,
 
62
    warn as warn_deprecated,
56
63
    )
57
64
 
58
65
from hashlib import (
62
69
 
63
70
 
64
71
import bzrlib
65
 
from bzrlib import symbol_versioning
 
72
from bzrlib import symbol_versioning, _fs_enc
66
73
 
67
74
 
68
75
# Cross platform wall-clock time functionality with decent resolution.
99
106
    mod = os.lstat(filename).st_mode
100
107
    if not stat.S_ISLNK(mod):
101
108
        mod = mod & 0777555
102
 
        os.chmod(filename, mod)
 
109
        chmod_if_possible(filename, mod)
103
110
 
104
111
 
105
112
def make_writable(filename):
106
113
    mod = os.lstat(filename).st_mode
107
114
    if not stat.S_ISLNK(mod):
108
115
        mod = mod | 0200
109
 
        os.chmod(filename, mod)
 
116
        chmod_if_possible(filename, mod)
 
117
 
 
118
 
 
119
def chmod_if_possible(filename, mode):
 
120
    # Set file mode if that can be safely done.
 
121
    # Sometimes even on unix the filesystem won't allow it - see
 
122
    # https://bugs.launchpad.net/bzr/+bug/606537
 
123
    try:
 
124
        # It is probably faster to just do the chmod, rather than
 
125
        # doing a stat, and then trying to compare
 
126
        os.chmod(filename, mode)
 
127
    except (IOError, OSError),e:
 
128
        # Permission/access denied seems to commonly happen on smbfs; there's
 
129
        # probably no point warning about it.
 
130
        # <https://bugs.launchpad.net/bzr/+bug/606537>
 
131
        if getattr(e, 'errno') in (errno.EPERM, errno.EACCES):
 
132
            trace.mutter("ignore error on chmod of %r: %r" % (
 
133
                filename, e))
 
134
            return
 
135
        raise
110
136
 
111
137
 
112
138
def minimum_path_selection(paths):
273
299
# choke on a Unicode string containing a relative path if
274
300
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
275
301
# string.
276
 
_fs_enc = sys.getfilesystemencoding() or 'utf-8'
277
302
def _posix_abspath(path):
278
303
    # jam 20060426 rather than encoding to fsencoding
279
304
    # copy posixpath.abspath, but use os.getcwdu instead
301
326
    return path
302
327
 
303
328
 
 
329
def _posix_path_from_environ(key):
 
330
    """Get unicode path from `key` in environment or None if not present
 
331
 
 
332
    Note that posix systems use arbitrary byte strings for filesystem objects,
 
333
    so a path that raises BadFilenameEncoding here may still be accessible.
 
334
    """
 
335
    val = os.environ.get(key, None)
 
336
    if val is None:
 
337
        return val
 
338
    try:
 
339
        return val.decode(_fs_enc)
 
340
    except UnicodeDecodeError:
 
341
        # GZ 2011-12-12:Ideally want to include `key` in the exception message
 
342
        raise errors.BadFilenameEncoding(val, _fs_enc)
 
343
 
 
344
 
 
345
def _posix_get_home_dir():
 
346
    """Get the home directory of the current user as a unicode path"""
 
347
    path = posixpath.expanduser("~")
 
348
    try:
 
349
        return path.decode(_fs_enc)
 
350
    except UnicodeDecodeError:
 
351
        raise errors.BadFilenameEncoding(path, _fs_enc)
 
352
 
 
353
 
 
354
def _posix_getuser_unicode():
 
355
    """Get username from environment or password database as unicode"""
 
356
    name = getpass.getuser()
 
357
    user_encoding = get_user_encoding()
 
358
    try:
 
359
        return name.decode(user_encoding)
 
360
    except UnicodeDecodeError:
 
361
        raise errors.BzrError("Encoding of username %r is unsupported by %s "
 
362
            "application locale." % (name, user_encoding))
 
363
 
 
364
 
304
365
def _win32_fixdrive(path):
305
366
    """Force drive letters to be consistent.
306
367
 
395
456
realpath = _posix_realpath
396
457
pathjoin = os.path.join
397
458
normpath = _posix_normpath
 
459
path_from_environ = _posix_path_from_environ
 
460
_get_home_dir = _posix_get_home_dir
 
461
getuser_unicode = _posix_getuser_unicode
398
462
getcwd = os.getcwdu
399
463
rename = os.rename
400
464
dirname = os.path.dirname
456
520
    f = win32utils.get_unicode_argv     # special function or None
457
521
    if f is not None:
458
522
        get_unicode_argv = f
 
523
    path_from_environ = win32utils.get_environ_unicode
 
524
    _get_home_dir = win32utils.get_home_location
 
525
    getuser_unicode = win32utils.get_user_name
459
526
 
460
527
elif sys.platform == 'darwin':
461
528
    getcwd = _mac_getcwd
893
960
    return os.fstat(f.fileno())[stat.ST_SIZE]
894
961
 
895
962
 
896
 
# Define rand_bytes based on platform.
897
 
try:
898
 
    # Python 2.4 and later have os.urandom,
899
 
    # but it doesn't work on some arches
900
 
    os.urandom(1)
901
 
    rand_bytes = os.urandom
902
 
except (NotImplementedError, AttributeError):
903
 
    # If python doesn't have os.urandom, or it doesn't work,
904
 
    # then try to first pull random data from /dev/urandom
 
963
# Alias os.urandom to support platforms (which?) without /dev/urandom and 
 
964
# override if it doesn't work. Avoid checking on windows where there is
 
965
# significant initialisation cost that can be avoided for some bzr calls.
 
966
 
 
967
rand_bytes = os.urandom
 
968
 
 
969
if rand_bytes.__module__ != "nt":
905
970
    try:
906
 
        rand_bytes = file('/dev/urandom', 'rb').read
907
 
    # Otherwise, use this hack as a last resort
908
 
    except (IOError, OSError):
 
971
        rand_bytes(1)
 
972
    except NotImplementedError:
909
973
        # not well seeded, but better than nothing
910
974
        def rand_bytes(n):
911
975
            import random
1751
1815
    """
1752
1816
    global _selected_dir_reader
1753
1817
    if _selected_dir_reader is None:
1754
 
        fs_encoding = _fs_enc.upper()
1755
1818
        if sys.platform == "win32" and win32utils.winver == 'Windows NT':
1756
1819
            # Win98 doesn't have unicode apis like FindFirstFileW
1757
1820
            # TODO: We possibly could support Win98 by falling back to the
1763
1826
                _selected_dir_reader = Win32ReadDir()
1764
1827
            except ImportError:
1765
1828
                pass
1766
 
        elif fs_encoding in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968'):
1767
 
            # ANSI_X3.4-1968 is a form of ASCII
 
1829
        elif _fs_enc in ('utf-8', 'ascii'):
1768
1830
            try:
1769
1831
                from bzrlib._readdir_pyx import UTF8DirReader
1770
1832
                _selected_dir_reader = UTF8DirReader()
1929
1991
_cached_user_encoding = None
1930
1992
 
1931
1993
 
1932
 
def get_user_encoding(use_cache=True):
 
1994
def get_user_encoding(use_cache=DEPRECATED_PARAMETER):
1933
1995
    """Find out what the preferred user encoding is.
1934
1996
 
1935
1997
    This is generally the encoding that is used for command line parameters
1936
1998
    and file contents. This may be different from the terminal encoding
1937
1999
    or the filesystem encoding.
1938
2000
 
1939
 
    :param  use_cache:  Enable cache for detected encoding.
1940
 
                        (This parameter is turned on by default,
1941
 
                        and required only for selftesting)
1942
 
 
1943
2001
    :return: A string defining the preferred user encoding
1944
2002
    """
1945
2003
    global _cached_user_encoding
1946
 
    if _cached_user_encoding is not None and use_cache:
 
2004
    if deprecated_passed(use_cache):
 
2005
        warn_deprecated("use_cache should only have been used for tests",
 
2006
            DeprecationWarning, stacklevel=2) 
 
2007
    if _cached_user_encoding is not None:
1947
2008
        return _cached_user_encoding
1948
2009
 
1949
 
    if sys.platform == 'darwin':
1950
 
        # python locale.getpreferredencoding() always return
1951
 
        # 'mac-roman' on darwin. That's a lie.
1952
 
        sys.platform = 'posix'
1953
 
        try:
1954
 
            if os.environ.get('LANG', None) is None:
1955
 
                # If LANG is not set, we end up with 'ascii', which is bad
1956
 
                # ('mac-roman' is more than ascii), so we set a default which
1957
 
                # will give us UTF-8 (which appears to work in all cases on
1958
 
                # OSX). Users are still free to override LANG of course, as
1959
 
                # long as it give us something meaningful. This work-around
1960
 
                # *may* not be needed with python 3k and/or OSX 10.5, but will
1961
 
                # work with them too -- vila 20080908
1962
 
                os.environ['LANG'] = 'en_US.UTF-8'
1963
 
            import locale
1964
 
        finally:
1965
 
            sys.platform = 'darwin'
 
2010
    if os.name == 'posix' and getattr(locale, 'CODESET', None) is not None:
 
2011
        # Use the existing locale settings and call nl_langinfo directly
 
2012
        # rather than going through getpreferredencoding. This avoids
 
2013
        # <http://bugs.python.org/issue6202> on OSX Python 2.6 and the
 
2014
        # possibility of the setlocale call throwing an error.
 
2015
        user_encoding = locale.nl_langinfo(locale.CODESET)
1966
2016
    else:
1967
 
        import locale
 
2017
        # GZ 2011-12-19: On windows could call GetACP directly instead.
 
2018
        user_encoding = locale.getpreferredencoding(False)
1968
2019
 
1969
2020
    try:
1970
 
        user_encoding = locale.getpreferredencoding()
1971
 
    except locale.Error, e:
1972
 
        sys.stderr.write('bzr: warning: %s\n'
1973
 
                         '  Could not determine what text encoding to use.\n'
1974
 
                         '  This error usually means your Python interpreter\n'
1975
 
                         '  doesn\'t support the locale set by $LANG (%s)\n'
1976
 
                         "  Continuing with ascii encoding.\n"
1977
 
                         % (e, os.environ.get('LANG')))
1978
 
        user_encoding = 'ascii'
1979
 
 
1980
 
    # Windows returns 'cp0' to indicate there is no code page. So we'll just
1981
 
    # treat that as ASCII, and not support printing unicode characters to the
1982
 
    # console.
1983
 
    #
1984
 
    # For python scripts run under vim, we get '', so also treat that as ASCII
1985
 
    if user_encoding in (None, 'cp0', ''):
1986
 
        user_encoding = 'ascii'
1987
 
    else:
1988
 
        # check encoding
1989
 
        try:
1990
 
            codecs.lookup(user_encoding)
1991
 
        except LookupError:
 
2021
        user_encoding = codecs.lookup(user_encoding).name
 
2022
    except LookupError:
 
2023
        if user_encoding not in ("", "cp0"):
1992
2024
            sys.stderr.write('bzr: warning:'
1993
2025
                             ' unknown encoding %s.'
1994
2026
                             ' Continuing with ascii encoding.\n'
1995
2027
                             % user_encoding
1996
2028
                            )
1997
 
            user_encoding = 'ascii'
1998
 
 
1999
 
    if use_cache:
2000
 
        _cached_user_encoding = user_encoding
2001
 
 
 
2029
        user_encoding = 'ascii'
 
2030
    else:
 
2031
        # Get 'ascii' when setlocale has not been called or LANG=C or unset.
 
2032
        if user_encoding == 'ascii':
 
2033
            if sys.platform == 'darwin':
 
2034
                # OSX is special-cased in Python to have a UTF-8 filesystem
 
2035
                # encoding and previously had LANG set here if not present.
 
2036
                user_encoding = 'utf-8'
 
2037
            # GZ 2011-12-19: Maybe UTF-8 should be the default in this case
 
2038
            #                for some other posix platforms as well.
 
2039
 
 
2040
    _cached_user_encoding = user_encoding
2002
2041
    return user_encoding
2003
2042
 
2004
2043
 
2013
2052
    behaves inconsistently on different platforms.
2014
2053
    """
2015
2054
    if sys.platform == "win32":
2016
 
        import win32utils
2017
2055
        return win32utils.get_host_name()
2018
2056
    else:
2019
2057
        import socket
2255
2293
 
2256
2294
 
2257
2295
if sys.platform == "win32":
2258
 
    import msvcrt
2259
2296
    def getchar():
 
2297
        import msvcrt
2260
2298
        return msvcrt.getch()
2261
2299
else:
2262
 
    import tty
2263
 
    import termios
2264
2300
    def getchar():
 
2301
        import tty
 
2302
        import termios
2265
2303
        fd = sys.stdin.fileno()
2266
2304
        settings = termios.tcgetattr(fd)
2267
2305
        try:
2316
2354
    if concurrency is None:
2317
2355
        try:
2318
2356
            import multiprocessing
2319
 
        except ImportError:
 
2357
            concurrency = multiprocessing.cpu_count()
 
2358
        except (ImportError, NotImplementedError):
2320
2359
            # multiprocessing is only available on Python >= 2.6
 
2360
            # and multiprocessing.cpu_count() isn't implemented on all
 
2361
            # platforms
2321
2362
            try:
2322
2363
                concurrency = _local_concurrency()
2323
2364
            except (OSError, IOError):
2324
2365
                pass
2325
 
        else:
2326
 
            concurrency = multiprocessing.cpu_count()
2327
2366
    try:
2328
2367
        concurrency = int(concurrency)
2329
2368
    except (TypeError, ValueError):
2391
2430
    open_file = open
2392
2431
 
2393
2432
 
2394
 
def getuser_unicode():
2395
 
    """Return the username as unicode.
2396
 
    """
2397
 
    try:
2398
 
        user_encoding = get_user_encoding()
2399
 
        username = getpass.getuser().decode(user_encoding)
2400
 
    except UnicodeDecodeError:
2401
 
        raise errors.BzrError("Can't decode username as %s." % \
2402
 
                user_encoding)
2403
 
    except ImportError, e:
2404
 
        if sys.platform != 'win32':
2405
 
            raise
2406
 
        if str(e) != 'No module named pwd':
2407
 
            raise
2408
 
        # https://bugs.launchpad.net/bzr/+bug/660174
2409
 
        # getpass.getuser() is unable to return username on Windows
2410
 
        # if there is no USERNAME environment variable set.
2411
 
        # That could be true if bzr is running as a service,
2412
 
        # e.g. running `bzr serve` as a service on Windows.
2413
 
        # We should not fail with traceback in this case.
2414
 
        username = u'UNKNOWN'
2415
 
    return username
2416
 
 
2417
 
 
2418
2433
def available_backup_name(base, exists):
2419
2434
    """Find a non-existing backup file name.
2420
2435
 
2517
2532
    fn = getattr(os, 'fdatasync', getattr(os, 'fsync', None))
2518
2533
    if fn is not None:
2519
2534
        fn(fileno)
 
2535
 
 
2536
 
 
2537
def ensure_empty_directory_exists(path, exception_class):
 
2538
    """Make sure a local directory exists and is empty.
 
2539
    
 
2540
    If it does not exist, it is created.  If it exists and is not empty, an
 
2541
    instance of exception_class is raised.
 
2542
    """
 
2543
    try:
 
2544
        os.mkdir(path)
 
2545
    except OSError, e:
 
2546
        if e.errno != errno.EEXIST:
 
2547
            raise
 
2548
        if os.listdir(path) != []:
 
2549
            raise exception_class(path)
 
2550
 
 
2551
 
 
2552
def is_environment_error(evalue):
 
2553
    """True if exception instance is due to a process environment issue
 
2554
 
 
2555
    This includes OSError and IOError, but also other errors that come from
 
2556
    the operating system or core libraries but are not subclasses of those.
 
2557
    """
 
2558
    if isinstance(evalue, (EnvironmentError, select.error)):
 
2559
        return True
 
2560
    if sys.platform == "win32" and win32utils._is_pywintypes_error(evalue):
 
2561
        return True
 
2562
    return False