~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Jelmer Vernooij
  • Date: 2012-02-20 12:19:29 UTC
  • mfrom: (6437.23.11 2.5)
  • mto: (6581.1.1 trunk)
  • mto: This revision was merged to the branch mainline in revision 6582.
  • Revision ID: jelmer@samba.org-20120220121929-7ni2psvjoatm1yp4
Merge bzr/2.5.

Show diffs side-by-side

added added

removed removed

Lines of Context:
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
 
17
from __future__ import absolute_import
 
18
 
17
19
import errno
18
20
import os
19
21
import re
26
28
lazy_import(globals(), """
27
29
from datetime import datetime
28
30
import getpass
 
31
import locale
29
32
import ntpath
30
33
import posixpath
 
34
import select
31
35
# We need to import both shutil and rmtree as we export the later on posix
32
36
# and need the former on windows
33
37
import shutil
47
51
    trace,
48
52
    win32utils,
49
53
    )
 
54
from bzrlib.i18n import gettext
50
55
""")
51
56
 
52
57
from bzrlib.symbol_versioning import (
 
58
    DEPRECATED_PARAMETER,
53
59
    deprecated_function,
54
60
    deprecated_in,
 
61
    deprecated_passed,
 
62
    warn as warn_deprecated,
55
63
    )
56
64
 
57
65
from hashlib import (
61
69
 
62
70
 
63
71
import bzrlib
64
 
from bzrlib import symbol_versioning
 
72
from bzrlib import symbol_versioning, _fs_enc
65
73
 
66
74
 
67
75
# Cross platform wall-clock time functionality with decent resolution.
89
97
        user_encoding = get_user_encoding()
90
98
        return [a.decode(user_encoding) for a in sys.argv[1:]]
91
99
    except UnicodeDecodeError:
92
 
        raise errors.BzrError("Parameter %r encoding is unsupported by %s "
93
 
            "application locale." % (a, user_encoding))
 
100
        raise errors.BzrError(gettext("Parameter {0!r} encoding is unsupported by {1} "
 
101
            "application locale.").format(a, user_encoding))
94
102
 
95
103
 
96
104
def make_readonly(filename):
98
106
    mod = os.lstat(filename).st_mode
99
107
    if not stat.S_ISLNK(mod):
100
108
        mod = mod & 0777555
101
 
        os.chmod(filename, mod)
 
109
        chmod_if_possible(filename, mod)
102
110
 
103
111
 
104
112
def make_writable(filename):
105
113
    mod = os.lstat(filename).st_mode
106
114
    if not stat.S_ISLNK(mod):
107
115
        mod = mod | 0200
108
 
        os.chmod(filename, mod)
 
116
        chmod_if_possible(filename, mod)
 
117
 
 
118
 
 
119
def chmod_if_possible(filename, mode):
 
120
    # Set file mode if that can be safely done.
 
121
    # Sometimes even on unix the filesystem won't allow it - see
 
122
    # https://bugs.launchpad.net/bzr/+bug/606537
 
123
    try:
 
124
        # It is probably faster to just do the chmod, rather than
 
125
        # doing a stat, and then trying to compare
 
126
        os.chmod(filename, mode)
 
127
    except (IOError, OSError),e:
 
128
        # Permission/access denied seems to commonly happen on smbfs; there's
 
129
        # probably no point warning about it.
 
130
        # <https://bugs.launchpad.net/bzr/+bug/606537>
 
131
        if getattr(e, 'errno') in (errno.EPERM, errno.EACCES):
 
132
            trace.mutter("ignore error on chmod of %r: %r" % (
 
133
                filename, e))
 
134
            return
 
135
        raise
109
136
 
110
137
 
111
138
def minimum_path_selection(paths):
190
217
            if e.errno == errno.ENOENT:
191
218
                return False;
192
219
            else:
193
 
                raise errors.BzrError("lstat/stat of (%r): %r" % (f, e))
 
220
                raise errors.BzrError(gettext("lstat/stat of ({0!r}): {1!r}").format(f, e))
194
221
 
195
222
 
196
223
def fancy_rename(old, new, rename_func, unlink_func):
272
299
# choke on a Unicode string containing a relative path if
273
300
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
274
301
# string.
275
 
_fs_enc = sys.getfilesystemencoding() or 'utf-8'
276
302
def _posix_abspath(path):
277
303
    # jam 20060426 rather than encoding to fsencoding
278
304
    # copy posixpath.abspath, but use os.getcwdu instead
279
305
    if not posixpath.isabs(path):
280
306
        path = posixpath.join(getcwd(), path)
281
 
    return posixpath.normpath(path)
 
307
    return _posix_normpath(path)
282
308
 
283
309
 
284
310
def _posix_realpath(path):
285
311
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
286
312
 
287
313
 
 
314
def _posix_normpath(path):
 
315
    path = posixpath.normpath(path)
 
316
    # Bug 861008: posixpath.normpath() returns a path normalized according to
 
317
    # the POSIX standard, which stipulates (for compatibility reasons) that two
 
318
    # leading slashes must not be simplified to one, and only if there are 3 or
 
319
    # more should they be simplified as one. So we treat the leading 2 slashes
 
320
    # as a special case here by simply removing the first slash, as we consider
 
321
    # that breaking POSIX compatibility for this obscure feature is acceptable.
 
322
    # This is not a paranoid precaution, as we notably get paths like this when
 
323
    # the repo is hosted at the root of the filesystem, i.e. in "/".    
 
324
    if path.startswith('//'):
 
325
        path = path[1:]
 
326
    return path
 
327
 
 
328
 
 
329
def _posix_path_from_environ(key):
 
330
    """Get unicode path from `key` in environment or None if not present
 
331
 
 
332
    Note that posix systems use arbitrary byte strings for filesystem objects,
 
333
    so a path that raises BadFilenameEncoding here may still be accessible.
 
334
    """
 
335
    val = os.environ.get(key, None)
 
336
    if val is None:
 
337
        return val
 
338
    try:
 
339
        return val.decode(_fs_enc)
 
340
    except UnicodeDecodeError:
 
341
        # GZ 2011-12-12:Ideally want to include `key` in the exception message
 
342
        raise errors.BadFilenameEncoding(val, _fs_enc)
 
343
 
 
344
 
 
345
def _posix_get_home_dir():
 
346
    """Get the home directory of the current user as a unicode path"""
 
347
    path = posixpath.expanduser("~")
 
348
    try:
 
349
        return path.decode(_fs_enc)
 
350
    except UnicodeDecodeError:
 
351
        raise errors.BadFilenameEncoding(path, _fs_enc)
 
352
 
 
353
 
 
354
def _posix_getuser_unicode():
 
355
    """Get username from environment or password database as unicode"""
 
356
    name = getpass.getuser()
 
357
    user_encoding = get_user_encoding()
 
358
    try:
 
359
        return name.decode(user_encoding)
 
360
    except UnicodeDecodeError:
 
361
        raise errors.BzrError("Encoding of username %r is unsupported by %s "
 
362
            "application locale." % (name, user_encoding))
 
363
 
 
364
 
288
365
def _win32_fixdrive(path):
289
366
    """Force drive letters to be consistent.
290
367
 
378
455
abspath = _posix_abspath
379
456
realpath = _posix_realpath
380
457
pathjoin = os.path.join
381
 
normpath = os.path.normpath
 
458
normpath = _posix_normpath
 
459
path_from_environ = _posix_path_from_environ
 
460
_get_home_dir = _posix_get_home_dir
 
461
getuser_unicode = _posix_getuser_unicode
382
462
getcwd = os.getcwdu
383
463
rename = os.rename
384
464
dirname = os.path.dirname
440
520
    f = win32utils.get_unicode_argv     # special function or None
441
521
    if f is not None:
442
522
        get_unicode_argv = f
 
523
    path_from_environ = win32utils.get_environ_unicode
 
524
    _get_home_dir = win32utils.get_home_location
 
525
    getuser_unicode = win32utils.get_user_name
443
526
 
444
527
elif sys.platform == 'darwin':
445
528
    getcwd = _mac_getcwd
877
960
    return os.fstat(f.fileno())[stat.ST_SIZE]
878
961
 
879
962
 
880
 
# Define rand_bytes based on platform.
881
 
try:
882
 
    # Python 2.4 and later have os.urandom,
883
 
    # but it doesn't work on some arches
884
 
    os.urandom(1)
885
 
    rand_bytes = os.urandom
886
 
except (NotImplementedError, AttributeError):
887
 
    # If python doesn't have os.urandom, or it doesn't work,
888
 
    # then try to first pull random data from /dev/urandom
 
963
# Alias os.urandom to support platforms (which?) without /dev/urandom and 
 
964
# override if it doesn't work. Avoid checking on windows where there is
 
965
# significant initialisation cost that can be avoided for some bzr calls.
 
966
 
 
967
rand_bytes = os.urandom
 
968
 
 
969
if rand_bytes.__module__ != "nt":
889
970
    try:
890
 
        rand_bytes = file('/dev/urandom', 'rb').read
891
 
    # Otherwise, use this hack as a last resort
892
 
    except (IOError, OSError):
 
971
        rand_bytes(1)
 
972
    except NotImplementedError:
893
973
        # not well seeded, but better than nothing
894
974
        def rand_bytes(n):
895
975
            import random
925
1005
    rps = []
926
1006
    for f in ps:
927
1007
        if f == '..':
928
 
            raise errors.BzrError("sorry, %r not allowed in path" % f)
 
1008
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
929
1009
        elif (f == '.') or (f == ''):
930
1010
            pass
931
1011
        else:
936
1016
def joinpath(p):
937
1017
    for f in p:
938
1018
        if (f == '..') or (f is None) or (f == ''):
939
 
            raise errors.BzrError("sorry, %r not allowed in path" % f)
 
1019
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
940
1020
    return pathjoin(*p)
941
1021
 
942
1022
 
1154
1234
 
1155
1235
    if len(base) < MIN_ABS_PATHLENGTH:
1156
1236
        # must have space for e.g. a drive letter
1157
 
        raise ValueError('%r is too short to calculate a relative path'
 
1237
        raise ValueError(gettext('%r is too short to calculate a relative path')
1158
1238
            % (base,))
1159
1239
 
1160
1240
    rp = abspath(path)
1735
1815
    """
1736
1816
    global _selected_dir_reader
1737
1817
    if _selected_dir_reader is None:
1738
 
        fs_encoding = _fs_enc.upper()
1739
1818
        if sys.platform == "win32" and win32utils.winver == 'Windows NT':
1740
1819
            # Win98 doesn't have unicode apis like FindFirstFileW
1741
1820
            # TODO: We possibly could support Win98 by falling back to the
1747
1826
                _selected_dir_reader = Win32ReadDir()
1748
1827
            except ImportError:
1749
1828
                pass
1750
 
        elif fs_encoding in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968'):
1751
 
            # ANSI_X3.4-1968 is a form of ASCII
 
1829
        elif _fs_enc in ('utf-8', 'ascii'):
1752
1830
            try:
1753
1831
                from bzrlib._readdir_pyx import UTF8DirReader
1754
1832
                _selected_dir_reader = UTF8DirReader()
1913
1991
_cached_user_encoding = None
1914
1992
 
1915
1993
 
1916
 
def get_user_encoding(use_cache=True):
 
1994
def get_user_encoding(use_cache=DEPRECATED_PARAMETER):
1917
1995
    """Find out what the preferred user encoding is.
1918
1996
 
1919
1997
    This is generally the encoding that is used for command line parameters
1920
1998
    and file contents. This may be different from the terminal encoding
1921
1999
    or the filesystem encoding.
1922
2000
 
1923
 
    :param  use_cache:  Enable cache for detected encoding.
1924
 
                        (This parameter is turned on by default,
1925
 
                        and required only for selftesting)
1926
 
 
1927
2001
    :return: A string defining the preferred user encoding
1928
2002
    """
1929
2003
    global _cached_user_encoding
1930
 
    if _cached_user_encoding is not None and use_cache:
 
2004
    if deprecated_passed(use_cache):
 
2005
        warn_deprecated("use_cache should only have been used for tests",
 
2006
            DeprecationWarning, stacklevel=2) 
 
2007
    if _cached_user_encoding is not None:
1931
2008
        return _cached_user_encoding
1932
2009
 
1933
 
    if sys.platform == 'darwin':
1934
 
        # python locale.getpreferredencoding() always return
1935
 
        # 'mac-roman' on darwin. That's a lie.
1936
 
        sys.platform = 'posix'
1937
 
        try:
1938
 
            if os.environ.get('LANG', None) is None:
1939
 
                # If LANG is not set, we end up with 'ascii', which is bad
1940
 
                # ('mac-roman' is more than ascii), so we set a default which
1941
 
                # will give us UTF-8 (which appears to work in all cases on
1942
 
                # OSX). Users are still free to override LANG of course, as
1943
 
                # long as it give us something meaningful. This work-around
1944
 
                # *may* not be needed with python 3k and/or OSX 10.5, but will
1945
 
                # work with them too -- vila 20080908
1946
 
                os.environ['LANG'] = 'en_US.UTF-8'
1947
 
            import locale
1948
 
        finally:
1949
 
            sys.platform = 'darwin'
 
2010
    if os.name == 'posix' and getattr(locale, 'CODESET', None) is not None:
 
2011
        # Use the existing locale settings and call nl_langinfo directly
 
2012
        # rather than going through getpreferredencoding. This avoids
 
2013
        # <http://bugs.python.org/issue6202> on OSX Python 2.6 and the
 
2014
        # possibility of the setlocale call throwing an error.
 
2015
        user_encoding = locale.nl_langinfo(locale.CODESET)
1950
2016
    else:
1951
 
        import locale
 
2017
        # GZ 2011-12-19: On windows could call GetACP directly instead.
 
2018
        user_encoding = locale.getpreferredencoding(False)
1952
2019
 
1953
2020
    try:
1954
 
        user_encoding = locale.getpreferredencoding()
1955
 
    except locale.Error, e:
1956
 
        sys.stderr.write('bzr: warning: %s\n'
1957
 
                         '  Could not determine what text encoding to use.\n'
1958
 
                         '  This error usually means your Python interpreter\n'
1959
 
                         '  doesn\'t support the locale set by $LANG (%s)\n'
1960
 
                         "  Continuing with ascii encoding.\n"
1961
 
                         % (e, os.environ.get('LANG')))
1962
 
        user_encoding = 'ascii'
1963
 
 
1964
 
    # Windows returns 'cp0' to indicate there is no code page. So we'll just
1965
 
    # treat that as ASCII, and not support printing unicode characters to the
1966
 
    # console.
1967
 
    #
1968
 
    # For python scripts run under vim, we get '', so also treat that as ASCII
1969
 
    if user_encoding in (None, 'cp0', ''):
1970
 
        user_encoding = 'ascii'
1971
 
    else:
1972
 
        # check encoding
1973
 
        try:
1974
 
            codecs.lookup(user_encoding)
1975
 
        except LookupError:
 
2021
        user_encoding = codecs.lookup(user_encoding).name
 
2022
    except LookupError:
 
2023
        if user_encoding not in ("", "cp0"):
1976
2024
            sys.stderr.write('bzr: warning:'
1977
2025
                             ' unknown encoding %s.'
1978
2026
                             ' Continuing with ascii encoding.\n'
1979
2027
                             % user_encoding
1980
2028
                            )
1981
 
            user_encoding = 'ascii'
1982
 
 
1983
 
    if use_cache:
1984
 
        _cached_user_encoding = user_encoding
1985
 
 
 
2029
        user_encoding = 'ascii'
 
2030
    else:
 
2031
        # Get 'ascii' when setlocale has not been called or LANG=C or unset.
 
2032
        if user_encoding == 'ascii':
 
2033
            if sys.platform == 'darwin':
 
2034
                # OSX is special-cased in Python to have a UTF-8 filesystem
 
2035
                # encoding and previously had LANG set here if not present.
 
2036
                user_encoding = 'utf-8'
 
2037
            # GZ 2011-12-19: Maybe UTF-8 should be the default in this case
 
2038
            #                for some other posix platforms as well.
 
2039
 
 
2040
    _cached_user_encoding = user_encoding
1986
2041
    return user_encoding
1987
2042
 
1988
2043
 
1997
2052
    behaves inconsistently on different platforms.
1998
2053
    """
1999
2054
    if sys.platform == "win32":
2000
 
        import win32utils
2001
2055
        return win32utils.get_host_name()
2002
2056
    else:
2003
2057
        import socket
2239
2293
 
2240
2294
 
2241
2295
if sys.platform == "win32":
2242
 
    import msvcrt
2243
2296
    def getchar():
 
2297
        import msvcrt
2244
2298
        return msvcrt.getch()
2245
2299
else:
2246
 
    import tty
2247
 
    import termios
2248
2300
    def getchar():
 
2301
        import tty
 
2302
        import termios
2249
2303
        fd = sys.stdin.fileno()
2250
2304
        settings = termios.tcgetattr(fd)
2251
2305
        try:
2255
2309
            termios.tcsetattr(fd, termios.TCSADRAIN, settings)
2256
2310
        return ch
2257
2311
 
2258
 
if sys.platform == 'linux2':
 
2312
if sys.platform.startswith('linux'):
2259
2313
    def _local_concurrency():
2260
2314
        try:
2261
2315
            return os.sysconf('SC_NPROCESSORS_ONLN')
2300
2354
    if concurrency is None:
2301
2355
        try:
2302
2356
            import multiprocessing
2303
 
        except ImportError:
 
2357
            concurrency = multiprocessing.cpu_count()
 
2358
        except (ImportError, NotImplementedError):
2304
2359
            # multiprocessing is only available on Python >= 2.6
 
2360
            # and multiprocessing.cpu_count() isn't implemented on all
 
2361
            # platforms
2305
2362
            try:
2306
2363
                concurrency = _local_concurrency()
2307
2364
            except (OSError, IOError):
2308
2365
                pass
2309
 
        else:
2310
 
            concurrency = multiprocessing.cpu_count()
2311
2366
    try:
2312
2367
        concurrency = int(concurrency)
2313
2368
    except (TypeError, ValueError):
2375
2430
    open_file = open
2376
2431
 
2377
2432
 
2378
 
def getuser_unicode():
2379
 
    """Return the username as unicode.
2380
 
    """
2381
 
    try:
2382
 
        user_encoding = get_user_encoding()
2383
 
        username = getpass.getuser().decode(user_encoding)
2384
 
    except UnicodeDecodeError:
2385
 
        raise errors.BzrError("Can't decode username as %s." % \
2386
 
                user_encoding)
2387
 
    except ImportError, e:
2388
 
        if sys.platform != 'win32':
2389
 
            raise
2390
 
        if str(e) != 'No module named pwd':
2391
 
            raise
2392
 
        # https://bugs.launchpad.net/bzr/+bug/660174
2393
 
        # getpass.getuser() is unable to return username on Windows
2394
 
        # if there is no USERNAME environment variable set.
2395
 
        # That could be true if bzr is running as a service,
2396
 
        # e.g. running `bzr serve` as a service on Windows.
2397
 
        # We should not fail with traceback in this case.
2398
 
        username = u'UNKNOWN'
2399
 
    return username
2400
 
 
2401
 
 
2402
2433
def available_backup_name(base, exists):
2403
2434
    """Find a non-existing backup file name.
2404
2435
 
2501
2532
    fn = getattr(os, 'fdatasync', getattr(os, 'fsync', None))
2502
2533
    if fn is not None:
2503
2534
        fn(fileno)
 
2535
 
 
2536
 
 
2537
def ensure_empty_directory_exists(path, exception_class):
 
2538
    """Make sure a local directory exists and is empty.
 
2539
    
 
2540
    If it does not exist, it is created.  If it exists and is not empty, an
 
2541
    instance of exception_class is raised.
 
2542
    """
 
2543
    try:
 
2544
        os.mkdir(path)
 
2545
    except OSError, e:
 
2546
        if e.errno != errno.EEXIST:
 
2547
            raise
 
2548
        if os.listdir(path) != []:
 
2549
            raise exception_class(path)
 
2550
 
 
2551
 
 
2552
def is_environment_error(evalue):
 
2553
    """True if exception instance is due to a process environment issue
 
2554
 
 
2555
    This includes OSError and IOError, but also other errors that come from
 
2556
    the operating system or core libraries but are not subclasses of those.
 
2557
    """
 
2558
    if isinstance(evalue, (EnvironmentError, select.error)):
 
2559
        return True
 
2560
    if sys.platform == "win32" and win32utils._is_pywintypes_error(evalue):
 
2561
        return True
 
2562
    return False