~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

(jameinel) Allow 'bzr serve' to interpret SIGHUP as a graceful shutdown.
 (bug #795025) (John A Meinel)

Show diffs side-by-side

added added

removed removed

Lines of Context:
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
from __future__ import absolute_import
18
 
 
19
17
import errno
20
18
import os
21
19
import re
28
26
lazy_import(globals(), """
29
27
from datetime import datetime
30
28
import getpass
31
 
import locale
32
29
import ntpath
33
30
import posixpath
34
 
import select
35
31
# We need to import both shutil and rmtree as we export the later on posix
36
32
# and need the former on windows
37
33
import shutil
55
51
""")
56
52
 
57
53
from bzrlib.symbol_versioning import (
58
 
    DEPRECATED_PARAMETER,
59
54
    deprecated_function,
60
55
    deprecated_in,
61
 
    deprecated_passed,
62
 
    warn as warn_deprecated,
63
56
    )
64
57
 
65
58
from hashlib import (
69
62
 
70
63
 
71
64
import bzrlib
72
 
from bzrlib import symbol_versioning, _fs_enc
 
65
from bzrlib import symbol_versioning
73
66
 
74
67
 
75
68
# Cross platform wall-clock time functionality with decent resolution.
106
99
    mod = os.lstat(filename).st_mode
107
100
    if not stat.S_ISLNK(mod):
108
101
        mod = mod & 0777555
109
 
        chmod_if_possible(filename, mod)
 
102
        os.chmod(filename, mod)
110
103
 
111
104
 
112
105
def make_writable(filename):
113
106
    mod = os.lstat(filename).st_mode
114
107
    if not stat.S_ISLNK(mod):
115
108
        mod = mod | 0200
116
 
        chmod_if_possible(filename, mod)
117
 
 
118
 
 
119
 
def chmod_if_possible(filename, mode):
120
 
    # Set file mode if that can be safely done.
121
 
    # Sometimes even on unix the filesystem won't allow it - see
122
 
    # https://bugs.launchpad.net/bzr/+bug/606537
123
 
    try:
124
 
        # It is probably faster to just do the chmod, rather than
125
 
        # doing a stat, and then trying to compare
126
 
        os.chmod(filename, mode)
127
 
    except (IOError, OSError),e:
128
 
        # Permission/access denied seems to commonly happen on smbfs; there's
129
 
        # probably no point warning about it.
130
 
        # <https://bugs.launchpad.net/bzr/+bug/606537>
131
 
        if getattr(e, 'errno') in (errno.EPERM, errno.EACCES):
132
 
            trace.mutter("ignore error on chmod of %r: %r" % (
133
 
                filename, e))
134
 
            return
135
 
        raise
 
109
        os.chmod(filename, mod)
136
110
 
137
111
 
138
112
def minimum_path_selection(paths):
299
273
# choke on a Unicode string containing a relative path if
300
274
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
301
275
# string.
 
276
_fs_enc = sys.getfilesystemencoding() or 'utf-8'
302
277
def _posix_abspath(path):
303
278
    # jam 20060426 rather than encoding to fsencoding
304
279
    # copy posixpath.abspath, but use os.getcwdu instead
305
280
    if not posixpath.isabs(path):
306
281
        path = posixpath.join(getcwd(), path)
307
 
    return _posix_normpath(path)
 
282
    return posixpath.normpath(path)
308
283
 
309
284
 
310
285
def _posix_realpath(path):
311
286
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
312
287
 
313
288
 
314
 
def _posix_normpath(path):
315
 
    path = posixpath.normpath(path)
316
 
    # Bug 861008: posixpath.normpath() returns a path normalized according to
317
 
    # the POSIX standard, which stipulates (for compatibility reasons) that two
318
 
    # leading slashes must not be simplified to one, and only if there are 3 or
319
 
    # more should they be simplified as one. So we treat the leading 2 slashes
320
 
    # as a special case here by simply removing the first slash, as we consider
321
 
    # that breaking POSIX compatibility for this obscure feature is acceptable.
322
 
    # This is not a paranoid precaution, as we notably get paths like this when
323
 
    # the repo is hosted at the root of the filesystem, i.e. in "/".    
324
 
    if path.startswith('//'):
325
 
        path = path[1:]
326
 
    return path
327
 
 
328
 
 
329
 
def _posix_path_from_environ(key):
330
 
    """Get unicode path from `key` in environment or None if not present
331
 
 
332
 
    Note that posix systems use arbitrary byte strings for filesystem objects,
333
 
    so a path that raises BadFilenameEncoding here may still be accessible.
334
 
    """
335
 
    val = os.environ.get(key, None)
336
 
    if val is None:
337
 
        return val
338
 
    try:
339
 
        return val.decode(_fs_enc)
340
 
    except UnicodeDecodeError:
341
 
        # GZ 2011-12-12:Ideally want to include `key` in the exception message
342
 
        raise errors.BadFilenameEncoding(val, _fs_enc)
343
 
 
344
 
 
345
 
def _posix_get_home_dir():
346
 
    """Get the home directory of the current user as a unicode path"""
347
 
    path = posixpath.expanduser("~")
348
 
    try:
349
 
        return path.decode(_fs_enc)
350
 
    except UnicodeDecodeError:
351
 
        raise errors.BadFilenameEncoding(path, _fs_enc)
352
 
 
353
 
 
354
 
def _posix_getuser_unicode():
355
 
    """Get username from environment or password database as unicode"""
356
 
    name = getpass.getuser()
357
 
    user_encoding = get_user_encoding()
358
 
    try:
359
 
        return name.decode(user_encoding)
360
 
    except UnicodeDecodeError:
361
 
        raise errors.BzrError("Encoding of username %r is unsupported by %s "
362
 
            "application locale." % (name, user_encoding))
363
 
 
364
 
 
365
289
def _win32_fixdrive(path):
366
290
    """Force drive letters to be consistent.
367
291
 
450
374
    return unicodedata.normalize('NFC', os.getcwdu())
451
375
 
452
376
 
453
 
def _rename_wrap_exception(rename_func):
454
 
    """Adds extra information to any exceptions that come from rename().
455
 
 
456
 
    The exception has an updated message and 'old_filename' and 'new_filename'
457
 
    attributes.
458
 
    """
459
 
 
460
 
    def _rename_wrapper(old, new):
461
 
        try:
462
 
            rename_func(old, new)
463
 
        except OSError, e:
464
 
            detailed_error = OSError(e.errno, e.strerror +
465
 
                                " [occurred when renaming '%s' to '%s']" %
466
 
                                (old, new))
467
 
            detailed_error.old_filename = old
468
 
            detailed_error.new_filename = new
469
 
            raise detailed_error
470
 
 
471
 
    return _rename_wrapper
472
 
 
473
 
# Default rename wraps os.rename()
474
 
rename = _rename_wrap_exception(os.rename)
475
 
 
476
377
# Default is to just use the python builtins, but these can be rebound on
477
378
# particular platforms.
478
379
abspath = _posix_abspath
479
380
realpath = _posix_realpath
480
381
pathjoin = os.path.join
481
 
normpath = _posix_normpath
482
 
path_from_environ = _posix_path_from_environ
483
 
_get_home_dir = _posix_get_home_dir
484
 
getuser_unicode = _posix_getuser_unicode
 
382
normpath = os.path.normpath
485
383
getcwd = os.getcwdu
 
384
rename = os.rename
486
385
dirname = os.path.dirname
487
386
basename = os.path.basename
488
387
split = os.path.split
510
409
    normpath = _win32_normpath
511
410
    getcwd = _win32_getcwd
512
411
    mkdtemp = _win32_mkdtemp
513
 
    rename = _rename_wrap_exception(_win32_rename)
 
412
    rename = _win32_rename
514
413
    try:
515
414
        from bzrlib import _walkdirs_win32
516
415
    except ImportError:
542
441
    f = win32utils.get_unicode_argv     # special function or None
543
442
    if f is not None:
544
443
        get_unicode_argv = f
545
 
    path_from_environ = win32utils.get_environ_unicode
546
 
    _get_home_dir = win32utils.get_home_location
547
 
    getuser_unicode = win32utils.get_user_name
548
444
 
549
445
elif sys.platform == 'darwin':
550
446
    getcwd = _mac_getcwd
982
878
    return os.fstat(f.fileno())[stat.ST_SIZE]
983
879
 
984
880
 
985
 
# Alias os.urandom to support platforms (which?) without /dev/urandom and 
986
 
# override if it doesn't work. Avoid checking on windows where there is
987
 
# significant initialisation cost that can be avoided for some bzr calls.
988
 
 
989
 
rand_bytes = os.urandom
990
 
 
991
 
if rand_bytes.__module__ != "nt":
 
881
# Define rand_bytes based on platform.
 
882
try:
 
883
    # Python 2.4 and later have os.urandom,
 
884
    # but it doesn't work on some arches
 
885
    os.urandom(1)
 
886
    rand_bytes = os.urandom
 
887
except (NotImplementedError, AttributeError):
 
888
    # If python doesn't have os.urandom, or it doesn't work,
 
889
    # then try to first pull random data from /dev/urandom
992
890
    try:
993
 
        rand_bytes(1)
994
 
    except NotImplementedError:
 
891
        rand_bytes = file('/dev/urandom', 'rb').read
 
892
    # Otherwise, use this hack as a last resort
 
893
    except (IOError, OSError):
995
894
        # not well seeded, but better than nothing
996
895
        def rand_bytes(n):
997
896
            import random
1837
1736
    """
1838
1737
    global _selected_dir_reader
1839
1738
    if _selected_dir_reader is None:
 
1739
        fs_encoding = _fs_enc.upper()
1840
1740
        if sys.platform == "win32" and win32utils.winver == 'Windows NT':
1841
1741
            # Win98 doesn't have unicode apis like FindFirstFileW
1842
1742
            # TODO: We possibly could support Win98 by falling back to the
1848
1748
                _selected_dir_reader = Win32ReadDir()
1849
1749
            except ImportError:
1850
1750
                pass
1851
 
        elif _fs_enc in ('utf-8', 'ascii'):
 
1751
        elif fs_encoding in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968'):
 
1752
            # ANSI_X3.4-1968 is a form of ASCII
1852
1753
            try:
1853
1754
                from bzrlib._readdir_pyx import UTF8DirReader
1854
1755
                _selected_dir_reader = UTF8DirReader()
2013
1914
_cached_user_encoding = None
2014
1915
 
2015
1916
 
2016
 
def get_user_encoding(use_cache=DEPRECATED_PARAMETER):
 
1917
def get_user_encoding(use_cache=True):
2017
1918
    """Find out what the preferred user encoding is.
2018
1919
 
2019
1920
    This is generally the encoding that is used for command line parameters
2020
1921
    and file contents. This may be different from the terminal encoding
2021
1922
    or the filesystem encoding.
2022
1923
 
 
1924
    :param  use_cache:  Enable cache for detected encoding.
 
1925
                        (This parameter is turned on by default,
 
1926
                        and required only for selftesting)
 
1927
 
2023
1928
    :return: A string defining the preferred user encoding
2024
1929
    """
2025
1930
    global _cached_user_encoding
2026
 
    if deprecated_passed(use_cache):
2027
 
        warn_deprecated("use_cache should only have been used for tests",
2028
 
            DeprecationWarning, stacklevel=2) 
2029
 
    if _cached_user_encoding is not None:
 
1931
    if _cached_user_encoding is not None and use_cache:
2030
1932
        return _cached_user_encoding
2031
1933
 
2032
 
    if os.name == 'posix' and getattr(locale, 'CODESET', None) is not None:
2033
 
        # Use the existing locale settings and call nl_langinfo directly
2034
 
        # rather than going through getpreferredencoding. This avoids
2035
 
        # <http://bugs.python.org/issue6202> on OSX Python 2.6 and the
2036
 
        # possibility of the setlocale call throwing an error.
2037
 
        user_encoding = locale.nl_langinfo(locale.CODESET)
 
1934
    if sys.platform == 'darwin':
 
1935
        # python locale.getpreferredencoding() always return
 
1936
        # 'mac-roman' on darwin. That's a lie.
 
1937
        sys.platform = 'posix'
 
1938
        try:
 
1939
            if os.environ.get('LANG', None) is None:
 
1940
                # If LANG is not set, we end up with 'ascii', which is bad
 
1941
                # ('mac-roman' is more than ascii), so we set a default which
 
1942
                # will give us UTF-8 (which appears to work in all cases on
 
1943
                # OSX). Users are still free to override LANG of course, as
 
1944
                # long as it give us something meaningful. This work-around
 
1945
                # *may* not be needed with python 3k and/or OSX 10.5, but will
 
1946
                # work with them too -- vila 20080908
 
1947
                os.environ['LANG'] = 'en_US.UTF-8'
 
1948
            import locale
 
1949
        finally:
 
1950
            sys.platform = 'darwin'
2038
1951
    else:
2039
 
        # GZ 2011-12-19: On windows could call GetACP directly instead.
2040
 
        user_encoding = locale.getpreferredencoding(False)
 
1952
        import locale
2041
1953
 
2042
1954
    try:
2043
 
        user_encoding = codecs.lookup(user_encoding).name
2044
 
    except LookupError:
2045
 
        if user_encoding not in ("", "cp0"):
 
1955
        user_encoding = locale.getpreferredencoding()
 
1956
    except locale.Error, e:
 
1957
        sys.stderr.write('bzr: warning: %s\n'
 
1958
                         '  Could not determine what text encoding to use.\n'
 
1959
                         '  This error usually means your Python interpreter\n'
 
1960
                         '  doesn\'t support the locale set by $LANG (%s)\n'
 
1961
                         "  Continuing with ascii encoding.\n"
 
1962
                         % (e, os.environ.get('LANG')))
 
1963
        user_encoding = 'ascii'
 
1964
 
 
1965
    # Windows returns 'cp0' to indicate there is no code page. So we'll just
 
1966
    # treat that as ASCII, and not support printing unicode characters to the
 
1967
    # console.
 
1968
    #
 
1969
    # For python scripts run under vim, we get '', so also treat that as ASCII
 
1970
    if user_encoding in (None, 'cp0', ''):
 
1971
        user_encoding = 'ascii'
 
1972
    else:
 
1973
        # check encoding
 
1974
        try:
 
1975
            codecs.lookup(user_encoding)
 
1976
        except LookupError:
2046
1977
            sys.stderr.write('bzr: warning:'
2047
1978
                             ' unknown encoding %s.'
2048
1979
                             ' Continuing with ascii encoding.\n'
2049
1980
                             % user_encoding
2050
1981
                            )
2051
 
        user_encoding = 'ascii'
2052
 
    else:
2053
 
        # Get 'ascii' when setlocale has not been called or LANG=C or unset.
2054
 
        if user_encoding == 'ascii':
2055
 
            if sys.platform == 'darwin':
2056
 
                # OSX is special-cased in Python to have a UTF-8 filesystem
2057
 
                # encoding and previously had LANG set here if not present.
2058
 
                user_encoding = 'utf-8'
2059
 
            # GZ 2011-12-19: Maybe UTF-8 should be the default in this case
2060
 
            #                for some other posix platforms as well.
2061
 
 
2062
 
    _cached_user_encoding = user_encoding
 
1982
            user_encoding = 'ascii'
 
1983
 
 
1984
    if use_cache:
 
1985
        _cached_user_encoding = user_encoding
 
1986
 
2063
1987
    return user_encoding
2064
1988
 
2065
1989
 
2074
1998
    behaves inconsistently on different platforms.
2075
1999
    """
2076
2000
    if sys.platform == "win32":
 
2001
        import win32utils
2077
2002
        return win32utils.get_host_name()
2078
2003
    else:
2079
2004
        import socket
2086
2011
# data at once.
2087
2012
MAX_SOCKET_CHUNK = 64 * 1024
2088
2013
 
2089
 
_end_of_stream_errors = [errno.ECONNRESET, errno.EPIPE, errno.EINVAL]
 
2014
_end_of_stream_errors = [errno.ECONNRESET]
2090
2015
for _eno in ['WSAECONNRESET', 'WSAECONNABORTED']:
2091
2016
    _eno = getattr(errno, _eno, None)
2092
2017
    if _eno is not None:
2158
2083
    while sent_total < byte_count:
2159
2084
        try:
2160
2085
            sent = sock.send(buffer(bytes, sent_total, MAX_SOCKET_CHUNK))
2161
 
        except (socket.error, IOError), e:
2162
 
            if e.args[0] in _end_of_stream_errors:
2163
 
                raise errors.ConnectionReset(
2164
 
                    "Error trying to write to socket", e)
 
2086
        except socket.error, e:
2165
2087
            if e.args[0] != errno.EINTR:
2166
2088
                raise
2167
2089
        else:
2168
 
            if sent == 0:
2169
 
                raise errors.ConnectionReset('Sending to %s returned 0 bytes'
2170
 
                                             % (sock,))
2171
2090
            sent_total += sent
2172
 
            if report_activity is not None:
2173
 
                report_activity(sent, 'write')
 
2091
            report_activity(sent, 'write')
2174
2092
 
2175
2093
 
2176
2094
def connect_socket(address):
2322
2240
 
2323
2241
 
2324
2242
if sys.platform == "win32":
 
2243
    import msvcrt
2325
2244
    def getchar():
2326
 
        import msvcrt
2327
2245
        return msvcrt.getch()
2328
2246
else:
 
2247
    import tty
 
2248
    import termios
2329
2249
    def getchar():
2330
 
        import tty
2331
 
        import termios
2332
2250
        fd = sys.stdin.fileno()
2333
2251
        settings = termios.tcgetattr(fd)
2334
2252
        try:
2383
2301
    if concurrency is None:
2384
2302
        try:
2385
2303
            import multiprocessing
2386
 
            concurrency = multiprocessing.cpu_count()
2387
 
        except (ImportError, NotImplementedError):
 
2304
        except ImportError:
2388
2305
            # multiprocessing is only available on Python >= 2.6
2389
 
            # and multiprocessing.cpu_count() isn't implemented on all
2390
 
            # platforms
2391
2306
            try:
2392
2307
                concurrency = _local_concurrency()
2393
2308
            except (OSError, IOError):
2394
2309
                pass
 
2310
        else:
 
2311
            concurrency = multiprocessing.cpu_count()
2395
2312
    try:
2396
2313
        concurrency = int(concurrency)
2397
2314
    except (TypeError, ValueError):
2459
2376
    open_file = open
2460
2377
 
2461
2378
 
 
2379
def getuser_unicode():
 
2380
    """Return the username as unicode.
 
2381
    """
 
2382
    try:
 
2383
        user_encoding = get_user_encoding()
 
2384
        username = getpass.getuser().decode(user_encoding)
 
2385
    except UnicodeDecodeError:
 
2386
        raise errors.BzrError("Can't decode username as %s." % \
 
2387
                user_encoding)
 
2388
    except ImportError, e:
 
2389
        if sys.platform != 'win32':
 
2390
            raise
 
2391
        if str(e) != 'No module named pwd':
 
2392
            raise
 
2393
        # https://bugs.launchpad.net/bzr/+bug/660174
 
2394
        # getpass.getuser() is unable to return username on Windows
 
2395
        # if there is no USERNAME environment variable set.
 
2396
        # That could be true if bzr is running as a service,
 
2397
        # e.g. running `bzr serve` as a service on Windows.
 
2398
        # We should not fail with traceback in this case.
 
2399
        username = u'UNKNOWN'
 
2400
    return username
 
2401
 
 
2402
 
2462
2403
def available_backup_name(base, exists):
2463
2404
    """Find a non-existing backup file name.
2464
2405
 
2502
2443
    :param name: The base name of the executable.
2503
2444
    :return: The path to the executable found or None.
2504
2445
    """
 
2446
    path = os.environ.get('PATH')
 
2447
    if path is None:
 
2448
        return None
 
2449
    path = path.split(os.pathsep)
2505
2450
    if sys.platform == 'win32':
2506
2451
        exts = os.environ.get('PATHEXT', '').split(os.pathsep)
2507
2452
        exts = [ext.lower() for ext in exts]
2513
2458
            exts = [ext]
2514
2459
    else:
2515
2460
        exts = ['']
2516
 
    path = os.environ.get('PATH')
2517
 
    if path is not None:
2518
 
        path = path.split(os.pathsep)
2519
 
        for ext in exts:
2520
 
            for d in path:
2521
 
                f = os.path.join(d, name) + ext
2522
 
                if os.access(f, os.X_OK):
2523
 
                    return f
2524
 
    if sys.platform == 'win32':
2525
 
        app_path = win32utils.get_app_path(name)
2526
 
        if app_path != name:
2527
 
            return app_path
 
2461
    for ext in exts:
 
2462
        for d in path:
 
2463
            f = os.path.join(d, name) + ext
 
2464
            if os.access(f, os.X_OK):
 
2465
                return f
2528
2466
    return None
2529
2467
 
2530
2468
 
2554
2492
else:
2555
2493
    is_local_pid_dead = _posix_is_local_pid_dead
2556
2494
 
2557
 
_maybe_ignored = ['EAGAIN', 'EINTR', 'ENOTSUP', 'EOPNOTSUPP', 'EACCES']
2558
 
_fdatasync_ignored = [getattr(errno, name) for name in _maybe_ignored
2559
 
                      if getattr(errno, name, None) is not None]
2560
 
 
2561
2495
 
2562
2496
def fdatasync(fileno):
2563
2497
    """Flush file contents to disk if possible.
2567
2501
    """
2568
2502
    fn = getattr(os, 'fdatasync', getattr(os, 'fsync', None))
2569
2503
    if fn is not None:
2570
 
        try:
2571
 
            fn(fileno)
2572
 
        except IOError, e:
2573
 
            # See bug #1075108, on some platforms fdatasync exists, but can
2574
 
            # raise ENOTSUP. However, we are calling fdatasync to be helpful
2575
 
            # and reduce the chance of corruption-on-powerloss situations. It
2576
 
            # is not a mandatory call, so it is ok to suppress failures.
2577
 
            trace.mutter("ignoring error calling fdatasync: %s" % (e,))
2578
 
            if getattr(e, 'errno', None) not in _fdatasync_ignored:
2579
 
                raise
2580
 
 
2581
 
 
2582
 
def ensure_empty_directory_exists(path, exception_class):
2583
 
    """Make sure a local directory exists and is empty.
2584
 
    
2585
 
    If it does not exist, it is created.  If it exists and is not empty, an
2586
 
    instance of exception_class is raised.
2587
 
    """
2588
 
    try:
2589
 
        os.mkdir(path)
2590
 
    except OSError, e:
2591
 
        if e.errno != errno.EEXIST:
2592
 
            raise
2593
 
        if os.listdir(path) != []:
2594
 
            raise exception_class(path)
2595
 
 
2596
 
 
2597
 
def is_environment_error(evalue):
2598
 
    """True if exception instance is due to a process environment issue
2599
 
 
2600
 
    This includes OSError and IOError, but also other errors that come from
2601
 
    the operating system or core libraries but are not subclasses of those.
2602
 
    """
2603
 
    if isinstance(evalue, (EnvironmentError, select.error)):
2604
 
        return True
2605
 
    if sys.platform == "win32" and win32utils._is_pywintypes_error(evalue):
2606
 
        return True
2607
 
    return False
 
2504
        fn(fileno)