~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

Merge bzr.dev, update to use new hooks.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
28
28
import getpass
29
29
import ntpath
30
30
import posixpath
 
31
import select
31
32
# We need to import both shutil and rmtree as we export the later on posix
32
33
# and need the former on windows
33
34
import shutil
42
43
 
43
44
from bzrlib import (
44
45
    cache_utf8,
 
46
    config,
45
47
    errors,
46
48
    trace,
47
49
    win32utils,
48
50
    )
 
51
from bzrlib.i18n import gettext
49
52
""")
50
53
 
51
54
from bzrlib.symbol_versioning import (
53
56
    deprecated_in,
54
57
    )
55
58
 
56
 
# sha and md5 modules are deprecated in python2.6 but hashlib is available as
57
 
# of 2.5
58
 
if sys.version_info < (2, 5):
59
 
    import md5 as _mod_md5
60
 
    md5 = _mod_md5.new
61
 
    import sha as _mod_sha
62
 
    sha = _mod_sha.new
63
 
else:
64
 
    from hashlib import (
65
 
        md5,
66
 
        sha1 as sha,
67
 
        )
 
59
from hashlib import (
 
60
    md5,
 
61
    sha1 as sha,
 
62
    )
68
63
 
69
64
 
70
65
import bzrlib
71
 
from bzrlib import symbol_versioning
 
66
from bzrlib import symbol_versioning, _fs_enc
72
67
 
73
68
 
74
69
# Cross platform wall-clock time functionality with decent resolution.
96
91
        user_encoding = get_user_encoding()
97
92
        return [a.decode(user_encoding) for a in sys.argv[1:]]
98
93
    except UnicodeDecodeError:
99
 
        raise errors.BzrError(("Parameter '%r' is unsupported by the current "
100
 
                                                            "encoding." % a))
 
94
        raise errors.BzrError(gettext("Parameter {0!r} encoding is unsupported by {1} "
 
95
            "application locale.").format(a, user_encoding))
101
96
 
102
97
 
103
98
def make_readonly(filename):
105
100
    mod = os.lstat(filename).st_mode
106
101
    if not stat.S_ISLNK(mod):
107
102
        mod = mod & 0777555
108
 
        os.chmod(filename, mod)
 
103
        chmod_if_possible(filename, mod)
109
104
 
110
105
 
111
106
def make_writable(filename):
112
107
    mod = os.lstat(filename).st_mode
113
108
    if not stat.S_ISLNK(mod):
114
109
        mod = mod | 0200
115
 
        os.chmod(filename, mod)
 
110
        chmod_if_possible(filename, mod)
 
111
 
 
112
 
 
113
def chmod_if_possible(filename, mode):
 
114
    # Set file mode if that can be safely done.
 
115
    # Sometimes even on unix the filesystem won't allow it - see
 
116
    # https://bugs.launchpad.net/bzr/+bug/606537
 
117
    try:
 
118
        # It is probably faster to just do the chmod, rather than
 
119
        # doing a stat, and then trying to compare
 
120
        os.chmod(filename, mode)
 
121
    except (IOError, OSError),e:
 
122
        # Permission/access denied seems to commonly happen on smbfs; there's
 
123
        # probably no point warning about it.
 
124
        # <https://bugs.launchpad.net/bzr/+bug/606537>
 
125
        if getattr(e, 'errno') in (errno.EPERM, errno.EACCES):
 
126
            trace.mutter("ignore error on chmod of %r: %r" % (
 
127
                filename, e))
 
128
            return
 
129
        raise
116
130
 
117
131
 
118
132
def minimum_path_selection(paths):
197
211
            if e.errno == errno.ENOENT:
198
212
                return False;
199
213
            else:
200
 
                raise errors.BzrError("lstat/stat of (%r): %r" % (f, e))
 
214
                raise errors.BzrError(gettext("lstat/stat of ({0!r}): {1!r}").format(f, e))
201
215
 
202
216
 
203
217
def fancy_rename(old, new, rename_func, unlink_func):
269
283
            else:
270
284
                rename_func(tmp_name, new)
271
285
    if failure_exc is not None:
272
 
        raise failure_exc[0], failure_exc[1], failure_exc[2]
 
286
        try:
 
287
            raise failure_exc[0], failure_exc[1], failure_exc[2]
 
288
        finally:
 
289
            del failure_exc
273
290
 
274
291
 
275
292
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
276
293
# choke on a Unicode string containing a relative path if
277
294
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
278
295
# string.
279
 
_fs_enc = sys.getfilesystemencoding() or 'utf-8'
280
296
def _posix_abspath(path):
281
297
    # jam 20060426 rather than encoding to fsencoding
282
298
    # copy posixpath.abspath, but use os.getcwdu instead
283
299
    if not posixpath.isabs(path):
284
300
        path = posixpath.join(getcwd(), path)
285
 
    return posixpath.normpath(path)
 
301
    return _posix_normpath(path)
286
302
 
287
303
 
288
304
def _posix_realpath(path):
289
305
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
290
306
 
291
307
 
 
308
def _posix_normpath(path):
 
309
    path = posixpath.normpath(path)
 
310
    # Bug 861008: posixpath.normpath() returns a path normalized according to
 
311
    # the POSIX standard, which stipulates (for compatibility reasons) that two
 
312
    # leading slashes must not be simplified to one, and only if there are 3 or
 
313
    # more should they be simplified as one. So we treat the leading 2 slashes
 
314
    # as a special case here by simply removing the first slash, as we consider
 
315
    # that breaking POSIX compatibility for this obscure feature is acceptable.
 
316
    # This is not a paranoid precaution, as we notably get paths like this when
 
317
    # the repo is hosted at the root of the filesystem, i.e. in "/".    
 
318
    if path.startswith('//'):
 
319
        path = path[1:]
 
320
    return path
 
321
 
 
322
 
292
323
def _win32_fixdrive(path):
293
324
    """Force drive letters to be consistent.
294
325
 
382
413
abspath = _posix_abspath
383
414
realpath = _posix_realpath
384
415
pathjoin = os.path.join
385
 
normpath = os.path.normpath
 
416
normpath = _posix_normpath
386
417
getcwd = os.getcwdu
387
418
rename = os.rename
388
419
dirname = os.path.dirname
392
423
# These were already lazily imported into local scope
393
424
# mkdtemp = tempfile.mkdtemp
394
425
# rmtree = shutil.rmtree
 
426
lstat = os.lstat
 
427
fstat = os.fstat
 
428
 
 
429
def wrap_stat(st):
 
430
    return st
 
431
 
395
432
 
396
433
MIN_ABS_PATHLENGTH = 1
397
434
 
407
444
    getcwd = _win32_getcwd
408
445
    mkdtemp = _win32_mkdtemp
409
446
    rename = _win32_rename
 
447
    try:
 
448
        from bzrlib import _walkdirs_win32
 
449
    except ImportError:
 
450
        pass
 
451
    else:
 
452
        lstat = _walkdirs_win32.lstat
 
453
        fstat = _walkdirs_win32.fstat
 
454
        wrap_stat = _walkdirs_win32.wrap_stat
410
455
 
411
456
    MIN_ABS_PATHLENGTH = 3
412
457
 
915
960
    rps = []
916
961
    for f in ps:
917
962
        if f == '..':
918
 
            raise errors.BzrError("sorry, %r not allowed in path" % f)
 
963
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
919
964
        elif (f == '.') or (f == ''):
920
965
            pass
921
966
        else:
926
971
def joinpath(p):
927
972
    for f in p:
928
973
        if (f == '..') or (f is None) or (f == ''):
929
 
            raise errors.BzrError("sorry, %r not allowed in path" % f)
 
974
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
930
975
    return pathjoin(*p)
931
976
 
932
977
 
967
1012
    # they tend to happen very early in startup when we can't check config
968
1013
    # files etc, and also we want to report all failures but not spam the user
969
1014
    # with 10 warnings.
970
 
    from bzrlib import trace
971
1015
    exception_str = str(exception)
972
1016
    if exception_str not in _extension_load_failures:
973
1017
        trace.mutter("failed to load compiled extension: %s" % exception_str)
977
1021
def report_extension_load_failures():
978
1022
    if not _extension_load_failures:
979
1023
        return
980
 
    from bzrlib.config import GlobalConfig
981
 
    if GlobalConfig().get_user_option_as_bool('ignore_missing_extensions'):
 
1024
    if config.GlobalStack().get('ignore_missing_extensions'):
982
1025
        return
983
1026
    # the warnings framework should by default show this only once
984
1027
    from bzrlib.trace import warning
1146
1189
 
1147
1190
    if len(base) < MIN_ABS_PATHLENGTH:
1148
1191
        # must have space for e.g. a drive letter
1149
 
        raise ValueError('%r is too short to calculate a relative path'
 
1192
        raise ValueError(gettext('%r is too short to calculate a relative path')
1150
1193
            % (base,))
1151
1194
 
1152
1195
    rp = abspath(path)
1462
1505
    # a similar effect.
1463
1506
 
1464
1507
    # If BZR_COLUMNS is set, take it, user is always right
 
1508
    # Except if they specified 0 in which case, impose no limit here
1465
1509
    try:
1466
 
        return int(os.environ['BZR_COLUMNS'])
 
1510
        width = int(os.environ['BZR_COLUMNS'])
1467
1511
    except (KeyError, ValueError):
1468
 
        pass
 
1512
        width = None
 
1513
    if width is not None:
 
1514
        if width > 0:
 
1515
            return width
 
1516
        else:
 
1517
            return None
1469
1518
 
1470
1519
    isatty = getattr(sys.stdout, 'isatty', None)
1471
1520
    if isatty is None or not isatty():
1721
1770
    """
1722
1771
    global _selected_dir_reader
1723
1772
    if _selected_dir_reader is None:
1724
 
        fs_encoding = _fs_enc.upper()
1725
1773
        if sys.platform == "win32" and win32utils.winver == 'Windows NT':
1726
1774
            # Win98 doesn't have unicode apis like FindFirstFileW
1727
1775
            # TODO: We possibly could support Win98 by falling back to the
1733
1781
                _selected_dir_reader = Win32ReadDir()
1734
1782
            except ImportError:
1735
1783
                pass
1736
 
        elif fs_encoding in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968'):
1737
 
            # ANSI_X3.4-1968 is a form of ASCII
 
1784
        elif _fs_enc in ('utf-8', 'ascii'):
1738
1785
            try:
1739
1786
                from bzrlib._readdir_pyx import UTF8DirReader
1740
1787
                _selected_dir_reader = UTF8DirReader()
1875
1922
        s = os.stat(src)
1876
1923
        chown(dst, s.st_uid, s.st_gid)
1877
1924
    except OSError, e:
1878
 
        trace.warning("Unable to copy ownership from '%s' to '%s': IOError: %s." % (src, dst, e))
 
1925
        trace.warning(
 
1926
            'Unable to copy ownership from "%s" to "%s". '
 
1927
            'You may want to set it manually.', src, dst)
 
1928
        trace.log_exception_quietly()
1879
1929
 
1880
1930
 
1881
1931
def path_prefix_key(path):
1973
2023
    return get_terminal_encoding()
1974
2024
 
1975
2025
 
 
2026
_message_encoding = None
 
2027
 
 
2028
 
 
2029
def get_message_encoding():
 
2030
    """Return the encoding used for messages
 
2031
 
 
2032
    While the message encoding is a general setting it should usually only be
 
2033
    needed for decoding system error strings such as from OSError instances.
 
2034
    """
 
2035
    global _message_encoding
 
2036
    if _message_encoding is None:
 
2037
        if os.name == "posix":
 
2038
            import locale
 
2039
            # This is a process-global setting that can change, but should in
 
2040
            # general just get set once at process startup then be constant.
 
2041
            _message_encoding = locale.getlocale(locale.LC_MESSAGES)[1]
 
2042
        else:
 
2043
            # On windows want the result of GetACP() which this boils down to.
 
2044
            _message_encoding = get_user_encoding()
 
2045
    return _message_encoding or "ascii"
 
2046
        
 
2047
 
1976
2048
def get_host_name():
1977
2049
    """Return the current unicode host name.
1978
2050
 
1993
2065
# data at once.
1994
2066
MAX_SOCKET_CHUNK = 64 * 1024
1995
2067
 
 
2068
_end_of_stream_errors = [errno.ECONNRESET]
 
2069
for _eno in ['WSAECONNRESET', 'WSAECONNABORTED']:
 
2070
    _eno = getattr(errno, _eno, None)
 
2071
    if _eno is not None:
 
2072
        _end_of_stream_errors.append(_eno)
 
2073
del _eno
 
2074
 
 
2075
 
1996
2076
def read_bytes_from_socket(sock, report_activity=None,
1997
2077
        max_read_size=MAX_SOCKET_CHUNK):
1998
2078
    """Read up to max_read_size of bytes from sock and notify of progress.
2006
2086
            bytes = sock.recv(max_read_size)
2007
2087
        except socket.error, e:
2008
2088
            eno = e.args[0]
2009
 
            if eno == getattr(errno, "WSAECONNRESET", errno.ECONNRESET):
 
2089
            if eno in _end_of_stream_errors:
2010
2090
                # The connection was closed by the other side.  Callers expect
2011
2091
                # an empty string to signal end-of-stream.
2012
2092
                return ""
2153
2233
    return file_kind_from_stat_mode(mode)
2154
2234
file_kind_from_stat_mode = file_kind_from_stat_mode_thunk
2155
2235
 
2156
 
 
2157
 
def file_kind(f, _lstat=os.lstat):
 
2236
def file_stat(f, _lstat=os.lstat):
2158
2237
    try:
2159
 
        return file_kind_from_stat_mode(_lstat(f).st_mode)
 
2238
        # XXX cache?
 
2239
        return _lstat(f)
2160
2240
    except OSError, e:
2161
2241
        if getattr(e, 'errno', None) in (errno.ENOENT, errno.ENOTDIR):
2162
2242
            raise errors.NoSuchFile(f)
2163
2243
        raise
2164
2244
 
 
2245
def file_kind(f, _lstat=os.lstat):
 
2246
    stat_value = file_stat(f, _lstat)
 
2247
    return file_kind_from_stat_mode(stat_value.st_mode)
2165
2248
 
2166
2249
def until_no_eintr(f, *a, **kw):
2167
2250
    """Run f(*a, **kw), retrying if an EINTR error occurs.
2227
2310
            termios.tcsetattr(fd, termios.TCSADRAIN, settings)
2228
2311
        return ch
2229
2312
 
2230
 
 
2231
 
if sys.platform == 'linux2':
 
2313
if sys.platform.startswith('linux'):
2232
2314
    def _local_concurrency():
2233
 
        concurrency = None
2234
 
        prefix = 'processor'
2235
 
        for line in file('/proc/cpuinfo', 'rb'):
2236
 
            if line.startswith(prefix):
2237
 
                concurrency = int(line[line.find(':')+1:]) + 1
2238
 
        return concurrency
 
2315
        try:
 
2316
            return os.sysconf('SC_NPROCESSORS_ONLN')
 
2317
        except (ValueError, OSError, AttributeError):
 
2318
            return None
2239
2319
elif sys.platform == 'darwin':
2240
2320
    def _local_concurrency():
2241
2321
        return subprocess.Popen(['sysctl', '-n', 'hw.availcpu'],
2242
2322
                                stdout=subprocess.PIPE).communicate()[0]
2243
 
elif sys.platform[0:7] == 'freebsd':
 
2323
elif "bsd" in sys.platform:
2244
2324
    def _local_concurrency():
2245
2325
        return subprocess.Popen(['sysctl', '-n', 'hw.ncpu'],
2246
2326
                                stdout=subprocess.PIPE).communicate()[0]
2274
2354
    concurrency = os.environ.get('BZR_CONCURRENCY', None)
2275
2355
    if concurrency is None:
2276
2356
        try:
2277
 
            concurrency = _local_concurrency()
2278
 
        except (OSError, IOError):
2279
 
            pass
 
2357
            import multiprocessing
 
2358
            concurrency = multiprocessing.cpu_count()
 
2359
        except (ImportError, NotImplementedError):
 
2360
            # multiprocessing is only available on Python >= 2.6
 
2361
            # and multiprocessing.cpu_count() isn't implemented on all
 
2362
            # platforms
 
2363
            try:
 
2364
                concurrency = _local_concurrency()
 
2365
            except (OSError, IOError):
 
2366
                pass
2280
2367
    try:
2281
2368
        concurrency = int(concurrency)
2282
2369
    except (TypeError, ValueError):
2353
2440
    except UnicodeDecodeError:
2354
2441
        raise errors.BzrError("Can't decode username as %s." % \
2355
2442
                user_encoding)
 
2443
    except ImportError, e:
 
2444
        if sys.platform != 'win32':
 
2445
            raise
 
2446
        if str(e) != 'No module named pwd':
 
2447
            raise
 
2448
        # https://bugs.launchpad.net/bzr/+bug/660174
 
2449
        # getpass.getuser() is unable to return username on Windows
 
2450
        # if there is no USERNAME environment variable set.
 
2451
        # That could be true if bzr is running as a service,
 
2452
        # e.g. running `bzr serve` as a service on Windows.
 
2453
        # We should not fail with traceback in this case.
 
2454
        username = u'UNKNOWN'
2356
2455
    return username
 
2456
 
 
2457
 
 
2458
def available_backup_name(base, exists):
 
2459
    """Find a non-existing backup file name.
 
2460
 
 
2461
    This will *not* create anything, this only return a 'free' entry.  This
 
2462
    should be used for checking names in a directory below a locked
 
2463
    tree/branch/repo to avoid race conditions. This is LBYL (Look Before You
 
2464
    Leap) and generally discouraged.
 
2465
 
 
2466
    :param base: The base name.
 
2467
 
 
2468
    :param exists: A callable returning True if the path parameter exists.
 
2469
    """
 
2470
    counter = 1
 
2471
    name = "%s.~%d~" % (base, counter)
 
2472
    while exists(name):
 
2473
        counter += 1
 
2474
        name = "%s.~%d~" % (base, counter)
 
2475
    return name
 
2476
 
 
2477
 
 
2478
def set_fd_cloexec(fd):
 
2479
    """Set a Unix file descriptor's FD_CLOEXEC flag.  Do nothing if platform
 
2480
    support for this is not available.
 
2481
    """
 
2482
    try:
 
2483
        import fcntl
 
2484
        old = fcntl.fcntl(fd, fcntl.F_GETFD)
 
2485
        fcntl.fcntl(fd, fcntl.F_SETFD, old | fcntl.FD_CLOEXEC)
 
2486
    except (ImportError, AttributeError):
 
2487
        # Either the fcntl module or specific constants are not present
 
2488
        pass
 
2489
 
 
2490
 
 
2491
def find_executable_on_path(name):
 
2492
    """Finds an executable on the PATH.
 
2493
    
 
2494
    On Windows, this will try to append each extension in the PATHEXT
 
2495
    environment variable to the name, if it cannot be found with the name
 
2496
    as given.
 
2497
    
 
2498
    :param name: The base name of the executable.
 
2499
    :return: The path to the executable found or None.
 
2500
    """
 
2501
    path = os.environ.get('PATH')
 
2502
    if path is None:
 
2503
        return None
 
2504
    path = path.split(os.pathsep)
 
2505
    if sys.platform == 'win32':
 
2506
        exts = os.environ.get('PATHEXT', '').split(os.pathsep)
 
2507
        exts = [ext.lower() for ext in exts]
 
2508
        base, ext = os.path.splitext(name)
 
2509
        if ext != '':
 
2510
            if ext.lower() not in exts:
 
2511
                return None
 
2512
            name = base
 
2513
            exts = [ext]
 
2514
    else:
 
2515
        exts = ['']
 
2516
    for ext in exts:
 
2517
        for d in path:
 
2518
            f = os.path.join(d, name) + ext
 
2519
            if os.access(f, os.X_OK):
 
2520
                return f
 
2521
    return None
 
2522
 
 
2523
 
 
2524
def _posix_is_local_pid_dead(pid):
 
2525
    """True if pid doesn't correspond to live process on this machine"""
 
2526
    try:
 
2527
        # Special meaning of unix kill: just check if it's there.
 
2528
        os.kill(pid, 0)
 
2529
    except OSError, e:
 
2530
        if e.errno == errno.ESRCH:
 
2531
            # On this machine, and really not found: as sure as we can be
 
2532
            # that it's dead.
 
2533
            return True
 
2534
        elif e.errno == errno.EPERM:
 
2535
            # exists, though not ours
 
2536
            return False
 
2537
        else:
 
2538
            mutter("os.kill(%d, 0) failed: %s" % (pid, e))
 
2539
            # Don't really know.
 
2540
            return False
 
2541
    else:
 
2542
        # Exists and our process: not dead.
 
2543
        return False
 
2544
 
 
2545
if sys.platform == "win32":
 
2546
    is_local_pid_dead = win32utils.is_local_pid_dead
 
2547
else:
 
2548
    is_local_pid_dead = _posix_is_local_pid_dead
 
2549
 
 
2550
 
 
2551
def fdatasync(fileno):
 
2552
    """Flush file contents to disk if possible.
 
2553
    
 
2554
    :param fileno: Integer OS file handle.
 
2555
    :raises TransportNotPossible: If flushing to disk is not possible.
 
2556
    """
 
2557
    fn = getattr(os, 'fdatasync', getattr(os, 'fsync', None))
 
2558
    if fn is not None:
 
2559
        fn(fileno)
 
2560
 
 
2561
 
 
2562
def ensure_empty_directory_exists(path, exception_class):
 
2563
    """Make sure a local directory exists and is empty.
 
2564
    
 
2565
    If it does not exist, it is created.  If it exists and is not empty, an
 
2566
    instance of exception_class is raised.
 
2567
    """
 
2568
    try:
 
2569
        os.mkdir(path)
 
2570
    except OSError, e:
 
2571
        if e.errno != errno.EEXIST:
 
2572
            raise
 
2573
        if os.listdir(path) != []:
 
2574
            raise exception_class(path)
 
2575
 
 
2576
 
 
2577
def is_environment_error(evalue):
 
2578
    """True if exception instance is due to a process environment issue
 
2579
 
 
2580
    This includes OSError and IOError, but also other errors that come from
 
2581
    the operating system or core libraries but are not subclasses of those.
 
2582
    """
 
2583
    if isinstance(evalue, (EnvironmentError, select.error)):
 
2584
        return True
 
2585
    if sys.platform == "win32" and win32utils._is_pywintypes_error(evalue):
 
2586
        return True
 
2587
    return False