~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Martin
  • Date: 2010-05-03 20:57:39 UTC
  • mto: This revision was merged to the branch mainline in revision 5204.
  • Revision ID: gzlist@googlemail.com-20100503205739-n326zdvevv0rmruh
Retain original stack and error message when translating to ValueError in bencode

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
from __future__ import absolute_import
18
 
 
19
 
import errno
20
17
import os
21
18
import re
22
19
import stat
 
20
from stat import S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE
23
21
import sys
24
22
import time
25
23
import codecs
27
25
from bzrlib.lazy_import import lazy_import
28
26
lazy_import(globals(), """
29
27
from datetime import datetime
30
 
import getpass
31
 
import locale
32
 
import ntpath
 
28
import errno
 
29
from ntpath import (abspath as _nt_abspath,
 
30
                    join as _nt_join,
 
31
                    normpath as _nt_normpath,
 
32
                    realpath as _nt_realpath,
 
33
                    splitdrive as _nt_splitdrive,
 
34
                    )
33
35
import posixpath
34
 
import select
35
 
# We need to import both shutil and rmtree as we export the later on posix
36
 
# and need the former on windows
37
36
import shutil
38
 
from shutil import rmtree
 
37
from shutil import (
 
38
    rmtree,
 
39
    )
39
40
import socket
40
41
import subprocess
41
 
# We need to import both tempfile and mkdtemp as we export the later on posix
42
 
# and need the former on windows
43
42
import tempfile
44
 
from tempfile import mkdtemp
 
43
from tempfile import (
 
44
    mkdtemp,
 
45
    )
45
46
import unicodedata
46
47
 
47
48
from bzrlib import (
48
49
    cache_utf8,
49
 
    config,
50
50
    errors,
51
51
    trace,
52
52
    win32utils,
53
53
    )
54
 
from bzrlib.i18n import gettext
55
54
""")
56
55
 
57
56
from bzrlib.symbol_versioning import (
58
 
    DEPRECATED_PARAMETER,
59
57
    deprecated_function,
60
58
    deprecated_in,
61
 
    deprecated_passed,
62
 
    warn as warn_deprecated,
63
59
    )
64
60
 
65
 
from hashlib import (
66
 
    md5,
67
 
    sha1 as sha,
68
 
    )
 
61
# sha and md5 modules are deprecated in python2.6 but hashlib is available as
 
62
# of 2.5
 
63
if sys.version_info < (2, 5):
 
64
    import md5 as _mod_md5
 
65
    md5 = _mod_md5.new
 
66
    import sha as _mod_sha
 
67
    sha = _mod_sha.new
 
68
else:
 
69
    from hashlib import (
 
70
        md5,
 
71
        sha1 as sha,
 
72
        )
69
73
 
70
74
 
71
75
import bzrlib
72
 
from bzrlib import symbol_versioning, _fs_enc
 
76
from bzrlib import symbol_versioning
73
77
 
74
78
 
75
79
# Cross platform wall-clock time functionality with decent resolution.
97
101
        user_encoding = get_user_encoding()
98
102
        return [a.decode(user_encoding) for a in sys.argv[1:]]
99
103
    except UnicodeDecodeError:
100
 
        raise errors.BzrError(gettext("Parameter {0!r} encoding is unsupported by {1} "
101
 
            "application locale.").format(a, user_encoding))
 
104
        raise errors.BzrError(("Parameter '%r' is unsupported by the current "
 
105
                                                            "encoding." % a))
102
106
 
103
107
 
104
108
def make_readonly(filename):
106
110
    mod = os.lstat(filename).st_mode
107
111
    if not stat.S_ISLNK(mod):
108
112
        mod = mod & 0777555
109
 
        chmod_if_possible(filename, mod)
 
113
        os.chmod(filename, mod)
110
114
 
111
115
 
112
116
def make_writable(filename):
113
117
    mod = os.lstat(filename).st_mode
114
118
    if not stat.S_ISLNK(mod):
115
119
        mod = mod | 0200
116
 
        chmod_if_possible(filename, mod)
117
 
 
118
 
 
119
 
def chmod_if_possible(filename, mode):
120
 
    # Set file mode if that can be safely done.
121
 
    # Sometimes even on unix the filesystem won't allow it - see
122
 
    # https://bugs.launchpad.net/bzr/+bug/606537
123
 
    try:
124
 
        # It is probably faster to just do the chmod, rather than
125
 
        # doing a stat, and then trying to compare
126
 
        os.chmod(filename, mode)
127
 
    except (IOError, OSError),e:
128
 
        # Permission/access denied seems to commonly happen on smbfs; there's
129
 
        # probably no point warning about it.
130
 
        # <https://bugs.launchpad.net/bzr/+bug/606537>
131
 
        if getattr(e, 'errno') in (errno.EPERM, errno.EACCES):
132
 
            trace.mutter("ignore error on chmod of %r: %r" % (
133
 
                filename, e))
134
 
            return
135
 
        raise
 
120
        os.chmod(filename, mod)
136
121
 
137
122
 
138
123
def minimum_path_selection(paths):
217
202
            if e.errno == errno.ENOENT:
218
203
                return False;
219
204
            else:
220
 
                raise errors.BzrError(gettext("lstat/stat of ({0!r}): {1!r}").format(f, e))
 
205
                raise errors.BzrError("lstat/stat of (%r): %r" % (f, e))
221
206
 
222
207
 
223
208
def fancy_rename(old, new, rename_func, unlink_func):
289
274
            else:
290
275
                rename_func(tmp_name, new)
291
276
    if failure_exc is not None:
292
 
        try:
293
 
            raise failure_exc[0], failure_exc[1], failure_exc[2]
294
 
        finally:
295
 
            del failure_exc
 
277
        raise failure_exc[0], failure_exc[1], failure_exc[2]
296
278
 
297
279
 
298
280
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
299
281
# choke on a Unicode string containing a relative path if
300
282
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
301
283
# string.
 
284
_fs_enc = sys.getfilesystemencoding() or 'utf-8'
302
285
def _posix_abspath(path):
303
286
    # jam 20060426 rather than encoding to fsencoding
304
287
    # copy posixpath.abspath, but use os.getcwdu instead
305
288
    if not posixpath.isabs(path):
306
289
        path = posixpath.join(getcwd(), path)
307
 
    return _posix_normpath(path)
 
290
    return posixpath.normpath(path)
308
291
 
309
292
 
310
293
def _posix_realpath(path):
311
294
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
312
295
 
313
296
 
314
 
def _posix_normpath(path):
315
 
    path = posixpath.normpath(path)
316
 
    # Bug 861008: posixpath.normpath() returns a path normalized according to
317
 
    # the POSIX standard, which stipulates (for compatibility reasons) that two
318
 
    # leading slashes must not be simplified to one, and only if there are 3 or
319
 
    # more should they be simplified as one. So we treat the leading 2 slashes
320
 
    # as a special case here by simply removing the first slash, as we consider
321
 
    # that breaking POSIX compatibility for this obscure feature is acceptable.
322
 
    # This is not a paranoid precaution, as we notably get paths like this when
323
 
    # the repo is hosted at the root of the filesystem, i.e. in "/".    
324
 
    if path.startswith('//'):
325
 
        path = path[1:]
326
 
    return path
327
 
 
328
 
 
329
 
def _posix_path_from_environ(key):
330
 
    """Get unicode path from `key` in environment or None if not present
331
 
 
332
 
    Note that posix systems use arbitrary byte strings for filesystem objects,
333
 
    so a path that raises BadFilenameEncoding here may still be accessible.
334
 
    """
335
 
    val = os.environ.get(key, None)
336
 
    if val is None:
337
 
        return val
338
 
    try:
339
 
        return val.decode(_fs_enc)
340
 
    except UnicodeDecodeError:
341
 
        # GZ 2011-12-12:Ideally want to include `key` in the exception message
342
 
        raise errors.BadFilenameEncoding(val, _fs_enc)
343
 
 
344
 
 
345
 
def _posix_get_home_dir():
346
 
    """Get the home directory of the current user as a unicode path"""
347
 
    path = posixpath.expanduser("~")
348
 
    try:
349
 
        return path.decode(_fs_enc)
350
 
    except UnicodeDecodeError:
351
 
        raise errors.BadFilenameEncoding(path, _fs_enc)
352
 
 
353
 
 
354
 
def _posix_getuser_unicode():
355
 
    """Get username from environment or password database as unicode"""
356
 
    name = getpass.getuser()
357
 
    user_encoding = get_user_encoding()
358
 
    try:
359
 
        return name.decode(user_encoding)
360
 
    except UnicodeDecodeError:
361
 
        raise errors.BzrError("Encoding of username %r is unsupported by %s "
362
 
            "application locale." % (name, user_encoding))
363
 
 
364
 
 
365
297
def _win32_fixdrive(path):
366
298
    """Force drive letters to be consistent.
367
299
 
371
303
    running python.exe under cmd.exe return capital C:\\
372
304
    running win32 python inside a cygwin shell returns lowercase c:\\
373
305
    """
374
 
    drive, path = ntpath.splitdrive(path)
 
306
    drive, path = _nt_splitdrive(path)
375
307
    return drive.upper() + path
376
308
 
377
309
 
378
310
def _win32_abspath(path):
379
 
    # Real ntpath.abspath doesn't have a problem with a unicode cwd
380
 
    return _win32_fixdrive(ntpath.abspath(unicode(path)).replace('\\', '/'))
 
311
    # Real _nt_abspath doesn't have a problem with a unicode cwd
 
312
    return _win32_fixdrive(_nt_abspath(unicode(path)).replace('\\', '/'))
381
313
 
382
314
 
383
315
def _win98_abspath(path):
394
326
    #   /path       => C:/path
395
327
    path = unicode(path)
396
328
    # check for absolute path
397
 
    drive = ntpath.splitdrive(path)[0]
 
329
    drive = _nt_splitdrive(path)[0]
398
330
    if drive == '' and path[:2] not in('//','\\\\'):
399
331
        cwd = os.getcwdu()
400
332
        # we cannot simply os.path.join cwd and path
401
333
        # because os.path.join('C:','/path') produce '/path'
402
334
        # and this is incorrect
403
335
        if path[:1] in ('/','\\'):
404
 
            cwd = ntpath.splitdrive(cwd)[0]
 
336
            cwd = _nt_splitdrive(cwd)[0]
405
337
            path = path[1:]
406
338
        path = cwd + '\\' + path
407
 
    return _win32_fixdrive(ntpath.normpath(path).replace('\\', '/'))
 
339
    return _win32_fixdrive(_nt_normpath(path).replace('\\', '/'))
408
340
 
409
341
 
410
342
def _win32_realpath(path):
411
 
    # Real ntpath.realpath doesn't have a problem with a unicode cwd
412
 
    return _win32_fixdrive(ntpath.realpath(unicode(path)).replace('\\', '/'))
 
343
    # Real _nt_realpath doesn't have a problem with a unicode cwd
 
344
    return _win32_fixdrive(_nt_realpath(unicode(path)).replace('\\', '/'))
413
345
 
414
346
 
415
347
def _win32_pathjoin(*args):
416
 
    return ntpath.join(*args).replace('\\', '/')
 
348
    return _nt_join(*args).replace('\\', '/')
417
349
 
418
350
 
419
351
def _win32_normpath(path):
420
 
    return _win32_fixdrive(ntpath.normpath(unicode(path)).replace('\\', '/'))
 
352
    return _win32_fixdrive(_nt_normpath(unicode(path)).replace('\\', '/'))
421
353
 
422
354
 
423
355
def _win32_getcwd():
428
360
    return _win32_fixdrive(tempfile.mkdtemp(*args, **kwargs).replace('\\', '/'))
429
361
 
430
362
 
 
363
def _add_rename_error_details(e, old, new):
 
364
    new_e = OSError(e.errno, "failed to rename %s to %s: %s"
 
365
        % (old, new, e.strerror))
 
366
    new_e.filename = old
 
367
    new_e.to_filename = new
 
368
    return new_e
 
369
 
 
370
 
431
371
def _win32_rename(old, new):
432
372
    """We expect to be able to atomically replace 'new' with old.
433
373
 
435
375
    and then deleted.
436
376
    """
437
377
    try:
438
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
 
378
        fancy_rename(old, new, rename_func=_wrapped_rename, unlink_func=os.unlink)
439
379
    except OSError, e:
440
380
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
441
381
            # If we try to rename a non-existant file onto cwd, we get
446
386
        raise
447
387
 
448
388
 
 
389
def _wrapped_rename(old, new):
 
390
    """Rename a file or directory"""
 
391
    try:
 
392
        os.rename(old, new)
 
393
    except (IOError, OSError), e:
 
394
        # this is eventually called by all rename-like functions, so should 
 
395
        # catch all of them
 
396
        raise _add_rename_error_details(e, old, new)
 
397
 
 
398
 
449
399
def _mac_getcwd():
450
400
    return unicodedata.normalize('NFC', os.getcwdu())
451
401
 
452
402
 
453
 
def _rename_wrap_exception(rename_func):
454
 
    """Adds extra information to any exceptions that come from rename().
455
 
 
456
 
    The exception has an updated message and 'old_filename' and 'new_filename'
457
 
    attributes.
458
 
    """
459
 
 
460
 
    def _rename_wrapper(old, new):
461
 
        try:
462
 
            rename_func(old, new)
463
 
        except OSError, e:
464
 
            detailed_error = OSError(e.errno, e.strerror +
465
 
                                " [occurred when renaming '%s' to '%s']" %
466
 
                                (old, new))
467
 
            detailed_error.old_filename = old
468
 
            detailed_error.new_filename = new
469
 
            raise detailed_error
470
 
 
471
 
    return _rename_wrapper
472
 
 
473
 
# Default rename wraps os.rename()
474
 
rename = _rename_wrap_exception(os.rename)
475
 
 
476
403
# Default is to just use the python builtins, but these can be rebound on
477
404
# particular platforms.
478
405
abspath = _posix_abspath
479
406
realpath = _posix_realpath
480
407
pathjoin = os.path.join
481
 
normpath = _posix_normpath
482
 
path_from_environ = _posix_path_from_environ
483
 
_get_home_dir = _posix_get_home_dir
484
 
getuser_unicode = _posix_getuser_unicode
 
408
normpath = os.path.normpath
 
409
rename = _wrapped_rename # overridden below on win32
485
410
getcwd = os.getcwdu
486
411
dirname = os.path.dirname
487
412
basename = os.path.basename
488
413
split = os.path.split
489
414
splitext = os.path.splitext
490
 
# These were already lazily imported into local scope
 
415
# These were already imported into local scope
491
416
# mkdtemp = tempfile.mkdtemp
492
417
# rmtree = shutil.rmtree
493
 
lstat = os.lstat
494
 
fstat = os.fstat
495
 
 
496
 
def wrap_stat(st):
497
 
    return st
498
 
 
499
418
 
500
419
MIN_ABS_PATHLENGTH = 1
501
420
 
510
429
    normpath = _win32_normpath
511
430
    getcwd = _win32_getcwd
512
431
    mkdtemp = _win32_mkdtemp
513
 
    rename = _rename_wrap_exception(_win32_rename)
514
 
    try:
515
 
        from bzrlib import _walkdirs_win32
516
 
    except ImportError:
517
 
        pass
518
 
    else:
519
 
        lstat = _walkdirs_win32.lstat
520
 
        fstat = _walkdirs_win32.fstat
521
 
        wrap_stat = _walkdirs_win32.wrap_stat
 
432
    rename = _win32_rename
522
433
 
523
434
    MIN_ABS_PATHLENGTH = 3
524
435
 
542
453
    f = win32utils.get_unicode_argv     # special function or None
543
454
    if f is not None:
544
455
        get_unicode_argv = f
545
 
    path_from_environ = win32utils.get_environ_unicode
546
 
    _get_home_dir = win32utils.get_home_location
547
 
    getuser_unicode = win32utils.get_user_name
548
456
 
549
457
elif sys.platform == 'darwin':
550
458
    getcwd = _mac_getcwd
551
459
 
552
460
 
553
 
def get_terminal_encoding(trace=False):
 
461
def get_terminal_encoding():
554
462
    """Find the best encoding for printing to the screen.
555
463
 
556
464
    This attempts to check both sys.stdout and sys.stdin to see
562
470
 
563
471
    On my standard US Windows XP, the preferred encoding is
564
472
    cp1252, but the console is cp437
565
 
 
566
 
    :param trace: If True trace the selected encoding via mutter().
567
473
    """
568
474
    from bzrlib.trace import mutter
569
475
    output_encoding = getattr(sys.stdout, 'encoding', None)
571
477
        input_encoding = getattr(sys.stdin, 'encoding', None)
572
478
        if not input_encoding:
573
479
            output_encoding = get_user_encoding()
574
 
            if trace:
575
 
                mutter('encoding stdout as osutils.get_user_encoding() %r',
 
480
            mutter('encoding stdout as osutils.get_user_encoding() %r',
576
481
                   output_encoding)
577
482
        else:
578
483
            output_encoding = input_encoding
579
 
            if trace:
580
 
                mutter('encoding stdout as sys.stdin encoding %r',
581
 
                    output_encoding)
 
484
            mutter('encoding stdout as sys.stdin encoding %r', output_encoding)
582
485
    else:
583
 
        if trace:
584
 
            mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
 
486
        mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
585
487
    if output_encoding == 'cp0':
586
488
        # invalid encoding (cp0 means 'no codepage' on Windows)
587
489
        output_encoding = get_user_encoding()
588
 
        if trace:
589
 
            mutter('cp0 is invalid encoding.'
 
490
        mutter('cp0 is invalid encoding.'
590
491
               ' encoding stdout as osutils.get_user_encoding() %r',
591
492
               output_encoding)
592
493
    # check encoding
618
519
def isdir(f):
619
520
    """True if f is an accessible directory."""
620
521
    try:
621
 
        return stat.S_ISDIR(os.lstat(f)[stat.ST_MODE])
 
522
        return S_ISDIR(os.lstat(f)[ST_MODE])
622
523
    except OSError:
623
524
        return False
624
525
 
626
527
def isfile(f):
627
528
    """True if f is a regular file."""
628
529
    try:
629
 
        return stat.S_ISREG(os.lstat(f)[stat.ST_MODE])
 
530
        return S_ISREG(os.lstat(f)[ST_MODE])
630
531
    except OSError:
631
532
        return False
632
533
 
633
534
def islink(f):
634
535
    """True if f is a symlink."""
635
536
    try:
636
 
        return stat.S_ISLNK(os.lstat(f)[stat.ST_MODE])
 
537
        return S_ISLNK(os.lstat(f)[ST_MODE])
637
538
    except OSError:
638
539
        return False
639
540
 
979
880
 
980
881
def filesize(f):
981
882
    """Return size of given open file."""
982
 
    return os.fstat(f.fileno())[stat.ST_SIZE]
983
 
 
984
 
 
985
 
# Alias os.urandom to support platforms (which?) without /dev/urandom and 
986
 
# override if it doesn't work. Avoid checking on windows where there is
987
 
# significant initialisation cost that can be avoided for some bzr calls.
988
 
 
989
 
rand_bytes = os.urandom
990
 
 
991
 
if rand_bytes.__module__ != "nt":
 
883
    return os.fstat(f.fileno())[ST_SIZE]
 
884
 
 
885
 
 
886
# Define rand_bytes based on platform.
 
887
try:
 
888
    # Python 2.4 and later have os.urandom,
 
889
    # but it doesn't work on some arches
 
890
    os.urandom(1)
 
891
    rand_bytes = os.urandom
 
892
except (NotImplementedError, AttributeError):
 
893
    # If python doesn't have os.urandom, or it doesn't work,
 
894
    # then try to first pull random data from /dev/urandom
992
895
    try:
993
 
        rand_bytes(1)
994
 
    except NotImplementedError:
 
896
        rand_bytes = file('/dev/urandom', 'rb').read
 
897
    # Otherwise, use this hack as a last resort
 
898
    except (IOError, OSError):
995
899
        # not well seeded, but better than nothing
996
900
        def rand_bytes(n):
997
901
            import random
1027
931
    rps = []
1028
932
    for f in ps:
1029
933
        if f == '..':
1030
 
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
 
934
            raise errors.BzrError("sorry, %r not allowed in path" % f)
1031
935
        elif (f == '.') or (f == ''):
1032
936
            pass
1033
937
        else:
1038
942
def joinpath(p):
1039
943
    for f in p:
1040
944
        if (f == '..') or (f is None) or (f == ''):
1041
 
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
 
945
            raise errors.BzrError("sorry, %r not allowed in path" % f)
1042
946
    return pathjoin(*p)
1043
947
 
1044
948
 
1045
949
def parent_directories(filename):
1046
950
    """Return the list of parent directories, deepest first.
1047
 
 
 
951
    
1048
952
    For example, parent_directories("a/b/c") -> ["a/b", "a"].
1049
953
    """
1050
954
    parents = []
1074
978
    # NB: This docstring is just an example, not a doctest, because doctest
1075
979
    # currently can't cope with the use of lazy imports in this namespace --
1076
980
    # mbp 20090729
1077
 
 
 
981
    
1078
982
    # This currently doesn't report the failure at the time it occurs, because
1079
983
    # they tend to happen very early in startup when we can't check config
1080
984
    # files etc, and also we want to report all failures but not spam the user
1081
985
    # with 10 warnings.
 
986
    from bzrlib import trace
1082
987
    exception_str = str(exception)
1083
988
    if exception_str not in _extension_load_failures:
1084
989
        trace.mutter("failed to load compiled extension: %s" % exception_str)
1088
993
def report_extension_load_failures():
1089
994
    if not _extension_load_failures:
1090
995
        return
1091
 
    if config.GlobalStack().get('ignore_missing_extensions'):
 
996
    from bzrlib.config import GlobalConfig
 
997
    if GlobalConfig().get_user_option_as_bool('ignore_missing_extensions'):
1092
998
        return
1093
999
    # the warnings framework should by default show this only once
1094
1000
    from bzrlib.trace import warning
1148
1054
 
1149
1055
 
1150
1056
def delete_any(path):
1151
 
    """Delete a file, symlink or directory.
1152
 
 
 
1057
    """Delete a file, symlink or directory.  
 
1058
    
1153
1059
    Will delete even if readonly.
1154
1060
    """
1155
1061
    try:
1256
1162
 
1257
1163
    if len(base) < MIN_ABS_PATHLENGTH:
1258
1164
        # must have space for e.g. a drive letter
1259
 
        raise ValueError(gettext('%r is too short to calculate a relative path')
 
1165
        raise ValueError('%r is too short to calculate a relative path'
1260
1166
            % (base,))
1261
1167
 
1262
1168
    rp = abspath(path)
1344
1250
    # but for now, we haven't optimized...
1345
1251
    return [canonical_relpath(base, p) for p in paths]
1346
1252
 
1347
 
 
1348
 
def decode_filename(filename):
1349
 
    """Decode the filename using the filesystem encoding
1350
 
 
1351
 
    If it is unicode, it is returned.
1352
 
    Otherwise it is decoded from the the filesystem's encoding. If decoding
1353
 
    fails, a errors.BadFilenameEncoding exception is raised.
1354
 
    """
1355
 
    if type(filename) is unicode:
1356
 
        return filename
1357
 
    try:
1358
 
        return filename.decode(_fs_enc)
1359
 
    except UnicodeDecodeError:
1360
 
        raise errors.BadFilenameEncoding(filename, _fs_enc)
1361
 
 
1362
 
 
1363
1253
def safe_unicode(unicode_or_utf8_string):
1364
1254
    """Coerce unicode_or_utf8_string into unicode.
1365
1255
 
1448
1338
def normalizes_filenames():
1449
1339
    """Return True if this platform normalizes unicode filenames.
1450
1340
 
1451
 
    Only Mac OSX.
 
1341
    Mac OSX does, Windows/Linux do not.
1452
1342
    """
1453
1343
    return _platform_normalizes_filenames
1454
1344
 
1459
1349
    On platforms where the system normalizes filenames (Mac OSX),
1460
1350
    you can access a file by any path which will normalize correctly.
1461
1351
    On platforms where the system does not normalize filenames
1462
 
    (everything else), you have to access a file by its exact path.
 
1352
    (Windows, Linux), you have to access a file by its exact path.
1463
1353
 
1464
1354
    Internally, bzr only supports NFC normalization, since that is
1465
1355
    the standard for XML documents.
1527
1417
terminal_width() returns None.
1528
1418
"""
1529
1419
 
1530
 
# Keep some state so that terminal_width can detect if _terminal_size has
1531
 
# returned a different size since the process started.  See docstring and
1532
 
# comments of terminal_width for details.
1533
 
# _terminal_size_state has 3 possible values: no_data, unchanged, and changed.
1534
 
_terminal_size_state = 'no_data'
1535
 
_first_terminal_size = None
1536
1420
 
1537
1421
def terminal_width():
1538
1422
    """Return terminal width.
1542
1426
    The rules are:
1543
1427
    - if BZR_COLUMNS is set, returns its value
1544
1428
    - if there is no controlling terminal, returns None
1545
 
    - query the OS, if the queried size has changed since the last query,
1546
 
      return its value,
1547
1429
    - if COLUMNS is set, returns its value,
1548
 
    - if the OS has a value (even though it's never changed), return its value.
1549
1430
 
1550
1431
    From there, we need to query the OS to get the size of the controlling
1551
1432
    terminal.
1552
1433
 
1553
 
    On Unices we query the OS by:
 
1434
    Unices:
1554
1435
    - get termios.TIOCGWINSZ
1555
1436
    - if an error occurs or a negative value is obtained, returns None
1556
1437
 
1557
 
    On Windows we query the OS by:
 
1438
    Windows:
 
1439
    
1558
1440
    - win32utils.get_console_size() decides,
1559
1441
    - returns None on error (provided default value)
1560
1442
    """
1561
 
    # Note to implementors: if changing the rules for determining the width,
1562
 
    # make sure you've considered the behaviour in these cases:
1563
 
    #  - M-x shell in emacs, where $COLUMNS is set and TIOCGWINSZ returns 0,0.
1564
 
    #  - bzr log | less, in bash, where $COLUMNS not set and TIOCGWINSZ returns
1565
 
    #    0,0.
1566
 
    #  - (add more interesting cases here, if you find any)
1567
 
    # Some programs implement "Use $COLUMNS (if set) until SIGWINCH occurs",
1568
 
    # but we don't want to register a signal handler because it is impossible
1569
 
    # to do so without risking EINTR errors in Python <= 2.6.5 (see
1570
 
    # <http://bugs.python.org/issue8354>).  Instead we check TIOCGWINSZ every
1571
 
    # time so we can notice if the reported size has changed, which should have
1572
 
    # a similar effect.
1573
1443
 
1574
1444
    # If BZR_COLUMNS is set, take it, user is always right
1575
 
    # Except if they specified 0 in which case, impose no limit here
1576
1445
    try:
1577
 
        width = int(os.environ['BZR_COLUMNS'])
 
1446
        return int(os.environ['BZR_COLUMNS'])
1578
1447
    except (KeyError, ValueError):
1579
 
        width = None
1580
 
    if width is not None:
1581
 
        if width > 0:
1582
 
            return width
1583
 
        else:
1584
 
            return None
 
1448
        pass
1585
1449
 
1586
1450
    isatty = getattr(sys.stdout, 'isatty', None)
1587
 
    if isatty is None or not isatty():
 
1451
    if  isatty is None or not isatty():
1588
1452
        # Don't guess, setting BZR_COLUMNS is the recommended way to override.
1589
1453
        return None
1590
1454
 
1591
 
    # Query the OS
1592
 
    width, height = os_size = _terminal_size(None, None)
1593
 
    global _first_terminal_size, _terminal_size_state
1594
 
    if _terminal_size_state == 'no_data':
1595
 
        _first_terminal_size = os_size
1596
 
        _terminal_size_state = 'unchanged'
1597
 
    elif (_terminal_size_state == 'unchanged' and
1598
 
          _first_terminal_size != os_size):
1599
 
        _terminal_size_state = 'changed'
1600
 
 
1601
 
    # If the OS claims to know how wide the terminal is, and this value has
1602
 
    # ever changed, use that.
1603
 
    if _terminal_size_state == 'changed':
1604
 
        if width is not None and width > 0:
1605
 
            return width
1606
 
 
1607
 
    # If COLUMNS is set, use it.
 
1455
    # If COLUMNS is set, take it, the terminal knows better (even inside a
 
1456
    # given terminal, the application can decide to set COLUMNS to a lower
 
1457
    # value (splitted screen) or a bigger value (scroll bars))
1608
1458
    try:
1609
1459
        return int(os.environ['COLUMNS'])
1610
1460
    except (KeyError, ValueError):
1611
1461
        pass
1612
1462
 
1613
 
    # Finally, use an unchanged size from the OS, if we have one.
1614
 
    if _terminal_size_state == 'unchanged':
1615
 
        if width is not None and width > 0:
1616
 
            return width
 
1463
    width, height = _terminal_size(None, None)
 
1464
    if width <= 0:
 
1465
        # Consider invalid values as meaning no width
 
1466
        return None
1617
1467
 
1618
 
    # The width could not be determined.
1619
 
    return None
 
1468
    return width
1620
1469
 
1621
1470
 
1622
1471
def _win32_terminal_size(width, height):
1649
1498
    _terminal_size = _ioctl_terminal_size
1650
1499
 
1651
1500
 
 
1501
def _terminal_size_changed(signum, frame):
 
1502
    """Set COLUMNS upon receiving a SIGnal for WINdow size CHange."""
 
1503
    width, height = _terminal_size(None, None)
 
1504
    if width is not None:
 
1505
        os.environ['COLUMNS'] = str(width)
 
1506
 
 
1507
 
 
1508
_registered_sigwinch = False
 
1509
def watch_sigwinch():
 
1510
    """Register for SIGWINCH, once and only once.
 
1511
 
 
1512
    Do nothing if the signal module is not available.
 
1513
    """
 
1514
    global _registered_sigwinch
 
1515
    if not _registered_sigwinch:
 
1516
        try:
 
1517
            import signal
 
1518
            if getattr(signal, "SIGWINCH", None) is not None:
 
1519
                set_signal_handler(signal.SIGWINCH, _terminal_size_changed)
 
1520
        except ImportError:
 
1521
            # python doesn't provide signal support, nothing we can do about it
 
1522
            pass
 
1523
        _registered_sigwinch = True
 
1524
 
 
1525
 
1652
1526
def supports_executable():
1653
1527
    return sys.platform != "win32"
1654
1528
 
1777
1651
        dirblock = []
1778
1652
        append = dirblock.append
1779
1653
        try:
1780
 
            names = sorted(map(decode_filename, _listdir(top)))
 
1654
            names = sorted(_listdir(top))
1781
1655
        except OSError, e:
1782
1656
            if not _is_error_enotdir(e):
1783
1657
                raise
1837
1711
    """
1838
1712
    global _selected_dir_reader
1839
1713
    if _selected_dir_reader is None:
 
1714
        fs_encoding = _fs_enc.upper()
1840
1715
        if sys.platform == "win32" and win32utils.winver == 'Windows NT':
1841
1716
            # Win98 doesn't have unicode apis like FindFirstFileW
1842
1717
            # TODO: We possibly could support Win98 by falling back to the
1848
1723
                _selected_dir_reader = Win32ReadDir()
1849
1724
            except ImportError:
1850
1725
                pass
1851
 
        elif _fs_enc in ('utf-8', 'ascii'):
 
1726
        elif fs_encoding in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968'):
 
1727
            # ANSI_X3.4-1968 is a form of ASCII
1852
1728
            try:
1853
1729
                from bzrlib._readdir_pyx import UTF8DirReader
1854
1730
                _selected_dir_reader = UTF8DirReader()
1989
1865
        s = os.stat(src)
1990
1866
        chown(dst, s.st_uid, s.st_gid)
1991
1867
    except OSError, e:
1992
 
        trace.warning(
1993
 
            'Unable to copy ownership from "%s" to "%s". '
1994
 
            'You may want to set it manually.', src, dst)
1995
 
        trace.log_exception_quietly()
 
1868
        trace.warning("Unable to copy ownership from '%s' to '%s': IOError: %s." % (src, dst, e))
1996
1869
 
1997
1870
 
1998
1871
def path_prefix_key(path):
2013
1886
_cached_user_encoding = None
2014
1887
 
2015
1888
 
2016
 
def get_user_encoding(use_cache=DEPRECATED_PARAMETER):
 
1889
def get_user_encoding(use_cache=True):
2017
1890
    """Find out what the preferred user encoding is.
2018
1891
 
2019
1892
    This is generally the encoding that is used for command line parameters
2020
1893
    and file contents. This may be different from the terminal encoding
2021
1894
    or the filesystem encoding.
2022
1895
 
 
1896
    :param  use_cache:  Enable cache for detected encoding.
 
1897
                        (This parameter is turned on by default,
 
1898
                        and required only for selftesting)
 
1899
 
2023
1900
    :return: A string defining the preferred user encoding
2024
1901
    """
2025
1902
    global _cached_user_encoding
2026
 
    if deprecated_passed(use_cache):
2027
 
        warn_deprecated("use_cache should only have been used for tests",
2028
 
            DeprecationWarning, stacklevel=2) 
2029
 
    if _cached_user_encoding is not None:
 
1903
    if _cached_user_encoding is not None and use_cache:
2030
1904
        return _cached_user_encoding
2031
1905
 
2032
 
    if os.name == 'posix' and getattr(locale, 'CODESET', None) is not None:
2033
 
        # Use the existing locale settings and call nl_langinfo directly
2034
 
        # rather than going through getpreferredencoding. This avoids
2035
 
        # <http://bugs.python.org/issue6202> on OSX Python 2.6 and the
2036
 
        # possibility of the setlocale call throwing an error.
2037
 
        user_encoding = locale.nl_langinfo(locale.CODESET)
 
1906
    if sys.platform == 'darwin':
 
1907
        # python locale.getpreferredencoding() always return
 
1908
        # 'mac-roman' on darwin. That's a lie.
 
1909
        sys.platform = 'posix'
 
1910
        try:
 
1911
            if os.environ.get('LANG', None) is None:
 
1912
                # If LANG is not set, we end up with 'ascii', which is bad
 
1913
                # ('mac-roman' is more than ascii), so we set a default which
 
1914
                # will give us UTF-8 (which appears to work in all cases on
 
1915
                # OSX). Users are still free to override LANG of course, as
 
1916
                # long as it give us something meaningful. This work-around
 
1917
                # *may* not be needed with python 3k and/or OSX 10.5, but will
 
1918
                # work with them too -- vila 20080908
 
1919
                os.environ['LANG'] = 'en_US.UTF-8'
 
1920
            import locale
 
1921
        finally:
 
1922
            sys.platform = 'darwin'
2038
1923
    else:
2039
 
        # GZ 2011-12-19: On windows could call GetACP directly instead.
2040
 
        user_encoding = locale.getpreferredencoding(False)
 
1924
        import locale
2041
1925
 
2042
1926
    try:
2043
 
        user_encoding = codecs.lookup(user_encoding).name
2044
 
    except LookupError:
2045
 
        if user_encoding not in ("", "cp0"):
 
1927
        user_encoding = locale.getpreferredencoding()
 
1928
    except locale.Error, e:
 
1929
        sys.stderr.write('bzr: warning: %s\n'
 
1930
                         '  Could not determine what text encoding to use.\n'
 
1931
                         '  This error usually means your Python interpreter\n'
 
1932
                         '  doesn\'t support the locale set by $LANG (%s)\n'
 
1933
                         "  Continuing with ascii encoding.\n"
 
1934
                         % (e, os.environ.get('LANG')))
 
1935
        user_encoding = 'ascii'
 
1936
 
 
1937
    # Windows returns 'cp0' to indicate there is no code page. So we'll just
 
1938
    # treat that as ASCII, and not support printing unicode characters to the
 
1939
    # console.
 
1940
    #
 
1941
    # For python scripts run under vim, we get '', so also treat that as ASCII
 
1942
    if user_encoding in (None, 'cp0', ''):
 
1943
        user_encoding = 'ascii'
 
1944
    else:
 
1945
        # check encoding
 
1946
        try:
 
1947
            codecs.lookup(user_encoding)
 
1948
        except LookupError:
2046
1949
            sys.stderr.write('bzr: warning:'
2047
1950
                             ' unknown encoding %s.'
2048
1951
                             ' Continuing with ascii encoding.\n'
2049
1952
                             % user_encoding
2050
1953
                            )
2051
 
        user_encoding = 'ascii'
2052
 
    else:
2053
 
        # Get 'ascii' when setlocale has not been called or LANG=C or unset.
2054
 
        if user_encoding == 'ascii':
2055
 
            if sys.platform == 'darwin':
2056
 
                # OSX is special-cased in Python to have a UTF-8 filesystem
2057
 
                # encoding and previously had LANG set here if not present.
2058
 
                user_encoding = 'utf-8'
2059
 
            # GZ 2011-12-19: Maybe UTF-8 should be the default in this case
2060
 
            #                for some other posix platforms as well.
2061
 
 
2062
 
    _cached_user_encoding = user_encoding
 
1954
            user_encoding = 'ascii'
 
1955
 
 
1956
    if use_cache:
 
1957
        _cached_user_encoding = user_encoding
 
1958
 
2063
1959
    return user_encoding
2064
1960
 
2065
1961
 
2066
 
def get_diff_header_encoding():
2067
 
    return get_terminal_encoding()
2068
 
 
2069
 
 
2070
1962
def get_host_name():
2071
1963
    """Return the current unicode host name.
2072
1964
 
2074
1966
    behaves inconsistently on different platforms.
2075
1967
    """
2076
1968
    if sys.platform == "win32":
 
1969
        import win32utils
2077
1970
        return win32utils.get_host_name()
2078
1971
    else:
2079
1972
        import socket
2086
1979
# data at once.
2087
1980
MAX_SOCKET_CHUNK = 64 * 1024
2088
1981
 
2089
 
_end_of_stream_errors = [errno.ECONNRESET, errno.EPIPE, errno.EINVAL]
2090
 
for _eno in ['WSAECONNRESET', 'WSAECONNABORTED']:
2091
 
    _eno = getattr(errno, _eno, None)
2092
 
    if _eno is not None:
2093
 
        _end_of_stream_errors.append(_eno)
2094
 
del _eno
2095
 
 
2096
 
 
2097
1982
def read_bytes_from_socket(sock, report_activity=None,
2098
1983
        max_read_size=MAX_SOCKET_CHUNK):
2099
1984
    """Read up to max_read_size of bytes from sock and notify of progress.
2107
1992
            bytes = sock.recv(max_read_size)
2108
1993
        except socket.error, e:
2109
1994
            eno = e.args[0]
2110
 
            if eno in _end_of_stream_errors:
 
1995
            if eno == getattr(errno, "WSAECONNRESET", errno.ECONNRESET):
2111
1996
                # The connection was closed by the other side.  Callers expect
2112
1997
                # an empty string to signal end-of-stream.
2113
1998
                return ""
2142
2027
 
2143
2028
def send_all(sock, bytes, report_activity=None):
2144
2029
    """Send all bytes on a socket.
2145
 
 
 
2030
 
2146
2031
    Breaks large blocks in smaller chunks to avoid buffering limitations on
2147
2032
    some platforms, and catches EINTR which may be thrown if the send is
2148
2033
    interrupted by a signal.
2149
2034
 
2150
2035
    This is preferred to socket.sendall(), because it avoids portability bugs
2151
2036
    and provides activity reporting.
2152
 
 
 
2037
 
2153
2038
    :param report_activity: Call this as bytes are read, see
2154
2039
        Transport._report_activity
2155
2040
    """
2158
2043
    while sent_total < byte_count:
2159
2044
        try:
2160
2045
            sent = sock.send(buffer(bytes, sent_total, MAX_SOCKET_CHUNK))
2161
 
        except (socket.error, IOError), e:
2162
 
            if e.args[0] in _end_of_stream_errors:
2163
 
                raise errors.ConnectionReset(
2164
 
                    "Error trying to write to socket", e)
 
2046
        except socket.error, e:
2165
2047
            if e.args[0] != errno.EINTR:
2166
2048
                raise
2167
2049
        else:
2168
 
            if sent == 0:
2169
 
                raise errors.ConnectionReset('Sending to %s returned 0 bytes'
2170
 
                                             % (sock,))
2171
2050
            sent_total += sent
2172
 
            if report_activity is not None:
2173
 
                report_activity(sent, 'write')
2174
 
 
2175
 
 
2176
 
def connect_socket(address):
2177
 
    # Slight variation of the socket.create_connection() function (provided by
2178
 
    # python-2.6) that can fail if getaddrinfo returns an empty list. We also
2179
 
    # provide it for previous python versions. Also, we don't use the timeout
2180
 
    # parameter (provided by the python implementation) so we don't implement
2181
 
    # it either).
2182
 
    err = socket.error('getaddrinfo returns an empty list')
2183
 
    host, port = address
2184
 
    for res in socket.getaddrinfo(host, port, 0, socket.SOCK_STREAM):
2185
 
        af, socktype, proto, canonname, sa = res
2186
 
        sock = None
2187
 
        try:
2188
 
            sock = socket.socket(af, socktype, proto)
2189
 
            sock.connect(sa)
2190
 
            return sock
2191
 
 
2192
 
        except socket.error, err:
2193
 
            # 'err' is now the most recent error
2194
 
            if sock is not None:
2195
 
                sock.close()
2196
 
    raise err
 
2051
            report_activity(sent, 'write')
2197
2052
 
2198
2053
 
2199
2054
def dereference_path(path):
2240
2095
    base = dirname(bzrlib.__file__)
2241
2096
    if getattr(sys, 'frozen', None):    # bzr.exe
2242
2097
        base = abspath(pathjoin(base, '..', '..'))
2243
 
    f = file(pathjoin(base, resource_relpath), "rU")
2244
 
    try:
2245
 
        return f.read()
2246
 
    finally:
2247
 
        f.close()
 
2098
    filename = pathjoin(base, resource_relpath)
 
2099
    return open(filename, 'rU').read()
 
2100
 
2248
2101
 
2249
2102
def file_kind_from_stat_mode_thunk(mode):
2250
2103
    global file_kind_from_stat_mode
2261
2114
    return file_kind_from_stat_mode(mode)
2262
2115
file_kind_from_stat_mode = file_kind_from_stat_mode_thunk
2263
2116
 
2264
 
def file_stat(f, _lstat=os.lstat):
 
2117
 
 
2118
def file_kind(f, _lstat=os.lstat):
2265
2119
    try:
2266
 
        # XXX cache?
2267
 
        return _lstat(f)
 
2120
        return file_kind_from_stat_mode(_lstat(f).st_mode)
2268
2121
    except OSError, e:
2269
2122
        if getattr(e, 'errno', None) in (errno.ENOENT, errno.ENOTDIR):
2270
2123
            raise errors.NoSuchFile(f)
2271
2124
        raise
2272
2125
 
2273
 
def file_kind(f, _lstat=os.lstat):
2274
 
    stat_value = file_stat(f, _lstat)
2275
 
    return file_kind_from_stat_mode(stat_value.st_mode)
2276
2126
 
2277
2127
def until_no_eintr(f, *a, **kw):
2278
2128
    """Run f(*a, **kw), retrying if an EINTR error occurs.
2279
 
 
 
2129
    
2280
2130
    WARNING: you must be certain that it is safe to retry the call repeatedly
2281
2131
    if EINTR does occur.  This is typically only true for low-level operations
2282
2132
    like os.read.  If in any doubt, don't use this.
2297
2147
            raise
2298
2148
 
2299
2149
 
2300
 
@deprecated_function(deprecated_in((2, 2, 0)))
2301
2150
def re_compile_checked(re_string, flags=0, where=""):
2302
2151
    """Return a compiled re, or raise a sensible error.
2303
2152
 
2313
2162
        re_obj = re.compile(re_string, flags)
2314
2163
        re_obj.search("")
2315
2164
        return re_obj
2316
 
    except errors.InvalidPattern, e:
 
2165
    except re.error, e:
2317
2166
        if where:
2318
2167
            where = ' in ' + where
2319
2168
        # despite the name 'error' is a type
2320
 
        raise errors.BzrCommandError('Invalid regular expression%s: %s'
2321
 
            % (where, e.msg))
 
2169
        raise errors.BzrCommandError('Invalid regular expression%s: %r: %s'
 
2170
            % (where, re_string, e))
2322
2171
 
2323
2172
 
2324
2173
if sys.platform == "win32":
 
2174
    import msvcrt
2325
2175
    def getchar():
2326
 
        import msvcrt
2327
2176
        return msvcrt.getch()
2328
2177
else:
 
2178
    import tty
 
2179
    import termios
2329
2180
    def getchar():
2330
 
        import tty
2331
 
        import termios
2332
2181
        fd = sys.stdin.fileno()
2333
2182
        settings = termios.tcgetattr(fd)
2334
2183
        try:
2338
2187
            termios.tcsetattr(fd, termios.TCSADRAIN, settings)
2339
2188
        return ch
2340
2189
 
2341
 
if sys.platform.startswith('linux'):
 
2190
 
 
2191
if sys.platform == 'linux2':
2342
2192
    def _local_concurrency():
2343
 
        try:
2344
 
            return os.sysconf('SC_NPROCESSORS_ONLN')
2345
 
        except (ValueError, OSError, AttributeError):
2346
 
            return None
 
2193
        concurrency = None
 
2194
        prefix = 'processor'
 
2195
        for line in file('/proc/cpuinfo', 'rb'):
 
2196
            if line.startswith(prefix):
 
2197
                concurrency = int(line[line.find(':')+1:]) + 1
 
2198
        return concurrency
2347
2199
elif sys.platform == 'darwin':
2348
2200
    def _local_concurrency():
2349
2201
        return subprocess.Popen(['sysctl', '-n', 'hw.availcpu'],
2350
2202
                                stdout=subprocess.PIPE).communicate()[0]
2351
 
elif "bsd" in sys.platform:
 
2203
elif sys.platform[0:7] == 'freebsd':
2352
2204
    def _local_concurrency():
2353
2205
        return subprocess.Popen(['sysctl', '-n', 'hw.ncpu'],
2354
2206
                                stdout=subprocess.PIPE).communicate()[0]
2382
2234
    concurrency = os.environ.get('BZR_CONCURRENCY', None)
2383
2235
    if concurrency is None:
2384
2236
        try:
2385
 
            import multiprocessing
2386
 
            concurrency = multiprocessing.cpu_count()
2387
 
        except (ImportError, NotImplementedError):
2388
 
            # multiprocessing is only available on Python >= 2.6
2389
 
            # and multiprocessing.cpu_count() isn't implemented on all
2390
 
            # platforms
2391
 
            try:
2392
 
                concurrency = _local_concurrency()
2393
 
            except (OSError, IOError):
2394
 
                pass
 
2237
            concurrency = _local_concurrency()
 
2238
        except (OSError, IOError):
 
2239
            pass
2395
2240
    try:
2396
2241
        concurrency = int(concurrency)
2397
2242
    except (TypeError, ValueError):
2418
2263
if sys.platform == 'win32':
2419
2264
    def open_file(filename, mode='r', bufsize=-1):
2420
2265
        """This function is used to override the ``open`` builtin.
2421
 
 
 
2266
        
2422
2267
        But it uses O_NOINHERIT flag so the file handle is not inherited by
2423
2268
        child processes.  Deleting or renaming a closed file opened with this
2424
2269
        function is not blocking child processes.
2457
2302
        return os.fdopen(os.open(filename, flags), mode, bufsize)
2458
2303
else:
2459
2304
    open_file = open
2460
 
 
2461
 
 
2462
 
def available_backup_name(base, exists):
2463
 
    """Find a non-existing backup file name.
2464
 
 
2465
 
    This will *not* create anything, this only return a 'free' entry.  This
2466
 
    should be used for checking names in a directory below a locked
2467
 
    tree/branch/repo to avoid race conditions. This is LBYL (Look Before You
2468
 
    Leap) and generally discouraged.
2469
 
 
2470
 
    :param base: The base name.
2471
 
 
2472
 
    :param exists: A callable returning True if the path parameter exists.
2473
 
    """
2474
 
    counter = 1
2475
 
    name = "%s.~%d~" % (base, counter)
2476
 
    while exists(name):
2477
 
        counter += 1
2478
 
        name = "%s.~%d~" % (base, counter)
2479
 
    return name
2480
 
 
2481
 
 
2482
 
def set_fd_cloexec(fd):
2483
 
    """Set a Unix file descriptor's FD_CLOEXEC flag.  Do nothing if platform
2484
 
    support for this is not available.
2485
 
    """
2486
 
    try:
2487
 
        import fcntl
2488
 
        old = fcntl.fcntl(fd, fcntl.F_GETFD)
2489
 
        fcntl.fcntl(fd, fcntl.F_SETFD, old | fcntl.FD_CLOEXEC)
2490
 
    except (ImportError, AttributeError):
2491
 
        # Either the fcntl module or specific constants are not present
2492
 
        pass
2493
 
 
2494
 
 
2495
 
def find_executable_on_path(name):
2496
 
    """Finds an executable on the PATH.
2497
 
    
2498
 
    On Windows, this will try to append each extension in the PATHEXT
2499
 
    environment variable to the name, if it cannot be found with the name
2500
 
    as given.
2501
 
    
2502
 
    :param name: The base name of the executable.
2503
 
    :return: The path to the executable found or None.
2504
 
    """
2505
 
    if sys.platform == 'win32':
2506
 
        exts = os.environ.get('PATHEXT', '').split(os.pathsep)
2507
 
        exts = [ext.lower() for ext in exts]
2508
 
        base, ext = os.path.splitext(name)
2509
 
        if ext != '':
2510
 
            if ext.lower() not in exts:
2511
 
                return None
2512
 
            name = base
2513
 
            exts = [ext]
2514
 
    else:
2515
 
        exts = ['']
2516
 
    path = os.environ.get('PATH')
2517
 
    if path is not None:
2518
 
        path = path.split(os.pathsep)
2519
 
        for ext in exts:
2520
 
            for d in path:
2521
 
                f = os.path.join(d, name) + ext
2522
 
                if os.access(f, os.X_OK):
2523
 
                    return f
2524
 
    if sys.platform == 'win32':
2525
 
        app_path = win32utils.get_app_path(name)
2526
 
        if app_path != name:
2527
 
            return app_path
2528
 
    return None
2529
 
 
2530
 
 
2531
 
def _posix_is_local_pid_dead(pid):
2532
 
    """True if pid doesn't correspond to live process on this machine"""
2533
 
    try:
2534
 
        # Special meaning of unix kill: just check if it's there.
2535
 
        os.kill(pid, 0)
2536
 
    except OSError, e:
2537
 
        if e.errno == errno.ESRCH:
2538
 
            # On this machine, and really not found: as sure as we can be
2539
 
            # that it's dead.
2540
 
            return True
2541
 
        elif e.errno == errno.EPERM:
2542
 
            # exists, though not ours
2543
 
            return False
2544
 
        else:
2545
 
            mutter("os.kill(%d, 0) failed: %s" % (pid, e))
2546
 
            # Don't really know.
2547
 
            return False
2548
 
    else:
2549
 
        # Exists and our process: not dead.
2550
 
        return False
2551
 
 
2552
 
if sys.platform == "win32":
2553
 
    is_local_pid_dead = win32utils.is_local_pid_dead
2554
 
else:
2555
 
    is_local_pid_dead = _posix_is_local_pid_dead
2556
 
 
2557
 
_maybe_ignored = ['EAGAIN', 'EINTR', 'ENOTSUP', 'EOPNOTSUPP', 'EACCES']
2558
 
_fdatasync_ignored = [getattr(errno, name) for name in _maybe_ignored
2559
 
                      if getattr(errno, name, None) is not None]
2560
 
 
2561
 
 
2562
 
def fdatasync(fileno):
2563
 
    """Flush file contents to disk if possible.
2564
 
    
2565
 
    :param fileno: Integer OS file handle.
2566
 
    :raises TransportNotPossible: If flushing to disk is not possible.
2567
 
    """
2568
 
    fn = getattr(os, 'fdatasync', getattr(os, 'fsync', None))
2569
 
    if fn is not None:
2570
 
        try:
2571
 
            fn(fileno)
2572
 
        except IOError, e:
2573
 
            # See bug #1075108, on some platforms fdatasync exists, but can
2574
 
            # raise ENOTSUP. However, we are calling fdatasync to be helpful
2575
 
            # and reduce the chance of corruption-on-powerloss situations. It
2576
 
            # is not a mandatory call, so it is ok to suppress failures.
2577
 
            trace.mutter("ignoring error calling fdatasync: %s" % (e,))
2578
 
            if getattr(e, 'errno', None) not in _fdatasync_ignored:
2579
 
                raise
2580
 
 
2581
 
 
2582
 
def ensure_empty_directory_exists(path, exception_class):
2583
 
    """Make sure a local directory exists and is empty.
2584
 
    
2585
 
    If it does not exist, it is created.  If it exists and is not empty, an
2586
 
    instance of exception_class is raised.
2587
 
    """
2588
 
    try:
2589
 
        os.mkdir(path)
2590
 
    except OSError, e:
2591
 
        if e.errno != errno.EEXIST:
2592
 
            raise
2593
 
        if os.listdir(path) != []:
2594
 
            raise exception_class(path)
2595
 
 
2596
 
 
2597
 
def is_environment_error(evalue):
2598
 
    """True if exception instance is due to a process environment issue
2599
 
 
2600
 
    This includes OSError and IOError, but also other errors that come from
2601
 
    the operating system or core libraries but are not subclasses of those.
2602
 
    """
2603
 
    if isinstance(evalue, (EnvironmentError, select.error)):
2604
 
        return True
2605
 
    if sys.platform == "win32" and win32utils._is_pywintypes_error(evalue):
2606
 
        return True
2607
 
    return False