~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Martin Pool
  • Date: 2009-07-10 08:18:28 UTC
  • mto: This revision was merged to the branch mainline in revision 4566.
  • Revision ID: mbp@sourcefrog.net-20090710081828-3zqukazl1b62m05h
Additional test for stacking from absolute URL

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
21
21
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
22
22
import sys
23
23
import time
24
 
import codecs
25
 
import warnings
26
24
 
27
25
from bzrlib.lazy_import import lazy_import
28
26
lazy_import(globals(), """
 
27
import codecs
29
28
from datetime import datetime
30
29
import errno
31
30
from ntpath import (abspath as _nt_abspath,
39
38
from shutil import (
40
39
    rmtree,
41
40
    )
42
 
import signal
43
41
import subprocess
44
42
import tempfile
45
43
from tempfile import (
72
70
from bzrlib import symbol_versioning
73
71
 
74
72
 
75
 
# Cross platform wall-clock time functionality with decent resolution.
76
 
# On Linux ``time.clock`` returns only CPU time. On Windows, ``time.time()``
77
 
# only has a resolution of ~15ms. Note that ``time.clock()`` is not
78
 
# synchronized with ``time.time()``, this is only meant to be used to find
79
 
# delta times by subtracting from another call to this function.
80
 
timer_func = time.time
81
 
if sys.platform == 'win32':
82
 
    timer_func = time.clock
83
 
 
84
73
# On win32, O_BINARY is used to indicate the file should
85
74
# be opened in binary mode, rather than text mode.
86
75
# On other platforms, O_BINARY doesn't exist, because
179
168
    try:
180
169
        return _kind_marker_map[kind]
181
170
    except KeyError:
182
 
        # Slightly faster than using .get(, '') when the common case is that
183
 
        # kind will be found
184
 
        return ''
 
171
        raise errors.BzrError('invalid file kind %r' % kind)
185
172
 
186
173
 
187
174
lexists = getattr(os.path, 'lexists', None)
204
191
    :param old: The old path, to rename from
205
192
    :param new: The new path, to rename to
206
193
    :param rename_func: The potentially non-atomic rename function
207
 
    :param unlink_func: A way to delete the target file if the full rename
208
 
        succeeds
 
194
    :param unlink_func: A way to delete the target file if the full rename succeeds
209
195
    """
 
196
 
210
197
    # sftp rename doesn't allow overwriting, so play tricks:
211
198
    base = os.path.basename(new)
212
199
    dirname = os.path.dirname(new)
213
 
    # callers use different encodings for the paths so the following MUST
214
 
    # respect that. We rely on python upcasting to unicode if new is unicode
215
 
    # and keeping a str if not.
216
 
    tmp_name = 'tmp.%s.%.9f.%d.%s' % (base, time.time(),
217
 
                                      os.getpid(), rand_chars(10))
 
200
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
218
201
    tmp_name = pathjoin(dirname, tmp_name)
219
202
 
220
203
    # Rename the file out of the way, but keep track if it didn't exist
240
223
    else:
241
224
        file_existed = True
242
225
 
243
 
    failure_exc = None
244
226
    success = False
245
227
    try:
246
228
        try:
252
234
            # source and target may be aliases of each other (e.g. on a
253
235
            # case-insensitive filesystem), so we may have accidentally renamed
254
236
            # source by when we tried to rename target
255
 
            failure_exc = sys.exc_info()
256
 
            if (file_existed and e.errno in (None, errno.ENOENT)
257
 
                and old.lower() == new.lower()):
258
 
                # source and target are the same file on a case-insensitive
259
 
                # filesystem, so we don't generate an exception
260
 
                failure_exc = None
 
237
            if not (file_existed and e.errno in (None, errno.ENOENT)):
 
238
                raise
261
239
    finally:
262
240
        if file_existed:
263
241
            # If the file used to exist, rename it back into place
266
244
                unlink_func(tmp_name)
267
245
            else:
268
246
                rename_func(tmp_name, new)
269
 
    if failure_exc is not None:
270
 
        raise failure_exc[0], failure_exc[1], failure_exc[2]
271
247
 
272
248
 
273
249
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
711
687
    return offset.days * 86400 + offset.seconds
712
688
 
713
689
weekdays = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
714
 
_default_format_by_weekday_num = [wd + " %Y-%m-%d %H:%M:%S" for wd in weekdays]
715
 
 
716
690
 
717
691
def format_date(t, offset=0, timezone='original', date_fmt=None,
718
692
                show_offset=True):
732
706
    date_str = time.strftime(date_fmt, tt)
733
707
    return date_str + offset_str
734
708
 
735
 
 
736
 
# Cache of formatted offset strings
737
 
_offset_cache = {}
738
 
 
739
 
 
740
 
def format_date_with_offset_in_original_timezone(t, offset=0,
741
 
    _cache=_offset_cache):
742
 
    """Return a formatted date string in the original timezone.
743
 
 
744
 
    This routine may be faster then format_date.
745
 
 
746
 
    :param t: Seconds since the epoch.
747
 
    :param offset: Timezone offset in seconds east of utc.
748
 
    """
749
 
    if offset is None:
750
 
        offset = 0
751
 
    tt = time.gmtime(t + offset)
752
 
    date_fmt = _default_format_by_weekday_num[tt[6]]
753
 
    date_str = time.strftime(date_fmt, tt)
754
 
    offset_str = _cache.get(offset, None)
755
 
    if offset_str is None:
756
 
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
757
 
        _cache[offset] = offset_str
758
 
    return date_str + offset_str
759
 
 
760
 
 
761
709
def format_local_date(t, offset=0, timezone='original', date_fmt=None,
762
710
                      show_offset=True):
763
711
    """Return an unicode date string formatted according to the current locale.
777
725
        date_str = date_str.decode(get_user_encoding(), 'replace')
778
726
    return date_str + offset_str
779
727
 
780
 
 
781
728
def _format_date(t, offset, timezone, date_fmt, show_offset):
782
729
    if timezone == 'utc':
783
730
        tt = time.gmtime(t)
934
881
    return parents
935
882
 
936
883
 
937
 
_extension_load_failures = []
938
 
 
939
 
 
940
 
def failed_to_load_extension(exception):
941
 
    """Handle failing to load a binary extension.
942
 
 
943
 
    This should be called from the ImportError block guarding the attempt to
944
 
    import the native extension.  If this function returns, the pure-Python
945
 
    implementation should be loaded instead::
946
 
 
947
 
    >>> try:
948
 
    >>>     import bzrlib._fictional_extension_pyx
949
 
    >>> except ImportError, e:
950
 
    >>>     bzrlib.osutils.failed_to_load_extension(e)
951
 
    >>>     import bzrlib._fictional_extension_py
952
 
    """
953
 
    # NB: This docstring is just an example, not a doctest, because doctest
954
 
    # currently can't cope with the use of lazy imports in this namespace --
955
 
    # mbp 20090729
956
 
    
957
 
    # This currently doesn't report the failure at the time it occurs, because
958
 
    # they tend to happen very early in startup when we can't check config
959
 
    # files etc, and also we want to report all failures but not spam the user
960
 
    # with 10 warnings.
961
 
    from bzrlib import trace
962
 
    exception_str = str(exception)
963
 
    if exception_str not in _extension_load_failures:
964
 
        trace.mutter("failed to load compiled extension: %s" % exception_str)
965
 
        _extension_load_failures.append(exception_str)
966
 
 
967
 
 
968
 
def report_extension_load_failures():
969
 
    if not _extension_load_failures:
970
 
        return
971
 
    from bzrlib.config import GlobalConfig
972
 
    if GlobalConfig().get_user_option_as_bool('ignore_missing_extensions'):
973
 
        return
974
 
    # the warnings framework should by default show this only once
975
 
    from bzrlib.trace import warning
976
 
    warning(
977
 
        "bzr: warning: some compiled extensions could not be loaded; "
978
 
        "see <https://answers.launchpad.net/bzr/+faq/703>")
979
 
    # we no longer show the specific missing extensions here, because it makes
980
 
    # the message too long and scary - see
981
 
    # https://bugs.launchpad.net/bzr/+bug/430529
982
 
 
983
 
 
984
884
try:
985
885
    from bzrlib._chunks_to_lines_pyx import chunks_to_lines
986
 
except ImportError, e:
987
 
    failed_to_load_extension(e)
 
886
except ImportError:
988
887
    from bzrlib._chunks_to_lines_py import chunks_to_lines
989
888
 
990
889
 
1141
1040
 
1142
1041
    s = []
1143
1042
    head = rp
1144
 
    while True:
1145
 
        if len(head) <= len(base) and head != base:
1146
 
            raise errors.PathNotChild(rp, base)
 
1043
    while len(head) >= len(base):
1147
1044
        if head == base:
1148
1045
            break
1149
 
        head, tail = split(head)
 
1046
        head, tail = os.path.split(head)
1150
1047
        if tail:
1151
 
            s.append(tail)
 
1048
            s.insert(0, tail)
 
1049
    else:
 
1050
        raise errors.PathNotChild(rp, base)
1152
1051
 
1153
1052
    if s:
1154
 
        return pathjoin(*reversed(s))
 
1053
        return pathjoin(*s)
1155
1054
    else:
1156
1055
        return ''
1157
1056
 
1184
1083
    bit_iter = iter(rel.split('/'))
1185
1084
    for bit in bit_iter:
1186
1085
        lbit = bit.lower()
1187
 
        try:
1188
 
            next_entries = _listdir(current)
1189
 
        except OSError: # enoent, eperm, etc
1190
 
            # We can't find this in the filesystem, so just append the
1191
 
            # remaining bits.
1192
 
            current = pathjoin(current, bit, *list(bit_iter))
1193
 
            break
1194
 
        for look in next_entries:
 
1086
        for look in _listdir(current):
1195
1087
            if lbit == look.lower():
1196
1088
                current = pathjoin(current, look)
1197
1089
                break
1201
1093
            # the target of a move, for example).
1202
1094
            current = pathjoin(current, bit, *list(bit_iter))
1203
1095
            break
1204
 
    return current[len(abs_base):].lstrip('/')
 
1096
    return current[len(abs_base)+1:]
1205
1097
 
1206
1098
# XXX - TODO - we need better detection/integration of case-insensitive
1207
1099
# file-systems; Linux often sees FAT32 devices (or NFS-mounted OSX
1346
1238
    normalized_filename = _inaccessible_normalized_filename
1347
1239
 
1348
1240
 
1349
 
default_terminal_width = 80
1350
 
"""The default terminal width for ttys.
1351
 
 
1352
 
This is defined so that higher levels can share a common fallback value when
1353
 
terminal_width() returns None.
1354
 
"""
1355
 
 
1356
 
 
1357
1241
def terminal_width():
1358
 
    """Return terminal width.
1359
 
 
1360
 
    None is returned if the width can't established precisely.
1361
 
 
1362
 
    The rules are:
1363
 
    - if BZR_COLUMNS is set, returns its value
1364
 
    - if there is no controlling terminal, returns None
1365
 
    - if COLUMNS is set, returns its value,
1366
 
 
1367
 
    From there, we need to query the OS to get the size of the controlling
1368
 
    terminal.
1369
 
 
1370
 
    Unices:
1371
 
    - get termios.TIOCGWINSZ
1372
 
    - if an error occurs or a negative value is obtained, returns None
1373
 
 
1374
 
    Windows:
1375
 
    
1376
 
    - win32utils.get_console_size() decides,
1377
 
    - returns None on error (provided default value)
1378
 
    """
1379
 
 
1380
 
    # If BZR_COLUMNS is set, take it, user is always right
1381
 
    try:
1382
 
        return int(os.environ['BZR_COLUMNS'])
1383
 
    except (KeyError, ValueError):
1384
 
        pass
1385
 
 
1386
 
    isatty = getattr(sys.stdout, 'isatty', None)
1387
 
    if  isatty is None or not isatty():
1388
 
        # Don't guess, setting BZR_COLUMNS is the recommended way to override.
1389
 
        return None
1390
 
 
1391
 
    # If COLUMNS is set, take it, the terminal knows better (even inside a
1392
 
    # given terminal, the application can decide to set COLUMNS to a lower
1393
 
    # value (splitted screen) or a bigger value (scroll bars))
1394
 
    try:
1395
 
        return int(os.environ['COLUMNS'])
1396
 
    except (KeyError, ValueError):
1397
 
        pass
1398
 
 
1399
 
    width, height = _terminal_size(None, None)
1400
 
    if width <= 0:
1401
 
        # Consider invalid values as meaning no width
1402
 
        return None
1403
 
 
1404
 
    return width
1405
 
 
1406
 
 
1407
 
def _win32_terminal_size(width, height):
1408
 
    width, height = win32utils.get_console_size(defaultx=width, defaulty=height)
1409
 
    return width, height
1410
 
 
1411
 
 
1412
 
def _ioctl_terminal_size(width, height):
 
1242
    """Return estimated terminal width."""
 
1243
    if sys.platform == 'win32':
 
1244
        return win32utils.get_console_size()[0]
 
1245
    width = 0
1413
1246
    try:
1414
1247
        import struct, fcntl, termios
1415
1248
        s = struct.pack('HHHH', 0, 0, 0, 0)
1416
1249
        x = fcntl.ioctl(1, termios.TIOCGWINSZ, s)
1417
 
        height, width = struct.unpack('HHHH', x)[0:2]
1418
 
    except (IOError, AttributeError):
 
1250
        width = struct.unpack('HHHH', x)[1]
 
1251
    except IOError:
1419
1252
        pass
1420
 
    return width, height
1421
 
 
1422
 
_terminal_size = None
1423
 
"""Returns the terminal size as (width, height).
1424
 
 
1425
 
:param width: Default value for width.
1426
 
:param height: Default value for height.
1427
 
 
1428
 
This is defined specifically for each OS and query the size of the controlling
1429
 
terminal. If any error occurs, the provided default values should be returned.
1430
 
"""
1431
 
if sys.platform == 'win32':
1432
 
    _terminal_size = _win32_terminal_size
1433
 
else:
1434
 
    _terminal_size = _ioctl_terminal_size
1435
 
 
1436
 
 
1437
 
def _terminal_size_changed(signum, frame):
1438
 
    """Set COLUMNS upon receiving a SIGnal for WINdow size CHange."""
1439
 
    width, height = _terminal_size(None, None)
1440
 
    if width is not None:
1441
 
        os.environ['COLUMNS'] = str(width)
1442
 
 
1443
 
 
1444
 
_registered_sigwinch = False
1445
 
 
1446
 
def watch_sigwinch():
1447
 
    """Register for SIGWINCH, once and only once."""
1448
 
    global _registered_sigwinch
1449
 
    if not _registered_sigwinch:
1450
 
        if sys.platform == 'win32':
1451
 
            # Martin (gz) mentioned WINDOW_BUFFER_SIZE_RECORD from
1452
 
            # ReadConsoleInput but I've no idea how to plug that in
1453
 
            # the current design -- vila 20091216
 
1253
    if width <= 0:
 
1254
        try:
 
1255
            width = int(os.environ['COLUMNS'])
 
1256
        except:
1454
1257
            pass
1455
 
        else:
1456
 
            signal.signal(signal.SIGWINCH, _terminal_size_changed)
1457
 
        _registered_sigwinch = True
 
1258
    if width <= 0:
 
1259
        width = 80
 
1260
 
 
1261
    return width
1458
1262
 
1459
1263
 
1460
1264
def supports_executable():
1662
1466
            try:
1663
1467
                from bzrlib._readdir_pyx import UTF8DirReader
1664
1468
                _selected_dir_reader = UTF8DirReader()
1665
 
            except ImportError, e:
1666
 
                failed_to_load_extension(e)
 
1469
            except ImportError:
1667
1470
                pass
1668
1471
 
1669
1472
    if _selected_dir_reader is None:
1975
1778
        try:
1976
1779
            from bzrlib._readdir_pyx import UTF8DirReader
1977
1780
            file_kind_from_stat_mode = UTF8DirReader().kind_from_mode
1978
 
        except ImportError, e:
1979
 
            # This is one time where we won't warn that an extension failed to
1980
 
            # load. The extension is never available on Windows anyway.
 
1781
        except ImportError:
1981
1782
            from bzrlib._readdir_py import (
1982
1783
                _kind_from_mode as file_kind_from_stat_mode
1983
1784
                )
2085
1886
    anything goes wrong.
2086
1887
    """
2087
1888
    global _cached_local_concurrency
2088
 
 
2089
1889
    if _cached_local_concurrency is not None and use_cache:
2090
1890
        return _cached_local_concurrency
2091
1891
 
2092
 
    concurrency = os.environ.get('BZR_CONCURRENCY', None)
2093
 
    if concurrency is None:
2094
 
        try:
2095
 
            concurrency = _local_concurrency()
2096
 
        except (OSError, IOError):
2097
 
            pass
 
1892
    try:
 
1893
        concurrency = _local_concurrency()
 
1894
    except (OSError, IOError):
 
1895
        concurrency = None
2098
1896
    try:
2099
1897
        concurrency = int(concurrency)
2100
1898
    except (TypeError, ValueError):
2102
1900
    if use_cache:
2103
1901
        _cached_concurrency = concurrency
2104
1902
    return concurrency
2105
 
 
2106
 
 
2107
 
class UnicodeOrBytesToBytesWriter(codecs.StreamWriter):
2108
 
    """A stream writer that doesn't decode str arguments."""
2109
 
 
2110
 
    def __init__(self, encode, stream, errors='strict'):
2111
 
        codecs.StreamWriter.__init__(self, stream, errors)
2112
 
        self.encode = encode
2113
 
 
2114
 
    def write(self, object):
2115
 
        if type(object) is str:
2116
 
            self.stream.write(object)
2117
 
        else:
2118
 
            data, _ = self.encode(object, self.errors)
2119
 
            self.stream.write(data)