~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

Merge bzr.dev and tree-file-ids-as-tuples.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
from cStringIO import StringIO
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
from __future__ import absolute_import
 
18
 
 
19
import errno
18
20
import os
19
21
import re
20
22
import stat
21
 
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
22
 
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
23
23
import sys
24
24
import time
 
25
import codecs
25
26
 
26
27
from bzrlib.lazy_import import lazy_import
27
28
lazy_import(globals(), """
28
 
import codecs
29
29
from datetime import datetime
30
 
import errno
31
 
from ntpath import (abspath as _nt_abspath,
32
 
                    join as _nt_join,
33
 
                    normpath as _nt_normpath,
34
 
                    realpath as _nt_realpath,
35
 
                    splitdrive as _nt_splitdrive,
36
 
                    )
 
30
import getpass
 
31
import locale
 
32
import ntpath
37
33
import posixpath
38
 
import sha
 
34
import select
 
35
# We need to import both shutil and rmtree as we export the later on posix
 
36
# and need the former on windows
39
37
import shutil
40
 
from shutil import (
41
 
    rmtree,
42
 
    )
 
38
from shutil import rmtree
 
39
import socket
 
40
import subprocess
 
41
# We need to import both tempfile and mkdtemp as we export the later on posix
 
42
# and need the former on windows
43
43
import tempfile
44
 
from tempfile import (
45
 
    mkdtemp,
46
 
    )
 
44
from tempfile import mkdtemp
47
45
import unicodedata
48
46
 
49
47
from bzrlib import (
50
48
    cache_utf8,
 
49
    config,
51
50
    errors,
 
51
    trace,
52
52
    win32utils,
53
53
    )
 
54
from bzrlib.i18n import gettext
54
55
""")
55
56
 
56
 
import bzrlib
57
 
from bzrlib import symbol_versioning
58
57
from bzrlib.symbol_versioning import (
 
58
    DEPRECATED_PARAMETER,
59
59
    deprecated_function,
60
 
    )
61
 
from bzrlib.trace import mutter
62
 
 
 
60
    deprecated_in,
 
61
    deprecated_passed,
 
62
    warn as warn_deprecated,
 
63
    )
 
64
 
 
65
from hashlib import (
 
66
    md5,
 
67
    sha1 as sha,
 
68
    )
 
69
 
 
70
 
 
71
import bzrlib
 
72
from bzrlib import symbol_versioning, _fs_enc
 
73
 
 
74
 
 
75
# Cross platform wall-clock time functionality with decent resolution.
 
76
# On Linux ``time.clock`` returns only CPU time. On Windows, ``time.time()``
 
77
# only has a resolution of ~15ms. Note that ``time.clock()`` is not
 
78
# synchronized with ``time.time()``, this is only meant to be used to find
 
79
# delta times by subtracting from another call to this function.
 
80
timer_func = time.time
 
81
if sys.platform == 'win32':
 
82
    timer_func = time.clock
63
83
 
64
84
# On win32, O_BINARY is used to indicate the file should
65
85
# be opened in binary mode, rather than text mode.
66
86
# On other platforms, O_BINARY doesn't exist, because
67
87
# they always open in binary mode, so it is okay to
68
 
# OR with 0 on those platforms
 
88
# OR with 0 on those platforms.
 
89
# O_NOINHERIT and O_TEXT exists only on win32 too.
69
90
O_BINARY = getattr(os, 'O_BINARY', 0)
70
 
 
71
 
# On posix, use lstat instead of stat so that we can
72
 
# operate on broken symlinks. On Windows revert to stat.
73
 
lstat = getattr(os, 'lstat', os.stat)
 
91
O_TEXT = getattr(os, 'O_TEXT', 0)
 
92
O_NOINHERIT = getattr(os, 'O_NOINHERIT', 0)
 
93
 
 
94
 
 
95
def get_unicode_argv():
 
96
    try:
 
97
        user_encoding = get_user_encoding()
 
98
        return [a.decode(user_encoding) for a in sys.argv[1:]]
 
99
    except UnicodeDecodeError:
 
100
        raise errors.BzrError(gettext("Parameter {0!r} encoding is unsupported by {1} "
 
101
            "application locale.").format(a, user_encoding))
 
102
 
74
103
 
75
104
def make_readonly(filename):
76
105
    """Make a filename read-only."""
77
 
    mod = lstat(filename).st_mode
 
106
    mod = os.lstat(filename).st_mode
78
107
    if not stat.S_ISLNK(mod):
79
108
        mod = mod & 0777555
80
 
        os.chmod(filename, mod)
 
109
        chmod_if_possible(filename, mod)
81
110
 
82
111
 
83
112
def make_writable(filename):
84
 
    mod = lstat(filename).st_mode
 
113
    mod = os.lstat(filename).st_mode
85
114
    if not stat.S_ISLNK(mod):
86
115
        mod = mod | 0200
87
 
        os.chmod(filename, mod)
 
116
        chmod_if_possible(filename, mod)
 
117
 
 
118
 
 
119
def chmod_if_possible(filename, mode):
 
120
    # Set file mode if that can be safely done.
 
121
    # Sometimes even on unix the filesystem won't allow it - see
 
122
    # https://bugs.launchpad.net/bzr/+bug/606537
 
123
    try:
 
124
        # It is probably faster to just do the chmod, rather than
 
125
        # doing a stat, and then trying to compare
 
126
        os.chmod(filename, mode)
 
127
    except (IOError, OSError),e:
 
128
        # Permission/access denied seems to commonly happen on smbfs; there's
 
129
        # probably no point warning about it.
 
130
        # <https://bugs.launchpad.net/bzr/+bug/606537>
 
131
        if getattr(e, 'errno') in (errno.EPERM, errno.EACCES):
 
132
            trace.mutter("ignore error on chmod of %r: %r" % (
 
133
                filename, e))
 
134
            return
 
135
        raise
 
136
 
 
137
 
 
138
def minimum_path_selection(paths):
 
139
    """Return the smallset subset of paths which are outside paths.
 
140
 
 
141
    :param paths: A container (and hence not None) of paths.
 
142
    :return: A set of paths sufficient to include everything in paths via
 
143
        is_inside, drawn from the paths parameter.
 
144
    """
 
145
    if len(paths) < 2:
 
146
        return set(paths)
 
147
 
 
148
    def sort_key(path):
 
149
        return path.split('/')
 
150
    sorted_paths = sorted(list(paths), key=sort_key)
 
151
 
 
152
    search_paths = [sorted_paths[0]]
 
153
    for path in sorted_paths[1:]:
 
154
        if not is_inside(search_paths[-1], path):
 
155
            # This path is unique, add it
 
156
            search_paths.append(path)
 
157
 
 
158
    return set(search_paths)
88
159
 
89
160
 
90
161
_QUOTE_RE = None
99
170
    global _QUOTE_RE
100
171
    if _QUOTE_RE is None:
101
172
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
102
 
        
 
173
 
103
174
    if _QUOTE_RE.search(f):
104
175
        return '"' + f + '"'
105
176
    else:
108
179
 
109
180
_directory_kind = 'directory'
110
181
 
111
 
_formats = {
112
 
    stat.S_IFDIR:_directory_kind,
113
 
    stat.S_IFCHR:'chardev',
114
 
    stat.S_IFBLK:'block',
115
 
    stat.S_IFREG:'file',
116
 
    stat.S_IFIFO:'fifo',
117
 
    stat.S_IFLNK:'symlink',
118
 
    stat.S_IFSOCK:'socket',
119
 
}
120
 
 
121
 
 
122
 
def file_kind_from_stat_mode(stat_mode, _formats=_formats, _unknown='unknown'):
123
 
    """Generate a file kind from a stat mode. This is used in walkdirs.
124
 
 
125
 
    Its performance is critical: Do not mutate without careful benchmarking.
126
 
    """
127
 
    try:
128
 
        return _formats[stat_mode & 0170000]
129
 
    except KeyError:
130
 
        return _unknown
131
 
 
132
 
 
133
 
def file_kind(f, _lstat=os.lstat, _mapper=file_kind_from_stat_mode):
134
 
    try:
135
 
        return _mapper(_lstat(f).st_mode)
136
 
    except OSError, e:
137
 
        if getattr(e, 'errno', None) == errno.ENOENT:
138
 
            raise errors.NoSuchFile(f)
139
 
        raise
140
 
 
141
 
 
142
182
def get_umask():
143
183
    """Return the current umask"""
144
184
    # Assume that people aren't messing with the umask while running
161
201
    try:
162
202
        return _kind_marker_map[kind]
163
203
    except KeyError:
164
 
        raise errors.BzrError('invalid file kind %r' % kind)
 
204
        # Slightly faster than using .get(, '') when the common case is that
 
205
        # kind will be found
 
206
        return ''
165
207
 
166
208
 
167
209
lexists = getattr(os.path, 'lexists', None)
175
217
            if e.errno == errno.ENOENT:
176
218
                return False;
177
219
            else:
178
 
                raise errors.BzrError("lstat/stat of (%r): %r" % (f, e))
 
220
                raise errors.BzrError(gettext("lstat/stat of ({0!r}): {1!r}").format(f, e))
179
221
 
180
222
 
181
223
def fancy_rename(old, new, rename_func, unlink_func):
182
224
    """A fancy rename, when you don't have atomic rename.
183
 
    
 
225
 
184
226
    :param old: The old path, to rename from
185
227
    :param new: The new path, to rename to
186
228
    :param rename_func: The potentially non-atomic rename function
187
 
    :param unlink_func: A way to delete the target file if the full rename succeeds
 
229
    :param unlink_func: A way to delete the target file if the full rename
 
230
        succeeds
188
231
    """
189
 
 
190
232
    # sftp rename doesn't allow overwriting, so play tricks:
191
 
    import random
192
233
    base = os.path.basename(new)
193
234
    dirname = os.path.dirname(new)
194
 
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
 
235
    # callers use different encodings for the paths so the following MUST
 
236
    # respect that. We rely on python upcasting to unicode if new is unicode
 
237
    # and keeping a str if not.
 
238
    tmp_name = 'tmp.%s.%.9f.%d.%s' % (base, time.time(),
 
239
                                      os.getpid(), rand_chars(10))
195
240
    tmp_name = pathjoin(dirname, tmp_name)
196
241
 
197
242
    # Rename the file out of the way, but keep track if it didn't exist
217
262
    else:
218
263
        file_existed = True
219
264
 
 
265
    failure_exc = None
220
266
    success = False
221
267
    try:
222
 
        # This may throw an exception, in which case success will
223
 
        # not be set.
224
 
        rename_func(old, new)
225
 
        success = True
 
268
        try:
 
269
            # This may throw an exception, in which case success will
 
270
            # not be set.
 
271
            rename_func(old, new)
 
272
            success = True
 
273
        except (IOError, OSError), e:
 
274
            # source and target may be aliases of each other (e.g. on a
 
275
            # case-insensitive filesystem), so we may have accidentally renamed
 
276
            # source by when we tried to rename target
 
277
            failure_exc = sys.exc_info()
 
278
            if (file_existed and e.errno in (None, errno.ENOENT)
 
279
                and old.lower() == new.lower()):
 
280
                # source and target are the same file on a case-insensitive
 
281
                # filesystem, so we don't generate an exception
 
282
                failure_exc = None
226
283
    finally:
227
284
        if file_existed:
228
285
            # If the file used to exist, rename it back into place
231
288
                unlink_func(tmp_name)
232
289
            else:
233
290
                rename_func(tmp_name, new)
 
291
    if failure_exc is not None:
 
292
        try:
 
293
            raise failure_exc[0], failure_exc[1], failure_exc[2]
 
294
        finally:
 
295
            del failure_exc
234
296
 
235
297
 
236
298
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
237
299
# choke on a Unicode string containing a relative path if
238
300
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
239
301
# string.
240
 
_fs_enc = sys.getfilesystemencoding() or 'utf-8'
241
302
def _posix_abspath(path):
242
303
    # jam 20060426 rather than encoding to fsencoding
243
304
    # copy posixpath.abspath, but use os.getcwdu instead
244
305
    if not posixpath.isabs(path):
245
306
        path = posixpath.join(getcwd(), path)
246
 
    return posixpath.normpath(path)
 
307
    return _posix_normpath(path)
247
308
 
248
309
 
249
310
def _posix_realpath(path):
250
311
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
251
312
 
252
313
 
 
314
def _posix_normpath(path):
 
315
    path = posixpath.normpath(path)
 
316
    # Bug 861008: posixpath.normpath() returns a path normalized according to
 
317
    # the POSIX standard, which stipulates (for compatibility reasons) that two
 
318
    # leading slashes must not be simplified to one, and only if there are 3 or
 
319
    # more should they be simplified as one. So we treat the leading 2 slashes
 
320
    # as a special case here by simply removing the first slash, as we consider
 
321
    # that breaking POSIX compatibility for this obscure feature is acceptable.
 
322
    # This is not a paranoid precaution, as we notably get paths like this when
 
323
    # the repo is hosted at the root of the filesystem, i.e. in "/".    
 
324
    if path.startswith('//'):
 
325
        path = path[1:]
 
326
    return path
 
327
 
 
328
 
 
329
def _posix_path_from_environ(key):
 
330
    """Get unicode path from `key` in environment or None if not present
 
331
 
 
332
    Note that posix systems use arbitrary byte strings for filesystem objects,
 
333
    so a path that raises BadFilenameEncoding here may still be accessible.
 
334
    """
 
335
    val = os.environ.get(key, None)
 
336
    if val is None:
 
337
        return val
 
338
    try:
 
339
        return val.decode(_fs_enc)
 
340
    except UnicodeDecodeError:
 
341
        # GZ 2011-12-12:Ideally want to include `key` in the exception message
 
342
        raise errors.BadFilenameEncoding(val, _fs_enc)
 
343
 
 
344
 
 
345
def _posix_getuser_unicode():
 
346
    """Get username from environment or password database as unicode"""
 
347
    name = getpass.getuser()
 
348
    user_encoding = get_user_encoding()
 
349
    try:
 
350
        return name.decode(user_encoding)
 
351
    except UnicodeDecodeError:
 
352
        raise errors.BzrError("Encoding of username %r is unsupported by %s "
 
353
            "application locale." % (name, user_encoding))
 
354
 
 
355
 
253
356
def _win32_fixdrive(path):
254
357
    """Force drive letters to be consistent.
255
358
 
259
362
    running python.exe under cmd.exe return capital C:\\
260
363
    running win32 python inside a cygwin shell returns lowercase c:\\
261
364
    """
262
 
    drive, path = _nt_splitdrive(path)
 
365
    drive, path = ntpath.splitdrive(path)
263
366
    return drive.upper() + path
264
367
 
265
368
 
266
369
def _win32_abspath(path):
267
 
    # Real _nt_abspath doesn't have a problem with a unicode cwd
268
 
    return _win32_fixdrive(_nt_abspath(unicode(path)).replace('\\', '/'))
 
370
    # Real ntpath.abspath doesn't have a problem with a unicode cwd
 
371
    return _win32_fixdrive(ntpath.abspath(unicode(path)).replace('\\', '/'))
269
372
 
270
373
 
271
374
def _win98_abspath(path):
282
385
    #   /path       => C:/path
283
386
    path = unicode(path)
284
387
    # check for absolute path
285
 
    drive = _nt_splitdrive(path)[0]
 
388
    drive = ntpath.splitdrive(path)[0]
286
389
    if drive == '' and path[:2] not in('//','\\\\'):
287
390
        cwd = os.getcwdu()
288
391
        # we cannot simply os.path.join cwd and path
289
392
        # because os.path.join('C:','/path') produce '/path'
290
393
        # and this is incorrect
291
394
        if path[:1] in ('/','\\'):
292
 
            cwd = _nt_splitdrive(cwd)[0]
 
395
            cwd = ntpath.splitdrive(cwd)[0]
293
396
            path = path[1:]
294
397
        path = cwd + '\\' + path
295
 
    return _win32_fixdrive(_nt_normpath(path).replace('\\', '/'))
296
 
 
297
 
if win32utils.winver == 'Windows 98':
298
 
    _win32_abspath = _win98_abspath
 
398
    return _win32_fixdrive(ntpath.normpath(path).replace('\\', '/'))
299
399
 
300
400
 
301
401
def _win32_realpath(path):
302
 
    # Real _nt_realpath doesn't have a problem with a unicode cwd
303
 
    return _win32_fixdrive(_nt_realpath(unicode(path)).replace('\\', '/'))
 
402
    # Real ntpath.realpath doesn't have a problem with a unicode cwd
 
403
    return _win32_fixdrive(ntpath.realpath(unicode(path)).replace('\\', '/'))
304
404
 
305
405
 
306
406
def _win32_pathjoin(*args):
307
 
    return _nt_join(*args).replace('\\', '/')
 
407
    return ntpath.join(*args).replace('\\', '/')
308
408
 
309
409
 
310
410
def _win32_normpath(path):
311
 
    return _win32_fixdrive(_nt_normpath(unicode(path)).replace('\\', '/'))
 
411
    return _win32_fixdrive(ntpath.normpath(unicode(path)).replace('\\', '/'))
312
412
 
313
413
 
314
414
def _win32_getcwd():
323
423
    """We expect to be able to atomically replace 'new' with old.
324
424
 
325
425
    On win32, if new exists, it must be moved out of the way first,
326
 
    and then deleted. 
 
426
    and then deleted.
327
427
    """
328
428
    try:
329
429
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
330
430
    except OSError, e:
331
431
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
332
 
            # If we try to rename a non-existant file onto cwd, we get 
333
 
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT 
 
432
            # If we try to rename a non-existant file onto cwd, we get
 
433
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT
334
434
            # if the old path doesn't exist, sometimes we get EACCES
335
435
            # On Linux, we seem to get EBUSY, on Mac we get EINVAL
336
436
            os.lstat(old)
338
438
 
339
439
 
340
440
def _mac_getcwd():
341
 
    return unicodedata.normalize('NFKC', os.getcwdu())
 
441
    return unicodedata.normalize('NFC', os.getcwdu())
342
442
 
343
443
 
344
444
# Default is to just use the python builtins, but these can be rebound on
346
446
abspath = _posix_abspath
347
447
realpath = _posix_realpath
348
448
pathjoin = os.path.join
349
 
normpath = os.path.normpath
 
449
normpath = _posix_normpath
 
450
path_from_environ = _posix_path_from_environ
 
451
getuser_unicode = _posix_getuser_unicode
350
452
getcwd = os.getcwdu
351
453
rename = os.rename
352
454
dirname = os.path.dirname
353
455
basename = os.path.basename
354
456
split = os.path.split
355
457
splitext = os.path.splitext
356
 
# These were already imported into local scope
 
458
# These were already lazily imported into local scope
357
459
# mkdtemp = tempfile.mkdtemp
358
460
# rmtree = shutil.rmtree
 
461
lstat = os.lstat
 
462
fstat = os.fstat
 
463
 
 
464
def wrap_stat(st):
 
465
    return st
 
466
 
359
467
 
360
468
MIN_ABS_PATHLENGTH = 1
361
469
 
362
470
 
363
471
if sys.platform == 'win32':
364
 
    abspath = _win32_abspath
 
472
    if win32utils.winver == 'Windows 98':
 
473
        abspath = _win98_abspath
 
474
    else:
 
475
        abspath = _win32_abspath
365
476
    realpath = _win32_realpath
366
477
    pathjoin = _win32_pathjoin
367
478
    normpath = _win32_normpath
368
479
    getcwd = _win32_getcwd
369
480
    mkdtemp = _win32_mkdtemp
370
481
    rename = _win32_rename
 
482
    try:
 
483
        from bzrlib import _walkdirs_win32
 
484
    except ImportError:
 
485
        pass
 
486
    else:
 
487
        lstat = _walkdirs_win32.lstat
 
488
        fstat = _walkdirs_win32.fstat
 
489
        wrap_stat = _walkdirs_win32.wrap_stat
371
490
 
372
491
    MIN_ABS_PATHLENGTH = 3
373
492
 
387
506
    def rmtree(path, ignore_errors=False, onerror=_win32_delete_readonly):
388
507
        """Replacer for shutil.rmtree: could remove readonly dirs/files"""
389
508
        return shutil.rmtree(path, ignore_errors, onerror)
 
509
 
 
510
    f = win32utils.get_unicode_argv     # special function or None
 
511
    if f is not None:
 
512
        get_unicode_argv = f
 
513
    path_from_environ = win32utils.get_environ_unicode
 
514
    getuser_unicode = win32utils.get_user_name
 
515
 
390
516
elif sys.platform == 'darwin':
391
517
    getcwd = _mac_getcwd
392
518
 
393
519
 
394
 
def get_terminal_encoding():
 
520
def get_terminal_encoding(trace=False):
395
521
    """Find the best encoding for printing to the screen.
396
522
 
397
523
    This attempts to check both sys.stdout and sys.stdin to see
398
524
    what encoding they are in, and if that fails it falls back to
399
 
    bzrlib.user_encoding.
 
525
    osutils.get_user_encoding().
400
526
    The problem is that on Windows, locale.getpreferredencoding()
401
527
    is not the same encoding as that used by the console:
402
528
    http://mail.python.org/pipermail/python-list/2003-May/162357.html
403
529
 
404
530
    On my standard US Windows XP, the preferred encoding is
405
531
    cp1252, but the console is cp437
 
532
 
 
533
    :param trace: If True trace the selected encoding via mutter().
406
534
    """
 
535
    from bzrlib.trace import mutter
407
536
    output_encoding = getattr(sys.stdout, 'encoding', None)
408
537
    if not output_encoding:
409
538
        input_encoding = getattr(sys.stdin, 'encoding', None)
410
539
        if not input_encoding:
411
 
            output_encoding = bzrlib.user_encoding
412
 
            mutter('encoding stdout as bzrlib.user_encoding %r', output_encoding)
 
540
            output_encoding = get_user_encoding()
 
541
            if trace:
 
542
                mutter('encoding stdout as osutils.get_user_encoding() %r',
 
543
                   output_encoding)
413
544
        else:
414
545
            output_encoding = input_encoding
415
 
            mutter('encoding stdout as sys.stdin encoding %r', output_encoding)
 
546
            if trace:
 
547
                mutter('encoding stdout as sys.stdin encoding %r',
 
548
                    output_encoding)
416
549
    else:
417
 
        mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
 
550
        if trace:
 
551
            mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
418
552
    if output_encoding == 'cp0':
419
553
        # invalid encoding (cp0 means 'no codepage' on Windows)
420
 
        output_encoding = bzrlib.user_encoding
421
 
        mutter('cp0 is invalid encoding.'
422
 
               ' encoding stdout as bzrlib.user_encoding %r', output_encoding)
 
554
        output_encoding = get_user_encoding()
 
555
        if trace:
 
556
            mutter('cp0 is invalid encoding.'
 
557
               ' encoding stdout as osutils.get_user_encoding() %r',
 
558
               output_encoding)
423
559
    # check encoding
424
560
    try:
425
561
        codecs.lookup(output_encoding)
427
563
        sys.stderr.write('bzr: warning:'
428
564
                         ' unknown terminal encoding %s.\n'
429
565
                         '  Using encoding %s instead.\n'
430
 
                         % (output_encoding, bzrlib.user_encoding)
 
566
                         % (output_encoding, get_user_encoding())
431
567
                        )
432
 
        output_encoding = bzrlib.user_encoding
 
568
        output_encoding = get_user_encoding()
433
569
 
434
570
    return output_encoding
435
571
 
446
582
        return pathjoin(F(p), e)
447
583
 
448
584
 
449
 
def backup_file(fn):
450
 
    """Copy a file to a backup.
451
 
 
452
 
    Backups are named in GNU-style, with a ~ suffix.
453
 
 
454
 
    If the file is already a backup, it's not copied.
455
 
    """
456
 
    if fn[-1] == '~':
457
 
        return
458
 
    bfn = fn + '~'
459
 
 
460
 
    if has_symlinks() and os.path.islink(fn):
461
 
        target = os.readlink(fn)
462
 
        os.symlink(target, bfn)
463
 
        return
464
 
    inf = file(fn, 'rb')
465
 
    try:
466
 
        content = inf.read()
467
 
    finally:
468
 
        inf.close()
469
 
    
470
 
    outf = file(bfn, 'wb')
471
 
    try:
472
 
        outf.write(content)
473
 
    finally:
474
 
        outf.close()
475
 
 
476
 
 
477
585
def isdir(f):
478
586
    """True if f is an accessible directory."""
479
587
    try:
480
 
        return S_ISDIR(os.lstat(f)[ST_MODE])
 
588
        return stat.S_ISDIR(os.lstat(f)[stat.ST_MODE])
481
589
    except OSError:
482
590
        return False
483
591
 
485
593
def isfile(f):
486
594
    """True if f is a regular file."""
487
595
    try:
488
 
        return S_ISREG(os.lstat(f)[ST_MODE])
 
596
        return stat.S_ISREG(os.lstat(f)[stat.ST_MODE])
489
597
    except OSError:
490
598
        return False
491
599
 
492
600
def islink(f):
493
601
    """True if f is a symlink."""
494
602
    try:
495
 
        return S_ISLNK(os.lstat(f)[ST_MODE])
 
603
        return stat.S_ISLNK(os.lstat(f)[stat.ST_MODE])
496
604
    except OSError:
497
605
        return False
498
606
 
499
607
def is_inside(dir, fname):
500
608
    """True if fname is inside dir.
501
 
    
 
609
 
502
610
    The parameters should typically be passed to osutils.normpath first, so
503
611
    that . and .. and repeated slashes are eliminated, and the separators
504
612
    are canonical for the platform.
505
 
    
506
 
    The empty string as a dir name is taken as top-of-tree and matches 
 
613
 
 
614
    The empty string as a dir name is taken as top-of-tree and matches
507
615
    everything.
508
616
    """
509
 
    # XXX: Most callers of this can actually do something smarter by 
 
617
    # XXX: Most callers of this can actually do something smarter by
510
618
    # looking at the inventory
511
619
    if dir == fname:
512
620
        return True
513
 
    
 
621
 
514
622
    if dir == '':
515
623
        return True
516
624
 
536
644
    return False
537
645
 
538
646
 
539
 
def pumpfile(fromfile, tofile):
540
 
    """Copy contents of one file to another."""
541
 
    BUFSIZE = 32768
542
 
    while True:
543
 
        b = fromfile.read(BUFSIZE)
544
 
        if not b:
545
 
            break
546
 
        tofile.write(b)
 
647
def pumpfile(from_file, to_file, read_length=-1, buff_size=32768,
 
648
             report_activity=None, direction='read'):
 
649
    """Copy contents of one file to another.
 
650
 
 
651
    The read_length can either be -1 to read to end-of-file (EOF) or
 
652
    it can specify the maximum number of bytes to read.
 
653
 
 
654
    The buff_size represents the maximum size for each read operation
 
655
    performed on from_file.
 
656
 
 
657
    :param report_activity: Call this as bytes are read, see
 
658
        Transport._report_activity
 
659
    :param direction: Will be passed to report_activity
 
660
 
 
661
    :return: The number of bytes copied.
 
662
    """
 
663
    length = 0
 
664
    if read_length >= 0:
 
665
        # read specified number of bytes
 
666
 
 
667
        while read_length > 0:
 
668
            num_bytes_to_read = min(read_length, buff_size)
 
669
 
 
670
            block = from_file.read(num_bytes_to_read)
 
671
            if not block:
 
672
                # EOF reached
 
673
                break
 
674
            if report_activity is not None:
 
675
                report_activity(len(block), direction)
 
676
            to_file.write(block)
 
677
 
 
678
            actual_bytes_read = len(block)
 
679
            read_length -= actual_bytes_read
 
680
            length += actual_bytes_read
 
681
    else:
 
682
        # read to EOF
 
683
        while True:
 
684
            block = from_file.read(buff_size)
 
685
            if not block:
 
686
                # EOF reached
 
687
                break
 
688
            if report_activity is not None:
 
689
                report_activity(len(block), direction)
 
690
            to_file.write(block)
 
691
            length += len(block)
 
692
    return length
 
693
 
 
694
 
 
695
def pump_string_file(bytes, file_handle, segment_size=None):
 
696
    """Write bytes to file_handle in many smaller writes.
 
697
 
 
698
    :param bytes: The string to write.
 
699
    :param file_handle: The file to write to.
 
700
    """
 
701
    # Write data in chunks rather than all at once, because very large
 
702
    # writes fail on some platforms (e.g. Windows with SMB  mounted
 
703
    # drives).
 
704
    if not segment_size:
 
705
        segment_size = 5242880 # 5MB
 
706
    segments = range(len(bytes) / segment_size + 1)
 
707
    write = file_handle.write
 
708
    for segment_index in segments:
 
709
        segment = buffer(bytes, segment_index * segment_size, segment_size)
 
710
        write(segment)
547
711
 
548
712
 
549
713
def file_iterator(input_file, readsize=32768):
555
719
 
556
720
 
557
721
def sha_file(f):
558
 
    if getattr(f, 'tell', None) is not None:
559
 
        assert f.tell() == 0
560
 
    s = sha.new()
 
722
    """Calculate the hexdigest of an open file.
 
723
 
 
724
    The file cursor should be already at the start.
 
725
    """
 
726
    s = sha()
561
727
    BUFSIZE = 128<<10
562
728
    while True:
563
729
        b = f.read(BUFSIZE)
567
733
    return s.hexdigest()
568
734
 
569
735
 
570
 
 
571
 
def sha_strings(strings):
 
736
def size_sha_file(f):
 
737
    """Calculate the size and hexdigest of an open file.
 
738
 
 
739
    The file cursor should be already at the start and
 
740
    the caller is responsible for closing the file afterwards.
 
741
    """
 
742
    size = 0
 
743
    s = sha()
 
744
    BUFSIZE = 128<<10
 
745
    while True:
 
746
        b = f.read(BUFSIZE)
 
747
        if not b:
 
748
            break
 
749
        size += len(b)
 
750
        s.update(b)
 
751
    return size, s.hexdigest()
 
752
 
 
753
 
 
754
def sha_file_by_name(fname):
 
755
    """Calculate the SHA1 of a file by reading the full text"""
 
756
    s = sha()
 
757
    f = os.open(fname, os.O_RDONLY | O_BINARY | O_NOINHERIT)
 
758
    try:
 
759
        while True:
 
760
            b = os.read(f, 1<<16)
 
761
            if not b:
 
762
                return s.hexdigest()
 
763
            s.update(b)
 
764
    finally:
 
765
        os.close(f)
 
766
 
 
767
 
 
768
def sha_strings(strings, _factory=sha):
572
769
    """Return the sha-1 of concatenation of strings"""
573
 
    s = sha.new()
 
770
    s = _factory()
574
771
    map(s.update, strings)
575
772
    return s.hexdigest()
576
773
 
577
774
 
578
 
def sha_string(f):
579
 
    s = sha.new()
580
 
    s.update(f)
581
 
    return s.hexdigest()
 
775
def sha_string(f, _factory=sha):
 
776
    return _factory(f).hexdigest()
582
777
 
583
778
 
584
779
def fingerprint_file(f):
585
 
    s = sha.new()
586
780
    b = f.read()
587
 
    s.update(b)
588
 
    size = len(b)
589
 
    return {'size': size,
590
 
            'sha1': s.hexdigest()}
 
781
    return {'size': len(b),
 
782
            'sha1': sha(b).hexdigest()}
591
783
 
592
784
 
593
785
def compare_files(a, b):
609
801
    offset = datetime.fromtimestamp(t) - datetime.utcfromtimestamp(t)
610
802
    return offset.days * 86400 + offset.seconds
611
803
 
612
 
    
 
804
weekdays = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
 
805
_default_format_by_weekday_num = [wd + " %Y-%m-%d %H:%M:%S" for wd in weekdays]
 
806
 
 
807
 
613
808
def format_date(t, offset=0, timezone='original', date_fmt=None,
614
809
                show_offset=True):
615
810
    """Return a formatted date string.
619
814
    :param timezone: How to display the time: 'utc', 'original' for the
620
815
         timezone specified by offset, or 'local' for the process's current
621
816
         timezone.
622
 
    :param show_offset: Whether to append the timezone.
623
 
    :param date_fmt: strftime format.
624
 
    """
 
817
    :param date_fmt: strftime format.
 
818
    :param show_offset: Whether to append the timezone.
 
819
    """
 
820
    (date_fmt, tt, offset_str) = \
 
821
               _format_date(t, offset, timezone, date_fmt, show_offset)
 
822
    date_fmt = date_fmt.replace('%a', weekdays[tt[6]])
 
823
    date_str = time.strftime(date_fmt, tt)
 
824
    return date_str + offset_str
 
825
 
 
826
 
 
827
# Cache of formatted offset strings
 
828
_offset_cache = {}
 
829
 
 
830
 
 
831
def format_date_with_offset_in_original_timezone(t, offset=0,
 
832
    _cache=_offset_cache):
 
833
    """Return a formatted date string in the original timezone.
 
834
 
 
835
    This routine may be faster then format_date.
 
836
 
 
837
    :param t: Seconds since the epoch.
 
838
    :param offset: Timezone offset in seconds east of utc.
 
839
    """
 
840
    if offset is None:
 
841
        offset = 0
 
842
    tt = time.gmtime(t + offset)
 
843
    date_fmt = _default_format_by_weekday_num[tt[6]]
 
844
    date_str = time.strftime(date_fmt, tt)
 
845
    offset_str = _cache.get(offset, None)
 
846
    if offset_str is None:
 
847
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
 
848
        _cache[offset] = offset_str
 
849
    return date_str + offset_str
 
850
 
 
851
 
 
852
def format_local_date(t, offset=0, timezone='original', date_fmt=None,
 
853
                      show_offset=True):
 
854
    """Return an unicode date string formatted according to the current locale.
 
855
 
 
856
    :param t: Seconds since the epoch.
 
857
    :param offset: Timezone offset in seconds east of utc.
 
858
    :param timezone: How to display the time: 'utc', 'original' for the
 
859
         timezone specified by offset, or 'local' for the process's current
 
860
         timezone.
 
861
    :param date_fmt: strftime format.
 
862
    :param show_offset: Whether to append the timezone.
 
863
    """
 
864
    (date_fmt, tt, offset_str) = \
 
865
               _format_date(t, offset, timezone, date_fmt, show_offset)
 
866
    date_str = time.strftime(date_fmt, tt)
 
867
    if not isinstance(date_str, unicode):
 
868
        date_str = date_str.decode(get_user_encoding(), 'replace')
 
869
    return date_str + offset_str
 
870
 
 
871
 
 
872
def _format_date(t, offset, timezone, date_fmt, show_offset):
625
873
    if timezone == 'utc':
626
874
        tt = time.gmtime(t)
627
875
        offset = 0
633
881
        tt = time.localtime(t)
634
882
        offset = local_time_offset(t)
635
883
    else:
636
 
        raise errors.BzrError("unsupported timezone format %r" % timezone,
637
 
                              ['options are "utc", "original", "local"'])
 
884
        raise errors.UnsupportedTimezoneFormat(timezone)
638
885
    if date_fmt is None:
639
886
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
640
887
    if show_offset:
641
888
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
642
889
    else:
643
890
        offset_str = ''
644
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
891
    return (date_fmt, tt, offset_str)
645
892
 
646
893
 
647
894
def compact_date(when):
648
895
    return time.strftime('%Y%m%d%H%M%S', time.gmtime(when))
649
 
    
 
896
 
650
897
 
651
898
def format_delta(delta):
652
899
    """Get a nice looking string for a time delta.
699
946
 
700
947
def filesize(f):
701
948
    """Return size of given open file."""
702
 
    return os.fstat(f.fileno())[ST_SIZE]
703
 
 
704
 
 
705
 
# Define rand_bytes based on platform.
706
 
try:
707
 
    # Python 2.4 and later have os.urandom,
708
 
    # but it doesn't work on some arches
709
 
    os.urandom(1)
710
 
    rand_bytes = os.urandom
711
 
except (NotImplementedError, AttributeError):
712
 
    # If python doesn't have os.urandom, or it doesn't work,
713
 
    # then try to first pull random data from /dev/urandom
 
949
    return os.fstat(f.fileno())[stat.ST_SIZE]
 
950
 
 
951
 
 
952
# Alias os.urandom to support platforms (which?) without /dev/urandom and 
 
953
# override if it doesn't work. Avoid checking on windows where there is
 
954
# significant initialisation cost that can be avoided for some bzr calls.
 
955
 
 
956
rand_bytes = os.urandom
 
957
 
 
958
if rand_bytes.__module__ != "nt":
714
959
    try:
715
 
        rand_bytes = file('/dev/urandom', 'rb').read
716
 
    # Otherwise, use this hack as a last resort
717
 
    except (IOError, OSError):
 
960
        rand_bytes(1)
 
961
    except NotImplementedError:
718
962
        # not well seeded, but better than nothing
719
963
        def rand_bytes(n):
720
964
            import random
728
972
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
729
973
def rand_chars(num):
730
974
    """Return a random string of num alphanumeric characters
731
 
    
732
 
    The result only contains lowercase chars because it may be used on 
 
975
 
 
976
    The result only contains lowercase chars because it may be used on
733
977
    case-insensitive filesystems.
734
978
    """
735
979
    s = ''
743
987
 
744
988
def splitpath(p):
745
989
    """Turn string into list of parts."""
746
 
    assert isinstance(p, basestring)
747
 
 
748
990
    # split on either delimiter because people might use either on
749
991
    # Windows
750
992
    ps = re.split(r'[\\/]', p)
752
994
    rps = []
753
995
    for f in ps:
754
996
        if f == '..':
755
 
            raise errors.BzrError("sorry, %r not allowed in path" % f)
 
997
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
756
998
        elif (f == '.') or (f == ''):
757
999
            pass
758
1000
        else:
759
1001
            rps.append(f)
760
1002
    return rps
761
1003
 
 
1004
 
762
1005
def joinpath(p):
763
 
    assert isinstance(p, (list, tuple))
764
1006
    for f in p:
765
1007
        if (f == '..') or (f is None) or (f == ''):
766
 
            raise errors.BzrError("sorry, %r not allowed in path" % f)
 
1008
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
767
1009
    return pathjoin(*p)
768
1010
 
769
1011
 
 
1012
def parent_directories(filename):
 
1013
    """Return the list of parent directories, deepest first.
 
1014
 
 
1015
    For example, parent_directories("a/b/c") -> ["a/b", "a"].
 
1016
    """
 
1017
    parents = []
 
1018
    parts = splitpath(dirname(filename))
 
1019
    while parts:
 
1020
        parents.append(joinpath(parts))
 
1021
        parts.pop()
 
1022
    return parents
 
1023
 
 
1024
 
 
1025
_extension_load_failures = []
 
1026
 
 
1027
 
 
1028
def failed_to_load_extension(exception):
 
1029
    """Handle failing to load a binary extension.
 
1030
 
 
1031
    This should be called from the ImportError block guarding the attempt to
 
1032
    import the native extension.  If this function returns, the pure-Python
 
1033
    implementation should be loaded instead::
 
1034
 
 
1035
    >>> try:
 
1036
    >>>     import bzrlib._fictional_extension_pyx
 
1037
    >>> except ImportError, e:
 
1038
    >>>     bzrlib.osutils.failed_to_load_extension(e)
 
1039
    >>>     import bzrlib._fictional_extension_py
 
1040
    """
 
1041
    # NB: This docstring is just an example, not a doctest, because doctest
 
1042
    # currently can't cope with the use of lazy imports in this namespace --
 
1043
    # mbp 20090729
 
1044
 
 
1045
    # This currently doesn't report the failure at the time it occurs, because
 
1046
    # they tend to happen very early in startup when we can't check config
 
1047
    # files etc, and also we want to report all failures but not spam the user
 
1048
    # with 10 warnings.
 
1049
    exception_str = str(exception)
 
1050
    if exception_str not in _extension_load_failures:
 
1051
        trace.mutter("failed to load compiled extension: %s" % exception_str)
 
1052
        _extension_load_failures.append(exception_str)
 
1053
 
 
1054
 
 
1055
def report_extension_load_failures():
 
1056
    if not _extension_load_failures:
 
1057
        return
 
1058
    if config.GlobalStack().get('ignore_missing_extensions'):
 
1059
        return
 
1060
    # the warnings framework should by default show this only once
 
1061
    from bzrlib.trace import warning
 
1062
    warning(
 
1063
        "bzr: warning: some compiled extensions could not be loaded; "
 
1064
        "see <https://answers.launchpad.net/bzr/+faq/703>")
 
1065
    # we no longer show the specific missing extensions here, because it makes
 
1066
    # the message too long and scary - see
 
1067
    # https://bugs.launchpad.net/bzr/+bug/430529
 
1068
 
 
1069
 
 
1070
try:
 
1071
    from bzrlib._chunks_to_lines_pyx import chunks_to_lines
 
1072
except ImportError, e:
 
1073
    failed_to_load_extension(e)
 
1074
    from bzrlib._chunks_to_lines_py import chunks_to_lines
 
1075
 
 
1076
 
770
1077
def split_lines(s):
771
1078
    """Split s into lines, but without removing the newline characters."""
 
1079
    # Trivially convert a fulltext into a 'chunked' representation, and let
 
1080
    # chunks_to_lines do the heavy lifting.
 
1081
    if isinstance(s, str):
 
1082
        # chunks_to_lines only supports 8-bit strings
 
1083
        return chunks_to_lines([s])
 
1084
    else:
 
1085
        return _split_lines(s)
 
1086
 
 
1087
 
 
1088
def _split_lines(s):
 
1089
    """Split s into lines, but without removing the newline characters.
 
1090
 
 
1091
    This supports Unicode or plain string objects.
 
1092
    """
772
1093
    lines = s.split('\n')
773
1094
    result = [line + '\n' for line in lines[:-1]]
774
1095
    if lines[-1]:
792
1113
            raise
793
1114
        shutil.copyfile(src, dest)
794
1115
 
795
 
def delete_any(full_path):
796
 
    """Delete a file or directory."""
 
1116
 
 
1117
def delete_any(path):
 
1118
    """Delete a file, symlink or directory.
 
1119
 
 
1120
    Will delete even if readonly.
 
1121
    """
797
1122
    try:
798
 
        os.unlink(full_path)
799
 
    except OSError, e:
800
 
    # We may be renaming a dangling inventory id
801
 
        if e.errno not in (errno.EISDIR, errno.EACCES, errno.EPERM):
 
1123
       _delete_file_or_dir(path)
 
1124
    except (OSError, IOError), e:
 
1125
        if e.errno in (errno.EPERM, errno.EACCES):
 
1126
            # make writable and try again
 
1127
            try:
 
1128
                make_writable(path)
 
1129
            except (OSError, IOError):
 
1130
                pass
 
1131
            _delete_file_or_dir(path)
 
1132
        else:
802
1133
            raise
803
 
        os.rmdir(full_path)
 
1134
 
 
1135
 
 
1136
def _delete_file_or_dir(path):
 
1137
    # Look Before You Leap (LBYL) is appropriate here instead of Easier to Ask for
 
1138
    # Forgiveness than Permission (EAFP) because:
 
1139
    # - root can damage a solaris file system by using unlink,
 
1140
    # - unlink raises different exceptions on different OSes (linux: EISDIR, win32:
 
1141
    #   EACCES, OSX: EPERM) when invoked on a directory.
 
1142
    if isdir(path): # Takes care of symlinks
 
1143
        os.rmdir(path)
 
1144
    else:
 
1145
        os.unlink(path)
804
1146
 
805
1147
 
806
1148
def has_symlinks():
808
1150
        return True
809
1151
    else:
810
1152
        return False
811
 
        
 
1153
 
 
1154
 
 
1155
def has_hardlinks():
 
1156
    if getattr(os, 'link', None) is not None:
 
1157
        return True
 
1158
    else:
 
1159
        return False
 
1160
 
 
1161
 
 
1162
def host_os_dereferences_symlinks():
 
1163
    return (has_symlinks()
 
1164
            and sys.platform not in ('cygwin', 'win32'))
 
1165
 
 
1166
 
 
1167
def readlink(abspath):
 
1168
    """Return a string representing the path to which the symbolic link points.
 
1169
 
 
1170
    :param abspath: The link absolute unicode path.
 
1171
 
 
1172
    This his guaranteed to return the symbolic link in unicode in all python
 
1173
    versions.
 
1174
    """
 
1175
    link = abspath.encode(_fs_enc)
 
1176
    target = os.readlink(link)
 
1177
    target = target.decode(_fs_enc)
 
1178
    return target
 
1179
 
812
1180
 
813
1181
def contains_whitespace(s):
814
1182
    """True if there are any whitespace characters in s."""
840
1208
 
841
1209
 
842
1210
def relpath(base, path):
843
 
    """Return path relative to base, or raise exception.
 
1211
    """Return path relative to base, or raise PathNotChild exception.
844
1212
 
845
1213
    The path may be either an absolute path or a path relative to the
846
1214
    current working directory.
848
1216
    os.path.commonprefix (python2.4) has a bad bug that it works just
849
1217
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
850
1218
    avoids that problem.
 
1219
 
 
1220
    NOTE: `base` should not have a trailing slash otherwise you'll get
 
1221
    PathNotChild exceptions regardless of `path`.
851
1222
    """
852
1223
 
853
 
    assert len(base) >= MIN_ABS_PATHLENGTH, ('Length of base must be equal or'
854
 
        ' exceed the platform minimum length (which is %d)' % 
855
 
        MIN_ABS_PATHLENGTH)
 
1224
    if len(base) < MIN_ABS_PATHLENGTH:
 
1225
        # must have space for e.g. a drive letter
 
1226
        raise ValueError(gettext('%r is too short to calculate a relative path')
 
1227
            % (base,))
856
1228
 
857
1229
    rp = abspath(path)
858
1230
 
859
1231
    s = []
860
1232
    head = rp
861
 
    while len(head) >= len(base):
 
1233
    while True:
 
1234
        if len(head) <= len(base) and head != base:
 
1235
            raise errors.PathNotChild(rp, base)
862
1236
        if head == base:
863
1237
            break
864
 
        head, tail = os.path.split(head)
 
1238
        head, tail = split(head)
865
1239
        if tail:
866
 
            s.insert(0, tail)
867
 
    else:
868
 
        raise errors.PathNotChild(rp, base)
 
1240
            s.append(tail)
869
1241
 
870
1242
    if s:
871
 
        return pathjoin(*s)
 
1243
        return pathjoin(*reversed(s))
872
1244
    else:
873
1245
        return ''
874
1246
 
875
1247
 
 
1248
def _cicp_canonical_relpath(base, path):
 
1249
    """Return the canonical path relative to base.
 
1250
 
 
1251
    Like relpath, but on case-insensitive-case-preserving file-systems, this
 
1252
    will return the relpath as stored on the file-system rather than in the
 
1253
    case specified in the input string, for all existing portions of the path.
 
1254
 
 
1255
    This will cause O(N) behaviour if called for every path in a tree; if you
 
1256
    have a number of paths to convert, you should use canonical_relpaths().
 
1257
    """
 
1258
    # TODO: it should be possible to optimize this for Windows by using the
 
1259
    # win32 API FindFiles function to look for the specified name - but using
 
1260
    # os.listdir() still gives us the correct, platform agnostic semantics in
 
1261
    # the short term.
 
1262
 
 
1263
    rel = relpath(base, path)
 
1264
    # '.' will have been turned into ''
 
1265
    if not rel:
 
1266
        return rel
 
1267
 
 
1268
    abs_base = abspath(base)
 
1269
    current = abs_base
 
1270
    _listdir = os.listdir
 
1271
 
 
1272
    # use an explicit iterator so we can easily consume the rest on early exit.
 
1273
    bit_iter = iter(rel.split('/'))
 
1274
    for bit in bit_iter:
 
1275
        lbit = bit.lower()
 
1276
        try:
 
1277
            next_entries = _listdir(current)
 
1278
        except OSError: # enoent, eperm, etc
 
1279
            # We can't find this in the filesystem, so just append the
 
1280
            # remaining bits.
 
1281
            current = pathjoin(current, bit, *list(bit_iter))
 
1282
            break
 
1283
        for look in next_entries:
 
1284
            if lbit == look.lower():
 
1285
                current = pathjoin(current, look)
 
1286
                break
 
1287
        else:
 
1288
            # got to the end, nothing matched, so we just return the
 
1289
            # non-existing bits as they were specified (the filename may be
 
1290
            # the target of a move, for example).
 
1291
            current = pathjoin(current, bit, *list(bit_iter))
 
1292
            break
 
1293
    return current[len(abs_base):].lstrip('/')
 
1294
 
 
1295
# XXX - TODO - we need better detection/integration of case-insensitive
 
1296
# file-systems; Linux often sees FAT32 devices (or NFS-mounted OSX
 
1297
# filesystems), for example, so could probably benefit from the same basic
 
1298
# support there.  For now though, only Windows and OSX get that support, and
 
1299
# they get it for *all* file-systems!
 
1300
if sys.platform in ('win32', 'darwin'):
 
1301
    canonical_relpath = _cicp_canonical_relpath
 
1302
else:
 
1303
    canonical_relpath = relpath
 
1304
 
 
1305
def canonical_relpaths(base, paths):
 
1306
    """Create an iterable to canonicalize a sequence of relative paths.
 
1307
 
 
1308
    The intent is for this implementation to use a cache, vastly speeding
 
1309
    up multiple transformations in the same directory.
 
1310
    """
 
1311
    # but for now, we haven't optimized...
 
1312
    return [canonical_relpath(base, p) for p in paths]
 
1313
 
 
1314
 
 
1315
def decode_filename(filename):
 
1316
    """Decode the filename using the filesystem encoding
 
1317
 
 
1318
    If it is unicode, it is returned.
 
1319
    Otherwise it is decoded from the the filesystem's encoding. If decoding
 
1320
    fails, a errors.BadFilenameEncoding exception is raised.
 
1321
    """
 
1322
    if type(filename) is unicode:
 
1323
        return filename
 
1324
    try:
 
1325
        return filename.decode(_fs_enc)
 
1326
    except UnicodeDecodeError:
 
1327
        raise errors.BadFilenameEncoding(filename, _fs_enc)
 
1328
 
 
1329
 
876
1330
def safe_unicode(unicode_or_utf8_string):
877
1331
    """Coerce unicode_or_utf8_string into unicode.
878
1332
 
879
1333
    If it is unicode, it is returned.
880
 
    Otherwise it is decoded from utf-8. If a decoding error
881
 
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
882
 
    as a BzrBadParameter exception.
 
1334
    Otherwise it is decoded from utf-8. If decoding fails, the exception is
 
1335
    wrapped in a BzrBadParameterNotUnicode exception.
883
1336
    """
884
1337
    if isinstance(unicode_or_utf8_string, unicode):
885
1338
        return unicode_or_utf8_string
962
1415
def normalizes_filenames():
963
1416
    """Return True if this platform normalizes unicode filenames.
964
1417
 
965
 
    Mac OSX does, Windows/Linux do not.
 
1418
    Only Mac OSX.
966
1419
    """
967
1420
    return _platform_normalizes_filenames
968
1421
 
972
1425
 
973
1426
    On platforms where the system normalizes filenames (Mac OSX),
974
1427
    you can access a file by any path which will normalize correctly.
975
 
    On platforms where the system does not normalize filenames 
976
 
    (Windows, Linux), you have to access a file by its exact path.
 
1428
    On platforms where the system does not normalize filenames
 
1429
    (everything else), you have to access a file by its exact path.
977
1430
 
978
 
    Internally, bzr only supports NFC/NFKC normalization, since that is 
 
1431
    Internally, bzr only supports NFC normalization, since that is
979
1432
    the standard for XML documents.
980
1433
 
981
1434
    So return the normalized path, and a flag indicating if the file
982
1435
    can be accessed by that path.
983
1436
    """
984
1437
 
985
 
    return unicodedata.normalize('NFKC', unicode(path)), True
 
1438
    return unicodedata.normalize('NFC', unicode(path)), True
986
1439
 
987
1440
 
988
1441
def _inaccessible_normalized_filename(path):
989
1442
    __doc__ = _accessible_normalized_filename.__doc__
990
1443
 
991
 
    normalized = unicodedata.normalize('NFKC', unicode(path))
 
1444
    normalized = unicodedata.normalize('NFC', unicode(path))
992
1445
    return normalized, normalized == path
993
1446
 
994
1447
 
998
1451
    normalized_filename = _inaccessible_normalized_filename
999
1452
 
1000
1453
 
 
1454
def set_signal_handler(signum, handler, restart_syscall=True):
 
1455
    """A wrapper for signal.signal that also calls siginterrupt(signum, False)
 
1456
    on platforms that support that.
 
1457
 
 
1458
    :param restart_syscall: if set, allow syscalls interrupted by a signal to
 
1459
        automatically restart (by calling `signal.siginterrupt(signum,
 
1460
        False)`).  May be ignored if the feature is not available on this
 
1461
        platform or Python version.
 
1462
    """
 
1463
    try:
 
1464
        import signal
 
1465
        siginterrupt = signal.siginterrupt
 
1466
    except ImportError:
 
1467
        # This python implementation doesn't provide signal support, hence no
 
1468
        # handler exists
 
1469
        return None
 
1470
    except AttributeError:
 
1471
        # siginterrupt doesn't exist on this platform, or for this version
 
1472
        # of Python.
 
1473
        siginterrupt = lambda signum, flag: None
 
1474
    if restart_syscall:
 
1475
        def sig_handler(*args):
 
1476
            # Python resets the siginterrupt flag when a signal is
 
1477
            # received.  <http://bugs.python.org/issue8354>
 
1478
            # As a workaround for some cases, set it back the way we want it.
 
1479
            siginterrupt(signum, False)
 
1480
            # Now run the handler function passed to set_signal_handler.
 
1481
            handler(*args)
 
1482
    else:
 
1483
        sig_handler = handler
 
1484
    old_handler = signal.signal(signum, sig_handler)
 
1485
    if restart_syscall:
 
1486
        siginterrupt(signum, False)
 
1487
    return old_handler
 
1488
 
 
1489
 
 
1490
default_terminal_width = 80
 
1491
"""The default terminal width for ttys.
 
1492
 
 
1493
This is defined so that higher levels can share a common fallback value when
 
1494
terminal_width() returns None.
 
1495
"""
 
1496
 
 
1497
# Keep some state so that terminal_width can detect if _terminal_size has
 
1498
# returned a different size since the process started.  See docstring and
 
1499
# comments of terminal_width for details.
 
1500
# _terminal_size_state has 3 possible values: no_data, unchanged, and changed.
 
1501
_terminal_size_state = 'no_data'
 
1502
_first_terminal_size = None
 
1503
 
1001
1504
def terminal_width():
1002
 
    """Return estimated terminal width."""
1003
 
    if sys.platform == 'win32':
1004
 
        return win32utils.get_console_size()[0]
1005
 
    width = 0
 
1505
    """Return terminal width.
 
1506
 
 
1507
    None is returned if the width can't established precisely.
 
1508
 
 
1509
    The rules are:
 
1510
    - if BZR_COLUMNS is set, returns its value
 
1511
    - if there is no controlling terminal, returns None
 
1512
    - query the OS, if the queried size has changed since the last query,
 
1513
      return its value,
 
1514
    - if COLUMNS is set, returns its value,
 
1515
    - if the OS has a value (even though it's never changed), return its value.
 
1516
 
 
1517
    From there, we need to query the OS to get the size of the controlling
 
1518
    terminal.
 
1519
 
 
1520
    On Unices we query the OS by:
 
1521
    - get termios.TIOCGWINSZ
 
1522
    - if an error occurs or a negative value is obtained, returns None
 
1523
 
 
1524
    On Windows we query the OS by:
 
1525
    - win32utils.get_console_size() decides,
 
1526
    - returns None on error (provided default value)
 
1527
    """
 
1528
    # Note to implementors: if changing the rules for determining the width,
 
1529
    # make sure you've considered the behaviour in these cases:
 
1530
    #  - M-x shell in emacs, where $COLUMNS is set and TIOCGWINSZ returns 0,0.
 
1531
    #  - bzr log | less, in bash, where $COLUMNS not set and TIOCGWINSZ returns
 
1532
    #    0,0.
 
1533
    #  - (add more interesting cases here, if you find any)
 
1534
    # Some programs implement "Use $COLUMNS (if set) until SIGWINCH occurs",
 
1535
    # but we don't want to register a signal handler because it is impossible
 
1536
    # to do so without risking EINTR errors in Python <= 2.6.5 (see
 
1537
    # <http://bugs.python.org/issue8354>).  Instead we check TIOCGWINSZ every
 
1538
    # time so we can notice if the reported size has changed, which should have
 
1539
    # a similar effect.
 
1540
 
 
1541
    # If BZR_COLUMNS is set, take it, user is always right
 
1542
    # Except if they specified 0 in which case, impose no limit here
 
1543
    try:
 
1544
        width = int(os.environ['BZR_COLUMNS'])
 
1545
    except (KeyError, ValueError):
 
1546
        width = None
 
1547
    if width is not None:
 
1548
        if width > 0:
 
1549
            return width
 
1550
        else:
 
1551
            return None
 
1552
 
 
1553
    isatty = getattr(sys.stdout, 'isatty', None)
 
1554
    if isatty is None or not isatty():
 
1555
        # Don't guess, setting BZR_COLUMNS is the recommended way to override.
 
1556
        return None
 
1557
 
 
1558
    # Query the OS
 
1559
    width, height = os_size = _terminal_size(None, None)
 
1560
    global _first_terminal_size, _terminal_size_state
 
1561
    if _terminal_size_state == 'no_data':
 
1562
        _first_terminal_size = os_size
 
1563
        _terminal_size_state = 'unchanged'
 
1564
    elif (_terminal_size_state == 'unchanged' and
 
1565
          _first_terminal_size != os_size):
 
1566
        _terminal_size_state = 'changed'
 
1567
 
 
1568
    # If the OS claims to know how wide the terminal is, and this value has
 
1569
    # ever changed, use that.
 
1570
    if _terminal_size_state == 'changed':
 
1571
        if width is not None and width > 0:
 
1572
            return width
 
1573
 
 
1574
    # If COLUMNS is set, use it.
 
1575
    try:
 
1576
        return int(os.environ['COLUMNS'])
 
1577
    except (KeyError, ValueError):
 
1578
        pass
 
1579
 
 
1580
    # Finally, use an unchanged size from the OS, if we have one.
 
1581
    if _terminal_size_state == 'unchanged':
 
1582
        if width is not None and width > 0:
 
1583
            return width
 
1584
 
 
1585
    # The width could not be determined.
 
1586
    return None
 
1587
 
 
1588
 
 
1589
def _win32_terminal_size(width, height):
 
1590
    width, height = win32utils.get_console_size(defaultx=width, defaulty=height)
 
1591
    return width, height
 
1592
 
 
1593
 
 
1594
def _ioctl_terminal_size(width, height):
1006
1595
    try:
1007
1596
        import struct, fcntl, termios
1008
1597
        s = struct.pack('HHHH', 0, 0, 0, 0)
1009
1598
        x = fcntl.ioctl(1, termios.TIOCGWINSZ, s)
1010
 
        width = struct.unpack('HHHH', x)[1]
1011
 
    except IOError:
 
1599
        height, width = struct.unpack('HHHH', x)[0:2]
 
1600
    except (IOError, AttributeError):
1012
1601
        pass
1013
 
    if width <= 0:
1014
 
        try:
1015
 
            width = int(os.environ['COLUMNS'])
1016
 
        except:
1017
 
            pass
1018
 
    if width <= 0:
1019
 
        width = 80
1020
 
 
1021
 
    return width
 
1602
    return width, height
 
1603
 
 
1604
_terminal_size = None
 
1605
"""Returns the terminal size as (width, height).
 
1606
 
 
1607
:param width: Default value for width.
 
1608
:param height: Default value for height.
 
1609
 
 
1610
This is defined specifically for each OS and query the size of the controlling
 
1611
terminal. If any error occurs, the provided default values should be returned.
 
1612
"""
 
1613
if sys.platform == 'win32':
 
1614
    _terminal_size = _win32_terminal_size
 
1615
else:
 
1616
    _terminal_size = _ioctl_terminal_size
1022
1617
 
1023
1618
 
1024
1619
def supports_executable():
1052
1647
            del os.environ[env_variable]
1053
1648
    else:
1054
1649
        if isinstance(value, unicode):
1055
 
            value = value.encode(bzrlib.user_encoding)
 
1650
            value = value.encode(get_user_encoding())
1056
1651
        os.environ[env_variable] = value
1057
1652
    return orig_val
1058
1653
 
1061
1656
 
1062
1657
 
1063
1658
def check_legal_path(path):
1064
 
    """Check whether the supplied path is legal.  
 
1659
    """Check whether the supplied path is legal.
1065
1660
    This is only required on Windows, so we don't test on other platforms
1066
1661
    right now.
1067
1662
    """
1071
1666
        raise errors.IllegalPath(path)
1072
1667
 
1073
1668
 
 
1669
_WIN32_ERROR_DIRECTORY = 267 # Similar to errno.ENOTDIR
 
1670
 
 
1671
def _is_error_enotdir(e):
 
1672
    """Check if this exception represents ENOTDIR.
 
1673
 
 
1674
    Unfortunately, python is very inconsistent about the exception
 
1675
    here. The cases are:
 
1676
      1) Linux, Mac OSX all versions seem to set errno == ENOTDIR
 
1677
      2) Windows, Python2.4, uses errno == ERROR_DIRECTORY (267)
 
1678
         which is the windows error code.
 
1679
      3) Windows, Python2.5 uses errno == EINVAL and
 
1680
         winerror == ERROR_DIRECTORY
 
1681
 
 
1682
    :param e: An Exception object (expected to be OSError with an errno
 
1683
        attribute, but we should be able to cope with anything)
 
1684
    :return: True if this represents an ENOTDIR error. False otherwise.
 
1685
    """
 
1686
    en = getattr(e, 'errno', None)
 
1687
    if (en == errno.ENOTDIR
 
1688
        or (sys.platform == 'win32'
 
1689
            and (en == _WIN32_ERROR_DIRECTORY
 
1690
                 or (en == errno.EINVAL
 
1691
                     and getattr(e, 'winerror', None) == _WIN32_ERROR_DIRECTORY)
 
1692
        ))):
 
1693
        return True
 
1694
    return False
 
1695
 
 
1696
 
1074
1697
def walkdirs(top, prefix=""):
1075
1698
    """Yield data about all the directories in a tree.
1076
 
    
 
1699
 
1077
1700
    This yields all the data about the contents of a directory at a time.
1078
1701
    After each directory has been yielded, if the caller has mutated the list
1079
1702
    to exclude some directories, they are then not descended into.
1080
 
    
 
1703
 
1081
1704
    The data yielded is of the form:
1082
1705
    ((directory-relpath, directory-path-from-top),
1083
1706
    [(relpath, basename, kind, lstat, path-from-top), ...]),
1084
1707
     - directory-relpath is the relative path of the directory being returned
1085
1708
       with respect to top. prefix is prepended to this.
1086
 
     - directory-path-from-root is the path including top for this directory. 
 
1709
     - directory-path-from-root is the path including top for this directory.
1087
1710
       It is suitable for use with os functions.
1088
1711
     - relpath is the relative path within the subtree being walked.
1089
1712
     - basename is the basename of the path
1091
1714
       present within the tree - but it may be recorded as versioned. See
1092
1715
       versioned_kind.
1093
1716
     - lstat is the stat data *if* the file was statted.
1094
 
     - planned, not implemented: 
 
1717
     - planned, not implemented:
1095
1718
       path_from_tree_root is the path from the root of the tree.
1096
1719
 
1097
 
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This 
 
1720
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This
1098
1721
        allows one to walk a subtree but get paths that are relative to a tree
1099
1722
        rooted higher up.
1100
1723
    :return: an iterator over the dirs.
1101
1724
    """
1102
1725
    #TODO there is a bit of a smell where the results of the directory-
1103
 
    # summary in this, and the path from the root, may not agree 
 
1726
    # summary in this, and the path from the root, may not agree
1104
1727
    # depending on top and prefix - i.e. ./foo and foo as a pair leads to
1105
1728
    # potentially confusing output. We should make this more robust - but
1106
1729
    # not at a speed cost. RBC 20060731
1107
1730
    _lstat = os.lstat
1108
1731
    _directory = _directory_kind
1109
1732
    _listdir = os.listdir
1110
 
    _kind_from_mode = _formats.get
 
1733
    _kind_from_mode = file_kind_from_stat_mode
1111
1734
    pending = [(safe_unicode(prefix), "", _directory, None, safe_unicode(top))]
1112
1735
    while pending:
1113
1736
        # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
1120
1743
 
1121
1744
        dirblock = []
1122
1745
        append = dirblock.append
1123
 
        for name in sorted(_listdir(top)):
1124
 
            abspath = top_slash + name
1125
 
            statvalue = _lstat(abspath)
1126
 
            kind = _kind_from_mode(statvalue.st_mode & 0170000, 'unknown')
1127
 
            append((relprefix + name, name, kind, statvalue, abspath))
 
1746
        try:
 
1747
            names = sorted(map(decode_filename, _listdir(top)))
 
1748
        except OSError, e:
 
1749
            if not _is_error_enotdir(e):
 
1750
                raise
 
1751
        else:
 
1752
            for name in names:
 
1753
                abspath = top_slash + name
 
1754
                statvalue = _lstat(abspath)
 
1755
                kind = _kind_from_mode(statvalue.st_mode)
 
1756
                append((relprefix + name, name, kind, statvalue, abspath))
1128
1757
        yield (relroot, top), dirblock
1129
1758
 
1130
1759
        # push the user specified dirs from dirblock
1131
1760
        pending.extend(d for d in reversed(dirblock) if d[2] == _directory)
1132
1761
 
1133
1762
 
 
1763
class DirReader(object):
 
1764
    """An interface for reading directories."""
 
1765
 
 
1766
    def top_prefix_to_starting_dir(self, top, prefix=""):
 
1767
        """Converts top and prefix to a starting dir entry
 
1768
 
 
1769
        :param top: A utf8 path
 
1770
        :param prefix: An optional utf8 path to prefix output relative paths
 
1771
            with.
 
1772
        :return: A tuple starting with prefix, and ending with the native
 
1773
            encoding of top.
 
1774
        """
 
1775
        raise NotImplementedError(self.top_prefix_to_starting_dir)
 
1776
 
 
1777
    def read_dir(self, prefix, top):
 
1778
        """Read a specific dir.
 
1779
 
 
1780
        :param prefix: A utf8 prefix to be preprended to the path basenames.
 
1781
        :param top: A natively encoded path to read.
 
1782
        :return: A list of the directories contents. Each item contains:
 
1783
            (utf8_relpath, utf8_name, kind, lstatvalue, native_abspath)
 
1784
        """
 
1785
        raise NotImplementedError(self.read_dir)
 
1786
 
 
1787
 
 
1788
_selected_dir_reader = None
 
1789
 
 
1790
 
1134
1791
def _walkdirs_utf8(top, prefix=""):
1135
1792
    """Yield data about all the directories in a tree.
1136
1793
 
1145
1802
        path-from-top might be unicode or utf8, but it is the correct path to
1146
1803
        pass to os functions to affect the file in question. (such as os.lstat)
1147
1804
    """
1148
 
    fs_encoding = _fs_enc.upper()
1149
 
    if (sys.platform == 'win32' or
1150
 
        fs_encoding not in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968')): # ascii
1151
 
        return _walkdirs_unicode_to_utf8(top, prefix=prefix)
1152
 
    else:
1153
 
        return _walkdirs_fs_utf8(top, prefix=prefix)
1154
 
 
1155
 
 
1156
 
def _walkdirs_fs_utf8(top, prefix=""):
1157
 
    """See _walkdirs_utf8.
1158
 
 
1159
 
    This sub-function is called when we know the filesystem is already in utf8
1160
 
    encoding. So we don't need to transcode filenames.
1161
 
    """
1162
 
    _lstat = os.lstat
1163
 
    _directory = _directory_kind
1164
 
    _listdir = os.listdir
1165
 
    _kind_from_mode = _formats.get
 
1805
    global _selected_dir_reader
 
1806
    if _selected_dir_reader is None:
 
1807
        if sys.platform == "win32" and win32utils.winver == 'Windows NT':
 
1808
            # Win98 doesn't have unicode apis like FindFirstFileW
 
1809
            # TODO: We possibly could support Win98 by falling back to the
 
1810
            #       original FindFirstFile, and using TCHAR instead of WCHAR,
 
1811
            #       but that gets a bit tricky, and requires custom compiling
 
1812
            #       for win98 anyway.
 
1813
            try:
 
1814
                from bzrlib._walkdirs_win32 import Win32ReadDir
 
1815
                _selected_dir_reader = Win32ReadDir()
 
1816
            except ImportError:
 
1817
                pass
 
1818
        elif _fs_enc in ('utf-8', 'ascii'):
 
1819
            try:
 
1820
                from bzrlib._readdir_pyx import UTF8DirReader
 
1821
                _selected_dir_reader = UTF8DirReader()
 
1822
            except ImportError, e:
 
1823
                failed_to_load_extension(e)
 
1824
                pass
 
1825
 
 
1826
    if _selected_dir_reader is None:
 
1827
        # Fallback to the python version
 
1828
        _selected_dir_reader = UnicodeDirReader()
1166
1829
 
1167
1830
    # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
1168
1831
    # But we don't actually uses 1-3 in pending, so set them to None
1169
 
    pending = [(safe_utf8(prefix), None, None, None, safe_utf8(top))]
 
1832
    pending = [[_selected_dir_reader.top_prefix_to_starting_dir(top, prefix)]]
 
1833
    read_dir = _selected_dir_reader.read_dir
 
1834
    _directory = _directory_kind
1170
1835
    while pending:
1171
 
        relroot, _, _, _, top = pending.pop()
1172
 
        if relroot:
1173
 
            relprefix = relroot + '/'
1174
 
        else:
1175
 
            relprefix = ''
1176
 
        top_slash = top + '/'
1177
 
 
1178
 
        dirblock = []
1179
 
        append = dirblock.append
1180
 
        for name in sorted(_listdir(top)):
1181
 
            abspath = top_slash + name
1182
 
            statvalue = _lstat(abspath)
1183
 
            kind = _kind_from_mode(statvalue.st_mode & 0170000, 'unknown')
1184
 
            append((relprefix + name, name, kind, statvalue, abspath))
 
1836
        relroot, _, _, _, top = pending[-1].pop()
 
1837
        if not pending[-1]:
 
1838
            pending.pop()
 
1839
        dirblock = sorted(read_dir(relroot, top))
1185
1840
        yield (relroot, top), dirblock
1186
 
 
1187
1841
        # push the user specified dirs from dirblock
1188
 
        pending.extend(d for d in reversed(dirblock) if d[2] == _directory)
1189
 
 
1190
 
 
1191
 
def _walkdirs_unicode_to_utf8(top, prefix=""):
1192
 
    """See _walkdirs_utf8
1193
 
 
1194
 
    Because Win32 has a Unicode api, all of the 'path-from-top' entries will be
1195
 
    Unicode paths.
1196
 
    This is currently the fallback code path when the filesystem encoding is
1197
 
    not UTF-8. It may be better to implement an alternative so that we can
1198
 
    safely handle paths that are not properly decodable in the current
1199
 
    encoding.
1200
 
    """
1201
 
    _utf8_encode = codecs.getencoder('utf8')
1202
 
    _lstat = os.lstat
1203
 
    _directory = _directory_kind
1204
 
    _listdir = os.listdir
1205
 
    _kind_from_mode = _formats.get
1206
 
 
1207
 
    pending = [(safe_utf8(prefix), None, None, None, safe_unicode(top))]
1208
 
    while pending:
1209
 
        relroot, _, _, _, top = pending.pop()
1210
 
        if relroot:
1211
 
            relprefix = relroot + '/'
 
1842
        next = [d for d in reversed(dirblock) if d[2] == _directory]
 
1843
        if next:
 
1844
            pending.append(next)
 
1845
 
 
1846
 
 
1847
class UnicodeDirReader(DirReader):
 
1848
    """A dir reader for non-utf8 file systems, which transcodes."""
 
1849
 
 
1850
    __slots__ = ['_utf8_encode']
 
1851
 
 
1852
    def __init__(self):
 
1853
        self._utf8_encode = codecs.getencoder('utf8')
 
1854
 
 
1855
    def top_prefix_to_starting_dir(self, top, prefix=""):
 
1856
        """See DirReader.top_prefix_to_starting_dir."""
 
1857
        return (safe_utf8(prefix), None, None, None, safe_unicode(top))
 
1858
 
 
1859
    def read_dir(self, prefix, top):
 
1860
        """Read a single directory from a non-utf8 file system.
 
1861
 
 
1862
        top, and the abspath element in the output are unicode, all other paths
 
1863
        are utf8. Local disk IO is done via unicode calls to listdir etc.
 
1864
 
 
1865
        This is currently the fallback code path when the filesystem encoding is
 
1866
        not UTF-8. It may be better to implement an alternative so that we can
 
1867
        safely handle paths that are not properly decodable in the current
 
1868
        encoding.
 
1869
 
 
1870
        See DirReader.read_dir for details.
 
1871
        """
 
1872
        _utf8_encode = self._utf8_encode
 
1873
        _lstat = os.lstat
 
1874
        _listdir = os.listdir
 
1875
        _kind_from_mode = file_kind_from_stat_mode
 
1876
 
 
1877
        if prefix:
 
1878
            relprefix = prefix + '/'
1212
1879
        else:
1213
1880
            relprefix = ''
1214
1881
        top_slash = top + u'/'
1216
1883
        dirblock = []
1217
1884
        append = dirblock.append
1218
1885
        for name in sorted(_listdir(top)):
1219
 
            name_utf8 = _utf8_encode(name)[0]
 
1886
            try:
 
1887
                name_utf8 = _utf8_encode(name)[0]
 
1888
            except UnicodeDecodeError:
 
1889
                raise errors.BadFilenameEncoding(
 
1890
                    _utf8_encode(relprefix)[0] + name, _fs_enc)
1220
1891
            abspath = top_slash + name
1221
1892
            statvalue = _lstat(abspath)
1222
 
            kind = _kind_from_mode(statvalue.st_mode & 0170000, 'unknown')
 
1893
            kind = _kind_from_mode(statvalue.st_mode)
1223
1894
            append((relprefix + name_utf8, name_utf8, kind, statvalue, abspath))
1224
 
        yield (relroot, top), dirblock
1225
 
 
1226
 
        # push the user specified dirs from dirblock
1227
 
        pending.extend(d for d in reversed(dirblock) if d[2] == _directory)
 
1895
        return dirblock
1228
1896
 
1229
1897
 
1230
1898
def copy_tree(from_path, to_path, handlers={}):
1231
1899
    """Copy all of the entries in from_path into to_path.
1232
1900
 
1233
 
    :param from_path: The base directory to copy. 
 
1901
    :param from_path: The base directory to copy.
1234
1902
    :param to_path: The target directory. If it does not exist, it will
1235
1903
        be created.
1236
1904
    :param handlers: A dictionary of functions, which takes a source and
1269
1937
            real_handlers[kind](abspath, relpath)
1270
1938
 
1271
1939
 
 
1940
def copy_ownership_from_path(dst, src=None):
 
1941
    """Copy usr/grp ownership from src file/dir to dst file/dir.
 
1942
 
 
1943
    If src is None, the containing directory is used as source. If chown
 
1944
    fails, the error is ignored and a warning is printed.
 
1945
    """
 
1946
    chown = getattr(os, 'chown', None)
 
1947
    if chown is None:
 
1948
        return
 
1949
 
 
1950
    if src == None:
 
1951
        src = os.path.dirname(dst)
 
1952
        if src == '':
 
1953
            src = '.'
 
1954
 
 
1955
    try:
 
1956
        s = os.stat(src)
 
1957
        chown(dst, s.st_uid, s.st_gid)
 
1958
    except OSError, e:
 
1959
        trace.warning(
 
1960
            'Unable to copy ownership from "%s" to "%s". '
 
1961
            'You may want to set it manually.', src, dst)
 
1962
        trace.log_exception_quietly()
 
1963
 
 
1964
 
1272
1965
def path_prefix_key(path):
1273
1966
    """Generate a prefix-order path key for path.
1274
1967
 
1287
1980
_cached_user_encoding = None
1288
1981
 
1289
1982
 
1290
 
def get_user_encoding(use_cache=True):
 
1983
def get_user_encoding(use_cache=DEPRECATED_PARAMETER):
1291
1984
    """Find out what the preferred user encoding is.
1292
1985
 
1293
1986
    This is generally the encoding that is used for command line parameters
1294
1987
    and file contents. This may be different from the terminal encoding
1295
1988
    or the filesystem encoding.
1296
1989
 
1297
 
    :param  use_cache:  Enable cache for detected encoding.
1298
 
                        (This parameter is turned on by default,
1299
 
                        and required only for selftesting)
1300
 
 
1301
1990
    :return: A string defining the preferred user encoding
1302
1991
    """
1303
1992
    global _cached_user_encoding
1304
 
    if _cached_user_encoding is not None and use_cache:
 
1993
    if deprecated_passed(use_cache):
 
1994
        warn_deprecated("use_cache should only have been used for tests",
 
1995
            DeprecationWarning, stacklevel=2) 
 
1996
    if _cached_user_encoding is not None:
1305
1997
        return _cached_user_encoding
1306
1998
 
1307
 
    if sys.platform == 'darwin':
1308
 
        # work around egregious python 2.4 bug
1309
 
        sys.platform = 'posix'
1310
 
        try:
1311
 
            import locale
1312
 
        finally:
1313
 
            sys.platform = 'darwin'
 
1999
    if os.name == 'posix' and getattr(locale, 'CODESET', None) is not None:
 
2000
        # Use the existing locale settings and call nl_langinfo directly
 
2001
        # rather than going through getpreferredencoding. This avoids
 
2002
        # <http://bugs.python.org/issue6202> on OSX Python 2.6 and the
 
2003
        # possibility of the setlocale call throwing an error.
 
2004
        user_encoding = locale.nl_langinfo(locale.CODESET)
1314
2005
    else:
1315
 
        import locale
 
2006
        # GZ 2011-12-19: On windows could call GetACP directly instead.
 
2007
        user_encoding = locale.getpreferredencoding(False)
1316
2008
 
1317
2009
    try:
1318
 
        user_encoding = locale.getpreferredencoding()
1319
 
    except locale.Error, e:
1320
 
        sys.stderr.write('bzr: warning: %s\n'
1321
 
                         '  Could not determine what text encoding to use.\n'
1322
 
                         '  This error usually means your Python interpreter\n'
1323
 
                         '  doesn\'t support the locale set by $LANG (%s)\n'
1324
 
                         "  Continuing with ascii encoding.\n"
1325
 
                         % (e, os.environ.get('LANG')))
1326
 
        user_encoding = 'ascii'
1327
 
 
1328
 
    # Windows returns 'cp0' to indicate there is no code page. So we'll just
1329
 
    # treat that as ASCII, and not support printing unicode characters to the
1330
 
    # console.
1331
 
    if user_encoding in (None, 'cp0'):
1332
 
        user_encoding = 'ascii'
1333
 
    else:
1334
 
        # check encoding
1335
 
        try:
1336
 
            codecs.lookup(user_encoding)
1337
 
        except LookupError:
 
2010
        user_encoding = codecs.lookup(user_encoding).name
 
2011
    except LookupError:
 
2012
        if user_encoding not in ("", "cp0"):
1338
2013
            sys.stderr.write('bzr: warning:'
1339
2014
                             ' unknown encoding %s.'
1340
2015
                             ' Continuing with ascii encoding.\n'
1341
2016
                             % user_encoding
1342
2017
                            )
1343
 
            user_encoding = 'ascii'
1344
 
 
1345
 
    if use_cache:
1346
 
        _cached_user_encoding = user_encoding
1347
 
 
 
2018
        user_encoding = 'ascii'
 
2019
    else:
 
2020
        # Get 'ascii' when setlocale has not been called or LANG=C or unset.
 
2021
        if user_encoding == 'ascii':
 
2022
            if sys.platform == 'darwin':
 
2023
                # OSX is special-cased in Python to have a UTF-8 filesystem
 
2024
                # encoding and previously had LANG set here if not present.
 
2025
                user_encoding = 'utf-8'
 
2026
            # GZ 2011-12-19: Maybe UTF-8 should be the default in this case
 
2027
            #                for some other posix platforms as well.
 
2028
 
 
2029
    _cached_user_encoding = user_encoding
1348
2030
    return user_encoding
1349
2031
 
1350
2032
 
1351
 
def recv_all(socket, bytes):
 
2033
def get_diff_header_encoding():
 
2034
    return get_terminal_encoding()
 
2035
 
 
2036
 
 
2037
def get_host_name():
 
2038
    """Return the current unicode host name.
 
2039
 
 
2040
    This is meant to be used in place of socket.gethostname() because that
 
2041
    behaves inconsistently on different platforms.
 
2042
    """
 
2043
    if sys.platform == "win32":
 
2044
        return win32utils.get_host_name()
 
2045
    else:
 
2046
        import socket
 
2047
        return socket.gethostname().decode(get_user_encoding())
 
2048
 
 
2049
 
 
2050
# We must not read/write any more than 64k at a time from/to a socket so we
 
2051
# don't risk "no buffer space available" errors on some platforms.  Windows in
 
2052
# particular is likely to throw WSAECONNABORTED or WSAENOBUFS if given too much
 
2053
# data at once.
 
2054
MAX_SOCKET_CHUNK = 64 * 1024
 
2055
 
 
2056
_end_of_stream_errors = [errno.ECONNRESET]
 
2057
for _eno in ['WSAECONNRESET', 'WSAECONNABORTED']:
 
2058
    _eno = getattr(errno, _eno, None)
 
2059
    if _eno is not None:
 
2060
        _end_of_stream_errors.append(_eno)
 
2061
del _eno
 
2062
 
 
2063
 
 
2064
def read_bytes_from_socket(sock, report_activity=None,
 
2065
        max_read_size=MAX_SOCKET_CHUNK):
 
2066
    """Read up to max_read_size of bytes from sock and notify of progress.
 
2067
 
 
2068
    Translates "Connection reset by peer" into file-like EOF (return an
 
2069
    empty string rather than raise an error), and repeats the recv if
 
2070
    interrupted by a signal.
 
2071
    """
 
2072
    while 1:
 
2073
        try:
 
2074
            bytes = sock.recv(max_read_size)
 
2075
        except socket.error, e:
 
2076
            eno = e.args[0]
 
2077
            if eno in _end_of_stream_errors:
 
2078
                # The connection was closed by the other side.  Callers expect
 
2079
                # an empty string to signal end-of-stream.
 
2080
                return ""
 
2081
            elif eno == errno.EINTR:
 
2082
                # Retry the interrupted recv.
 
2083
                continue
 
2084
            raise
 
2085
        else:
 
2086
            if report_activity is not None:
 
2087
                report_activity(len(bytes), 'read')
 
2088
            return bytes
 
2089
 
 
2090
 
 
2091
def recv_all(socket, count):
1352
2092
    """Receive an exact number of bytes.
1353
2093
 
1354
2094
    Regular Socket.recv() may return less than the requested number of bytes,
1355
 
    dependning on what's in the OS buffer.  MSG_WAITALL is not available
 
2095
    depending on what's in the OS buffer.  MSG_WAITALL is not available
1356
2096
    on all platforms, but this should work everywhere.  This will return
1357
2097
    less than the requested amount if the remote end closes.
1358
2098
 
1359
2099
    This isn't optimized and is intended mostly for use in testing.
1360
2100
    """
1361
2101
    b = ''
1362
 
    while len(b) < bytes:
1363
 
        new = socket.recv(bytes - len(b))
 
2102
    while len(b) < count:
 
2103
        new = read_bytes_from_socket(socket, None, count - len(b))
1364
2104
        if new == '':
1365
2105
            break # eof
1366
2106
        b += new
1367
2107
    return b
1368
2108
 
 
2109
 
 
2110
def send_all(sock, bytes, report_activity=None):
 
2111
    """Send all bytes on a socket.
 
2112
 
 
2113
    Breaks large blocks in smaller chunks to avoid buffering limitations on
 
2114
    some platforms, and catches EINTR which may be thrown if the send is
 
2115
    interrupted by a signal.
 
2116
 
 
2117
    This is preferred to socket.sendall(), because it avoids portability bugs
 
2118
    and provides activity reporting.
 
2119
 
 
2120
    :param report_activity: Call this as bytes are read, see
 
2121
        Transport._report_activity
 
2122
    """
 
2123
    sent_total = 0
 
2124
    byte_count = len(bytes)
 
2125
    while sent_total < byte_count:
 
2126
        try:
 
2127
            sent = sock.send(buffer(bytes, sent_total, MAX_SOCKET_CHUNK))
 
2128
        except socket.error, e:
 
2129
            if e.args[0] != errno.EINTR:
 
2130
                raise
 
2131
        else:
 
2132
            sent_total += sent
 
2133
            report_activity(sent, 'write')
 
2134
 
 
2135
 
 
2136
def connect_socket(address):
 
2137
    # Slight variation of the socket.create_connection() function (provided by
 
2138
    # python-2.6) that can fail if getaddrinfo returns an empty list. We also
 
2139
    # provide it for previous python versions. Also, we don't use the timeout
 
2140
    # parameter (provided by the python implementation) so we don't implement
 
2141
    # it either).
 
2142
    err = socket.error('getaddrinfo returns an empty list')
 
2143
    host, port = address
 
2144
    for res in socket.getaddrinfo(host, port, 0, socket.SOCK_STREAM):
 
2145
        af, socktype, proto, canonname, sa = res
 
2146
        sock = None
 
2147
        try:
 
2148
            sock = socket.socket(af, socktype, proto)
 
2149
            sock.connect(sa)
 
2150
            return sock
 
2151
 
 
2152
        except socket.error, err:
 
2153
            # 'err' is now the most recent error
 
2154
            if sock is not None:
 
2155
                sock.close()
 
2156
    raise err
 
2157
 
 
2158
 
1369
2159
def dereference_path(path):
1370
2160
    """Determine the real path to a file.
1371
2161
 
1383
2173
def supports_mapi():
1384
2174
    """Return True if we can use MAPI to launch a mail client."""
1385
2175
    return sys.platform == "win32"
 
2176
 
 
2177
 
 
2178
def resource_string(package, resource_name):
 
2179
    """Load a resource from a package and return it as a string.
 
2180
 
 
2181
    Note: Only packages that start with bzrlib are currently supported.
 
2182
 
 
2183
    This is designed to be a lightweight implementation of resource
 
2184
    loading in a way which is API compatible with the same API from
 
2185
    pkg_resources. See
 
2186
    http://peak.telecommunity.com/DevCenter/PkgResources#basic-resource-access.
 
2187
    If and when pkg_resources becomes a standard library, this routine
 
2188
    can delegate to it.
 
2189
    """
 
2190
    # Check package name is within bzrlib
 
2191
    if package == "bzrlib":
 
2192
        resource_relpath = resource_name
 
2193
    elif package.startswith("bzrlib."):
 
2194
        package = package[len("bzrlib."):].replace('.', os.sep)
 
2195
        resource_relpath = pathjoin(package, resource_name)
 
2196
    else:
 
2197
        raise errors.BzrError('resource package %s not in bzrlib' % package)
 
2198
 
 
2199
    # Map the resource to a file and read its contents
 
2200
    base = dirname(bzrlib.__file__)
 
2201
    if getattr(sys, 'frozen', None):    # bzr.exe
 
2202
        base = abspath(pathjoin(base, '..', '..'))
 
2203
    f = file(pathjoin(base, resource_relpath), "rU")
 
2204
    try:
 
2205
        return f.read()
 
2206
    finally:
 
2207
        f.close()
 
2208
 
 
2209
def file_kind_from_stat_mode_thunk(mode):
 
2210
    global file_kind_from_stat_mode
 
2211
    if file_kind_from_stat_mode is file_kind_from_stat_mode_thunk:
 
2212
        try:
 
2213
            from bzrlib._readdir_pyx import UTF8DirReader
 
2214
            file_kind_from_stat_mode = UTF8DirReader().kind_from_mode
 
2215
        except ImportError, e:
 
2216
            # This is one time where we won't warn that an extension failed to
 
2217
            # load. The extension is never available on Windows anyway.
 
2218
            from bzrlib._readdir_py import (
 
2219
                _kind_from_mode as file_kind_from_stat_mode
 
2220
                )
 
2221
    return file_kind_from_stat_mode(mode)
 
2222
file_kind_from_stat_mode = file_kind_from_stat_mode_thunk
 
2223
 
 
2224
def file_stat(f, _lstat=os.lstat):
 
2225
    try:
 
2226
        # XXX cache?
 
2227
        return _lstat(f)
 
2228
    except OSError, e:
 
2229
        if getattr(e, 'errno', None) in (errno.ENOENT, errno.ENOTDIR):
 
2230
            raise errors.NoSuchFile(f)
 
2231
        raise
 
2232
 
 
2233
def file_kind(f, _lstat=os.lstat):
 
2234
    stat_value = file_stat(f, _lstat)
 
2235
    return file_kind_from_stat_mode(stat_value.st_mode)
 
2236
 
 
2237
def until_no_eintr(f, *a, **kw):
 
2238
    """Run f(*a, **kw), retrying if an EINTR error occurs.
 
2239
 
 
2240
    WARNING: you must be certain that it is safe to retry the call repeatedly
 
2241
    if EINTR does occur.  This is typically only true for low-level operations
 
2242
    like os.read.  If in any doubt, don't use this.
 
2243
 
 
2244
    Keep in mind that this is not a complete solution to EINTR.  There is
 
2245
    probably code in the Python standard library and other dependencies that
 
2246
    may encounter EINTR if a signal arrives (and there is signal handler for
 
2247
    that signal).  So this function can reduce the impact for IO that bzrlib
 
2248
    directly controls, but it is not a complete solution.
 
2249
    """
 
2250
    # Borrowed from Twisted's twisted.python.util.untilConcludes function.
 
2251
    while True:
 
2252
        try:
 
2253
            return f(*a, **kw)
 
2254
        except (IOError, OSError), e:
 
2255
            if e.errno == errno.EINTR:
 
2256
                continue
 
2257
            raise
 
2258
 
 
2259
 
 
2260
@deprecated_function(deprecated_in((2, 2, 0)))
 
2261
def re_compile_checked(re_string, flags=0, where=""):
 
2262
    """Return a compiled re, or raise a sensible error.
 
2263
 
 
2264
    This should only be used when compiling user-supplied REs.
 
2265
 
 
2266
    :param re_string: Text form of regular expression.
 
2267
    :param flags: eg re.IGNORECASE
 
2268
    :param where: Message explaining to the user the context where
 
2269
        it occurred, eg 'log search filter'.
 
2270
    """
 
2271
    # from https://bugs.launchpad.net/bzr/+bug/251352
 
2272
    try:
 
2273
        re_obj = re.compile(re_string, flags)
 
2274
        re_obj.search("")
 
2275
        return re_obj
 
2276
    except errors.InvalidPattern, e:
 
2277
        if where:
 
2278
            where = ' in ' + where
 
2279
        # despite the name 'error' is a type
 
2280
        raise errors.BzrCommandError('Invalid regular expression%s: %s'
 
2281
            % (where, e.msg))
 
2282
 
 
2283
 
 
2284
if sys.platform == "win32":
 
2285
    def getchar():
 
2286
        import msvcrt
 
2287
        return msvcrt.getch()
 
2288
else:
 
2289
    def getchar():
 
2290
        import tty
 
2291
        import termios
 
2292
        fd = sys.stdin.fileno()
 
2293
        settings = termios.tcgetattr(fd)
 
2294
        try:
 
2295
            tty.setraw(fd)
 
2296
            ch = sys.stdin.read(1)
 
2297
        finally:
 
2298
            termios.tcsetattr(fd, termios.TCSADRAIN, settings)
 
2299
        return ch
 
2300
 
 
2301
if sys.platform.startswith('linux'):
 
2302
    def _local_concurrency():
 
2303
        try:
 
2304
            return os.sysconf('SC_NPROCESSORS_ONLN')
 
2305
        except (ValueError, OSError, AttributeError):
 
2306
            return None
 
2307
elif sys.platform == 'darwin':
 
2308
    def _local_concurrency():
 
2309
        return subprocess.Popen(['sysctl', '-n', 'hw.availcpu'],
 
2310
                                stdout=subprocess.PIPE).communicate()[0]
 
2311
elif "bsd" in sys.platform:
 
2312
    def _local_concurrency():
 
2313
        return subprocess.Popen(['sysctl', '-n', 'hw.ncpu'],
 
2314
                                stdout=subprocess.PIPE).communicate()[0]
 
2315
elif sys.platform == 'sunos5':
 
2316
    def _local_concurrency():
 
2317
        return subprocess.Popen(['psrinfo', '-p',],
 
2318
                                stdout=subprocess.PIPE).communicate()[0]
 
2319
elif sys.platform == "win32":
 
2320
    def _local_concurrency():
 
2321
        # This appears to return the number of cores.
 
2322
        return os.environ.get('NUMBER_OF_PROCESSORS')
 
2323
else:
 
2324
    def _local_concurrency():
 
2325
        # Who knows ?
 
2326
        return None
 
2327
 
 
2328
 
 
2329
_cached_local_concurrency = None
 
2330
 
 
2331
def local_concurrency(use_cache=True):
 
2332
    """Return how many processes can be run concurrently.
 
2333
 
 
2334
    Rely on platform specific implementations and default to 1 (one) if
 
2335
    anything goes wrong.
 
2336
    """
 
2337
    global _cached_local_concurrency
 
2338
 
 
2339
    if _cached_local_concurrency is not None and use_cache:
 
2340
        return _cached_local_concurrency
 
2341
 
 
2342
    concurrency = os.environ.get('BZR_CONCURRENCY', None)
 
2343
    if concurrency is None:
 
2344
        try:
 
2345
            import multiprocessing
 
2346
            concurrency = multiprocessing.cpu_count()
 
2347
        except (ImportError, NotImplementedError):
 
2348
            # multiprocessing is only available on Python >= 2.6
 
2349
            # and multiprocessing.cpu_count() isn't implemented on all
 
2350
            # platforms
 
2351
            try:
 
2352
                concurrency = _local_concurrency()
 
2353
            except (OSError, IOError):
 
2354
                pass
 
2355
    try:
 
2356
        concurrency = int(concurrency)
 
2357
    except (TypeError, ValueError):
 
2358
        concurrency = 1
 
2359
    if use_cache:
 
2360
        _cached_concurrency = concurrency
 
2361
    return concurrency
 
2362
 
 
2363
 
 
2364
class UnicodeOrBytesToBytesWriter(codecs.StreamWriter):
 
2365
    """A stream writer that doesn't decode str arguments."""
 
2366
 
 
2367
    def __init__(self, encode, stream, errors='strict'):
 
2368
        codecs.StreamWriter.__init__(self, stream, errors)
 
2369
        self.encode = encode
 
2370
 
 
2371
    def write(self, object):
 
2372
        if type(object) is str:
 
2373
            self.stream.write(object)
 
2374
        else:
 
2375
            data, _ = self.encode(object, self.errors)
 
2376
            self.stream.write(data)
 
2377
 
 
2378
if sys.platform == 'win32':
 
2379
    def open_file(filename, mode='r', bufsize=-1):
 
2380
        """This function is used to override the ``open`` builtin.
 
2381
 
 
2382
        But it uses O_NOINHERIT flag so the file handle is not inherited by
 
2383
        child processes.  Deleting or renaming a closed file opened with this
 
2384
        function is not blocking child processes.
 
2385
        """
 
2386
        writing = 'w' in mode
 
2387
        appending = 'a' in mode
 
2388
        updating = '+' in mode
 
2389
        binary = 'b' in mode
 
2390
 
 
2391
        flags = O_NOINHERIT
 
2392
        # see http://msdn.microsoft.com/en-us/library/yeby3zcb%28VS.71%29.aspx
 
2393
        # for flags for each modes.
 
2394
        if binary:
 
2395
            flags |= O_BINARY
 
2396
        else:
 
2397
            flags |= O_TEXT
 
2398
 
 
2399
        if writing:
 
2400
            if updating:
 
2401
                flags |= os.O_RDWR
 
2402
            else:
 
2403
                flags |= os.O_WRONLY
 
2404
            flags |= os.O_CREAT | os.O_TRUNC
 
2405
        elif appending:
 
2406
            if updating:
 
2407
                flags |= os.O_RDWR
 
2408
            else:
 
2409
                flags |= os.O_WRONLY
 
2410
            flags |= os.O_CREAT | os.O_APPEND
 
2411
        else: #reading
 
2412
            if updating:
 
2413
                flags |= os.O_RDWR
 
2414
            else:
 
2415
                flags |= os.O_RDONLY
 
2416
 
 
2417
        return os.fdopen(os.open(filename, flags), mode, bufsize)
 
2418
else:
 
2419
    open_file = open
 
2420
 
 
2421
 
 
2422
def available_backup_name(base, exists):
 
2423
    """Find a non-existing backup file name.
 
2424
 
 
2425
    This will *not* create anything, this only return a 'free' entry.  This
 
2426
    should be used for checking names in a directory below a locked
 
2427
    tree/branch/repo to avoid race conditions. This is LBYL (Look Before You
 
2428
    Leap) and generally discouraged.
 
2429
 
 
2430
    :param base: The base name.
 
2431
 
 
2432
    :param exists: A callable returning True if the path parameter exists.
 
2433
    """
 
2434
    counter = 1
 
2435
    name = "%s.~%d~" % (base, counter)
 
2436
    while exists(name):
 
2437
        counter += 1
 
2438
        name = "%s.~%d~" % (base, counter)
 
2439
    return name
 
2440
 
 
2441
 
 
2442
def set_fd_cloexec(fd):
 
2443
    """Set a Unix file descriptor's FD_CLOEXEC flag.  Do nothing if platform
 
2444
    support for this is not available.
 
2445
    """
 
2446
    try:
 
2447
        import fcntl
 
2448
        old = fcntl.fcntl(fd, fcntl.F_GETFD)
 
2449
        fcntl.fcntl(fd, fcntl.F_SETFD, old | fcntl.FD_CLOEXEC)
 
2450
    except (ImportError, AttributeError):
 
2451
        # Either the fcntl module or specific constants are not present
 
2452
        pass
 
2453
 
 
2454
 
 
2455
def find_executable_on_path(name):
 
2456
    """Finds an executable on the PATH.
 
2457
    
 
2458
    On Windows, this will try to append each extension in the PATHEXT
 
2459
    environment variable to the name, if it cannot be found with the name
 
2460
    as given.
 
2461
    
 
2462
    :param name: The base name of the executable.
 
2463
    :return: The path to the executable found or None.
 
2464
    """
 
2465
    path = os.environ.get('PATH')
 
2466
    if path is None:
 
2467
        return None
 
2468
    path = path.split(os.pathsep)
 
2469
    if sys.platform == 'win32':
 
2470
        exts = os.environ.get('PATHEXT', '').split(os.pathsep)
 
2471
        exts = [ext.lower() for ext in exts]
 
2472
        base, ext = os.path.splitext(name)
 
2473
        if ext != '':
 
2474
            if ext.lower() not in exts:
 
2475
                return None
 
2476
            name = base
 
2477
            exts = [ext]
 
2478
    else:
 
2479
        exts = ['']
 
2480
    for ext in exts:
 
2481
        for d in path:
 
2482
            f = os.path.join(d, name) + ext
 
2483
            if os.access(f, os.X_OK):
 
2484
                return f
 
2485
    return None
 
2486
 
 
2487
 
 
2488
def _posix_is_local_pid_dead(pid):
 
2489
    """True if pid doesn't correspond to live process on this machine"""
 
2490
    try:
 
2491
        # Special meaning of unix kill: just check if it's there.
 
2492
        os.kill(pid, 0)
 
2493
    except OSError, e:
 
2494
        if e.errno == errno.ESRCH:
 
2495
            # On this machine, and really not found: as sure as we can be
 
2496
            # that it's dead.
 
2497
            return True
 
2498
        elif e.errno == errno.EPERM:
 
2499
            # exists, though not ours
 
2500
            return False
 
2501
        else:
 
2502
            mutter("os.kill(%d, 0) failed: %s" % (pid, e))
 
2503
            # Don't really know.
 
2504
            return False
 
2505
    else:
 
2506
        # Exists and our process: not dead.
 
2507
        return False
 
2508
 
 
2509
if sys.platform == "win32":
 
2510
    is_local_pid_dead = win32utils.is_local_pid_dead
 
2511
else:
 
2512
    is_local_pid_dead = _posix_is_local_pid_dead
 
2513
 
 
2514
 
 
2515
def fdatasync(fileno):
 
2516
    """Flush file contents to disk if possible.
 
2517
    
 
2518
    :param fileno: Integer OS file handle.
 
2519
    :raises TransportNotPossible: If flushing to disk is not possible.
 
2520
    """
 
2521
    fn = getattr(os, 'fdatasync', getattr(os, 'fsync', None))
 
2522
    if fn is not None:
 
2523
        fn(fileno)
 
2524
 
 
2525
 
 
2526
def ensure_empty_directory_exists(path, exception_class):
 
2527
    """Make sure a local directory exists and is empty.
 
2528
    
 
2529
    If it does not exist, it is created.  If it exists and is not empty, an
 
2530
    instance of exception_class is raised.
 
2531
    """
 
2532
    try:
 
2533
        os.mkdir(path)
 
2534
    except OSError, e:
 
2535
        if e.errno != errno.EEXIST:
 
2536
            raise
 
2537
        if os.listdir(path) != []:
 
2538
            raise exception_class(path)
 
2539
 
 
2540
 
 
2541
def is_environment_error(evalue):
 
2542
    """True if exception instance is due to a process environment issue
 
2543
 
 
2544
    This includes OSError and IOError, but also other errors that come from
 
2545
    the operating system or core libraries but are not subclasses of those.
 
2546
    """
 
2547
    if isinstance(evalue, (EnvironmentError, select.error)):
 
2548
        return True
 
2549
    if sys.platform == "win32" and win32utils._is_pywintypes_error(evalue):
 
2550
        return True
 
2551
    return False