~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Jelmer Vernooij
  • Date: 2012-01-27 18:41:20 UTC
  • mto: This revision was merged to the branch mainline in revision 6449.
  • Revision ID: jelmer@samba.org-20120127184120-osvbbiwijy58hsah
remove unnecessary code.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
from cStringIO import StringIO
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
from __future__ import absolute_import
 
18
 
 
19
import errno
18
20
import os
19
21
import re
20
22
import stat
21
 
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
22
 
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
23
23
import sys
24
24
import time
 
25
import codecs
25
26
 
26
27
from bzrlib.lazy_import import lazy_import
27
28
lazy_import(globals(), """
28
 
import codecs
29
29
from datetime import datetime
30
 
import errno
31
 
from ntpath import (abspath as _nt_abspath,
32
 
                    join as _nt_join,
33
 
                    normpath as _nt_normpath,
34
 
                    realpath as _nt_realpath,
35
 
                    splitdrive as _nt_splitdrive,
36
 
                    )
 
30
import getpass
 
31
import locale
 
32
import ntpath
37
33
import posixpath
38
 
import sha
 
34
import select
 
35
# We need to import both shutil and rmtree as we export the later on posix
 
36
# and need the former on windows
39
37
import shutil
40
 
from shutil import (
41
 
    rmtree,
42
 
    )
 
38
from shutil import rmtree
 
39
import socket
 
40
import subprocess
 
41
# We need to import both tempfile and mkdtemp as we export the later on posix
 
42
# and need the former on windows
43
43
import tempfile
44
 
from tempfile import (
45
 
    mkdtemp,
46
 
    )
 
44
from tempfile import mkdtemp
47
45
import unicodedata
48
46
 
49
47
from bzrlib import (
50
48
    cache_utf8,
 
49
    config,
51
50
    errors,
 
51
    trace,
52
52
    win32utils,
53
53
    )
 
54
from bzrlib.i18n import gettext
54
55
""")
55
56
 
56
 
import bzrlib
57
 
from bzrlib import symbol_versioning
58
57
from bzrlib.symbol_versioning import (
 
58
    DEPRECATED_PARAMETER,
59
59
    deprecated_function,
60
 
    one_zero,
61
 
    )
62
 
from bzrlib.trace import mutter
63
 
 
 
60
    deprecated_in,
 
61
    deprecated_passed,
 
62
    warn as warn_deprecated,
 
63
    )
 
64
 
 
65
from hashlib import (
 
66
    md5,
 
67
    sha1 as sha,
 
68
    )
 
69
 
 
70
 
 
71
import bzrlib
 
72
from bzrlib import symbol_versioning, _fs_enc
 
73
 
 
74
 
 
75
# Cross platform wall-clock time functionality with decent resolution.
 
76
# On Linux ``time.clock`` returns only CPU time. On Windows, ``time.time()``
 
77
# only has a resolution of ~15ms. Note that ``time.clock()`` is not
 
78
# synchronized with ``time.time()``, this is only meant to be used to find
 
79
# delta times by subtracting from another call to this function.
 
80
timer_func = time.time
 
81
if sys.platform == 'win32':
 
82
    timer_func = time.clock
64
83
 
65
84
# On win32, O_BINARY is used to indicate the file should
66
85
# be opened in binary mode, rather than text mode.
67
86
# On other platforms, O_BINARY doesn't exist, because
68
87
# they always open in binary mode, so it is okay to
69
 
# OR with 0 on those platforms
 
88
# OR with 0 on those platforms.
 
89
# O_NOINHERIT and O_TEXT exists only on win32 too.
70
90
O_BINARY = getattr(os, 'O_BINARY', 0)
 
91
O_TEXT = getattr(os, 'O_TEXT', 0)
 
92
O_NOINHERIT = getattr(os, 'O_NOINHERIT', 0)
 
93
 
 
94
 
 
95
def get_unicode_argv():
 
96
    try:
 
97
        user_encoding = get_user_encoding()
 
98
        return [a.decode(user_encoding) for a in sys.argv[1:]]
 
99
    except UnicodeDecodeError:
 
100
        raise errors.BzrError(gettext("Parameter {0!r} encoding is unsupported by {1} "
 
101
            "application locale.").format(a, user_encoding))
71
102
 
72
103
 
73
104
def make_readonly(filename):
75
106
    mod = os.lstat(filename).st_mode
76
107
    if not stat.S_ISLNK(mod):
77
108
        mod = mod & 0777555
78
 
        os.chmod(filename, mod)
 
109
        chmod_if_possible(filename, mod)
79
110
 
80
111
 
81
112
def make_writable(filename):
82
113
    mod = os.lstat(filename).st_mode
83
114
    if not stat.S_ISLNK(mod):
84
115
        mod = mod | 0200
85
 
        os.chmod(filename, mod)
 
116
        chmod_if_possible(filename, mod)
 
117
 
 
118
 
 
119
def chmod_if_possible(filename, mode):
 
120
    # Set file mode if that can be safely done.
 
121
    # Sometimes even on unix the filesystem won't allow it - see
 
122
    # https://bugs.launchpad.net/bzr/+bug/606537
 
123
    try:
 
124
        # It is probably faster to just do the chmod, rather than
 
125
        # doing a stat, and then trying to compare
 
126
        os.chmod(filename, mode)
 
127
    except (IOError, OSError),e:
 
128
        # Permission/access denied seems to commonly happen on smbfs; there's
 
129
        # probably no point warning about it.
 
130
        # <https://bugs.launchpad.net/bzr/+bug/606537>
 
131
        if getattr(e, 'errno') in (errno.EPERM, errno.EACCES):
 
132
            trace.mutter("ignore error on chmod of %r: %r" % (
 
133
                filename, e))
 
134
            return
 
135
        raise
86
136
 
87
137
 
88
138
def minimum_path_selection(paths):
90
140
 
91
141
    :param paths: A container (and hence not None) of paths.
92
142
    :return: A set of paths sufficient to include everything in paths via
93
 
        is_inside_any, drawn from the paths parameter.
 
143
        is_inside, drawn from the paths parameter.
94
144
    """
95
 
    search_paths = set()
96
 
    paths = set(paths)
97
 
    for path in paths:
98
 
        other_paths = paths.difference([path])
99
 
        if not is_inside_any(other_paths, path):
100
 
            # this is a top level path, we must check it.
101
 
            search_paths.add(path)
102
 
    return search_paths
 
145
    if len(paths) < 2:
 
146
        return set(paths)
 
147
 
 
148
    def sort_key(path):
 
149
        return path.split('/')
 
150
    sorted_paths = sorted(list(paths), key=sort_key)
 
151
 
 
152
    search_paths = [sorted_paths[0]]
 
153
    for path in sorted_paths[1:]:
 
154
        if not is_inside(search_paths[-1], path):
 
155
            # This path is unique, add it
 
156
            search_paths.append(path)
 
157
 
 
158
    return set(search_paths)
103
159
 
104
160
 
105
161
_QUOTE_RE = None
114
170
    global _QUOTE_RE
115
171
    if _QUOTE_RE is None:
116
172
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
117
 
        
 
173
 
118
174
    if _QUOTE_RE.search(f):
119
175
        return '"' + f + '"'
120
176
    else:
123
179
 
124
180
_directory_kind = 'directory'
125
181
 
126
 
_formats = {
127
 
    stat.S_IFDIR:_directory_kind,
128
 
    stat.S_IFCHR:'chardev',
129
 
    stat.S_IFBLK:'block',
130
 
    stat.S_IFREG:'file',
131
 
    stat.S_IFIFO:'fifo',
132
 
    stat.S_IFLNK:'symlink',
133
 
    stat.S_IFSOCK:'socket',
134
 
}
135
 
 
136
 
 
137
 
def file_kind_from_stat_mode(stat_mode, _formats=_formats, _unknown='unknown'):
138
 
    """Generate a file kind from a stat mode. This is used in walkdirs.
139
 
 
140
 
    Its performance is critical: Do not mutate without careful benchmarking.
141
 
    """
142
 
    try:
143
 
        return _formats[stat_mode & 0170000]
144
 
    except KeyError:
145
 
        return _unknown
146
 
 
147
 
 
148
 
def file_kind(f, _lstat=os.lstat, _mapper=file_kind_from_stat_mode):
149
 
    try:
150
 
        return _mapper(_lstat(f).st_mode)
151
 
    except OSError, e:
152
 
        if getattr(e, 'errno', None) == errno.ENOENT:
153
 
            raise errors.NoSuchFile(f)
154
 
        raise
155
 
 
156
 
 
157
182
def get_umask():
158
183
    """Return the current umask"""
159
184
    # Assume that people aren't messing with the umask while running
176
201
    try:
177
202
        return _kind_marker_map[kind]
178
203
    except KeyError:
179
 
        raise errors.BzrError('invalid file kind %r' % kind)
 
204
        # Slightly faster than using .get(, '') when the common case is that
 
205
        # kind will be found
 
206
        return ''
180
207
 
181
208
 
182
209
lexists = getattr(os.path, 'lexists', None)
190
217
            if e.errno == errno.ENOENT:
191
218
                return False;
192
219
            else:
193
 
                raise errors.BzrError("lstat/stat of (%r): %r" % (f, e))
 
220
                raise errors.BzrError(gettext("lstat/stat of ({0!r}): {1!r}").format(f, e))
194
221
 
195
222
 
196
223
def fancy_rename(old, new, rename_func, unlink_func):
197
224
    """A fancy rename, when you don't have atomic rename.
198
 
    
 
225
 
199
226
    :param old: The old path, to rename from
200
227
    :param new: The new path, to rename to
201
228
    :param rename_func: The potentially non-atomic rename function
202
 
    :param unlink_func: A way to delete the target file if the full rename succeeds
 
229
    :param unlink_func: A way to delete the target file if the full rename
 
230
        succeeds
203
231
    """
204
 
 
205
232
    # sftp rename doesn't allow overwriting, so play tricks:
206
 
    import random
207
233
    base = os.path.basename(new)
208
234
    dirname = os.path.dirname(new)
209
 
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
 
235
    # callers use different encodings for the paths so the following MUST
 
236
    # respect that. We rely on python upcasting to unicode if new is unicode
 
237
    # and keeping a str if not.
 
238
    tmp_name = 'tmp.%s.%.9f.%d.%s' % (base, time.time(),
 
239
                                      os.getpid(), rand_chars(10))
210
240
    tmp_name = pathjoin(dirname, tmp_name)
211
241
 
212
242
    # Rename the file out of the way, but keep track if it didn't exist
232
262
    else:
233
263
        file_existed = True
234
264
 
 
265
    failure_exc = None
235
266
    success = False
236
267
    try:
237
268
        try:
243
274
            # source and target may be aliases of each other (e.g. on a
244
275
            # case-insensitive filesystem), so we may have accidentally renamed
245
276
            # source by when we tried to rename target
246
 
            if not (file_existed and e.errno in (None, errno.ENOENT)):
247
 
                raise
 
277
            failure_exc = sys.exc_info()
 
278
            if (file_existed and e.errno in (None, errno.ENOENT)
 
279
                and old.lower() == new.lower()):
 
280
                # source and target are the same file on a case-insensitive
 
281
                # filesystem, so we don't generate an exception
 
282
                failure_exc = None
248
283
    finally:
249
284
        if file_existed:
250
285
            # If the file used to exist, rename it back into place
253
288
                unlink_func(tmp_name)
254
289
            else:
255
290
                rename_func(tmp_name, new)
 
291
    if failure_exc is not None:
 
292
        try:
 
293
            raise failure_exc[0], failure_exc[1], failure_exc[2]
 
294
        finally:
 
295
            del failure_exc
256
296
 
257
297
 
258
298
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
259
299
# choke on a Unicode string containing a relative path if
260
300
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
261
301
# string.
262
 
_fs_enc = sys.getfilesystemencoding() or 'utf-8'
263
302
def _posix_abspath(path):
264
303
    # jam 20060426 rather than encoding to fsencoding
265
304
    # copy posixpath.abspath, but use os.getcwdu instead
266
305
    if not posixpath.isabs(path):
267
306
        path = posixpath.join(getcwd(), path)
268
 
    return posixpath.normpath(path)
 
307
    return _posix_normpath(path)
269
308
 
270
309
 
271
310
def _posix_realpath(path):
272
311
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
273
312
 
274
313
 
 
314
def _posix_normpath(path):
 
315
    path = posixpath.normpath(path)
 
316
    # Bug 861008: posixpath.normpath() returns a path normalized according to
 
317
    # the POSIX standard, which stipulates (for compatibility reasons) that two
 
318
    # leading slashes must not be simplified to one, and only if there are 3 or
 
319
    # more should they be simplified as one. So we treat the leading 2 slashes
 
320
    # as a special case here by simply removing the first slash, as we consider
 
321
    # that breaking POSIX compatibility for this obscure feature is acceptable.
 
322
    # This is not a paranoid precaution, as we notably get paths like this when
 
323
    # the repo is hosted at the root of the filesystem, i.e. in "/".    
 
324
    if path.startswith('//'):
 
325
        path = path[1:]
 
326
    return path
 
327
 
 
328
 
 
329
def _posix_path_from_environ(key):
 
330
    """Get unicode path from `key` in environment or None if not present
 
331
 
 
332
    Note that posix systems use arbitrary byte strings for filesystem objects,
 
333
    so a path that raises BadFilenameEncoding here may still be accessible.
 
334
    """
 
335
    val = os.environ.get(key, None)
 
336
    if val is None:
 
337
        return val
 
338
    try:
 
339
        return val.decode(_fs_enc)
 
340
    except UnicodeDecodeError:
 
341
        # GZ 2011-12-12:Ideally want to include `key` in the exception message
 
342
        raise errors.BadFilenameEncoding(val, _fs_enc)
 
343
 
 
344
 
 
345
def _posix_getuser_unicode():
 
346
    """Get username from environment or password database as unicode"""
 
347
    name = getpass.getuser()
 
348
    user_encoding = get_user_encoding()
 
349
    try:
 
350
        return name.decode(user_encoding)
 
351
    except UnicodeDecodeError:
 
352
        raise errors.BzrError("Encoding of username %r is unsupported by %s "
 
353
            "application locale." % (name, user_encoding))
 
354
 
 
355
 
275
356
def _win32_fixdrive(path):
276
357
    """Force drive letters to be consistent.
277
358
 
281
362
    running python.exe under cmd.exe return capital C:\\
282
363
    running win32 python inside a cygwin shell returns lowercase c:\\
283
364
    """
284
 
    drive, path = _nt_splitdrive(path)
 
365
    drive, path = ntpath.splitdrive(path)
285
366
    return drive.upper() + path
286
367
 
287
368
 
288
369
def _win32_abspath(path):
289
 
    # Real _nt_abspath doesn't have a problem with a unicode cwd
290
 
    return _win32_fixdrive(_nt_abspath(unicode(path)).replace('\\', '/'))
 
370
    # Real ntpath.abspath doesn't have a problem with a unicode cwd
 
371
    return _win32_fixdrive(ntpath.abspath(unicode(path)).replace('\\', '/'))
291
372
 
292
373
 
293
374
def _win98_abspath(path):
304
385
    #   /path       => C:/path
305
386
    path = unicode(path)
306
387
    # check for absolute path
307
 
    drive = _nt_splitdrive(path)[0]
 
388
    drive = ntpath.splitdrive(path)[0]
308
389
    if drive == '' and path[:2] not in('//','\\\\'):
309
390
        cwd = os.getcwdu()
310
391
        # we cannot simply os.path.join cwd and path
311
392
        # because os.path.join('C:','/path') produce '/path'
312
393
        # and this is incorrect
313
394
        if path[:1] in ('/','\\'):
314
 
            cwd = _nt_splitdrive(cwd)[0]
 
395
            cwd = ntpath.splitdrive(cwd)[0]
315
396
            path = path[1:]
316
397
        path = cwd + '\\' + path
317
 
    return _win32_fixdrive(_nt_normpath(path).replace('\\', '/'))
318
 
 
319
 
if win32utils.winver == 'Windows 98':
320
 
    _win32_abspath = _win98_abspath
 
398
    return _win32_fixdrive(ntpath.normpath(path).replace('\\', '/'))
321
399
 
322
400
 
323
401
def _win32_realpath(path):
324
 
    # Real _nt_realpath doesn't have a problem with a unicode cwd
325
 
    return _win32_fixdrive(_nt_realpath(unicode(path)).replace('\\', '/'))
 
402
    # Real ntpath.realpath doesn't have a problem with a unicode cwd
 
403
    return _win32_fixdrive(ntpath.realpath(unicode(path)).replace('\\', '/'))
326
404
 
327
405
 
328
406
def _win32_pathjoin(*args):
329
 
    return _nt_join(*args).replace('\\', '/')
 
407
    return ntpath.join(*args).replace('\\', '/')
330
408
 
331
409
 
332
410
def _win32_normpath(path):
333
 
    return _win32_fixdrive(_nt_normpath(unicode(path)).replace('\\', '/'))
 
411
    return _win32_fixdrive(ntpath.normpath(unicode(path)).replace('\\', '/'))
334
412
 
335
413
 
336
414
def _win32_getcwd():
345
423
    """We expect to be able to atomically replace 'new' with old.
346
424
 
347
425
    On win32, if new exists, it must be moved out of the way first,
348
 
    and then deleted. 
 
426
    and then deleted.
349
427
    """
350
428
    try:
351
429
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
352
430
    except OSError, e:
353
431
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
354
 
            # If we try to rename a non-existant file onto cwd, we get 
355
 
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT 
 
432
            # If we try to rename a non-existant file onto cwd, we get
 
433
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT
356
434
            # if the old path doesn't exist, sometimes we get EACCES
357
435
            # On Linux, we seem to get EBUSY, on Mac we get EINVAL
358
436
            os.lstat(old)
360
438
 
361
439
 
362
440
def _mac_getcwd():
363
 
    return unicodedata.normalize('NFKC', os.getcwdu())
 
441
    return unicodedata.normalize('NFC', os.getcwdu())
364
442
 
365
443
 
366
444
# Default is to just use the python builtins, but these can be rebound on
368
446
abspath = _posix_abspath
369
447
realpath = _posix_realpath
370
448
pathjoin = os.path.join
371
 
normpath = os.path.normpath
 
449
normpath = _posix_normpath
 
450
path_from_environ = _posix_path_from_environ
 
451
getuser_unicode = _posix_getuser_unicode
372
452
getcwd = os.getcwdu
373
453
rename = os.rename
374
454
dirname = os.path.dirname
375
455
basename = os.path.basename
376
456
split = os.path.split
377
457
splitext = os.path.splitext
378
 
# These were already imported into local scope
 
458
# These were already lazily imported into local scope
379
459
# mkdtemp = tempfile.mkdtemp
380
460
# rmtree = shutil.rmtree
 
461
lstat = os.lstat
 
462
fstat = os.fstat
 
463
 
 
464
def wrap_stat(st):
 
465
    return st
 
466
 
381
467
 
382
468
MIN_ABS_PATHLENGTH = 1
383
469
 
384
470
 
385
471
if sys.platform == 'win32':
386
 
    abspath = _win32_abspath
 
472
    if win32utils.winver == 'Windows 98':
 
473
        abspath = _win98_abspath
 
474
    else:
 
475
        abspath = _win32_abspath
387
476
    realpath = _win32_realpath
388
477
    pathjoin = _win32_pathjoin
389
478
    normpath = _win32_normpath
390
479
    getcwd = _win32_getcwd
391
480
    mkdtemp = _win32_mkdtemp
392
481
    rename = _win32_rename
 
482
    try:
 
483
        from bzrlib import _walkdirs_win32
 
484
    except ImportError:
 
485
        pass
 
486
    else:
 
487
        lstat = _walkdirs_win32.lstat
 
488
        fstat = _walkdirs_win32.fstat
 
489
        wrap_stat = _walkdirs_win32.wrap_stat
393
490
 
394
491
    MIN_ABS_PATHLENGTH = 3
395
492
 
409
506
    def rmtree(path, ignore_errors=False, onerror=_win32_delete_readonly):
410
507
        """Replacer for shutil.rmtree: could remove readonly dirs/files"""
411
508
        return shutil.rmtree(path, ignore_errors, onerror)
 
509
 
 
510
    f = win32utils.get_unicode_argv     # special function or None
 
511
    if f is not None:
 
512
        get_unicode_argv = f
 
513
    path_from_environ = win32utils.get_environ_unicode
 
514
    getuser_unicode = win32utils.get_user_name
 
515
 
412
516
elif sys.platform == 'darwin':
413
517
    getcwd = _mac_getcwd
414
518
 
415
519
 
416
 
def get_terminal_encoding():
 
520
def get_terminal_encoding(trace=False):
417
521
    """Find the best encoding for printing to the screen.
418
522
 
419
523
    This attempts to check both sys.stdout and sys.stdin to see
420
524
    what encoding they are in, and if that fails it falls back to
421
 
    bzrlib.user_encoding.
 
525
    osutils.get_user_encoding().
422
526
    The problem is that on Windows, locale.getpreferredencoding()
423
527
    is not the same encoding as that used by the console:
424
528
    http://mail.python.org/pipermail/python-list/2003-May/162357.html
425
529
 
426
530
    On my standard US Windows XP, the preferred encoding is
427
531
    cp1252, but the console is cp437
 
532
 
 
533
    :param trace: If True trace the selected encoding via mutter().
428
534
    """
 
535
    from bzrlib.trace import mutter
429
536
    output_encoding = getattr(sys.stdout, 'encoding', None)
430
537
    if not output_encoding:
431
538
        input_encoding = getattr(sys.stdin, 'encoding', None)
432
539
        if not input_encoding:
433
 
            output_encoding = bzrlib.user_encoding
434
 
            mutter('encoding stdout as bzrlib.user_encoding %r', output_encoding)
 
540
            output_encoding = get_user_encoding()
 
541
            if trace:
 
542
                mutter('encoding stdout as osutils.get_user_encoding() %r',
 
543
                   output_encoding)
435
544
        else:
436
545
            output_encoding = input_encoding
437
 
            mutter('encoding stdout as sys.stdin encoding %r', output_encoding)
 
546
            if trace:
 
547
                mutter('encoding stdout as sys.stdin encoding %r',
 
548
                    output_encoding)
438
549
    else:
439
 
        mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
 
550
        if trace:
 
551
            mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
440
552
    if output_encoding == 'cp0':
441
553
        # invalid encoding (cp0 means 'no codepage' on Windows)
442
 
        output_encoding = bzrlib.user_encoding
443
 
        mutter('cp0 is invalid encoding.'
444
 
               ' encoding stdout as bzrlib.user_encoding %r', output_encoding)
 
554
        output_encoding = get_user_encoding()
 
555
        if trace:
 
556
            mutter('cp0 is invalid encoding.'
 
557
               ' encoding stdout as osutils.get_user_encoding() %r',
 
558
               output_encoding)
445
559
    # check encoding
446
560
    try:
447
561
        codecs.lookup(output_encoding)
449
563
        sys.stderr.write('bzr: warning:'
450
564
                         ' unknown terminal encoding %s.\n'
451
565
                         '  Using encoding %s instead.\n'
452
 
                         % (output_encoding, bzrlib.user_encoding)
 
566
                         % (output_encoding, get_user_encoding())
453
567
                        )
454
 
        output_encoding = bzrlib.user_encoding
 
568
        output_encoding = get_user_encoding()
455
569
 
456
570
    return output_encoding
457
571
 
468
582
        return pathjoin(F(p), e)
469
583
 
470
584
 
471
 
@deprecated_function(one_zero)
472
 
def backup_file(fn):
473
 
    """Copy a file to a backup.
474
 
 
475
 
    Backups are named in GNU-style, with a ~ suffix.
476
 
 
477
 
    If the file is already a backup, it's not copied.
478
 
    """
479
 
    if fn[-1] == '~':
480
 
        return
481
 
    bfn = fn + '~'
482
 
 
483
 
    if has_symlinks() and os.path.islink(fn):
484
 
        target = os.readlink(fn)
485
 
        os.symlink(target, bfn)
486
 
        return
487
 
    inf = file(fn, 'rb')
488
 
    try:
489
 
        content = inf.read()
490
 
    finally:
491
 
        inf.close()
492
 
    
493
 
    outf = file(bfn, 'wb')
494
 
    try:
495
 
        outf.write(content)
496
 
    finally:
497
 
        outf.close()
498
 
 
499
 
 
500
585
def isdir(f):
501
586
    """True if f is an accessible directory."""
502
587
    try:
503
 
        return S_ISDIR(os.lstat(f)[ST_MODE])
 
588
        return stat.S_ISDIR(os.lstat(f)[stat.ST_MODE])
504
589
    except OSError:
505
590
        return False
506
591
 
508
593
def isfile(f):
509
594
    """True if f is a regular file."""
510
595
    try:
511
 
        return S_ISREG(os.lstat(f)[ST_MODE])
 
596
        return stat.S_ISREG(os.lstat(f)[stat.ST_MODE])
512
597
    except OSError:
513
598
        return False
514
599
 
515
600
def islink(f):
516
601
    """True if f is a symlink."""
517
602
    try:
518
 
        return S_ISLNK(os.lstat(f)[ST_MODE])
 
603
        return stat.S_ISLNK(os.lstat(f)[stat.ST_MODE])
519
604
    except OSError:
520
605
        return False
521
606
 
522
607
def is_inside(dir, fname):
523
608
    """True if fname is inside dir.
524
 
    
 
609
 
525
610
    The parameters should typically be passed to osutils.normpath first, so
526
611
    that . and .. and repeated slashes are eliminated, and the separators
527
612
    are canonical for the platform.
528
 
    
529
 
    The empty string as a dir name is taken as top-of-tree and matches 
 
613
 
 
614
    The empty string as a dir name is taken as top-of-tree and matches
530
615
    everything.
531
616
    """
532
 
    # XXX: Most callers of this can actually do something smarter by 
 
617
    # XXX: Most callers of this can actually do something smarter by
533
618
    # looking at the inventory
534
619
    if dir == fname:
535
620
        return True
536
 
    
 
621
 
537
622
    if dir == '':
538
623
        return True
539
624
 
559
644
    return False
560
645
 
561
646
 
562
 
def pumpfile(fromfile, tofile):
 
647
def pumpfile(from_file, to_file, read_length=-1, buff_size=32768,
 
648
             report_activity=None, direction='read'):
563
649
    """Copy contents of one file to another.
564
 
    
 
650
 
 
651
    The read_length can either be -1 to read to end-of-file (EOF) or
 
652
    it can specify the maximum number of bytes to read.
 
653
 
 
654
    The buff_size represents the maximum size for each read operation
 
655
    performed on from_file.
 
656
 
 
657
    :param report_activity: Call this as bytes are read, see
 
658
        Transport._report_activity
 
659
    :param direction: Will be passed to report_activity
 
660
 
565
661
    :return: The number of bytes copied.
566
662
    """
567
 
    BUFSIZE = 32768
568
663
    length = 0
569
 
    while True:
570
 
        b = fromfile.read(BUFSIZE)
571
 
        if not b:
572
 
            break
573
 
        tofile.write(b)
574
 
        length += len(b)
 
664
    if read_length >= 0:
 
665
        # read specified number of bytes
 
666
 
 
667
        while read_length > 0:
 
668
            num_bytes_to_read = min(read_length, buff_size)
 
669
 
 
670
            block = from_file.read(num_bytes_to_read)
 
671
            if not block:
 
672
                # EOF reached
 
673
                break
 
674
            if report_activity is not None:
 
675
                report_activity(len(block), direction)
 
676
            to_file.write(block)
 
677
 
 
678
            actual_bytes_read = len(block)
 
679
            read_length -= actual_bytes_read
 
680
            length += actual_bytes_read
 
681
    else:
 
682
        # read to EOF
 
683
        while True:
 
684
            block = from_file.read(buff_size)
 
685
            if not block:
 
686
                # EOF reached
 
687
                break
 
688
            if report_activity is not None:
 
689
                report_activity(len(block), direction)
 
690
            to_file.write(block)
 
691
            length += len(block)
575
692
    return length
576
693
 
577
694
 
 
695
def pump_string_file(bytes, file_handle, segment_size=None):
 
696
    """Write bytes to file_handle in many smaller writes.
 
697
 
 
698
    :param bytes: The string to write.
 
699
    :param file_handle: The file to write to.
 
700
    """
 
701
    # Write data in chunks rather than all at once, because very large
 
702
    # writes fail on some platforms (e.g. Windows with SMB  mounted
 
703
    # drives).
 
704
    if not segment_size:
 
705
        segment_size = 5242880 # 5MB
 
706
    segments = range(len(bytes) / segment_size + 1)
 
707
    write = file_handle.write
 
708
    for segment_index in segments:
 
709
        segment = buffer(bytes, segment_index * segment_size, segment_size)
 
710
        write(segment)
 
711
 
 
712
 
578
713
def file_iterator(input_file, readsize=32768):
579
714
    while True:
580
715
        b = input_file.read(readsize)
584
719
 
585
720
 
586
721
def sha_file(f):
587
 
    if getattr(f, 'tell', None) is not None:
588
 
        assert f.tell() == 0
589
 
    s = sha.new()
 
722
    """Calculate the hexdigest of an open file.
 
723
 
 
724
    The file cursor should be already at the start.
 
725
    """
 
726
    s = sha()
590
727
    BUFSIZE = 128<<10
591
728
    while True:
592
729
        b = f.read(BUFSIZE)
596
733
    return s.hexdigest()
597
734
 
598
735
 
 
736
def size_sha_file(f):
 
737
    """Calculate the size and hexdigest of an open file.
 
738
 
 
739
    The file cursor should be already at the start and
 
740
    the caller is responsible for closing the file afterwards.
 
741
    """
 
742
    size = 0
 
743
    s = sha()
 
744
    BUFSIZE = 128<<10
 
745
    while True:
 
746
        b = f.read(BUFSIZE)
 
747
        if not b:
 
748
            break
 
749
        size += len(b)
 
750
        s.update(b)
 
751
    return size, s.hexdigest()
 
752
 
 
753
 
599
754
def sha_file_by_name(fname):
600
755
    """Calculate the SHA1 of a file by reading the full text"""
601
 
    s = sha.new()
602
 
    f = os.open(fname, os.O_RDONLY | O_BINARY)
 
756
    s = sha()
 
757
    f = os.open(fname, os.O_RDONLY | O_BINARY | O_NOINHERIT)
603
758
    try:
604
759
        while True:
605
760
            b = os.read(f, 1<<16)
610
765
        os.close(f)
611
766
 
612
767
 
613
 
def sha_strings(strings, _factory=sha.new):
 
768
def sha_strings(strings, _factory=sha):
614
769
    """Return the sha-1 of concatenation of strings"""
615
770
    s = _factory()
616
771
    map(s.update, strings)
617
772
    return s.hexdigest()
618
773
 
619
774
 
620
 
def sha_string(f, _factory=sha.new):
 
775
def sha_string(f, _factory=sha):
621
776
    return _factory(f).hexdigest()
622
777
 
623
778
 
624
779
def fingerprint_file(f):
625
780
    b = f.read()
626
781
    return {'size': len(b),
627
 
            'sha1': sha.new(b).hexdigest()}
 
782
            'sha1': sha(b).hexdigest()}
628
783
 
629
784
 
630
785
def compare_files(a, b):
646
801
    offset = datetime.fromtimestamp(t) - datetime.utcfromtimestamp(t)
647
802
    return offset.days * 86400 + offset.seconds
648
803
 
649
 
    
 
804
weekdays = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
 
805
_default_format_by_weekday_num = [wd + " %Y-%m-%d %H:%M:%S" for wd in weekdays]
 
806
 
 
807
 
650
808
def format_date(t, offset=0, timezone='original', date_fmt=None,
651
809
                show_offset=True):
652
810
    """Return a formatted date string.
656
814
    :param timezone: How to display the time: 'utc', 'original' for the
657
815
         timezone specified by offset, or 'local' for the process's current
658
816
         timezone.
659
 
    :param show_offset: Whether to append the timezone.
660
 
    :param date_fmt: strftime format.
661
 
    """
 
817
    :param date_fmt: strftime format.
 
818
    :param show_offset: Whether to append the timezone.
 
819
    """
 
820
    (date_fmt, tt, offset_str) = \
 
821
               _format_date(t, offset, timezone, date_fmt, show_offset)
 
822
    date_fmt = date_fmt.replace('%a', weekdays[tt[6]])
 
823
    date_str = time.strftime(date_fmt, tt)
 
824
    return date_str + offset_str
 
825
 
 
826
 
 
827
# Cache of formatted offset strings
 
828
_offset_cache = {}
 
829
 
 
830
 
 
831
def format_date_with_offset_in_original_timezone(t, offset=0,
 
832
    _cache=_offset_cache):
 
833
    """Return a formatted date string in the original timezone.
 
834
 
 
835
    This routine may be faster then format_date.
 
836
 
 
837
    :param t: Seconds since the epoch.
 
838
    :param offset: Timezone offset in seconds east of utc.
 
839
    """
 
840
    if offset is None:
 
841
        offset = 0
 
842
    tt = time.gmtime(t + offset)
 
843
    date_fmt = _default_format_by_weekday_num[tt[6]]
 
844
    date_str = time.strftime(date_fmt, tt)
 
845
    offset_str = _cache.get(offset, None)
 
846
    if offset_str is None:
 
847
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
 
848
        _cache[offset] = offset_str
 
849
    return date_str + offset_str
 
850
 
 
851
 
 
852
def format_local_date(t, offset=0, timezone='original', date_fmt=None,
 
853
                      show_offset=True):
 
854
    """Return an unicode date string formatted according to the current locale.
 
855
 
 
856
    :param t: Seconds since the epoch.
 
857
    :param offset: Timezone offset in seconds east of utc.
 
858
    :param timezone: How to display the time: 'utc', 'original' for the
 
859
         timezone specified by offset, or 'local' for the process's current
 
860
         timezone.
 
861
    :param date_fmt: strftime format.
 
862
    :param show_offset: Whether to append the timezone.
 
863
    """
 
864
    (date_fmt, tt, offset_str) = \
 
865
               _format_date(t, offset, timezone, date_fmt, show_offset)
 
866
    date_str = time.strftime(date_fmt, tt)
 
867
    if not isinstance(date_str, unicode):
 
868
        date_str = date_str.decode(get_user_encoding(), 'replace')
 
869
    return date_str + offset_str
 
870
 
 
871
 
 
872
def _format_date(t, offset, timezone, date_fmt, show_offset):
662
873
    if timezone == 'utc':
663
874
        tt = time.gmtime(t)
664
875
        offset = 0
670
881
        tt = time.localtime(t)
671
882
        offset = local_time_offset(t)
672
883
    else:
673
 
        raise errors.BzrError("unsupported timezone format %r" % timezone,
674
 
                              ['options are "utc", "original", "local"'])
 
884
        raise errors.UnsupportedTimezoneFormat(timezone)
675
885
    if date_fmt is None:
676
886
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
677
887
    if show_offset:
678
888
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
679
889
    else:
680
890
        offset_str = ''
681
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
891
    return (date_fmt, tt, offset_str)
682
892
 
683
893
 
684
894
def compact_date(when):
685
895
    return time.strftime('%Y%m%d%H%M%S', time.gmtime(when))
686
 
    
 
896
 
687
897
 
688
898
def format_delta(delta):
689
899
    """Get a nice looking string for a time delta.
736
946
 
737
947
def filesize(f):
738
948
    """Return size of given open file."""
739
 
    return os.fstat(f.fileno())[ST_SIZE]
740
 
 
741
 
 
742
 
# Define rand_bytes based on platform.
743
 
try:
744
 
    # Python 2.4 and later have os.urandom,
745
 
    # but it doesn't work on some arches
746
 
    os.urandom(1)
747
 
    rand_bytes = os.urandom
748
 
except (NotImplementedError, AttributeError):
749
 
    # If python doesn't have os.urandom, or it doesn't work,
750
 
    # then try to first pull random data from /dev/urandom
 
949
    return os.fstat(f.fileno())[stat.ST_SIZE]
 
950
 
 
951
 
 
952
# Alias os.urandom to support platforms (which?) without /dev/urandom and 
 
953
# override if it doesn't work. Avoid checking on windows where there is
 
954
# significant initialisation cost that can be avoided for some bzr calls.
 
955
 
 
956
rand_bytes = os.urandom
 
957
 
 
958
if rand_bytes.__module__ != "nt":
751
959
    try:
752
 
        rand_bytes = file('/dev/urandom', 'rb').read
753
 
    # Otherwise, use this hack as a last resort
754
 
    except (IOError, OSError):
 
960
        rand_bytes(1)
 
961
    except NotImplementedError:
755
962
        # not well seeded, but better than nothing
756
963
        def rand_bytes(n):
757
964
            import random
765
972
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
766
973
def rand_chars(num):
767
974
    """Return a random string of num alphanumeric characters
768
 
    
769
 
    The result only contains lowercase chars because it may be used on 
 
975
 
 
976
    The result only contains lowercase chars because it may be used on
770
977
    case-insensitive filesystems.
771
978
    """
772
979
    s = ''
780
987
 
781
988
def splitpath(p):
782
989
    """Turn string into list of parts."""
783
 
    assert isinstance(p, basestring)
784
 
 
785
990
    # split on either delimiter because people might use either on
786
991
    # Windows
787
992
    ps = re.split(r'[\\/]', p)
789
994
    rps = []
790
995
    for f in ps:
791
996
        if f == '..':
792
 
            raise errors.BzrError("sorry, %r not allowed in path" % f)
 
997
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
793
998
        elif (f == '.') or (f == ''):
794
999
            pass
795
1000
        else:
796
1001
            rps.append(f)
797
1002
    return rps
798
1003
 
 
1004
 
799
1005
def joinpath(p):
800
 
    assert isinstance(p, (list, tuple))
801
1006
    for f in p:
802
1007
        if (f == '..') or (f is None) or (f == ''):
803
 
            raise errors.BzrError("sorry, %r not allowed in path" % f)
 
1008
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
804
1009
    return pathjoin(*p)
805
1010
 
806
1011
 
 
1012
def parent_directories(filename):
 
1013
    """Return the list of parent directories, deepest first.
 
1014
 
 
1015
    For example, parent_directories("a/b/c") -> ["a/b", "a"].
 
1016
    """
 
1017
    parents = []
 
1018
    parts = splitpath(dirname(filename))
 
1019
    while parts:
 
1020
        parents.append(joinpath(parts))
 
1021
        parts.pop()
 
1022
    return parents
 
1023
 
 
1024
 
 
1025
_extension_load_failures = []
 
1026
 
 
1027
 
 
1028
def failed_to_load_extension(exception):
 
1029
    """Handle failing to load a binary extension.
 
1030
 
 
1031
    This should be called from the ImportError block guarding the attempt to
 
1032
    import the native extension.  If this function returns, the pure-Python
 
1033
    implementation should be loaded instead::
 
1034
 
 
1035
    >>> try:
 
1036
    >>>     import bzrlib._fictional_extension_pyx
 
1037
    >>> except ImportError, e:
 
1038
    >>>     bzrlib.osutils.failed_to_load_extension(e)
 
1039
    >>>     import bzrlib._fictional_extension_py
 
1040
    """
 
1041
    # NB: This docstring is just an example, not a doctest, because doctest
 
1042
    # currently can't cope with the use of lazy imports in this namespace --
 
1043
    # mbp 20090729
 
1044
 
 
1045
    # This currently doesn't report the failure at the time it occurs, because
 
1046
    # they tend to happen very early in startup when we can't check config
 
1047
    # files etc, and also we want to report all failures but not spam the user
 
1048
    # with 10 warnings.
 
1049
    exception_str = str(exception)
 
1050
    if exception_str not in _extension_load_failures:
 
1051
        trace.mutter("failed to load compiled extension: %s" % exception_str)
 
1052
        _extension_load_failures.append(exception_str)
 
1053
 
 
1054
 
 
1055
def report_extension_load_failures():
 
1056
    if not _extension_load_failures:
 
1057
        return
 
1058
    if config.GlobalStack().get('ignore_missing_extensions'):
 
1059
        return
 
1060
    # the warnings framework should by default show this only once
 
1061
    from bzrlib.trace import warning
 
1062
    warning(
 
1063
        "bzr: warning: some compiled extensions could not be loaded; "
 
1064
        "see <https://answers.launchpad.net/bzr/+faq/703>")
 
1065
    # we no longer show the specific missing extensions here, because it makes
 
1066
    # the message too long and scary - see
 
1067
    # https://bugs.launchpad.net/bzr/+bug/430529
 
1068
 
 
1069
 
 
1070
try:
 
1071
    from bzrlib._chunks_to_lines_pyx import chunks_to_lines
 
1072
except ImportError, e:
 
1073
    failed_to_load_extension(e)
 
1074
    from bzrlib._chunks_to_lines_py import chunks_to_lines
 
1075
 
 
1076
 
807
1077
def split_lines(s):
808
1078
    """Split s into lines, but without removing the newline characters."""
 
1079
    # Trivially convert a fulltext into a 'chunked' representation, and let
 
1080
    # chunks_to_lines do the heavy lifting.
 
1081
    if isinstance(s, str):
 
1082
        # chunks_to_lines only supports 8-bit strings
 
1083
        return chunks_to_lines([s])
 
1084
    else:
 
1085
        return _split_lines(s)
 
1086
 
 
1087
 
 
1088
def _split_lines(s):
 
1089
    """Split s into lines, but without removing the newline characters.
 
1090
 
 
1091
    This supports Unicode or plain string objects.
 
1092
    """
809
1093
    lines = s.split('\n')
810
1094
    result = [line + '\n' for line in lines[:-1]]
811
1095
    if lines[-1]:
830
1114
        shutil.copyfile(src, dest)
831
1115
 
832
1116
 
833
 
# Look Before You Leap (LBYL) is appropriate here instead of Easier to Ask for
834
 
# Forgiveness than Permission (EAFP) because:
835
 
# - root can damage a solaris file system by using unlink,
836
 
# - unlink raises different exceptions on different OSes (linux: EISDIR, win32:
837
 
#   EACCES, OSX: EPERM) when invoked on a directory.
838
1117
def delete_any(path):
839
 
    """Delete a file or directory."""
 
1118
    """Delete a file, symlink or directory.
 
1119
 
 
1120
    Will delete even if readonly.
 
1121
    """
 
1122
    try:
 
1123
       _delete_file_or_dir(path)
 
1124
    except (OSError, IOError), e:
 
1125
        if e.errno in (errno.EPERM, errno.EACCES):
 
1126
            # make writable and try again
 
1127
            try:
 
1128
                make_writable(path)
 
1129
            except (OSError, IOError):
 
1130
                pass
 
1131
            _delete_file_or_dir(path)
 
1132
        else:
 
1133
            raise
 
1134
 
 
1135
 
 
1136
def _delete_file_or_dir(path):
 
1137
    # Look Before You Leap (LBYL) is appropriate here instead of Easier to Ask for
 
1138
    # Forgiveness than Permission (EAFP) because:
 
1139
    # - root can damage a solaris file system by using unlink,
 
1140
    # - unlink raises different exceptions on different OSes (linux: EISDIR, win32:
 
1141
    #   EACCES, OSX: EPERM) when invoked on a directory.
840
1142
    if isdir(path): # Takes care of symlinks
841
1143
        os.rmdir(path)
842
1144
    else:
850
1152
        return False
851
1153
 
852
1154
 
 
1155
def has_hardlinks():
 
1156
    if getattr(os, 'link', None) is not None:
 
1157
        return True
 
1158
    else:
 
1159
        return False
 
1160
 
 
1161
 
 
1162
def host_os_dereferences_symlinks():
 
1163
    return (has_symlinks()
 
1164
            and sys.platform not in ('cygwin', 'win32'))
 
1165
 
 
1166
 
 
1167
def readlink(abspath):
 
1168
    """Return a string representing the path to which the symbolic link points.
 
1169
 
 
1170
    :param abspath: The link absolute unicode path.
 
1171
 
 
1172
    This his guaranteed to return the symbolic link in unicode in all python
 
1173
    versions.
 
1174
    """
 
1175
    link = abspath.encode(_fs_enc)
 
1176
    target = os.readlink(link)
 
1177
    target = target.decode(_fs_enc)
 
1178
    return target
 
1179
 
 
1180
 
853
1181
def contains_whitespace(s):
854
1182
    """True if there are any whitespace characters in s."""
855
1183
    # string.whitespace can include '\xa0' in certain locales, because it is
880
1208
 
881
1209
 
882
1210
def relpath(base, path):
883
 
    """Return path relative to base, or raise exception.
 
1211
    """Return path relative to base, or raise PathNotChild exception.
884
1212
 
885
1213
    The path may be either an absolute path or a path relative to the
886
1214
    current working directory.
888
1216
    os.path.commonprefix (python2.4) has a bad bug that it works just
889
1217
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
890
1218
    avoids that problem.
 
1219
 
 
1220
    NOTE: `base` should not have a trailing slash otherwise you'll get
 
1221
    PathNotChild exceptions regardless of `path`.
891
1222
    """
892
1223
 
893
 
    assert len(base) >= MIN_ABS_PATHLENGTH, ('Length of base must be equal or'
894
 
        ' exceed the platform minimum length (which is %d)' % 
895
 
        MIN_ABS_PATHLENGTH)
 
1224
    if len(base) < MIN_ABS_PATHLENGTH:
 
1225
        # must have space for e.g. a drive letter
 
1226
        raise ValueError(gettext('%r is too short to calculate a relative path')
 
1227
            % (base,))
896
1228
 
897
1229
    rp = abspath(path)
898
1230
 
899
1231
    s = []
900
1232
    head = rp
901
 
    while len(head) >= len(base):
 
1233
    while True:
 
1234
        if len(head) <= len(base) and head != base:
 
1235
            raise errors.PathNotChild(rp, base)
902
1236
        if head == base:
903
1237
            break
904
 
        head, tail = os.path.split(head)
 
1238
        head, tail = split(head)
905
1239
        if tail:
906
 
            s.insert(0, tail)
907
 
    else:
908
 
        raise errors.PathNotChild(rp, base)
 
1240
            s.append(tail)
909
1241
 
910
1242
    if s:
911
 
        return pathjoin(*s)
 
1243
        return pathjoin(*reversed(s))
912
1244
    else:
913
1245
        return ''
914
1246
 
915
1247
 
 
1248
def _cicp_canonical_relpath(base, path):
 
1249
    """Return the canonical path relative to base.
 
1250
 
 
1251
    Like relpath, but on case-insensitive-case-preserving file-systems, this
 
1252
    will return the relpath as stored on the file-system rather than in the
 
1253
    case specified in the input string, for all existing portions of the path.
 
1254
 
 
1255
    This will cause O(N) behaviour if called for every path in a tree; if you
 
1256
    have a number of paths to convert, you should use canonical_relpaths().
 
1257
    """
 
1258
    # TODO: it should be possible to optimize this for Windows by using the
 
1259
    # win32 API FindFiles function to look for the specified name - but using
 
1260
    # os.listdir() still gives us the correct, platform agnostic semantics in
 
1261
    # the short term.
 
1262
 
 
1263
    rel = relpath(base, path)
 
1264
    # '.' will have been turned into ''
 
1265
    if not rel:
 
1266
        return rel
 
1267
 
 
1268
    abs_base = abspath(base)
 
1269
    current = abs_base
 
1270
    _listdir = os.listdir
 
1271
 
 
1272
    # use an explicit iterator so we can easily consume the rest on early exit.
 
1273
    bit_iter = iter(rel.split('/'))
 
1274
    for bit in bit_iter:
 
1275
        lbit = bit.lower()
 
1276
        try:
 
1277
            next_entries = _listdir(current)
 
1278
        except OSError: # enoent, eperm, etc
 
1279
            # We can't find this in the filesystem, so just append the
 
1280
            # remaining bits.
 
1281
            current = pathjoin(current, bit, *list(bit_iter))
 
1282
            break
 
1283
        for look in next_entries:
 
1284
            if lbit == look.lower():
 
1285
                current = pathjoin(current, look)
 
1286
                break
 
1287
        else:
 
1288
            # got to the end, nothing matched, so we just return the
 
1289
            # non-existing bits as they were specified (the filename may be
 
1290
            # the target of a move, for example).
 
1291
            current = pathjoin(current, bit, *list(bit_iter))
 
1292
            break
 
1293
    return current[len(abs_base):].lstrip('/')
 
1294
 
 
1295
# XXX - TODO - we need better detection/integration of case-insensitive
 
1296
# file-systems; Linux often sees FAT32 devices (or NFS-mounted OSX
 
1297
# filesystems), for example, so could probably benefit from the same basic
 
1298
# support there.  For now though, only Windows and OSX get that support, and
 
1299
# they get it for *all* file-systems!
 
1300
if sys.platform in ('win32', 'darwin'):
 
1301
    canonical_relpath = _cicp_canonical_relpath
 
1302
else:
 
1303
    canonical_relpath = relpath
 
1304
 
 
1305
def canonical_relpaths(base, paths):
 
1306
    """Create an iterable to canonicalize a sequence of relative paths.
 
1307
 
 
1308
    The intent is for this implementation to use a cache, vastly speeding
 
1309
    up multiple transformations in the same directory.
 
1310
    """
 
1311
    # but for now, we haven't optimized...
 
1312
    return [canonical_relpath(base, p) for p in paths]
 
1313
 
 
1314
 
 
1315
def decode_filename(filename):
 
1316
    """Decode the filename using the filesystem encoding
 
1317
 
 
1318
    If it is unicode, it is returned.
 
1319
    Otherwise it is decoded from the the filesystem's encoding. If decoding
 
1320
    fails, a errors.BadFilenameEncoding exception is raised.
 
1321
    """
 
1322
    if type(filename) is unicode:
 
1323
        return filename
 
1324
    try:
 
1325
        return filename.decode(_fs_enc)
 
1326
    except UnicodeDecodeError:
 
1327
        raise errors.BadFilenameEncoding(filename, _fs_enc)
 
1328
 
 
1329
 
916
1330
def safe_unicode(unicode_or_utf8_string):
917
1331
    """Coerce unicode_or_utf8_string into unicode.
918
1332
 
919
1333
    If it is unicode, it is returned.
920
 
    Otherwise it is decoded from utf-8. If a decoding error
921
 
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
922
 
    as a BzrBadParameter exception.
 
1334
    Otherwise it is decoded from utf-8. If decoding fails, the exception is
 
1335
    wrapped in a BzrBadParameterNotUnicode exception.
923
1336
    """
924
1337
    if isinstance(unicode_or_utf8_string, unicode):
925
1338
        return unicode_or_utf8_string
1002
1415
def normalizes_filenames():
1003
1416
    """Return True if this platform normalizes unicode filenames.
1004
1417
 
1005
 
    Mac OSX does, Windows/Linux do not.
 
1418
    Only Mac OSX.
1006
1419
    """
1007
1420
    return _platform_normalizes_filenames
1008
1421
 
1012
1425
 
1013
1426
    On platforms where the system normalizes filenames (Mac OSX),
1014
1427
    you can access a file by any path which will normalize correctly.
1015
 
    On platforms where the system does not normalize filenames 
1016
 
    (Windows, Linux), you have to access a file by its exact path.
 
1428
    On platforms where the system does not normalize filenames
 
1429
    (everything else), you have to access a file by its exact path.
1017
1430
 
1018
 
    Internally, bzr only supports NFC/NFKC normalization, since that is 
 
1431
    Internally, bzr only supports NFC normalization, since that is
1019
1432
    the standard for XML documents.
1020
1433
 
1021
1434
    So return the normalized path, and a flag indicating if the file
1022
1435
    can be accessed by that path.
1023
1436
    """
1024
1437
 
1025
 
    return unicodedata.normalize('NFKC', unicode(path)), True
 
1438
    return unicodedata.normalize('NFC', unicode(path)), True
1026
1439
 
1027
1440
 
1028
1441
def _inaccessible_normalized_filename(path):
1029
1442
    __doc__ = _accessible_normalized_filename.__doc__
1030
1443
 
1031
 
    normalized = unicodedata.normalize('NFKC', unicode(path))
 
1444
    normalized = unicodedata.normalize('NFC', unicode(path))
1032
1445
    return normalized, normalized == path
1033
1446
 
1034
1447
 
1038
1451
    normalized_filename = _inaccessible_normalized_filename
1039
1452
 
1040
1453
 
 
1454
def set_signal_handler(signum, handler, restart_syscall=True):
 
1455
    """A wrapper for signal.signal that also calls siginterrupt(signum, False)
 
1456
    on platforms that support that.
 
1457
 
 
1458
    :param restart_syscall: if set, allow syscalls interrupted by a signal to
 
1459
        automatically restart (by calling `signal.siginterrupt(signum,
 
1460
        False)`).  May be ignored if the feature is not available on this
 
1461
        platform or Python version.
 
1462
    """
 
1463
    try:
 
1464
        import signal
 
1465
        siginterrupt = signal.siginterrupt
 
1466
    except ImportError:
 
1467
        # This python implementation doesn't provide signal support, hence no
 
1468
        # handler exists
 
1469
        return None
 
1470
    except AttributeError:
 
1471
        # siginterrupt doesn't exist on this platform, or for this version
 
1472
        # of Python.
 
1473
        siginterrupt = lambda signum, flag: None
 
1474
    if restart_syscall:
 
1475
        def sig_handler(*args):
 
1476
            # Python resets the siginterrupt flag when a signal is
 
1477
            # received.  <http://bugs.python.org/issue8354>
 
1478
            # As a workaround for some cases, set it back the way we want it.
 
1479
            siginterrupt(signum, False)
 
1480
            # Now run the handler function passed to set_signal_handler.
 
1481
            handler(*args)
 
1482
    else:
 
1483
        sig_handler = handler
 
1484
    old_handler = signal.signal(signum, sig_handler)
 
1485
    if restart_syscall:
 
1486
        siginterrupt(signum, False)
 
1487
    return old_handler
 
1488
 
 
1489
 
 
1490
default_terminal_width = 80
 
1491
"""The default terminal width for ttys.
 
1492
 
 
1493
This is defined so that higher levels can share a common fallback value when
 
1494
terminal_width() returns None.
 
1495
"""
 
1496
 
 
1497
# Keep some state so that terminal_width can detect if _terminal_size has
 
1498
# returned a different size since the process started.  See docstring and
 
1499
# comments of terminal_width for details.
 
1500
# _terminal_size_state has 3 possible values: no_data, unchanged, and changed.
 
1501
_terminal_size_state = 'no_data'
 
1502
_first_terminal_size = None
 
1503
 
1041
1504
def terminal_width():
1042
 
    """Return estimated terminal width."""
1043
 
    if sys.platform == 'win32':
1044
 
        return win32utils.get_console_size()[0]
1045
 
    width = 0
 
1505
    """Return terminal width.
 
1506
 
 
1507
    None is returned if the width can't established precisely.
 
1508
 
 
1509
    The rules are:
 
1510
    - if BZR_COLUMNS is set, returns its value
 
1511
    - if there is no controlling terminal, returns None
 
1512
    - query the OS, if the queried size has changed since the last query,
 
1513
      return its value,
 
1514
    - if COLUMNS is set, returns its value,
 
1515
    - if the OS has a value (even though it's never changed), return its value.
 
1516
 
 
1517
    From there, we need to query the OS to get the size of the controlling
 
1518
    terminal.
 
1519
 
 
1520
    On Unices we query the OS by:
 
1521
    - get termios.TIOCGWINSZ
 
1522
    - if an error occurs or a negative value is obtained, returns None
 
1523
 
 
1524
    On Windows we query the OS by:
 
1525
    - win32utils.get_console_size() decides,
 
1526
    - returns None on error (provided default value)
 
1527
    """
 
1528
    # Note to implementors: if changing the rules for determining the width,
 
1529
    # make sure you've considered the behaviour in these cases:
 
1530
    #  - M-x shell in emacs, where $COLUMNS is set and TIOCGWINSZ returns 0,0.
 
1531
    #  - bzr log | less, in bash, where $COLUMNS not set and TIOCGWINSZ returns
 
1532
    #    0,0.
 
1533
    #  - (add more interesting cases here, if you find any)
 
1534
    # Some programs implement "Use $COLUMNS (if set) until SIGWINCH occurs",
 
1535
    # but we don't want to register a signal handler because it is impossible
 
1536
    # to do so without risking EINTR errors in Python <= 2.6.5 (see
 
1537
    # <http://bugs.python.org/issue8354>).  Instead we check TIOCGWINSZ every
 
1538
    # time so we can notice if the reported size has changed, which should have
 
1539
    # a similar effect.
 
1540
 
 
1541
    # If BZR_COLUMNS is set, take it, user is always right
 
1542
    # Except if they specified 0 in which case, impose no limit here
 
1543
    try:
 
1544
        width = int(os.environ['BZR_COLUMNS'])
 
1545
    except (KeyError, ValueError):
 
1546
        width = None
 
1547
    if width is not None:
 
1548
        if width > 0:
 
1549
            return width
 
1550
        else:
 
1551
            return None
 
1552
 
 
1553
    isatty = getattr(sys.stdout, 'isatty', None)
 
1554
    if isatty is None or not isatty():
 
1555
        # Don't guess, setting BZR_COLUMNS is the recommended way to override.
 
1556
        return None
 
1557
 
 
1558
    # Query the OS
 
1559
    width, height = os_size = _terminal_size(None, None)
 
1560
    global _first_terminal_size, _terminal_size_state
 
1561
    if _terminal_size_state == 'no_data':
 
1562
        _first_terminal_size = os_size
 
1563
        _terminal_size_state = 'unchanged'
 
1564
    elif (_terminal_size_state == 'unchanged' and
 
1565
          _first_terminal_size != os_size):
 
1566
        _terminal_size_state = 'changed'
 
1567
 
 
1568
    # If the OS claims to know how wide the terminal is, and this value has
 
1569
    # ever changed, use that.
 
1570
    if _terminal_size_state == 'changed':
 
1571
        if width is not None and width > 0:
 
1572
            return width
 
1573
 
 
1574
    # If COLUMNS is set, use it.
 
1575
    try:
 
1576
        return int(os.environ['COLUMNS'])
 
1577
    except (KeyError, ValueError):
 
1578
        pass
 
1579
 
 
1580
    # Finally, use an unchanged size from the OS, if we have one.
 
1581
    if _terminal_size_state == 'unchanged':
 
1582
        if width is not None and width > 0:
 
1583
            return width
 
1584
 
 
1585
    # The width could not be determined.
 
1586
    return None
 
1587
 
 
1588
 
 
1589
def _win32_terminal_size(width, height):
 
1590
    width, height = win32utils.get_console_size(defaultx=width, defaulty=height)
 
1591
    return width, height
 
1592
 
 
1593
 
 
1594
def _ioctl_terminal_size(width, height):
1046
1595
    try:
1047
1596
        import struct, fcntl, termios
1048
1597
        s = struct.pack('HHHH', 0, 0, 0, 0)
1049
1598
        x = fcntl.ioctl(1, termios.TIOCGWINSZ, s)
1050
 
        width = struct.unpack('HHHH', x)[1]
1051
 
    except IOError:
 
1599
        height, width = struct.unpack('HHHH', x)[0:2]
 
1600
    except (IOError, AttributeError):
1052
1601
        pass
1053
 
    if width <= 0:
1054
 
        try:
1055
 
            width = int(os.environ['COLUMNS'])
1056
 
        except:
1057
 
            pass
1058
 
    if width <= 0:
1059
 
        width = 80
1060
 
 
1061
 
    return width
 
1602
    return width, height
 
1603
 
 
1604
_terminal_size = None
 
1605
"""Returns the terminal size as (width, height).
 
1606
 
 
1607
:param width: Default value for width.
 
1608
:param height: Default value for height.
 
1609
 
 
1610
This is defined specifically for each OS and query the size of the controlling
 
1611
terminal. If any error occurs, the provided default values should be returned.
 
1612
"""
 
1613
if sys.platform == 'win32':
 
1614
    _terminal_size = _win32_terminal_size
 
1615
else:
 
1616
    _terminal_size = _ioctl_terminal_size
1062
1617
 
1063
1618
 
1064
1619
def supports_executable():
1092
1647
            del os.environ[env_variable]
1093
1648
    else:
1094
1649
        if isinstance(value, unicode):
1095
 
            value = value.encode(bzrlib.user_encoding)
 
1650
            value = value.encode(get_user_encoding())
1096
1651
        os.environ[env_variable] = value
1097
1652
    return orig_val
1098
1653
 
1101
1656
 
1102
1657
 
1103
1658
def check_legal_path(path):
1104
 
    """Check whether the supplied path is legal.  
 
1659
    """Check whether the supplied path is legal.
1105
1660
    This is only required on Windows, so we don't test on other platforms
1106
1661
    right now.
1107
1662
    """
1111
1666
        raise errors.IllegalPath(path)
1112
1667
 
1113
1668
 
 
1669
_WIN32_ERROR_DIRECTORY = 267 # Similar to errno.ENOTDIR
 
1670
 
 
1671
def _is_error_enotdir(e):
 
1672
    """Check if this exception represents ENOTDIR.
 
1673
 
 
1674
    Unfortunately, python is very inconsistent about the exception
 
1675
    here. The cases are:
 
1676
      1) Linux, Mac OSX all versions seem to set errno == ENOTDIR
 
1677
      2) Windows, Python2.4, uses errno == ERROR_DIRECTORY (267)
 
1678
         which is the windows error code.
 
1679
      3) Windows, Python2.5 uses errno == EINVAL and
 
1680
         winerror == ERROR_DIRECTORY
 
1681
 
 
1682
    :param e: An Exception object (expected to be OSError with an errno
 
1683
        attribute, but we should be able to cope with anything)
 
1684
    :return: True if this represents an ENOTDIR error. False otherwise.
 
1685
    """
 
1686
    en = getattr(e, 'errno', None)
 
1687
    if (en == errno.ENOTDIR
 
1688
        or (sys.platform == 'win32'
 
1689
            and (en == _WIN32_ERROR_DIRECTORY
 
1690
                 or (en == errno.EINVAL
 
1691
                     and getattr(e, 'winerror', None) == _WIN32_ERROR_DIRECTORY)
 
1692
        ))):
 
1693
        return True
 
1694
    return False
 
1695
 
 
1696
 
1114
1697
def walkdirs(top, prefix=""):
1115
1698
    """Yield data about all the directories in a tree.
1116
 
    
 
1699
 
1117
1700
    This yields all the data about the contents of a directory at a time.
1118
1701
    After each directory has been yielded, if the caller has mutated the list
1119
1702
    to exclude some directories, they are then not descended into.
1120
 
    
 
1703
 
1121
1704
    The data yielded is of the form:
1122
1705
    ((directory-relpath, directory-path-from-top),
1123
1706
    [(relpath, basename, kind, lstat, path-from-top), ...]),
1124
1707
     - directory-relpath is the relative path of the directory being returned
1125
1708
       with respect to top. prefix is prepended to this.
1126
 
     - directory-path-from-root is the path including top for this directory. 
 
1709
     - directory-path-from-root is the path including top for this directory.
1127
1710
       It is suitable for use with os functions.
1128
1711
     - relpath is the relative path within the subtree being walked.
1129
1712
     - basename is the basename of the path
1131
1714
       present within the tree - but it may be recorded as versioned. See
1132
1715
       versioned_kind.
1133
1716
     - lstat is the stat data *if* the file was statted.
1134
 
     - planned, not implemented: 
 
1717
     - planned, not implemented:
1135
1718
       path_from_tree_root is the path from the root of the tree.
1136
1719
 
1137
 
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This 
 
1720
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This
1138
1721
        allows one to walk a subtree but get paths that are relative to a tree
1139
1722
        rooted higher up.
1140
1723
    :return: an iterator over the dirs.
1141
1724
    """
1142
1725
    #TODO there is a bit of a smell where the results of the directory-
1143
 
    # summary in this, and the path from the root, may not agree 
 
1726
    # summary in this, and the path from the root, may not agree
1144
1727
    # depending on top and prefix - i.e. ./foo and foo as a pair leads to
1145
1728
    # potentially confusing output. We should make this more robust - but
1146
1729
    # not at a speed cost. RBC 20060731
1147
1730
    _lstat = os.lstat
1148
1731
    _directory = _directory_kind
1149
1732
    _listdir = os.listdir
1150
 
    _kind_from_mode = _formats.get
 
1733
    _kind_from_mode = file_kind_from_stat_mode
1151
1734
    pending = [(safe_unicode(prefix), "", _directory, None, safe_unicode(top))]
1152
1735
    while pending:
1153
1736
        # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
1160
1743
 
1161
1744
        dirblock = []
1162
1745
        append = dirblock.append
1163
 
        for name in sorted(_listdir(top)):
1164
 
            abspath = top_slash + name
1165
 
            statvalue = _lstat(abspath)
1166
 
            kind = _kind_from_mode(statvalue.st_mode & 0170000, 'unknown')
1167
 
            append((relprefix + name, name, kind, statvalue, abspath))
 
1746
        try:
 
1747
            names = sorted(map(decode_filename, _listdir(top)))
 
1748
        except OSError, e:
 
1749
            if not _is_error_enotdir(e):
 
1750
                raise
 
1751
        else:
 
1752
            for name in names:
 
1753
                abspath = top_slash + name
 
1754
                statvalue = _lstat(abspath)
 
1755
                kind = _kind_from_mode(statvalue.st_mode)
 
1756
                append((relprefix + name, name, kind, statvalue, abspath))
1168
1757
        yield (relroot, top), dirblock
1169
1758
 
1170
1759
        # push the user specified dirs from dirblock
1171
1760
        pending.extend(d for d in reversed(dirblock) if d[2] == _directory)
1172
1761
 
1173
1762
 
 
1763
class DirReader(object):
 
1764
    """An interface for reading directories."""
 
1765
 
 
1766
    def top_prefix_to_starting_dir(self, top, prefix=""):
 
1767
        """Converts top and prefix to a starting dir entry
 
1768
 
 
1769
        :param top: A utf8 path
 
1770
        :param prefix: An optional utf8 path to prefix output relative paths
 
1771
            with.
 
1772
        :return: A tuple starting with prefix, and ending with the native
 
1773
            encoding of top.
 
1774
        """
 
1775
        raise NotImplementedError(self.top_prefix_to_starting_dir)
 
1776
 
 
1777
    def read_dir(self, prefix, top):
 
1778
        """Read a specific dir.
 
1779
 
 
1780
        :param prefix: A utf8 prefix to be preprended to the path basenames.
 
1781
        :param top: A natively encoded path to read.
 
1782
        :return: A list of the directories contents. Each item contains:
 
1783
            (utf8_relpath, utf8_name, kind, lstatvalue, native_abspath)
 
1784
        """
 
1785
        raise NotImplementedError(self.read_dir)
 
1786
 
 
1787
 
 
1788
_selected_dir_reader = None
 
1789
 
 
1790
 
1174
1791
def _walkdirs_utf8(top, prefix=""):
1175
1792
    """Yield data about all the directories in a tree.
1176
1793
 
1185
1802
        path-from-top might be unicode or utf8, but it is the correct path to
1186
1803
        pass to os functions to affect the file in question. (such as os.lstat)
1187
1804
    """
1188
 
    fs_encoding = _fs_enc.upper()
1189
 
    if (sys.platform == 'win32' or
1190
 
        fs_encoding not in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968')): # ascii
1191
 
        return _walkdirs_unicode_to_utf8(top, prefix=prefix)
1192
 
    else:
1193
 
        return _walkdirs_fs_utf8(top, prefix=prefix)
1194
 
 
1195
 
 
1196
 
def _walkdirs_fs_utf8(top, prefix=""):
1197
 
    """See _walkdirs_utf8.
1198
 
 
1199
 
    This sub-function is called when we know the filesystem is already in utf8
1200
 
    encoding. So we don't need to transcode filenames.
1201
 
    """
1202
 
    _lstat = os.lstat
1203
 
    _directory = _directory_kind
1204
 
    _listdir = os.listdir
1205
 
    _kind_from_mode = _formats.get
 
1805
    global _selected_dir_reader
 
1806
    if _selected_dir_reader is None:
 
1807
        if sys.platform == "win32" and win32utils.winver == 'Windows NT':
 
1808
            # Win98 doesn't have unicode apis like FindFirstFileW
 
1809
            # TODO: We possibly could support Win98 by falling back to the
 
1810
            #       original FindFirstFile, and using TCHAR instead of WCHAR,
 
1811
            #       but that gets a bit tricky, and requires custom compiling
 
1812
            #       for win98 anyway.
 
1813
            try:
 
1814
                from bzrlib._walkdirs_win32 import Win32ReadDir
 
1815
                _selected_dir_reader = Win32ReadDir()
 
1816
            except ImportError:
 
1817
                pass
 
1818
        elif _fs_enc in ('utf-8', 'ascii'):
 
1819
            try:
 
1820
                from bzrlib._readdir_pyx import UTF8DirReader
 
1821
                _selected_dir_reader = UTF8DirReader()
 
1822
            except ImportError, e:
 
1823
                failed_to_load_extension(e)
 
1824
                pass
 
1825
 
 
1826
    if _selected_dir_reader is None:
 
1827
        # Fallback to the python version
 
1828
        _selected_dir_reader = UnicodeDirReader()
1206
1829
 
1207
1830
    # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
1208
1831
    # But we don't actually uses 1-3 in pending, so set them to None
1209
 
    pending = [(safe_utf8(prefix), None, None, None, safe_utf8(top))]
 
1832
    pending = [[_selected_dir_reader.top_prefix_to_starting_dir(top, prefix)]]
 
1833
    read_dir = _selected_dir_reader.read_dir
 
1834
    _directory = _directory_kind
1210
1835
    while pending:
1211
 
        relroot, _, _, _, top = pending.pop()
1212
 
        if relroot:
1213
 
            relprefix = relroot + '/'
1214
 
        else:
1215
 
            relprefix = ''
1216
 
        top_slash = top + '/'
1217
 
 
1218
 
        dirblock = []
1219
 
        append = dirblock.append
1220
 
        for name in sorted(_listdir(top)):
1221
 
            abspath = top_slash + name
1222
 
            statvalue = _lstat(abspath)
1223
 
            kind = _kind_from_mode(statvalue.st_mode & 0170000, 'unknown')
1224
 
            append((relprefix + name, name, kind, statvalue, abspath))
 
1836
        relroot, _, _, _, top = pending[-1].pop()
 
1837
        if not pending[-1]:
 
1838
            pending.pop()
 
1839
        dirblock = sorted(read_dir(relroot, top))
1225
1840
        yield (relroot, top), dirblock
1226
 
 
1227
1841
        # push the user specified dirs from dirblock
1228
 
        pending.extend(d for d in reversed(dirblock) if d[2] == _directory)
1229
 
 
1230
 
 
1231
 
def _walkdirs_unicode_to_utf8(top, prefix=""):
1232
 
    """See _walkdirs_utf8
1233
 
 
1234
 
    Because Win32 has a Unicode api, all of the 'path-from-top' entries will be
1235
 
    Unicode paths.
1236
 
    This is currently the fallback code path when the filesystem encoding is
1237
 
    not UTF-8. It may be better to implement an alternative so that we can
1238
 
    safely handle paths that are not properly decodable in the current
1239
 
    encoding.
1240
 
    """
1241
 
    _utf8_encode = codecs.getencoder('utf8')
1242
 
    _lstat = os.lstat
1243
 
    _directory = _directory_kind
1244
 
    _listdir = os.listdir
1245
 
    _kind_from_mode = _formats.get
1246
 
 
1247
 
    pending = [(safe_utf8(prefix), None, None, None, safe_unicode(top))]
1248
 
    while pending:
1249
 
        relroot, _, _, _, top = pending.pop()
1250
 
        if relroot:
1251
 
            relprefix = relroot + '/'
 
1842
        next = [d for d in reversed(dirblock) if d[2] == _directory]
 
1843
        if next:
 
1844
            pending.append(next)
 
1845
 
 
1846
 
 
1847
class UnicodeDirReader(DirReader):
 
1848
    """A dir reader for non-utf8 file systems, which transcodes."""
 
1849
 
 
1850
    __slots__ = ['_utf8_encode']
 
1851
 
 
1852
    def __init__(self):
 
1853
        self._utf8_encode = codecs.getencoder('utf8')
 
1854
 
 
1855
    def top_prefix_to_starting_dir(self, top, prefix=""):
 
1856
        """See DirReader.top_prefix_to_starting_dir."""
 
1857
        return (safe_utf8(prefix), None, None, None, safe_unicode(top))
 
1858
 
 
1859
    def read_dir(self, prefix, top):
 
1860
        """Read a single directory from a non-utf8 file system.
 
1861
 
 
1862
        top, and the abspath element in the output are unicode, all other paths
 
1863
        are utf8. Local disk IO is done via unicode calls to listdir etc.
 
1864
 
 
1865
        This is currently the fallback code path when the filesystem encoding is
 
1866
        not UTF-8. It may be better to implement an alternative so that we can
 
1867
        safely handle paths that are not properly decodable in the current
 
1868
        encoding.
 
1869
 
 
1870
        See DirReader.read_dir for details.
 
1871
        """
 
1872
        _utf8_encode = self._utf8_encode
 
1873
        _lstat = os.lstat
 
1874
        _listdir = os.listdir
 
1875
        _kind_from_mode = file_kind_from_stat_mode
 
1876
 
 
1877
        if prefix:
 
1878
            relprefix = prefix + '/'
1252
1879
        else:
1253
1880
            relprefix = ''
1254
1881
        top_slash = top + u'/'
1256
1883
        dirblock = []
1257
1884
        append = dirblock.append
1258
1885
        for name in sorted(_listdir(top)):
1259
 
            name_utf8 = _utf8_encode(name)[0]
 
1886
            try:
 
1887
                name_utf8 = _utf8_encode(name)[0]
 
1888
            except UnicodeDecodeError:
 
1889
                raise errors.BadFilenameEncoding(
 
1890
                    _utf8_encode(relprefix)[0] + name, _fs_enc)
1260
1891
            abspath = top_slash + name
1261
1892
            statvalue = _lstat(abspath)
1262
 
            kind = _kind_from_mode(statvalue.st_mode & 0170000, 'unknown')
 
1893
            kind = _kind_from_mode(statvalue.st_mode)
1263
1894
            append((relprefix + name_utf8, name_utf8, kind, statvalue, abspath))
1264
 
        yield (relroot, top), dirblock
1265
 
 
1266
 
        # push the user specified dirs from dirblock
1267
 
        pending.extend(d for d in reversed(dirblock) if d[2] == _directory)
 
1895
        return dirblock
1268
1896
 
1269
1897
 
1270
1898
def copy_tree(from_path, to_path, handlers={}):
1271
1899
    """Copy all of the entries in from_path into to_path.
1272
1900
 
1273
 
    :param from_path: The base directory to copy. 
 
1901
    :param from_path: The base directory to copy.
1274
1902
    :param to_path: The target directory. If it does not exist, it will
1275
1903
        be created.
1276
1904
    :param handlers: A dictionary of functions, which takes a source and
1309
1937
            real_handlers[kind](abspath, relpath)
1310
1938
 
1311
1939
 
 
1940
def copy_ownership_from_path(dst, src=None):
 
1941
    """Copy usr/grp ownership from src file/dir to dst file/dir.
 
1942
 
 
1943
    If src is None, the containing directory is used as source. If chown
 
1944
    fails, the error is ignored and a warning is printed.
 
1945
    """
 
1946
    chown = getattr(os, 'chown', None)
 
1947
    if chown is None:
 
1948
        return
 
1949
 
 
1950
    if src == None:
 
1951
        src = os.path.dirname(dst)
 
1952
        if src == '':
 
1953
            src = '.'
 
1954
 
 
1955
    try:
 
1956
        s = os.stat(src)
 
1957
        chown(dst, s.st_uid, s.st_gid)
 
1958
    except OSError, e:
 
1959
        trace.warning(
 
1960
            'Unable to copy ownership from "%s" to "%s". '
 
1961
            'You may want to set it manually.', src, dst)
 
1962
        trace.log_exception_quietly()
 
1963
 
 
1964
 
1312
1965
def path_prefix_key(path):
1313
1966
    """Generate a prefix-order path key for path.
1314
1967
 
1327
1980
_cached_user_encoding = None
1328
1981
 
1329
1982
 
1330
 
def get_user_encoding(use_cache=True):
 
1983
def get_user_encoding(use_cache=DEPRECATED_PARAMETER):
1331
1984
    """Find out what the preferred user encoding is.
1332
1985
 
1333
1986
    This is generally the encoding that is used for command line parameters
1334
1987
    and file contents. This may be different from the terminal encoding
1335
1988
    or the filesystem encoding.
1336
1989
 
1337
 
    :param  use_cache:  Enable cache for detected encoding.
1338
 
                        (This parameter is turned on by default,
1339
 
                        and required only for selftesting)
1340
 
 
1341
1990
    :return: A string defining the preferred user encoding
1342
1991
    """
1343
1992
    global _cached_user_encoding
1344
 
    if _cached_user_encoding is not None and use_cache:
 
1993
    if deprecated_passed(use_cache):
 
1994
        warn_deprecated("use_cache should only have been used for tests",
 
1995
            DeprecationWarning, stacklevel=2) 
 
1996
    if _cached_user_encoding is not None:
1345
1997
        return _cached_user_encoding
1346
1998
 
1347
 
    if sys.platform == 'darwin':
1348
 
        # work around egregious python 2.4 bug
1349
 
        sys.platform = 'posix'
1350
 
        try:
1351
 
            import locale
1352
 
        finally:
1353
 
            sys.platform = 'darwin'
 
1999
    if os.name == 'posix' and getattr(locale, 'CODESET', None) is not None:
 
2000
        # Use the existing locale settings and call nl_langinfo directly
 
2001
        # rather than going through getpreferredencoding. This avoids
 
2002
        # <http://bugs.python.org/issue6202> on OSX Python 2.6 and the
 
2003
        # possibility of the setlocale call throwing an error.
 
2004
        user_encoding = locale.nl_langinfo(locale.CODESET)
1354
2005
    else:
1355
 
        import locale
 
2006
        # GZ 2011-12-19: On windows could call GetACP directly instead.
 
2007
        user_encoding = locale.getpreferredencoding(False)
1356
2008
 
1357
2009
    try:
1358
 
        user_encoding = locale.getpreferredencoding()
1359
 
    except locale.Error, e:
1360
 
        sys.stderr.write('bzr: warning: %s\n'
1361
 
                         '  Could not determine what text encoding to use.\n'
1362
 
                         '  This error usually means your Python interpreter\n'
1363
 
                         '  doesn\'t support the locale set by $LANG (%s)\n'
1364
 
                         "  Continuing with ascii encoding.\n"
1365
 
                         % (e, os.environ.get('LANG')))
1366
 
        user_encoding = 'ascii'
1367
 
 
1368
 
    # Windows returns 'cp0' to indicate there is no code page. So we'll just
1369
 
    # treat that as ASCII, and not support printing unicode characters to the
1370
 
    # console.
1371
 
    if user_encoding in (None, 'cp0'):
1372
 
        user_encoding = 'ascii'
1373
 
    else:
1374
 
        # check encoding
1375
 
        try:
1376
 
            codecs.lookup(user_encoding)
1377
 
        except LookupError:
 
2010
        user_encoding = codecs.lookup(user_encoding).name
 
2011
    except LookupError:
 
2012
        if user_encoding not in ("", "cp0"):
1378
2013
            sys.stderr.write('bzr: warning:'
1379
2014
                             ' unknown encoding %s.'
1380
2015
                             ' Continuing with ascii encoding.\n'
1381
2016
                             % user_encoding
1382
2017
                            )
1383
 
            user_encoding = 'ascii'
1384
 
 
1385
 
    if use_cache:
1386
 
        _cached_user_encoding = user_encoding
1387
 
 
 
2018
        user_encoding = 'ascii'
 
2019
    else:
 
2020
        # Get 'ascii' when setlocale has not been called or LANG=C or unset.
 
2021
        if user_encoding == 'ascii':
 
2022
            if sys.platform == 'darwin':
 
2023
                # OSX is special-cased in Python to have a UTF-8 filesystem
 
2024
                # encoding and previously had LANG set here if not present.
 
2025
                user_encoding = 'utf-8'
 
2026
            # GZ 2011-12-19: Maybe UTF-8 should be the default in this case
 
2027
            #                for some other posix platforms as well.
 
2028
 
 
2029
    _cached_user_encoding = user_encoding
1388
2030
    return user_encoding
1389
2031
 
1390
2032
 
1391
 
def recv_all(socket, bytes):
 
2033
def get_diff_header_encoding():
 
2034
    return get_terminal_encoding()
 
2035
 
 
2036
 
 
2037
def get_host_name():
 
2038
    """Return the current unicode host name.
 
2039
 
 
2040
    This is meant to be used in place of socket.gethostname() because that
 
2041
    behaves inconsistently on different platforms.
 
2042
    """
 
2043
    if sys.platform == "win32":
 
2044
        return win32utils.get_host_name()
 
2045
    else:
 
2046
        import socket
 
2047
        return socket.gethostname().decode(get_user_encoding())
 
2048
 
 
2049
 
 
2050
# We must not read/write any more than 64k at a time from/to a socket so we
 
2051
# don't risk "no buffer space available" errors on some platforms.  Windows in
 
2052
# particular is likely to throw WSAECONNABORTED or WSAENOBUFS if given too much
 
2053
# data at once.
 
2054
MAX_SOCKET_CHUNK = 64 * 1024
 
2055
 
 
2056
_end_of_stream_errors = [errno.ECONNRESET]
 
2057
for _eno in ['WSAECONNRESET', 'WSAECONNABORTED']:
 
2058
    _eno = getattr(errno, _eno, None)
 
2059
    if _eno is not None:
 
2060
        _end_of_stream_errors.append(_eno)
 
2061
del _eno
 
2062
 
 
2063
 
 
2064
def read_bytes_from_socket(sock, report_activity=None,
 
2065
        max_read_size=MAX_SOCKET_CHUNK):
 
2066
    """Read up to max_read_size of bytes from sock and notify of progress.
 
2067
 
 
2068
    Translates "Connection reset by peer" into file-like EOF (return an
 
2069
    empty string rather than raise an error), and repeats the recv if
 
2070
    interrupted by a signal.
 
2071
    """
 
2072
    while 1:
 
2073
        try:
 
2074
            bytes = sock.recv(max_read_size)
 
2075
        except socket.error, e:
 
2076
            eno = e.args[0]
 
2077
            if eno in _end_of_stream_errors:
 
2078
                # The connection was closed by the other side.  Callers expect
 
2079
                # an empty string to signal end-of-stream.
 
2080
                return ""
 
2081
            elif eno == errno.EINTR:
 
2082
                # Retry the interrupted recv.
 
2083
                continue
 
2084
            raise
 
2085
        else:
 
2086
            if report_activity is not None:
 
2087
                report_activity(len(bytes), 'read')
 
2088
            return bytes
 
2089
 
 
2090
 
 
2091
def recv_all(socket, count):
1392
2092
    """Receive an exact number of bytes.
1393
2093
 
1394
2094
    Regular Socket.recv() may return less than the requested number of bytes,
1395
 
    dependning on what's in the OS buffer.  MSG_WAITALL is not available
 
2095
    depending on what's in the OS buffer.  MSG_WAITALL is not available
1396
2096
    on all platforms, but this should work everywhere.  This will return
1397
2097
    less than the requested amount if the remote end closes.
1398
2098
 
1399
2099
    This isn't optimized and is intended mostly for use in testing.
1400
2100
    """
1401
2101
    b = ''
1402
 
    while len(b) < bytes:
1403
 
        new = socket.recv(bytes - len(b))
 
2102
    while len(b) < count:
 
2103
        new = read_bytes_from_socket(socket, None, count - len(b))
1404
2104
        if new == '':
1405
2105
            break # eof
1406
2106
        b += new
1407
2107
    return b
1408
2108
 
1409
2109
 
1410
 
def send_all(socket, bytes):
 
2110
def send_all(sock, bytes, report_activity=None):
1411
2111
    """Send all bytes on a socket.
1412
2112
 
1413
 
    Regular socket.sendall() can give socket error 10053 on Windows.  This
1414
 
    implementation sends no more than 64k at a time, which avoids this problem.
 
2113
    Breaks large blocks in smaller chunks to avoid buffering limitations on
 
2114
    some platforms, and catches EINTR which may be thrown if the send is
 
2115
    interrupted by a signal.
 
2116
 
 
2117
    This is preferred to socket.sendall(), because it avoids portability bugs
 
2118
    and provides activity reporting.
 
2119
 
 
2120
    :param report_activity: Call this as bytes are read, see
 
2121
        Transport._report_activity
1415
2122
    """
1416
 
    chunk_size = 2**16
1417
 
    for pos in xrange(0, len(bytes), chunk_size):
1418
 
        socket.sendall(bytes[pos:pos+chunk_size])
 
2123
    sent_total = 0
 
2124
    byte_count = len(bytes)
 
2125
    while sent_total < byte_count:
 
2126
        try:
 
2127
            sent = sock.send(buffer(bytes, sent_total, MAX_SOCKET_CHUNK))
 
2128
        except socket.error, e:
 
2129
            if e.args[0] != errno.EINTR:
 
2130
                raise
 
2131
        else:
 
2132
            sent_total += sent
 
2133
            report_activity(sent, 'write')
 
2134
 
 
2135
 
 
2136
def connect_socket(address):
 
2137
    # Slight variation of the socket.create_connection() function (provided by
 
2138
    # python-2.6) that can fail if getaddrinfo returns an empty list. We also
 
2139
    # provide it for previous python versions. Also, we don't use the timeout
 
2140
    # parameter (provided by the python implementation) so we don't implement
 
2141
    # it either).
 
2142
    err = socket.error('getaddrinfo returns an empty list')
 
2143
    host, port = address
 
2144
    for res in socket.getaddrinfo(host, port, 0, socket.SOCK_STREAM):
 
2145
        af, socktype, proto, canonname, sa = res
 
2146
        sock = None
 
2147
        try:
 
2148
            sock = socket.socket(af, socktype, proto)
 
2149
            sock.connect(sa)
 
2150
            return sock
 
2151
 
 
2152
        except socket.error, err:
 
2153
            # 'err' is now the most recent error
 
2154
            if sock is not None:
 
2155
                sock.close()
 
2156
    raise err
1419
2157
 
1420
2158
 
1421
2159
def dereference_path(path):
1462
2200
    base = dirname(bzrlib.__file__)
1463
2201
    if getattr(sys, 'frozen', None):    # bzr.exe
1464
2202
        base = abspath(pathjoin(base, '..', '..'))
1465
 
    filename = pathjoin(base, resource_relpath)
1466
 
    return open(filename, 'rU').read()
 
2203
    f = file(pathjoin(base, resource_relpath), "rU")
 
2204
    try:
 
2205
        return f.read()
 
2206
    finally:
 
2207
        f.close()
 
2208
 
 
2209
def file_kind_from_stat_mode_thunk(mode):
 
2210
    global file_kind_from_stat_mode
 
2211
    if file_kind_from_stat_mode is file_kind_from_stat_mode_thunk:
 
2212
        try:
 
2213
            from bzrlib._readdir_pyx import UTF8DirReader
 
2214
            file_kind_from_stat_mode = UTF8DirReader().kind_from_mode
 
2215
        except ImportError, e:
 
2216
            # This is one time where we won't warn that an extension failed to
 
2217
            # load. The extension is never available on Windows anyway.
 
2218
            from bzrlib._readdir_py import (
 
2219
                _kind_from_mode as file_kind_from_stat_mode
 
2220
                )
 
2221
    return file_kind_from_stat_mode(mode)
 
2222
file_kind_from_stat_mode = file_kind_from_stat_mode_thunk
 
2223
 
 
2224
def file_stat(f, _lstat=os.lstat):
 
2225
    try:
 
2226
        # XXX cache?
 
2227
        return _lstat(f)
 
2228
    except OSError, e:
 
2229
        if getattr(e, 'errno', None) in (errno.ENOENT, errno.ENOTDIR):
 
2230
            raise errors.NoSuchFile(f)
 
2231
        raise
 
2232
 
 
2233
def file_kind(f, _lstat=os.lstat):
 
2234
    stat_value = file_stat(f, _lstat)
 
2235
    return file_kind_from_stat_mode(stat_value.st_mode)
 
2236
 
 
2237
def until_no_eintr(f, *a, **kw):
 
2238
    """Run f(*a, **kw), retrying if an EINTR error occurs.
 
2239
 
 
2240
    WARNING: you must be certain that it is safe to retry the call repeatedly
 
2241
    if EINTR does occur.  This is typically only true for low-level operations
 
2242
    like os.read.  If in any doubt, don't use this.
 
2243
 
 
2244
    Keep in mind that this is not a complete solution to EINTR.  There is
 
2245
    probably code in the Python standard library and other dependencies that
 
2246
    may encounter EINTR if a signal arrives (and there is signal handler for
 
2247
    that signal).  So this function can reduce the impact for IO that bzrlib
 
2248
    directly controls, but it is not a complete solution.
 
2249
    """
 
2250
    # Borrowed from Twisted's twisted.python.util.untilConcludes function.
 
2251
    while True:
 
2252
        try:
 
2253
            return f(*a, **kw)
 
2254
        except (IOError, OSError), e:
 
2255
            if e.errno == errno.EINTR:
 
2256
                continue
 
2257
            raise
 
2258
 
 
2259
 
 
2260
@deprecated_function(deprecated_in((2, 2, 0)))
 
2261
def re_compile_checked(re_string, flags=0, where=""):
 
2262
    """Return a compiled re, or raise a sensible error.
 
2263
 
 
2264
    This should only be used when compiling user-supplied REs.
 
2265
 
 
2266
    :param re_string: Text form of regular expression.
 
2267
    :param flags: eg re.IGNORECASE
 
2268
    :param where: Message explaining to the user the context where
 
2269
        it occurred, eg 'log search filter'.
 
2270
    """
 
2271
    # from https://bugs.launchpad.net/bzr/+bug/251352
 
2272
    try:
 
2273
        re_obj = re.compile(re_string, flags)
 
2274
        re_obj.search("")
 
2275
        return re_obj
 
2276
    except errors.InvalidPattern, e:
 
2277
        if where:
 
2278
            where = ' in ' + where
 
2279
        # despite the name 'error' is a type
 
2280
        raise errors.BzrCommandError('Invalid regular expression%s: %s'
 
2281
            % (where, e.msg))
 
2282
 
 
2283
 
 
2284
if sys.platform == "win32":
 
2285
    def getchar():
 
2286
        import msvcrt
 
2287
        return msvcrt.getch()
 
2288
else:
 
2289
    def getchar():
 
2290
        import tty
 
2291
        import termios
 
2292
        fd = sys.stdin.fileno()
 
2293
        settings = termios.tcgetattr(fd)
 
2294
        try:
 
2295
            tty.setraw(fd)
 
2296
            ch = sys.stdin.read(1)
 
2297
        finally:
 
2298
            termios.tcsetattr(fd, termios.TCSADRAIN, settings)
 
2299
        return ch
 
2300
 
 
2301
if sys.platform.startswith('linux'):
 
2302
    def _local_concurrency():
 
2303
        try:
 
2304
            return os.sysconf('SC_NPROCESSORS_ONLN')
 
2305
        except (ValueError, OSError, AttributeError):
 
2306
            return None
 
2307
elif sys.platform == 'darwin':
 
2308
    def _local_concurrency():
 
2309
        return subprocess.Popen(['sysctl', '-n', 'hw.availcpu'],
 
2310
                                stdout=subprocess.PIPE).communicate()[0]
 
2311
elif "bsd" in sys.platform:
 
2312
    def _local_concurrency():
 
2313
        return subprocess.Popen(['sysctl', '-n', 'hw.ncpu'],
 
2314
                                stdout=subprocess.PIPE).communicate()[0]
 
2315
elif sys.platform == 'sunos5':
 
2316
    def _local_concurrency():
 
2317
        return subprocess.Popen(['psrinfo', '-p',],
 
2318
                                stdout=subprocess.PIPE).communicate()[0]
 
2319
elif sys.platform == "win32":
 
2320
    def _local_concurrency():
 
2321
        # This appears to return the number of cores.
 
2322
        return os.environ.get('NUMBER_OF_PROCESSORS')
 
2323
else:
 
2324
    def _local_concurrency():
 
2325
        # Who knows ?
 
2326
        return None
 
2327
 
 
2328
 
 
2329
_cached_local_concurrency = None
 
2330
 
 
2331
def local_concurrency(use_cache=True):
 
2332
    """Return how many processes can be run concurrently.
 
2333
 
 
2334
    Rely on platform specific implementations and default to 1 (one) if
 
2335
    anything goes wrong.
 
2336
    """
 
2337
    global _cached_local_concurrency
 
2338
 
 
2339
    if _cached_local_concurrency is not None and use_cache:
 
2340
        return _cached_local_concurrency
 
2341
 
 
2342
    concurrency = os.environ.get('BZR_CONCURRENCY', None)
 
2343
    if concurrency is None:
 
2344
        try:
 
2345
            import multiprocessing
 
2346
            concurrency = multiprocessing.cpu_count()
 
2347
        except (ImportError, NotImplementedError):
 
2348
            # multiprocessing is only available on Python >= 2.6
 
2349
            # and multiprocessing.cpu_count() isn't implemented on all
 
2350
            # platforms
 
2351
            try:
 
2352
                concurrency = _local_concurrency()
 
2353
            except (OSError, IOError):
 
2354
                pass
 
2355
    try:
 
2356
        concurrency = int(concurrency)
 
2357
    except (TypeError, ValueError):
 
2358
        concurrency = 1
 
2359
    if use_cache:
 
2360
        _cached_concurrency = concurrency
 
2361
    return concurrency
 
2362
 
 
2363
 
 
2364
class UnicodeOrBytesToBytesWriter(codecs.StreamWriter):
 
2365
    """A stream writer that doesn't decode str arguments."""
 
2366
 
 
2367
    def __init__(self, encode, stream, errors='strict'):
 
2368
        codecs.StreamWriter.__init__(self, stream, errors)
 
2369
        self.encode = encode
 
2370
 
 
2371
    def write(self, object):
 
2372
        if type(object) is str:
 
2373
            self.stream.write(object)
 
2374
        else:
 
2375
            data, _ = self.encode(object, self.errors)
 
2376
            self.stream.write(data)
 
2377
 
 
2378
if sys.platform == 'win32':
 
2379
    def open_file(filename, mode='r', bufsize=-1):
 
2380
        """This function is used to override the ``open`` builtin.
 
2381
 
 
2382
        But it uses O_NOINHERIT flag so the file handle is not inherited by
 
2383
        child processes.  Deleting or renaming a closed file opened with this
 
2384
        function is not blocking child processes.
 
2385
        """
 
2386
        writing = 'w' in mode
 
2387
        appending = 'a' in mode
 
2388
        updating = '+' in mode
 
2389
        binary = 'b' in mode
 
2390
 
 
2391
        flags = O_NOINHERIT
 
2392
        # see http://msdn.microsoft.com/en-us/library/yeby3zcb%28VS.71%29.aspx
 
2393
        # for flags for each modes.
 
2394
        if binary:
 
2395
            flags |= O_BINARY
 
2396
        else:
 
2397
            flags |= O_TEXT
 
2398
 
 
2399
        if writing:
 
2400
            if updating:
 
2401
                flags |= os.O_RDWR
 
2402
            else:
 
2403
                flags |= os.O_WRONLY
 
2404
            flags |= os.O_CREAT | os.O_TRUNC
 
2405
        elif appending:
 
2406
            if updating:
 
2407
                flags |= os.O_RDWR
 
2408
            else:
 
2409
                flags |= os.O_WRONLY
 
2410
            flags |= os.O_CREAT | os.O_APPEND
 
2411
        else: #reading
 
2412
            if updating:
 
2413
                flags |= os.O_RDWR
 
2414
            else:
 
2415
                flags |= os.O_RDONLY
 
2416
 
 
2417
        return os.fdopen(os.open(filename, flags), mode, bufsize)
 
2418
else:
 
2419
    open_file = open
 
2420
 
 
2421
 
 
2422
def available_backup_name(base, exists):
 
2423
    """Find a non-existing backup file name.
 
2424
 
 
2425
    This will *not* create anything, this only return a 'free' entry.  This
 
2426
    should be used for checking names in a directory below a locked
 
2427
    tree/branch/repo to avoid race conditions. This is LBYL (Look Before You
 
2428
    Leap) and generally discouraged.
 
2429
 
 
2430
    :param base: The base name.
 
2431
 
 
2432
    :param exists: A callable returning True if the path parameter exists.
 
2433
    """
 
2434
    counter = 1
 
2435
    name = "%s.~%d~" % (base, counter)
 
2436
    while exists(name):
 
2437
        counter += 1
 
2438
        name = "%s.~%d~" % (base, counter)
 
2439
    return name
 
2440
 
 
2441
 
 
2442
def set_fd_cloexec(fd):
 
2443
    """Set a Unix file descriptor's FD_CLOEXEC flag.  Do nothing if platform
 
2444
    support for this is not available.
 
2445
    """
 
2446
    try:
 
2447
        import fcntl
 
2448
        old = fcntl.fcntl(fd, fcntl.F_GETFD)
 
2449
        fcntl.fcntl(fd, fcntl.F_SETFD, old | fcntl.FD_CLOEXEC)
 
2450
    except (ImportError, AttributeError):
 
2451
        # Either the fcntl module or specific constants are not present
 
2452
        pass
 
2453
 
 
2454
 
 
2455
def find_executable_on_path(name):
 
2456
    """Finds an executable on the PATH.
 
2457
    
 
2458
    On Windows, this will try to append each extension in the PATHEXT
 
2459
    environment variable to the name, if it cannot be found with the name
 
2460
    as given.
 
2461
    
 
2462
    :param name: The base name of the executable.
 
2463
    :return: The path to the executable found or None.
 
2464
    """
 
2465
    path = os.environ.get('PATH')
 
2466
    if path is None:
 
2467
        return None
 
2468
    path = path.split(os.pathsep)
 
2469
    if sys.platform == 'win32':
 
2470
        exts = os.environ.get('PATHEXT', '').split(os.pathsep)
 
2471
        exts = [ext.lower() for ext in exts]
 
2472
        base, ext = os.path.splitext(name)
 
2473
        if ext != '':
 
2474
            if ext.lower() not in exts:
 
2475
                return None
 
2476
            name = base
 
2477
            exts = [ext]
 
2478
    else:
 
2479
        exts = ['']
 
2480
    for ext in exts:
 
2481
        for d in path:
 
2482
            f = os.path.join(d, name) + ext
 
2483
            if os.access(f, os.X_OK):
 
2484
                return f
 
2485
    return None
 
2486
 
 
2487
 
 
2488
def _posix_is_local_pid_dead(pid):
 
2489
    """True if pid doesn't correspond to live process on this machine"""
 
2490
    try:
 
2491
        # Special meaning of unix kill: just check if it's there.
 
2492
        os.kill(pid, 0)
 
2493
    except OSError, e:
 
2494
        if e.errno == errno.ESRCH:
 
2495
            # On this machine, and really not found: as sure as we can be
 
2496
            # that it's dead.
 
2497
            return True
 
2498
        elif e.errno == errno.EPERM:
 
2499
            # exists, though not ours
 
2500
            return False
 
2501
        else:
 
2502
            mutter("os.kill(%d, 0) failed: %s" % (pid, e))
 
2503
            # Don't really know.
 
2504
            return False
 
2505
    else:
 
2506
        # Exists and our process: not dead.
 
2507
        return False
 
2508
 
 
2509
if sys.platform == "win32":
 
2510
    is_local_pid_dead = win32utils.is_local_pid_dead
 
2511
else:
 
2512
    is_local_pid_dead = _posix_is_local_pid_dead
 
2513
 
 
2514
 
 
2515
def fdatasync(fileno):
 
2516
    """Flush file contents to disk if possible.
 
2517
    
 
2518
    :param fileno: Integer OS file handle.
 
2519
    :raises TransportNotPossible: If flushing to disk is not possible.
 
2520
    """
 
2521
    fn = getattr(os, 'fdatasync', getattr(os, 'fsync', None))
 
2522
    if fn is not None:
 
2523
        fn(fileno)
 
2524
 
 
2525
 
 
2526
def ensure_empty_directory_exists(path, exception_class):
 
2527
    """Make sure a local directory exists and is empty.
 
2528
    
 
2529
    If it does not exist, it is created.  If it exists and is not empty, an
 
2530
    instance of exception_class is raised.
 
2531
    """
 
2532
    try:
 
2533
        os.mkdir(path)
 
2534
    except OSError, e:
 
2535
        if e.errno != errno.EEXIST:
 
2536
            raise
 
2537
        if os.listdir(path) != []:
 
2538
            raise exception_class(path)
 
2539
 
 
2540
 
 
2541
def is_environment_error(evalue):
 
2542
    """True if exception instance is due to a process environment issue
 
2543
 
 
2544
    This includes OSError and IOError, but also other errors that come from
 
2545
    the operating system or core libraries but are not subclasses of those.
 
2546
    """
 
2547
    if isinstance(evalue, (EnvironmentError, select.error)):
 
2548
        return True
 
2549
    if sys.platform == "win32" and win32utils._is_pywintypes_error(evalue):
 
2550
        return True
 
2551
    return False