~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Martin Packman
  • Date: 2011-12-13 17:10:47 UTC
  • mto: This revision was merged to the branch mainline in revision 6367.
  • Revision ID: martin.packman@canonical.com-20111213171047-esvi1kyfbuehmhrm
Minor tweaks including normalising _fs_enc value

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
from cStringIO import StringIO
 
17
import errno
18
18
import os
19
19
import re
20
20
import stat
21
 
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
22
 
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
23
21
import sys
24
22
import time
 
23
import codecs
25
24
 
26
25
from bzrlib.lazy_import import lazy_import
27
26
lazy_import(globals(), """
28
 
import codecs
29
27
from datetime import datetime
30
 
import errno
31
 
from ntpath import (abspath as _nt_abspath,
32
 
                    join as _nt_join,
33
 
                    normpath as _nt_normpath,
34
 
                    realpath as _nt_realpath,
35
 
                    splitdrive as _nt_splitdrive,
36
 
                    )
 
28
import getpass
 
29
import ntpath
37
30
import posixpath
38
 
import sha
 
31
import select
 
32
# We need to import both shutil and rmtree as we export the later on posix
 
33
# and need the former on windows
39
34
import shutil
40
 
from shutil import (
41
 
    rmtree,
42
 
    )
 
35
from shutil import rmtree
 
36
import socket
 
37
import subprocess
 
38
# We need to import both tempfile and mkdtemp as we export the later on posix
 
39
# and need the former on windows
43
40
import tempfile
44
 
from tempfile import (
45
 
    mkdtemp,
46
 
    )
 
41
from tempfile import mkdtemp
47
42
import unicodedata
48
43
 
49
44
from bzrlib import (
50
45
    cache_utf8,
 
46
    config,
51
47
    errors,
 
48
    trace,
52
49
    win32utils,
53
50
    )
 
51
from bzrlib.i18n import gettext
54
52
""")
55
53
 
56
 
import bzrlib
57
54
from bzrlib.symbol_versioning import (
58
55
    deprecated_function,
59
 
    zero_nine,
60
 
    )
61
 
from bzrlib.trace import mutter
62
 
 
 
56
    deprecated_in,
 
57
    )
 
58
 
 
59
from hashlib import (
 
60
    md5,
 
61
    sha1 as sha,
 
62
    )
 
63
 
 
64
 
 
65
import bzrlib
 
66
from bzrlib import symbol_versioning, _fs_enc
 
67
 
 
68
 
 
69
# Cross platform wall-clock time functionality with decent resolution.
 
70
# On Linux ``time.clock`` returns only CPU time. On Windows, ``time.time()``
 
71
# only has a resolution of ~15ms. Note that ``time.clock()`` is not
 
72
# synchronized with ``time.time()``, this is only meant to be used to find
 
73
# delta times by subtracting from another call to this function.
 
74
timer_func = time.time
 
75
if sys.platform == 'win32':
 
76
    timer_func = time.clock
63
77
 
64
78
# On win32, O_BINARY is used to indicate the file should
65
79
# be opened in binary mode, rather than text mode.
66
80
# On other platforms, O_BINARY doesn't exist, because
67
81
# they always open in binary mode, so it is okay to
68
 
# OR with 0 on those platforms
 
82
# OR with 0 on those platforms.
 
83
# O_NOINHERIT and O_TEXT exists only on win32 too.
69
84
O_BINARY = getattr(os, 'O_BINARY', 0)
 
85
O_TEXT = getattr(os, 'O_TEXT', 0)
 
86
O_NOINHERIT = getattr(os, 'O_NOINHERIT', 0)
 
87
 
 
88
 
 
89
def get_unicode_argv():
 
90
    try:
 
91
        user_encoding = get_user_encoding()
 
92
        return [a.decode(user_encoding) for a in sys.argv[1:]]
 
93
    except UnicodeDecodeError:
 
94
        raise errors.BzrError(gettext("Parameter {0!r} encoding is unsupported by {1} "
 
95
            "application locale.").format(a, user_encoding))
70
96
 
71
97
 
72
98
def make_readonly(filename):
73
99
    """Make a filename read-only."""
74
 
    mod = os.stat(filename).st_mode
75
 
    mod = mod & 0777555
76
 
    os.chmod(filename, mod)
 
100
    mod = os.lstat(filename).st_mode
 
101
    if not stat.S_ISLNK(mod):
 
102
        mod = mod & 0777555
 
103
        chmod_if_possible(filename, mod)
77
104
 
78
105
 
79
106
def make_writable(filename):
80
 
    mod = os.stat(filename).st_mode
81
 
    mod = mod | 0200
82
 
    os.chmod(filename, mod)
 
107
    mod = os.lstat(filename).st_mode
 
108
    if not stat.S_ISLNK(mod):
 
109
        mod = mod | 0200
 
110
        chmod_if_possible(filename, mod)
 
111
 
 
112
 
 
113
def chmod_if_possible(filename, mode):
 
114
    # Set file mode if that can be safely done.
 
115
    # Sometimes even on unix the filesystem won't allow it - see
 
116
    # https://bugs.launchpad.net/bzr/+bug/606537
 
117
    try:
 
118
        # It is probably faster to just do the chmod, rather than
 
119
        # doing a stat, and then trying to compare
 
120
        os.chmod(filename, mode)
 
121
    except (IOError, OSError),e:
 
122
        # Permission/access denied seems to commonly happen on smbfs; there's
 
123
        # probably no point warning about it.
 
124
        # <https://bugs.launchpad.net/bzr/+bug/606537>
 
125
        if getattr(e, 'errno') in (errno.EPERM, errno.EACCES):
 
126
            trace.mutter("ignore error on chmod of %r: %r" % (
 
127
                filename, e))
 
128
            return
 
129
        raise
 
130
 
 
131
 
 
132
def minimum_path_selection(paths):
 
133
    """Return the smallset subset of paths which are outside paths.
 
134
 
 
135
    :param paths: A container (and hence not None) of paths.
 
136
    :return: A set of paths sufficient to include everything in paths via
 
137
        is_inside, drawn from the paths parameter.
 
138
    """
 
139
    if len(paths) < 2:
 
140
        return set(paths)
 
141
 
 
142
    def sort_key(path):
 
143
        return path.split('/')
 
144
    sorted_paths = sorted(list(paths), key=sort_key)
 
145
 
 
146
    search_paths = [sorted_paths[0]]
 
147
    for path in sorted_paths[1:]:
 
148
        if not is_inside(search_paths[-1], path):
 
149
            # This path is unique, add it
 
150
            search_paths.append(path)
 
151
 
 
152
    return set(search_paths)
83
153
 
84
154
 
85
155
_QUOTE_RE = None
94
164
    global _QUOTE_RE
95
165
    if _QUOTE_RE is None:
96
166
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
97
 
        
 
167
 
98
168
    if _QUOTE_RE.search(f):
99
169
        return '"' + f + '"'
100
170
    else:
103
173
 
104
174
_directory_kind = 'directory'
105
175
 
106
 
_formats = {
107
 
    stat.S_IFDIR:_directory_kind,
108
 
    stat.S_IFCHR:'chardev',
109
 
    stat.S_IFBLK:'block',
110
 
    stat.S_IFREG:'file',
111
 
    stat.S_IFIFO:'fifo',
112
 
    stat.S_IFLNK:'symlink',
113
 
    stat.S_IFSOCK:'socket',
114
 
}
115
 
 
116
 
 
117
 
def file_kind_from_stat_mode(stat_mode, _formats=_formats, _unknown='unknown'):
118
 
    """Generate a file kind from a stat mode. This is used in walkdirs.
119
 
 
120
 
    Its performance is critical: Do not mutate without careful benchmarking.
121
 
    """
122
 
    try:
123
 
        return _formats[stat_mode & 0170000]
124
 
    except KeyError:
125
 
        return _unknown
126
 
 
127
 
 
128
 
def file_kind(f, _lstat=os.lstat, _mapper=file_kind_from_stat_mode):
129
 
    try:
130
 
        return _mapper(_lstat(f).st_mode)
131
 
    except OSError, e:
132
 
        if getattr(e, 'errno', None) == errno.ENOENT:
133
 
            raise errors.NoSuchFile(f)
134
 
        raise
135
 
 
136
 
 
137
176
def get_umask():
138
177
    """Return the current umask"""
139
178
    # Assume that people aren't messing with the umask while running
144
183
    return umask
145
184
 
146
185
 
 
186
_kind_marker_map = {
 
187
    "file": "",
 
188
    _directory_kind: "/",
 
189
    "symlink": "@",
 
190
    'tree-reference': '+',
 
191
}
 
192
 
 
193
 
147
194
def kind_marker(kind):
148
 
    if kind == 'file':
 
195
    try:
 
196
        return _kind_marker_map[kind]
 
197
    except KeyError:
 
198
        # Slightly faster than using .get(, '') when the common case is that
 
199
        # kind will be found
149
200
        return ''
150
 
    elif kind == _directory_kind:
151
 
        return '/'
152
 
    elif kind == 'symlink':
153
 
        return '@'
154
 
    else:
155
 
        raise errors.BzrError('invalid file kind %r' % kind)
 
201
 
156
202
 
157
203
lexists = getattr(os.path, 'lexists', None)
158
204
if lexists is None:
159
205
    def lexists(f):
160
206
        try:
161
 
            if getattr(os, 'lstat') is not None:
162
 
                os.lstat(f)
163
 
            else:
164
 
                os.stat(f)
 
207
            stat = getattr(os, 'lstat', os.stat)
 
208
            stat(f)
165
209
            return True
166
 
        except OSError,e:
 
210
        except OSError, e:
167
211
            if e.errno == errno.ENOENT:
168
212
                return False;
169
213
            else:
170
 
                raise errors.BzrError("lstat/stat of (%r): %r" % (f, e))
 
214
                raise errors.BzrError(gettext("lstat/stat of ({0!r}): {1!r}").format(f, e))
171
215
 
172
216
 
173
217
def fancy_rename(old, new, rename_func, unlink_func):
174
218
    """A fancy rename, when you don't have atomic rename.
175
 
    
 
219
 
176
220
    :param old: The old path, to rename from
177
221
    :param new: The new path, to rename to
178
222
    :param rename_func: The potentially non-atomic rename function
179
 
    :param unlink_func: A way to delete the target file if the full rename succeeds
 
223
    :param unlink_func: A way to delete the target file if the full rename
 
224
        succeeds
180
225
    """
181
 
 
182
226
    # sftp rename doesn't allow overwriting, so play tricks:
183
 
    import random
184
227
    base = os.path.basename(new)
185
228
    dirname = os.path.dirname(new)
186
 
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
 
229
    # callers use different encodings for the paths so the following MUST
 
230
    # respect that. We rely on python upcasting to unicode if new is unicode
 
231
    # and keeping a str if not.
 
232
    tmp_name = 'tmp.%s.%.9f.%d.%s' % (base, time.time(),
 
233
                                      os.getpid(), rand_chars(10))
187
234
    tmp_name = pathjoin(dirname, tmp_name)
188
235
 
189
236
    # Rename the file out of the way, but keep track if it didn't exist
209
256
    else:
210
257
        file_existed = True
211
258
 
 
259
    failure_exc = None
212
260
    success = False
213
261
    try:
214
 
        # This may throw an exception, in which case success will
215
 
        # not be set.
216
 
        rename_func(old, new)
217
 
        success = True
 
262
        try:
 
263
            # This may throw an exception, in which case success will
 
264
            # not be set.
 
265
            rename_func(old, new)
 
266
            success = True
 
267
        except (IOError, OSError), e:
 
268
            # source and target may be aliases of each other (e.g. on a
 
269
            # case-insensitive filesystem), so we may have accidentally renamed
 
270
            # source by when we tried to rename target
 
271
            failure_exc = sys.exc_info()
 
272
            if (file_existed and e.errno in (None, errno.ENOENT)
 
273
                and old.lower() == new.lower()):
 
274
                # source and target are the same file on a case-insensitive
 
275
                # filesystem, so we don't generate an exception
 
276
                failure_exc = None
218
277
    finally:
219
278
        if file_existed:
220
279
            # If the file used to exist, rename it back into place
223
282
                unlink_func(tmp_name)
224
283
            else:
225
284
                rename_func(tmp_name, new)
 
285
    if failure_exc is not None:
 
286
        try:
 
287
            raise failure_exc[0], failure_exc[1], failure_exc[2]
 
288
        finally:
 
289
            del failure_exc
226
290
 
227
291
 
228
292
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
229
293
# choke on a Unicode string containing a relative path if
230
294
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
231
295
# string.
232
 
_fs_enc = sys.getfilesystemencoding() or 'utf-8'
233
296
def _posix_abspath(path):
234
297
    # jam 20060426 rather than encoding to fsencoding
235
298
    # copy posixpath.abspath, but use os.getcwdu instead
236
299
    if not posixpath.isabs(path):
237
300
        path = posixpath.join(getcwd(), path)
238
 
    return posixpath.normpath(path)
 
301
    return _posix_normpath(path)
239
302
 
240
303
 
241
304
def _posix_realpath(path):
242
305
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
243
306
 
244
307
 
 
308
def _posix_normpath(path):
 
309
    path = posixpath.normpath(path)
 
310
    # Bug 861008: posixpath.normpath() returns a path normalized according to
 
311
    # the POSIX standard, which stipulates (for compatibility reasons) that two
 
312
    # leading slashes must not be simplified to one, and only if there are 3 or
 
313
    # more should they be simplified as one. So we treat the leading 2 slashes
 
314
    # as a special case here by simply removing the first slash, as we consider
 
315
    # that breaking POSIX compatibility for this obscure feature is acceptable.
 
316
    # This is not a paranoid precaution, as we notably get paths like this when
 
317
    # the repo is hosted at the root of the filesystem, i.e. in "/".    
 
318
    if path.startswith('//'):
 
319
        path = path[1:]
 
320
    return path
 
321
 
 
322
 
245
323
def _win32_fixdrive(path):
246
324
    """Force drive letters to be consistent.
247
325
 
251
329
    running python.exe under cmd.exe return capital C:\\
252
330
    running win32 python inside a cygwin shell returns lowercase c:\\
253
331
    """
254
 
    drive, path = _nt_splitdrive(path)
 
332
    drive, path = ntpath.splitdrive(path)
255
333
    return drive.upper() + path
256
334
 
257
335
 
258
336
def _win32_abspath(path):
259
 
    # Real _nt_abspath doesn't have a problem with a unicode cwd
260
 
    return _win32_fixdrive(_nt_abspath(unicode(path)).replace('\\', '/'))
 
337
    # Real ntpath.abspath doesn't have a problem with a unicode cwd
 
338
    return _win32_fixdrive(ntpath.abspath(unicode(path)).replace('\\', '/'))
261
339
 
262
340
 
263
341
def _win98_abspath(path):
274
352
    #   /path       => C:/path
275
353
    path = unicode(path)
276
354
    # check for absolute path
277
 
    drive = _nt_splitdrive(path)[0]
 
355
    drive = ntpath.splitdrive(path)[0]
278
356
    if drive == '' and path[:2] not in('//','\\\\'):
279
357
        cwd = os.getcwdu()
280
358
        # we cannot simply os.path.join cwd and path
281
359
        # because os.path.join('C:','/path') produce '/path'
282
360
        # and this is incorrect
283
361
        if path[:1] in ('/','\\'):
284
 
            cwd = _nt_splitdrive(cwd)[0]
 
362
            cwd = ntpath.splitdrive(cwd)[0]
285
363
            path = path[1:]
286
364
        path = cwd + '\\' + path
287
 
    return _win32_fixdrive(_nt_normpath(path).replace('\\', '/'))
288
 
 
289
 
if win32utils.winver == 'Windows 98':
290
 
    _win32_abspath = _win98_abspath
 
365
    return _win32_fixdrive(ntpath.normpath(path).replace('\\', '/'))
291
366
 
292
367
 
293
368
def _win32_realpath(path):
294
 
    # Real _nt_realpath doesn't have a problem with a unicode cwd
295
 
    return _win32_fixdrive(_nt_realpath(unicode(path)).replace('\\', '/'))
 
369
    # Real ntpath.realpath doesn't have a problem with a unicode cwd
 
370
    return _win32_fixdrive(ntpath.realpath(unicode(path)).replace('\\', '/'))
296
371
 
297
372
 
298
373
def _win32_pathjoin(*args):
299
 
    return _nt_join(*args).replace('\\', '/')
 
374
    return ntpath.join(*args).replace('\\', '/')
300
375
 
301
376
 
302
377
def _win32_normpath(path):
303
 
    return _win32_fixdrive(_nt_normpath(unicode(path)).replace('\\', '/'))
 
378
    return _win32_fixdrive(ntpath.normpath(unicode(path)).replace('\\', '/'))
304
379
 
305
380
 
306
381
def _win32_getcwd():
315
390
    """We expect to be able to atomically replace 'new' with old.
316
391
 
317
392
    On win32, if new exists, it must be moved out of the way first,
318
 
    and then deleted. 
 
393
    and then deleted.
319
394
    """
320
395
    try:
321
396
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
322
397
    except OSError, e:
323
398
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
324
 
            # If we try to rename a non-existant file onto cwd, we get 
325
 
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT 
 
399
            # If we try to rename a non-existant file onto cwd, we get
 
400
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT
326
401
            # if the old path doesn't exist, sometimes we get EACCES
327
402
            # On Linux, we seem to get EBUSY, on Mac we get EINVAL
328
403
            os.lstat(old)
330
405
 
331
406
 
332
407
def _mac_getcwd():
333
 
    return unicodedata.normalize('NFKC', os.getcwdu())
 
408
    return unicodedata.normalize('NFC', os.getcwdu())
334
409
 
335
410
 
336
411
# Default is to just use the python builtins, but these can be rebound on
338
413
abspath = _posix_abspath
339
414
realpath = _posix_realpath
340
415
pathjoin = os.path.join
341
 
normpath = os.path.normpath
 
416
normpath = _posix_normpath
342
417
getcwd = os.getcwdu
343
418
rename = os.rename
344
419
dirname = os.path.dirname
345
420
basename = os.path.basename
346
421
split = os.path.split
347
422
splitext = os.path.splitext
348
 
# These were already imported into local scope
 
423
# These were already lazily imported into local scope
349
424
# mkdtemp = tempfile.mkdtemp
350
425
# rmtree = shutil.rmtree
 
426
lstat = os.lstat
 
427
fstat = os.fstat
 
428
 
 
429
def wrap_stat(st):
 
430
    return st
 
431
 
351
432
 
352
433
MIN_ABS_PATHLENGTH = 1
353
434
 
354
435
 
355
436
if sys.platform == 'win32':
356
 
    abspath = _win32_abspath
 
437
    if win32utils.winver == 'Windows 98':
 
438
        abspath = _win98_abspath
 
439
    else:
 
440
        abspath = _win32_abspath
357
441
    realpath = _win32_realpath
358
442
    pathjoin = _win32_pathjoin
359
443
    normpath = _win32_normpath
360
444
    getcwd = _win32_getcwd
361
445
    mkdtemp = _win32_mkdtemp
362
446
    rename = _win32_rename
 
447
    try:
 
448
        from bzrlib import _walkdirs_win32
 
449
    except ImportError:
 
450
        pass
 
451
    else:
 
452
        lstat = _walkdirs_win32.lstat
 
453
        fstat = _walkdirs_win32.fstat
 
454
        wrap_stat = _walkdirs_win32.wrap_stat
363
455
 
364
456
    MIN_ABS_PATHLENGTH = 3
365
457
 
379
471
    def rmtree(path, ignore_errors=False, onerror=_win32_delete_readonly):
380
472
        """Replacer for shutil.rmtree: could remove readonly dirs/files"""
381
473
        return shutil.rmtree(path, ignore_errors, onerror)
 
474
 
 
475
    f = win32utils.get_unicode_argv     # special function or None
 
476
    if f is not None:
 
477
        get_unicode_argv = f
 
478
 
382
479
elif sys.platform == 'darwin':
383
480
    getcwd = _mac_getcwd
384
481
 
385
482
 
386
 
def get_terminal_encoding():
 
483
def get_terminal_encoding(trace=False):
387
484
    """Find the best encoding for printing to the screen.
388
485
 
389
486
    This attempts to check both sys.stdout and sys.stdin to see
390
487
    what encoding they are in, and if that fails it falls back to
391
 
    bzrlib.user_encoding.
 
488
    osutils.get_user_encoding().
392
489
    The problem is that on Windows, locale.getpreferredencoding()
393
490
    is not the same encoding as that used by the console:
394
491
    http://mail.python.org/pipermail/python-list/2003-May/162357.html
395
492
 
396
493
    On my standard US Windows XP, the preferred encoding is
397
494
    cp1252, but the console is cp437
 
495
 
 
496
    :param trace: If True trace the selected encoding via mutter().
398
497
    """
 
498
    from bzrlib.trace import mutter
399
499
    output_encoding = getattr(sys.stdout, 'encoding', None)
400
500
    if not output_encoding:
401
501
        input_encoding = getattr(sys.stdin, 'encoding', None)
402
502
        if not input_encoding:
403
 
            output_encoding = bzrlib.user_encoding
404
 
            mutter('encoding stdout as bzrlib.user_encoding %r', output_encoding)
 
503
            output_encoding = get_user_encoding()
 
504
            if trace:
 
505
                mutter('encoding stdout as osutils.get_user_encoding() %r',
 
506
                   output_encoding)
405
507
        else:
406
508
            output_encoding = input_encoding
407
 
            mutter('encoding stdout as sys.stdin encoding %r', output_encoding)
 
509
            if trace:
 
510
                mutter('encoding stdout as sys.stdin encoding %r',
 
511
                    output_encoding)
408
512
    else:
409
 
        mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
 
513
        if trace:
 
514
            mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
410
515
    if output_encoding == 'cp0':
411
516
        # invalid encoding (cp0 means 'no codepage' on Windows)
412
 
        output_encoding = bzrlib.user_encoding
413
 
        mutter('cp0 is invalid encoding.'
414
 
               ' encoding stdout as bzrlib.user_encoding %r', output_encoding)
 
517
        output_encoding = get_user_encoding()
 
518
        if trace:
 
519
            mutter('cp0 is invalid encoding.'
 
520
               ' encoding stdout as osutils.get_user_encoding() %r',
 
521
               output_encoding)
415
522
    # check encoding
416
523
    try:
417
524
        codecs.lookup(output_encoding)
419
526
        sys.stderr.write('bzr: warning:'
420
527
                         ' unknown terminal encoding %s.\n'
421
528
                         '  Using encoding %s instead.\n'
422
 
                         % (output_encoding, bzrlib.user_encoding)
 
529
                         % (output_encoding, get_user_encoding())
423
530
                        )
424
 
        output_encoding = bzrlib.user_encoding
 
531
        output_encoding = get_user_encoding()
425
532
 
426
533
    return output_encoding
427
534
 
438
545
        return pathjoin(F(p), e)
439
546
 
440
547
 
441
 
def backup_file(fn):
442
 
    """Copy a file to a backup.
443
 
 
444
 
    Backups are named in GNU-style, with a ~ suffix.
445
 
 
446
 
    If the file is already a backup, it's not copied.
447
 
    """
448
 
    if fn[-1] == '~':
449
 
        return
450
 
    bfn = fn + '~'
451
 
 
452
 
    if has_symlinks() and os.path.islink(fn):
453
 
        target = os.readlink(fn)
454
 
        os.symlink(target, bfn)
455
 
        return
456
 
    inf = file(fn, 'rb')
457
 
    try:
458
 
        content = inf.read()
459
 
    finally:
460
 
        inf.close()
461
 
    
462
 
    outf = file(bfn, 'wb')
463
 
    try:
464
 
        outf.write(content)
465
 
    finally:
466
 
        outf.close()
467
 
 
468
 
 
469
548
def isdir(f):
470
549
    """True if f is an accessible directory."""
471
550
    try:
472
 
        return S_ISDIR(os.lstat(f)[ST_MODE])
 
551
        return stat.S_ISDIR(os.lstat(f)[stat.ST_MODE])
473
552
    except OSError:
474
553
        return False
475
554
 
477
556
def isfile(f):
478
557
    """True if f is a regular file."""
479
558
    try:
480
 
        return S_ISREG(os.lstat(f)[ST_MODE])
 
559
        return stat.S_ISREG(os.lstat(f)[stat.ST_MODE])
481
560
    except OSError:
482
561
        return False
483
562
 
484
563
def islink(f):
485
564
    """True if f is a symlink."""
486
565
    try:
487
 
        return S_ISLNK(os.lstat(f)[ST_MODE])
 
566
        return stat.S_ISLNK(os.lstat(f)[stat.ST_MODE])
488
567
    except OSError:
489
568
        return False
490
569
 
491
570
def is_inside(dir, fname):
492
571
    """True if fname is inside dir.
493
 
    
 
572
 
494
573
    The parameters should typically be passed to osutils.normpath first, so
495
574
    that . and .. and repeated slashes are eliminated, and the separators
496
575
    are canonical for the platform.
497
 
    
498
 
    The empty string as a dir name is taken as top-of-tree and matches 
 
576
 
 
577
    The empty string as a dir name is taken as top-of-tree and matches
499
578
    everything.
500
579
    """
501
 
    # XXX: Most callers of this can actually do something smarter by 
 
580
    # XXX: Most callers of this can actually do something smarter by
502
581
    # looking at the inventory
503
582
    if dir == fname:
504
583
        return True
505
 
    
 
584
 
506
585
    if dir == '':
507
586
        return True
508
587
 
517
596
    for dirname in dir_list:
518
597
        if is_inside(dirname, fname):
519
598
            return True
520
 
    else:
521
 
        return False
 
599
    return False
522
600
 
523
601
 
524
602
def is_inside_or_parent_of_any(dir_list, fname):
526
604
    for dirname in dir_list:
527
605
        if is_inside(dirname, fname) or is_inside(fname, dirname):
528
606
            return True
 
607
    return False
 
608
 
 
609
 
 
610
def pumpfile(from_file, to_file, read_length=-1, buff_size=32768,
 
611
             report_activity=None, direction='read'):
 
612
    """Copy contents of one file to another.
 
613
 
 
614
    The read_length can either be -1 to read to end-of-file (EOF) or
 
615
    it can specify the maximum number of bytes to read.
 
616
 
 
617
    The buff_size represents the maximum size for each read operation
 
618
    performed on from_file.
 
619
 
 
620
    :param report_activity: Call this as bytes are read, see
 
621
        Transport._report_activity
 
622
    :param direction: Will be passed to report_activity
 
623
 
 
624
    :return: The number of bytes copied.
 
625
    """
 
626
    length = 0
 
627
    if read_length >= 0:
 
628
        # read specified number of bytes
 
629
 
 
630
        while read_length > 0:
 
631
            num_bytes_to_read = min(read_length, buff_size)
 
632
 
 
633
            block = from_file.read(num_bytes_to_read)
 
634
            if not block:
 
635
                # EOF reached
 
636
                break
 
637
            if report_activity is not None:
 
638
                report_activity(len(block), direction)
 
639
            to_file.write(block)
 
640
 
 
641
            actual_bytes_read = len(block)
 
642
            read_length -= actual_bytes_read
 
643
            length += actual_bytes_read
529
644
    else:
530
 
        return False
531
 
 
532
 
 
533
 
def pumpfile(fromfile, tofile):
534
 
    """Copy contents of one file to another."""
535
 
    BUFSIZE = 32768
536
 
    while True:
537
 
        b = fromfile.read(BUFSIZE)
538
 
        if not b:
539
 
            break
540
 
        tofile.write(b)
 
645
        # read to EOF
 
646
        while True:
 
647
            block = from_file.read(buff_size)
 
648
            if not block:
 
649
                # EOF reached
 
650
                break
 
651
            if report_activity is not None:
 
652
                report_activity(len(block), direction)
 
653
            to_file.write(block)
 
654
            length += len(block)
 
655
    return length
 
656
 
 
657
 
 
658
def pump_string_file(bytes, file_handle, segment_size=None):
 
659
    """Write bytes to file_handle in many smaller writes.
 
660
 
 
661
    :param bytes: The string to write.
 
662
    :param file_handle: The file to write to.
 
663
    """
 
664
    # Write data in chunks rather than all at once, because very large
 
665
    # writes fail on some platforms (e.g. Windows with SMB  mounted
 
666
    # drives).
 
667
    if not segment_size:
 
668
        segment_size = 5242880 # 5MB
 
669
    segments = range(len(bytes) / segment_size + 1)
 
670
    write = file_handle.write
 
671
    for segment_index in segments:
 
672
        segment = buffer(bytes, segment_index * segment_size, segment_size)
 
673
        write(segment)
541
674
 
542
675
 
543
676
def file_iterator(input_file, readsize=32768):
549
682
 
550
683
 
551
684
def sha_file(f):
552
 
    if getattr(f, 'tell', None) is not None:
553
 
        assert f.tell() == 0
554
 
    s = sha.new()
 
685
    """Calculate the hexdigest of an open file.
 
686
 
 
687
    The file cursor should be already at the start.
 
688
    """
 
689
    s = sha()
555
690
    BUFSIZE = 128<<10
556
691
    while True:
557
692
        b = f.read(BUFSIZE)
561
696
    return s.hexdigest()
562
697
 
563
698
 
564
 
 
565
 
def sha_strings(strings):
 
699
def size_sha_file(f):
 
700
    """Calculate the size and hexdigest of an open file.
 
701
 
 
702
    The file cursor should be already at the start and
 
703
    the caller is responsible for closing the file afterwards.
 
704
    """
 
705
    size = 0
 
706
    s = sha()
 
707
    BUFSIZE = 128<<10
 
708
    while True:
 
709
        b = f.read(BUFSIZE)
 
710
        if not b:
 
711
            break
 
712
        size += len(b)
 
713
        s.update(b)
 
714
    return size, s.hexdigest()
 
715
 
 
716
 
 
717
def sha_file_by_name(fname):
 
718
    """Calculate the SHA1 of a file by reading the full text"""
 
719
    s = sha()
 
720
    f = os.open(fname, os.O_RDONLY | O_BINARY | O_NOINHERIT)
 
721
    try:
 
722
        while True:
 
723
            b = os.read(f, 1<<16)
 
724
            if not b:
 
725
                return s.hexdigest()
 
726
            s.update(b)
 
727
    finally:
 
728
        os.close(f)
 
729
 
 
730
 
 
731
def sha_strings(strings, _factory=sha):
566
732
    """Return the sha-1 of concatenation of strings"""
567
 
    s = sha.new()
 
733
    s = _factory()
568
734
    map(s.update, strings)
569
735
    return s.hexdigest()
570
736
 
571
737
 
572
 
def sha_string(f):
573
 
    s = sha.new()
574
 
    s.update(f)
575
 
    return s.hexdigest()
 
738
def sha_string(f, _factory=sha):
 
739
    return _factory(f).hexdigest()
576
740
 
577
741
 
578
742
def fingerprint_file(f):
579
 
    s = sha.new()
580
743
    b = f.read()
581
 
    s.update(b)
582
 
    size = len(b)
583
 
    return {'size': size,
584
 
            'sha1': s.hexdigest()}
 
744
    return {'size': len(b),
 
745
            'sha1': sha(b).hexdigest()}
585
746
 
586
747
 
587
748
def compare_files(a, b):
603
764
    offset = datetime.fromtimestamp(t) - datetime.utcfromtimestamp(t)
604
765
    return offset.days * 86400 + offset.seconds
605
766
 
606
 
    
607
 
def format_date(t, offset=0, timezone='original', date_fmt=None, 
 
767
weekdays = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
 
768
_default_format_by_weekday_num = [wd + " %Y-%m-%d %H:%M:%S" for wd in weekdays]
 
769
 
 
770
 
 
771
def format_date(t, offset=0, timezone='original', date_fmt=None,
608
772
                show_offset=True):
609
 
    ## TODO: Perhaps a global option to use either universal or local time?
610
 
    ## Or perhaps just let people set $TZ?
611
 
    assert isinstance(t, float)
612
 
    
 
773
    """Return a formatted date string.
 
774
 
 
775
    :param t: Seconds since the epoch.
 
776
    :param offset: Timezone offset in seconds east of utc.
 
777
    :param timezone: How to display the time: 'utc', 'original' for the
 
778
         timezone specified by offset, or 'local' for the process's current
 
779
         timezone.
 
780
    :param date_fmt: strftime format.
 
781
    :param show_offset: Whether to append the timezone.
 
782
    """
 
783
    (date_fmt, tt, offset_str) = \
 
784
               _format_date(t, offset, timezone, date_fmt, show_offset)
 
785
    date_fmt = date_fmt.replace('%a', weekdays[tt[6]])
 
786
    date_str = time.strftime(date_fmt, tt)
 
787
    return date_str + offset_str
 
788
 
 
789
 
 
790
# Cache of formatted offset strings
 
791
_offset_cache = {}
 
792
 
 
793
 
 
794
def format_date_with_offset_in_original_timezone(t, offset=0,
 
795
    _cache=_offset_cache):
 
796
    """Return a formatted date string in the original timezone.
 
797
 
 
798
    This routine may be faster then format_date.
 
799
 
 
800
    :param t: Seconds since the epoch.
 
801
    :param offset: Timezone offset in seconds east of utc.
 
802
    """
 
803
    if offset is None:
 
804
        offset = 0
 
805
    tt = time.gmtime(t + offset)
 
806
    date_fmt = _default_format_by_weekday_num[tt[6]]
 
807
    date_str = time.strftime(date_fmt, tt)
 
808
    offset_str = _cache.get(offset, None)
 
809
    if offset_str is None:
 
810
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
 
811
        _cache[offset] = offset_str
 
812
    return date_str + offset_str
 
813
 
 
814
 
 
815
def format_local_date(t, offset=0, timezone='original', date_fmt=None,
 
816
                      show_offset=True):
 
817
    """Return an unicode date string formatted according to the current locale.
 
818
 
 
819
    :param t: Seconds since the epoch.
 
820
    :param offset: Timezone offset in seconds east of utc.
 
821
    :param timezone: How to display the time: 'utc', 'original' for the
 
822
         timezone specified by offset, or 'local' for the process's current
 
823
         timezone.
 
824
    :param date_fmt: strftime format.
 
825
    :param show_offset: Whether to append the timezone.
 
826
    """
 
827
    (date_fmt, tt, offset_str) = \
 
828
               _format_date(t, offset, timezone, date_fmt, show_offset)
 
829
    date_str = time.strftime(date_fmt, tt)
 
830
    if not isinstance(date_str, unicode):
 
831
        date_str = date_str.decode(get_user_encoding(), 'replace')
 
832
    return date_str + offset_str
 
833
 
 
834
 
 
835
def _format_date(t, offset, timezone, date_fmt, show_offset):
613
836
    if timezone == 'utc':
614
837
        tt = time.gmtime(t)
615
838
        offset = 0
621
844
        tt = time.localtime(t)
622
845
        offset = local_time_offset(t)
623
846
    else:
624
 
        raise errors.BzrError("unsupported timezone format %r" % timezone,
625
 
                              ['options are "utc", "original", "local"'])
 
847
        raise errors.UnsupportedTimezoneFormat(timezone)
626
848
    if date_fmt is None:
627
849
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
628
850
    if show_offset:
629
851
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
630
852
    else:
631
853
        offset_str = ''
632
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
854
    return (date_fmt, tt, offset_str)
633
855
 
634
856
 
635
857
def compact_date(when):
636
858
    return time.strftime('%Y%m%d%H%M%S', time.gmtime(when))
637
 
    
 
859
 
638
860
 
639
861
def format_delta(delta):
640
862
    """Get a nice looking string for a time delta.
687
909
 
688
910
def filesize(f):
689
911
    """Return size of given open file."""
690
 
    return os.fstat(f.fileno())[ST_SIZE]
 
912
    return os.fstat(f.fileno())[stat.ST_SIZE]
691
913
 
692
914
 
693
915
# Define rand_bytes based on platform.
716
938
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
717
939
def rand_chars(num):
718
940
    """Return a random string of num alphanumeric characters
719
 
    
720
 
    The result only contains lowercase chars because it may be used on 
 
941
 
 
942
    The result only contains lowercase chars because it may be used on
721
943
    case-insensitive filesystems.
722
944
    """
723
945
    s = ''
731
953
 
732
954
def splitpath(p):
733
955
    """Turn string into list of parts."""
734
 
    assert isinstance(p, basestring)
735
 
 
736
956
    # split on either delimiter because people might use either on
737
957
    # Windows
738
958
    ps = re.split(r'[\\/]', p)
740
960
    rps = []
741
961
    for f in ps:
742
962
        if f == '..':
743
 
            raise errors.BzrError("sorry, %r not allowed in path" % f)
 
963
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
744
964
        elif (f == '.') or (f == ''):
745
965
            pass
746
966
        else:
747
967
            rps.append(f)
748
968
    return rps
749
969
 
 
970
 
750
971
def joinpath(p):
751
 
    assert isinstance(p, list)
752
972
    for f in p:
753
973
        if (f == '..') or (f is None) or (f == ''):
754
 
            raise errors.BzrError("sorry, %r not allowed in path" % f)
 
974
            raise errors.BzrError(gettext("sorry, %r not allowed in path") % f)
755
975
    return pathjoin(*p)
756
976
 
757
977
 
758
 
@deprecated_function(zero_nine)
759
 
def appendpath(p1, p2):
760
 
    if p1 == '':
761
 
        return p2
762
 
    else:
763
 
        return pathjoin(p1, p2)
764
 
    
 
978
def parent_directories(filename):
 
979
    """Return the list of parent directories, deepest first.
 
980
 
 
981
    For example, parent_directories("a/b/c") -> ["a/b", "a"].
 
982
    """
 
983
    parents = []
 
984
    parts = splitpath(dirname(filename))
 
985
    while parts:
 
986
        parents.append(joinpath(parts))
 
987
        parts.pop()
 
988
    return parents
 
989
 
 
990
 
 
991
_extension_load_failures = []
 
992
 
 
993
 
 
994
def failed_to_load_extension(exception):
 
995
    """Handle failing to load a binary extension.
 
996
 
 
997
    This should be called from the ImportError block guarding the attempt to
 
998
    import the native extension.  If this function returns, the pure-Python
 
999
    implementation should be loaded instead::
 
1000
 
 
1001
    >>> try:
 
1002
    >>>     import bzrlib._fictional_extension_pyx
 
1003
    >>> except ImportError, e:
 
1004
    >>>     bzrlib.osutils.failed_to_load_extension(e)
 
1005
    >>>     import bzrlib._fictional_extension_py
 
1006
    """
 
1007
    # NB: This docstring is just an example, not a doctest, because doctest
 
1008
    # currently can't cope with the use of lazy imports in this namespace --
 
1009
    # mbp 20090729
 
1010
 
 
1011
    # This currently doesn't report the failure at the time it occurs, because
 
1012
    # they tend to happen very early in startup when we can't check config
 
1013
    # files etc, and also we want to report all failures but not spam the user
 
1014
    # with 10 warnings.
 
1015
    exception_str = str(exception)
 
1016
    if exception_str not in _extension_load_failures:
 
1017
        trace.mutter("failed to load compiled extension: %s" % exception_str)
 
1018
        _extension_load_failures.append(exception_str)
 
1019
 
 
1020
 
 
1021
def report_extension_load_failures():
 
1022
    if not _extension_load_failures:
 
1023
        return
 
1024
    if config.GlobalStack().get('ignore_missing_extensions'):
 
1025
        return
 
1026
    # the warnings framework should by default show this only once
 
1027
    from bzrlib.trace import warning
 
1028
    warning(
 
1029
        "bzr: warning: some compiled extensions could not be loaded; "
 
1030
        "see <https://answers.launchpad.net/bzr/+faq/703>")
 
1031
    # we no longer show the specific missing extensions here, because it makes
 
1032
    # the message too long and scary - see
 
1033
    # https://bugs.launchpad.net/bzr/+bug/430529
 
1034
 
 
1035
 
 
1036
try:
 
1037
    from bzrlib._chunks_to_lines_pyx import chunks_to_lines
 
1038
except ImportError, e:
 
1039
    failed_to_load_extension(e)
 
1040
    from bzrlib._chunks_to_lines_py import chunks_to_lines
 
1041
 
765
1042
 
766
1043
def split_lines(s):
767
1044
    """Split s into lines, but without removing the newline characters."""
 
1045
    # Trivially convert a fulltext into a 'chunked' representation, and let
 
1046
    # chunks_to_lines do the heavy lifting.
 
1047
    if isinstance(s, str):
 
1048
        # chunks_to_lines only supports 8-bit strings
 
1049
        return chunks_to_lines([s])
 
1050
    else:
 
1051
        return _split_lines(s)
 
1052
 
 
1053
 
 
1054
def _split_lines(s):
 
1055
    """Split s into lines, but without removing the newline characters.
 
1056
 
 
1057
    This supports Unicode or plain string objects.
 
1058
    """
768
1059
    lines = s.split('\n')
769
1060
    result = [line + '\n' for line in lines[:-1]]
770
1061
    if lines[-1]:
788
1079
            raise
789
1080
        shutil.copyfile(src, dest)
790
1081
 
791
 
def delete_any(full_path):
792
 
    """Delete a file or directory."""
 
1082
 
 
1083
def delete_any(path):
 
1084
    """Delete a file, symlink or directory.
 
1085
 
 
1086
    Will delete even if readonly.
 
1087
    """
793
1088
    try:
794
 
        os.unlink(full_path)
795
 
    except OSError, e:
796
 
    # We may be renaming a dangling inventory id
797
 
        if e.errno not in (errno.EISDIR, errno.EACCES, errno.EPERM):
 
1089
       _delete_file_or_dir(path)
 
1090
    except (OSError, IOError), e:
 
1091
        if e.errno in (errno.EPERM, errno.EACCES):
 
1092
            # make writable and try again
 
1093
            try:
 
1094
                make_writable(path)
 
1095
            except (OSError, IOError):
 
1096
                pass
 
1097
            _delete_file_or_dir(path)
 
1098
        else:
798
1099
            raise
799
 
        os.rmdir(full_path)
 
1100
 
 
1101
 
 
1102
def _delete_file_or_dir(path):
 
1103
    # Look Before You Leap (LBYL) is appropriate here instead of Easier to Ask for
 
1104
    # Forgiveness than Permission (EAFP) because:
 
1105
    # - root can damage a solaris file system by using unlink,
 
1106
    # - unlink raises different exceptions on different OSes (linux: EISDIR, win32:
 
1107
    #   EACCES, OSX: EPERM) when invoked on a directory.
 
1108
    if isdir(path): # Takes care of symlinks
 
1109
        os.rmdir(path)
 
1110
    else:
 
1111
        os.unlink(path)
800
1112
 
801
1113
 
802
1114
def has_symlinks():
804
1116
        return True
805
1117
    else:
806
1118
        return False
807
 
        
 
1119
 
 
1120
 
 
1121
def has_hardlinks():
 
1122
    if getattr(os, 'link', None) is not None:
 
1123
        return True
 
1124
    else:
 
1125
        return False
 
1126
 
 
1127
 
 
1128
def host_os_dereferences_symlinks():
 
1129
    return (has_symlinks()
 
1130
            and sys.platform not in ('cygwin', 'win32'))
 
1131
 
 
1132
 
 
1133
def readlink(abspath):
 
1134
    """Return a string representing the path to which the symbolic link points.
 
1135
 
 
1136
    :param abspath: The link absolute unicode path.
 
1137
 
 
1138
    This his guaranteed to return the symbolic link in unicode in all python
 
1139
    versions.
 
1140
    """
 
1141
    link = abspath.encode(_fs_enc)
 
1142
    target = os.readlink(link)
 
1143
    target = target.decode(_fs_enc)
 
1144
    return target
 
1145
 
808
1146
 
809
1147
def contains_whitespace(s):
810
1148
    """True if there are any whitespace characters in s."""
836
1174
 
837
1175
 
838
1176
def relpath(base, path):
839
 
    """Return path relative to base, or raise exception.
 
1177
    """Return path relative to base, or raise PathNotChild exception.
840
1178
 
841
1179
    The path may be either an absolute path or a path relative to the
842
1180
    current working directory.
844
1182
    os.path.commonprefix (python2.4) has a bad bug that it works just
845
1183
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
846
1184
    avoids that problem.
 
1185
 
 
1186
    NOTE: `base` should not have a trailing slash otherwise you'll get
 
1187
    PathNotChild exceptions regardless of `path`.
847
1188
    """
848
1189
 
849
 
    assert len(base) >= MIN_ABS_PATHLENGTH, ('Length of base must be equal or'
850
 
        ' exceed the platform minimum length (which is %d)' % 
851
 
        MIN_ABS_PATHLENGTH)
 
1190
    if len(base) < MIN_ABS_PATHLENGTH:
 
1191
        # must have space for e.g. a drive letter
 
1192
        raise ValueError(gettext('%r is too short to calculate a relative path')
 
1193
            % (base,))
852
1194
 
853
1195
    rp = abspath(path)
854
1196
 
855
1197
    s = []
856
1198
    head = rp
857
 
    while len(head) >= len(base):
 
1199
    while True:
 
1200
        if len(head) <= len(base) and head != base:
 
1201
            raise errors.PathNotChild(rp, base)
858
1202
        if head == base:
859
1203
            break
860
 
        head, tail = os.path.split(head)
 
1204
        head, tail = split(head)
861
1205
        if tail:
862
 
            s.insert(0, tail)
863
 
    else:
864
 
        raise errors.PathNotChild(rp, base)
 
1206
            s.append(tail)
865
1207
 
866
1208
    if s:
867
 
        return pathjoin(*s)
 
1209
        return pathjoin(*reversed(s))
868
1210
    else:
869
1211
        return ''
870
1212
 
871
1213
 
 
1214
def _cicp_canonical_relpath(base, path):
 
1215
    """Return the canonical path relative to base.
 
1216
 
 
1217
    Like relpath, but on case-insensitive-case-preserving file-systems, this
 
1218
    will return the relpath as stored on the file-system rather than in the
 
1219
    case specified in the input string, for all existing portions of the path.
 
1220
 
 
1221
    This will cause O(N) behaviour if called for every path in a tree; if you
 
1222
    have a number of paths to convert, you should use canonical_relpaths().
 
1223
    """
 
1224
    # TODO: it should be possible to optimize this for Windows by using the
 
1225
    # win32 API FindFiles function to look for the specified name - but using
 
1226
    # os.listdir() still gives us the correct, platform agnostic semantics in
 
1227
    # the short term.
 
1228
 
 
1229
    rel = relpath(base, path)
 
1230
    # '.' will have been turned into ''
 
1231
    if not rel:
 
1232
        return rel
 
1233
 
 
1234
    abs_base = abspath(base)
 
1235
    current = abs_base
 
1236
    _listdir = os.listdir
 
1237
 
 
1238
    # use an explicit iterator so we can easily consume the rest on early exit.
 
1239
    bit_iter = iter(rel.split('/'))
 
1240
    for bit in bit_iter:
 
1241
        lbit = bit.lower()
 
1242
        try:
 
1243
            next_entries = _listdir(current)
 
1244
        except OSError: # enoent, eperm, etc
 
1245
            # We can't find this in the filesystem, so just append the
 
1246
            # remaining bits.
 
1247
            current = pathjoin(current, bit, *list(bit_iter))
 
1248
            break
 
1249
        for look in next_entries:
 
1250
            if lbit == look.lower():
 
1251
                current = pathjoin(current, look)
 
1252
                break
 
1253
        else:
 
1254
            # got to the end, nothing matched, so we just return the
 
1255
            # non-existing bits as they were specified (the filename may be
 
1256
            # the target of a move, for example).
 
1257
            current = pathjoin(current, bit, *list(bit_iter))
 
1258
            break
 
1259
    return current[len(abs_base):].lstrip('/')
 
1260
 
 
1261
# XXX - TODO - we need better detection/integration of case-insensitive
 
1262
# file-systems; Linux often sees FAT32 devices (or NFS-mounted OSX
 
1263
# filesystems), for example, so could probably benefit from the same basic
 
1264
# support there.  For now though, only Windows and OSX get that support, and
 
1265
# they get it for *all* file-systems!
 
1266
if sys.platform in ('win32', 'darwin'):
 
1267
    canonical_relpath = _cicp_canonical_relpath
 
1268
else:
 
1269
    canonical_relpath = relpath
 
1270
 
 
1271
def canonical_relpaths(base, paths):
 
1272
    """Create an iterable to canonicalize a sequence of relative paths.
 
1273
 
 
1274
    The intent is for this implementation to use a cache, vastly speeding
 
1275
    up multiple transformations in the same directory.
 
1276
    """
 
1277
    # but for now, we haven't optimized...
 
1278
    return [canonical_relpath(base, p) for p in paths]
 
1279
 
 
1280
 
 
1281
def decode_filename(filename):
 
1282
    """Decode the filename using the filesystem encoding
 
1283
 
 
1284
    If it is unicode, it is returned.
 
1285
    Otherwise it is decoded from the the filesystem's encoding. If decoding
 
1286
    fails, a errors.BadFilenameEncoding exception is raised.
 
1287
    """
 
1288
    if type(filename) is unicode:
 
1289
        return filename
 
1290
    try:
 
1291
        return filename.decode(_fs_enc)
 
1292
    except UnicodeDecodeError:
 
1293
        raise errors.BadFilenameEncoding(filename, _fs_enc)
 
1294
 
 
1295
 
872
1296
def safe_unicode(unicode_or_utf8_string):
873
1297
    """Coerce unicode_or_utf8_string into unicode.
874
1298
 
875
1299
    If it is unicode, it is returned.
876
 
    Otherwise it is decoded from utf-8. If a decoding error
877
 
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
878
 
    as a BzrBadParameter exception.
 
1300
    Otherwise it is decoded from utf-8. If decoding fails, the exception is
 
1301
    wrapped in a BzrBadParameterNotUnicode exception.
879
1302
    """
880
1303
    if isinstance(unicode_or_utf8_string, unicode):
881
1304
        return unicode_or_utf8_string
904
1327
    return unicode_or_utf8_string.encode('utf-8')
905
1328
 
906
1329
 
907
 
def safe_revision_id(unicode_or_utf8_string):
 
1330
_revision_id_warning = ('Unicode revision ids were deprecated in bzr 0.15.'
 
1331
                        ' Revision id generators should be creating utf8'
 
1332
                        ' revision ids.')
 
1333
 
 
1334
 
 
1335
def safe_revision_id(unicode_or_utf8_string, warn=True):
908
1336
    """Revision ids should now be utf8, but at one point they were unicode.
909
1337
 
 
1338
    :param unicode_or_utf8_string: A possibly Unicode revision_id. (can also be
 
1339
        utf8 or None).
 
1340
    :param warn: Functions that are sanitizing user data can set warn=False
 
1341
    :return: None or a utf8 revision id.
 
1342
    """
 
1343
    if (unicode_or_utf8_string is None
 
1344
        or unicode_or_utf8_string.__class__ == str):
 
1345
        return unicode_or_utf8_string
 
1346
    if warn:
 
1347
        symbol_versioning.warn(_revision_id_warning, DeprecationWarning,
 
1348
                               stacklevel=2)
 
1349
    return cache_utf8.encode(unicode_or_utf8_string)
 
1350
 
 
1351
 
 
1352
_file_id_warning = ('Unicode file ids were deprecated in bzr 0.15. File id'
 
1353
                    ' generators should be creating utf8 file ids.')
 
1354
 
 
1355
 
 
1356
def safe_file_id(unicode_or_utf8_string, warn=True):
 
1357
    """File ids should now be utf8, but at one point they were unicode.
 
1358
 
910
1359
    This is the same as safe_utf8, except it uses the cached encode functions
911
1360
    to save a little bit of performance.
 
1361
 
 
1362
    :param unicode_or_utf8_string: A possibly Unicode file_id. (can also be
 
1363
        utf8 or None).
 
1364
    :param warn: Functions that are sanitizing user data can set warn=False
 
1365
    :return: None or a utf8 file id.
912
1366
    """
913
 
    if unicode_or_utf8_string is None:
914
 
        return None
915
 
    if isinstance(unicode_or_utf8_string, str):
916
 
        # TODO: jam 20070209 Eventually just remove this check.
917
 
        try:
918
 
            utf8_str = cache_utf8.get_cached_utf8(unicode_or_utf8_string)
919
 
        except UnicodeDecodeError:
920
 
            raise errors.BzrBadParameterNotUnicode(unicode_or_utf8_string)
921
 
        return utf8_str
 
1367
    if (unicode_or_utf8_string is None
 
1368
        or unicode_or_utf8_string.__class__ == str):
 
1369
        return unicode_or_utf8_string
 
1370
    if warn:
 
1371
        symbol_versioning.warn(_file_id_warning, DeprecationWarning,
 
1372
                               stacklevel=2)
922
1373
    return cache_utf8.encode(unicode_or_utf8_string)
923
1374
 
924
1375
 
930
1381
def normalizes_filenames():
931
1382
    """Return True if this platform normalizes unicode filenames.
932
1383
 
933
 
    Mac OSX does, Windows/Linux do not.
 
1384
    Only Mac OSX.
934
1385
    """
935
1386
    return _platform_normalizes_filenames
936
1387
 
940
1391
 
941
1392
    On platforms where the system normalizes filenames (Mac OSX),
942
1393
    you can access a file by any path which will normalize correctly.
943
 
    On platforms where the system does not normalize filenames 
944
 
    (Windows, Linux), you have to access a file by its exact path.
 
1394
    On platforms where the system does not normalize filenames
 
1395
    (everything else), you have to access a file by its exact path.
945
1396
 
946
 
    Internally, bzr only supports NFC/NFKC normalization, since that is 
 
1397
    Internally, bzr only supports NFC normalization, since that is
947
1398
    the standard for XML documents.
948
1399
 
949
1400
    So return the normalized path, and a flag indicating if the file
950
1401
    can be accessed by that path.
951
1402
    """
952
1403
 
953
 
    return unicodedata.normalize('NFKC', unicode(path)), True
 
1404
    return unicodedata.normalize('NFC', unicode(path)), True
954
1405
 
955
1406
 
956
1407
def _inaccessible_normalized_filename(path):
957
1408
    __doc__ = _accessible_normalized_filename.__doc__
958
1409
 
959
 
    normalized = unicodedata.normalize('NFKC', unicode(path))
 
1410
    normalized = unicodedata.normalize('NFC', unicode(path))
960
1411
    return normalized, normalized == path
961
1412
 
962
1413
 
966
1417
    normalized_filename = _inaccessible_normalized_filename
967
1418
 
968
1419
 
 
1420
def set_signal_handler(signum, handler, restart_syscall=True):
 
1421
    """A wrapper for signal.signal that also calls siginterrupt(signum, False)
 
1422
    on platforms that support that.
 
1423
 
 
1424
    :param restart_syscall: if set, allow syscalls interrupted by a signal to
 
1425
        automatically restart (by calling `signal.siginterrupt(signum,
 
1426
        False)`).  May be ignored if the feature is not available on this
 
1427
        platform or Python version.
 
1428
    """
 
1429
    try:
 
1430
        import signal
 
1431
        siginterrupt = signal.siginterrupt
 
1432
    except ImportError:
 
1433
        # This python implementation doesn't provide signal support, hence no
 
1434
        # handler exists
 
1435
        return None
 
1436
    except AttributeError:
 
1437
        # siginterrupt doesn't exist on this platform, or for this version
 
1438
        # of Python.
 
1439
        siginterrupt = lambda signum, flag: None
 
1440
    if restart_syscall:
 
1441
        def sig_handler(*args):
 
1442
            # Python resets the siginterrupt flag when a signal is
 
1443
            # received.  <http://bugs.python.org/issue8354>
 
1444
            # As a workaround for some cases, set it back the way we want it.
 
1445
            siginterrupt(signum, False)
 
1446
            # Now run the handler function passed to set_signal_handler.
 
1447
            handler(*args)
 
1448
    else:
 
1449
        sig_handler = handler
 
1450
    old_handler = signal.signal(signum, sig_handler)
 
1451
    if restart_syscall:
 
1452
        siginterrupt(signum, False)
 
1453
    return old_handler
 
1454
 
 
1455
 
 
1456
default_terminal_width = 80
 
1457
"""The default terminal width for ttys.
 
1458
 
 
1459
This is defined so that higher levels can share a common fallback value when
 
1460
terminal_width() returns None.
 
1461
"""
 
1462
 
 
1463
# Keep some state so that terminal_width can detect if _terminal_size has
 
1464
# returned a different size since the process started.  See docstring and
 
1465
# comments of terminal_width for details.
 
1466
# _terminal_size_state has 3 possible values: no_data, unchanged, and changed.
 
1467
_terminal_size_state = 'no_data'
 
1468
_first_terminal_size = None
 
1469
 
969
1470
def terminal_width():
970
 
    """Return estimated terminal width."""
971
 
    if sys.platform == 'win32':
972
 
        return win32utils.get_console_size()[0]
973
 
    width = 0
 
1471
    """Return terminal width.
 
1472
 
 
1473
    None is returned if the width can't established precisely.
 
1474
 
 
1475
    The rules are:
 
1476
    - if BZR_COLUMNS is set, returns its value
 
1477
    - if there is no controlling terminal, returns None
 
1478
    - query the OS, if the queried size has changed since the last query,
 
1479
      return its value,
 
1480
    - if COLUMNS is set, returns its value,
 
1481
    - if the OS has a value (even though it's never changed), return its value.
 
1482
 
 
1483
    From there, we need to query the OS to get the size of the controlling
 
1484
    terminal.
 
1485
 
 
1486
    On Unices we query the OS by:
 
1487
    - get termios.TIOCGWINSZ
 
1488
    - if an error occurs or a negative value is obtained, returns None
 
1489
 
 
1490
    On Windows we query the OS by:
 
1491
    - win32utils.get_console_size() decides,
 
1492
    - returns None on error (provided default value)
 
1493
    """
 
1494
    # Note to implementors: if changing the rules for determining the width,
 
1495
    # make sure you've considered the behaviour in these cases:
 
1496
    #  - M-x shell in emacs, where $COLUMNS is set and TIOCGWINSZ returns 0,0.
 
1497
    #  - bzr log | less, in bash, where $COLUMNS not set and TIOCGWINSZ returns
 
1498
    #    0,0.
 
1499
    #  - (add more interesting cases here, if you find any)
 
1500
    # Some programs implement "Use $COLUMNS (if set) until SIGWINCH occurs",
 
1501
    # but we don't want to register a signal handler because it is impossible
 
1502
    # to do so without risking EINTR errors in Python <= 2.6.5 (see
 
1503
    # <http://bugs.python.org/issue8354>).  Instead we check TIOCGWINSZ every
 
1504
    # time so we can notice if the reported size has changed, which should have
 
1505
    # a similar effect.
 
1506
 
 
1507
    # If BZR_COLUMNS is set, take it, user is always right
 
1508
    # Except if they specified 0 in which case, impose no limit here
 
1509
    try:
 
1510
        width = int(os.environ['BZR_COLUMNS'])
 
1511
    except (KeyError, ValueError):
 
1512
        width = None
 
1513
    if width is not None:
 
1514
        if width > 0:
 
1515
            return width
 
1516
        else:
 
1517
            return None
 
1518
 
 
1519
    isatty = getattr(sys.stdout, 'isatty', None)
 
1520
    if isatty is None or not isatty():
 
1521
        # Don't guess, setting BZR_COLUMNS is the recommended way to override.
 
1522
        return None
 
1523
 
 
1524
    # Query the OS
 
1525
    width, height = os_size = _terminal_size(None, None)
 
1526
    global _first_terminal_size, _terminal_size_state
 
1527
    if _terminal_size_state == 'no_data':
 
1528
        _first_terminal_size = os_size
 
1529
        _terminal_size_state = 'unchanged'
 
1530
    elif (_terminal_size_state == 'unchanged' and
 
1531
          _first_terminal_size != os_size):
 
1532
        _terminal_size_state = 'changed'
 
1533
 
 
1534
    # If the OS claims to know how wide the terminal is, and this value has
 
1535
    # ever changed, use that.
 
1536
    if _terminal_size_state == 'changed':
 
1537
        if width is not None and width > 0:
 
1538
            return width
 
1539
 
 
1540
    # If COLUMNS is set, use it.
 
1541
    try:
 
1542
        return int(os.environ['COLUMNS'])
 
1543
    except (KeyError, ValueError):
 
1544
        pass
 
1545
 
 
1546
    # Finally, use an unchanged size from the OS, if we have one.
 
1547
    if _terminal_size_state == 'unchanged':
 
1548
        if width is not None and width > 0:
 
1549
            return width
 
1550
 
 
1551
    # The width could not be determined.
 
1552
    return None
 
1553
 
 
1554
 
 
1555
def _win32_terminal_size(width, height):
 
1556
    width, height = win32utils.get_console_size(defaultx=width, defaulty=height)
 
1557
    return width, height
 
1558
 
 
1559
 
 
1560
def _ioctl_terminal_size(width, height):
974
1561
    try:
975
1562
        import struct, fcntl, termios
976
1563
        s = struct.pack('HHHH', 0, 0, 0, 0)
977
1564
        x = fcntl.ioctl(1, termios.TIOCGWINSZ, s)
978
 
        width = struct.unpack('HHHH', x)[1]
979
 
    except IOError:
 
1565
        height, width = struct.unpack('HHHH', x)[0:2]
 
1566
    except (IOError, AttributeError):
980
1567
        pass
981
 
    if width <= 0:
982
 
        try:
983
 
            width = int(os.environ['COLUMNS'])
984
 
        except:
985
 
            pass
986
 
    if width <= 0:
987
 
        width = 80
988
 
 
989
 
    return width
 
1568
    return width, height
 
1569
 
 
1570
_terminal_size = None
 
1571
"""Returns the terminal size as (width, height).
 
1572
 
 
1573
:param width: Default value for width.
 
1574
:param height: Default value for height.
 
1575
 
 
1576
This is defined specifically for each OS and query the size of the controlling
 
1577
terminal. If any error occurs, the provided default values should be returned.
 
1578
"""
 
1579
if sys.platform == 'win32':
 
1580
    _terminal_size = _win32_terminal_size
 
1581
else:
 
1582
    _terminal_size = _ioctl_terminal_size
990
1583
 
991
1584
 
992
1585
def supports_executable():
1020
1613
            del os.environ[env_variable]
1021
1614
    else:
1022
1615
        if isinstance(value, unicode):
1023
 
            value = value.encode(bzrlib.user_encoding)
 
1616
            value = value.encode(get_user_encoding())
1024
1617
        os.environ[env_variable] = value
1025
1618
    return orig_val
1026
1619
 
1029
1622
 
1030
1623
 
1031
1624
def check_legal_path(path):
1032
 
    """Check whether the supplied path is legal.  
 
1625
    """Check whether the supplied path is legal.
1033
1626
    This is only required on Windows, so we don't test on other platforms
1034
1627
    right now.
1035
1628
    """
1039
1632
        raise errors.IllegalPath(path)
1040
1633
 
1041
1634
 
 
1635
_WIN32_ERROR_DIRECTORY = 267 # Similar to errno.ENOTDIR
 
1636
 
 
1637
def _is_error_enotdir(e):
 
1638
    """Check if this exception represents ENOTDIR.
 
1639
 
 
1640
    Unfortunately, python is very inconsistent about the exception
 
1641
    here. The cases are:
 
1642
      1) Linux, Mac OSX all versions seem to set errno == ENOTDIR
 
1643
      2) Windows, Python2.4, uses errno == ERROR_DIRECTORY (267)
 
1644
         which is the windows error code.
 
1645
      3) Windows, Python2.5 uses errno == EINVAL and
 
1646
         winerror == ERROR_DIRECTORY
 
1647
 
 
1648
    :param e: An Exception object (expected to be OSError with an errno
 
1649
        attribute, but we should be able to cope with anything)
 
1650
    :return: True if this represents an ENOTDIR error. False otherwise.
 
1651
    """
 
1652
    en = getattr(e, 'errno', None)
 
1653
    if (en == errno.ENOTDIR
 
1654
        or (sys.platform == 'win32'
 
1655
            and (en == _WIN32_ERROR_DIRECTORY
 
1656
                 or (en == errno.EINVAL
 
1657
                     and getattr(e, 'winerror', None) == _WIN32_ERROR_DIRECTORY)
 
1658
        ))):
 
1659
        return True
 
1660
    return False
 
1661
 
 
1662
 
1042
1663
def walkdirs(top, prefix=""):
1043
1664
    """Yield data about all the directories in a tree.
1044
 
    
 
1665
 
1045
1666
    This yields all the data about the contents of a directory at a time.
1046
1667
    After each directory has been yielded, if the caller has mutated the list
1047
1668
    to exclude some directories, they are then not descended into.
1048
 
    
 
1669
 
1049
1670
    The data yielded is of the form:
1050
1671
    ((directory-relpath, directory-path-from-top),
1051
 
    [(relpath, basename, kind, lstat), ...]),
 
1672
    [(relpath, basename, kind, lstat, path-from-top), ...]),
1052
1673
     - directory-relpath is the relative path of the directory being returned
1053
1674
       with respect to top. prefix is prepended to this.
1054
 
     - directory-path-from-root is the path including top for this directory. 
 
1675
     - directory-path-from-root is the path including top for this directory.
1055
1676
       It is suitable for use with os functions.
1056
1677
     - relpath is the relative path within the subtree being walked.
1057
1678
     - basename is the basename of the path
1059
1680
       present within the tree - but it may be recorded as versioned. See
1060
1681
       versioned_kind.
1061
1682
     - lstat is the stat data *if* the file was statted.
1062
 
     - planned, not implemented: 
 
1683
     - planned, not implemented:
1063
1684
       path_from_tree_root is the path from the root of the tree.
1064
1685
 
1065
 
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This 
 
1686
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This
1066
1687
        allows one to walk a subtree but get paths that are relative to a tree
1067
1688
        rooted higher up.
1068
1689
    :return: an iterator over the dirs.
1069
1690
    """
1070
1691
    #TODO there is a bit of a smell where the results of the directory-
1071
 
    # summary in this, and the path from the root, may not agree 
 
1692
    # summary in this, and the path from the root, may not agree
1072
1693
    # depending on top and prefix - i.e. ./foo and foo as a pair leads to
1073
1694
    # potentially confusing output. We should make this more robust - but
1074
1695
    # not at a speed cost. RBC 20060731
1075
 
    lstat = os.lstat
1076
 
    pending = []
 
1696
    _lstat = os.lstat
1077
1697
    _directory = _directory_kind
1078
1698
    _listdir = os.listdir
1079
 
    pending = [(prefix, "", _directory, None, top)]
 
1699
    _kind_from_mode = file_kind_from_stat_mode
 
1700
    pending = [(safe_unicode(prefix), "", _directory, None, safe_unicode(top))]
1080
1701
    while pending:
1081
 
        dirblock = []
1082
 
        currentdir = pending.pop()
1083
1702
        # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
1084
 
        top = currentdir[4]
1085
 
        if currentdir[0]:
1086
 
            relroot = currentdir[0] + '/'
1087
 
        else:
1088
 
            relroot = ""
 
1703
        relroot, _, _, _, top = pending.pop()
 
1704
        if relroot:
 
1705
            relprefix = relroot + u'/'
 
1706
        else:
 
1707
            relprefix = ''
 
1708
        top_slash = top + u'/'
 
1709
 
 
1710
        dirblock = []
 
1711
        append = dirblock.append
 
1712
        try:
 
1713
            names = sorted(map(decode_filename, _listdir(top)))
 
1714
        except OSError, e:
 
1715
            if not _is_error_enotdir(e):
 
1716
                raise
 
1717
        else:
 
1718
            for name in names:
 
1719
                abspath = top_slash + name
 
1720
                statvalue = _lstat(abspath)
 
1721
                kind = _kind_from_mode(statvalue.st_mode)
 
1722
                append((relprefix + name, name, kind, statvalue, abspath))
 
1723
        yield (relroot, top), dirblock
 
1724
 
 
1725
        # push the user specified dirs from dirblock
 
1726
        pending.extend(d for d in reversed(dirblock) if d[2] == _directory)
 
1727
 
 
1728
 
 
1729
class DirReader(object):
 
1730
    """An interface for reading directories."""
 
1731
 
 
1732
    def top_prefix_to_starting_dir(self, top, prefix=""):
 
1733
        """Converts top and prefix to a starting dir entry
 
1734
 
 
1735
        :param top: A utf8 path
 
1736
        :param prefix: An optional utf8 path to prefix output relative paths
 
1737
            with.
 
1738
        :return: A tuple starting with prefix, and ending with the native
 
1739
            encoding of top.
 
1740
        """
 
1741
        raise NotImplementedError(self.top_prefix_to_starting_dir)
 
1742
 
 
1743
    def read_dir(self, prefix, top):
 
1744
        """Read a specific dir.
 
1745
 
 
1746
        :param prefix: A utf8 prefix to be preprended to the path basenames.
 
1747
        :param top: A natively encoded path to read.
 
1748
        :return: A list of the directories contents. Each item contains:
 
1749
            (utf8_relpath, utf8_name, kind, lstatvalue, native_abspath)
 
1750
        """
 
1751
        raise NotImplementedError(self.read_dir)
 
1752
 
 
1753
 
 
1754
_selected_dir_reader = None
 
1755
 
 
1756
 
 
1757
def _walkdirs_utf8(top, prefix=""):
 
1758
    """Yield data about all the directories in a tree.
 
1759
 
 
1760
    This yields the same information as walkdirs() only each entry is yielded
 
1761
    in utf-8. On platforms which have a filesystem encoding of utf8 the paths
 
1762
    are returned as exact byte-strings.
 
1763
 
 
1764
    :return: yields a tuple of (dir_info, [file_info])
 
1765
        dir_info is (utf8_relpath, path-from-top)
 
1766
        file_info is (utf8_relpath, utf8_name, kind, lstat, path-from-top)
 
1767
        if top is an absolute path, path-from-top is also an absolute path.
 
1768
        path-from-top might be unicode or utf8, but it is the correct path to
 
1769
        pass to os functions to affect the file in question. (such as os.lstat)
 
1770
    """
 
1771
    global _selected_dir_reader
 
1772
    if _selected_dir_reader is None:
 
1773
        if sys.platform == "win32" and win32utils.winver == 'Windows NT':
 
1774
            # Win98 doesn't have unicode apis like FindFirstFileW
 
1775
            # TODO: We possibly could support Win98 by falling back to the
 
1776
            #       original FindFirstFile, and using TCHAR instead of WCHAR,
 
1777
            #       but that gets a bit tricky, and requires custom compiling
 
1778
            #       for win98 anyway.
 
1779
            try:
 
1780
                from bzrlib._walkdirs_win32 import Win32ReadDir
 
1781
                _selected_dir_reader = Win32ReadDir()
 
1782
            except ImportError:
 
1783
                pass
 
1784
        elif _fs_enc in ('utf-8', 'ascii'):
 
1785
            try:
 
1786
                from bzrlib._readdir_pyx import UTF8DirReader
 
1787
                _selected_dir_reader = UTF8DirReader()
 
1788
            except ImportError, e:
 
1789
                failed_to_load_extension(e)
 
1790
                pass
 
1791
 
 
1792
    if _selected_dir_reader is None:
 
1793
        # Fallback to the python version
 
1794
        _selected_dir_reader = UnicodeDirReader()
 
1795
 
 
1796
    # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
 
1797
    # But we don't actually uses 1-3 in pending, so set them to None
 
1798
    pending = [[_selected_dir_reader.top_prefix_to_starting_dir(top, prefix)]]
 
1799
    read_dir = _selected_dir_reader.read_dir
 
1800
    _directory = _directory_kind
 
1801
    while pending:
 
1802
        relroot, _, _, _, top = pending[-1].pop()
 
1803
        if not pending[-1]:
 
1804
            pending.pop()
 
1805
        dirblock = sorted(read_dir(relroot, top))
 
1806
        yield (relroot, top), dirblock
 
1807
        # push the user specified dirs from dirblock
 
1808
        next = [d for d in reversed(dirblock) if d[2] == _directory]
 
1809
        if next:
 
1810
            pending.append(next)
 
1811
 
 
1812
 
 
1813
class UnicodeDirReader(DirReader):
 
1814
    """A dir reader for non-utf8 file systems, which transcodes."""
 
1815
 
 
1816
    __slots__ = ['_utf8_encode']
 
1817
 
 
1818
    def __init__(self):
 
1819
        self._utf8_encode = codecs.getencoder('utf8')
 
1820
 
 
1821
    def top_prefix_to_starting_dir(self, top, prefix=""):
 
1822
        """See DirReader.top_prefix_to_starting_dir."""
 
1823
        return (safe_utf8(prefix), None, None, None, safe_unicode(top))
 
1824
 
 
1825
    def read_dir(self, prefix, top):
 
1826
        """Read a single directory from a non-utf8 file system.
 
1827
 
 
1828
        top, and the abspath element in the output are unicode, all other paths
 
1829
        are utf8. Local disk IO is done via unicode calls to listdir etc.
 
1830
 
 
1831
        This is currently the fallback code path when the filesystem encoding is
 
1832
        not UTF-8. It may be better to implement an alternative so that we can
 
1833
        safely handle paths that are not properly decodable in the current
 
1834
        encoding.
 
1835
 
 
1836
        See DirReader.read_dir for details.
 
1837
        """
 
1838
        _utf8_encode = self._utf8_encode
 
1839
        _lstat = os.lstat
 
1840
        _listdir = os.listdir
 
1841
        _kind_from_mode = file_kind_from_stat_mode
 
1842
 
 
1843
        if prefix:
 
1844
            relprefix = prefix + '/'
 
1845
        else:
 
1846
            relprefix = ''
 
1847
        top_slash = top + u'/'
 
1848
 
 
1849
        dirblock = []
 
1850
        append = dirblock.append
1089
1851
        for name in sorted(_listdir(top)):
1090
 
            abspath = top + '/' + name
1091
 
            statvalue = lstat(abspath)
1092
 
            dirblock.append((relroot + name, name,
1093
 
                file_kind_from_stat_mode(statvalue.st_mode),
1094
 
                statvalue, abspath))
1095
 
        yield (currentdir[0], top), dirblock
1096
 
        # push the user specified dirs from dirblock
1097
 
        for dir in reversed(dirblock):
1098
 
            if dir[2] == _directory:
1099
 
                pending.append(dir)
 
1852
            try:
 
1853
                name_utf8 = _utf8_encode(name)[0]
 
1854
            except UnicodeDecodeError:
 
1855
                raise errors.BadFilenameEncoding(
 
1856
                    _utf8_encode(relprefix)[0] + name, _fs_enc)
 
1857
            abspath = top_slash + name
 
1858
            statvalue = _lstat(abspath)
 
1859
            kind = _kind_from_mode(statvalue.st_mode)
 
1860
            append((relprefix + name_utf8, name_utf8, kind, statvalue, abspath))
 
1861
        return dirblock
1100
1862
 
1101
1863
 
1102
1864
def copy_tree(from_path, to_path, handlers={}):
1103
1865
    """Copy all of the entries in from_path into to_path.
1104
1866
 
1105
 
    :param from_path: The base directory to copy. 
 
1867
    :param from_path: The base directory to copy.
1106
1868
    :param to_path: The target directory. If it does not exist, it will
1107
1869
        be created.
1108
1870
    :param handlers: A dictionary of functions, which takes a source and
1141
1903
            real_handlers[kind](abspath, relpath)
1142
1904
 
1143
1905
 
 
1906
def copy_ownership_from_path(dst, src=None):
 
1907
    """Copy usr/grp ownership from src file/dir to dst file/dir.
 
1908
 
 
1909
    If src is None, the containing directory is used as source. If chown
 
1910
    fails, the error is ignored and a warning is printed.
 
1911
    """
 
1912
    chown = getattr(os, 'chown', None)
 
1913
    if chown is None:
 
1914
        return
 
1915
 
 
1916
    if src == None:
 
1917
        src = os.path.dirname(dst)
 
1918
        if src == '':
 
1919
            src = '.'
 
1920
 
 
1921
    try:
 
1922
        s = os.stat(src)
 
1923
        chown(dst, s.st_uid, s.st_gid)
 
1924
    except OSError, e:
 
1925
        trace.warning(
 
1926
            'Unable to copy ownership from "%s" to "%s". '
 
1927
            'You may want to set it manually.', src, dst)
 
1928
        trace.log_exception_quietly()
 
1929
 
 
1930
 
1144
1931
def path_prefix_key(path):
1145
1932
    """Generate a prefix-order path key for path.
1146
1933
 
1177
1964
        return _cached_user_encoding
1178
1965
 
1179
1966
    if sys.platform == 'darwin':
1180
 
        # work around egregious python 2.4 bug
 
1967
        # python locale.getpreferredencoding() always return
 
1968
        # 'mac-roman' on darwin. That's a lie.
1181
1969
        sys.platform = 'posix'
1182
1970
        try:
 
1971
            if os.environ.get('LANG', None) is None:
 
1972
                # If LANG is not set, we end up with 'ascii', which is bad
 
1973
                # ('mac-roman' is more than ascii), so we set a default which
 
1974
                # will give us UTF-8 (which appears to work in all cases on
 
1975
                # OSX). Users are still free to override LANG of course, as
 
1976
                # long as it give us something meaningful. This work-around
 
1977
                # *may* not be needed with python 3k and/or OSX 10.5, but will
 
1978
                # work with them too -- vila 20080908
 
1979
                os.environ['LANG'] = 'en_US.UTF-8'
1183
1980
            import locale
1184
1981
        finally:
1185
1982
            sys.platform = 'darwin'
1200
1997
    # Windows returns 'cp0' to indicate there is no code page. So we'll just
1201
1998
    # treat that as ASCII, and not support printing unicode characters to the
1202
1999
    # console.
1203
 
    if user_encoding in (None, 'cp0'):
 
2000
    #
 
2001
    # For python scripts run under vim, we get '', so also treat that as ASCII
 
2002
    if user_encoding in (None, 'cp0', ''):
1204
2003
        user_encoding = 'ascii'
1205
2004
    else:
1206
2005
        # check encoding
1220
2019
    return user_encoding
1221
2020
 
1222
2021
 
1223
 
def recv_all(socket, bytes):
 
2022
def get_diff_header_encoding():
 
2023
    return get_terminal_encoding()
 
2024
 
 
2025
 
 
2026
_message_encoding = None
 
2027
 
 
2028
 
 
2029
def get_message_encoding():
 
2030
    """Return the encoding used for messages
 
2031
 
 
2032
    While the message encoding is a general setting it should usually only be
 
2033
    needed for decoding system error strings such as from OSError instances.
 
2034
    """
 
2035
    global _message_encoding
 
2036
    if _message_encoding is None:
 
2037
        if os.name == "posix":
 
2038
            import locale
 
2039
            # This is a process-global setting that can change, but should in
 
2040
            # general just get set once at process startup then be constant.
 
2041
            _message_encoding = locale.getlocale(locale.LC_MESSAGES)[1]
 
2042
        else:
 
2043
            # On windows want the result of GetACP() which this boils down to.
 
2044
            _message_encoding = get_user_encoding()
 
2045
    return _message_encoding or "ascii"
 
2046
        
 
2047
 
 
2048
def get_host_name():
 
2049
    """Return the current unicode host name.
 
2050
 
 
2051
    This is meant to be used in place of socket.gethostname() because that
 
2052
    behaves inconsistently on different platforms.
 
2053
    """
 
2054
    if sys.platform == "win32":
 
2055
        import win32utils
 
2056
        return win32utils.get_host_name()
 
2057
    else:
 
2058
        import socket
 
2059
        return socket.gethostname().decode(get_user_encoding())
 
2060
 
 
2061
 
 
2062
# We must not read/write any more than 64k at a time from/to a socket so we
 
2063
# don't risk "no buffer space available" errors on some platforms.  Windows in
 
2064
# particular is likely to throw WSAECONNABORTED or WSAENOBUFS if given too much
 
2065
# data at once.
 
2066
MAX_SOCKET_CHUNK = 64 * 1024
 
2067
 
 
2068
_end_of_stream_errors = [errno.ECONNRESET]
 
2069
for _eno in ['WSAECONNRESET', 'WSAECONNABORTED']:
 
2070
    _eno = getattr(errno, _eno, None)
 
2071
    if _eno is not None:
 
2072
        _end_of_stream_errors.append(_eno)
 
2073
del _eno
 
2074
 
 
2075
 
 
2076
def read_bytes_from_socket(sock, report_activity=None,
 
2077
        max_read_size=MAX_SOCKET_CHUNK):
 
2078
    """Read up to max_read_size of bytes from sock and notify of progress.
 
2079
 
 
2080
    Translates "Connection reset by peer" into file-like EOF (return an
 
2081
    empty string rather than raise an error), and repeats the recv if
 
2082
    interrupted by a signal.
 
2083
    """
 
2084
    while 1:
 
2085
        try:
 
2086
            bytes = sock.recv(max_read_size)
 
2087
        except socket.error, e:
 
2088
            eno = e.args[0]
 
2089
            if eno in _end_of_stream_errors:
 
2090
                # The connection was closed by the other side.  Callers expect
 
2091
                # an empty string to signal end-of-stream.
 
2092
                return ""
 
2093
            elif eno == errno.EINTR:
 
2094
                # Retry the interrupted recv.
 
2095
                continue
 
2096
            raise
 
2097
        else:
 
2098
            if report_activity is not None:
 
2099
                report_activity(len(bytes), 'read')
 
2100
            return bytes
 
2101
 
 
2102
 
 
2103
def recv_all(socket, count):
1224
2104
    """Receive an exact number of bytes.
1225
2105
 
1226
2106
    Regular Socket.recv() may return less than the requested number of bytes,
1227
 
    dependning on what's in the OS buffer.  MSG_WAITALL is not available
 
2107
    depending on what's in the OS buffer.  MSG_WAITALL is not available
1228
2108
    on all platforms, but this should work everywhere.  This will return
1229
2109
    less than the requested amount if the remote end closes.
1230
2110
 
1231
2111
    This isn't optimized and is intended mostly for use in testing.
1232
2112
    """
1233
2113
    b = ''
1234
 
    while len(b) < bytes:
1235
 
        new = socket.recv(bytes - len(b))
 
2114
    while len(b) < count:
 
2115
        new = read_bytes_from_socket(socket, None, count - len(b))
1236
2116
        if new == '':
1237
2117
            break # eof
1238
2118
        b += new
1239
2119
    return b
1240
2120
 
 
2121
 
 
2122
def send_all(sock, bytes, report_activity=None):
 
2123
    """Send all bytes on a socket.
 
2124
 
 
2125
    Breaks large blocks in smaller chunks to avoid buffering limitations on
 
2126
    some platforms, and catches EINTR which may be thrown if the send is
 
2127
    interrupted by a signal.
 
2128
 
 
2129
    This is preferred to socket.sendall(), because it avoids portability bugs
 
2130
    and provides activity reporting.
 
2131
 
 
2132
    :param report_activity: Call this as bytes are read, see
 
2133
        Transport._report_activity
 
2134
    """
 
2135
    sent_total = 0
 
2136
    byte_count = len(bytes)
 
2137
    while sent_total < byte_count:
 
2138
        try:
 
2139
            sent = sock.send(buffer(bytes, sent_total, MAX_SOCKET_CHUNK))
 
2140
        except socket.error, e:
 
2141
            if e.args[0] != errno.EINTR:
 
2142
                raise
 
2143
        else:
 
2144
            sent_total += sent
 
2145
            report_activity(sent, 'write')
 
2146
 
 
2147
 
 
2148
def connect_socket(address):
 
2149
    # Slight variation of the socket.create_connection() function (provided by
 
2150
    # python-2.6) that can fail if getaddrinfo returns an empty list. We also
 
2151
    # provide it for previous python versions. Also, we don't use the timeout
 
2152
    # parameter (provided by the python implementation) so we don't implement
 
2153
    # it either).
 
2154
    err = socket.error('getaddrinfo returns an empty list')
 
2155
    host, port = address
 
2156
    for res in socket.getaddrinfo(host, port, 0, socket.SOCK_STREAM):
 
2157
        af, socktype, proto, canonname, sa = res
 
2158
        sock = None
 
2159
        try:
 
2160
            sock = socket.socket(af, socktype, proto)
 
2161
            sock.connect(sa)
 
2162
            return sock
 
2163
 
 
2164
        except socket.error, err:
 
2165
            # 'err' is now the most recent error
 
2166
            if sock is not None:
 
2167
                sock.close()
 
2168
    raise err
 
2169
 
 
2170
 
1241
2171
def dereference_path(path):
1242
2172
    """Determine the real path to a file.
1243
2173
 
1250
2180
    # The pathjoin for '.' is a workaround for Python bug #1213894.
1251
2181
    # (initial path components aren't dereferenced)
1252
2182
    return pathjoin(realpath(pathjoin('.', parent)), base)
 
2183
 
 
2184
 
 
2185
def supports_mapi():
 
2186
    """Return True if we can use MAPI to launch a mail client."""
 
2187
    return sys.platform == "win32"
 
2188
 
 
2189
 
 
2190
def resource_string(package, resource_name):
 
2191
    """Load a resource from a package and return it as a string.
 
2192
 
 
2193
    Note: Only packages that start with bzrlib are currently supported.
 
2194
 
 
2195
    This is designed to be a lightweight implementation of resource
 
2196
    loading in a way which is API compatible with the same API from
 
2197
    pkg_resources. See
 
2198
    http://peak.telecommunity.com/DevCenter/PkgResources#basic-resource-access.
 
2199
    If and when pkg_resources becomes a standard library, this routine
 
2200
    can delegate to it.
 
2201
    """
 
2202
    # Check package name is within bzrlib
 
2203
    if package == "bzrlib":
 
2204
        resource_relpath = resource_name
 
2205
    elif package.startswith("bzrlib."):
 
2206
        package = package[len("bzrlib."):].replace('.', os.sep)
 
2207
        resource_relpath = pathjoin(package, resource_name)
 
2208
    else:
 
2209
        raise errors.BzrError('resource package %s not in bzrlib' % package)
 
2210
 
 
2211
    # Map the resource to a file and read its contents
 
2212
    base = dirname(bzrlib.__file__)
 
2213
    if getattr(sys, 'frozen', None):    # bzr.exe
 
2214
        base = abspath(pathjoin(base, '..', '..'))
 
2215
    f = file(pathjoin(base, resource_relpath), "rU")
 
2216
    try:
 
2217
        return f.read()
 
2218
    finally:
 
2219
        f.close()
 
2220
 
 
2221
def file_kind_from_stat_mode_thunk(mode):
 
2222
    global file_kind_from_stat_mode
 
2223
    if file_kind_from_stat_mode is file_kind_from_stat_mode_thunk:
 
2224
        try:
 
2225
            from bzrlib._readdir_pyx import UTF8DirReader
 
2226
            file_kind_from_stat_mode = UTF8DirReader().kind_from_mode
 
2227
        except ImportError, e:
 
2228
            # This is one time where we won't warn that an extension failed to
 
2229
            # load. The extension is never available on Windows anyway.
 
2230
            from bzrlib._readdir_py import (
 
2231
                _kind_from_mode as file_kind_from_stat_mode
 
2232
                )
 
2233
    return file_kind_from_stat_mode(mode)
 
2234
file_kind_from_stat_mode = file_kind_from_stat_mode_thunk
 
2235
 
 
2236
def file_stat(f, _lstat=os.lstat):
 
2237
    try:
 
2238
        # XXX cache?
 
2239
        return _lstat(f)
 
2240
    except OSError, e:
 
2241
        if getattr(e, 'errno', None) in (errno.ENOENT, errno.ENOTDIR):
 
2242
            raise errors.NoSuchFile(f)
 
2243
        raise
 
2244
 
 
2245
def file_kind(f, _lstat=os.lstat):
 
2246
    stat_value = file_stat(f, _lstat)
 
2247
    return file_kind_from_stat_mode(stat_value.st_mode)
 
2248
 
 
2249
def until_no_eintr(f, *a, **kw):
 
2250
    """Run f(*a, **kw), retrying if an EINTR error occurs.
 
2251
 
 
2252
    WARNING: you must be certain that it is safe to retry the call repeatedly
 
2253
    if EINTR does occur.  This is typically only true for low-level operations
 
2254
    like os.read.  If in any doubt, don't use this.
 
2255
 
 
2256
    Keep in mind that this is not a complete solution to EINTR.  There is
 
2257
    probably code in the Python standard library and other dependencies that
 
2258
    may encounter EINTR if a signal arrives (and there is signal handler for
 
2259
    that signal).  So this function can reduce the impact for IO that bzrlib
 
2260
    directly controls, but it is not a complete solution.
 
2261
    """
 
2262
    # Borrowed from Twisted's twisted.python.util.untilConcludes function.
 
2263
    while True:
 
2264
        try:
 
2265
            return f(*a, **kw)
 
2266
        except (IOError, OSError), e:
 
2267
            if e.errno == errno.EINTR:
 
2268
                continue
 
2269
            raise
 
2270
 
 
2271
 
 
2272
@deprecated_function(deprecated_in((2, 2, 0)))
 
2273
def re_compile_checked(re_string, flags=0, where=""):
 
2274
    """Return a compiled re, or raise a sensible error.
 
2275
 
 
2276
    This should only be used when compiling user-supplied REs.
 
2277
 
 
2278
    :param re_string: Text form of regular expression.
 
2279
    :param flags: eg re.IGNORECASE
 
2280
    :param where: Message explaining to the user the context where
 
2281
        it occurred, eg 'log search filter'.
 
2282
    """
 
2283
    # from https://bugs.launchpad.net/bzr/+bug/251352
 
2284
    try:
 
2285
        re_obj = re.compile(re_string, flags)
 
2286
        re_obj.search("")
 
2287
        return re_obj
 
2288
    except errors.InvalidPattern, e:
 
2289
        if where:
 
2290
            where = ' in ' + where
 
2291
        # despite the name 'error' is a type
 
2292
        raise errors.BzrCommandError('Invalid regular expression%s: %s'
 
2293
            % (where, e.msg))
 
2294
 
 
2295
 
 
2296
if sys.platform == "win32":
 
2297
    import msvcrt
 
2298
    def getchar():
 
2299
        return msvcrt.getch()
 
2300
else:
 
2301
    import tty
 
2302
    import termios
 
2303
    def getchar():
 
2304
        fd = sys.stdin.fileno()
 
2305
        settings = termios.tcgetattr(fd)
 
2306
        try:
 
2307
            tty.setraw(fd)
 
2308
            ch = sys.stdin.read(1)
 
2309
        finally:
 
2310
            termios.tcsetattr(fd, termios.TCSADRAIN, settings)
 
2311
        return ch
 
2312
 
 
2313
if sys.platform.startswith('linux'):
 
2314
    def _local_concurrency():
 
2315
        try:
 
2316
            return os.sysconf('SC_NPROCESSORS_ONLN')
 
2317
        except (ValueError, OSError, AttributeError):
 
2318
            return None
 
2319
elif sys.platform == 'darwin':
 
2320
    def _local_concurrency():
 
2321
        return subprocess.Popen(['sysctl', '-n', 'hw.availcpu'],
 
2322
                                stdout=subprocess.PIPE).communicate()[0]
 
2323
elif "bsd" in sys.platform:
 
2324
    def _local_concurrency():
 
2325
        return subprocess.Popen(['sysctl', '-n', 'hw.ncpu'],
 
2326
                                stdout=subprocess.PIPE).communicate()[0]
 
2327
elif sys.platform == 'sunos5':
 
2328
    def _local_concurrency():
 
2329
        return subprocess.Popen(['psrinfo', '-p',],
 
2330
                                stdout=subprocess.PIPE).communicate()[0]
 
2331
elif sys.platform == "win32":
 
2332
    def _local_concurrency():
 
2333
        # This appears to return the number of cores.
 
2334
        return os.environ.get('NUMBER_OF_PROCESSORS')
 
2335
else:
 
2336
    def _local_concurrency():
 
2337
        # Who knows ?
 
2338
        return None
 
2339
 
 
2340
 
 
2341
_cached_local_concurrency = None
 
2342
 
 
2343
def local_concurrency(use_cache=True):
 
2344
    """Return how many processes can be run concurrently.
 
2345
 
 
2346
    Rely on platform specific implementations and default to 1 (one) if
 
2347
    anything goes wrong.
 
2348
    """
 
2349
    global _cached_local_concurrency
 
2350
 
 
2351
    if _cached_local_concurrency is not None and use_cache:
 
2352
        return _cached_local_concurrency
 
2353
 
 
2354
    concurrency = os.environ.get('BZR_CONCURRENCY', None)
 
2355
    if concurrency is None:
 
2356
        try:
 
2357
            import multiprocessing
 
2358
            concurrency = multiprocessing.cpu_count()
 
2359
        except (ImportError, NotImplementedError):
 
2360
            # multiprocessing is only available on Python >= 2.6
 
2361
            # and multiprocessing.cpu_count() isn't implemented on all
 
2362
            # platforms
 
2363
            try:
 
2364
                concurrency = _local_concurrency()
 
2365
            except (OSError, IOError):
 
2366
                pass
 
2367
    try:
 
2368
        concurrency = int(concurrency)
 
2369
    except (TypeError, ValueError):
 
2370
        concurrency = 1
 
2371
    if use_cache:
 
2372
        _cached_concurrency = concurrency
 
2373
    return concurrency
 
2374
 
 
2375
 
 
2376
class UnicodeOrBytesToBytesWriter(codecs.StreamWriter):
 
2377
    """A stream writer that doesn't decode str arguments."""
 
2378
 
 
2379
    def __init__(self, encode, stream, errors='strict'):
 
2380
        codecs.StreamWriter.__init__(self, stream, errors)
 
2381
        self.encode = encode
 
2382
 
 
2383
    def write(self, object):
 
2384
        if type(object) is str:
 
2385
            self.stream.write(object)
 
2386
        else:
 
2387
            data, _ = self.encode(object, self.errors)
 
2388
            self.stream.write(data)
 
2389
 
 
2390
if sys.platform == 'win32':
 
2391
    def open_file(filename, mode='r', bufsize=-1):
 
2392
        """This function is used to override the ``open`` builtin.
 
2393
 
 
2394
        But it uses O_NOINHERIT flag so the file handle is not inherited by
 
2395
        child processes.  Deleting or renaming a closed file opened with this
 
2396
        function is not blocking child processes.
 
2397
        """
 
2398
        writing = 'w' in mode
 
2399
        appending = 'a' in mode
 
2400
        updating = '+' in mode
 
2401
        binary = 'b' in mode
 
2402
 
 
2403
        flags = O_NOINHERIT
 
2404
        # see http://msdn.microsoft.com/en-us/library/yeby3zcb%28VS.71%29.aspx
 
2405
        # for flags for each modes.
 
2406
        if binary:
 
2407
            flags |= O_BINARY
 
2408
        else:
 
2409
            flags |= O_TEXT
 
2410
 
 
2411
        if writing:
 
2412
            if updating:
 
2413
                flags |= os.O_RDWR
 
2414
            else:
 
2415
                flags |= os.O_WRONLY
 
2416
            flags |= os.O_CREAT | os.O_TRUNC
 
2417
        elif appending:
 
2418
            if updating:
 
2419
                flags |= os.O_RDWR
 
2420
            else:
 
2421
                flags |= os.O_WRONLY
 
2422
            flags |= os.O_CREAT | os.O_APPEND
 
2423
        else: #reading
 
2424
            if updating:
 
2425
                flags |= os.O_RDWR
 
2426
            else:
 
2427
                flags |= os.O_RDONLY
 
2428
 
 
2429
        return os.fdopen(os.open(filename, flags), mode, bufsize)
 
2430
else:
 
2431
    open_file = open
 
2432
 
 
2433
 
 
2434
def getuser_unicode():
 
2435
    """Return the username as unicode.
 
2436
    """
 
2437
    try:
 
2438
        user_encoding = get_user_encoding()
 
2439
        username = getpass.getuser().decode(user_encoding)
 
2440
    except UnicodeDecodeError:
 
2441
        raise errors.BzrError("Can't decode username as %s." % \
 
2442
                user_encoding)
 
2443
    except ImportError, e:
 
2444
        if sys.platform != 'win32':
 
2445
            raise
 
2446
        if str(e) != 'No module named pwd':
 
2447
            raise
 
2448
        # https://bugs.launchpad.net/bzr/+bug/660174
 
2449
        # getpass.getuser() is unable to return username on Windows
 
2450
        # if there is no USERNAME environment variable set.
 
2451
        # That could be true if bzr is running as a service,
 
2452
        # e.g. running `bzr serve` as a service on Windows.
 
2453
        # We should not fail with traceback in this case.
 
2454
        username = u'UNKNOWN'
 
2455
    return username
 
2456
 
 
2457
 
 
2458
def available_backup_name(base, exists):
 
2459
    """Find a non-existing backup file name.
 
2460
 
 
2461
    This will *not* create anything, this only return a 'free' entry.  This
 
2462
    should be used for checking names in a directory below a locked
 
2463
    tree/branch/repo to avoid race conditions. This is LBYL (Look Before You
 
2464
    Leap) and generally discouraged.
 
2465
 
 
2466
    :param base: The base name.
 
2467
 
 
2468
    :param exists: A callable returning True if the path parameter exists.
 
2469
    """
 
2470
    counter = 1
 
2471
    name = "%s.~%d~" % (base, counter)
 
2472
    while exists(name):
 
2473
        counter += 1
 
2474
        name = "%s.~%d~" % (base, counter)
 
2475
    return name
 
2476
 
 
2477
 
 
2478
def set_fd_cloexec(fd):
 
2479
    """Set a Unix file descriptor's FD_CLOEXEC flag.  Do nothing if platform
 
2480
    support for this is not available.
 
2481
    """
 
2482
    try:
 
2483
        import fcntl
 
2484
        old = fcntl.fcntl(fd, fcntl.F_GETFD)
 
2485
        fcntl.fcntl(fd, fcntl.F_SETFD, old | fcntl.FD_CLOEXEC)
 
2486
    except (ImportError, AttributeError):
 
2487
        # Either the fcntl module or specific constants are not present
 
2488
        pass
 
2489
 
 
2490
 
 
2491
def find_executable_on_path(name):
 
2492
    """Finds an executable on the PATH.
 
2493
    
 
2494
    On Windows, this will try to append each extension in the PATHEXT
 
2495
    environment variable to the name, if it cannot be found with the name
 
2496
    as given.
 
2497
    
 
2498
    :param name: The base name of the executable.
 
2499
    :return: The path to the executable found or None.
 
2500
    """
 
2501
    path = os.environ.get('PATH')
 
2502
    if path is None:
 
2503
        return None
 
2504
    path = path.split(os.pathsep)
 
2505
    if sys.platform == 'win32':
 
2506
        exts = os.environ.get('PATHEXT', '').split(os.pathsep)
 
2507
        exts = [ext.lower() for ext in exts]
 
2508
        base, ext = os.path.splitext(name)
 
2509
        if ext != '':
 
2510
            if ext.lower() not in exts:
 
2511
                return None
 
2512
            name = base
 
2513
            exts = [ext]
 
2514
    else:
 
2515
        exts = ['']
 
2516
    for ext in exts:
 
2517
        for d in path:
 
2518
            f = os.path.join(d, name) + ext
 
2519
            if os.access(f, os.X_OK):
 
2520
                return f
 
2521
    return None
 
2522
 
 
2523
 
 
2524
def _posix_is_local_pid_dead(pid):
 
2525
    """True if pid doesn't correspond to live process on this machine"""
 
2526
    try:
 
2527
        # Special meaning of unix kill: just check if it's there.
 
2528
        os.kill(pid, 0)
 
2529
    except OSError, e:
 
2530
        if e.errno == errno.ESRCH:
 
2531
            # On this machine, and really not found: as sure as we can be
 
2532
            # that it's dead.
 
2533
            return True
 
2534
        elif e.errno == errno.EPERM:
 
2535
            # exists, though not ours
 
2536
            return False
 
2537
        else:
 
2538
            mutter("os.kill(%d, 0) failed: %s" % (pid, e))
 
2539
            # Don't really know.
 
2540
            return False
 
2541
    else:
 
2542
        # Exists and our process: not dead.
 
2543
        return False
 
2544
 
 
2545
if sys.platform == "win32":
 
2546
    is_local_pid_dead = win32utils.is_local_pid_dead
 
2547
else:
 
2548
    is_local_pid_dead = _posix_is_local_pid_dead
 
2549
 
 
2550
 
 
2551
def fdatasync(fileno):
 
2552
    """Flush file contents to disk if possible.
 
2553
    
 
2554
    :param fileno: Integer OS file handle.
 
2555
    :raises TransportNotPossible: If flushing to disk is not possible.
 
2556
    """
 
2557
    fn = getattr(os, 'fdatasync', getattr(os, 'fsync', None))
 
2558
    if fn is not None:
 
2559
        fn(fileno)
 
2560
 
 
2561
 
 
2562
def ensure_empty_directory_exists(path, exception_class):
 
2563
    """Make sure a local directory exists and is empty.
 
2564
    
 
2565
    If it does not exist, it is created.  If it exists and is not empty, an
 
2566
    instance of exception_class is raised.
 
2567
    """
 
2568
    try:
 
2569
        os.mkdir(path)
 
2570
    except OSError, e:
 
2571
        if e.errno != errno.EEXIST:
 
2572
            raise
 
2573
        if os.listdir(path) != []:
 
2574
            raise exception_class(path)
 
2575
 
 
2576
 
 
2577
def is_environment_error(evalue):
 
2578
    """True if exception instance is due to a process environment issue
 
2579
 
 
2580
    This includes OSError and IOError, but also other errors that come from
 
2581
    the operating system or core libraries but are not subclasses of those.
 
2582
    """
 
2583
    if isinstance(evalue, (EnvironmentError, select.error)):
 
2584
        return True
 
2585
    if sys.platform == "win32" and win32utils._is_pywintypes_error(evalue):
 
2586
        return True
 
2587
    return False