~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Sidnei da Silva
  • Date: 2009-07-03 15:06:42 UTC
  • mto: (4531.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 4532.
  • Revision ID: sidnei.da.silva@canonical.com-20090703150642-hjfra5waj5879cae
- Add top-level make target to build all installers using buildout and another to cleanup

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
from cStringIO import StringIO
18
17
import os
19
18
import re
20
19
import stat
35
34
                    splitdrive as _nt_splitdrive,
36
35
                    )
37
36
import posixpath
38
 
import sha
39
37
import shutil
40
38
from shutil import (
41
39
    rmtree,
53
51
    )
54
52
""")
55
53
 
 
54
# sha and md5 modules are deprecated in python2.6 but hashlib is available as
 
55
# of 2.5
 
56
if sys.version_info < (2, 5):
 
57
    import md5 as _mod_md5
 
58
    md5 = _mod_md5.new
 
59
    import sha as _mod_sha
 
60
    sha = _mod_sha.new
 
61
else:
 
62
    from hashlib import (
 
63
        md5,
 
64
        sha1 as sha,
 
65
        )
 
66
 
 
67
 
56
68
import bzrlib
57
69
from bzrlib import symbol_versioning
58
 
from bzrlib.symbol_versioning import (
59
 
    deprecated_function,
60
 
    zero_nine,
61
 
    )
62
 
from bzrlib.trace import mutter
63
70
 
64
71
 
65
72
# On win32, O_BINARY is used to indicate the file should
69
76
# OR with 0 on those platforms
70
77
O_BINARY = getattr(os, 'O_BINARY', 0)
71
78
 
72
 
# On posix, use lstat instead of stat so that we can
73
 
# operate on broken symlinks. On Windows revert to stat.
74
 
lstat = getattr(os, 'lstat', os.stat)
 
79
 
 
80
def get_unicode_argv():
 
81
    try:
 
82
        user_encoding = get_user_encoding()
 
83
        return [a.decode(user_encoding) for a in sys.argv[1:]]
 
84
    except UnicodeDecodeError:
 
85
        raise errors.BzrError(("Parameter '%r' is unsupported by the current "
 
86
                                                            "encoding." % a))
 
87
 
75
88
 
76
89
def make_readonly(filename):
77
90
    """Make a filename read-only."""
78
 
    mod = lstat(filename).st_mode
 
91
    mod = os.lstat(filename).st_mode
79
92
    if not stat.S_ISLNK(mod):
80
93
        mod = mod & 0777555
81
94
        os.chmod(filename, mod)
82
95
 
83
96
 
84
97
def make_writable(filename):
85
 
    mod = lstat(filename).st_mode
 
98
    mod = os.lstat(filename).st_mode
86
99
    if not stat.S_ISLNK(mod):
87
100
        mod = mod | 0200
88
101
        os.chmod(filename, mod)
89
102
 
90
103
 
 
104
def minimum_path_selection(paths):
 
105
    """Return the smallset subset of paths which are outside paths.
 
106
 
 
107
    :param paths: A container (and hence not None) of paths.
 
108
    :return: A set of paths sufficient to include everything in paths via
 
109
        is_inside, drawn from the paths parameter.
 
110
    """
 
111
    if len(paths) < 2:
 
112
        return set(paths)
 
113
 
 
114
    def sort_key(path):
 
115
        return path.split('/')
 
116
    sorted_paths = sorted(list(paths), key=sort_key)
 
117
 
 
118
    search_paths = [sorted_paths[0]]
 
119
    for path in sorted_paths[1:]:
 
120
        if not is_inside(search_paths[-1], path):
 
121
            # This path is unique, add it
 
122
            search_paths.append(path)
 
123
 
 
124
    return set(search_paths)
 
125
 
 
126
 
91
127
_QUOTE_RE = None
92
128
 
93
129
 
100
136
    global _QUOTE_RE
101
137
    if _QUOTE_RE is None:
102
138
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
103
 
        
 
139
 
104
140
    if _QUOTE_RE.search(f):
105
141
        return '"' + f + '"'
106
142
    else:
109
145
 
110
146
_directory_kind = 'directory'
111
147
 
112
 
_formats = {
113
 
    stat.S_IFDIR:_directory_kind,
114
 
    stat.S_IFCHR:'chardev',
115
 
    stat.S_IFBLK:'block',
116
 
    stat.S_IFREG:'file',
117
 
    stat.S_IFIFO:'fifo',
118
 
    stat.S_IFLNK:'symlink',
119
 
    stat.S_IFSOCK:'socket',
120
 
}
121
 
 
122
 
 
123
 
def file_kind_from_stat_mode(stat_mode, _formats=_formats, _unknown='unknown'):
124
 
    """Generate a file kind from a stat mode. This is used in walkdirs.
125
 
 
126
 
    Its performance is critical: Do not mutate without careful benchmarking.
127
 
    """
128
 
    try:
129
 
        return _formats[stat_mode & 0170000]
130
 
    except KeyError:
131
 
        return _unknown
132
 
 
133
 
 
134
 
def file_kind(f, _lstat=os.lstat, _mapper=file_kind_from_stat_mode):
135
 
    try:
136
 
        return _mapper(_lstat(f).st_mode)
137
 
    except OSError, e:
138
 
        if getattr(e, 'errno', None) == errno.ENOENT:
139
 
            raise errors.NoSuchFile(f)
140
 
        raise
141
 
 
142
 
 
143
148
def get_umask():
144
149
    """Return the current umask"""
145
150
    # Assume that people aren't messing with the umask while running
181
186
 
182
187
def fancy_rename(old, new, rename_func, unlink_func):
183
188
    """A fancy rename, when you don't have atomic rename.
184
 
    
 
189
 
185
190
    :param old: The old path, to rename from
186
191
    :param new: The new path, to rename to
187
192
    :param rename_func: The potentially non-atomic rename function
189
194
    """
190
195
 
191
196
    # sftp rename doesn't allow overwriting, so play tricks:
192
 
    import random
193
197
    base = os.path.basename(new)
194
198
    dirname = os.path.dirname(new)
195
199
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
220
224
 
221
225
    success = False
222
226
    try:
223
 
        # This may throw an exception, in which case success will
224
 
        # not be set.
225
 
        rename_func(old, new)
226
 
        success = True
 
227
        try:
 
228
            # This may throw an exception, in which case success will
 
229
            # not be set.
 
230
            rename_func(old, new)
 
231
            success = True
 
232
        except (IOError, OSError), e:
 
233
            # source and target may be aliases of each other (e.g. on a
 
234
            # case-insensitive filesystem), so we may have accidentally renamed
 
235
            # source by when we tried to rename target
 
236
            if not (file_existed and e.errno in (None, errno.ENOENT)):
 
237
                raise
227
238
    finally:
228
239
        if file_existed:
229
240
            # If the file used to exist, rename it back into place
295
306
        path = cwd + '\\' + path
296
307
    return _win32_fixdrive(_nt_normpath(path).replace('\\', '/'))
297
308
 
298
 
if win32utils.winver == 'Windows 98':
299
 
    _win32_abspath = _win98_abspath
300
 
 
301
309
 
302
310
def _win32_realpath(path):
303
311
    # Real _nt_realpath doesn't have a problem with a unicode cwd
324
332
    """We expect to be able to atomically replace 'new' with old.
325
333
 
326
334
    On win32, if new exists, it must be moved out of the way first,
327
 
    and then deleted. 
 
335
    and then deleted.
328
336
    """
329
337
    try:
330
338
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
331
339
    except OSError, e:
332
340
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
333
 
            # If we try to rename a non-existant file onto cwd, we get 
334
 
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT 
 
341
            # If we try to rename a non-existant file onto cwd, we get
 
342
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT
335
343
            # if the old path doesn't exist, sometimes we get EACCES
336
344
            # On Linux, we seem to get EBUSY, on Mac we get EINVAL
337
345
            os.lstat(old)
339
347
 
340
348
 
341
349
def _mac_getcwd():
342
 
    return unicodedata.normalize('NFKC', os.getcwdu())
 
350
    return unicodedata.normalize('NFC', os.getcwdu())
343
351
 
344
352
 
345
353
# Default is to just use the python builtins, but these can be rebound on
362
370
 
363
371
 
364
372
if sys.platform == 'win32':
365
 
    abspath = _win32_abspath
 
373
    if win32utils.winver == 'Windows 98':
 
374
        abspath = _win98_abspath
 
375
    else:
 
376
        abspath = _win32_abspath
366
377
    realpath = _win32_realpath
367
378
    pathjoin = _win32_pathjoin
368
379
    normpath = _win32_normpath
388
399
    def rmtree(path, ignore_errors=False, onerror=_win32_delete_readonly):
389
400
        """Replacer for shutil.rmtree: could remove readonly dirs/files"""
390
401
        return shutil.rmtree(path, ignore_errors, onerror)
 
402
 
 
403
    f = win32utils.get_unicode_argv     # special function or None
 
404
    if f is not None:
 
405
        get_unicode_argv = f
 
406
 
391
407
elif sys.platform == 'darwin':
392
408
    getcwd = _mac_getcwd
393
409
 
397
413
 
398
414
    This attempts to check both sys.stdout and sys.stdin to see
399
415
    what encoding they are in, and if that fails it falls back to
400
 
    bzrlib.user_encoding.
 
416
    osutils.get_user_encoding().
401
417
    The problem is that on Windows, locale.getpreferredencoding()
402
418
    is not the same encoding as that used by the console:
403
419
    http://mail.python.org/pipermail/python-list/2003-May/162357.html
405
421
    On my standard US Windows XP, the preferred encoding is
406
422
    cp1252, but the console is cp437
407
423
    """
 
424
    from bzrlib.trace import mutter
408
425
    output_encoding = getattr(sys.stdout, 'encoding', None)
409
426
    if not output_encoding:
410
427
        input_encoding = getattr(sys.stdin, 'encoding', None)
411
428
        if not input_encoding:
412
 
            output_encoding = bzrlib.user_encoding
413
 
            mutter('encoding stdout as bzrlib.user_encoding %r', output_encoding)
 
429
            output_encoding = get_user_encoding()
 
430
            mutter('encoding stdout as osutils.get_user_encoding() %r',
 
431
                   output_encoding)
414
432
        else:
415
433
            output_encoding = input_encoding
416
434
            mutter('encoding stdout as sys.stdin encoding %r', output_encoding)
418
436
        mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
419
437
    if output_encoding == 'cp0':
420
438
        # invalid encoding (cp0 means 'no codepage' on Windows)
421
 
        output_encoding = bzrlib.user_encoding
 
439
        output_encoding = get_user_encoding()
422
440
        mutter('cp0 is invalid encoding.'
423
 
               ' encoding stdout as bzrlib.user_encoding %r', output_encoding)
 
441
               ' encoding stdout as osutils.get_user_encoding() %r',
 
442
               output_encoding)
424
443
    # check encoding
425
444
    try:
426
445
        codecs.lookup(output_encoding)
428
447
        sys.stderr.write('bzr: warning:'
429
448
                         ' unknown terminal encoding %s.\n'
430
449
                         '  Using encoding %s instead.\n'
431
 
                         % (output_encoding, bzrlib.user_encoding)
 
450
                         % (output_encoding, get_user_encoding())
432
451
                        )
433
 
        output_encoding = bzrlib.user_encoding
 
452
        output_encoding = get_user_encoding()
434
453
 
435
454
    return output_encoding
436
455
 
447
466
        return pathjoin(F(p), e)
448
467
 
449
468
 
450
 
def backup_file(fn):
451
 
    """Copy a file to a backup.
452
 
 
453
 
    Backups are named in GNU-style, with a ~ suffix.
454
 
 
455
 
    If the file is already a backup, it's not copied.
456
 
    """
457
 
    if fn[-1] == '~':
458
 
        return
459
 
    bfn = fn + '~'
460
 
 
461
 
    if has_symlinks() and os.path.islink(fn):
462
 
        target = os.readlink(fn)
463
 
        os.symlink(target, bfn)
464
 
        return
465
 
    inf = file(fn, 'rb')
466
 
    try:
467
 
        content = inf.read()
468
 
    finally:
469
 
        inf.close()
470
 
    
471
 
    outf = file(bfn, 'wb')
472
 
    try:
473
 
        outf.write(content)
474
 
    finally:
475
 
        outf.close()
476
 
 
477
 
 
478
469
def isdir(f):
479
470
    """True if f is an accessible directory."""
480
471
    try:
499
490
 
500
491
def is_inside(dir, fname):
501
492
    """True if fname is inside dir.
502
 
    
 
493
 
503
494
    The parameters should typically be passed to osutils.normpath first, so
504
495
    that . and .. and repeated slashes are eliminated, and the separators
505
496
    are canonical for the platform.
506
 
    
507
 
    The empty string as a dir name is taken as top-of-tree and matches 
 
497
 
 
498
    The empty string as a dir name is taken as top-of-tree and matches
508
499
    everything.
509
500
    """
510
 
    # XXX: Most callers of this can actually do something smarter by 
 
501
    # XXX: Most callers of this can actually do something smarter by
511
502
    # looking at the inventory
512
503
    if dir == fname:
513
504
        return True
514
 
    
 
505
 
515
506
    if dir == '':
516
507
        return True
517
508
 
537
528
    return False
538
529
 
539
530
 
540
 
def pumpfile(fromfile, tofile):
541
 
    """Copy contents of one file to another."""
542
 
    BUFSIZE = 32768
543
 
    while True:
544
 
        b = fromfile.read(BUFSIZE)
545
 
        if not b:
546
 
            break
547
 
        tofile.write(b)
 
531
def pumpfile(from_file, to_file, read_length=-1, buff_size=32768,
 
532
             report_activity=None, direction='read'):
 
533
    """Copy contents of one file to another.
 
534
 
 
535
    The read_length can either be -1 to read to end-of-file (EOF) or
 
536
    it can specify the maximum number of bytes to read.
 
537
 
 
538
    The buff_size represents the maximum size for each read operation
 
539
    performed on from_file.
 
540
 
 
541
    :param report_activity: Call this as bytes are read, see
 
542
        Transport._report_activity
 
543
    :param direction: Will be passed to report_activity
 
544
 
 
545
    :return: The number of bytes copied.
 
546
    """
 
547
    length = 0
 
548
    if read_length >= 0:
 
549
        # read specified number of bytes
 
550
 
 
551
        while read_length > 0:
 
552
            num_bytes_to_read = min(read_length, buff_size)
 
553
 
 
554
            block = from_file.read(num_bytes_to_read)
 
555
            if not block:
 
556
                # EOF reached
 
557
                break
 
558
            if report_activity is not None:
 
559
                report_activity(len(block), direction)
 
560
            to_file.write(block)
 
561
 
 
562
            actual_bytes_read = len(block)
 
563
            read_length -= actual_bytes_read
 
564
            length += actual_bytes_read
 
565
    else:
 
566
        # read to EOF
 
567
        while True:
 
568
            block = from_file.read(buff_size)
 
569
            if not block:
 
570
                # EOF reached
 
571
                break
 
572
            if report_activity is not None:
 
573
                report_activity(len(block), direction)
 
574
            to_file.write(block)
 
575
            length += len(block)
 
576
    return length
 
577
 
 
578
 
 
579
def pump_string_file(bytes, file_handle, segment_size=None):
 
580
    """Write bytes to file_handle in many smaller writes.
 
581
 
 
582
    :param bytes: The string to write.
 
583
    :param file_handle: The file to write to.
 
584
    """
 
585
    # Write data in chunks rather than all at once, because very large
 
586
    # writes fail on some platforms (e.g. Windows with SMB  mounted
 
587
    # drives).
 
588
    if not segment_size:
 
589
        segment_size = 5242880 # 5MB
 
590
    segments = range(len(bytes) / segment_size + 1)
 
591
    write = file_handle.write
 
592
    for segment_index in segments:
 
593
        segment = buffer(bytes, segment_index * segment_size, segment_size)
 
594
        write(segment)
548
595
 
549
596
 
550
597
def file_iterator(input_file, readsize=32768):
556
603
 
557
604
 
558
605
def sha_file(f):
559
 
    if getattr(f, 'tell', None) is not None:
560
 
        assert f.tell() == 0
561
 
    s = sha.new()
 
606
    """Calculate the hexdigest of an open file.
 
607
 
 
608
    The file cursor should be already at the start.
 
609
    """
 
610
    s = sha()
562
611
    BUFSIZE = 128<<10
563
612
    while True:
564
613
        b = f.read(BUFSIZE)
568
617
    return s.hexdigest()
569
618
 
570
619
 
571
 
 
572
 
def sha_strings(strings):
 
620
def size_sha_file(f):
 
621
    """Calculate the size and hexdigest of an open file.
 
622
 
 
623
    The file cursor should be already at the start and
 
624
    the caller is responsible for closing the file afterwards.
 
625
    """
 
626
    size = 0
 
627
    s = sha()
 
628
    BUFSIZE = 128<<10
 
629
    while True:
 
630
        b = f.read(BUFSIZE)
 
631
        if not b:
 
632
            break
 
633
        size += len(b)
 
634
        s.update(b)
 
635
    return size, s.hexdigest()
 
636
 
 
637
 
 
638
def sha_file_by_name(fname):
 
639
    """Calculate the SHA1 of a file by reading the full text"""
 
640
    s = sha()
 
641
    f = os.open(fname, os.O_RDONLY | O_BINARY)
 
642
    try:
 
643
        while True:
 
644
            b = os.read(f, 1<<16)
 
645
            if not b:
 
646
                return s.hexdigest()
 
647
            s.update(b)
 
648
    finally:
 
649
        os.close(f)
 
650
 
 
651
 
 
652
def sha_strings(strings, _factory=sha):
573
653
    """Return the sha-1 of concatenation of strings"""
574
 
    s = sha.new()
 
654
    s = _factory()
575
655
    map(s.update, strings)
576
656
    return s.hexdigest()
577
657
 
578
658
 
579
 
def sha_string(f):
580
 
    s = sha.new()
581
 
    s.update(f)
582
 
    return s.hexdigest()
 
659
def sha_string(f, _factory=sha):
 
660
    return _factory(f).hexdigest()
583
661
 
584
662
 
585
663
def fingerprint_file(f):
586
 
    s = sha.new()
587
664
    b = f.read()
588
 
    s.update(b)
589
 
    size = len(b)
590
 
    return {'size': size,
591
 
            'sha1': s.hexdigest()}
 
665
    return {'size': len(b),
 
666
            'sha1': sha(b).hexdigest()}
592
667
 
593
668
 
594
669
def compare_files(a, b):
610
685
    offset = datetime.fromtimestamp(t) - datetime.utcfromtimestamp(t)
611
686
    return offset.days * 86400 + offset.seconds
612
687
 
613
 
    
 
688
weekdays = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
 
689
 
614
690
def format_date(t, offset=0, timezone='original', date_fmt=None,
615
691
                show_offset=True):
616
692
    """Return a formatted date string.
620
696
    :param timezone: How to display the time: 'utc', 'original' for the
621
697
         timezone specified by offset, or 'local' for the process's current
622
698
         timezone.
623
 
    :param show_offset: Whether to append the timezone.
624
 
    :param date_fmt: strftime format.
625
 
    """
 
699
    :param date_fmt: strftime format.
 
700
    :param show_offset: Whether to append the timezone.
 
701
    """
 
702
    (date_fmt, tt, offset_str) = \
 
703
               _format_date(t, offset, timezone, date_fmt, show_offset)
 
704
    date_fmt = date_fmt.replace('%a', weekdays[tt[6]])
 
705
    date_str = time.strftime(date_fmt, tt)
 
706
    return date_str + offset_str
 
707
 
 
708
def format_local_date(t, offset=0, timezone='original', date_fmt=None,
 
709
                      show_offset=True):
 
710
    """Return an unicode date string formatted according to the current locale.
 
711
 
 
712
    :param t: Seconds since the epoch.
 
713
    :param offset: Timezone offset in seconds east of utc.
 
714
    :param timezone: How to display the time: 'utc', 'original' for the
 
715
         timezone specified by offset, or 'local' for the process's current
 
716
         timezone.
 
717
    :param date_fmt: strftime format.
 
718
    :param show_offset: Whether to append the timezone.
 
719
    """
 
720
    (date_fmt, tt, offset_str) = \
 
721
               _format_date(t, offset, timezone, date_fmt, show_offset)
 
722
    date_str = time.strftime(date_fmt, tt)
 
723
    if not isinstance(date_str, unicode):
 
724
        date_str = date_str.decode(bzrlib.user_encoding, 'replace')
 
725
    return date_str + offset_str
 
726
 
 
727
def _format_date(t, offset, timezone, date_fmt, show_offset):
626
728
    if timezone == 'utc':
627
729
        tt = time.gmtime(t)
628
730
        offset = 0
634
736
        tt = time.localtime(t)
635
737
        offset = local_time_offset(t)
636
738
    else:
637
 
        raise errors.BzrError("unsupported timezone format %r" % timezone,
638
 
                              ['options are "utc", "original", "local"'])
 
739
        raise errors.UnsupportedTimezoneFormat(timezone)
639
740
    if date_fmt is None:
640
741
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
641
742
    if show_offset:
642
743
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
643
744
    else:
644
745
        offset_str = ''
645
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
746
    return (date_fmt, tt, offset_str)
646
747
 
647
748
 
648
749
def compact_date(when):
649
750
    return time.strftime('%Y%m%d%H%M%S', time.gmtime(when))
650
 
    
 
751
 
651
752
 
652
753
def format_delta(delta):
653
754
    """Get a nice looking string for a time delta.
729
830
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
730
831
def rand_chars(num):
731
832
    """Return a random string of num alphanumeric characters
732
 
    
733
 
    The result only contains lowercase chars because it may be used on 
 
833
 
 
834
    The result only contains lowercase chars because it may be used on
734
835
    case-insensitive filesystems.
735
836
    """
736
837
    s = ''
744
845
 
745
846
def splitpath(p):
746
847
    """Turn string into list of parts."""
747
 
    assert isinstance(p, basestring)
748
 
 
749
848
    # split on either delimiter because people might use either on
750
849
    # Windows
751
850
    ps = re.split(r'[\\/]', p)
760
859
            rps.append(f)
761
860
    return rps
762
861
 
 
862
 
763
863
def joinpath(p):
764
 
    assert isinstance(p, (list, tuple))
765
864
    for f in p:
766
865
        if (f == '..') or (f is None) or (f == ''):
767
866
            raise errors.BzrError("sorry, %r not allowed in path" % f)
768
867
    return pathjoin(*p)
769
868
 
770
869
 
771
 
@deprecated_function(zero_nine)
772
 
def appendpath(p1, p2):
773
 
    if p1 == '':
774
 
        return p2
775
 
    else:
776
 
        return pathjoin(p1, p2)
 
870
def parent_directories(filename):
 
871
    """Return the list of parent directories, deepest first.
777
872
    
 
873
    For example, parent_directories("a/b/c") -> ["a/b", "a"].
 
874
    """
 
875
    parents = []
 
876
    parts = splitpath(dirname(filename))
 
877
    while parts:
 
878
        parents.append(joinpath(parts))
 
879
        parts.pop()
 
880
    return parents
 
881
 
 
882
 
 
883
try:
 
884
    from bzrlib._chunks_to_lines_pyx import chunks_to_lines
 
885
except ImportError:
 
886
    from bzrlib._chunks_to_lines_py import chunks_to_lines
 
887
 
778
888
 
779
889
def split_lines(s):
780
890
    """Split s into lines, but without removing the newline characters."""
 
891
    # Trivially convert a fulltext into a 'chunked' representation, and let
 
892
    # chunks_to_lines do the heavy lifting.
 
893
    if isinstance(s, str):
 
894
        # chunks_to_lines only supports 8-bit strings
 
895
        return chunks_to_lines([s])
 
896
    else:
 
897
        return _split_lines(s)
 
898
 
 
899
 
 
900
def _split_lines(s):
 
901
    """Split s into lines, but without removing the newline characters.
 
902
 
 
903
    This supports Unicode or plain string objects.
 
904
    """
781
905
    lines = s.split('\n')
782
906
    result = [line + '\n' for line in lines[:-1]]
783
907
    if lines[-1]:
801
925
            raise
802
926
        shutil.copyfile(src, dest)
803
927
 
804
 
def delete_any(full_path):
 
928
 
 
929
# Look Before You Leap (LBYL) is appropriate here instead of Easier to Ask for
 
930
# Forgiveness than Permission (EAFP) because:
 
931
# - root can damage a solaris file system by using unlink,
 
932
# - unlink raises different exceptions on different OSes (linux: EISDIR, win32:
 
933
#   EACCES, OSX: EPERM) when invoked on a directory.
 
934
def delete_any(path):
805
935
    """Delete a file or directory."""
806
 
    try:
807
 
        os.unlink(full_path)
808
 
    except OSError, e:
809
 
    # We may be renaming a dangling inventory id
810
 
        if e.errno not in (errno.EISDIR, errno.EACCES, errno.EPERM):
811
 
            raise
812
 
        os.rmdir(full_path)
 
936
    if isdir(path): # Takes care of symlinks
 
937
        os.rmdir(path)
 
938
    else:
 
939
        os.unlink(path)
813
940
 
814
941
 
815
942
def has_symlinks():
817
944
        return True
818
945
    else:
819
946
        return False
820
 
        
 
947
 
 
948
 
 
949
def has_hardlinks():
 
950
    if getattr(os, 'link', None) is not None:
 
951
        return True
 
952
    else:
 
953
        return False
 
954
 
 
955
 
 
956
def host_os_dereferences_symlinks():
 
957
    return (has_symlinks()
 
958
            and sys.platform not in ('cygwin', 'win32'))
 
959
 
 
960
 
 
961
def readlink(abspath):
 
962
    """Return a string representing the path to which the symbolic link points.
 
963
 
 
964
    :param abspath: The link absolute unicode path.
 
965
 
 
966
    This his guaranteed to return the symbolic link in unicode in all python
 
967
    versions.
 
968
    """
 
969
    link = abspath.encode(_fs_enc)
 
970
    target = os.readlink(link)
 
971
    target = target.decode(_fs_enc)
 
972
    return target
 
973
 
821
974
 
822
975
def contains_whitespace(s):
823
976
    """True if there are any whitespace characters in s."""
859
1012
    avoids that problem.
860
1013
    """
861
1014
 
862
 
    assert len(base) >= MIN_ABS_PATHLENGTH, ('Length of base must be equal or'
863
 
        ' exceed the platform minimum length (which is %d)' % 
864
 
        MIN_ABS_PATHLENGTH)
 
1015
    if len(base) < MIN_ABS_PATHLENGTH:
 
1016
        # must have space for e.g. a drive letter
 
1017
        raise ValueError('%r is too short to calculate a relative path'
 
1018
            % (base,))
865
1019
 
866
1020
    rp = abspath(path)
867
1021
 
882
1036
        return ''
883
1037
 
884
1038
 
 
1039
def _cicp_canonical_relpath(base, path):
 
1040
    """Return the canonical path relative to base.
 
1041
 
 
1042
    Like relpath, but on case-insensitive-case-preserving file-systems, this
 
1043
    will return the relpath as stored on the file-system rather than in the
 
1044
    case specified in the input string, for all existing portions of the path.
 
1045
 
 
1046
    This will cause O(N) behaviour if called for every path in a tree; if you
 
1047
    have a number of paths to convert, you should use canonical_relpaths().
 
1048
    """
 
1049
    # TODO: it should be possible to optimize this for Windows by using the
 
1050
    # win32 API FindFiles function to look for the specified name - but using
 
1051
    # os.listdir() still gives us the correct, platform agnostic semantics in
 
1052
    # the short term.
 
1053
 
 
1054
    rel = relpath(base, path)
 
1055
    # '.' will have been turned into ''
 
1056
    if not rel:
 
1057
        return rel
 
1058
 
 
1059
    abs_base = abspath(base)
 
1060
    current = abs_base
 
1061
    _listdir = os.listdir
 
1062
 
 
1063
    # use an explicit iterator so we can easily consume the rest on early exit.
 
1064
    bit_iter = iter(rel.split('/'))
 
1065
    for bit in bit_iter:
 
1066
        lbit = bit.lower()
 
1067
        for look in _listdir(current):
 
1068
            if lbit == look.lower():
 
1069
                current = pathjoin(current, look)
 
1070
                break
 
1071
        else:
 
1072
            # got to the end, nothing matched, so we just return the
 
1073
            # non-existing bits as they were specified (the filename may be
 
1074
            # the target of a move, for example).
 
1075
            current = pathjoin(current, bit, *list(bit_iter))
 
1076
            break
 
1077
    return current[len(abs_base)+1:]
 
1078
 
 
1079
# XXX - TODO - we need better detection/integration of case-insensitive
 
1080
# file-systems; Linux often sees FAT32 devices (or NFS-mounted OSX
 
1081
# filesystems), for example, so could probably benefit from the same basic
 
1082
# support there.  For now though, only Windows and OSX get that support, and
 
1083
# they get it for *all* file-systems!
 
1084
if sys.platform in ('win32', 'darwin'):
 
1085
    canonical_relpath = _cicp_canonical_relpath
 
1086
else:
 
1087
    canonical_relpath = relpath
 
1088
 
 
1089
def canonical_relpaths(base, paths):
 
1090
    """Create an iterable to canonicalize a sequence of relative paths.
 
1091
 
 
1092
    The intent is for this implementation to use a cache, vastly speeding
 
1093
    up multiple transformations in the same directory.
 
1094
    """
 
1095
    # but for now, we haven't optimized...
 
1096
    return [canonical_relpath(base, p) for p in paths]
 
1097
 
885
1098
def safe_unicode(unicode_or_utf8_string):
886
1099
    """Coerce unicode_or_utf8_string into unicode.
887
1100
 
888
1101
    If it is unicode, it is returned.
889
 
    Otherwise it is decoded from utf-8. If a decoding error
890
 
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
891
 
    as a BzrBadParameter exception.
 
1102
    Otherwise it is decoded from utf-8. If decoding fails, the exception is
 
1103
    wrapped in a BzrBadParameterNotUnicode exception.
892
1104
    """
893
1105
    if isinstance(unicode_or_utf8_string, unicode):
894
1106
        return unicode_or_utf8_string
981
1193
 
982
1194
    On platforms where the system normalizes filenames (Mac OSX),
983
1195
    you can access a file by any path which will normalize correctly.
984
 
    On platforms where the system does not normalize filenames 
 
1196
    On platforms where the system does not normalize filenames
985
1197
    (Windows, Linux), you have to access a file by its exact path.
986
1198
 
987
 
    Internally, bzr only supports NFC/NFKC normalization, since that is 
 
1199
    Internally, bzr only supports NFC normalization, since that is
988
1200
    the standard for XML documents.
989
1201
 
990
1202
    So return the normalized path, and a flag indicating if the file
991
1203
    can be accessed by that path.
992
1204
    """
993
1205
 
994
 
    return unicodedata.normalize('NFKC', unicode(path)), True
 
1206
    return unicodedata.normalize('NFC', unicode(path)), True
995
1207
 
996
1208
 
997
1209
def _inaccessible_normalized_filename(path):
998
1210
    __doc__ = _accessible_normalized_filename.__doc__
999
1211
 
1000
 
    normalized = unicodedata.normalize('NFKC', unicode(path))
 
1212
    normalized = unicodedata.normalize('NFC', unicode(path))
1001
1213
    return normalized, normalized == path
1002
1214
 
1003
1215
 
1061
1273
            del os.environ[env_variable]
1062
1274
    else:
1063
1275
        if isinstance(value, unicode):
1064
 
            value = value.encode(bzrlib.user_encoding)
 
1276
            value = value.encode(get_user_encoding())
1065
1277
        os.environ[env_variable] = value
1066
1278
    return orig_val
1067
1279
 
1070
1282
 
1071
1283
 
1072
1284
def check_legal_path(path):
1073
 
    """Check whether the supplied path is legal.  
 
1285
    """Check whether the supplied path is legal.
1074
1286
    This is only required on Windows, so we don't test on other platforms
1075
1287
    right now.
1076
1288
    """
1080
1292
        raise errors.IllegalPath(path)
1081
1293
 
1082
1294
 
 
1295
_WIN32_ERROR_DIRECTORY = 267 # Similar to errno.ENOTDIR
 
1296
 
 
1297
def _is_error_enotdir(e):
 
1298
    """Check if this exception represents ENOTDIR.
 
1299
 
 
1300
    Unfortunately, python is very inconsistent about the exception
 
1301
    here. The cases are:
 
1302
      1) Linux, Mac OSX all versions seem to set errno == ENOTDIR
 
1303
      2) Windows, Python2.4, uses errno == ERROR_DIRECTORY (267)
 
1304
         which is the windows error code.
 
1305
      3) Windows, Python2.5 uses errno == EINVAL and
 
1306
         winerror == ERROR_DIRECTORY
 
1307
 
 
1308
    :param e: An Exception object (expected to be OSError with an errno
 
1309
        attribute, but we should be able to cope with anything)
 
1310
    :return: True if this represents an ENOTDIR error. False otherwise.
 
1311
    """
 
1312
    en = getattr(e, 'errno', None)
 
1313
    if (en == errno.ENOTDIR
 
1314
        or (sys.platform == 'win32'
 
1315
            and (en == _WIN32_ERROR_DIRECTORY
 
1316
                 or (en == errno.EINVAL
 
1317
                     and getattr(e, 'winerror', None) == _WIN32_ERROR_DIRECTORY)
 
1318
        ))):
 
1319
        return True
 
1320
    return False
 
1321
 
 
1322
 
1083
1323
def walkdirs(top, prefix=""):
1084
1324
    """Yield data about all the directories in a tree.
1085
 
    
 
1325
 
1086
1326
    This yields all the data about the contents of a directory at a time.
1087
1327
    After each directory has been yielded, if the caller has mutated the list
1088
1328
    to exclude some directories, they are then not descended into.
1089
 
    
 
1329
 
1090
1330
    The data yielded is of the form:
1091
1331
    ((directory-relpath, directory-path-from-top),
1092
 
    [(directory-relpath, basename, kind, lstat, path-from-top), ...]),
 
1332
    [(relpath, basename, kind, lstat, path-from-top), ...]),
1093
1333
     - directory-relpath is the relative path of the directory being returned
1094
1334
       with respect to top. prefix is prepended to this.
1095
 
     - directory-path-from-root is the path including top for this directory. 
 
1335
     - directory-path-from-root is the path including top for this directory.
1096
1336
       It is suitable for use with os functions.
1097
1337
     - relpath is the relative path within the subtree being walked.
1098
1338
     - basename is the basename of the path
1100
1340
       present within the tree - but it may be recorded as versioned. See
1101
1341
       versioned_kind.
1102
1342
     - lstat is the stat data *if* the file was statted.
1103
 
     - planned, not implemented: 
 
1343
     - planned, not implemented:
1104
1344
       path_from_tree_root is the path from the root of the tree.
1105
1345
 
1106
 
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This 
 
1346
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This
1107
1347
        allows one to walk a subtree but get paths that are relative to a tree
1108
1348
        rooted higher up.
1109
1349
    :return: an iterator over the dirs.
1110
1350
    """
1111
1351
    #TODO there is a bit of a smell where the results of the directory-
1112
 
    # summary in this, and the path from the root, may not agree 
 
1352
    # summary in this, and the path from the root, may not agree
1113
1353
    # depending on top and prefix - i.e. ./foo and foo as a pair leads to
1114
1354
    # potentially confusing output. We should make this more robust - but
1115
1355
    # not at a speed cost. RBC 20060731
1116
1356
    _lstat = os.lstat
1117
1357
    _directory = _directory_kind
1118
1358
    _listdir = os.listdir
1119
 
    _kind_from_mode = _formats.get
 
1359
    _kind_from_mode = file_kind_from_stat_mode
1120
1360
    pending = [(safe_unicode(prefix), "", _directory, None, safe_unicode(top))]
1121
1361
    while pending:
1122
1362
        # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
1129
1369
 
1130
1370
        dirblock = []
1131
1371
        append = dirblock.append
1132
 
        for name in sorted(_listdir(top)):
1133
 
            abspath = top_slash + name
1134
 
            statvalue = _lstat(abspath)
1135
 
            kind = _kind_from_mode(statvalue.st_mode & 0170000, 'unknown')
1136
 
            append((relprefix + name, name, kind, statvalue, abspath))
 
1372
        try:
 
1373
            names = sorted(_listdir(top))
 
1374
        except OSError, e:
 
1375
            if not _is_error_enotdir(e):
 
1376
                raise
 
1377
        else:
 
1378
            for name in names:
 
1379
                abspath = top_slash + name
 
1380
                statvalue = _lstat(abspath)
 
1381
                kind = _kind_from_mode(statvalue.st_mode)
 
1382
                append((relprefix + name, name, kind, statvalue, abspath))
1137
1383
        yield (relroot, top), dirblock
1138
1384
 
1139
1385
        # push the user specified dirs from dirblock
1140
1386
        pending.extend(d for d in reversed(dirblock) if d[2] == _directory)
1141
1387
 
1142
1388
 
 
1389
class DirReader(object):
 
1390
    """An interface for reading directories."""
 
1391
 
 
1392
    def top_prefix_to_starting_dir(self, top, prefix=""):
 
1393
        """Converts top and prefix to a starting dir entry
 
1394
 
 
1395
        :param top: A utf8 path
 
1396
        :param prefix: An optional utf8 path to prefix output relative paths
 
1397
            with.
 
1398
        :return: A tuple starting with prefix, and ending with the native
 
1399
            encoding of top.
 
1400
        """
 
1401
        raise NotImplementedError(self.top_prefix_to_starting_dir)
 
1402
 
 
1403
    def read_dir(self, prefix, top):
 
1404
        """Read a specific dir.
 
1405
 
 
1406
        :param prefix: A utf8 prefix to be preprended to the path basenames.
 
1407
        :param top: A natively encoded path to read.
 
1408
        :return: A list of the directories contents. Each item contains:
 
1409
            (utf8_relpath, utf8_name, kind, lstatvalue, native_abspath)
 
1410
        """
 
1411
        raise NotImplementedError(self.read_dir)
 
1412
 
 
1413
 
 
1414
_selected_dir_reader = None
 
1415
 
 
1416
 
1143
1417
def _walkdirs_utf8(top, prefix=""):
1144
1418
    """Yield data about all the directories in a tree.
1145
1419
 
1154
1428
        path-from-top might be unicode or utf8, but it is the correct path to
1155
1429
        pass to os functions to affect the file in question. (such as os.lstat)
1156
1430
    """
1157
 
    fs_encoding = _fs_enc.upper()
1158
 
    if (sys.platform == 'win32' or
1159
 
        fs_encoding not in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968')): # ascii
1160
 
        return _walkdirs_unicode_to_utf8(top, prefix=prefix)
1161
 
    else:
1162
 
        return _walkdirs_fs_utf8(top, prefix=prefix)
1163
 
 
1164
 
 
1165
 
def _walkdirs_fs_utf8(top, prefix=""):
1166
 
    """See _walkdirs_utf8.
1167
 
 
1168
 
    This sub-function is called when we know the filesystem is already in utf8
1169
 
    encoding. So we don't need to transcode filenames.
1170
 
    """
1171
 
    _lstat = os.lstat
1172
 
    _directory = _directory_kind
1173
 
    _listdir = os.listdir
1174
 
    _kind_from_mode = _formats.get
 
1431
    global _selected_dir_reader
 
1432
    if _selected_dir_reader is None:
 
1433
        fs_encoding = _fs_enc.upper()
 
1434
        if sys.platform == "win32" and win32utils.winver == 'Windows NT':
 
1435
            # Win98 doesn't have unicode apis like FindFirstFileW
 
1436
            # TODO: We possibly could support Win98 by falling back to the
 
1437
            #       original FindFirstFile, and using TCHAR instead of WCHAR,
 
1438
            #       but that gets a bit tricky, and requires custom compiling
 
1439
            #       for win98 anyway.
 
1440
            try:
 
1441
                from bzrlib._walkdirs_win32 import Win32ReadDir
 
1442
                _selected_dir_reader = Win32ReadDir()
 
1443
            except ImportError:
 
1444
                pass
 
1445
        elif fs_encoding in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968'):
 
1446
            # ANSI_X3.4-1968 is a form of ASCII
 
1447
            try:
 
1448
                from bzrlib._readdir_pyx import UTF8DirReader
 
1449
                _selected_dir_reader = UTF8DirReader()
 
1450
            except ImportError:
 
1451
                pass
 
1452
 
 
1453
    if _selected_dir_reader is None:
 
1454
        # Fallback to the python version
 
1455
        _selected_dir_reader = UnicodeDirReader()
1175
1456
 
1176
1457
    # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
1177
1458
    # But we don't actually uses 1-3 in pending, so set them to None
1178
 
    pending = [(safe_utf8(prefix), None, None, None, safe_utf8(top))]
 
1459
    pending = [[_selected_dir_reader.top_prefix_to_starting_dir(top, prefix)]]
 
1460
    read_dir = _selected_dir_reader.read_dir
 
1461
    _directory = _directory_kind
1179
1462
    while pending:
1180
 
        relroot, _, _, _, top = pending.pop()
1181
 
        if relroot:
1182
 
            relprefix = relroot + '/'
1183
 
        else:
1184
 
            relprefix = ''
1185
 
        top_slash = top + '/'
1186
 
 
1187
 
        dirblock = []
1188
 
        append = dirblock.append
1189
 
        for name in sorted(_listdir(top)):
1190
 
            abspath = top_slash + name
1191
 
            statvalue = _lstat(abspath)
1192
 
            kind = _kind_from_mode(statvalue.st_mode & 0170000, 'unknown')
1193
 
            append((relprefix + name, name, kind, statvalue, abspath))
 
1463
        relroot, _, _, _, top = pending[-1].pop()
 
1464
        if not pending[-1]:
 
1465
            pending.pop()
 
1466
        dirblock = sorted(read_dir(relroot, top))
1194
1467
        yield (relroot, top), dirblock
1195
 
 
1196
1468
        # push the user specified dirs from dirblock
1197
 
        pending.extend(d for d in reversed(dirblock) if d[2] == _directory)
1198
 
 
1199
 
 
1200
 
def _walkdirs_unicode_to_utf8(top, prefix=""):
1201
 
    """See _walkdirs_utf8
1202
 
 
1203
 
    Because Win32 has a Unicode api, all of the 'path-from-top' entries will be
1204
 
    Unicode paths.
1205
 
    This is currently the fallback code path when the filesystem encoding is
1206
 
    not UTF-8. It may be better to implement an alternative so that we can
1207
 
    safely handle paths that are not properly decodable in the current
1208
 
    encoding.
1209
 
    """
1210
 
    _utf8_encode = codecs.getencoder('utf8')
1211
 
    _lstat = os.lstat
1212
 
    _directory = _directory_kind
1213
 
    _listdir = os.listdir
1214
 
    _kind_from_mode = _formats.get
1215
 
 
1216
 
    pending = [(safe_utf8(prefix), None, None, None, safe_unicode(top))]
1217
 
    while pending:
1218
 
        relroot, _, _, _, top = pending.pop()
1219
 
        if relroot:
1220
 
            relprefix = relroot + '/'
 
1469
        next = [d for d in reversed(dirblock) if d[2] == _directory]
 
1470
        if next:
 
1471
            pending.append(next)
 
1472
 
 
1473
 
 
1474
class UnicodeDirReader(DirReader):
 
1475
    """A dir reader for non-utf8 file systems, which transcodes."""
 
1476
 
 
1477
    __slots__ = ['_utf8_encode']
 
1478
 
 
1479
    def __init__(self):
 
1480
        self._utf8_encode = codecs.getencoder('utf8')
 
1481
 
 
1482
    def top_prefix_to_starting_dir(self, top, prefix=""):
 
1483
        """See DirReader.top_prefix_to_starting_dir."""
 
1484
        return (safe_utf8(prefix), None, None, None, safe_unicode(top))
 
1485
 
 
1486
    def read_dir(self, prefix, top):
 
1487
        """Read a single directory from a non-utf8 file system.
 
1488
 
 
1489
        top, and the abspath element in the output are unicode, all other paths
 
1490
        are utf8. Local disk IO is done via unicode calls to listdir etc.
 
1491
 
 
1492
        This is currently the fallback code path when the filesystem encoding is
 
1493
        not UTF-8. It may be better to implement an alternative so that we can
 
1494
        safely handle paths that are not properly decodable in the current
 
1495
        encoding.
 
1496
 
 
1497
        See DirReader.read_dir for details.
 
1498
        """
 
1499
        _utf8_encode = self._utf8_encode
 
1500
        _lstat = os.lstat
 
1501
        _listdir = os.listdir
 
1502
        _kind_from_mode = file_kind_from_stat_mode
 
1503
 
 
1504
        if prefix:
 
1505
            relprefix = prefix + '/'
1221
1506
        else:
1222
1507
            relprefix = ''
1223
1508
        top_slash = top + u'/'
1225
1510
        dirblock = []
1226
1511
        append = dirblock.append
1227
1512
        for name in sorted(_listdir(top)):
1228
 
            name_utf8 = _utf8_encode(name)[0]
 
1513
            try:
 
1514
                name_utf8 = _utf8_encode(name)[0]
 
1515
            except UnicodeDecodeError:
 
1516
                raise errors.BadFilenameEncoding(
 
1517
                    _utf8_encode(relprefix)[0] + name, _fs_enc)
1229
1518
            abspath = top_slash + name
1230
1519
            statvalue = _lstat(abspath)
1231
 
            kind = _kind_from_mode(statvalue.st_mode & 0170000, 'unknown')
 
1520
            kind = _kind_from_mode(statvalue.st_mode)
1232
1521
            append((relprefix + name_utf8, name_utf8, kind, statvalue, abspath))
1233
 
        yield (relroot, top), dirblock
1234
 
 
1235
 
        # push the user specified dirs from dirblock
1236
 
        pending.extend(d for d in reversed(dirblock) if d[2] == _directory)
 
1522
        return dirblock
1237
1523
 
1238
1524
 
1239
1525
def copy_tree(from_path, to_path, handlers={}):
1240
1526
    """Copy all of the entries in from_path into to_path.
1241
1527
 
1242
 
    :param from_path: The base directory to copy. 
 
1528
    :param from_path: The base directory to copy.
1243
1529
    :param to_path: The target directory. If it does not exist, it will
1244
1530
        be created.
1245
1531
    :param handlers: A dictionary of functions, which takes a source and
1314
1600
        return _cached_user_encoding
1315
1601
 
1316
1602
    if sys.platform == 'darwin':
1317
 
        # work around egregious python 2.4 bug
 
1603
        # python locale.getpreferredencoding() always return
 
1604
        # 'mac-roman' on darwin. That's a lie.
1318
1605
        sys.platform = 'posix'
1319
1606
        try:
 
1607
            if os.environ.get('LANG', None) is None:
 
1608
                # If LANG is not set, we end up with 'ascii', which is bad
 
1609
                # ('mac-roman' is more than ascii), so we set a default which
 
1610
                # will give us UTF-8 (which appears to work in all cases on
 
1611
                # OSX). Users are still free to override LANG of course, as
 
1612
                # long as it give us something meaningful. This work-around
 
1613
                # *may* not be needed with python 3k and/or OSX 10.5, but will
 
1614
                # work with them too -- vila 20080908
 
1615
                os.environ['LANG'] = 'en_US.UTF-8'
1320
1616
            import locale
1321
1617
        finally:
1322
1618
            sys.platform = 'darwin'
1337
1633
    # Windows returns 'cp0' to indicate there is no code page. So we'll just
1338
1634
    # treat that as ASCII, and not support printing unicode characters to the
1339
1635
    # console.
1340
 
    if user_encoding in (None, 'cp0'):
 
1636
    #
 
1637
    # For python scripts run under vim, we get '', so also treat that as ASCII
 
1638
    if user_encoding in (None, 'cp0', ''):
1341
1639
        user_encoding = 'ascii'
1342
1640
    else:
1343
1641
        # check encoding
1357
1655
    return user_encoding
1358
1656
 
1359
1657
 
 
1658
def get_host_name():
 
1659
    """Return the current unicode host name.
 
1660
 
 
1661
    This is meant to be used in place of socket.gethostname() because that
 
1662
    behaves inconsistently on different platforms.
 
1663
    """
 
1664
    if sys.platform == "win32":
 
1665
        import win32utils
 
1666
        return win32utils.get_host_name()
 
1667
    else:
 
1668
        import socket
 
1669
        return socket.gethostname().decode(get_user_encoding())
 
1670
 
 
1671
 
1360
1672
def recv_all(socket, bytes):
1361
1673
    """Receive an exact number of bytes.
1362
1674
 
1369
1681
    """
1370
1682
    b = ''
1371
1683
    while len(b) < bytes:
1372
 
        new = socket.recv(bytes - len(b))
 
1684
        new = until_no_eintr(socket.recv, bytes - len(b))
1373
1685
        if new == '':
1374
1686
            break # eof
1375
1687
        b += new
1376
1688
    return b
1377
1689
 
 
1690
 
 
1691
def send_all(socket, bytes, report_activity=None):
 
1692
    """Send all bytes on a socket.
 
1693
 
 
1694
    Regular socket.sendall() can give socket error 10053 on Windows.  This
 
1695
    implementation sends no more than 64k at a time, which avoids this problem.
 
1696
 
 
1697
    :param report_activity: Call this as bytes are read, see
 
1698
        Transport._report_activity
 
1699
    """
 
1700
    chunk_size = 2**16
 
1701
    for pos in xrange(0, len(bytes), chunk_size):
 
1702
        block = bytes[pos:pos+chunk_size]
 
1703
        if report_activity is not None:
 
1704
            report_activity(len(block), 'write')
 
1705
        until_no_eintr(socket.sendall, block)
 
1706
 
 
1707
 
1378
1708
def dereference_path(path):
1379
1709
    """Determine the real path to a file.
1380
1710
 
1387
1717
    # The pathjoin for '.' is a workaround for Python bug #1213894.
1388
1718
    # (initial path components aren't dereferenced)
1389
1719
    return pathjoin(realpath(pathjoin('.', parent)), base)
 
1720
 
 
1721
 
 
1722
def supports_mapi():
 
1723
    """Return True if we can use MAPI to launch a mail client."""
 
1724
    return sys.platform == "win32"
 
1725
 
 
1726
 
 
1727
def resource_string(package, resource_name):
 
1728
    """Load a resource from a package and return it as a string.
 
1729
 
 
1730
    Note: Only packages that start with bzrlib are currently supported.
 
1731
 
 
1732
    This is designed to be a lightweight implementation of resource
 
1733
    loading in a way which is API compatible with the same API from
 
1734
    pkg_resources. See
 
1735
    http://peak.telecommunity.com/DevCenter/PkgResources#basic-resource-access.
 
1736
    If and when pkg_resources becomes a standard library, this routine
 
1737
    can delegate to it.
 
1738
    """
 
1739
    # Check package name is within bzrlib
 
1740
    if package == "bzrlib":
 
1741
        resource_relpath = resource_name
 
1742
    elif package.startswith("bzrlib."):
 
1743
        package = package[len("bzrlib."):].replace('.', os.sep)
 
1744
        resource_relpath = pathjoin(package, resource_name)
 
1745
    else:
 
1746
        raise errors.BzrError('resource package %s not in bzrlib' % package)
 
1747
 
 
1748
    # Map the resource to a file and read its contents
 
1749
    base = dirname(bzrlib.__file__)
 
1750
    if getattr(sys, 'frozen', None):    # bzr.exe
 
1751
        base = abspath(pathjoin(base, '..', '..'))
 
1752
    filename = pathjoin(base, resource_relpath)
 
1753
    return open(filename, 'rU').read()
 
1754
 
 
1755
 
 
1756
def file_kind_from_stat_mode_thunk(mode):
 
1757
    global file_kind_from_stat_mode
 
1758
    if file_kind_from_stat_mode is file_kind_from_stat_mode_thunk:
 
1759
        try:
 
1760
            from bzrlib._readdir_pyx import UTF8DirReader
 
1761
            file_kind_from_stat_mode = UTF8DirReader().kind_from_mode
 
1762
        except ImportError:
 
1763
            from bzrlib._readdir_py import (
 
1764
                _kind_from_mode as file_kind_from_stat_mode
 
1765
                )
 
1766
    return file_kind_from_stat_mode(mode)
 
1767
file_kind_from_stat_mode = file_kind_from_stat_mode_thunk
 
1768
 
 
1769
 
 
1770
def file_kind(f, _lstat=os.lstat):
 
1771
    try:
 
1772
        return file_kind_from_stat_mode(_lstat(f).st_mode)
 
1773
    except OSError, e:
 
1774
        if getattr(e, 'errno', None) in (errno.ENOENT, errno.ENOTDIR):
 
1775
            raise errors.NoSuchFile(f)
 
1776
        raise
 
1777
 
 
1778
 
 
1779
def until_no_eintr(f, *a, **kw):
 
1780
    """Run f(*a, **kw), retrying if an EINTR error occurs."""
 
1781
    # Borrowed from Twisted's twisted.python.util.untilConcludes function.
 
1782
    while True:
 
1783
        try:
 
1784
            return f(*a, **kw)
 
1785
        except (IOError, OSError), e:
 
1786
            if e.errno == errno.EINTR:
 
1787
                continue
 
1788
            raise
 
1789
 
 
1790
def re_compile_checked(re_string, flags=0, where=""):
 
1791
    """Return a compiled re, or raise a sensible error.
 
1792
 
 
1793
    This should only be used when compiling user-supplied REs.
 
1794
 
 
1795
    :param re_string: Text form of regular expression.
 
1796
    :param flags: eg re.IGNORECASE
 
1797
    :param where: Message explaining to the user the context where
 
1798
        it occurred, eg 'log search filter'.
 
1799
    """
 
1800
    # from https://bugs.launchpad.net/bzr/+bug/251352
 
1801
    try:
 
1802
        re_obj = re.compile(re_string, flags)
 
1803
        re_obj.search("")
 
1804
        return re_obj
 
1805
    except re.error, e:
 
1806
        if where:
 
1807
            where = ' in ' + where
 
1808
        # despite the name 'error' is a type
 
1809
        raise errors.BzrCommandError('Invalid regular expression%s: %r: %s'
 
1810
            % (where, re_string, e))
 
1811
 
 
1812
 
 
1813
if sys.platform == "win32":
 
1814
    import msvcrt
 
1815
    def getchar():
 
1816
        return msvcrt.getch()
 
1817
else:
 
1818
    import tty
 
1819
    import termios
 
1820
    def getchar():
 
1821
        fd = sys.stdin.fileno()
 
1822
        settings = termios.tcgetattr(fd)
 
1823
        try:
 
1824
            tty.setraw(fd)
 
1825
            ch = sys.stdin.read(1)
 
1826
        finally:
 
1827
            termios.tcsetattr(fd, termios.TCSADRAIN, settings)
 
1828
        return ch