~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Robert Collins
  • Date: 2005-10-08 00:50:43 UTC
  • mfrom: (1185.1.53)
  • Revision ID: robertc@robertcollins.net-20051008005043-a6657ae397750425
merge in UnsupportedFormatError feature

Show diffs side-by-side

added added

removed removed

Lines of Context:
24
24
import os
25
25
import re
26
26
import sha
27
 
import shutil
28
 
import string
29
27
import sys
30
28
import time
31
29
import types
32
 
import tempfile
33
30
 
34
31
import bzrlib
35
 
from bzrlib.errors import (BzrError,
36
 
                           BzrBadParameterNotUnicode,
37
 
                           NoSuchFile,
38
 
                           PathNotChild,
39
 
                           IllegalPath,
40
 
                           )
 
32
from bzrlib.errors import BzrError
41
33
from bzrlib.trace import mutter
42
 
import bzrlib.win32console
43
34
 
44
35
 
45
36
def make_readonly(filename):
105
96
        raise BzrError('invalid file kind %r' % kind)
106
97
 
107
98
def lexists(f):
108
 
    if hasattr(os.path, 'lexists'):
109
 
        return os.path.lexists(f)
110
99
    try:
111
100
        if hasattr(os, 'lstat'):
112
101
            os.lstat(f)
119
108
        else:
120
109
            raise BzrError("lstat/stat of (%r): %r" % (f, e))
121
110
 
122
 
def fancy_rename(old, new, rename_func, unlink_func):
123
 
    """A fancy rename, when you don't have atomic rename.
124
 
    
125
 
    :param old: The old path, to rename from
126
 
    :param new: The new path, to rename to
127
 
    :param rename_func: The potentially non-atomic rename function
128
 
    :param unlink_func: A way to delete the target file if the full rename succeeds
129
 
    """
130
 
 
131
 
    # sftp rename doesn't allow overwriting, so play tricks:
132
 
    import random
133
 
    base = os.path.basename(new)
134
 
    dirname = os.path.dirname(new)
135
 
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
136
 
    tmp_name = pathjoin(dirname, tmp_name)
137
 
 
138
 
    # Rename the file out of the way, but keep track if it didn't exist
139
 
    # We don't want to grab just any exception
140
 
    # something like EACCES should prevent us from continuing
141
 
    # The downside is that the rename_func has to throw an exception
142
 
    # with an errno = ENOENT, or NoSuchFile
143
 
    file_existed = False
144
 
    try:
145
 
        rename_func(new, tmp_name)
146
 
    except (NoSuchFile,), e:
147
 
        pass
148
 
    except IOError, e:
149
 
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
150
 
        # function raises an IOError with errno == None when a rename fails.
151
 
        # This then gets caught here.
152
 
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
153
 
            raise
154
 
    except Exception, e:
155
 
        if (not hasattr(e, 'errno') 
156
 
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
157
 
            raise
158
 
    else:
159
 
        file_existed = True
160
 
 
161
 
    success = False
162
 
    try:
163
 
        # This may throw an exception, in which case success will
164
 
        # not be set.
165
 
        rename_func(old, new)
166
 
        success = True
167
 
    finally:
168
 
        if file_existed:
169
 
            # If the file used to exist, rename it back into place
170
 
            # otherwise just delete it from the tmp location
171
 
            if success:
172
 
                unlink_func(tmp_name)
173
 
            else:
174
 
                rename_func(tmp_name, new)
175
 
 
176
 
# Default is to just use the python builtins, but these can be rebound on
177
 
# particular platforms.
178
 
abspath = os.path.abspath
179
 
realpath = os.path.realpath
180
 
pathjoin = os.path.join
181
 
normpath = os.path.normpath
182
 
getcwd = os.getcwdu
183
 
mkdtemp = tempfile.mkdtemp
184
 
rename = os.rename
185
 
dirname = os.path.dirname
186
 
basename = os.path.basename
187
 
rmtree = shutil.rmtree
188
 
 
189
 
MIN_ABS_PATHLENGTH = 1
190
 
 
191
 
if os.name == "posix":
192
 
    # In Python 2.4.2 and older, os.path.abspath and os.path.realpath
193
 
    # choke on a Unicode string containing a relative path if
194
 
    # os.getcwd() returns a non-sys.getdefaultencoding()-encoded
195
 
    # string.
196
 
    _fs_enc = sys.getfilesystemencoding()
197
 
    def abspath(path):
198
 
        return os.path.abspath(path.encode(_fs_enc)).decode(_fs_enc)
199
 
 
200
 
    def realpath(path):
201
 
        return os.path.realpath(path.encode(_fs_enc)).decode(_fs_enc)
202
 
 
203
 
if sys.platform == 'win32':
204
 
    # We need to use the Unicode-aware os.path.abspath and
205
 
    # os.path.realpath on Windows systems.
206
 
    def abspath(path):
207
 
        return os.path.abspath(path).replace('\\', '/')
208
 
 
209
 
    def realpath(path):
210
 
        return os.path.realpath(path).replace('\\', '/')
211
 
 
212
 
    def pathjoin(*args):
213
 
        return os.path.join(*args).replace('\\', '/')
214
 
 
215
 
    def normpath(path):
216
 
        return os.path.normpath(path).replace('\\', '/')
217
 
 
218
 
    def getcwd():
219
 
        return os.getcwdu().replace('\\', '/')
220
 
 
221
 
    def mkdtemp(*args, **kwargs):
222
 
        return tempfile.mkdtemp(*args, **kwargs).replace('\\', '/')
223
 
 
224
 
    def rename(old, new):
225
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
226
 
 
227
 
    MIN_ABS_PATHLENGTH = 3
228
 
 
229
 
    def _win32_delete_readonly(function, path, excinfo):
230
 
        """Error handler for shutil.rmtree function [for win32]
231
 
        Helps to remove files and dirs marked as read-only.
232
 
        """
233
 
        type_, value = excinfo[:2]
234
 
        if function in (os.remove, os.rmdir) \
235
 
            and type_ == OSError \
236
 
            and value.errno == errno.EACCES:
237
 
            bzrlib.osutils.make_writable(path)
238
 
            function(path)
239
 
        else:
240
 
            raise
241
 
 
242
 
    def rmtree(path, ignore_errors=False, onerror=_win32_delete_readonly):
243
 
        """Replacer for shutil.rmtree: could remove readonly dirs/files"""
244
 
        return shutil.rmtree(path, ignore_errors, onerror)
245
 
 
246
 
 
247
111
def normalizepath(f):
248
112
    if hasattr(os.path, 'realpath'):
249
 
        F = realpath
 
113
        F = os.path.realpath
250
114
    else:
251
 
        F = abspath
 
115
        F = os.path.abspath
252
116
    [p,e] = os.path.split(f)
253
117
    if e == "" or e == "." or e == "..":
254
118
        return F(f)
255
119
    else:
256
 
        return pathjoin(F(p), e)
257
 
 
 
120
        return os.path.join(F(p), e)
 
121
    
258
122
 
259
123
def backup_file(fn):
260
124
    """Copy a file to a backup.
267
131
        return
268
132
    bfn = fn + '~'
269
133
 
270
 
    if has_symlinks() and os.path.islink(fn):
271
 
        target = os.readlink(fn)
272
 
        os.symlink(target, bfn)
273
 
        return
274
134
    inf = file(fn, 'rb')
275
135
    try:
276
136
        content = inf.read()
283
143
    finally:
284
144
        outf.close()
285
145
 
 
146
if os.name == 'nt':
 
147
    import shutil
 
148
    rename = shutil.move
 
149
else:
 
150
    rename = os.rename
 
151
 
286
152
 
287
153
def isdir(f):
288
154
    """True if f is an accessible directory."""
309
175
def is_inside(dir, fname):
310
176
    """True if fname is inside dir.
311
177
    
312
 
    The parameters should typically be passed to osutils.normpath first, so
 
178
    The parameters should typically be passed to os.path.normpath first, so
313
179
    that . and .. and repeated slashes are eliminated, and the separators
314
180
    are canonical for the platform.
315
181
    
316
182
    The empty string as a dir name is taken as top-of-tree and matches 
317
183
    everything.
318
184
    
319
 
    >>> is_inside('src', pathjoin('src', 'foo.c'))
 
185
    >>> is_inside('src', os.path.join('src', 'foo.c'))
320
186
    True
321
187
    >>> is_inside('src', 'srccontrol')
322
188
    False
323
 
    >>> is_inside('src', pathjoin('src', 'a', 'a', 'a', 'foo.c'))
 
189
    >>> is_inside('src', os.path.join('src', 'a', 'a', 'a', 'foo.c'))
324
190
    True
325
191
    >>> is_inside('foo.c', 'foo.c')
326
192
    True
337
203
    if dir == '':
338
204
        return True
339
205
 
340
 
    if dir[-1] != '/':
341
 
        dir += '/'
 
206
    if dir[-1] != os.sep:
 
207
        dir += os.sep
342
208
 
343
209
    return fname.startswith(dir)
344
210
 
354
220
 
355
221
def pumpfile(fromfile, tofile):
356
222
    """Copy contents of one file to another."""
357
 
    BUFSIZE = 32768
358
 
    while True:
359
 
        b = fromfile.read(BUFSIZE)
360
 
        if not b:
361
 
            break
362
 
        tofile.write(b)
363
 
 
364
 
 
365
 
def file_iterator(input_file, readsize=32768):
366
 
    while True:
367
 
        b = input_file.read(readsize)
368
 
        if len(b) == 0:
369
 
            break
370
 
        yield b
 
223
    tofile.write(fromfile.read())
371
224
 
372
225
 
373
226
def sha_file(f):
406
259
            'sha1': s.hexdigest()}
407
260
 
408
261
 
 
262
def config_dir():
 
263
    """Return per-user configuration directory.
 
264
 
 
265
    By default this is ~/.bzr.conf/
 
266
    
 
267
    TODO: Global option --config-dir to override this.
 
268
    """
 
269
    return os.path.join(os.path.expanduser("~"), ".bzr.conf")
 
270
 
 
271
 
 
272
def _auto_user_id():
 
273
    """Calculate automatic user identification.
 
274
 
 
275
    Returns (realname, email).
 
276
 
 
277
    Only used when none is set in the environment or the id file.
 
278
 
 
279
    This previously used the FQDN as the default domain, but that can
 
280
    be very slow on machines where DNS is broken.  So now we simply
 
281
    use the hostname.
 
282
    """
 
283
    import socket
 
284
 
 
285
    # XXX: Any good way to get real user name on win32?
 
286
 
 
287
    try:
 
288
        import pwd
 
289
        uid = os.getuid()
 
290
        w = pwd.getpwuid(uid)
 
291
        gecos = w.pw_gecos.decode(bzrlib.user_encoding)
 
292
        username = w.pw_name.decode(bzrlib.user_encoding)
 
293
        comma = gecos.find(',')
 
294
        if comma == -1:
 
295
            realname = gecos
 
296
        else:
 
297
            realname = gecos[:comma]
 
298
        if not realname:
 
299
            realname = username
 
300
 
 
301
    except ImportError:
 
302
        import getpass
 
303
        realname = username = getpass.getuser().decode(bzrlib.user_encoding)
 
304
 
 
305
    return realname, (username + '@' + socket.gethostname())
 
306
 
 
307
 
 
308
def _get_user_id(branch):
 
309
    """Return the full user id from a file or environment variable.
 
310
 
 
311
    e.g. "John Hacker <jhacker@foo.org>"
 
312
 
 
313
    branch
 
314
        A branch to use for a per-branch configuration, or None.
 
315
 
 
316
    The following are searched in order:
 
317
 
 
318
    1. $BZREMAIL
 
319
    2. .bzr/email for this branch.
 
320
    3. ~/.bzr.conf/email
 
321
    4. $EMAIL
 
322
    """
 
323
    v = os.environ.get('BZREMAIL')
 
324
    if v:
 
325
        return v.decode(bzrlib.user_encoding)
 
326
 
 
327
    if branch:
 
328
        try:
 
329
            return (branch.controlfile("email", "r") 
 
330
                    .read()
 
331
                    .decode(bzrlib.user_encoding)
 
332
                    .rstrip("\r\n"))
 
333
        except IOError, e:
 
334
            if e.errno != errno.ENOENT:
 
335
                raise
 
336
        except BzrError, e:
 
337
            pass
 
338
    
 
339
    try:
 
340
        return (open(os.path.join(config_dir(), "email"))
 
341
                .read()
 
342
                .decode(bzrlib.user_encoding)
 
343
                .rstrip("\r\n"))
 
344
    except IOError, e:
 
345
        if e.errno != errno.ENOENT:
 
346
            raise e
 
347
 
 
348
    v = os.environ.get('EMAIL')
 
349
    if v:
 
350
        return v.decode(bzrlib.user_encoding)
 
351
    else:    
 
352
        return None
 
353
 
 
354
 
 
355
def username(branch):
 
356
    """Return email-style username.
 
357
 
 
358
    Something similar to 'Martin Pool <mbp@sourcefrog.net>'
 
359
 
 
360
    TODO: Check it's reasonably well-formed.
 
361
    """
 
362
    v = _get_user_id(branch)
 
363
    if v:
 
364
        return v
 
365
    
 
366
    name, email = _auto_user_id()
 
367
    if name:
 
368
        return '%s <%s>' % (name, email)
 
369
    else:
 
370
        return email
 
371
 
 
372
 
 
373
def user_email(branch):
 
374
    """Return just the email component of a username."""
 
375
    e = _get_user_id(branch)
 
376
    if e:
 
377
        m = re.search(r'[\w+.-]+@[\w+.-]+', e)
 
378
        if not m:
 
379
            raise BzrError("%r doesn't seem to contain "
 
380
                           "a reasonable email address" % e)
 
381
        return m.group(0)
 
382
 
 
383
    return _auto_user_id()[1]
 
384
 
 
385
 
409
386
def compare_files(a, b):
410
387
    """Returns true if equal in contents"""
411
388
    BUFSIZE = 4096
430
407
        return -time.timezone
431
408
 
432
409
    
433
 
def format_date(t, offset=0, timezone='original', date_fmt=None, 
434
 
                show_offset=True):
 
410
def format_date(t, offset=0, timezone='original'):
435
411
    ## TODO: Perhaps a global option to use either universal or local time?
436
412
    ## Or perhaps just let people set $TZ?
437
413
    assert isinstance(t, float)
449
425
    else:
450
426
        raise BzrError("unsupported timezone format %r" % timezone,
451
427
                       ['options are "utc", "original", "local"'])
452
 
    if date_fmt is None:
453
 
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
454
 
    if show_offset:
455
 
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
456
 
    else:
457
 
        offset_str = ''
458
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
428
 
 
429
    return (time.strftime("%a %Y-%m-%d %H:%M:%S", tt)
 
430
            + ' %+03d%02d' % (offset / 3600, (offset / 60) % 60))
459
431
 
460
432
 
461
433
def compact_date(when):
467
439
    """Return size of given open file."""
468
440
    return os.fstat(f.fileno())[ST_SIZE]
469
441
 
470
 
 
471
442
# Define rand_bytes based on platform.
472
443
try:
473
444
    # Python 2.4 and later have os.urandom,
490
461
                n -= 1
491
462
            return s
492
463
 
493
 
 
494
 
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
495
 
def rand_chars(num):
496
 
    """Return a random string of num alphanumeric characters
497
 
    
498
 
    The result only contains lowercase chars because it may be used on 
499
 
    case-insensitive filesystems.
500
 
    """
501
 
    s = ''
502
 
    for raw_byte in rand_bytes(num):
503
 
        s += ALNUM[ord(raw_byte) % 36]
504
 
    return s
505
 
 
506
 
 
507
464
## TODO: We could later have path objects that remember their list
508
465
## decomposition (might be too tricksy though.)
509
466
 
544
501
    for f in p:
545
502
        if (f == '..') or (f == None) or (f == ''):
546
503
            raise BzrError("sorry, %r not allowed in path" % f)
547
 
    return pathjoin(*p)
 
504
    return os.path.join(*p)
548
505
 
549
506
 
550
507
def appendpath(p1, p2):
551
508
    if p1 == '':
552
509
        return p2
553
510
    else:
554
 
        return pathjoin(p1, p2)
 
511
        return os.path.join(p1, p2)
555
512
    
556
513
 
 
514
def _read_config_value(name):
 
515
    """Read a config value from the file ~/.bzr.conf/<name>
 
516
    Return None if the file does not exist"""
 
517
    try:
 
518
        f = file(os.path.join(config_dir(), name), "r")
 
519
        return f.read().decode(bzrlib.user_encoding).rstrip("\r\n")
 
520
    except IOError, e:
 
521
        if e.errno == errno.ENOENT:
 
522
            return None
 
523
        raise
 
524
 
 
525
 
557
526
def split_lines(s):
558
527
    """Split s into lines, but without removing the newline characters."""
559
 
    lines = s.split('\n')
560
 
    result = [line + '\n' for line in lines[:-1]]
561
 
    if lines[-1]:
562
 
        result.append(lines[-1])
563
 
    return result
 
528
    return StringIO(s).readlines()
564
529
 
565
530
 
566
531
def hardlinks_good():
579
544
            raise
580
545
        copyfile(src, dest)
581
546
 
582
 
def delete_any(full_path):
583
 
    """Delete a file or directory."""
584
 
    try:
585
 
        os.unlink(full_path)
586
 
    except OSError, e:
587
 
    # We may be renaming a dangling inventory id
588
 
        if e.errno not in (errno.EISDIR, errno.EACCES, errno.EPERM):
589
 
            raise
590
 
        os.rmdir(full_path)
591
 
 
592
547
 
593
548
def has_symlinks():
594
549
    if hasattr(os, 'symlink'):
595
550
        return True
596
551
    else:
597
552
        return False
598
 
        
599
 
 
600
 
def contains_whitespace(s):
601
 
    """True if there are any whitespace characters in s."""
602
 
    for ch in string.whitespace:
603
 
        if ch in s:
604
 
            return True
605
 
    else:
606
 
        return False
607
 
 
608
 
 
609
 
def contains_linebreaks(s):
610
 
    """True if there is any vertical whitespace in s."""
611
 
    for ch in '\f\n\r':
612
 
        if ch in s:
613
 
            return True
614
 
    else:
615
 
        return False
616
 
 
617
 
 
618
 
def relpath(base, path):
619
 
    """Return path relative to base, or raise exception.
620
 
 
621
 
    The path may be either an absolute path or a path relative to the
622
 
    current working directory.
623
 
 
624
 
    os.path.commonprefix (python2.4) has a bad bug that it works just
625
 
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
626
 
    avoids that problem.
627
 
    """
628
 
 
629
 
    assert len(base) >= MIN_ABS_PATHLENGTH, ('Length of base must be equal or'
630
 
        ' exceed the platform minimum length (which is %d)' % 
631
 
        MIN_ABS_PATHLENGTH)
632
 
    rp = abspath(path)
633
 
 
634
 
    s = []
635
 
    head = rp
636
 
    while len(head) >= len(base):
637
 
        if head == base:
638
 
            break
639
 
        head, tail = os.path.split(head)
640
 
        if tail:
641
 
            s.insert(0, tail)
642
 
    else:
643
 
        # XXX This should raise a NotChildPath exception, as its not tied
644
 
        # to branch anymore.
645
 
        raise PathNotChild(rp, base)
646
 
 
647
 
    if s:
648
 
        return pathjoin(*s)
649
 
    else:
650
 
        return ''
651
 
 
652
 
 
653
 
def safe_unicode(unicode_or_utf8_string):
654
 
    """Coerce unicode_or_utf8_string into unicode.
655
 
 
656
 
    If it is unicode, it is returned.
657
 
    Otherwise it is decoded from utf-8. If a decoding error
658
 
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
659
 
    as a BzrBadParameter exception.
660
 
    """
661
 
    if isinstance(unicode_or_utf8_string, unicode):
662
 
        return unicode_or_utf8_string
663
 
    try:
664
 
        return unicode_or_utf8_string.decode('utf8')
665
 
    except UnicodeDecodeError:
666
 
        raise BzrBadParameterNotUnicode(unicode_or_utf8_string)
667
 
 
668
 
 
669
 
def terminal_width():
670
 
    """Return estimated terminal width."""
671
 
    if sys.platform == 'win32':
672
 
        import bzrlib.win32console
673
 
        return bzrlib.win32console.get_console_size()[0]
674
 
    width = 0
675
 
    try:
676
 
        import struct, fcntl, termios
677
 
        s = struct.pack('HHHH', 0, 0, 0, 0)
678
 
        x = fcntl.ioctl(1, termios.TIOCGWINSZ, s)
679
 
        width = struct.unpack('HHHH', x)[1]
680
 
    except IOError:
681
 
        pass
682
 
    if width <= 0:
683
 
        try:
684
 
            width = int(os.environ['COLUMNS'])
685
 
        except:
686
 
            pass
687
 
    if width <= 0:
688
 
        width = 80
689
 
 
690
 
    return width
691
 
 
692
 
def supports_executable():
693
 
    return sys.platform != "win32"
694
 
 
695
 
 
696
 
def strip_trailing_slash(path):
697
 
    """Strip trailing slash, except for root paths.
698
 
    The definition of 'root path' is platform-dependent.
699
 
    """
700
 
    if len(path) != MIN_ABS_PATHLENGTH and path[-1] == '/':
701
 
        return path[:-1]
702
 
    else:
703
 
        return path
704
 
 
705
 
 
706
 
_validWin32PathRE = re.compile(r'^([A-Za-z]:[/\\])?[^:<>*"?\|]*$')
707
 
 
708
 
 
709
 
def check_legal_path(path):
710
 
    """Check whether the supplied path is legal.  
711
 
    This is only required on Windows, so we don't test on other platforms
712
 
    right now.
713
 
    """
714
 
    if sys.platform != "win32":
715
 
        return
716
 
    if _validWin32PathRE.match(path) is None:
717
 
        raise IllegalPath(path)