~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Robert Collins
  • Date: 2005-09-28 05:25:54 UTC
  • mfrom: (1185.1.42)
  • mto: (1092.2.18)
  • mto: This revision was merged to the branch mainline in revision 1397.
  • Revision ID: robertc@robertcollins.net-20050928052554-beb985505f77ea6a
update symlink branch to integration

Show diffs side-by-side

added added

removed removed

Lines of Context:
16
16
# along with this program; if not, write to the Free Software
17
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18
18
 
19
 
from shutil import copyfile
20
19
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
21
20
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
22
 
from cStringIO import StringIO
23
21
import errno
24
22
import os
25
23
import re
26
24
import sha
27
 
import string
28
25
import sys
29
26
import time
30
27
import types
31
 
import tempfile
32
28
 
33
29
import bzrlib
34
 
from bzrlib.errors import (BzrError,
35
 
                           BzrBadParameterNotUnicode,
36
 
                           NoSuchFile,
37
 
                           PathNotChild,
38
 
                           IllegalPath,
39
 
                           )
 
30
from bzrlib.errors import BzrError
40
31
from bzrlib.trace import mutter
41
32
 
42
33
 
103
94
        raise BzrError('invalid file kind %r' % kind)
104
95
 
105
96
def lexists(f):
106
 
    if hasattr(os.path, 'lexists'):
107
 
        return os.path.lexists(f)
108
97
    try:
109
98
        if hasattr(os, 'lstat'):
110
99
            os.lstat(f)
117
106
        else:
118
107
            raise BzrError("lstat/stat of (%r): %r" % (f, e))
119
108
 
120
 
def fancy_rename(old, new, rename_func, unlink_func):
121
 
    """A fancy rename, when you don't have atomic rename.
122
 
    
123
 
    :param old: The old path, to rename from
124
 
    :param new: The new path, to rename to
125
 
    :param rename_func: The potentially non-atomic rename function
126
 
    :param unlink_func: A way to delete the target file if the full rename succeeds
127
 
    """
128
 
 
129
 
    # sftp rename doesn't allow overwriting, so play tricks:
130
 
    import random
131
 
    base = os.path.basename(new)
132
 
    dirname = os.path.dirname(new)
133
 
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
134
 
    tmp_name = pathjoin(dirname, tmp_name)
135
 
 
136
 
    # Rename the file out of the way, but keep track if it didn't exist
137
 
    # We don't want to grab just any exception
138
 
    # something like EACCES should prevent us from continuing
139
 
    # The downside is that the rename_func has to throw an exception
140
 
    # with an errno = ENOENT, or NoSuchFile
141
 
    file_existed = False
142
 
    try:
143
 
        rename_func(new, tmp_name)
144
 
    except (NoSuchFile,), e:
145
 
        pass
146
 
    except IOError, e:
147
 
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
148
 
        # function raises an IOError with errno == None when a rename fails.
149
 
        # This then gets caught here.
150
 
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
151
 
            raise
152
 
    except Exception, e:
153
 
        if (not hasattr(e, 'errno') 
154
 
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
155
 
            raise
156
 
    else:
157
 
        file_existed = True
158
 
 
159
 
    success = False
160
 
    try:
161
 
        # This may throw an exception, in which case success will
162
 
        # not be set.
163
 
        rename_func(old, new)
164
 
        success = True
165
 
    finally:
166
 
        if file_existed:
167
 
            # If the file used to exist, rename it back into place
168
 
            # otherwise just delete it from the tmp location
169
 
            if success:
170
 
                unlink_func(tmp_name)
171
 
            else:
172
 
                rename_func(tmp_name, new)
173
 
 
174
 
# Default is to just use the python builtins
175
 
abspath = os.path.abspath
176
 
realpath = os.path.realpath
177
 
pathjoin = os.path.join
178
 
normpath = os.path.normpath
179
 
getcwd = os.getcwdu
180
 
mkdtemp = tempfile.mkdtemp
181
 
rename = os.rename
182
 
dirname = os.path.dirname
183
 
basename = os.path.basename
184
 
 
185
 
MIN_ABS_PATHLENGTH = 1
186
 
 
187
 
if os.name == "posix":
188
 
    # In Python 2.4.2 and older, os.path.abspath and os.path.realpath
189
 
    # choke on a Unicode string containing a relative path if
190
 
    # os.getcwd() returns a non-sys.getdefaultencoding()-encoded
191
 
    # string.
192
 
    _fs_enc = sys.getfilesystemencoding()
193
 
    def abspath(path):
194
 
        return os.path.abspath(path.encode(_fs_enc)).decode(_fs_enc)
195
 
 
196
 
    def realpath(path):
197
 
        return os.path.realpath(path.encode(_fs_enc)).decode(_fs_enc)
198
 
 
199
 
if sys.platform == 'win32':
200
 
    # We need to use the Unicode-aware os.path.abspath and
201
 
    # os.path.realpath on Windows systems.
202
 
    def abspath(path):
203
 
        return os.path.abspath(path).replace('\\', '/')
204
 
 
205
 
    def realpath(path):
206
 
        return os.path.realpath(path).replace('\\', '/')
207
 
 
208
 
    def pathjoin(*args):
209
 
        return os.path.join(*args).replace('\\', '/')
210
 
 
211
 
    def normpath(path):
212
 
        return os.path.normpath(path).replace('\\', '/')
213
 
 
214
 
    def getcwd():
215
 
        return os.getcwdu().replace('\\', '/')
216
 
 
217
 
    def mkdtemp(*args, **kwargs):
218
 
        return tempfile.mkdtemp(*args, **kwargs).replace('\\', '/')
219
 
 
220
 
    def rename(old, new):
221
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
222
 
 
223
 
    MIN_ABS_PATHLENGTH = 3
224
 
 
225
109
def normalizepath(f):
226
110
    if hasattr(os.path, 'realpath'):
227
 
        F = realpath
 
111
        F = os.path.realpath
228
112
    else:
229
 
        F = abspath
 
113
        F = os.path.abspath
230
114
    [p,e] = os.path.split(f)
231
115
    if e == "" or e == "." or e == "..":
232
116
        return F(f)
233
117
    else:
234
 
        return pathjoin(F(p), e)
235
 
 
 
118
        return os.path.join(F(p), e)
 
119
    
236
120
 
237
121
def backup_file(fn):
238
122
    """Copy a file to a backup.
245
129
        return
246
130
    bfn = fn + '~'
247
131
 
248
 
    if has_symlinks() and os.path.islink(fn):
249
 
        target = os.readlink(fn)
250
 
        os.symlink(target, bfn)
251
 
        return
252
132
    inf = file(fn, 'rb')
253
133
    try:
254
134
        content = inf.read()
261
141
    finally:
262
142
        outf.close()
263
143
 
 
144
if os.name == 'nt':
 
145
    import shutil
 
146
    rename = shutil.move
 
147
else:
 
148
    rename = os.rename
 
149
 
264
150
 
265
151
def isdir(f):
266
152
    """True if f is an accessible directory."""
287
173
def is_inside(dir, fname):
288
174
    """True if fname is inside dir.
289
175
    
290
 
    The parameters should typically be passed to osutils.normpath first, so
 
176
    The parameters should typically be passed to os.path.normpath first, so
291
177
    that . and .. and repeated slashes are eliminated, and the separators
292
178
    are canonical for the platform.
293
179
    
294
180
    The empty string as a dir name is taken as top-of-tree and matches 
295
181
    everything.
296
182
    
297
 
    >>> is_inside('src', pathjoin('src', 'foo.c'))
 
183
    >>> is_inside('src', os.path.join('src', 'foo.c'))
298
184
    True
299
185
    >>> is_inside('src', 'srccontrol')
300
186
    False
301
 
    >>> is_inside('src', pathjoin('src', 'a', 'a', 'a', 'foo.c'))
 
187
    >>> is_inside('src', os.path.join('src', 'a', 'a', 'a', 'foo.c'))
302
188
    True
303
189
    >>> is_inside('foo.c', 'foo.c')
304
190
    True
315
201
    if dir == '':
316
202
        return True
317
203
 
318
 
    if dir[-1] != '/':
319
 
        dir += '/'
 
204
    if dir[-1] != os.sep:
 
205
        dir += os.sep
320
206
 
321
207
    return fname.startswith(dir)
322
208
 
332
218
 
333
219
def pumpfile(fromfile, tofile):
334
220
    """Copy contents of one file to another."""
335
 
    BUFSIZE = 32768
336
 
    while True:
337
 
        b = fromfile.read(BUFSIZE)
338
 
        if not b:
339
 
            break
340
 
        tofile.write(b)
341
 
 
342
 
 
343
 
def file_iterator(input_file, readsize=32768):
344
 
    while True:
345
 
        b = input_file.read(readsize)
346
 
        if len(b) == 0:
347
 
            break
348
 
        yield b
 
221
    tofile.write(fromfile.read())
349
222
 
350
223
 
351
224
def sha_file(f):
361
234
    return s.hexdigest()
362
235
 
363
236
 
364
 
 
365
 
def sha_strings(strings):
366
 
    """Return the sha-1 of concatenation of strings"""
367
 
    s = sha.new()
368
 
    map(s.update, strings)
369
 
    return s.hexdigest()
370
 
 
371
 
 
372
237
def sha_string(f):
373
238
    s = sha.new()
374
239
    s.update(f)
384
249
            'sha1': s.hexdigest()}
385
250
 
386
251
 
 
252
def config_dir():
 
253
    """Return per-user configuration directory.
 
254
 
 
255
    By default this is ~/.bzr.conf/
 
256
    
 
257
    TODO: Global option --config-dir to override this.
 
258
    """
 
259
    return os.path.join(os.path.expanduser("~"), ".bzr.conf")
 
260
 
 
261
 
 
262
def _auto_user_id():
 
263
    """Calculate automatic user identification.
 
264
 
 
265
    Returns (realname, email).
 
266
 
 
267
    Only used when none is set in the environment or the id file.
 
268
 
 
269
    This previously used the FQDN as the default domain, but that can
 
270
    be very slow on machines where DNS is broken.  So now we simply
 
271
    use the hostname.
 
272
    """
 
273
    import socket
 
274
 
 
275
    # XXX: Any good way to get real user name on win32?
 
276
 
 
277
    try:
 
278
        import pwd
 
279
        uid = os.getuid()
 
280
        w = pwd.getpwuid(uid)
 
281
        gecos = w.pw_gecos.decode(bzrlib.user_encoding)
 
282
        username = w.pw_name.decode(bzrlib.user_encoding)
 
283
        comma = gecos.find(',')
 
284
        if comma == -1:
 
285
            realname = gecos
 
286
        else:
 
287
            realname = gecos[:comma]
 
288
        if not realname:
 
289
            realname = username
 
290
 
 
291
    except ImportError:
 
292
        import getpass
 
293
        realname = username = getpass.getuser().decode(bzrlib.user_encoding)
 
294
 
 
295
    return realname, (username + '@' + socket.gethostname())
 
296
 
 
297
 
 
298
def _get_user_id(branch):
 
299
    """Return the full user id from a file or environment variable.
 
300
 
 
301
    e.g. "John Hacker <jhacker@foo.org>"
 
302
 
 
303
    branch
 
304
        A branch to use for a per-branch configuration, or None.
 
305
 
 
306
    The following are searched in order:
 
307
 
 
308
    1. $BZREMAIL
 
309
    2. .bzr/email for this branch.
 
310
    3. ~/.bzr.conf/email
 
311
    4. $EMAIL
 
312
    """
 
313
    v = os.environ.get('BZREMAIL')
 
314
    if v:
 
315
        return v.decode(bzrlib.user_encoding)
 
316
 
 
317
    if branch:
 
318
        try:
 
319
            return (branch.controlfile("email", "r") 
 
320
                    .read()
 
321
                    .decode(bzrlib.user_encoding)
 
322
                    .rstrip("\r\n"))
 
323
        except IOError, e:
 
324
            if e.errno != errno.ENOENT:
 
325
                raise
 
326
        except BzrError, e:
 
327
            pass
 
328
    
 
329
    try:
 
330
        return (open(os.path.join(config_dir(), "email"))
 
331
                .read()
 
332
                .decode(bzrlib.user_encoding)
 
333
                .rstrip("\r\n"))
 
334
    except IOError, e:
 
335
        if e.errno != errno.ENOENT:
 
336
            raise e
 
337
 
 
338
    v = os.environ.get('EMAIL')
 
339
    if v:
 
340
        return v.decode(bzrlib.user_encoding)
 
341
    else:    
 
342
        return None
 
343
 
 
344
 
 
345
def username(branch):
 
346
    """Return email-style username.
 
347
 
 
348
    Something similar to 'Martin Pool <mbp@sourcefrog.net>'
 
349
 
 
350
    TODO: Check it's reasonably well-formed.
 
351
    """
 
352
    v = _get_user_id(branch)
 
353
    if v:
 
354
        return v
 
355
    
 
356
    name, email = _auto_user_id()
 
357
    if name:
 
358
        return '%s <%s>' % (name, email)
 
359
    else:
 
360
        return email
 
361
 
 
362
 
 
363
def user_email(branch):
 
364
    """Return just the email component of a username."""
 
365
    e = _get_user_id(branch)
 
366
    if e:
 
367
        m = re.search(r'[\w+.-]+@[\w+.-]+', e)
 
368
        if not m:
 
369
            raise BzrError("%r doesn't seem to contain "
 
370
                           "a reasonable email address" % e)
 
371
        return m.group(0)
 
372
 
 
373
    return _auto_user_id()[1]
 
374
 
 
375
 
387
376
def compare_files(a, b):
388
377
    """Returns true if equal in contents"""
389
378
    BUFSIZE = 4096
408
397
        return -time.timezone
409
398
 
410
399
    
411
 
def format_date(t, offset=0, timezone='original', date_fmt=None, 
412
 
                show_offset=True):
 
400
def format_date(t, offset=0, timezone='original'):
413
401
    ## TODO: Perhaps a global option to use either universal or local time?
414
402
    ## Or perhaps just let people set $TZ?
415
403
    assert isinstance(t, float)
427
415
    else:
428
416
        raise BzrError("unsupported timezone format %r" % timezone,
429
417
                       ['options are "utc", "original", "local"'])
430
 
    if date_fmt is None:
431
 
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
432
 
    if show_offset:
433
 
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
434
 
    else:
435
 
        offset_str = ''
436
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
418
 
 
419
    return (time.strftime("%a %Y-%m-%d %H:%M:%S", tt)
 
420
            + ' %+03d%02d' % (offset / 3600, (offset / 60) % 60))
437
421
 
438
422
 
439
423
def compact_date(when):
445
429
    """Return size of given open file."""
446
430
    return os.fstat(f.fileno())[ST_SIZE]
447
431
 
448
 
 
449
432
# Define rand_bytes based on platform.
450
433
try:
451
434
    # Python 2.4 and later have os.urandom,
468
451
                n -= 1
469
452
            return s
470
453
 
471
 
 
472
 
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
473
 
def rand_chars(num):
474
 
    """Return a random string of num alphanumeric characters
475
 
    
476
 
    The result only contains lowercase chars because it may be used on 
477
 
    case-insensitive filesystems.
478
 
    """
479
 
    s = ''
480
 
    for raw_byte in rand_bytes(num):
481
 
        s += ALNUM[ord(raw_byte) % 36]
482
 
    return s
483
 
 
484
 
 
485
454
## TODO: We could later have path objects that remember their list
486
455
## decomposition (might be too tricksy though.)
487
456
 
522
491
    for f in p:
523
492
        if (f == '..') or (f == None) or (f == ''):
524
493
            raise BzrError("sorry, %r not allowed in path" % f)
525
 
    return pathjoin(*p)
 
494
    return os.path.join(*p)
526
495
 
527
496
 
528
497
def appendpath(p1, p2):
529
498
    if p1 == '':
530
499
        return p2
531
500
    else:
532
 
        return pathjoin(p1, p2)
 
501
        return os.path.join(p1, p2)
533
502
    
534
503
 
535
 
def split_lines(s):
536
 
    """Split s into lines, but without removing the newline characters."""
537
 
    lines = s.split('\n')
538
 
    result = [line + '\n' for line in lines[:-1]]
539
 
    if lines[-1]:
540
 
        result.append(lines[-1])
541
 
    return result
542
 
 
543
 
 
544
 
def hardlinks_good():
545
 
    return sys.platform not in ('win32', 'cygwin', 'darwin')
546
 
 
547
 
 
548
 
def link_or_copy(src, dest):
549
 
    """Hardlink a file, or copy it if it can't be hardlinked."""
550
 
    if not hardlinks_good():
551
 
        copyfile(src, dest)
552
 
        return
553
 
    try:
554
 
        os.link(src, dest)
555
 
    except (OSError, IOError), e:
556
 
        if e.errno != errno.EXDEV:
557
 
            raise
558
 
        copyfile(src, dest)
559
 
 
560
 
def delete_any(full_path):
561
 
    """Delete a file or directory."""
562
 
    try:
563
 
        os.unlink(full_path)
564
 
    except OSError, e:
565
 
    # We may be renaming a dangling inventory id
566
 
        if e.errno not in (errno.EISDIR, errno.EACCES, errno.EPERM):
567
 
            raise
568
 
        os.rmdir(full_path)
569
 
 
570
 
 
571
 
def has_symlinks():
572
 
    if hasattr(os, 'symlink'):
573
 
        return True
574
 
    else:
575
 
        return False
576
 
        
577
 
 
578
 
def contains_whitespace(s):
579
 
    """True if there are any whitespace characters in s."""
580
 
    for ch in string.whitespace:
581
 
        if ch in s:
582
 
            return True
583
 
    else:
584
 
        return False
585
 
 
586
 
 
587
 
def contains_linebreaks(s):
588
 
    """True if there is any vertical whitespace in s."""
589
 
    for ch in '\f\n\r':
590
 
        if ch in s:
591
 
            return True
592
 
    else:
593
 
        return False
594
 
 
595
 
 
596
 
def relpath(base, path):
597
 
    """Return path relative to base, or raise exception.
598
 
 
599
 
    The path may be either an absolute path or a path relative to the
600
 
    current working directory.
601
 
 
602
 
    os.path.commonprefix (python2.4) has a bad bug that it works just
603
 
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
604
 
    avoids that problem.
605
 
    """
606
 
 
607
 
    assert len(base) >= MIN_ABS_PATHLENGTH, ('Length of base must be equal or'
608
 
        ' exceed the platform minimum length (which is %d)' % 
609
 
        MIN_ABS_PATHLENGTH)
610
 
    rp = abspath(path)
611
 
 
612
 
    s = []
613
 
    head = rp
614
 
    while len(head) >= len(base):
615
 
        if head == base:
616
 
            break
617
 
        head, tail = os.path.split(head)
618
 
        if tail:
619
 
            s.insert(0, tail)
620
 
    else:
621
 
        # XXX This should raise a NotChildPath exception, as its not tied
622
 
        # to branch anymore.
623
 
        raise PathNotChild(rp, base)
624
 
 
625
 
    if s:
626
 
        return pathjoin(*s)
627
 
    else:
628
 
        return ''
629
 
 
630
 
 
631
 
def safe_unicode(unicode_or_utf8_string):
632
 
    """Coerce unicode_or_utf8_string into unicode.
633
 
 
634
 
    If it is unicode, it is returned.
635
 
    Otherwise it is decoded from utf-8. If a decoding error
636
 
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
637
 
    as a BzrBadParameter exception.
638
 
    """
639
 
    if isinstance(unicode_or_utf8_string, unicode):
640
 
        return unicode_or_utf8_string
641
 
    try:
642
 
        return unicode_or_utf8_string.decode('utf8')
643
 
    except UnicodeDecodeError:
644
 
        raise BzrBadParameterNotUnicode(unicode_or_utf8_string)
645
 
 
646
 
 
647
 
def terminal_width():
648
 
    """Return estimated terminal width."""
649
 
 
650
 
    # TODO: Do something smart on Windows?
651
 
 
652
 
    # TODO: Is there anything that gets a better update when the window
653
 
    # is resized while the program is running? We could use the Python termcap
654
 
    # library.
655
 
    try:
656
 
        return int(os.environ['COLUMNS'])
657
 
    except (IndexError, KeyError, ValueError):
658
 
        return 80
659
 
 
660
 
def supports_executable():
661
 
    return sys.platform != "win32"
662
 
 
663
 
 
664
 
def strip_trailing_slash(path):
665
 
    """Strip trailing slash, except for root paths.
666
 
    The definition of 'root path' is platform-dependent.
667
 
    """
668
 
    if len(path) != MIN_ABS_PATHLENGTH and path[-1] == '/':
669
 
        return path[:-1]
670
 
    else:
671
 
        return path
672
 
 
673
 
 
674
 
_validWin32PathRE = re.compile(r'^([A-Za-z]:[/\\])?[^:<>*"?\|]*$')
675
 
 
676
 
 
677
 
def check_legal_path(path):
678
 
    """Check whether the supplied path is legal.  
679
 
    This is only required on Windows, so we don't test on other platforms
680
 
    right now.
681
 
    """
682
 
    if sys.platform != "win32":
683
 
        return
684
 
    if _validWin32PathRE.match(path) is None:
685
 
        raise IllegalPath(path)
 
504
def extern_command(cmd, ignore_errors = False):
 
505
    mutter('external command: %s' % `cmd`)
 
506
    if os.system(cmd):
 
507
        if not ignore_errors:
 
508
            raise BzrError('command failed')
 
509
 
 
510
 
 
511
def _read_config_value(name):
 
512
    """Read a config value from the file ~/.bzr.conf/<name>
 
513
    Return None if the file does not exist"""
 
514
    try:
 
515
        f = file(os.path.join(config_dir(), name), "r")
 
516
        return f.read().decode(bzrlib.user_encoding).rstrip("\r\n")
 
517
    except IOError, e:
 
518
        if e.errno == errno.ENOENT:
 
519
            return None
 
520
        raise