~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Robert Collins
  • Date: 2005-10-03 05:54:35 UTC
  • mto: (1393.1.30)
  • mto: This revision was merged to the branch mainline in revision 1400.
  • Revision ID: robertc@robertcollins.net-20051003055434-c8ebd30d1de10247
move exporting functionality into inventory.py - uncovers bug in symlink support

Show diffs side-by-side

added added

removed removed

Lines of Context:
24
24
import os
25
25
import re
26
26
import sha
27
 
import string
28
27
import sys
29
28
import time
30
29
import types
31
 
import tempfile
32
30
 
33
31
import bzrlib
34
 
from bzrlib.errors import (BzrError,
35
 
                           BzrBadParameterNotUnicode,
36
 
                           NoSuchFile,
37
 
                           PathNotChild,
38
 
                           IllegalPath,
39
 
                           )
 
32
from bzrlib.errors import BzrError
40
33
from bzrlib.trace import mutter
41
34
 
42
35
 
103
96
        raise BzrError('invalid file kind %r' % kind)
104
97
 
105
98
def lexists(f):
106
 
    if hasattr(os.path, 'lexists'):
107
 
        return os.path.lexists(f)
108
99
    try:
109
100
        if hasattr(os, 'lstat'):
110
101
            os.lstat(f)
117
108
        else:
118
109
            raise BzrError("lstat/stat of (%r): %r" % (f, e))
119
110
 
120
 
def fancy_rename(old, new, rename_func, unlink_func):
121
 
    """A fancy rename, when you don't have atomic rename.
122
 
    
123
 
    :param old: The old path, to rename from
124
 
    :param new: The new path, to rename to
125
 
    :param rename_func: The potentially non-atomic rename function
126
 
    :param unlink_func: A way to delete the target file if the full rename succeeds
127
 
    """
128
 
 
129
 
    # sftp rename doesn't allow overwriting, so play tricks:
130
 
    import random
131
 
    base = os.path.basename(new)
132
 
    dirname = os.path.dirname(new)
133
 
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
134
 
    tmp_name = pathjoin(dirname, tmp_name)
135
 
 
136
 
    # Rename the file out of the way, but keep track if it didn't exist
137
 
    # We don't want to grab just any exception
138
 
    # something like EACCES should prevent us from continuing
139
 
    # The downside is that the rename_func has to throw an exception
140
 
    # with an errno = ENOENT, or NoSuchFile
141
 
    file_existed = False
142
 
    try:
143
 
        rename_func(new, tmp_name)
144
 
    except (NoSuchFile,), e:
145
 
        pass
146
 
    except IOError, e:
147
 
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
148
 
        # function raises an IOError with errno == None when a rename fails.
149
 
        # This then gets caught here.
150
 
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
151
 
            raise
152
 
    except Exception, e:
153
 
        if (not hasattr(e, 'errno') 
154
 
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
155
 
            raise
156
 
    else:
157
 
        file_existed = True
158
 
 
159
 
    success = False
160
 
    try:
161
 
        # This may throw an exception, in which case success will
162
 
        # not be set.
163
 
        rename_func(old, new)
164
 
        success = True
165
 
    finally:
166
 
        if file_existed:
167
 
            # If the file used to exist, rename it back into place
168
 
            # otherwise just delete it from the tmp location
169
 
            if success:
170
 
                unlink_func(tmp_name)
171
 
            else:
172
 
                rename_func(tmp_name, new)
173
 
 
174
 
# Default is to just use the python builtins
175
 
abspath = os.path.abspath
176
 
realpath = os.path.realpath
177
 
pathjoin = os.path.join
178
 
normpath = os.path.normpath
179
 
getcwd = os.getcwdu
180
 
mkdtemp = tempfile.mkdtemp
181
 
rename = os.rename
182
 
dirname = os.path.dirname
183
 
basename = os.path.basename
184
 
 
185
 
MIN_ABS_PATHLENGTH = 1
186
 
 
187
 
if os.name == "posix":
188
 
    # In Python 2.4.2 and older, os.path.abspath and os.path.realpath
189
 
    # choke on a Unicode string containing a relative path if
190
 
    # os.getcwd() returns a non-sys.getdefaultencoding()-encoded
191
 
    # string.
192
 
    _fs_enc = sys.getfilesystemencoding()
193
 
    def abspath(path):
194
 
        return os.path.abspath(path.encode(_fs_enc)).decode(_fs_enc)
195
 
 
196
 
    def realpath(path):
197
 
        return os.path.realpath(path.encode(_fs_enc)).decode(_fs_enc)
198
 
 
199
 
if sys.platform == 'win32':
200
 
    # We need to use the Unicode-aware os.path.abspath and
201
 
    # os.path.realpath on Windows systems.
202
 
    def abspath(path):
203
 
        return os.path.abspath(path).replace('\\', '/')
204
 
 
205
 
    def realpath(path):
206
 
        return os.path.realpath(path).replace('\\', '/')
207
 
 
208
 
    def pathjoin(*args):
209
 
        return os.path.join(*args).replace('\\', '/')
210
 
 
211
 
    def normpath(path):
212
 
        return os.path.normpath(path).replace('\\', '/')
213
 
 
214
 
    def getcwd():
215
 
        return os.getcwdu().replace('\\', '/')
216
 
 
217
 
    def mkdtemp(*args, **kwargs):
218
 
        return tempfile.mkdtemp(*args, **kwargs).replace('\\', '/')
219
 
 
220
 
    def rename(old, new):
221
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
222
 
 
223
 
    MIN_ABS_PATHLENGTH = 3
224
 
 
225
111
def normalizepath(f):
226
112
    if hasattr(os.path, 'realpath'):
227
 
        F = realpath
 
113
        F = os.path.realpath
228
114
    else:
229
 
        F = abspath
 
115
        F = os.path.abspath
230
116
    [p,e] = os.path.split(f)
231
117
    if e == "" or e == "." or e == "..":
232
118
        return F(f)
233
119
    else:
234
 
        return pathjoin(F(p), e)
235
 
 
 
120
        return os.path.join(F(p), e)
 
121
    
236
122
 
237
123
def backup_file(fn):
238
124
    """Copy a file to a backup.
245
131
        return
246
132
    bfn = fn + '~'
247
133
 
248
 
    if has_symlinks() and os.path.islink(fn):
249
 
        target = os.readlink(fn)
250
 
        os.symlink(target, bfn)
251
 
        return
252
134
    inf = file(fn, 'rb')
253
135
    try:
254
136
        content = inf.read()
261
143
    finally:
262
144
        outf.close()
263
145
 
 
146
if os.name == 'nt':
 
147
    import shutil
 
148
    rename = shutil.move
 
149
else:
 
150
    rename = os.rename
 
151
 
264
152
 
265
153
def isdir(f):
266
154
    """True if f is an accessible directory."""
287
175
def is_inside(dir, fname):
288
176
    """True if fname is inside dir.
289
177
    
290
 
    The parameters should typically be passed to osutils.normpath first, so
 
178
    The parameters should typically be passed to os.path.normpath first, so
291
179
    that . and .. and repeated slashes are eliminated, and the separators
292
180
    are canonical for the platform.
293
181
    
294
182
    The empty string as a dir name is taken as top-of-tree and matches 
295
183
    everything.
296
184
    
297
 
    >>> is_inside('src', pathjoin('src', 'foo.c'))
 
185
    >>> is_inside('src', os.path.join('src', 'foo.c'))
298
186
    True
299
187
    >>> is_inside('src', 'srccontrol')
300
188
    False
301
 
    >>> is_inside('src', pathjoin('src', 'a', 'a', 'a', 'foo.c'))
 
189
    >>> is_inside('src', os.path.join('src', 'a', 'a', 'a', 'foo.c'))
302
190
    True
303
191
    >>> is_inside('foo.c', 'foo.c')
304
192
    True
315
203
    if dir == '':
316
204
        return True
317
205
 
318
 
    if dir[-1] != '/':
319
 
        dir += '/'
 
206
    if dir[-1] != os.sep:
 
207
        dir += os.sep
320
208
 
321
209
    return fname.startswith(dir)
322
210
 
332
220
 
333
221
def pumpfile(fromfile, tofile):
334
222
    """Copy contents of one file to another."""
335
 
    BUFSIZE = 32768
336
 
    while True:
337
 
        b = fromfile.read(BUFSIZE)
338
 
        if not b:
339
 
            break
340
 
        tofile.write(b)
341
 
 
342
 
 
343
 
def file_iterator(input_file, readsize=32768):
344
 
    while True:
345
 
        b = input_file.read(readsize)
346
 
        if len(b) == 0:
347
 
            break
348
 
        yield b
 
223
    tofile.write(fromfile.read())
349
224
 
350
225
 
351
226
def sha_file(f):
384
259
            'sha1': s.hexdigest()}
385
260
 
386
261
 
 
262
def config_dir():
 
263
    """Return per-user configuration directory.
 
264
 
 
265
    By default this is ~/.bzr.conf/
 
266
    
 
267
    TODO: Global option --config-dir to override this.
 
268
    """
 
269
    return os.path.join(os.path.expanduser("~"), ".bzr.conf")
 
270
 
 
271
 
 
272
def _auto_user_id():
 
273
    """Calculate automatic user identification.
 
274
 
 
275
    Returns (realname, email).
 
276
 
 
277
    Only used when none is set in the environment or the id file.
 
278
 
 
279
    This previously used the FQDN as the default domain, but that can
 
280
    be very slow on machines where DNS is broken.  So now we simply
 
281
    use the hostname.
 
282
    """
 
283
    import socket
 
284
 
 
285
    # XXX: Any good way to get real user name on win32?
 
286
 
 
287
    try:
 
288
        import pwd
 
289
        uid = os.getuid()
 
290
        w = pwd.getpwuid(uid)
 
291
        gecos = w.pw_gecos.decode(bzrlib.user_encoding)
 
292
        username = w.pw_name.decode(bzrlib.user_encoding)
 
293
        comma = gecos.find(',')
 
294
        if comma == -1:
 
295
            realname = gecos
 
296
        else:
 
297
            realname = gecos[:comma]
 
298
        if not realname:
 
299
            realname = username
 
300
 
 
301
    except ImportError:
 
302
        import getpass
 
303
        realname = username = getpass.getuser().decode(bzrlib.user_encoding)
 
304
 
 
305
    return realname, (username + '@' + socket.gethostname())
 
306
 
 
307
 
 
308
def _get_user_id(branch):
 
309
    """Return the full user id from a file or environment variable.
 
310
 
 
311
    e.g. "John Hacker <jhacker@foo.org>"
 
312
 
 
313
    branch
 
314
        A branch to use for a per-branch configuration, or None.
 
315
 
 
316
    The following are searched in order:
 
317
 
 
318
    1. $BZREMAIL
 
319
    2. .bzr/email for this branch.
 
320
    3. ~/.bzr.conf/email
 
321
    4. $EMAIL
 
322
    """
 
323
    v = os.environ.get('BZREMAIL')
 
324
    if v:
 
325
        return v.decode(bzrlib.user_encoding)
 
326
 
 
327
    if branch:
 
328
        try:
 
329
            return (branch.controlfile("email", "r") 
 
330
                    .read()
 
331
                    .decode(bzrlib.user_encoding)
 
332
                    .rstrip("\r\n"))
 
333
        except IOError, e:
 
334
            if e.errno != errno.ENOENT:
 
335
                raise
 
336
        except BzrError, e:
 
337
            pass
 
338
    
 
339
    try:
 
340
        return (open(os.path.join(config_dir(), "email"))
 
341
                .read()
 
342
                .decode(bzrlib.user_encoding)
 
343
                .rstrip("\r\n"))
 
344
    except IOError, e:
 
345
        if e.errno != errno.ENOENT:
 
346
            raise e
 
347
 
 
348
    v = os.environ.get('EMAIL')
 
349
    if v:
 
350
        return v.decode(bzrlib.user_encoding)
 
351
    else:    
 
352
        return None
 
353
 
 
354
 
 
355
def username(branch):
 
356
    """Return email-style username.
 
357
 
 
358
    Something similar to 'Martin Pool <mbp@sourcefrog.net>'
 
359
 
 
360
    TODO: Check it's reasonably well-formed.
 
361
    """
 
362
    v = _get_user_id(branch)
 
363
    if v:
 
364
        return v
 
365
    
 
366
    name, email = _auto_user_id()
 
367
    if name:
 
368
        return '%s <%s>' % (name, email)
 
369
    else:
 
370
        return email
 
371
 
 
372
 
 
373
def user_email(branch):
 
374
    """Return just the email component of a username."""
 
375
    e = _get_user_id(branch)
 
376
    if e:
 
377
        m = re.search(r'[\w+.-]+@[\w+.-]+', e)
 
378
        if not m:
 
379
            raise BzrError("%r doesn't seem to contain "
 
380
                           "a reasonable email address" % e)
 
381
        return m.group(0)
 
382
 
 
383
    return _auto_user_id()[1]
 
384
 
 
385
 
387
386
def compare_files(a, b):
388
387
    """Returns true if equal in contents"""
389
388
    BUFSIZE = 4096
408
407
        return -time.timezone
409
408
 
410
409
    
411
 
def format_date(t, offset=0, timezone='original', date_fmt=None, 
412
 
                show_offset=True):
 
410
def format_date(t, offset=0, timezone='original'):
413
411
    ## TODO: Perhaps a global option to use either universal or local time?
414
412
    ## Or perhaps just let people set $TZ?
415
413
    assert isinstance(t, float)
427
425
    else:
428
426
        raise BzrError("unsupported timezone format %r" % timezone,
429
427
                       ['options are "utc", "original", "local"'])
430
 
    if date_fmt is None:
431
 
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
432
 
    if show_offset:
433
 
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
434
 
    else:
435
 
        offset_str = ''
436
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
428
 
 
429
    return (time.strftime("%a %Y-%m-%d %H:%M:%S", tt)
 
430
            + ' %+03d%02d' % (offset / 3600, (offset / 60) % 60))
437
431
 
438
432
 
439
433
def compact_date(when):
445
439
    """Return size of given open file."""
446
440
    return os.fstat(f.fileno())[ST_SIZE]
447
441
 
448
 
 
449
442
# Define rand_bytes based on platform.
450
443
try:
451
444
    # Python 2.4 and later have os.urandom,
468
461
                n -= 1
469
462
            return s
470
463
 
471
 
 
472
 
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
473
 
def rand_chars(num):
474
 
    """Return a random string of num alphanumeric characters
475
 
    
476
 
    The result only contains lowercase chars because it may be used on 
477
 
    case-insensitive filesystems.
478
 
    """
479
 
    s = ''
480
 
    for raw_byte in rand_bytes(num):
481
 
        s += ALNUM[ord(raw_byte) % 36]
482
 
    return s
483
 
 
484
 
 
485
464
## TODO: We could later have path objects that remember their list
486
465
## decomposition (might be too tricksy though.)
487
466
 
522
501
    for f in p:
523
502
        if (f == '..') or (f == None) or (f == ''):
524
503
            raise BzrError("sorry, %r not allowed in path" % f)
525
 
    return pathjoin(*p)
 
504
    return os.path.join(*p)
526
505
 
527
506
 
528
507
def appendpath(p1, p2):
529
508
    if p1 == '':
530
509
        return p2
531
510
    else:
532
 
        return pathjoin(p1, p2)
 
511
        return os.path.join(p1, p2)
533
512
    
534
513
 
 
514
def _read_config_value(name):
 
515
    """Read a config value from the file ~/.bzr.conf/<name>
 
516
    Return None if the file does not exist"""
 
517
    try:
 
518
        f = file(os.path.join(config_dir(), name), "r")
 
519
        return f.read().decode(bzrlib.user_encoding).rstrip("\r\n")
 
520
    except IOError, e:
 
521
        if e.errno == errno.ENOENT:
 
522
            return None
 
523
        raise
 
524
 
 
525
 
535
526
def split_lines(s):
536
527
    """Split s into lines, but without removing the newline characters."""
537
 
    lines = s.split('\n')
538
 
    result = [line + '\n' for line in lines[:-1]]
539
 
    if lines[-1]:
540
 
        result.append(lines[-1])
541
 
    return result
 
528
    return StringIO(s).readlines()
542
529
 
543
530
 
544
531
def hardlinks_good():
557
544
            raise
558
545
        copyfile(src, dest)
559
546
 
560
 
def delete_any(full_path):
561
 
    """Delete a file or directory."""
562
 
    try:
563
 
        os.unlink(full_path)
564
 
    except OSError, e:
565
 
    # We may be renaming a dangling inventory id
566
 
        if e.errno not in (errno.EISDIR, errno.EACCES, errno.EPERM):
567
 
            raise
568
 
        os.rmdir(full_path)
569
 
 
570
547
 
571
548
def has_symlinks():
572
549
    if hasattr(os, 'symlink'):
573
550
        return True
574
551
    else:
575
552
        return False
576
 
        
577
 
 
578
 
def contains_whitespace(s):
579
 
    """True if there are any whitespace characters in s."""
580
 
    for ch in string.whitespace:
581
 
        if ch in s:
582
 
            return True
583
 
    else:
584
 
        return False
585
 
 
586
 
 
587
 
def contains_linebreaks(s):
588
 
    """True if there is any vertical whitespace in s."""
589
 
    for ch in '\f\n\r':
590
 
        if ch in s:
591
 
            return True
592
 
    else:
593
 
        return False
594
 
 
595
 
 
596
 
def relpath(base, path):
597
 
    """Return path relative to base, or raise exception.
598
 
 
599
 
    The path may be either an absolute path or a path relative to the
600
 
    current working directory.
601
 
 
602
 
    os.path.commonprefix (python2.4) has a bad bug that it works just
603
 
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
604
 
    avoids that problem.
605
 
    """
606
 
 
607
 
    assert len(base) >= MIN_ABS_PATHLENGTH, ('Length of base must be equal or'
608
 
        ' exceed the platform minimum length (which is %d)' % 
609
 
        MIN_ABS_PATHLENGTH)
610
 
    rp = abspath(path)
611
 
 
612
 
    s = []
613
 
    head = rp
614
 
    while len(head) >= len(base):
615
 
        if head == base:
616
 
            break
617
 
        head, tail = os.path.split(head)
618
 
        if tail:
619
 
            s.insert(0, tail)
620
 
    else:
621
 
        # XXX This should raise a NotChildPath exception, as its not tied
622
 
        # to branch anymore.
623
 
        raise PathNotChild(rp, base)
624
 
 
625
 
    if s:
626
 
        return pathjoin(*s)
627
 
    else:
628
 
        return ''
629
 
 
630
 
 
631
 
def safe_unicode(unicode_or_utf8_string):
632
 
    """Coerce unicode_or_utf8_string into unicode.
633
 
 
634
 
    If it is unicode, it is returned.
635
 
    Otherwise it is decoded from utf-8. If a decoding error
636
 
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
637
 
    as a BzrBadParameter exception.
638
 
    """
639
 
    if isinstance(unicode_or_utf8_string, unicode):
640
 
        return unicode_or_utf8_string
641
 
    try:
642
 
        return unicode_or_utf8_string.decode('utf8')
643
 
    except UnicodeDecodeError:
644
 
        raise BzrBadParameterNotUnicode(unicode_or_utf8_string)
645
 
 
646
 
 
647
 
def terminal_width():
648
 
    """Return estimated terminal width."""
649
 
 
650
 
    # TODO: Do something smart on Windows?
651
 
 
652
 
    # TODO: Is there anything that gets a better update when the window
653
 
    # is resized while the program is running? We could use the Python termcap
654
 
    # library.
655
 
    try:
656
 
        return int(os.environ['COLUMNS'])
657
 
    except (IndexError, KeyError, ValueError):
658
 
        return 80
659
 
 
660
 
def supports_executable():
661
 
    return sys.platform != "win32"
662
 
 
663
 
 
664
 
def strip_trailing_slash(path):
665
 
    """Strip trailing slash, except for root paths.
666
 
    The definition of 'root path' is platform-dependent.
667
 
    """
668
 
    if len(path) != MIN_ABS_PATHLENGTH and path[-1] == '/':
669
 
        return path[:-1]
670
 
    else:
671
 
        return path
672
 
 
673
 
 
674
 
_validWin32PathRE = re.compile(r'^([A-Za-z]:[/\\])?[^:<>*"?\|]*$')
675
 
 
676
 
 
677
 
def check_legal_path(path):
678
 
    """Check whether the supplied path is legal.  
679
 
    This is only required on Windows, so we don't test on other platforms
680
 
    right now.
681
 
    """
682
 
    if sys.platform != "win32":
683
 
        return
684
 
    if _validWin32PathRE.match(path) is None:
685
 
        raise IllegalPath(path)