~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Aaron Bentley
  • Date: 2005-10-03 16:53:39 UTC
  • mto: (1185.25.1)
  • mto: This revision was merged to the branch mainline in revision 1419.
  • Revision ID: abentley@panoramicfeedback.com-20051003165339-9ee4d484477fd164
Ignored user-installed plugins

Show diffs side-by-side

added added

removed removed

Lines of Context:
24
24
import os
25
25
import re
26
26
import sha
27
 
import string
28
27
import sys
29
28
import time
30
29
import types
31
 
import tempfile
32
30
 
33
31
import bzrlib
34
 
from bzrlib.errors import (BzrError,
35
 
                           BzrBadParameter,
36
 
                           NoSuchFile,
37
 
                           PathNotChild,
38
 
                           )
 
32
from bzrlib.errors import BzrError
39
33
from bzrlib.trace import mutter
40
34
 
41
35
 
101
95
    else:
102
96
        raise BzrError('invalid file kind %r' % kind)
103
97
 
104
 
def lexists(f):
105
 
    if hasattr(os.path, 'lexists'):
106
 
        return os.path.lexists(f)
107
 
    try:
108
 
        if hasattr(os, 'lstat'):
109
 
            os.lstat(f)
110
 
        else:
111
 
            os.stat(f)
112
 
        return True
113
 
    except OSError,e:
114
 
        if e.errno == errno.ENOENT:
115
 
            return False;
116
 
        else:
117
 
            raise BzrError("lstat/stat of (%r): %r" % (f, e))
118
 
 
119
 
def fancy_rename(old, new, rename_func, unlink_func):
120
 
    """A fancy rename, when you don't have atomic rename.
121
 
    
122
 
    :param old: The old path, to rename from
123
 
    :param new: The new path, to rename to
124
 
    :param rename_func: The potentially non-atomic rename function
125
 
    :param unlink_func: A way to delete the target file if the full rename succeeds
126
 
    """
127
 
 
128
 
    # sftp rename doesn't allow overwriting, so play tricks:
129
 
    import random
130
 
    base = os.path.basename(new)
131
 
    dirname = os.path.dirname(new)
132
 
    tmp_name = u'tmp.%s.%.9f.%d.%d' % (base, time.time(), os.getpid(), random.randint(0, 0x7FFFFFFF))
133
 
    tmp_name = pathjoin(dirname, tmp_name)
134
 
 
135
 
    # Rename the file out of the way, but keep track if it didn't exist
136
 
    # We don't want to grab just any exception
137
 
    # something like EACCES should prevent us from continuing
138
 
    # The downside is that the rename_func has to throw an exception
139
 
    # with an errno = ENOENT, or NoSuchFile
140
 
    file_existed = False
141
 
    try:
142
 
        rename_func(new, tmp_name)
143
 
    except (NoSuchFile,), e:
144
 
        pass
145
 
    except IOError, e:
146
 
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
147
 
        # function raises an IOError with errno == None when a rename fails.
148
 
        # This then gets caught here.
149
 
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
150
 
            raise
151
 
    except Exception, e:
152
 
        if (not hasattr(e, 'errno') 
153
 
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
154
 
            raise
155
 
    else:
156
 
        file_existed = True
157
 
 
158
 
    success = False
159
 
    try:
160
 
        # This may throw an exception, in which case success will
161
 
        # not be set.
162
 
        rename_func(old, new)
163
 
        success = True
164
 
    finally:
165
 
        if file_existed:
166
 
            # If the file used to exist, rename it back into place
167
 
            # otherwise just delete it from the tmp location
168
 
            if success:
169
 
                unlink_func(tmp_name)
170
 
            else:
171
 
                rename_func(tmp_name, new)
172
 
 
173
 
# Default is to just use the python builtins
174
 
abspath = os.path.abspath
175
 
realpath = os.path.realpath
176
 
pathjoin = os.path.join
177
 
normpath = os.path.normpath
178
 
getcwd = os.getcwdu
179
 
mkdtemp = tempfile.mkdtemp
180
 
rename = os.rename
181
 
dirname = os.path.dirname
182
 
basename = os.path.basename
183
 
 
184
 
if os.name == "posix":
185
 
    # In Python 2.4.2 and older, os.path.abspath and os.path.realpath
186
 
    # choke on a Unicode string containing a relative path if
187
 
    # os.getcwd() returns a non-sys.getdefaultencoding()-encoded
188
 
    # string.
189
 
    _fs_enc = sys.getfilesystemencoding()
190
 
    def abspath(path):
191
 
        return os.path.abspath(path.encode(_fs_enc)).decode(_fs_enc)
192
 
 
193
 
    def realpath(path):
194
 
        return os.path.realpath(path.encode(_fs_enc)).decode(_fs_enc)
195
 
 
196
 
if sys.platform == 'win32':
197
 
    # We need to use the Unicode-aware os.path.abspath and
198
 
    # os.path.realpath on Windows systems.
199
 
    def abspath(path):
200
 
        return os.path.abspath(path).replace('\\', '/')
201
 
 
202
 
    def realpath(path):
203
 
        return os.path.realpath(path).replace('\\', '/')
204
 
 
205
 
    def pathjoin(*args):
206
 
        return os.path.join(*args).replace('\\', '/')
207
 
 
208
 
    def normpath(path):
209
 
        return os.path.normpath(path).replace('\\', '/')
210
 
 
211
 
    def getcwd():
212
 
        return os.getcwdu().replace('\\', '/')
213
 
 
214
 
    def mkdtemp(*args, **kwargs):
215
 
        return tempfile.mkdtemp(*args, **kwargs).replace('\\', '/')
216
 
 
217
 
    def rename(old, new):
218
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
219
 
 
220
 
 
221
 
def normalizepath(f):
222
 
    if hasattr(os.path, 'realpath'):
223
 
        F = realpath
224
 
    else:
225
 
        F = abspath
226
 
    [p,e] = os.path.split(f)
227
 
    if e == "" or e == "." or e == "..":
228
 
        return F(f)
229
 
    else:
230
 
        return pathjoin(F(p), e)
231
 
 
232
98
 
233
99
def backup_file(fn):
234
100
    """Copy a file to a backup.
241
107
        return
242
108
    bfn = fn + '~'
243
109
 
244
 
    if has_symlinks() and os.path.islink(fn):
245
 
        target = os.readlink(fn)
246
 
        os.symlink(target, bfn)
247
 
        return
248
110
    inf = file(fn, 'rb')
249
111
    try:
250
112
        content = inf.read()
257
119
    finally:
258
120
        outf.close()
259
121
 
 
122
if os.name == 'nt':
 
123
    import shutil
 
124
    rename = shutil.move
 
125
else:
 
126
    rename = os.rename
 
127
 
260
128
 
261
129
def isdir(f):
262
130
    """True if f is an accessible directory."""
273
141
    except OSError:
274
142
        return False
275
143
 
276
 
def islink(f):
277
 
    """True if f is a symlink."""
278
 
    try:
279
 
        return S_ISLNK(os.lstat(f)[ST_MODE])
280
 
    except OSError:
281
 
        return False
282
144
 
283
145
def is_inside(dir, fname):
284
146
    """True if fname is inside dir.
285
147
    
286
 
    The parameters should typically be passed to osutils.normpath first, so
 
148
    The parameters should typically be passed to os.path.normpath first, so
287
149
    that . and .. and repeated slashes are eliminated, and the separators
288
150
    are canonical for the platform.
289
151
    
290
152
    The empty string as a dir name is taken as top-of-tree and matches 
291
153
    everything.
292
154
    
293
 
    >>> is_inside('src', pathjoin('src', 'foo.c'))
 
155
    >>> is_inside('src', os.path.join('src', 'foo.c'))
294
156
    True
295
157
    >>> is_inside('src', 'srccontrol')
296
158
    False
297
 
    >>> is_inside('src', pathjoin('src', 'a', 'a', 'a', 'foo.c'))
 
159
    >>> is_inside('src', os.path.join('src', 'a', 'a', 'a', 'foo.c'))
298
160
    True
299
161
    >>> is_inside('foo.c', 'foo.c')
300
162
    True
311
173
    if dir == '':
312
174
        return True
313
175
 
314
 
    if dir[-1] != '/':
315
 
        dir += '/'
 
176
    if dir[-1] != os.sep:
 
177
        dir += os.sep
316
178
 
317
179
    return fname.startswith(dir)
318
180
 
328
190
 
329
191
def pumpfile(fromfile, tofile):
330
192
    """Copy contents of one file to another."""
331
 
    BUFSIZE = 32768
332
 
    while True:
333
 
        b = fromfile.read(BUFSIZE)
334
 
        if not b:
335
 
            break
336
 
        tofile.write(b)
 
193
    tofile.write(fromfile.read())
337
194
 
338
195
 
339
196
def sha_file(f):
372
229
            'sha1': s.hexdigest()}
373
230
 
374
231
 
 
232
def config_dir():
 
233
    """Return per-user configuration directory.
 
234
 
 
235
    By default this is ~/.bzr.conf/
 
236
    
 
237
    TODO: Global option --config-dir to override this.
 
238
    """
 
239
    return os.path.join(os.path.expanduser("~"), ".bzr.conf")
 
240
 
 
241
 
 
242
def _auto_user_id():
 
243
    """Calculate automatic user identification.
 
244
 
 
245
    Returns (realname, email).
 
246
 
 
247
    Only used when none is set in the environment or the id file.
 
248
 
 
249
    This previously used the FQDN as the default domain, but that can
 
250
    be very slow on machines where DNS is broken.  So now we simply
 
251
    use the hostname.
 
252
    """
 
253
    import socket
 
254
 
 
255
    # XXX: Any good way to get real user name on win32?
 
256
 
 
257
    try:
 
258
        import pwd
 
259
        uid = os.getuid()
 
260
        w = pwd.getpwuid(uid)
 
261
        gecos = w.pw_gecos.decode(bzrlib.user_encoding)
 
262
        username = w.pw_name.decode(bzrlib.user_encoding)
 
263
        comma = gecos.find(',')
 
264
        if comma == -1:
 
265
            realname = gecos
 
266
        else:
 
267
            realname = gecos[:comma]
 
268
        if not realname:
 
269
            realname = username
 
270
 
 
271
    except ImportError:
 
272
        import getpass
 
273
        realname = username = getpass.getuser().decode(bzrlib.user_encoding)
 
274
 
 
275
    return realname, (username + '@' + socket.gethostname())
 
276
 
 
277
 
 
278
def _get_user_id(branch):
 
279
    """Return the full user id from a file or environment variable.
 
280
 
 
281
    e.g. "John Hacker <jhacker@foo.org>"
 
282
 
 
283
    branch
 
284
        A branch to use for a per-branch configuration, or None.
 
285
 
 
286
    The following are searched in order:
 
287
 
 
288
    1. $BZREMAIL
 
289
    2. .bzr/email for this branch.
 
290
    3. ~/.bzr.conf/email
 
291
    4. $EMAIL
 
292
    """
 
293
    v = os.environ.get('BZREMAIL')
 
294
    if v:
 
295
        return v.decode(bzrlib.user_encoding)
 
296
 
 
297
    if branch:
 
298
        try:
 
299
            return (branch.controlfile("email", "r") 
 
300
                    .read()
 
301
                    .decode(bzrlib.user_encoding)
 
302
                    .rstrip("\r\n"))
 
303
        except IOError, e:
 
304
            if e.errno != errno.ENOENT:
 
305
                raise
 
306
        except BzrError, e:
 
307
            pass
 
308
    
 
309
    try:
 
310
        return (open(os.path.join(config_dir(), "email"))
 
311
                .read()
 
312
                .decode(bzrlib.user_encoding)
 
313
                .rstrip("\r\n"))
 
314
    except IOError, e:
 
315
        if e.errno != errno.ENOENT:
 
316
            raise e
 
317
 
 
318
    v = os.environ.get('EMAIL')
 
319
    if v:
 
320
        return v.decode(bzrlib.user_encoding)
 
321
    else:    
 
322
        return None
 
323
 
 
324
 
 
325
def username(branch):
 
326
    """Return email-style username.
 
327
 
 
328
    Something similar to 'Martin Pool <mbp@sourcefrog.net>'
 
329
 
 
330
    TODO: Check it's reasonably well-formed.
 
331
    """
 
332
    v = _get_user_id(branch)
 
333
    if v:
 
334
        return v
 
335
    
 
336
    name, email = _auto_user_id()
 
337
    if name:
 
338
        return '%s <%s>' % (name, email)
 
339
    else:
 
340
        return email
 
341
 
 
342
 
 
343
def user_email(branch):
 
344
    """Return just the email component of a username."""
 
345
    e = _get_user_id(branch)
 
346
    if e:
 
347
        m = re.search(r'[\w+.-]+@[\w+.-]+', e)
 
348
        if not m:
 
349
            raise BzrError("%r doesn't seem to contain "
 
350
                           "a reasonable email address" % e)
 
351
        return m.group(0)
 
352
 
 
353
    return _auto_user_id()[1]
 
354
 
 
355
 
375
356
def compare_files(a, b):
376
357
    """Returns true if equal in contents"""
377
358
    BUFSIZE = 4096
396
377
        return -time.timezone
397
378
 
398
379
    
399
 
def format_date(t, offset=0, timezone='original', date_fmt=None, 
400
 
                show_offset=True):
 
380
def format_date(t, offset=0, timezone='original'):
401
381
    ## TODO: Perhaps a global option to use either universal or local time?
402
382
    ## Or perhaps just let people set $TZ?
403
383
    assert isinstance(t, float)
415
395
    else:
416
396
        raise BzrError("unsupported timezone format %r" % timezone,
417
397
                       ['options are "utc", "original", "local"'])
418
 
    if date_fmt is None:
419
 
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
420
 
    if show_offset:
421
 
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
422
 
    else:
423
 
        offset_str = ''
424
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
398
 
 
399
    return (time.strftime("%a %Y-%m-%d %H:%M:%S", tt)
 
400
            + ' %+03d%02d' % (offset / 3600, (offset / 60) % 60))
425
401
 
426
402
 
427
403
def compact_date(when):
495
471
    for f in p:
496
472
        if (f == '..') or (f == None) or (f == ''):
497
473
            raise BzrError("sorry, %r not allowed in path" % f)
498
 
    return pathjoin(*p)
 
474
    return os.path.join(*p)
499
475
 
500
476
 
501
477
def appendpath(p1, p2):
502
478
    if p1 == '':
503
479
        return p2
504
480
    else:
505
 
        return pathjoin(p1, p2)
 
481
        return os.path.join(p1, p2)
506
482
    
507
483
 
 
484
def _read_config_value(name):
 
485
    """Read a config value from the file ~/.bzr.conf/<name>
 
486
    Return None if the file does not exist"""
 
487
    try:
 
488
        f = file(os.path.join(config_dir(), name), "r")
 
489
        return f.read().decode(bzrlib.user_encoding).rstrip("\r\n")
 
490
    except IOError, e:
 
491
        if e.errno == errno.ENOENT:
 
492
            return None
 
493
        raise
 
494
 
 
495
 
508
496
def split_lines(s):
509
497
    """Split s into lines, but without removing the newline characters."""
510
498
    return StringIO(s).readlines()
525
513
        if e.errno != errno.EXDEV:
526
514
            raise
527
515
        copyfile(src, dest)
528
 
 
529
 
 
530
 
def has_symlinks():
531
 
    if hasattr(os, 'symlink'):
532
 
        return True
533
 
    else:
534
 
        return False
535
 
        
536
 
 
537
 
def contains_whitespace(s):
538
 
    """True if there are any whitespace characters in s."""
539
 
    for ch in string.whitespace:
540
 
        if ch in s:
541
 
            return True
542
 
    else:
543
 
        return False
544
 
 
545
 
 
546
 
def contains_linebreaks(s):
547
 
    """True if there is any vertical whitespace in s."""
548
 
    for ch in '\f\n\r':
549
 
        if ch in s:
550
 
            return True
551
 
    else:
552
 
        return False
553
 
 
554
 
 
555
 
def relpath(base, path):
556
 
    """Return path relative to base, or raise exception.
557
 
 
558
 
    The path may be either an absolute path or a path relative to the
559
 
    current working directory.
560
 
 
561
 
    os.path.commonprefix (python2.4) has a bad bug that it works just
562
 
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
563
 
    avoids that problem."""
564
 
    rp = abspath(path)
565
 
 
566
 
    s = []
567
 
    head = rp
568
 
    while len(head) >= len(base):
569
 
        if head == base:
570
 
            break
571
 
        head, tail = os.path.split(head)
572
 
        if tail:
573
 
            s.insert(0, tail)
574
 
    else:
575
 
        # XXX This should raise a NotChildPath exception, as its not tied
576
 
        # to branch anymore.
577
 
        raise PathNotChild(rp, base)
578
 
 
579
 
    if s:
580
 
        return pathjoin(*s)
581
 
    else:
582
 
        return ''
583
 
 
584
 
 
585
 
def safe_unicode(unicode_or_utf8_string):
586
 
    """Coerce unicode_or_utf8_string into unicode.
587
 
 
588
 
    If it is unicode, it is returned.
589
 
    Otherwise it is decoded from utf-8. If a decoding error
590
 
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
591
 
    as a BzrBadParameter exception.
592
 
    """
593
 
    if isinstance(unicode_or_utf8_string, unicode):
594
 
        return unicode_or_utf8_string
595
 
    try:
596
 
        return unicode_or_utf8_string.decode('utf8')
597
 
    except UnicodeDecodeError:
598
 
        raise BzrBadParameter(unicode_or_utf8_string)
599
 
 
600
 
 
601
 
def terminal_width():
602
 
    """Return estimated terminal width."""
603
 
 
604
 
    # TODO: Do something smart on Windows?
605
 
 
606
 
    # TODO: Is there anything that gets a better update when the window
607
 
    # is resized while the program is running? We could use the Python termcap
608
 
    # library.
609
 
    try:
610
 
        return int(os.environ['COLUMNS'])
611
 
    except (IndexError, KeyError, ValueError):
612
 
        return 80