~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Robert Collins
  • Date: 2005-10-06 22:15:52 UTC
  • mfrom: (1185.13.2)
  • mto: This revision was merged to the branch mainline in revision 1420.
  • Revision ID: robertc@robertcollins.net-20051006221552-9b15c96fa504e0ad
mergeĀ fromĀ upstream

Show diffs side-by-side

added added

removed removed

Lines of Context:
24
24
import os
25
25
import re
26
26
import sha
27
 
import string
28
27
import sys
29
28
import time
30
29
import types
31
 
import tempfile
32
30
 
33
31
import bzrlib
34
 
from bzrlib.errors import BzrError, PathNotChild, NoSuchFile
 
32
from bzrlib.errors import BzrError
35
33
from bzrlib.trace import mutter
36
34
 
37
35
 
98
96
        raise BzrError('invalid file kind %r' % kind)
99
97
 
100
98
def lexists(f):
101
 
    if hasattr(os.path, 'lexists'):
102
 
        return os.path.lexists(f)
103
99
    try:
104
100
        if hasattr(os, 'lstat'):
105
101
            os.lstat(f)
112
108
        else:
113
109
            raise BzrError("lstat/stat of (%r): %r" % (f, e))
114
110
 
115
 
def fancy_rename(old, new, rename_func, unlink_func):
116
 
    """A fancy rename, when you don't have atomic rename.
117
 
    
118
 
    :param old: The old path, to rename from
119
 
    :param new: The new path, to rename to
120
 
    :param rename_func: The potentially non-atomic rename function
121
 
    :param unlink_func: A way to delete the target file if the full rename succeeds
122
 
    """
123
 
 
124
 
    # sftp rename doesn't allow overwriting, so play tricks:
125
 
    import random
126
 
    base = os.path.basename(new)
127
 
    dirname = os.path.dirname(new)
128
 
    tmp_name = u'tmp.%s.%.9f.%d.%d' % (base, time.time(), os.getpid(), random.randint(0, 0x7FFFFFFF))
129
 
    tmp_name = pathjoin(dirname, tmp_name)
130
 
 
131
 
    # Rename the file out of the way, but keep track if it didn't exist
132
 
    # We don't want to grab just any exception
133
 
    # something like EACCES should prevent us from continuing
134
 
    # The downside is that the rename_func has to throw an exception
135
 
    # with an errno = ENOENT, or NoSuchFile
136
 
    file_existed = False
137
 
    try:
138
 
        rename_func(new, tmp_name)
139
 
    except (NoSuchFile,), e:
140
 
        pass
141
 
    except IOError, e:
142
 
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
143
 
        # function raises an IOError with errno == None when a rename fails.
144
 
        # This then gets caught here.
145
 
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
146
 
            raise
147
 
    except Exception, e:
148
 
        if (not hasattr(e, 'errno') 
149
 
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
150
 
            raise
151
 
    else:
152
 
        file_existed = True
153
 
 
154
 
    success = False
155
 
    try:
156
 
        # This may throw an exception, in which case success will
157
 
        # not be set.
158
 
        rename_func(old, new)
159
 
        success = True
160
 
    finally:
161
 
        if file_existed:
162
 
            # If the file used to exist, rename it back into place
163
 
            # otherwise just delete it from the tmp location
164
 
            if success:
165
 
                unlink_func(tmp_name)
166
 
            else:
167
 
                rename_func(tmp_name, new)
168
 
 
169
 
# Default is to just use the python builtins
170
 
abspath = os.path.abspath
171
 
realpath = os.path.realpath
172
 
pathjoin = os.path.join
173
 
normpath = os.path.normpath
174
 
getcwd = os.getcwdu
175
 
mkdtemp = tempfile.mkdtemp
176
 
rename = os.rename
177
 
dirname = os.path.dirname
178
 
basename = os.path.basename
179
 
 
180
 
if os.name == "posix":
181
 
    # In Python 2.4.2 and older, os.path.abspath and os.path.realpath
182
 
    # choke on a Unicode string containing a relative path if
183
 
    # os.getcwd() returns a non-sys.getdefaultencoding()-encoded
184
 
    # string.
185
 
    _fs_enc = sys.getfilesystemencoding()
186
 
    def abspath(path):
187
 
        return os.path.abspath(path.encode(_fs_enc)).decode(_fs_enc)
188
 
 
189
 
    def realpath(path):
190
 
        return os.path.realpath(path.encode(_fs_enc)).decode(_fs_enc)
191
 
 
192
 
if sys.platform == 'win32':
193
 
    # We need to use the Unicode-aware os.path.abspath and
194
 
    # os.path.realpath on Windows systems.
195
 
    def abspath(path):
196
 
        return os.path.abspath(path).replace('\\', '/')
197
 
 
198
 
    def realpath(path):
199
 
        return os.path.realpath(path).replace('\\', '/')
200
 
 
201
 
    def pathjoin(*args):
202
 
        return os.path.join(*args).replace('\\', '/')
203
 
 
204
 
    def normpath(path):
205
 
        return os.path.normpath(path).replace('\\', '/')
206
 
 
207
 
    def getcwd():
208
 
        return os.getcwdu().replace('\\', '/')
209
 
 
210
 
    def mkdtemp(*args, **kwargs):
211
 
        return tempfile.mkdtemp(*args, **kwargs).replace('\\', '/')
212
 
 
213
 
    def rename(old, new):
214
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
215
 
 
216
 
 
217
111
def normalizepath(f):
218
112
    if hasattr(os.path, 'realpath'):
219
 
        F = realpath
 
113
        F = os.path.realpath
220
114
    else:
221
 
        F = abspath
 
115
        F = os.path.abspath
222
116
    [p,e] = os.path.split(f)
223
117
    if e == "" or e == "." or e == "..":
224
118
        return F(f)
225
119
    else:
226
 
        return pathjoin(F(p), e)
227
 
 
 
120
        return os.path.join(F(p), e)
 
121
    
228
122
 
229
123
def backup_file(fn):
230
124
    """Copy a file to a backup.
237
131
        return
238
132
    bfn = fn + '~'
239
133
 
240
 
    if has_symlinks() and os.path.islink(fn):
241
 
        target = os.readlink(fn)
242
 
        os.symlink(target, bfn)
243
 
        return
244
134
    inf = file(fn, 'rb')
245
135
    try:
246
136
        content = inf.read()
253
143
    finally:
254
144
        outf.close()
255
145
 
 
146
if os.name == 'nt':
 
147
    import shutil
 
148
    rename = shutil.move
 
149
else:
 
150
    rename = os.rename
 
151
 
256
152
 
257
153
def isdir(f):
258
154
    """True if f is an accessible directory."""
279
175
def is_inside(dir, fname):
280
176
    """True if fname is inside dir.
281
177
    
282
 
    The parameters should typically be passed to osutils.normpath first, so
 
178
    The parameters should typically be passed to os.path.normpath first, so
283
179
    that . and .. and repeated slashes are eliminated, and the separators
284
180
    are canonical for the platform.
285
181
    
286
182
    The empty string as a dir name is taken as top-of-tree and matches 
287
183
    everything.
288
184
    
289
 
    >>> is_inside('src', pathjoin('src', 'foo.c'))
 
185
    >>> is_inside('src', os.path.join('src', 'foo.c'))
290
186
    True
291
187
    >>> is_inside('src', 'srccontrol')
292
188
    False
293
 
    >>> is_inside('src', pathjoin('src', 'a', 'a', 'a', 'foo.c'))
 
189
    >>> is_inside('src', os.path.join('src', 'a', 'a', 'a', 'foo.c'))
294
190
    True
295
191
    >>> is_inside('foo.c', 'foo.c')
296
192
    True
307
203
    if dir == '':
308
204
        return True
309
205
 
310
 
    if dir[-1] != '/':
311
 
        dir += '/'
 
206
    if dir[-1] != os.sep:
 
207
        dir += os.sep
312
208
 
313
209
    return fname.startswith(dir)
314
210
 
324
220
 
325
221
def pumpfile(fromfile, tofile):
326
222
    """Copy contents of one file to another."""
327
 
    BUFSIZE = 32768
328
 
    while True:
329
 
        b = fromfile.read(BUFSIZE)
330
 
        if not b:
331
 
            break
332
 
        tofile.write(b)
 
223
    tofile.write(fromfile.read())
333
224
 
334
225
 
335
226
def sha_file(f):
368
259
            'sha1': s.hexdigest()}
369
260
 
370
261
 
 
262
def config_dir():
 
263
    """Return per-user configuration directory.
 
264
 
 
265
    By default this is ~/.bzr.conf/
 
266
    
 
267
    TODO: Global option --config-dir to override this.
 
268
    """
 
269
    return os.path.join(os.path.expanduser("~"), ".bzr.conf")
 
270
 
 
271
 
 
272
def _auto_user_id():
 
273
    """Calculate automatic user identification.
 
274
 
 
275
    Returns (realname, email).
 
276
 
 
277
    Only used when none is set in the environment or the id file.
 
278
 
 
279
    This previously used the FQDN as the default domain, but that can
 
280
    be very slow on machines where DNS is broken.  So now we simply
 
281
    use the hostname.
 
282
    """
 
283
    import socket
 
284
 
 
285
    # XXX: Any good way to get real user name on win32?
 
286
 
 
287
    try:
 
288
        import pwd
 
289
        uid = os.getuid()
 
290
        w = pwd.getpwuid(uid)
 
291
        gecos = w.pw_gecos.decode(bzrlib.user_encoding)
 
292
        username = w.pw_name.decode(bzrlib.user_encoding)
 
293
        comma = gecos.find(',')
 
294
        if comma == -1:
 
295
            realname = gecos
 
296
        else:
 
297
            realname = gecos[:comma]
 
298
        if not realname:
 
299
            realname = username
 
300
 
 
301
    except ImportError:
 
302
        import getpass
 
303
        realname = username = getpass.getuser().decode(bzrlib.user_encoding)
 
304
 
 
305
    return realname, (username + '@' + socket.gethostname())
 
306
 
 
307
 
 
308
def _get_user_id(branch):
 
309
    """Return the full user id from a file or environment variable.
 
310
 
 
311
    e.g. "John Hacker <jhacker@foo.org>"
 
312
 
 
313
    branch
 
314
        A branch to use for a per-branch configuration, or None.
 
315
 
 
316
    The following are searched in order:
 
317
 
 
318
    1. $BZREMAIL
 
319
    2. .bzr/email for this branch.
 
320
    3. ~/.bzr.conf/email
 
321
    4. $EMAIL
 
322
    """
 
323
    v = os.environ.get('BZREMAIL')
 
324
    if v:
 
325
        return v.decode(bzrlib.user_encoding)
 
326
 
 
327
    if branch:
 
328
        try:
 
329
            return (branch.controlfile("email", "r") 
 
330
                    .read()
 
331
                    .decode(bzrlib.user_encoding)
 
332
                    .rstrip("\r\n"))
 
333
        except IOError, e:
 
334
            if e.errno != errno.ENOENT:
 
335
                raise
 
336
        except BzrError, e:
 
337
            pass
 
338
    
 
339
    try:
 
340
        return (open(os.path.join(config_dir(), "email"))
 
341
                .read()
 
342
                .decode(bzrlib.user_encoding)
 
343
                .rstrip("\r\n"))
 
344
    except IOError, e:
 
345
        if e.errno != errno.ENOENT:
 
346
            raise e
 
347
 
 
348
    v = os.environ.get('EMAIL')
 
349
    if v:
 
350
        return v.decode(bzrlib.user_encoding)
 
351
    else:    
 
352
        return None
 
353
 
 
354
 
 
355
def username(branch):
 
356
    """Return email-style username.
 
357
 
 
358
    Something similar to 'Martin Pool <mbp@sourcefrog.net>'
 
359
 
 
360
    TODO: Check it's reasonably well-formed.
 
361
    """
 
362
    v = _get_user_id(branch)
 
363
    if v:
 
364
        return v
 
365
    
 
366
    name, email = _auto_user_id()
 
367
    if name:
 
368
        return '%s <%s>' % (name, email)
 
369
    else:
 
370
        return email
 
371
 
 
372
 
 
373
def user_email(branch):
 
374
    """Return just the email component of a username."""
 
375
    e = _get_user_id(branch)
 
376
    if e:
 
377
        m = re.search(r'[\w+.-]+@[\w+.-]+', e)
 
378
        if not m:
 
379
            raise BzrError("%r doesn't seem to contain "
 
380
                           "a reasonable email address" % e)
 
381
        return m.group(0)
 
382
 
 
383
    return _auto_user_id()[1]
 
384
 
 
385
 
371
386
def compare_files(a, b):
372
387
    """Returns true if equal in contents"""
373
388
    BUFSIZE = 4096
392
407
        return -time.timezone
393
408
 
394
409
    
395
 
def format_date(t, offset=0, timezone='original', date_fmt=None, 
396
 
                show_offset=True):
 
410
def format_date(t, offset=0, timezone='original'):
397
411
    ## TODO: Perhaps a global option to use either universal or local time?
398
412
    ## Or perhaps just let people set $TZ?
399
413
    assert isinstance(t, float)
411
425
    else:
412
426
        raise BzrError("unsupported timezone format %r" % timezone,
413
427
                       ['options are "utc", "original", "local"'])
414
 
    if date_fmt is None:
415
 
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
416
 
    if show_offset:
417
 
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
418
 
    else:
419
 
        offset_str = ''
420
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
428
 
 
429
    return (time.strftime("%a %Y-%m-%d %H:%M:%S", tt)
 
430
            + ' %+03d%02d' % (offset / 3600, (offset / 60) % 60))
421
431
 
422
432
 
423
433
def compact_date(when):
491
501
    for f in p:
492
502
        if (f == '..') or (f == None) or (f == ''):
493
503
            raise BzrError("sorry, %r not allowed in path" % f)
494
 
    return pathjoin(*p)
 
504
    return os.path.join(*p)
495
505
 
496
506
 
497
507
def appendpath(p1, p2):
498
508
    if p1 == '':
499
509
        return p2
500
510
    else:
501
 
        return pathjoin(p1, p2)
 
511
        return os.path.join(p1, p2)
502
512
    
503
513
 
 
514
def _read_config_value(name):
 
515
    """Read a config value from the file ~/.bzr.conf/<name>
 
516
    Return None if the file does not exist"""
 
517
    try:
 
518
        f = file(os.path.join(config_dir(), name), "r")
 
519
        return f.read().decode(bzrlib.user_encoding).rstrip("\r\n")
 
520
    except IOError, e:
 
521
        if e.errno == errno.ENOENT:
 
522
            return None
 
523
        raise
 
524
 
 
525
 
504
526
def split_lines(s):
505
527
    """Split s into lines, but without removing the newline characters."""
506
528
    return StringIO(s).readlines()
528
550
        return True
529
551
    else:
530
552
        return False
531
 
        
532
 
 
533
 
def contains_whitespace(s):
534
 
    """True if there are any whitespace characters in s."""
535
 
    for ch in string.whitespace:
536
 
        if ch in s:
537
 
            return True
538
 
    else:
539
 
        return False
540
 
 
541
 
 
542
 
def contains_linebreaks(s):
543
 
    """True if there is any vertical whitespace in s."""
544
 
    for ch in '\f\n\r':
545
 
        if ch in s:
546
 
            return True
547
 
    else:
548
 
        return False
549
 
 
550
 
 
551
 
def relpath(base, path):
552
 
    """Return path relative to base, or raise exception.
553
 
 
554
 
    The path may be either an absolute path or a path relative to the
555
 
    current working directory.
556
 
 
557
 
    os.path.commonprefix (python2.4) has a bad bug that it works just
558
 
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
559
 
    avoids that problem."""
560
 
    rp = abspath(path)
561
 
 
562
 
    s = []
563
 
    head = rp
564
 
    while len(head) >= len(base):
565
 
        if head == base:
566
 
            break
567
 
        head, tail = os.path.split(head)
568
 
        if tail:
569
 
            s.insert(0, tail)
570
 
    else:
571
 
        # XXX This should raise a NotChildPath exception, as its not tied
572
 
        # to branch anymore.
573
 
        raise PathNotChild(rp, base)
574
 
 
575
 
    if s:
576
 
        return pathjoin(*s)
577
 
    else:
578
 
        return ''
579
 
 
580
 
 
581
 
def terminal_width():
582
 
    """Return estimated terminal width."""
583
 
 
584
 
    # TODO: Do something smart on Windows?
585
 
 
586
 
    # TODO: Is there anything that gets a better update when the window
587
 
    # is resized while the program is running? We could use the Python termcap
588
 
    # library.
589
 
    try:
590
 
        return int(os.environ['COLUMNS'])
591
 
    except (IndexError, KeyError, ValueError):
592
 
        return 80