~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Robert Collins
  • Date: 2005-10-11 03:19:29 UTC
  • Revision ID: robertc@robertcollins.net-20051011031929-2d523107133c43be
further tuning of pull, do not do a local merge or fetch at all, if the remote branch is no newer than we are

Show diffs side-by-side

added added

removed removed

Lines of Context:
24
24
import os
25
25
import re
26
26
import sha
27
 
import string
28
27
import sys
29
28
import time
30
29
import types
31
 
import tempfile
32
30
 
33
31
import bzrlib
34
 
from bzrlib.errors import (BzrError,
35
 
                           BzrBadParameter,
36
 
                           NoSuchFile,
37
 
                           PathNotChild,
38
 
                           )
 
32
from bzrlib.errors import BzrError
39
33
from bzrlib.trace import mutter
40
34
 
41
35
 
102
96
        raise BzrError('invalid file kind %r' % kind)
103
97
 
104
98
def lexists(f):
105
 
    if hasattr(os.path, 'lexists'):
106
 
        return os.path.lexists(f)
107
99
    try:
108
100
        if hasattr(os, 'lstat'):
109
101
            os.lstat(f)
116
108
        else:
117
109
            raise BzrError("lstat/stat of (%r): %r" % (f, e))
118
110
 
119
 
def fancy_rename(old, new, rename_func, unlink_func):
120
 
    """A fancy rename, when you don't have atomic rename.
121
 
    
122
 
    :param old: The old path, to rename from
123
 
    :param new: The new path, to rename to
124
 
    :param rename_func: The potentially non-atomic rename function
125
 
    :param unlink_func: A way to delete the target file if the full rename succeeds
126
 
    """
127
 
 
128
 
    # sftp rename doesn't allow overwriting, so play tricks:
129
 
    import random
130
 
    base = os.path.basename(new)
131
 
    dirname = os.path.dirname(new)
132
 
    tmp_name = u'tmp.%s.%.9f.%d.%d' % (base, time.time(), os.getpid(), random.randint(0, 0x7FFFFFFF))
133
 
    tmp_name = pathjoin(dirname, tmp_name)
134
 
 
135
 
    # Rename the file out of the way, but keep track if it didn't exist
136
 
    # We don't want to grab just any exception
137
 
    # something like EACCES should prevent us from continuing
138
 
    # The downside is that the rename_func has to throw an exception
139
 
    # with an errno = ENOENT, or NoSuchFile
140
 
    file_existed = False
141
 
    try:
142
 
        rename_func(new, tmp_name)
143
 
    except (NoSuchFile,), e:
144
 
        pass
145
 
    except IOError, e:
146
 
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
147
 
        # function raises an IOError with errno == None when a rename fails.
148
 
        # This then gets caught here.
149
 
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
150
 
            raise
151
 
    except Exception, e:
152
 
        if (not hasattr(e, 'errno') 
153
 
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
154
 
            raise
155
 
    else:
156
 
        file_existed = True
157
 
 
158
 
    success = False
159
 
    try:
160
 
        # This may throw an exception, in which case success will
161
 
        # not be set.
162
 
        rename_func(old, new)
163
 
        success = True
164
 
    finally:
165
 
        if file_existed:
166
 
            # If the file used to exist, rename it back into place
167
 
            # otherwise just delete it from the tmp location
168
 
            if success:
169
 
                unlink_func(tmp_name)
170
 
            else:
171
 
                rename_func(tmp_name, new)
172
 
 
173
 
# Default is to just use the python builtins
174
 
abspath = os.path.abspath
175
 
realpath = os.path.realpath
176
 
pathjoin = os.path.join
177
 
normpath = os.path.normpath
178
 
getcwd = os.getcwdu
179
 
mkdtemp = tempfile.mkdtemp
180
 
rename = os.rename
181
 
dirname = os.path.dirname
182
 
basename = os.path.basename
183
 
 
184
 
if os.name == "posix":
185
 
    # In Python 2.4.2 and older, os.path.abspath and os.path.realpath
186
 
    # choke on a Unicode string containing a relative path if
187
 
    # os.getcwd() returns a non-sys.getdefaultencoding()-encoded
188
 
    # string.
189
 
    _fs_enc = sys.getfilesystemencoding()
190
 
    def abspath(path):
191
 
        return os.path.abspath(path.encode(_fs_enc)).decode(_fs_enc)
192
 
 
193
 
    def realpath(path):
194
 
        return os.path.realpath(path.encode(_fs_enc)).decode(_fs_enc)
195
 
 
196
 
if sys.platform == 'win32':
197
 
    # We need to use the Unicode-aware os.path.abspath and
198
 
    # os.path.realpath on Windows systems.
199
 
    def abspath(path):
200
 
        return os.path.abspath(path).replace('\\', '/')
201
 
 
202
 
    def realpath(path):
203
 
        return os.path.realpath(path).replace('\\', '/')
204
 
 
205
 
    def pathjoin(*args):
206
 
        return os.path.join(*args).replace('\\', '/')
207
 
 
208
 
    def normpath(path):
209
 
        return os.path.normpath(path).replace('\\', '/')
210
 
 
211
 
    def getcwd():
212
 
        return os.getcwdu().replace('\\', '/')
213
 
 
214
 
    def mkdtemp(*args, **kwargs):
215
 
        return tempfile.mkdtemp(*args, **kwargs).replace('\\', '/')
216
 
 
217
 
    def rename(old, new):
218
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
219
 
 
220
 
 
221
111
def normalizepath(f):
222
112
    if hasattr(os.path, 'realpath'):
223
 
        F = realpath
 
113
        F = os.path.realpath
224
114
    else:
225
 
        F = abspath
 
115
        F = os.path.abspath
226
116
    [p,e] = os.path.split(f)
227
117
    if e == "" or e == "." or e == "..":
228
118
        return F(f)
229
119
    else:
230
 
        return pathjoin(F(p), e)
231
 
 
 
120
        return os.path.join(F(p), e)
 
121
    
232
122
 
233
123
def backup_file(fn):
234
124
    """Copy a file to a backup.
241
131
        return
242
132
    bfn = fn + '~'
243
133
 
244
 
    if has_symlinks() and os.path.islink(fn):
245
 
        target = os.readlink(fn)
246
 
        os.symlink(target, bfn)
247
 
        return
248
134
    inf = file(fn, 'rb')
249
135
    try:
250
136
        content = inf.read()
257
143
    finally:
258
144
        outf.close()
259
145
 
 
146
if os.name == 'nt':
 
147
    import shutil
 
148
    rename = shutil.move
 
149
else:
 
150
    rename = os.rename
 
151
 
260
152
 
261
153
def isdir(f):
262
154
    """True if f is an accessible directory."""
283
175
def is_inside(dir, fname):
284
176
    """True if fname is inside dir.
285
177
    
286
 
    The parameters should typically be passed to osutils.normpath first, so
 
178
    The parameters should typically be passed to os.path.normpath first, so
287
179
    that . and .. and repeated slashes are eliminated, and the separators
288
180
    are canonical for the platform.
289
181
    
290
182
    The empty string as a dir name is taken as top-of-tree and matches 
291
183
    everything.
292
184
    
293
 
    >>> is_inside('src', pathjoin('src', 'foo.c'))
 
185
    >>> is_inside('src', os.path.join('src', 'foo.c'))
294
186
    True
295
187
    >>> is_inside('src', 'srccontrol')
296
188
    False
297
 
    >>> is_inside('src', pathjoin('src', 'a', 'a', 'a', 'foo.c'))
 
189
    >>> is_inside('src', os.path.join('src', 'a', 'a', 'a', 'foo.c'))
298
190
    True
299
191
    >>> is_inside('foo.c', 'foo.c')
300
192
    True
311
203
    if dir == '':
312
204
        return True
313
205
 
314
 
    if dir[-1] != '/':
315
 
        dir += '/'
 
206
    if dir[-1] != os.sep:
 
207
        dir += os.sep
316
208
 
317
209
    return fname.startswith(dir)
318
210
 
328
220
 
329
221
def pumpfile(fromfile, tofile):
330
222
    """Copy contents of one file to another."""
331
 
    BUFSIZE = 32768
332
 
    while True:
333
 
        b = fromfile.read(BUFSIZE)
334
 
        if not b:
335
 
            break
336
 
        tofile.write(b)
 
223
    tofile.write(fromfile.read())
337
224
 
338
225
 
339
226
def sha_file(f):
372
259
            'sha1': s.hexdigest()}
373
260
 
374
261
 
 
262
def config_dir():
 
263
    """Return per-user configuration directory.
 
264
 
 
265
    By default this is ~/.bzr.conf/
 
266
    
 
267
    TODO: Global option --config-dir to override this.
 
268
    """
 
269
    return os.path.join(os.path.expanduser("~"), ".bzr.conf")
 
270
 
 
271
 
 
272
def _auto_user_id():
 
273
    """Calculate automatic user identification.
 
274
 
 
275
    Returns (realname, email).
 
276
 
 
277
    Only used when none is set in the environment or the id file.
 
278
 
 
279
    This previously used the FQDN as the default domain, but that can
 
280
    be very slow on machines where DNS is broken.  So now we simply
 
281
    use the hostname.
 
282
    """
 
283
    import socket
 
284
 
 
285
    # XXX: Any good way to get real user name on win32?
 
286
 
 
287
    try:
 
288
        import pwd
 
289
        uid = os.getuid()
 
290
        w = pwd.getpwuid(uid)
 
291
        gecos = w.pw_gecos.decode(bzrlib.user_encoding)
 
292
        username = w.pw_name.decode(bzrlib.user_encoding)
 
293
        comma = gecos.find(',')
 
294
        if comma == -1:
 
295
            realname = gecos
 
296
        else:
 
297
            realname = gecos[:comma]
 
298
        if not realname:
 
299
            realname = username
 
300
 
 
301
    except ImportError:
 
302
        import getpass
 
303
        realname = username = getpass.getuser().decode(bzrlib.user_encoding)
 
304
 
 
305
    return realname, (username + '@' + socket.gethostname())
 
306
 
 
307
 
 
308
def _get_user_id(branch):
 
309
    """Return the full user id from a file or environment variable.
 
310
 
 
311
    e.g. "John Hacker <jhacker@foo.org>"
 
312
 
 
313
    branch
 
314
        A branch to use for a per-branch configuration, or None.
 
315
 
 
316
    The following are searched in order:
 
317
 
 
318
    1. $BZREMAIL
 
319
    2. .bzr/email for this branch.
 
320
    3. ~/.bzr.conf/email
 
321
    4. $EMAIL
 
322
    """
 
323
    v = os.environ.get('BZREMAIL')
 
324
    if v:
 
325
        return v.decode(bzrlib.user_encoding)
 
326
 
 
327
    if branch:
 
328
        try:
 
329
            return (branch.controlfile("email", "r") 
 
330
                    .read()
 
331
                    .decode(bzrlib.user_encoding)
 
332
                    .rstrip("\r\n"))
 
333
        except IOError, e:
 
334
            if e.errno != errno.ENOENT:
 
335
                raise
 
336
        except BzrError, e:
 
337
            pass
 
338
    
 
339
    try:
 
340
        return (open(os.path.join(config_dir(), "email"))
 
341
                .read()
 
342
                .decode(bzrlib.user_encoding)
 
343
                .rstrip("\r\n"))
 
344
    except IOError, e:
 
345
        if e.errno != errno.ENOENT:
 
346
            raise e
 
347
 
 
348
    v = os.environ.get('EMAIL')
 
349
    if v:
 
350
        return v.decode(bzrlib.user_encoding)
 
351
    else:    
 
352
        return None
 
353
 
 
354
 
 
355
def username(branch):
 
356
    """Return email-style username.
 
357
 
 
358
    Something similar to 'Martin Pool <mbp@sourcefrog.net>'
 
359
 
 
360
    TODO: Check it's reasonably well-formed.
 
361
    """
 
362
    v = _get_user_id(branch)
 
363
    if v:
 
364
        return v
 
365
    
 
366
    name, email = _auto_user_id()
 
367
    if name:
 
368
        return '%s <%s>' % (name, email)
 
369
    else:
 
370
        return email
 
371
 
 
372
 
 
373
def user_email(branch):
 
374
    """Return just the email component of a username."""
 
375
    e = _get_user_id(branch)
 
376
    if e:
 
377
        m = re.search(r'[\w+.-]+@[\w+.-]+', e)
 
378
        if not m:
 
379
            raise BzrError("%r doesn't seem to contain "
 
380
                           "a reasonable email address" % e)
 
381
        return m.group(0)
 
382
 
 
383
    return _auto_user_id()[1]
 
384
 
 
385
 
375
386
def compare_files(a, b):
376
387
    """Returns true if equal in contents"""
377
388
    BUFSIZE = 4096
396
407
        return -time.timezone
397
408
 
398
409
    
399
 
def format_date(t, offset=0, timezone='original', date_fmt=None, 
400
 
                show_offset=True):
 
410
def format_date(t, offset=0, timezone='original'):
401
411
    ## TODO: Perhaps a global option to use either universal or local time?
402
412
    ## Or perhaps just let people set $TZ?
403
413
    assert isinstance(t, float)
415
425
    else:
416
426
        raise BzrError("unsupported timezone format %r" % timezone,
417
427
                       ['options are "utc", "original", "local"'])
418
 
    if date_fmt is None:
419
 
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
420
 
    if show_offset:
421
 
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
422
 
    else:
423
 
        offset_str = ''
424
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
428
 
 
429
    return (time.strftime("%a %Y-%m-%d %H:%M:%S", tt)
 
430
            + ' %+03d%02d' % (offset / 3600, (offset / 60) % 60))
425
431
 
426
432
 
427
433
def compact_date(when):
495
501
    for f in p:
496
502
        if (f == '..') or (f == None) or (f == ''):
497
503
            raise BzrError("sorry, %r not allowed in path" % f)
498
 
    return pathjoin(*p)
 
504
    return os.path.join(*p)
499
505
 
500
506
 
501
507
def appendpath(p1, p2):
502
508
    if p1 == '':
503
509
        return p2
504
510
    else:
505
 
        return pathjoin(p1, p2)
 
511
        return os.path.join(p1, p2)
506
512
    
507
513
 
 
514
def _read_config_value(name):
 
515
    """Read a config value from the file ~/.bzr.conf/<name>
 
516
    Return None if the file does not exist"""
 
517
    try:
 
518
        f = file(os.path.join(config_dir(), name), "r")
 
519
        return f.read().decode(bzrlib.user_encoding).rstrip("\r\n")
 
520
    except IOError, e:
 
521
        if e.errno == errno.ENOENT:
 
522
            return None
 
523
        raise
 
524
 
 
525
 
508
526
def split_lines(s):
509
527
    """Split s into lines, but without removing the newline characters."""
510
528
    return StringIO(s).readlines()
532
550
        return True
533
551
    else:
534
552
        return False
535
 
        
536
 
 
537
 
def contains_whitespace(s):
538
 
    """True if there are any whitespace characters in s."""
539
 
    for ch in string.whitespace:
540
 
        if ch in s:
541
 
            return True
542
 
    else:
543
 
        return False
544
 
 
545
 
 
546
 
def contains_linebreaks(s):
547
 
    """True if there is any vertical whitespace in s."""
548
 
    for ch in '\f\n\r':
549
 
        if ch in s:
550
 
            return True
551
 
    else:
552
 
        return False
553
 
 
554
 
 
555
 
def relpath(base, path):
556
 
    """Return path relative to base, or raise exception.
557
 
 
558
 
    The path may be either an absolute path or a path relative to the
559
 
    current working directory.
560
 
 
561
 
    os.path.commonprefix (python2.4) has a bad bug that it works just
562
 
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
563
 
    avoids that problem."""
564
 
    rp = abspath(path)
565
 
 
566
 
    s = []
567
 
    head = rp
568
 
    while len(head) >= len(base):
569
 
        if head == base:
570
 
            break
571
 
        head, tail = os.path.split(head)
572
 
        if tail:
573
 
            s.insert(0, tail)
574
 
    else:
575
 
        # XXX This should raise a NotChildPath exception, as its not tied
576
 
        # to branch anymore.
577
 
        raise PathNotChild(rp, base)
578
 
 
579
 
    if s:
580
 
        return pathjoin(*s)
581
 
    else:
582
 
        return ''
583
 
 
584
 
 
585
 
def safe_unicode(unicode_or_utf8_string):
586
 
    """Coerce unicode_or_utf8_string into unicode.
587
 
 
588
 
    If it is unicode, it is returned.
589
 
    Otherwise it is decoded from utf-8. If a decoding error
590
 
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
591
 
    as a BzrBadParameter exception.
592
 
    """
593
 
    if isinstance(unicode_or_utf8_string, unicode):
594
 
        return unicode_or_utf8_string
595
 
    try:
596
 
        return unicode_or_utf8_string.decode('utf8')
597
 
    except UnicodeDecodeError:
598
 
        raise BzrBadParameter(unicode_or_utf8_string)
599
 
 
600
 
 
601
 
def terminal_width():
602
 
    """Return estimated terminal width."""
603
 
 
604
 
    # TODO: Do something smart on Windows?
605
 
 
606
 
    # TODO: Is there anything that gets a better update when the window
607
 
    # is resized while the program is running? We could use the Python termcap
608
 
    # library.
609
 
    try:
610
 
        return int(os.environ['COLUMNS'])
611
 
    except (IndexError, KeyError, ValueError):
612
 
        return 80