~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

add a clean target

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
# Bazaar-NG -- distributed version control
2
 
#
 
2
 
3
3
# Copyright (C) 2005 by Canonical Ltd
4
 
#
 
4
 
5
5
# This program is free software; you can redistribute it and/or modify
6
6
# it under the terms of the GNU General Public License as published by
7
7
# the Free Software Foundation; either version 2 of the License, or
8
8
# (at your option) any later version.
9
 
#
 
9
 
10
10
# This program is distributed in the hope that it will be useful,
11
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
12
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13
13
# GNU General Public License for more details.
14
 
#
 
14
 
15
15
# You should have received a copy of the GNU General Public License
16
16
# along with this program; if not, write to the Free Software
17
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18
18
 
19
 
from shutil import copyfile
20
 
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
21
 
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
22
 
from cStringIO import StringIO
23
 
import errno
24
 
import os
25
 
import re
26
 
import sha
27
 
import string
28
 
import sys
29
 
import time
30
 
import types
31
 
import tempfile
 
19
import os, types, re, time, errno, sys
 
20
from stat import S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE
32
21
 
 
22
from bzrlib.errors import BzrError
 
23
from bzrlib.trace import mutter
33
24
import bzrlib
34
 
from bzrlib.errors import BzrError, PathNotChild, NoSuchFile
35
 
from bzrlib.trace import mutter
36
 
 
37
25
 
38
26
def make_readonly(filename):
39
27
    """Make a filename read-only."""
 
28
    # TODO: probably needs to be fixed for windows
40
29
    mod = os.stat(filename).st_mode
41
30
    mod = mod & 0777555
42
31
    os.chmod(filename, mod)
59
48
    # TODO: I'm not really sure this is the best format either.x
60
49
    global _QUOTE_RE
61
50
    if _QUOTE_RE == None:
62
 
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
 
51
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/_~-])')
63
52
        
64
53
    if _QUOTE_RE.search(f):
65
54
        return '"' + f + '"'
75
64
        return 'directory'
76
65
    elif S_ISLNK(mode):
77
66
        return 'symlink'
78
 
    elif S_ISCHR(mode):
79
 
        return 'chardev'
80
 
    elif S_ISBLK(mode):
81
 
        return 'block'
82
 
    elif S_ISFIFO(mode):
83
 
        return 'fifo'
84
 
    elif S_ISSOCK(mode):
85
 
        return 'socket'
86
67
    else:
87
 
        return 'unknown'
 
68
        raise BzrError("can't handle file kind with mode %o of %r" % (mode, f))
88
69
 
89
70
 
90
71
def kind_marker(kind):
97
78
    else:
98
79
        raise BzrError('invalid file kind %r' % kind)
99
80
 
100
 
def lexists(f):
101
 
    if hasattr(os.path, 'lexists'):
102
 
        return os.path.lexists(f)
103
 
    try:
104
 
        if hasattr(os, 'lstat'):
105
 
            os.lstat(f)
106
 
        else:
107
 
            os.stat(f)
108
 
        return True
109
 
    except OSError,e:
110
 
        if e.errno == errno.ENOENT:
111
 
            return False;
112
 
        else:
113
 
            raise BzrError("lstat/stat of (%r): %r" % (f, e))
114
 
 
115
 
def fancy_rename(old, new, rename_func, unlink_func):
116
 
    """A fancy rename, when you don't have atomic rename.
117
 
    
118
 
    :param old: The old path, to rename from
119
 
    :param new: The new path, to rename to
120
 
    :param rename_func: The potentially non-atomic rename function
121
 
    :param unlink_func: A way to delete the target file if the full rename succeeds
122
 
    """
123
 
 
124
 
    # sftp rename doesn't allow overwriting, so play tricks:
125
 
    import random
126
 
    base = os.path.basename(new)
127
 
    dirname = os.path.dirname(new)
128
 
    tmp_name = u'tmp.%s.%.9f.%d.%d' % (base, time.time(), os.getpid(), random.randint(0, 0x7FFFFFFF))
129
 
    tmp_name = pathjoin(dirname, tmp_name)
130
 
 
131
 
    # Rename the file out of the way, but keep track if it didn't exist
132
 
    # We don't want to grab just any exception
133
 
    # something like EACCES should prevent us from continuing
134
 
    # The downside is that the rename_func has to throw an exception
135
 
    # with an errno = ENOENT, or NoSuchFile
136
 
    file_existed = False
137
 
    try:
138
 
        rename_func(new, tmp_name)
139
 
    except (NoSuchFile,), e:
140
 
        pass
141
 
    except IOError, e:
142
 
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
143
 
        # function raises an IOError with errno == None when a rename fails.
144
 
        # This then gets caught here.
145
 
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
146
 
            raise
147
 
    except Exception, e:
148
 
        if (not hasattr(e, 'errno') 
149
 
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
150
 
            raise
151
 
    else:
152
 
        file_existed = True
153
 
 
154
 
    success = False
155
 
    try:
156
 
        # This may throw an exception, in which case success will
157
 
        # not be set.
158
 
        rename_func(old, new)
159
 
        success = True
160
 
    finally:
161
 
        if file_existed:
162
 
            # If the file used to exist, rename it back into place
163
 
            # otherwise just delete it from the tmp location
164
 
            if success:
165
 
                unlink_func(tmp_name)
166
 
            else:
167
 
                rename_func(tmp_name, new)
168
 
 
169
 
# Default is to just use the python builtins
170
 
abspath = os.path.abspath
171
 
realpath = os.path.realpath
172
 
pathjoin = os.path.join
173
 
normpath = os.path.normpath
174
 
getcwd = os.getcwdu
175
 
mkdtemp = tempfile.mkdtemp
176
 
rename = os.rename
177
 
dirname = os.path.dirname
178
 
basename = os.path.basename
179
 
 
180
 
if os.name == "posix":
181
 
    # In Python 2.4.2 and older, os.path.abspath and os.path.realpath
182
 
    # choke on a Unicode string containing a relative path if
183
 
    # os.getcwd() returns a non-sys.getdefaultencoding()-encoded
184
 
    # string.
185
 
    _fs_enc = sys.getfilesystemencoding()
186
 
    def abspath(path):
187
 
        return os.path.abspath(path.encode(_fs_enc)).decode(_fs_enc)
188
 
 
189
 
    def realpath(path):
190
 
        return os.path.realpath(path.encode(_fs_enc)).decode(_fs_enc)
191
 
 
192
 
if sys.platform == 'win32':
193
 
    # We need to use the Unicode-aware os.path.abspath and
194
 
    # os.path.realpath on Windows systems.
195
 
    def abspath(path):
196
 
        return os.path.abspath(path).replace('\\', '/')
197
 
 
198
 
    def realpath(path):
199
 
        return os.path.realpath(path).replace('\\', '/')
200
 
 
201
 
    def pathjoin(*args):
202
 
        return os.path.join(*args).replace('\\', '/')
203
 
 
204
 
    def normpath(path):
205
 
        return os.path.normpath(path).replace('\\', '/')
206
 
 
207
 
    def getcwd():
208
 
        return os.getcwdu().replace('\\', '/')
209
 
 
210
 
    def mkdtemp(*args, **kwargs):
211
 
        return tempfile.mkdtemp(*args, **kwargs).replace('\\', '/')
212
 
 
213
 
    def rename(old, new):
214
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
215
 
 
216
 
 
217
 
def normalizepath(f):
218
 
    if hasattr(os.path, 'realpath'):
219
 
        F = realpath
220
 
    else:
221
 
        F = abspath
222
 
    [p,e] = os.path.split(f)
223
 
    if e == "" or e == "." or e == "..":
224
 
        return F(f)
225
 
    else:
226
 
        return pathjoin(F(p), e)
227
81
 
228
82
 
229
83
def backup_file(fn):
233
87
 
234
88
    If the file is already a backup, it's not copied.
235
89
    """
 
90
    import os
236
91
    if fn[-1] == '~':
237
92
        return
238
93
    bfn = fn + '~'
239
94
 
240
 
    if has_symlinks() and os.path.islink(fn):
241
 
        target = os.readlink(fn)
242
 
        os.symlink(target, bfn)
243
 
        return
244
95
    inf = file(fn, 'rb')
245
96
    try:
246
97
        content = inf.read()
253
104
    finally:
254
105
        outf.close()
255
106
 
 
107
def rename(path_from, path_to):
 
108
    """Basically the same as os.rename() just special for win32"""
 
109
    if sys.platform == 'win32':
 
110
        try:
 
111
            os.remove(path_to)
 
112
        except OSError, e:
 
113
            if e.errno != e.ENOENT:
 
114
                raise
 
115
    os.rename(path_from, path_to)
 
116
 
 
117
 
 
118
 
 
119
 
256
120
 
257
121
def isdir(f):
258
122
    """True if f is an accessible directory."""
262
126
        return False
263
127
 
264
128
 
 
129
 
265
130
def isfile(f):
266
131
    """True if f is a regular file."""
267
132
    try:
269
134
    except OSError:
270
135
        return False
271
136
 
272
 
def islink(f):
273
 
    """True if f is a symlink."""
274
 
    try:
275
 
        return S_ISLNK(os.lstat(f)[ST_MODE])
276
 
    except OSError:
277
 
        return False
278
137
 
279
138
def is_inside(dir, fname):
280
139
    """True if fname is inside dir.
281
140
    
282
 
    The parameters should typically be passed to osutils.normpath first, so
 
141
    The parameters should typically be passed to os.path.normpath first, so
283
142
    that . and .. and repeated slashes are eliminated, and the separators
284
143
    are canonical for the platform.
285
144
    
286
145
    The empty string as a dir name is taken as top-of-tree and matches 
287
146
    everything.
288
147
    
289
 
    >>> is_inside('src', pathjoin('src', 'foo.c'))
 
148
    >>> is_inside('src', 'src/foo.c')
290
149
    True
291
150
    >>> is_inside('src', 'srccontrol')
292
151
    False
293
 
    >>> is_inside('src', pathjoin('src', 'a', 'a', 'a', 'foo.c'))
 
152
    >>> is_inside('src', 'src/a/a/a/foo.c')
294
153
    True
295
154
    >>> is_inside('foo.c', 'foo.c')
296
155
    True
306
165
    
307
166
    if dir == '':
308
167
        return True
309
 
 
310
 
    if dir[-1] != '/':
311
 
        dir += '/'
312
 
 
 
168
    
 
169
    if dir[-1] != os.sep:
 
170
        dir += os.sep
 
171
    
313
172
    return fname.startswith(dir)
314
173
 
315
174
 
324
183
 
325
184
def pumpfile(fromfile, tofile):
326
185
    """Copy contents of one file to another."""
327
 
    BUFSIZE = 32768
328
 
    while True:
329
 
        b = fromfile.read(BUFSIZE)
330
 
        if not b:
331
 
            break
332
 
        tofile.write(b)
333
 
 
334
 
 
335
 
def file_iterator(input_file, readsize=32768):
336
 
    while True:
337
 
        b = input_file.read(readsize)
338
 
        if len(b) == 0:
339
 
            break
340
 
        yield b
 
186
    tofile.write(fromfile.read())
 
187
 
 
188
 
 
189
def uuid():
 
190
    """Return a new UUID"""
 
191
    try:
 
192
        return file('/proc/sys/kernel/random/uuid').readline().rstrip('\n')
 
193
    except IOError:
 
194
        return chomp(os.popen('uuidgen').readline())
341
195
 
342
196
 
343
197
def sha_file(f):
 
198
    import sha
344
199
    if hasattr(f, 'tell'):
345
200
        assert f.tell() == 0
346
201
    s = sha.new()
353
208
    return s.hexdigest()
354
209
 
355
210
 
356
 
 
357
 
def sha_strings(strings):
358
 
    """Return the sha-1 of concatenation of strings"""
359
 
    s = sha.new()
360
 
    map(s.update, strings)
361
 
    return s.hexdigest()
362
 
 
363
 
 
364
211
def sha_string(f):
 
212
    import sha
365
213
    s = sha.new()
366
214
    s.update(f)
367
215
    return s.hexdigest()
368
216
 
369
217
 
 
218
 
370
219
def fingerprint_file(f):
 
220
    import sha
371
221
    s = sha.new()
372
222
    b = f.read()
373
223
    s.update(b)
376
226
            'sha1': s.hexdigest()}
377
227
 
378
228
 
 
229
def config_dir():
 
230
    """Return per-user configuration directory.
 
231
 
 
232
    By default this is ~/.bzr.conf/
 
233
    
 
234
    TODO: Global option --config-dir to override this.
 
235
    """
 
236
    return os.path.expanduser("~/.bzr.conf")
 
237
 
 
238
 
 
239
def _auto_user_id():
 
240
    """Calculate automatic user identification.
 
241
 
 
242
    Returns (realname, email).
 
243
 
 
244
    Only used when none is set in the environment or the id file.
 
245
 
 
246
    This previously used the FQDN as the default domain, but that can
 
247
    be very slow on machines where DNS is broken.  So now we simply
 
248
    use the hostname.
 
249
    """
 
250
    import socket
 
251
 
 
252
    # XXX: Any good way to get real user name on win32?
 
253
 
 
254
    try:
 
255
        import pwd
 
256
        uid = os.getuid()
 
257
        w = pwd.getpwuid(uid)
 
258
        gecos = w.pw_gecos.decode(bzrlib.user_encoding)
 
259
        username = w.pw_name.decode(bzrlib.user_encoding)
 
260
        comma = gecos.find(',')
 
261
        if comma == -1:
 
262
            realname = gecos
 
263
        else:
 
264
            realname = gecos[:comma]
 
265
        if not realname:
 
266
            realname = username
 
267
 
 
268
    except ImportError:
 
269
        import getpass
 
270
        realname = username = getpass.getuser().decode(bzrlib.user_encoding)
 
271
 
 
272
    return realname, (username + '@' + socket.gethostname())
 
273
 
 
274
 
 
275
def _get_user_id(branch):
 
276
    """Return the full user id from a file or environment variable.
 
277
 
 
278
    e.g. "John Hacker <jhacker@foo.org>"
 
279
 
 
280
    branch
 
281
        A branch to use for a per-branch configuration, or None.
 
282
 
 
283
    The following are searched in order:
 
284
 
 
285
    1. $BZREMAIL
 
286
    2. .bzr/email for this branch.
 
287
    3. ~/.bzr.conf/email
 
288
    4. $EMAIL
 
289
    """
 
290
    v = os.environ.get('BZREMAIL')
 
291
    if v:
 
292
        return v.decode(bzrlib.user_encoding)
 
293
 
 
294
    if branch:
 
295
        try:
 
296
            return (branch.controlfile("email", "r") 
 
297
                    .read()
 
298
                    .decode(bzrlib.user_encoding)
 
299
                    .rstrip("\r\n"))
 
300
        except IOError, e:
 
301
            if e.errno != errno.ENOENT:
 
302
                raise
 
303
        except BzrError, e:
 
304
            pass
 
305
    
 
306
    try:
 
307
        return (open(os.path.join(config_dir(), "email"))
 
308
                .read()
 
309
                .decode(bzrlib.user_encoding)
 
310
                .rstrip("\r\n"))
 
311
    except IOError, e:
 
312
        if e.errno != errno.ENOENT:
 
313
            raise e
 
314
 
 
315
    v = os.environ.get('EMAIL')
 
316
    if v:
 
317
        return v.decode(bzrlib.user_encoding)
 
318
    else:    
 
319
        return None
 
320
 
 
321
 
 
322
def username(branch):
 
323
    """Return email-style username.
 
324
 
 
325
    Something similar to 'Martin Pool <mbp@sourcefrog.net>'
 
326
 
 
327
    TODO: Check it's reasonably well-formed.
 
328
    """
 
329
    v = _get_user_id(branch)
 
330
    if v:
 
331
        return v
 
332
    
 
333
    name, email = _auto_user_id()
 
334
    if name:
 
335
        return '%s <%s>' % (name, email)
 
336
    else:
 
337
        return email
 
338
 
 
339
 
 
340
def user_email(branch):
 
341
    """Return just the email component of a username."""
 
342
    e = _get_user_id(branch)
 
343
    if e:
 
344
        m = re.search(r'[\w+.-]+@[\w+.-]+', e)
 
345
        if not m:
 
346
            raise BzrError("%r doesn't seem to contain a reasonable email address" % e)
 
347
        return m.group(0)
 
348
 
 
349
    return _auto_user_id()[1]
 
350
    
 
351
 
 
352
 
379
353
def compare_files(a, b):
380
354
    """Returns true if equal in contents"""
381
355
    BUFSIZE = 4096
388
362
            return True
389
363
 
390
364
 
 
365
 
391
366
def local_time_offset(t=None):
392
367
    """Return offset of local zone from GMT, either at present or at time t."""
393
368
    # python2.3 localtime() can't take None
400
375
        return -time.timezone
401
376
 
402
377
    
403
 
def format_date(t, offset=0, timezone='original', date_fmt=None, 
404
 
                show_offset=True):
 
378
def format_date(t, offset=0, timezone='original'):
405
379
    ## TODO: Perhaps a global option to use either universal or local time?
406
380
    ## Or perhaps just let people set $TZ?
407
381
    assert isinstance(t, float)
419
393
    else:
420
394
        raise BzrError("unsupported timezone format %r" % timezone,
421
395
                       ['options are "utc", "original", "local"'])
422
 
    if date_fmt is None:
423
 
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
424
 
    if show_offset:
425
 
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
426
 
    else:
427
 
        offset_str = ''
428
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
396
 
 
397
    return (time.strftime("%a %Y-%m-%d %H:%M:%S", tt)
 
398
            + ' %+03d%02d' % (offset / 3600, (offset / 60) % 60))
429
399
 
430
400
 
431
401
def compact_date(when):
499
469
    for f in p:
500
470
        if (f == '..') or (f == None) or (f == ''):
501
471
            raise BzrError("sorry, %r not allowed in path" % f)
502
 
    return pathjoin(*p)
 
472
    return os.path.join(*p)
503
473
 
504
474
 
505
475
def appendpath(p1, p2):
506
476
    if p1 == '':
507
477
        return p2
508
478
    else:
509
 
        return pathjoin(p1, p2)
 
479
        return os.path.join(p1, p2)
510
480
    
511
481
 
512
 
def split_lines(s):
513
 
    """Split s into lines, but without removing the newline characters."""
514
 
    return StringIO(s).readlines()
515
 
 
516
 
 
517
 
def hardlinks_good():
518
 
    return sys.platform not in ('win32', 'cygwin', 'darwin')
519
 
 
520
 
 
521
 
def link_or_copy(src, dest):
522
 
    """Hardlink a file, or copy it if it can't be hardlinked."""
523
 
    if not hardlinks_good():
524
 
        copyfile(src, dest)
525
 
        return
526
 
    try:
527
 
        os.link(src, dest)
528
 
    except (OSError, IOError), e:
529
 
        if e.errno != errno.EXDEV:
530
 
            raise
531
 
        copyfile(src, dest)
532
 
 
533
 
 
534
 
def has_symlinks():
535
 
    if hasattr(os, 'symlink'):
536
 
        return True
537
 
    else:
538
 
        return False
539
 
        
540
 
 
541
 
def contains_whitespace(s):
542
 
    """True if there are any whitespace characters in s."""
543
 
    for ch in string.whitespace:
544
 
        if ch in s:
545
 
            return True
546
 
    else:
547
 
        return False
548
 
 
549
 
 
550
 
def contains_linebreaks(s):
551
 
    """True if there is any vertical whitespace in s."""
552
 
    for ch in '\f\n\r':
553
 
        if ch in s:
554
 
            return True
555
 
    else:
556
 
        return False
557
 
 
558
 
 
559
 
def relpath(base, path):
560
 
    """Return path relative to base, or raise exception.
561
 
 
562
 
    The path may be either an absolute path or a path relative to the
563
 
    current working directory.
564
 
 
565
 
    os.path.commonprefix (python2.4) has a bad bug that it works just
566
 
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
567
 
    avoids that problem."""
568
 
    rp = abspath(path)
569
 
 
570
 
    s = []
571
 
    head = rp
572
 
    while len(head) >= len(base):
573
 
        if head == base:
574
 
            break
575
 
        head, tail = os.path.split(head)
576
 
        if tail:
577
 
            s.insert(0, tail)
578
 
    else:
579
 
        # XXX This should raise a NotChildPath exception, as its not tied
580
 
        # to branch anymore.
581
 
        raise PathNotChild(rp, base)
582
 
 
583
 
    if s:
584
 
        return pathjoin(*s)
585
 
    else:
586
 
        return ''
587
 
 
588
 
 
589
 
def terminal_width():
590
 
    """Return estimated terminal width."""
591
 
 
592
 
    # TODO: Do something smart on Windows?
593
 
 
594
 
    # TODO: Is there anything that gets a better update when the window
595
 
    # is resized while the program is running? We could use the Python termcap
596
 
    # library.
597
 
    try:
598
 
        return int(os.environ['COLUMNS'])
599
 
    except (IndexError, KeyError, ValueError):
600
 
        return 80
 
482
def extern_command(cmd, ignore_errors = False):
 
483
    mutter('external command: %s' % `cmd`)
 
484
    if os.system(cmd):
 
485
        if not ignore_errors:
 
486
            raise BzrError('command failed')
 
487
 
 
488
 
 
489
def _read_config_value(name):
 
490
    """Read a config value from the file ~/.bzr.conf/<name>
 
491
    Return None if the file does not exist"""
 
492
    try:
 
493
        f = file(os.path.join(config_dir(), name), "r")
 
494
        return f.read().decode(bzrlib.user_encoding).rstrip("\r\n")
 
495
    except IOError, e:
 
496
        if e.errno == errno.ENOENT:
 
497
            return None
 
498
        raise
 
499
 
 
500