~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: Robert Collins
  • Date: 2005-10-11 04:32:38 UTC
  • mto: This revision was merged to the branch mainline in revision 1443.
  • Revision ID: robertc@robertcollins.net-20051011043238-104295a8eb7eba91
move config_dir into bzrlib.config

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
# Bazaar-NG -- distributed version control
2
 
 
 
2
#
3
3
# Copyright (C) 2005 by Canonical Ltd
4
 
 
 
4
#
5
5
# This program is free software; you can redistribute it and/or modify
6
6
# it under the terms of the GNU General Public License as published by
7
7
# the Free Software Foundation; either version 2 of the License, or
8
8
# (at your option) any later version.
9
 
 
 
9
#
10
10
# This program is distributed in the hope that it will be useful,
11
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
12
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13
13
# GNU General Public License for more details.
14
 
 
 
14
#
15
15
# You should have received a copy of the GNU General Public License
16
16
# along with this program; if not, write to the Free Software
17
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18
18
 
19
 
import os, types, re, time, errno
20
 
from stat import S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE
 
19
from shutil import copyfile
 
20
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
 
21
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
 
22
from cStringIO import StringIO
 
23
import errno
 
24
import os
 
25
import re
 
26
import sha
 
27
import sys
 
28
import time
 
29
import types
21
30
 
22
 
from errors import bailout, BzrError
23
 
from trace import mutter
24
31
import bzrlib
 
32
from bzrlib.config import config_dir
 
33
from bzrlib.errors import BzrError
 
34
from bzrlib.trace import mutter
 
35
 
25
36
 
26
37
def make_readonly(filename):
27
38
    """Make a filename read-only."""
28
 
    # TODO: probably needs to be fixed for windows
29
39
    mod = os.stat(filename).st_mode
30
40
    mod = mod & 0777555
31
41
    os.chmod(filename, mod)
37
47
    os.chmod(filename, mod)
38
48
 
39
49
 
40
 
_QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/_~-])')
 
50
_QUOTE_RE = None
 
51
 
 
52
 
41
53
def quotefn(f):
42
 
    """Return shell-quoted filename"""
43
 
    ## We could be a bit more terse by using double-quotes etc
44
 
    f = _QUOTE_RE.sub(r'\\\1', f)
45
 
    if f[0] == '~':
46
 
        f[0:1] = r'\~' 
47
 
    return f
 
54
    """Return a quoted filename filename
 
55
 
 
56
    This previously used backslash quoting, but that works poorly on
 
57
    Windows."""
 
58
    # TODO: I'm not really sure this is the best format either.x
 
59
    global _QUOTE_RE
 
60
    if _QUOTE_RE == None:
 
61
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
 
62
        
 
63
    if _QUOTE_RE.search(f):
 
64
        return '"' + f + '"'
 
65
    else:
 
66
        return f
48
67
 
49
68
 
50
69
def file_kind(f):
55
74
        return 'directory'
56
75
    elif S_ISLNK(mode):
57
76
        return 'symlink'
58
 
    else:
59
 
        raise BzrError("can't handle file kind with mode %o of %r" % (mode, f)) 
60
 
 
 
77
    elif S_ISCHR(mode):
 
78
        return 'chardev'
 
79
    elif S_ISBLK(mode):
 
80
        return 'block'
 
81
    elif S_ISFIFO(mode):
 
82
        return 'fifo'
 
83
    elif S_ISSOCK(mode):
 
84
        return 'socket'
 
85
    else:
 
86
        return 'unknown'
 
87
 
 
88
 
 
89
def kind_marker(kind):
 
90
    if kind == 'file':
 
91
        return ''
 
92
    elif kind == 'directory':
 
93
        return '/'
 
94
    elif kind == 'symlink':
 
95
        return '@'
 
96
    else:
 
97
        raise BzrError('invalid file kind %r' % kind)
 
98
 
 
99
def lexists(f):
 
100
    try:
 
101
        if hasattr(os, 'lstat'):
 
102
            os.lstat(f)
 
103
        else:
 
104
            os.stat(f)
 
105
        return True
 
106
    except OSError,e:
 
107
        if e.errno == errno.ENOENT:
 
108
            return False;
 
109
        else:
 
110
            raise BzrError("lstat/stat of (%r): %r" % (f, e))
 
111
 
 
112
def normalizepath(f):
 
113
    if hasattr(os.path, 'realpath'):
 
114
        F = os.path.realpath
 
115
    else:
 
116
        F = os.path.abspath
 
117
    [p,e] = os.path.split(f)
 
118
    if e == "" or e == "." or e == "..":
 
119
        return F(f)
 
120
    else:
 
121
        return os.path.join(F(p), e)
 
122
    
 
123
 
 
124
def backup_file(fn):
 
125
    """Copy a file to a backup.
 
126
 
 
127
    Backups are named in GNU-style, with a ~ suffix.
 
128
 
 
129
    If the file is already a backup, it's not copied.
 
130
    """
 
131
    if fn[-1] == '~':
 
132
        return
 
133
    bfn = fn + '~'
 
134
 
 
135
    inf = file(fn, 'rb')
 
136
    try:
 
137
        content = inf.read()
 
138
    finally:
 
139
        inf.close()
 
140
    
 
141
    outf = file(bfn, 'wb')
 
142
    try:
 
143
        outf.write(content)
 
144
    finally:
 
145
        outf.close()
 
146
 
 
147
if os.name == 'nt':
 
148
    import shutil
 
149
    rename = shutil.move
 
150
else:
 
151
    rename = os.rename
61
152
 
62
153
 
63
154
def isdir(f):
68
159
        return False
69
160
 
70
161
 
71
 
 
72
162
def isfile(f):
73
163
    """True if f is a regular file."""
74
164
    try:
76
166
    except OSError:
77
167
        return False
78
168
 
 
169
def islink(f):
 
170
    """True if f is a symlink."""
 
171
    try:
 
172
        return S_ISLNK(os.lstat(f)[ST_MODE])
 
173
    except OSError:
 
174
        return False
 
175
 
 
176
def is_inside(dir, fname):
 
177
    """True if fname is inside dir.
 
178
    
 
179
    The parameters should typically be passed to os.path.normpath first, so
 
180
    that . and .. and repeated slashes are eliminated, and the separators
 
181
    are canonical for the platform.
 
182
    
 
183
    The empty string as a dir name is taken as top-of-tree and matches 
 
184
    everything.
 
185
    
 
186
    >>> is_inside('src', os.path.join('src', 'foo.c'))
 
187
    True
 
188
    >>> is_inside('src', 'srccontrol')
 
189
    False
 
190
    >>> is_inside('src', os.path.join('src', 'a', 'a', 'a', 'foo.c'))
 
191
    True
 
192
    >>> is_inside('foo.c', 'foo.c')
 
193
    True
 
194
    >>> is_inside('foo.c', '')
 
195
    False
 
196
    >>> is_inside('', 'foo.c')
 
197
    True
 
198
    """
 
199
    # XXX: Most callers of this can actually do something smarter by 
 
200
    # looking at the inventory
 
201
    if dir == fname:
 
202
        return True
 
203
    
 
204
    if dir == '':
 
205
        return True
 
206
 
 
207
    if dir[-1] != os.sep:
 
208
        dir += os.sep
 
209
 
 
210
    return fname.startswith(dir)
 
211
 
 
212
 
 
213
def is_inside_any(dir_list, fname):
 
214
    """True if fname is inside any of given dirs."""
 
215
    for dirname in dir_list:
 
216
        if is_inside(dirname, fname):
 
217
            return True
 
218
    else:
 
219
        return False
 
220
 
79
221
 
80
222
def pumpfile(fromfile, tofile):
81
223
    """Copy contents of one file to another."""
82
224
    tofile.write(fromfile.read())
83
225
 
84
226
 
85
 
def uuid():
86
 
    """Return a new UUID"""
87
 
    
88
 
    ## XXX: Could alternatively read /proc/sys/kernel/random/uuid on
89
 
    ## Linux, but we need something portable for other systems;
90
 
    ## preferably an implementation in Python.
91
 
    try:
92
 
        return chomp(file('/proc/sys/kernel/random/uuid').readline())
93
 
    except IOError:
94
 
        return chomp(os.popen('uuidgen').readline())
95
 
 
96
 
 
97
 
def chomp(s):
98
 
    if s and (s[-1] == '\n'):
99
 
        return s[:-1]
100
 
    else:
101
 
        return s
102
 
 
103
 
 
104
227
def sha_file(f):
105
 
    import sha
106
 
    ## TODO: Maybe read in chunks to handle big files
107
228
    if hasattr(f, 'tell'):
108
229
        assert f.tell() == 0
109
230
    s = sha.new()
110
 
    s.update(f.read())
 
231
    BUFSIZE = 128<<10
 
232
    while True:
 
233
        b = f.read(BUFSIZE)
 
234
        if not b:
 
235
            break
 
236
        s.update(b)
 
237
    return s.hexdigest()
 
238
 
 
239
 
 
240
 
 
241
def sha_strings(strings):
 
242
    """Return the sha-1 of concatenation of strings"""
 
243
    s = sha.new()
 
244
    map(s.update, strings)
111
245
    return s.hexdigest()
112
246
 
113
247
 
114
248
def sha_string(f):
115
 
    import sha
116
249
    s = sha.new()
117
250
    s.update(f)
118
251
    return s.hexdigest()
119
252
 
120
253
 
121
 
 
122
254
def fingerprint_file(f):
123
 
    import sha
124
255
    s = sha.new()
125
256
    b = f.read()
126
257
    s.update(b)
129
260
            'sha1': s.hexdigest()}
130
261
 
131
262
 
132
 
def config_dir():
133
 
    """Return per-user configuration directory.
134
 
 
135
 
    By default this is ~/.bzr.conf/
136
 
    
137
 
    TODO: Global option --config-dir to override this.
138
 
    """
139
 
    return os.path.expanduser("~/.bzr.conf")
140
 
 
141
 
 
142
263
def _auto_user_id():
143
264
    """Calculate automatic user identification.
144
265
 
175
296
    return realname, (username + '@' + socket.gethostname())
176
297
 
177
298
 
178
 
def _get_user_id():
 
299
def _get_user_id(branch):
179
300
    """Return the full user id from a file or environment variable.
180
301
 
181
 
    TODO: Allow taking this from a file in the branch directory too
182
 
    for per-branch ids."""
 
302
    e.g. "John Hacker <jhacker@foo.org>"
 
303
 
 
304
    branch
 
305
        A branch to use for a per-branch configuration, or None.
 
306
 
 
307
    The following are searched in order:
 
308
 
 
309
    1. $BZREMAIL
 
310
    2. .bzr/email for this branch.
 
311
    3. ~/.bzr.conf/email
 
312
    4. $EMAIL
 
313
    """
183
314
    v = os.environ.get('BZREMAIL')
184
315
    if v:
185
316
        return v.decode(bzrlib.user_encoding)
 
317
 
 
318
    if branch:
 
319
        try:
 
320
            return (branch.controlfile("email", "r") 
 
321
                    .read()
 
322
                    .decode(bzrlib.user_encoding)
 
323
                    .rstrip("\r\n"))
 
324
        except IOError, e:
 
325
            if e.errno != errno.ENOENT:
 
326
                raise
 
327
        except BzrError, e:
 
328
            pass
186
329
    
187
330
    try:
188
331
        return (open(os.path.join(config_dir(), "email"))
200
343
        return None
201
344
 
202
345
 
203
 
def username():
 
346
def username(branch):
204
347
    """Return email-style username.
205
348
 
206
349
    Something similar to 'Martin Pool <mbp@sourcefrog.net>'
207
350
 
208
351
    TODO: Check it's reasonably well-formed.
209
352
    """
210
 
    v = _get_user_id()
 
353
    v = _get_user_id(branch)
211
354
    if v:
212
355
        return v
213
356
    
218
361
        return email
219
362
 
220
363
 
221
 
_EMAIL_RE = re.compile(r'[\w+.-]+@[\w+.-]+')
222
 
def user_email():
 
364
def user_email(branch):
223
365
    """Return just the email component of a username."""
224
 
    e = _get_user_id()
 
366
    e = _get_user_id(branch)
225
367
    if e:
226
 
        m = _EMAIL_RE.search(e)
 
368
        m = re.search(r'[\w+.-]+@[\w+.-]+', e)
227
369
        if not m:
228
 
            bailout("%r doesn't seem to contain a reasonable email address" % e)
 
370
            raise BzrError("%r doesn't seem to contain "
 
371
                           "a reasonable email address" % e)
229
372
        return m.group(0)
230
373
 
231
374
    return _auto_user_id()[1]
232
 
    
233
375
 
234
376
 
235
377
def compare_files(a, b):
236
378
    """Returns true if equal in contents"""
237
 
    # TODO: don't read the whole thing in one go.
238
379
    BUFSIZE = 4096
239
380
    while True:
240
381
        ai = a.read(BUFSIZE)
245
386
            return True
246
387
 
247
388
 
248
 
 
249
389
def local_time_offset(t=None):
250
390
    """Return offset of local zone from GMT, either at present or at time t."""
251
391
    # python2.3 localtime() can't take None
274
414
        tt = time.localtime(t)
275
415
        offset = local_time_offset(t)
276
416
    else:
277
 
        bailout("unsupported timezone format %r",
278
 
                ['options are "utc", "original", "local"'])
 
417
        raise BzrError("unsupported timezone format %r" % timezone,
 
418
                       ['options are "utc", "original", "local"'])
279
419
 
280
420
    return (time.strftime("%a %Y-%m-%d %H:%M:%S", tt)
281
421
            + ' %+03d%02d' % (offset / 3600, (offset / 60) % 60))
290
430
    """Return size of given open file."""
291
431
    return os.fstat(f.fileno())[ST_SIZE]
292
432
 
293
 
 
294
 
if hasattr(os, 'urandom'): # python 2.4 and later
 
433
# Define rand_bytes based on platform.
 
434
try:
 
435
    # Python 2.4 and later have os.urandom,
 
436
    # but it doesn't work on some arches
 
437
    os.urandom(1)
295
438
    rand_bytes = os.urandom
296
 
else:
297
 
    # FIXME: No good on non-Linux
298
 
    _rand_file = file('/dev/urandom', 'rb')
299
 
    rand_bytes = _rand_file.read
300
 
 
 
439
except (NotImplementedError, AttributeError):
 
440
    # If python doesn't have os.urandom, or it doesn't work,
 
441
    # then try to first pull random data from /dev/urandom
 
442
    if os.path.exists("/dev/urandom"):
 
443
        rand_bytes = file('/dev/urandom', 'rb').read
 
444
    # Otherwise, use this hack as a last resort
 
445
    else:
 
446
        # not well seeded, but better than nothing
 
447
        def rand_bytes(n):
 
448
            import random
 
449
            s = ''
 
450
            while n:
 
451
                s += chr(random.randint(0, 255))
 
452
                n -= 1
 
453
            return s
301
454
 
302
455
## TODO: We could later have path objects that remember their list
303
456
## decomposition (might be too tricksy though.)
316
469
    >>> splitpath('a/../b')
317
470
    Traceback (most recent call last):
318
471
    ...
319
 
    BzrError: ("sorry, '..' not allowed in path", [])
 
472
    BzrError: sorry, '..' not allowed in path
320
473
    """
321
474
    assert isinstance(p, types.StringTypes)
322
475
 
327
480
    rps = []
328
481
    for f in ps:
329
482
        if f == '..':
330
 
            bailout("sorry, %r not allowed in path" % f)
 
483
            raise BzrError("sorry, %r not allowed in path" % f)
331
484
        elif (f == '.') or (f == ''):
332
485
            pass
333
486
        else:
338
491
    assert isinstance(p, list)
339
492
    for f in p:
340
493
        if (f == '..') or (f == None) or (f == ''):
341
 
            bailout("sorry, %r not allowed in path" % f)
 
494
            raise BzrError("sorry, %r not allowed in path" % f)
342
495
    return os.path.join(*p)
343
496
 
344
497
 
349
502
        return os.path.join(p1, p2)
350
503
    
351
504
 
352
 
def extern_command(cmd, ignore_errors = False):
353
 
    mutter('external command: %s' % `cmd`)
354
 
    if os.system(cmd):
355
 
        if not ignore_errors:
356
 
            bailout('command failed')
357
 
 
 
505
def _read_config_value(name):
 
506
    """Read a config value from the file ~/.bzr.conf/<name>
 
507
    Return None if the file does not exist"""
 
508
    try:
 
509
        f = file(os.path.join(config_dir(), name), "r")
 
510
        return f.read().decode(bzrlib.user_encoding).rstrip("\r\n")
 
511
    except IOError, e:
 
512
        if e.errno == errno.ENOENT:
 
513
            return None
 
514
        raise
 
515
 
 
516
 
 
517
def split_lines(s):
 
518
    """Split s into lines, but without removing the newline characters."""
 
519
    return StringIO(s).readlines()
 
520
 
 
521
 
 
522
def hardlinks_good():
 
523
    return sys.platform not in ('win32', 'cygwin', 'darwin')
 
524
 
 
525
 
 
526
def link_or_copy(src, dest):
 
527
    """Hardlink a file, or copy it if it can't be hardlinked."""
 
528
    if not hardlinks_good():
 
529
        copyfile(src, dest)
 
530
        return
 
531
    try:
 
532
        os.link(src, dest)
 
533
    except (OSError, IOError), e:
 
534
        if e.errno != errno.EXDEV:
 
535
            raise
 
536
        copyfile(src, dest)
 
537
 
 
538
 
 
539
def has_symlinks():
 
540
    if hasattr(os, 'symlink'):
 
541
        return True
 
542
    else:
 
543
        return False