~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/osutils.py

  • Committer: mbp at sourcefrog
  • Date: 2005-03-29 07:15:34 UTC
  • Revision ID: mbp@sourcefrog.net-20050329071534-e7e920a0237295f9
fix error message for repeated add

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Bazaar -- distributed version control
2
 
#
 
1
# Bazaar-NG -- distributed version control
 
2
 
3
3
# Copyright (C) 2005 by Canonical Ltd
4
 
#
 
4
 
5
5
# This program is free software; you can redistribute it and/or modify
6
6
# it under the terms of the GNU General Public License as published by
7
7
# the Free Software Foundation; either version 2 of the License, or
8
8
# (at your option) any later version.
9
 
#
 
9
 
10
10
# This program is distributed in the hope that it will be useful,
11
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
12
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13
13
# GNU General Public License for more details.
14
 
#
 
14
 
15
15
# You should have received a copy of the GNU General Public License
16
16
# along with this program; if not, write to the Free Software
17
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18
18
 
19
 
from cStringIO import StringIO
20
 
import errno
21
 
from ntpath import (abspath as _nt_abspath,
22
 
                    join as _nt_join,
23
 
                    normpath as _nt_normpath,
24
 
                    realpath as _nt_realpath,
25
 
                    splitdrive as _nt_splitdrive,
26
 
                    )
27
 
import os
28
 
from os import listdir
29
 
import posixpath
30
 
import re
31
 
import sha
32
 
import shutil
33
 
from shutil import copyfile
34
 
import stat
35
 
from stat import (S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE,
36
 
                  S_ISCHR, S_ISBLK, S_ISFIFO, S_ISSOCK)
37
 
import string
38
 
import sys
39
 
import time
40
 
import types
41
 
import tempfile
42
 
import unicodedata
43
 
 
44
 
import bzrlib
45
 
from bzrlib.errors import (BzrError,
46
 
                           BzrBadParameterNotUnicode,
47
 
                           NoSuchFile,
48
 
                           PathNotChild,
49
 
                           IllegalPath,
50
 
                           )
51
 
from bzrlib.symbol_versioning import (deprecated_function, 
52
 
        zero_nine)
53
 
from bzrlib.trace import mutter
54
 
 
55
 
 
56
 
# On win32, O_BINARY is used to indicate the file should
57
 
# be opened in binary mode, rather than text mode.
58
 
# On other platforms, O_BINARY doesn't exist, because
59
 
# they always open in binary mode, so it is okay to
60
 
# OR with 0 on those platforms
61
 
O_BINARY = getattr(os, 'O_BINARY', 0)
62
 
 
 
19
import os, types, re, time, types
 
20
from stat import S_ISREG, S_ISDIR, S_ISLNK, ST_MODE, ST_SIZE
 
21
 
 
22
from errors import bailout
63
23
 
64
24
def make_readonly(filename):
65
25
    """Make a filename read-only."""
 
26
    # TODO: probably needs to be fixed for windows
66
27
    mod = os.stat(filename).st_mode
67
28
    mod = mod & 0777555
68
29
    os.chmod(filename, mod)
74
35
    os.chmod(filename, mod)
75
36
 
76
37
 
77
 
_QUOTE_RE = None
78
 
 
79
 
 
 
38
_QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/_~-])')
80
39
def quotefn(f):
81
 
    """Return a quoted filename filename
82
 
 
83
 
    This previously used backslash quoting, but that works poorly on
84
 
    Windows."""
85
 
    # TODO: I'm not really sure this is the best format either.x
86
 
    global _QUOTE_RE
87
 
    if _QUOTE_RE is None:
88
 
        _QUOTE_RE = re.compile(r'([^a-zA-Z0-9.,:/\\_~-])')
89
 
        
90
 
    if _QUOTE_RE.search(f):
91
 
        return '"' + f + '"'
92
 
    else:
93
 
        return f
94
 
 
95
 
 
96
 
_directory_kind = 'directory'
97
 
 
98
 
_formats = {
99
 
    stat.S_IFDIR:_directory_kind,
100
 
    stat.S_IFCHR:'chardev',
101
 
    stat.S_IFBLK:'block',
102
 
    stat.S_IFREG:'file',
103
 
    stat.S_IFIFO:'fifo',
104
 
    stat.S_IFLNK:'symlink',
105
 
    stat.S_IFSOCK:'socket',
106
 
}
107
 
 
108
 
 
109
 
def file_kind_from_stat_mode(stat_mode, _formats=_formats, _unknown='unknown'):
110
 
    """Generate a file kind from a stat mode. This is used in walkdirs.
111
 
 
112
 
    Its performance is critical: Do not mutate without careful benchmarking.
113
 
    """
114
 
    try:
115
 
        return _formats[stat_mode & 0170000]
116
 
    except KeyError:
117
 
        return _unknown
118
 
 
119
 
 
120
 
def file_kind(f, _lstat=os.lstat, _mapper=file_kind_from_stat_mode):
121
 
    try:
122
 
        return _mapper(_lstat(f).st_mode)
123
 
    except OSError, e:
124
 
        if getattr(e, 'errno', None) == errno.ENOENT:
125
 
            raise bzrlib.errors.NoSuchFile(f)
126
 
        raise
127
 
 
128
 
 
129
 
def get_umask():
130
 
    """Return the current umask"""
131
 
    # Assume that people aren't messing with the umask while running
132
 
    # XXX: This is not thread safe, but there is no way to get the
133
 
    #      umask without setting it
134
 
    umask = os.umask(0)
135
 
    os.umask(umask)
136
 
    return umask
137
 
 
138
 
 
139
 
def kind_marker(kind):
140
 
    if kind == 'file':
141
 
        return ''
142
 
    elif kind == _directory_kind:
143
 
        return '/'
144
 
    elif kind == 'symlink':
145
 
        return '@'
146
 
    else:
147
 
        raise BzrError('invalid file kind %r' % kind)
148
 
 
149
 
lexists = getattr(os.path, 'lexists', None)
150
 
if lexists is None:
151
 
    def lexists(f):
152
 
        try:
153
 
            if getattr(os, 'lstat') is not None:
154
 
                os.lstat(f)
155
 
            else:
156
 
                os.stat(f)
157
 
            return True
158
 
        except OSError,e:
159
 
            if e.errno == errno.ENOENT:
160
 
                return False;
161
 
            else:
162
 
                raise BzrError("lstat/stat of (%r): %r" % (f, e))
163
 
 
164
 
 
165
 
def fancy_rename(old, new, rename_func, unlink_func):
166
 
    """A fancy rename, when you don't have atomic rename.
167
 
    
168
 
    :param old: The old path, to rename from
169
 
    :param new: The new path, to rename to
170
 
    :param rename_func: The potentially non-atomic rename function
171
 
    :param unlink_func: A way to delete the target file if the full rename succeeds
172
 
    """
173
 
 
174
 
    # sftp rename doesn't allow overwriting, so play tricks:
175
 
    import random
176
 
    base = os.path.basename(new)
177
 
    dirname = os.path.dirname(new)
178
 
    tmp_name = u'tmp.%s.%.9f.%d.%s' % (base, time.time(), os.getpid(), rand_chars(10))
179
 
    tmp_name = pathjoin(dirname, tmp_name)
180
 
 
181
 
    # Rename the file out of the way, but keep track if it didn't exist
182
 
    # We don't want to grab just any exception
183
 
    # something like EACCES should prevent us from continuing
184
 
    # The downside is that the rename_func has to throw an exception
185
 
    # with an errno = ENOENT, or NoSuchFile
186
 
    file_existed = False
187
 
    try:
188
 
        rename_func(new, tmp_name)
189
 
    except (NoSuchFile,), e:
190
 
        pass
191
 
    except IOError, e:
192
 
        # RBC 20060103 abstraction leakage: the paramiko SFTP clients rename
193
 
        # function raises an IOError with errno is None when a rename fails.
194
 
        # This then gets caught here.
195
 
        if e.errno not in (None, errno.ENOENT, errno.ENOTDIR):
196
 
            raise
197
 
    except Exception, e:
198
 
        if (getattr(e, 'errno', None) is None
199
 
            or e.errno not in (errno.ENOENT, errno.ENOTDIR)):
200
 
            raise
201
 
    else:
202
 
        file_existed = True
203
 
 
204
 
    success = False
205
 
    try:
206
 
        # This may throw an exception, in which case success will
207
 
        # not be set.
208
 
        rename_func(old, new)
209
 
        success = True
210
 
    finally:
211
 
        if file_existed:
212
 
            # If the file used to exist, rename it back into place
213
 
            # otherwise just delete it from the tmp location
214
 
            if success:
215
 
                unlink_func(tmp_name)
216
 
            else:
217
 
                rename_func(tmp_name, new)
218
 
 
219
 
 
220
 
# In Python 2.4.2 and older, os.path.abspath and os.path.realpath
221
 
# choke on a Unicode string containing a relative path if
222
 
# os.getcwd() returns a non-sys.getdefaultencoding()-encoded
223
 
# string.
224
 
_fs_enc = sys.getfilesystemencoding()
225
 
def _posix_abspath(path):
226
 
    # jam 20060426 rather than encoding to fsencoding
227
 
    # copy posixpath.abspath, but use os.getcwdu instead
228
 
    if not posixpath.isabs(path):
229
 
        path = posixpath.join(getcwd(), path)
230
 
    return posixpath.normpath(path)
231
 
 
232
 
 
233
 
def _posix_realpath(path):
234
 
    return posixpath.realpath(path.encode(_fs_enc)).decode(_fs_enc)
235
 
 
236
 
 
237
 
def _win32_fixdrive(path):
238
 
    """Force drive letters to be consistent.
239
 
 
240
 
    win32 is inconsistent whether it returns lower or upper case
241
 
    and even if it was consistent the user might type the other
242
 
    so we force it to uppercase
243
 
    running python.exe under cmd.exe return capital C:\\
244
 
    running win32 python inside a cygwin shell returns lowercase c:\\
245
 
    """
246
 
    drive, path = _nt_splitdrive(path)
247
 
    return drive.upper() + path
248
 
 
249
 
 
250
 
def _win32_abspath(path):
251
 
    # Real _nt_abspath doesn't have a problem with a unicode cwd
252
 
    return _win32_fixdrive(_nt_abspath(unicode(path)).replace('\\', '/'))
253
 
 
254
 
 
255
 
def _win32_realpath(path):
256
 
    # Real _nt_realpath doesn't have a problem with a unicode cwd
257
 
    return _win32_fixdrive(_nt_realpath(unicode(path)).replace('\\', '/'))
258
 
 
259
 
 
260
 
def _win32_pathjoin(*args):
261
 
    return _nt_join(*args).replace('\\', '/')
262
 
 
263
 
 
264
 
def _win32_normpath(path):
265
 
    return _win32_fixdrive(_nt_normpath(unicode(path)).replace('\\', '/'))
266
 
 
267
 
 
268
 
def _win32_getcwd():
269
 
    return _win32_fixdrive(os.getcwdu().replace('\\', '/'))
270
 
 
271
 
 
272
 
def _win32_mkdtemp(*args, **kwargs):
273
 
    return _win32_fixdrive(tempfile.mkdtemp(*args, **kwargs).replace('\\', '/'))
274
 
 
275
 
 
276
 
def _win32_rename(old, new):
277
 
    """We expect to be able to atomically replace 'new' with old.
278
 
 
279
 
    On win32, if new exists, it must be moved out of the way first,
280
 
    and then deleted. 
281
 
    """
282
 
    try:
283
 
        fancy_rename(old, new, rename_func=os.rename, unlink_func=os.unlink)
284
 
    except OSError, e:
285
 
        if e.errno in (errno.EPERM, errno.EACCES, errno.EBUSY, errno.EINVAL):
286
 
            # If we try to rename a non-existant file onto cwd, we get 
287
 
            # EPERM or EACCES instead of ENOENT, this will raise ENOENT 
288
 
            # if the old path doesn't exist, sometimes we get EACCES
289
 
            # On Linux, we seem to get EBUSY, on Mac we get EINVAL
290
 
            os.lstat(old)
291
 
        raise
292
 
 
293
 
 
294
 
def _mac_getcwd():
295
 
    return unicodedata.normalize('NFKC', os.getcwdu())
296
 
 
297
 
 
298
 
# Default is to just use the python builtins, but these can be rebound on
299
 
# particular platforms.
300
 
abspath = _posix_abspath
301
 
realpath = _posix_realpath
302
 
pathjoin = os.path.join
303
 
normpath = os.path.normpath
304
 
getcwd = os.getcwdu
305
 
mkdtemp = tempfile.mkdtemp
306
 
rename = os.rename
307
 
dirname = os.path.dirname
308
 
basename = os.path.basename
309
 
rmtree = shutil.rmtree
310
 
 
311
 
MIN_ABS_PATHLENGTH = 1
312
 
 
313
 
 
314
 
if sys.platform == 'win32':
315
 
    abspath = _win32_abspath
316
 
    realpath = _win32_realpath
317
 
    pathjoin = _win32_pathjoin
318
 
    normpath = _win32_normpath
319
 
    getcwd = _win32_getcwd
320
 
    mkdtemp = _win32_mkdtemp
321
 
    rename = _win32_rename
322
 
 
323
 
    MIN_ABS_PATHLENGTH = 3
324
 
 
325
 
    def _win32_delete_readonly(function, path, excinfo):
326
 
        """Error handler for shutil.rmtree function [for win32]
327
 
        Helps to remove files and dirs marked as read-only.
328
 
        """
329
 
        type_, value = excinfo[:2]
330
 
        if function in (os.remove, os.rmdir) \
331
 
            and type_ == OSError \
332
 
            and value.errno == errno.EACCES:
333
 
            bzrlib.osutils.make_writable(path)
334
 
            function(path)
335
 
        else:
336
 
            raise
337
 
 
338
 
    def rmtree(path, ignore_errors=False, onerror=_win32_delete_readonly):
339
 
        """Replacer for shutil.rmtree: could remove readonly dirs/files"""
340
 
        return shutil.rmtree(path, ignore_errors, onerror)
341
 
elif sys.platform == 'darwin':
342
 
    getcwd = _mac_getcwd
343
 
 
344
 
 
345
 
def get_terminal_encoding():
346
 
    """Find the best encoding for printing to the screen.
347
 
 
348
 
    This attempts to check both sys.stdout and sys.stdin to see
349
 
    what encoding they are in, and if that fails it falls back to
350
 
    bzrlib.user_encoding.
351
 
    The problem is that on Windows, locale.getpreferredencoding()
352
 
    is not the same encoding as that used by the console:
353
 
    http://mail.python.org/pipermail/python-list/2003-May/162357.html
354
 
 
355
 
    On my standard US Windows XP, the preferred encoding is
356
 
    cp1252, but the console is cp437
357
 
    """
358
 
    output_encoding = getattr(sys.stdout, 'encoding', None)
359
 
    if not output_encoding:
360
 
        input_encoding = getattr(sys.stdin, 'encoding', None)
361
 
        if not input_encoding:
362
 
            output_encoding = bzrlib.user_encoding
363
 
            mutter('encoding stdout as bzrlib.user_encoding %r', output_encoding)
364
 
        else:
365
 
            output_encoding = input_encoding
366
 
            mutter('encoding stdout as sys.stdin encoding %r', output_encoding)
367
 
    else:
368
 
        mutter('encoding stdout as sys.stdout encoding %r', output_encoding)
369
 
    return output_encoding
370
 
 
371
 
 
372
 
def normalizepath(f):
373
 
    if getattr(os.path, 'realpath', None) is not None:
374
 
        F = realpath
375
 
    else:
376
 
        F = abspath
377
 
    [p,e] = os.path.split(f)
378
 
    if e == "" or e == "." or e == "..":
379
 
        return F(f)
380
 
    else:
381
 
        return pathjoin(F(p), e)
382
 
 
383
 
 
384
 
def backup_file(fn):
385
 
    """Copy a file to a backup.
386
 
 
387
 
    Backups are named in GNU-style, with a ~ suffix.
388
 
 
389
 
    If the file is already a backup, it's not copied.
390
 
    """
391
 
    if fn[-1] == '~':
392
 
        return
393
 
    bfn = fn + '~'
394
 
 
395
 
    if has_symlinks() and os.path.islink(fn):
396
 
        target = os.readlink(fn)
397
 
        os.symlink(target, bfn)
398
 
        return
399
 
    inf = file(fn, 'rb')
400
 
    try:
401
 
        content = inf.read()
402
 
    finally:
403
 
        inf.close()
404
 
    
405
 
    outf = file(bfn, 'wb')
406
 
    try:
407
 
        outf.write(content)
408
 
    finally:
409
 
        outf.close()
 
40
    """Return shell-quoted filename"""
 
41
    ## We could be a bit more terse by using double-quotes etc
 
42
    f = _QUOTE_RE.sub(r'\\\1', f)
 
43
    if f[0] == '~':
 
44
        f[0:1] = r'\~' 
 
45
    return f
 
46
 
 
47
 
 
48
def file_kind(f):
 
49
    mode = os.lstat(f)[ST_MODE]
 
50
    if S_ISREG(mode):
 
51
        return 'file'
 
52
    elif S_ISDIR(mode):
 
53
        return 'directory'
 
54
    elif S_ISLNK(mode):
 
55
        return 'symlink'
 
56
    else:
 
57
        bailout("can't handle file kind with mode %o of %r" % (mode, f)) 
 
58
 
410
59
 
411
60
 
412
61
def isdir(f):
417
66
        return False
418
67
 
419
68
 
 
69
 
420
70
def isfile(f):
421
71
    """True if f is a regular file."""
422
72
    try:
424
74
    except OSError:
425
75
        return False
426
76
 
427
 
def islink(f):
428
 
    """True if f is a symlink."""
429
 
    try:
430
 
        return S_ISLNK(os.lstat(f)[ST_MODE])
431
 
    except OSError:
432
 
        return False
433
 
 
434
 
def is_inside(dir, fname):
435
 
    """True if fname is inside dir.
436
 
    
437
 
    The parameters should typically be passed to osutils.normpath first, so
438
 
    that . and .. and repeated slashes are eliminated, and the separators
439
 
    are canonical for the platform.
440
 
    
441
 
    The empty string as a dir name is taken as top-of-tree and matches 
442
 
    everything.
443
 
    
444
 
    >>> is_inside('src', pathjoin('src', 'foo.c'))
445
 
    True
446
 
    >>> is_inside('src', 'srccontrol')
447
 
    False
448
 
    >>> is_inside('src', pathjoin('src', 'a', 'a', 'a', 'foo.c'))
449
 
    True
450
 
    >>> is_inside('foo.c', 'foo.c')
451
 
    True
452
 
    >>> is_inside('foo.c', '')
453
 
    False
454
 
    >>> is_inside('', 'foo.c')
455
 
    True
456
 
    """
457
 
    # XXX: Most callers of this can actually do something smarter by 
458
 
    # looking at the inventory
459
 
    if dir == fname:
460
 
        return True
461
 
    
462
 
    if dir == '':
463
 
        return True
464
 
 
465
 
    if dir[-1] != '/':
466
 
        dir += '/'
467
 
 
468
 
    return fname.startswith(dir)
469
 
 
470
 
 
471
 
def is_inside_any(dir_list, fname):
472
 
    """True if fname is inside any of given dirs."""
473
 
    for dirname in dir_list:
474
 
        if is_inside(dirname, fname):
475
 
            return True
476
 
    else:
477
 
        return False
478
 
 
479
 
 
480
 
def is_inside_or_parent_of_any(dir_list, fname):
481
 
    """True if fname is a child or a parent of any of the given files."""
482
 
    for dirname in dir_list:
483
 
        if is_inside(dirname, fname) or is_inside(fname, dirname):
484
 
            return True
485
 
    else:
486
 
        return False
487
 
 
488
77
 
489
78
def pumpfile(fromfile, tofile):
490
79
    """Copy contents of one file to another."""
491
 
    BUFSIZE = 32768
492
 
    while True:
493
 
        b = fromfile.read(BUFSIZE)
494
 
        if not b:
495
 
            break
496
 
        tofile.write(b)
497
 
 
498
 
 
499
 
def file_iterator(input_file, readsize=32768):
500
 
    while True:
501
 
        b = input_file.read(readsize)
502
 
        if len(b) == 0:
503
 
            break
504
 
        yield b
 
80
    tofile.write(fromfile.read())
 
81
 
 
82
 
 
83
def uuid():
 
84
    """Return a new UUID"""
 
85
    
 
86
    ## XXX: Could alternatively read /proc/sys/kernel/random/uuid on
 
87
    ## Linux, but we need something portable for other systems;
 
88
    ## preferably an implementation in Python.
 
89
    try:
 
90
        return chomp(file('/proc/sys/kernel/random/uuid').readline())
 
91
    except IOError:
 
92
        return chomp(os.popen('uuidgen').readline())
 
93
 
 
94
 
 
95
def chomp(s):
 
96
    if s and (s[-1] == '\n'):
 
97
        return s[:-1]
 
98
    else:
 
99
        return s
505
100
 
506
101
 
507
102
def sha_file(f):
508
 
    if getattr(f, 'tell', None) is not None:
 
103
    import sha
 
104
    ## TODO: Maybe read in chunks to handle big files
 
105
    if hasattr(f, 'tell'):
509
106
        assert f.tell() == 0
510
107
    s = sha.new()
511
 
    BUFSIZE = 128<<10
512
 
    while True:
513
 
        b = f.read(BUFSIZE)
514
 
        if not b:
515
 
            break
516
 
        s.update(b)
517
 
    return s.hexdigest()
518
 
 
519
 
 
520
 
 
521
 
def sha_strings(strings):
522
 
    """Return the sha-1 of concatenation of strings"""
523
 
    s = sha.new()
524
 
    map(s.update, strings)
 
108
    s.update(f.read())
525
109
    return s.hexdigest()
526
110
 
527
111
 
528
112
def sha_string(f):
 
113
    import sha
529
114
    s = sha.new()
530
115
    s.update(f)
531
116
    return s.hexdigest()
532
117
 
533
118
 
 
119
 
534
120
def fingerprint_file(f):
 
121
    import sha
535
122
    s = sha.new()
536
123
    b = f.read()
537
124
    s.update(b)
540
127
            'sha1': s.hexdigest()}
541
128
 
542
129
 
 
130
 
 
131
def username():
 
132
    """Return email-style username.
 
133
 
 
134
    Something similar to 'Martin Pool <mbp@sourcefrog.net>'
 
135
 
 
136
    :todo: Check it's reasonably well-formed.
 
137
 
 
138
    :todo: Allow taking it from a dotfile to help people on windows
 
139
           who can't easily set variables.
 
140
 
 
141
    :todo: Cope without pwd module, which is only on unix. 
 
142
    """
 
143
    e = os.environ.get('BZREMAIL') or os.environ.get('EMAIL')
 
144
    if e: return e
 
145
 
 
146
    import socket
 
147
    
 
148
    try:
 
149
        import pwd
 
150
        uid = os.getuid()
 
151
        w = pwd.getpwuid(uid)
 
152
        gecos = w.pw_gecos
 
153
        comma = gecos.find(',')
 
154
        if comma == -1:
 
155
            realname = gecos
 
156
        else:
 
157
            realname = gecos[:comma]
 
158
        return '%s <%s@%s>' % (realname, w.pw_name, socket.getfqdn())
 
159
    except ImportError:
 
160
        pass
 
161
 
 
162
    import getpass, socket
 
163
    return '<%s@%s>' % (getpass.getuser(), socket.getfqdn())
 
164
 
 
165
 
 
166
def user_email():
 
167
    """Return just the email component of a username."""
 
168
    e = os.environ.get('BZREMAIL') or os.environ.get('EMAIL')
 
169
    if e:
 
170
        import re
 
171
        m = re.search(r'[\w+.-]+@[\w+.-]+', e)
 
172
        if not m:
 
173
            bailout('%r is not a reasonable email address' % e)
 
174
        return m.group(0)
 
175
 
 
176
 
 
177
    import getpass, socket
 
178
    return '%s@%s' % (getpass.getuser(), socket.getfqdn())
 
179
 
 
180
    
 
181
 
 
182
 
543
183
def compare_files(a, b):
544
184
    """Returns true if equal in contents"""
 
185
    # TODO: don't read the whole thing in one go.
545
186
    BUFSIZE = 4096
546
187
    while True:
547
188
        ai = a.read(BUFSIZE)
552
193
            return True
553
194
 
554
195
 
 
196
 
555
197
def local_time_offset(t=None):
556
198
    """Return offset of local zone from GMT, either at present or at time t."""
557
199
    # python2.3 localtime() can't take None
564
206
        return -time.timezone
565
207
 
566
208
    
567
 
def format_date(t, offset=0, timezone='original', date_fmt=None, 
568
 
                show_offset=True):
 
209
def format_date(t, offset=0, timezone='original'):
569
210
    ## TODO: Perhaps a global option to use either universal or local time?
570
211
    ## Or perhaps just let people set $TZ?
 
212
    import time
 
213
    
571
214
    assert isinstance(t, float)
572
215
    
573
216
    if timezone == 'utc':
574
217
        tt = time.gmtime(t)
575
218
        offset = 0
576
219
    elif timezone == 'original':
577
 
        if offset is None:
 
220
        if offset == None:
578
221
            offset = 0
579
222
        tt = time.gmtime(t + offset)
580
223
    elif timezone == 'local':
581
224
        tt = time.localtime(t)
582
225
        offset = local_time_offset(t)
583
226
    else:
584
 
        raise BzrError("unsupported timezone format %r" % timezone,
585
 
                       ['options are "utc", "original", "local"'])
586
 
    if date_fmt is None:
587
 
        date_fmt = "%a %Y-%m-%d %H:%M:%S"
588
 
    if show_offset:
589
 
        offset_str = ' %+03d%02d' % (offset / 3600, (offset / 60) % 60)
590
 
    else:
591
 
        offset_str = ''
592
 
    return (time.strftime(date_fmt, tt) +  offset_str)
 
227
        bailout("unsupported timezone format %r",
 
228
                ['options are "utc", "original", "local"'])
 
229
 
 
230
    return (time.strftime("%a %Y-%m-%d %H:%M:%S", tt)
 
231
            + ' %+03d%02d' % (offset / 3600, (offset / 60) % 60))
593
232
 
594
233
 
595
234
def compact_date(when):
596
235
    return time.strftime('%Y%m%d%H%M%S', time.gmtime(when))
597
236
    
598
237
 
599
 
def format_delta(delta):
600
 
    """Get a nice looking string for a time delta.
601
 
 
602
 
    :param delta: The time difference in seconds, can be positive or negative.
603
 
        positive indicates time in the past, negative indicates time in the
604
 
        future. (usually time.time() - stored_time)
605
 
    :return: String formatted to show approximate resolution
606
 
    """
607
 
    delta = int(delta)
608
 
    if delta >= 0:
609
 
        direction = 'ago'
610
 
    else:
611
 
        direction = 'in the future'
612
 
        delta = -delta
613
 
 
614
 
    seconds = delta
615
 
    if seconds < 90: # print seconds up to 90 seconds
616
 
        if seconds == 1:
617
 
            return '%d second %s' % (seconds, direction,)
618
 
        else:
619
 
            return '%d seconds %s' % (seconds, direction)
620
 
 
621
 
    minutes = int(seconds / 60)
622
 
    seconds -= 60 * minutes
623
 
    if seconds == 1:
624
 
        plural_seconds = ''
625
 
    else:
626
 
        plural_seconds = 's'
627
 
    if minutes < 90: # print minutes, seconds up to 90 minutes
628
 
        if minutes == 1:
629
 
            return '%d minute, %d second%s %s' % (
630
 
                    minutes, seconds, plural_seconds, direction)
631
 
        else:
632
 
            return '%d minutes, %d second%s %s' % (
633
 
                    minutes, seconds, plural_seconds, direction)
634
 
 
635
 
    hours = int(minutes / 60)
636
 
    minutes -= 60 * hours
637
 
    if minutes == 1:
638
 
        plural_minutes = ''
639
 
    else:
640
 
        plural_minutes = 's'
641
 
 
642
 
    if hours == 1:
643
 
        return '%d hour, %d minute%s %s' % (hours, minutes,
644
 
                                            plural_minutes, direction)
645
 
    return '%d hours, %d minute%s %s' % (hours, minutes,
646
 
                                         plural_minutes, direction)
647
238
 
648
239
def filesize(f):
649
240
    """Return size of given open file."""
650
241
    return os.fstat(f.fileno())[ST_SIZE]
651
242
 
652
243
 
653
 
# Define rand_bytes based on platform.
654
 
try:
655
 
    # Python 2.4 and later have os.urandom,
656
 
    # but it doesn't work on some arches
657
 
    os.urandom(1)
 
244
if hasattr(os, 'urandom'): # python 2.4 and later
658
245
    rand_bytes = os.urandom
659
 
except (NotImplementedError, AttributeError):
660
 
    # If python doesn't have os.urandom, or it doesn't work,
661
 
    # then try to first pull random data from /dev/urandom
662
 
    if os.path.exists("/dev/urandom"):
663
 
        rand_bytes = file('/dev/urandom', 'rb').read
664
 
    # Otherwise, use this hack as a last resort
665
 
    else:
666
 
        # not well seeded, but better than nothing
667
 
        def rand_bytes(n):
668
 
            import random
669
 
            s = ''
670
 
            while n:
671
 
                s += chr(random.randint(0, 255))
672
 
                n -= 1
673
 
            return s
674
 
 
675
 
 
676
 
ALNUM = '0123456789abcdefghijklmnopqrstuvwxyz'
677
 
def rand_chars(num):
678
 
    """Return a random string of num alphanumeric characters
679
 
    
680
 
    The result only contains lowercase chars because it may be used on 
681
 
    case-insensitive filesystems.
682
 
    """
683
 
    s = ''
684
 
    for raw_byte in rand_bytes(num):
685
 
        s += ALNUM[ord(raw_byte) % 36]
686
 
    return s
 
246
else:
 
247
    # FIXME: No good on non-Linux
 
248
    _rand_file = file('/dev/urandom', 'rb')
 
249
    rand_bytes = _rand_file.read
687
250
 
688
251
 
689
252
## TODO: We could later have path objects that remember their list
703
266
    >>> splitpath('a/../b')
704
267
    Traceback (most recent call last):
705
268
    ...
706
 
    BzrError: sorry, '..' not allowed in path
 
269
    BzrError: ("sorry, '..' not allowed in path", [])
707
270
    """
708
271
    assert isinstance(p, types.StringTypes)
709
 
 
710
 
    # split on either delimiter because people might use either on
711
 
    # Windows
712
 
    ps = re.split(r'[\\/]', p)
713
 
 
714
 
    rps = []
 
272
    ps = [f for f in p.split('/') if f != '.']
715
273
    for f in ps:
716
274
        if f == '..':
717
 
            raise BzrError("sorry, %r not allowed in path" % f)
718
 
        elif (f == '.') or (f == ''):
719
 
            pass
720
 
        else:
721
 
            rps.append(f)
722
 
    return rps
 
275
            bailout("sorry, %r not allowed in path" % f)
 
276
    return ps
723
277
 
724
278
def joinpath(p):
725
279
    assert isinstance(p, list)
726
280
    for f in p:
727
281
        if (f == '..') or (f is None) or (f == ''):
728
 
            raise BzrError("sorry, %r not allowed in path" % f)
729
 
    return pathjoin(*p)
730
 
 
731
 
 
732
 
@deprecated_function(zero_nine)
 
282
            bailout("sorry, %r not allowed in path" % f)
 
283
    return '/'.join(p)
 
284
 
 
285
 
733
286
def appendpath(p1, p2):
734
287
    if p1 == '':
735
288
        return p2
736
289
    else:
737
 
        return pathjoin(p1, p2)
738
 
    
739
 
 
740
 
def split_lines(s):
741
 
    """Split s into lines, but without removing the newline characters."""
742
 
    lines = s.split('\n')
743
 
    result = [line + '\n' for line in lines[:-1]]
744
 
    if lines[-1]:
745
 
        result.append(lines[-1])
746
 
    return result
747
 
 
748
 
 
749
 
def hardlinks_good():
750
 
    return sys.platform not in ('win32', 'cygwin', 'darwin')
751
 
 
752
 
 
753
 
def link_or_copy(src, dest):
754
 
    """Hardlink a file, or copy it if it can't be hardlinked."""
755
 
    if not hardlinks_good():
756
 
        copyfile(src, dest)
757
 
        return
758
 
    try:
759
 
        os.link(src, dest)
760
 
    except (OSError, IOError), e:
761
 
        if e.errno != errno.EXDEV:
762
 
            raise
763
 
        copyfile(src, dest)
764
 
 
765
 
def delete_any(full_path):
766
 
    """Delete a file or directory."""
767
 
    try:
768
 
        os.unlink(full_path)
769
 
    except OSError, e:
770
 
    # We may be renaming a dangling inventory id
771
 
        if e.errno not in (errno.EISDIR, errno.EACCES, errno.EPERM):
772
 
            raise
773
 
        os.rmdir(full_path)
774
 
 
775
 
 
776
 
def has_symlinks():
777
 
    if getattr(os, 'symlink', None) is not None:
778
 
        return True
779
 
    else:
780
 
        return False
781
 
        
782
 
 
783
 
def contains_whitespace(s):
784
 
    """True if there are any whitespace characters in s."""
785
 
    for ch in string.whitespace:
786
 
        if ch in s:
787
 
            return True
788
 
    else:
789
 
        return False
790
 
 
791
 
 
792
 
def contains_linebreaks(s):
793
 
    """True if there is any vertical whitespace in s."""
794
 
    for ch in '\f\n\r':
795
 
        if ch in s:
796
 
            return True
797
 
    else:
798
 
        return False
799
 
 
800
 
 
801
 
def relpath(base, path):
802
 
    """Return path relative to base, or raise exception.
803
 
 
804
 
    The path may be either an absolute path or a path relative to the
805
 
    current working directory.
806
 
 
807
 
    os.path.commonprefix (python2.4) has a bad bug that it works just
808
 
    on string prefixes, assuming that '/u' is a prefix of '/u2'.  This
809
 
    avoids that problem.
810
 
    """
811
 
 
812
 
    assert len(base) >= MIN_ABS_PATHLENGTH, ('Length of base must be equal or'
813
 
        ' exceed the platform minimum length (which is %d)' % 
814
 
        MIN_ABS_PATHLENGTH)
815
 
 
816
 
    rp = abspath(path)
817
 
 
818
 
    s = []
819
 
    head = rp
820
 
    while len(head) >= len(base):
821
 
        if head == base:
822
 
            break
823
 
        head, tail = os.path.split(head)
824
 
        if tail:
825
 
            s.insert(0, tail)
826
 
    else:
827
 
        raise PathNotChild(rp, base)
828
 
 
829
 
    if s:
830
 
        return pathjoin(*s)
831
 
    else:
832
 
        return ''
833
 
 
834
 
 
835
 
def safe_unicode(unicode_or_utf8_string):
836
 
    """Coerce unicode_or_utf8_string into unicode.
837
 
 
838
 
    If it is unicode, it is returned.
839
 
    Otherwise it is decoded from utf-8. If a decoding error
840
 
    occurs, it is wrapped as a If the decoding fails, the exception is wrapped 
841
 
    as a BzrBadParameter exception.
842
 
    """
843
 
    if isinstance(unicode_or_utf8_string, unicode):
844
 
        return unicode_or_utf8_string
845
 
    try:
846
 
        return unicode_or_utf8_string.decode('utf8')
847
 
    except UnicodeDecodeError:
848
 
        raise BzrBadParameterNotUnicode(unicode_or_utf8_string)
849
 
 
850
 
 
851
 
_platform_normalizes_filenames = False
852
 
if sys.platform == 'darwin':
853
 
    _platform_normalizes_filenames = True
854
 
 
855
 
 
856
 
def normalizes_filenames():
857
 
    """Return True if this platform normalizes unicode filenames.
858
 
 
859
 
    Mac OSX does, Windows/Linux do not.
860
 
    """
861
 
    return _platform_normalizes_filenames
862
 
 
863
 
 
864
 
def _accessible_normalized_filename(path):
865
 
    """Get the unicode normalized path, and if you can access the file.
866
 
 
867
 
    On platforms where the system normalizes filenames (Mac OSX),
868
 
    you can access a file by any path which will normalize correctly.
869
 
    On platforms where the system does not normalize filenames 
870
 
    (Windows, Linux), you have to access a file by its exact path.
871
 
 
872
 
    Internally, bzr only supports NFC/NFKC normalization, since that is 
873
 
    the standard for XML documents.
874
 
 
875
 
    So return the normalized path, and a flag indicating if the file
876
 
    can be accessed by that path.
877
 
    """
878
 
 
879
 
    return unicodedata.normalize('NFKC', unicode(path)), True
880
 
 
881
 
 
882
 
def _inaccessible_normalized_filename(path):
883
 
    __doc__ = _accessible_normalized_filename.__doc__
884
 
 
885
 
    normalized = unicodedata.normalize('NFKC', unicode(path))
886
 
    return normalized, normalized == path
887
 
 
888
 
 
889
 
if _platform_normalizes_filenames:
890
 
    normalized_filename = _accessible_normalized_filename
891
 
else:
892
 
    normalized_filename = _inaccessible_normalized_filename
893
 
 
894
 
 
895
 
def terminal_width():
896
 
    """Return estimated terminal width."""
897
 
    if sys.platform == 'win32':
898
 
        import bzrlib.win32console
899
 
        return bzrlib.win32console.get_console_size()[0]
900
 
    width = 0
901
 
    try:
902
 
        import struct, fcntl, termios
903
 
        s = struct.pack('HHHH', 0, 0, 0, 0)
904
 
        x = fcntl.ioctl(1, termios.TIOCGWINSZ, s)
905
 
        width = struct.unpack('HHHH', x)[1]
906
 
    except IOError:
907
 
        pass
908
 
    if width <= 0:
909
 
        try:
910
 
            width = int(os.environ['COLUMNS'])
911
 
        except:
912
 
            pass
913
 
    if width <= 0:
914
 
        width = 80
915
 
 
916
 
    return width
917
 
 
918
 
 
919
 
def supports_executable():
920
 
    return sys.platform != "win32"
921
 
 
922
 
 
923
 
def set_or_unset_env(env_variable, value):
924
 
    """Modify the environment, setting or removing the env_variable.
925
 
 
926
 
    :param env_variable: The environment variable in question
927
 
    :param value: The value to set the environment to. If None, then
928
 
        the variable will be removed.
929
 
    :return: The original value of the environment variable.
930
 
    """
931
 
    orig_val = os.environ.get(env_variable)
932
 
    if value is None:
933
 
        if orig_val is not None:
934
 
            del os.environ[env_variable]
935
 
    else:
936
 
        if isinstance(value, unicode):
937
 
            value = value.encode(bzrlib.user_encoding)
938
 
        os.environ[env_variable] = value
939
 
    return orig_val
940
 
 
941
 
 
942
 
_validWin32PathRE = re.compile(r'^([A-Za-z]:[/\\])?[^:<>*"?\|]*$')
943
 
 
944
 
 
945
 
def check_legal_path(path):
946
 
    """Check whether the supplied path is legal.  
947
 
    This is only required on Windows, so we don't test on other platforms
948
 
    right now.
949
 
    """
950
 
    if sys.platform != "win32":
951
 
        return
952
 
    if _validWin32PathRE.match(path) is None:
953
 
        raise IllegalPath(path)
954
 
 
955
 
 
956
 
def walkdirs(top, prefix=""):
957
 
    """Yield data about all the directories in a tree.
958
 
    
959
 
    This yields all the data about the contents of a directory at a time.
960
 
    After each directory has been yielded, if the caller has mutated the list
961
 
    to exclude some directories, they are then not descended into.
962
 
    
963
 
    The data yielded is of the form:
964
 
    ((directory-relpath, directory-path-from-top),
965
 
    [(relpath, basename, kind, lstat), ...]),
966
 
     - directory-relpath is the relative path of the directory being returned
967
 
       with respect to top. prefix is prepended to this.
968
 
     - directory-path-from-root is the path including top for this directory. 
969
 
       It is suitable for use with os functions.
970
 
     - relpath is the relative path within the subtree being walked.
971
 
     - basename is the basename of the path
972
 
     - kind is the kind of the file now. If unknown then the file is not
973
 
       present within the tree - but it may be recorded as versioned. See
974
 
       versioned_kind.
975
 
     - lstat is the stat data *if* the file was statted.
976
 
     - planned, not implemented: 
977
 
       path_from_tree_root is the path from the root of the tree.
978
 
 
979
 
    :param prefix: Prefix the relpaths that are yielded with 'prefix'. This 
980
 
        allows one to walk a subtree but get paths that are relative to a tree
981
 
        rooted higher up.
982
 
    :return: an iterator over the dirs.
983
 
    """
984
 
    #TODO there is a bit of a smell where the results of the directory-
985
 
    # summary in this, and the path from the root, may not agree 
986
 
    # depending on top and prefix - i.e. ./foo and foo as a pair leads to
987
 
    # potentially confusing output. We should make this more robust - but
988
 
    # not at a speed cost. RBC 20060731
989
 
    lstat = os.lstat
990
 
    pending = []
991
 
    _directory = _directory_kind
992
 
    _listdir = listdir
993
 
    pending = [(prefix, "", _directory, None, top)]
994
 
    while pending:
995
 
        dirblock = []
996
 
        currentdir = pending.pop()
997
 
        # 0 - relpath, 1- basename, 2- kind, 3- stat, 4-toppath
998
 
        top = currentdir[4]
999
 
        if currentdir[0]:
1000
 
            relroot = currentdir[0] + '/'
1001
 
        else:
1002
 
            relroot = ""
1003
 
        for name in sorted(_listdir(top)):
1004
 
            abspath = top + '/' + name
1005
 
            statvalue = lstat(abspath)
1006
 
            dirblock.append((relroot + name, name,
1007
 
                file_kind_from_stat_mode(statvalue.st_mode),
1008
 
                statvalue, abspath))
1009
 
        yield (currentdir[0], top), dirblock
1010
 
        # push the user specified dirs from dirblock
1011
 
        for dir in reversed(dirblock):
1012
 
            if dir[2] == _directory:
1013
 
                pending.append(dir)
1014
 
 
1015
 
 
1016
 
def copy_tree(from_path, to_path, handlers={}):
1017
 
    """Copy all of the entries in from_path into to_path.
1018
 
 
1019
 
    :param from_path: The base directory to copy. 
1020
 
    :param to_path: The target directory. If it does not exist, it will
1021
 
        be created.
1022
 
    :param handlers: A dictionary of functions, which takes a source and
1023
 
        destinations for files, directories, etc.
1024
 
        It is keyed on the file kind, such as 'directory', 'symlink', or 'file'
1025
 
        'file', 'directory', and 'symlink' should always exist.
1026
 
        If they are missing, they will be replaced with 'os.mkdir()',
1027
 
        'os.readlink() + os.symlink()', and 'shutil.copy2()', respectively.
1028
 
    """
1029
 
    # Now, just copy the existing cached tree to the new location
1030
 
    # We use a cheap trick here.
1031
 
    # Absolute paths are prefixed with the first parameter
1032
 
    # relative paths are prefixed with the second.
1033
 
    # So we can get both the source and target returned
1034
 
    # without any extra work.
1035
 
 
1036
 
    def copy_dir(source, dest):
1037
 
        os.mkdir(dest)
1038
 
 
1039
 
    def copy_link(source, dest):
1040
 
        """Copy the contents of a symlink"""
1041
 
        link_to = os.readlink(source)
1042
 
        os.symlink(link_to, dest)
1043
 
 
1044
 
    real_handlers = {'file':shutil.copy2,
1045
 
                     'symlink':copy_link,
1046
 
                     'directory':copy_dir,
1047
 
                    }
1048
 
    real_handlers.update(handlers)
1049
 
 
1050
 
    if not os.path.exists(to_path):
1051
 
        real_handlers['directory'](from_path, to_path)
1052
 
 
1053
 
    for dir_info, entries in walkdirs(from_path, prefix=to_path):
1054
 
        for relpath, name, kind, st, abspath in entries:
1055
 
            real_handlers[kind](abspath, relpath)
1056
 
 
1057
 
 
1058
 
def path_prefix_key(path):
1059
 
    """Generate a prefix-order path key for path.
1060
 
 
1061
 
    This can be used to sort paths in the same way that walkdirs does.
1062
 
    """
1063
 
    return (dirname(path) , path)
1064
 
 
1065
 
 
1066
 
def compare_paths_prefix_order(path_a, path_b):
1067
 
    """Compare path_a and path_b to generate the same order walkdirs uses."""
1068
 
    key_a = path_prefix_key(path_a)
1069
 
    key_b = path_prefix_key(path_b)
1070
 
    return cmp(key_a, key_b)
1071
 
 
1072
 
 
1073
 
_cached_user_encoding = None
1074
 
 
1075
 
 
1076
 
def get_user_encoding():
1077
 
    """Find out what the preferred user encoding is.
1078
 
 
1079
 
    This is generally the encoding that is used for command line parameters
1080
 
    and file contents. This may be different from the terminal encoding
1081
 
    or the filesystem encoding.
1082
 
 
1083
 
    :return: A string defining the preferred user encoding
1084
 
    """
1085
 
    global _cached_user_encoding
1086
 
    if _cached_user_encoding is not None:
1087
 
        return _cached_user_encoding
1088
 
 
1089
 
    if sys.platform == 'darwin':
1090
 
        # work around egregious python 2.4 bug
1091
 
        sys.platform = 'posix'
1092
 
        try:
1093
 
            import locale
1094
 
        finally:
1095
 
            sys.platform = 'darwin'
1096
 
    else:
1097
 
        import locale
1098
 
 
1099
 
    try:
1100
 
        _cached_user_encoding = locale.getpreferredencoding()
1101
 
    except locale.Error, e:
1102
 
        sys.stderr.write('bzr: warning: %s\n'
1103
 
                         '  Could not determine what text encoding to use.\n'
1104
 
                         '  This error usually means your Python interpreter\n'
1105
 
                         '  doesn\'t support the locale set by $LANG (%s)\n'
1106
 
                         "  Continuing with ascii encoding.\n"
1107
 
                         % (e, os.environ.get('LANG')))
1108
 
 
1109
 
    if _cached_user_encoding is None:
1110
 
        _cached_user_encoding = 'ascii'
1111
 
    return _cached_user_encoding
 
290
        return p1 + '/' + p2
 
291
    
 
292
 
 
293
def extern_command(cmd, ignore_errors = False):
 
294
    mutter('external command: %s' % `cmd`)
 
295
    if os.system(cmd):
 
296
        if not ignore_errors:
 
297
            bailout('command failed')
 
298