← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/trace.py

(jelmer) Support upgrading between the 2a and development-colo formats.
 (Jelmer Vernooij)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/trace.py
1
 
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
"""Messages and logging for bazaar-ng.
 
17
"""Messages and logging.
18
18
 
19
19
Messages are supplied by callers as a string-formatting template, plus values
20
20
to be inserted into it.  The actual %-formatting is deferred to the log
33
33
 
34
34
Output to stderr depends on the mode chosen by the user.  By default, messages
35
35
of info and above are sent out, which results in progress messages such as the
36
 
list of files processed by add and commit.  In quiet mode, only warnings and
37
 
above are shown.  In debug mode, stderr gets debug messages too.
 
36
list of files processed by add and commit.  In debug mode, stderr gets debug messages too.
38
37
 
39
38
Errors that terminate an operation are generally passed back as exceptions;
40
39
others may be just emitted as messages.
59
58
import logging
60
59
import os
61
60
import sys
62
 
import re
63
61
import time
64
62
 
65
63
from bzrlib.lazy_import import lazy_import
67
65
from cStringIO import StringIO
68
66
import errno
69
67
import locale
 
68
import tempfile
70
69
import traceback
71
70
""")
72
71
 
77
76
    debug,
78
77
    errors,
79
78
    osutils,
80
 
    plugin,
81
 
    symbol_versioning,
 
79
    ui,
82
80
    )
83
81
""")
84
82
 
107
105
 
108
106
 
109
107
def note(*args, **kwargs):
 
108
    """Output a note to the user.
 
109
 
 
110
    Takes the same parameters as logging.info.
 
111
 
 
112
    :return: None
 
113
    """
110
114
    # FIXME note always emits utf-8, regardless of the terminal encoding
111
115
    #
112
116
    # FIXME: clearing the ui and then going through the abstract logging
113
117
    # framework is whack; we should probably have a logging Handler that
114
118
    # deals with terminal output if needed.
115
 
    import bzrlib.ui
116
 
    bzrlib.ui.ui_factory.clear_term()
 
119
    ui.ui_factory.clear_term()
117
120
    _bzr_logger.info(*args, **kwargs)
118
121
 
119
122
 
120
123
def warning(*args, **kwargs):
121
 
    import bzrlib.ui
122
 
    bzrlib.ui.ui_factory.clear_term()
 
124
    ui.ui_factory.clear_term()
123
125
    _bzr_logger.warning(*args, **kwargs)
124
126
 
125
127
 
126
 
# configure convenient aliases for output routines
127
 
#
128
 
# TODO: deprecate them, have one name for each.
129
 
info = note
130
 
log_error = _bzr_logger.error
131
 
error =     _bzr_logger.error
 
128
def show_error(*args, **kwargs):
 
129
    """Show an error message to the user.
 
130
 
 
131
    Don't use this for exceptions, use report_exception instead.
 
132
    """
 
133
    _bzr_logger.error(*args, **kwargs)
132
134
 
133
135
 
134
136
def mutter(fmt, *args):
135
137
    if _trace_file is None:
136
138
        return
 
139
    # XXX: Don't check this every time; instead anyone who closes the file
 
140
    # ought to deregister it.  We can tolerate None.
137
141
    if (getattr(_trace_file, 'closed', None) is not None) and _trace_file.closed:
138
142
        return
139
143
 
152
156
        out = fmt % tuple(real_args)
153
157
    else:
154
158
        out = fmt
155
 
    timestamp = '%0.3f  ' % (time.time() - _bzr_log_start_time,)
 
159
    now = time.time()
 
160
    timestamp = '%0.3f  ' % (now - _bzr_log_start_time,)
156
161
    out = timestamp + out + '\n'
157
162
    _trace_file.write(out)
158
 
    # no need to flush here, the trace file is now linebuffered when it's
159
 
    # opened.
 
163
    # there's no explicit flushing; the file is typically line buffered.
160
164
 
161
165
 
162
166
def mutter_callsite(stacklevel, fmt, *args):
168
172
    :param args: A list of substitution variables.
169
173
    """
170
174
    outf = StringIO()
171
 
    traceback.print_stack(limit=stacklevel + 1, file=outf)
 
175
    if stacklevel is None:
 
176
        limit = None
 
177
    else:
 
178
        limit = stacklevel + 1
 
179
    traceback.print_stack(limit=limit, file=outf)
172
180
    formatted_lines = outf.getvalue().splitlines()
173
181
    formatted_stack = '\n'.join(formatted_lines[:-2])
174
182
    mutter(fmt + "\nCalled from:\n%s", *(args + (formatted_stack,)))
201
209
 
202
210
 
203
211
def _open_bzr_log():
204
 
    """Open the .bzr.log trace file.  
 
212
    """Open the .bzr.log trace file.
205
213
 
206
214
    If the log is more than a particular length, the old file is renamed to
207
215
    .bzr.log.old and a new file is started.  Otherwise, we append to the
210
218
    This sets the global _bzr_log_filename.
211
219
    """
212
220
    global _bzr_log_filename
 
221
 
 
222
    def _open_or_create_log_file(filename):
 
223
        """Open existing log file, or create with ownership and permissions
 
224
 
 
225
        It inherits the ownership and permissions (masked by umask) from
 
226
        the containing directory to cope better with being run under sudo
 
227
        with $HOME still set to the user's homedir.
 
228
        """
 
229
        flags = os.O_WRONLY | os.O_APPEND | osutils.O_TEXT
 
230
        while True:
 
231
            try:
 
232
                fd = os.open(filename, flags)
 
233
                break
 
234
            except OSError, e:
 
235
                if e.errno != errno.ENOENT:
 
236
                    raise
 
237
            try:
 
238
                fd = os.open(filename, flags | os.O_CREAT | os.O_EXCL, 0666)
 
239
            except OSError, e:
 
240
                if e.errno != errno.EEXIST:
 
241
                    raise
 
242
            else:
 
243
                osutils.copy_ownership_from_path(filename)
 
244
                break
 
245
        return os.fdopen(fd, 'at', 0) # unbuffered
 
246
 
 
247
 
213
248
    _bzr_log_filename = _get_bzr_log_filename()
214
249
    _rollover_trace_maybe(_bzr_log_filename)
215
250
    try:
216
 
        bzr_log_file = open(_bzr_log_filename, 'at', 1) # line buffered
217
 
        # bzr_log_file.tell() on windows always return 0 until some writing done
 
251
        bzr_log_file = _open_or_create_log_file(_bzr_log_filename)
218
252
        bzr_log_file.write('\n')
219
253
        if bzr_log_file.tell() <= 2:
220
254
            bzr_log_file.write("this is a debug log for diagnosing/reporting problems in bzr\n")
221
255
            bzr_log_file.write("you can delete or truncate this file, or include sections in\n")
222
256
            bzr_log_file.write("bug reports to https://bugs.launchpad.net/bzr/+filebug\n\n")
 
257
 
223
258
        return bzr_log_file
224
 
    except IOError, e:
225
 
        warning("failed to open trace file: %s" % (e))
 
259
 
 
260
    except EnvironmentError, e:
 
261
        # If we are failing to open the log, then most likely logging has not
 
262
        # been set up yet. So we just write to stderr rather than using
 
263
        # 'warning()'. If we using warning(), users get the unhelpful 'no
 
264
        # handlers registered for "bzr"' when something goes wrong on the
 
265
        # server. (bug #503886)
 
266
        sys.stderr.write("failed to open trace file: %s\n" % (e,))
226
267
    # TODO: What should happen if we fail to open the trace file?  Maybe the
227
268
    # objects should be pointed at /dev/null or the equivalent?  Currently
228
269
    # returns None which will cause failures later.
 
270
    return None
229
271
 
230
272
 
231
273
def enable_default_logging():
232
274
    """Configure default logging: messages to stderr and debug to .bzr.log
233
 
    
 
275
 
234
276
    This should only be called once per process.
235
277
 
236
278
    Non-command-line programs embedding bzrlib do not need to call this.  They
237
279
    can instead either pass a file to _push_log_file, or act directly on
238
280
    logging.getLogger("bzr").
239
 
    
 
281
 
240
282
    Output can be redirected away by calling _push_log_file.
 
283
 
 
284
    :return: A memento from push_log_file for restoring the log state.
241
285
    """
 
286
    start_time = osutils.format_local_date(_bzr_log_start_time,
 
287
                                           timezone='local')
242
288
    # create encoded wrapper around stderr
243
289
    bzr_log_file = _open_bzr_log()
244
 
    push_log_file(bzr_log_file,
 
290
    if bzr_log_file is not None:
 
291
        bzr_log_file.write(start_time.encode('utf-8') + '\n')
 
292
    memento = push_log_file(bzr_log_file,
245
293
        r'[%(process)5d] %(asctime)s.%(msecs)03d %(levelname)s: %(message)s',
246
294
        r'%Y-%m-%d %H:%M:%S')
247
295
    # after hooking output into bzr_log, we also need to attach a stderr
248
296
    # handler, writing only at level info and with encoding
249
 
    writer_factory = codecs.getwriter(osutils.get_terminal_encoding())
 
297
    term_encoding = osutils.get_terminal_encoding()
 
298
    writer_factory = codecs.getwriter(term_encoding)
250
299
    encoded_stderr = writer_factory(sys.stderr, errors='replace')
251
300
    stderr_handler = logging.StreamHandler(encoded_stderr)
252
301
    stderr_handler.setLevel(logging.INFO)
253
302
    logging.getLogger('bzr').addHandler(stderr_handler)
 
303
    return memento
254
304
 
255
305
 
256
306
def push_log_file(to_file, log_format=None, date_format=None):
258
308
 
259
309
    :param to_file: A file-like object to which messages will be sent.
260
310
 
261
 
    :returns: A memento that should be passed to _pop_log_file to restore the 
262
 
    previously active logging.
 
311
    :returns: A memento that should be passed to _pop_log_file to restore the
 
312
        previously active logging.
263
313
    """
264
314
    global _trace_file
265
315
    # make a new handler
292
342
def pop_log_file((magic, old_handlers, new_handler, old_trace_file, new_trace_file)):
293
343
    """Undo changes to logging/tracing done by _push_log_file.
294
344
 
295
 
    This flushes, but does not close the trace file.
296
 
    
 
345
    This flushes, but does not close the trace file (so that anything that was
 
346
    in it is output.
 
347
 
297
348
    Takes the memento returned from _push_log_file."""
298
 
    assert magic == 'log_memento'
299
349
    global _trace_file
300
350
    _trace_file = old_trace_file
301
351
    bzr_logger = logging.getLogger('bzr')
302
352
    bzr_logger.removeHandler(new_handler)
303
 
    # must be closed, otherwise logging will try to close it atexit, and the
 
353
    # must be closed, otherwise logging will try to close it at exit, and the
304
354
    # file will likely already be closed underneath.
305
355
    new_handler.close()
306
356
    bzr_logger.handlers = old_handlers
307
 
    new_trace_file.flush()
308
 
 
309
 
 
310
 
@symbol_versioning.deprecated_function(symbol_versioning.one_two)
311
 
def enable_test_log(to_file):
312
 
    """Redirect logging to a temporary file for a test
313
 
    
314
 
    :returns: an opaque reference that should be passed to disable_test_log
315
 
    after the test completes.
316
 
    """
317
 
    return push_log_file(to_file)
318
 
 
319
 
 
320
 
@symbol_versioning.deprecated_function(symbol_versioning.one_two)
321
 
def disable_test_log(memento):
322
 
    return pop_log_file(memento)
 
357
    if new_trace_file is not None:
 
358
        new_trace_file.flush()
323
359
 
324
360
 
325
361
def log_exception_quietly():
326
362
    """Log the last exception to the trace file only.
327
363
 
328
 
    Used for exceptions that occur internally and that may be 
329
 
    interesting to developers but not to users.  For example, 
 
364
    Used for exceptions that occur internally and that may be
 
365
    interesting to developers but not to users.  For example,
330
366
    errors loading plugins.
331
367
    """
332
368
    mutter(traceback.format_exc())
340
376
    global _verbosity_level
341
377
    _verbosity_level = level
342
378
    _update_logging_level(level < 0)
 
379
    ui.ui_factory.be_quiet(level < 0)
343
380
 
344
381
 
345
382
def get_verbosity_level():
351
388
 
352
389
 
353
390
def be_quiet(quiet=True):
354
 
    # Perhaps this could be deprecated now ...
355
391
    if quiet:
356
392
        set_verbosity_level(-1)
357
393
    else:
376
412
    return _verbosity_level > 0
377
413
 
378
414
 
379
 
@symbol_versioning.deprecated_function(symbol_versioning.one_two)
380
 
def disable_default_logging():
381
 
    """Turn off default log handlers.
382
 
 
383
 
    Don't call this method, use _push_log_file and _pop_log_file instead.
 
415
def debug_memory(message='', short=True):
 
416
    """Write out a memory dump."""
 
417
    if sys.platform == 'win32':
 
418
        from bzrlib import win32utils
 
419
        win32utils.debug_memory_win32api(message=message, short=short)
 
420
    else:
 
421
        _debug_memory_proc(message=message, short=short)
 
422
 
 
423
 
 
424
_short_fields = ('VmPeak', 'VmSize', 'VmRSS')
 
425
 
 
426
def _debug_memory_proc(message='', short=True):
 
427
    try:
 
428
        status_file = file('/proc/%s/status' % os.getpid(), 'rb')
 
429
    except IOError:
 
430
        return
 
431
    try:
 
432
        status = status_file.read()
 
433
    finally:
 
434
        status_file.close()
 
435
    if message:
 
436
        note(message)
 
437
    for line in status.splitlines():
 
438
        if not short:
 
439
            note(line)
 
440
        else:
 
441
            for field in _short_fields:
 
442
                if line.startswith(field):
 
443
                    note(line)
 
444
                    break
 
445
 
 
446
def _dump_memory_usage(err_file):
 
447
    try:
 
448
        try:
 
449
            fd, name = tempfile.mkstemp(prefix="bzr_memdump", suffix=".json")
 
450
            dump_file = os.fdopen(fd, 'w')
 
451
            from meliae import scanner
 
452
            scanner.dump_gc_objects(dump_file)
 
453
            err_file.write("Memory dumped to %s\n" % name)
 
454
        except ImportError:
 
455
            err_file.write("Dumping memory requires meliae module.\n")
 
456
            log_exception_quietly()
 
457
        except:
 
458
            err_file.write("Exception while dumping memory.\n")
 
459
            log_exception_quietly()
 
460
    finally:
 
461
        if dump_file is not None:
 
462
            dump_file.close()
 
463
        elif fd is not None:
 
464
            os.close(fd)
 
465
 
 
466
 
 
467
def _qualified_exception_name(eclass, unqualified_bzrlib_errors=False):
 
468
    """Give name of error class including module for non-builtin exceptions
 
469
 
 
470
    If `unqualified_bzrlib_errors` is True, errors specific to bzrlib will
 
471
    also omit the module prefix.
384
472
    """
385
 
    pass
 
473
    class_name = eclass.__name__
 
474
    module_name = eclass.__module__
 
475
    if module_name in ("exceptions", "__main__") or (
 
476
            unqualified_bzrlib_errors and module_name == "bzrlib.errors"):
 
477
        return class_name
 
478
    return "%s.%s" % (module_name, class_name)
386
479
 
387
480
 
388
481
def report_exception(exc_info, err_file):
392
485
 
393
486
    :return: The appropriate exit code for this error.
394
487
    """
395
 
    exc_type, exc_object, exc_tb = exc_info
396
488
    # Log the full traceback to ~/.bzr.log
397
489
    log_exception_quietly()
 
490
    if 'error' in debug.debug_flags:
 
491
        print_exception(exc_info, err_file)
 
492
        return errors.EXIT_ERROR
 
493
    exc_type, exc_object, exc_tb = exc_info
398
494
    if (isinstance(exc_object, IOError)
399
495
        and getattr(exc_object, 'errno', None) == errno.EPIPE):
400
496
        err_file.write("bzr: broken pipe\n")
402
498
    elif isinstance(exc_object, KeyboardInterrupt):
403
499
        err_file.write("bzr: interrupted\n")
404
500
        return errors.EXIT_ERROR
 
501
    elif isinstance(exc_object, MemoryError):
 
502
        err_file.write("bzr: out of memory\n")
 
503
        if 'mem_dump' in debug.debug_flags:
 
504
            _dump_memory_usage(err_file)
 
505
        else:
 
506
            err_file.write("Use -Dmem_dump to dump memory to a file.\n")
 
507
        return errors.EXIT_ERROR
 
508
    elif isinstance(exc_object, ImportError) \
 
509
        and str(exc_object).startswith("No module named "):
 
510
        report_user_error(exc_info, err_file,
 
511
            'You may need to install this Python library separately.')
 
512
        return errors.EXIT_ERROR
405
513
    elif not getattr(exc_object, 'internal_error', True):
406
514
        report_user_error(exc_info, err_file)
407
515
        return errors.EXIT_ERROR
408
 
    elif isinstance(exc_object, (OSError, IOError)):
 
516
    elif isinstance(exc_object, (OSError, IOError)) or (
 
517
        # GZ 2010-05-20: Like (exc_type is pywintypes.error) but avoid import
 
518
        exc_type.__name__ == "error" and exc_type.__module__ == "pywintypes"):
409
519
        # Might be nice to catch all of these and show them as something more
410
520
        # specific, but there are too many cases at the moment.
411
521
        report_user_error(exc_info, err_file)
415
525
        return errors.EXIT_INTERNAL_ERROR
416
526
 
417
527
 
 
528
def print_exception(exc_info, err_file):
 
529
    exc_type, exc_object, exc_tb = exc_info
 
530
    err_file.write("bzr: ERROR: %s.%s: %s\n" % (
 
531
        exc_type.__module__, exc_type.__name__, exc_object))
 
532
    err_file.write('\n')
 
533
    traceback.print_exception(exc_type, exc_object, exc_tb, file=err_file)
 
534
 
 
535
 
418
536
# TODO: Should these be specially encoding the output?
419
 
def report_user_error(exc_info, err_file):
 
537
def report_user_error(exc_info, err_file, advice=None):
420
538
    """Report to err_file an error that's not an internal error.
421
539
 
422
540
    These don't get a traceback unless -Derror was given.
 
541
 
 
542
    :param exc_info: 3-tuple from sys.exc_info()
 
543
    :param advice: Extra advice to the user to be printed following the
 
544
        exception.
423
545
    """
424
 
    if 'error' in debug.debug_flags:
425
 
        report_bug(exc_info, err_file)
426
 
        return
427
546
    err_file.write("bzr: ERROR: %s\n" % (exc_info[1],))
 
547
    if advice:
 
548
        err_file.write("%s\n" % (advice,))
428
549
 
429
550
 
430
551
def report_bug(exc_info, err_file):
431
552
    """Report an exception that probably indicates a bug in bzr"""
432
 
    exc_type, exc_object, exc_tb = exc_info
433
 
    err_file.write("bzr: ERROR: %s.%s: %s\n" % (
434
 
        exc_type.__module__, exc_type.__name__, exc_object))
435
 
    err_file.write('\n')
436
 
    traceback.print_exception(exc_type, exc_object, exc_tb, file=err_file)
437
 
    err_file.write('\n')
438
 
    err_file.write('bzr %s on python %s (%s)\n' % \
439
 
                       (bzrlib.__version__,
440
 
                        '.'.join(map(str, sys.version_info)),
441
 
                        sys.platform))
442
 
    err_file.write('arguments: %r\n' % sys.argv)
443
 
    err_file.write(
444
 
        'encoding: %r, fsenc: %r, lang: %r\n' % (
445
 
            osutils.get_user_encoding(), sys.getfilesystemencoding(),
446
 
            os.environ.get('LANG')))
447
 
    err_file.write("plugins:\n")
448
 
    for name, a_plugin in sorted(plugin.plugins().items()):
449
 
        err_file.write("  %-20s %s [%s]\n" %
450
 
            (name, a_plugin.path(), a_plugin.__version__))
451
 
    err_file.write(
452
 
"""\
453
 
*** Bazaar has encountered an internal error.
454
 
    Please report a bug at https://bugs.launchpad.net/bzr/+filebug
455
 
    including this traceback, and a description of what you
456
 
    were doing when the error occurred.
457
 
""")
 
553
    from bzrlib.crash import report_bug
 
554
    report_bug(exc_info, err_file)
 
555
 
 
556
 
 
557
def _flush_stdout_stderr():
 
558
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
 
559
    try:
 
560
        sys.stdout.flush()
 
561
        sys.stderr.flush()
 
562
    except ValueError, e:
 
563
        # On Windows, I get ValueError calling stdout.flush() on a closed
 
564
        # handle
 
565
        pass
 
566
    except IOError, e:
 
567
        import errno
 
568
        if e.errno in [errno.EINVAL, errno.EPIPE]:
 
569
            pass
 
570
        else:
 
571
            raise
 
572
 
 
573
 
 
574
def _flush_trace():
 
575
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
 
576
    global _trace_file
 
577
    if _trace_file:
 
578
        _trace_file.flush()
 
579
 
 
580
 
 
581
class Config(object):
 
582
    """Configuration of message tracing in bzrlib.
 
583
 
 
584
    This implements the context manager protocol and should manage any global
 
585
    variables still used. The default config used is DefaultConfig, but
 
586
    embedded uses of bzrlib may wish to use a custom manager.
 
587
    """
 
588
 
 
589
    def __enter__(self):
 
590
        return self # This is bound to the 'as' clause in a with statement.
 
591
 
 
592
    def __exit__(self, exc_type, exc_val, exc_tb):
 
593
        return False # propogate exceptions.
 
594
 
 
595
 
 
596
class DefaultConfig(Config):
 
597
    """A default configuration for tracing of messages in bzrlib.
 
598
 
 
599
    This implements the context manager protocol.
 
600
    """
 
601
 
 
602
    def __enter__(self):
 
603
        self._original_filename = _bzr_log_filename
 
604
        self._original_state = enable_default_logging()
 
605
        return self # This is bound to the 'as' clause in a with statement.
 
606
 
 
607
    def __exit__(self, exc_type, exc_val, exc_tb):
 
608
        pop_log_file(self._original_state)
 
609
        global _bzr_log_filename
 
610
        _bzr_log_filename = self._original_filename
 
611
        return False # propogate exceptions.