~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/trace.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2008-03-16 16:58:03 UTC
  • mfrom: (3224.3.1 news-typo)
  • Revision ID: pqm@pqm.ubuntu.com-20080316165803-tisoc9mpob9z544o
(Matt Nordhoff) Trivial NEWS typo fix

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
 
"""Messages and logging.
 
17
"""Messages and logging for bazaar-ng.
18
18
 
19
19
Messages are supplied by callers as a string-formatting template, plus values
20
20
to be inserted into it.  The actual %-formatting is deferred to the log
33
33
 
34
34
Output to stderr depends on the mode chosen by the user.  By default, messages
35
35
of info and above are sent out, which results in progress messages such as the
36
 
list of files processed by add and commit.  In debug mode, stderr gets debug messages too.
 
36
list of files processed by add and commit.  In quiet mode, only warnings and
 
37
above are shown.  In debug mode, stderr gets debug messages too.
37
38
 
38
39
Errors that terminate an operation are generally passed back as exceptions;
39
40
others may be just emitted as messages.
58
59
import logging
59
60
import os
60
61
import sys
 
62
import re
61
63
import time
62
64
 
63
65
from bzrlib.lazy_import import lazy_import
65
67
from cStringIO import StringIO
66
68
import errno
67
69
import locale
68
 
import tempfile
69
70
import traceback
70
71
""")
71
72
 
76
77
    debug,
77
78
    errors,
78
79
    osutils,
79
 
    ui,
 
80
    plugin,
 
81
    symbol_versioning,
80
82
    )
81
83
""")
82
84
 
105
107
 
106
108
 
107
109
def note(*args, **kwargs):
108
 
    """Output a note to the user.
109
 
 
110
 
    Takes the same parameters as logging.info.
111
 
 
112
 
    :return: None
113
 
    """
114
110
    # FIXME note always emits utf-8, regardless of the terminal encoding
115
111
    #
116
112
    # FIXME: clearing the ui and then going through the abstract logging
117
113
    # framework is whack; we should probably have a logging Handler that
118
114
    # deals with terminal output if needed.
119
 
    ui.ui_factory.clear_term()
 
115
    import bzrlib.ui
 
116
    bzrlib.ui.ui_factory.clear_term()
120
117
    _bzr_logger.info(*args, **kwargs)
121
118
 
122
119
 
123
120
def warning(*args, **kwargs):
124
 
    ui.ui_factory.clear_term()
 
121
    import bzrlib.ui
 
122
    bzrlib.ui.ui_factory.clear_term()
125
123
    _bzr_logger.warning(*args, **kwargs)
126
124
 
127
125
 
128
 
def show_error(*args, **kwargs):
129
 
    """Show an error message to the user.
130
 
 
131
 
    Don't use this for exceptions, use report_exception instead.
132
 
    """
133
 
    _bzr_logger.error(*args, **kwargs)
 
126
# configure convenient aliases for output routines
 
127
#
 
128
# TODO: deprecate them, have one name for each.
 
129
info = note
 
130
log_error = _bzr_logger.error
 
131
error =     _bzr_logger.error
134
132
 
135
133
 
136
134
def mutter(fmt, *args):
137
135
    if _trace_file is None:
138
136
        return
139
 
    # XXX: Don't check this every time; instead anyone who closes the file
140
 
    # ought to deregister it.  We can tolerate None.
141
137
    if (getattr(_trace_file, 'closed', None) is not None) and _trace_file.closed:
142
138
        return
143
139
 
156
152
        out = fmt % tuple(real_args)
157
153
    else:
158
154
        out = fmt
159
 
    now = time.time()
160
 
    timestamp = '%0.3f  ' % (now - _bzr_log_start_time,)
 
155
    timestamp = '%0.3f  ' % (time.time() - _bzr_log_start_time,)
161
156
    out = timestamp + out + '\n'
162
157
    _trace_file.write(out)
163
 
    # there's no explicit flushing; the file is typically line buffered.
 
158
    # no need to flush here, the trace file is now linebuffered when it's
 
159
    # opened.
164
160
 
165
161
 
166
162
def mutter_callsite(stacklevel, fmt, *args):
172
168
    :param args: A list of substitution variables.
173
169
    """
174
170
    outf = StringIO()
175
 
    if stacklevel is None:
176
 
        limit = None
177
 
    else:
178
 
        limit = stacklevel + 1
179
 
    traceback.print_stack(limit=limit, file=outf)
 
171
    traceback.print_stack(limit=stacklevel + 1, file=outf)
180
172
    formatted_lines = outf.getvalue().splitlines()
181
173
    formatted_stack = '\n'.join(formatted_lines[:-2])
182
174
    mutter(fmt + "\nCalled from:\n%s", *(args + (formatted_stack,)))
209
201
 
210
202
 
211
203
def _open_bzr_log():
212
 
    """Open the .bzr.log trace file.
 
204
    """Open the .bzr.log trace file.  
213
205
 
214
206
    If the log is more than a particular length, the old file is renamed to
215
207
    .bzr.log.old and a new file is started.  Otherwise, we append to the
218
210
    This sets the global _bzr_log_filename.
219
211
    """
220
212
    global _bzr_log_filename
221
 
 
222
 
    def _open_or_create_log_file(filename):
223
 
        """Open existing log file, or create with ownership and permissions
224
 
 
225
 
        It inherits the ownership and permissions (masked by umask) from
226
 
        the containing directory to cope better with being run under sudo
227
 
        with $HOME still set to the user's homedir.
228
 
        """
229
 
        flags = os.O_WRONLY | os.O_APPEND | osutils.O_TEXT
230
 
        while True:
231
 
            try:
232
 
                fd = os.open(filename, flags)
233
 
                break
234
 
            except OSError, e:
235
 
                if e.errno != errno.ENOENT:
236
 
                    raise
237
 
            try:
238
 
                fd = os.open(filename, flags | os.O_CREAT | os.O_EXCL, 0666)
239
 
            except OSError, e:
240
 
                if e.errno != errno.EEXIST:
241
 
                    raise
242
 
            else:
243
 
                osutils.copy_ownership_from_path(filename)
244
 
                break
245
 
        return os.fdopen(fd, 'at', 0) # unbuffered
246
 
 
247
 
 
248
213
    _bzr_log_filename = _get_bzr_log_filename()
249
214
    _rollover_trace_maybe(_bzr_log_filename)
250
215
    try:
251
 
        bzr_log_file = _open_or_create_log_file(_bzr_log_filename)
 
216
        bzr_log_file = open(_bzr_log_filename, 'at', 1) # line buffered
 
217
        # bzr_log_file.tell() on windows always return 0 until some writing done
252
218
        bzr_log_file.write('\n')
253
219
        if bzr_log_file.tell() <= 2:
254
220
            bzr_log_file.write("this is a debug log for diagnosing/reporting problems in bzr\n")
255
221
            bzr_log_file.write("you can delete or truncate this file, or include sections in\n")
256
222
            bzr_log_file.write("bug reports to https://bugs.launchpad.net/bzr/+filebug\n\n")
257
 
 
258
223
        return bzr_log_file
259
 
 
260
 
    except EnvironmentError, e:
261
 
        # If we are failing to open the log, then most likely logging has not
262
 
        # been set up yet. So we just write to stderr rather than using
263
 
        # 'warning()'. If we using warning(), users get the unhelpful 'no
264
 
        # handlers registered for "bzr"' when something goes wrong on the
265
 
        # server. (bug #503886)
266
 
        sys.stderr.write("failed to open trace file: %s\n" % (e,))
 
224
    except IOError, e:
 
225
        warning("failed to open trace file: %s" % (e))
267
226
    # TODO: What should happen if we fail to open the trace file?  Maybe the
268
227
    # objects should be pointed at /dev/null or the equivalent?  Currently
269
228
    # returns None which will cause failures later.
270
 
    return None
271
229
 
272
230
 
273
231
def enable_default_logging():
274
232
    """Configure default logging: messages to stderr and debug to .bzr.log
275
 
 
 
233
    
276
234
    This should only be called once per process.
277
235
 
278
236
    Non-command-line programs embedding bzrlib do not need to call this.  They
279
237
    can instead either pass a file to _push_log_file, or act directly on
280
238
    logging.getLogger("bzr").
281
 
 
 
239
    
282
240
    Output can be redirected away by calling _push_log_file.
283
 
 
284
 
    :return: A memento from push_log_file for restoring the log state.
285
241
    """
286
 
    start_time = osutils.format_local_date(_bzr_log_start_time,
287
 
                                           timezone='local')
288
242
    # create encoded wrapper around stderr
289
243
    bzr_log_file = _open_bzr_log()
290
 
    if bzr_log_file is not None:
291
 
        bzr_log_file.write(start_time.encode('utf-8') + '\n')
292
 
    memento = push_log_file(bzr_log_file,
 
244
    push_log_file(bzr_log_file,
293
245
        r'[%(process)5d] %(asctime)s.%(msecs)03d %(levelname)s: %(message)s',
294
246
        r'%Y-%m-%d %H:%M:%S')
295
247
    # after hooking output into bzr_log, we also need to attach a stderr
296
248
    # handler, writing only at level info and with encoding
297
 
    term_encoding = osutils.get_terminal_encoding()
298
 
    writer_factory = codecs.getwriter(term_encoding)
 
249
    writer_factory = codecs.getwriter(osutils.get_terminal_encoding())
299
250
    encoded_stderr = writer_factory(sys.stderr, errors='replace')
300
251
    stderr_handler = logging.StreamHandler(encoded_stderr)
301
252
    stderr_handler.setLevel(logging.INFO)
302
253
    logging.getLogger('bzr').addHandler(stderr_handler)
303
 
    return memento
304
254
 
305
255
 
306
256
def push_log_file(to_file, log_format=None, date_format=None):
308
258
 
309
259
    :param to_file: A file-like object to which messages will be sent.
310
260
 
311
 
    :returns: A memento that should be passed to _pop_log_file to restore the
312
 
        previously active logging.
 
261
    :returns: A memento that should be passed to _pop_log_file to restore the 
 
262
    previously active logging.
313
263
    """
314
264
    global _trace_file
315
265
    # make a new handler
342
292
def pop_log_file((magic, old_handlers, new_handler, old_trace_file, new_trace_file)):
343
293
    """Undo changes to logging/tracing done by _push_log_file.
344
294
 
345
 
    This flushes, but does not close the trace file (so that anything that was
346
 
    in it is output.
347
 
 
 
295
    This flushes, but does not close the trace file.
 
296
    
348
297
    Takes the memento returned from _push_log_file."""
 
298
    assert magic == 'log_memento'
349
299
    global _trace_file
350
300
    _trace_file = old_trace_file
351
301
    bzr_logger = logging.getLogger('bzr')
352
302
    bzr_logger.removeHandler(new_handler)
353
 
    # must be closed, otherwise logging will try to close it at exit, and the
 
303
    # must be closed, otherwise logging will try to close it atexit, and the
354
304
    # file will likely already be closed underneath.
355
305
    new_handler.close()
356
306
    bzr_logger.handlers = old_handlers
357
 
    if new_trace_file is not None:
358
 
        new_trace_file.flush()
 
307
    new_trace_file.flush()
 
308
 
 
309
 
 
310
@symbol_versioning.deprecated_function(symbol_versioning.one_two)
 
311
def enable_test_log(to_file):
 
312
    """Redirect logging to a temporary file for a test
 
313
    
 
314
    :returns: an opaque reference that should be passed to disable_test_log
 
315
    after the test completes.
 
316
    """
 
317
    return push_log_file(to_file)
 
318
 
 
319
 
 
320
@symbol_versioning.deprecated_function(symbol_versioning.one_two)
 
321
def disable_test_log(memento):
 
322
    return pop_log_file(memento)
359
323
 
360
324
 
361
325
def log_exception_quietly():
362
326
    """Log the last exception to the trace file only.
363
327
 
364
 
    Used for exceptions that occur internally and that may be
365
 
    interesting to developers but not to users.  For example,
 
328
    Used for exceptions that occur internally and that may be 
 
329
    interesting to developers but not to users.  For example, 
366
330
    errors loading plugins.
367
331
    """
368
332
    mutter(traceback.format_exc())
376
340
    global _verbosity_level
377
341
    _verbosity_level = level
378
342
    _update_logging_level(level < 0)
379
 
    ui.ui_factory.be_quiet(level < 0)
380
343
 
381
344
 
382
345
def get_verbosity_level():
388
351
 
389
352
 
390
353
def be_quiet(quiet=True):
 
354
    # Perhaps this could be deprecated now ...
391
355
    if quiet:
392
356
        set_verbosity_level(-1)
393
357
    else:
412
376
    return _verbosity_level > 0
413
377
 
414
378
 
415
 
def debug_memory(message='', short=True):
416
 
    """Write out a memory dump."""
417
 
    if sys.platform == 'win32':
418
 
        from bzrlib import win32utils
419
 
        win32utils.debug_memory_win32api(message=message, short=short)
420
 
    else:
421
 
        _debug_memory_proc(message=message, short=short)
422
 
 
423
 
 
424
 
_short_fields = ('VmPeak', 'VmSize', 'VmRSS')
425
 
 
426
 
def _debug_memory_proc(message='', short=True):
427
 
    try:
428
 
        status_file = file('/proc/%s/status' % os.getpid(), 'rb')
429
 
    except IOError:
430
 
        return
431
 
    try:
432
 
        status = status_file.read()
433
 
    finally:
434
 
        status_file.close()
435
 
    if message:
436
 
        note(message)
437
 
    for line in status.splitlines():
438
 
        if not short:
439
 
            note(line)
440
 
        else:
441
 
            for field in _short_fields:
442
 
                if line.startswith(field):
443
 
                    note(line)
444
 
                    break
445
 
 
446
 
def _dump_memory_usage(err_file):
447
 
    try:
448
 
        try:
449
 
            fd, name = tempfile.mkstemp(prefix="bzr_memdump", suffix=".json")
450
 
            dump_file = os.fdopen(fd, 'w')
451
 
            from meliae import scanner
452
 
            scanner.dump_gc_objects(dump_file)
453
 
            err_file.write("Memory dumped to %s\n" % name)
454
 
        except ImportError:
455
 
            err_file.write("Dumping memory requires meliae module.\n")
456
 
            log_exception_quietly()
457
 
        except:
458
 
            err_file.write("Exception while dumping memory.\n")
459
 
            log_exception_quietly()
460
 
    finally:
461
 
        if dump_file is not None:
462
 
            dump_file.close()
463
 
        elif fd is not None:
464
 
            os.close(fd)
465
 
 
466
 
 
467
 
def _qualified_exception_name(eclass, unqualified_bzrlib_errors=False):
468
 
    """Give name of error class including module for non-builtin exceptions
469
 
 
470
 
    If `unqualified_bzrlib_errors` is True, errors specific to bzrlib will
471
 
    also omit the module prefix.
 
379
@symbol_versioning.deprecated_function(symbol_versioning.one_two)
 
380
def disable_default_logging():
 
381
    """Turn off default log handlers.
 
382
 
 
383
    Don't call this method, use _push_log_file and _pop_log_file instead.
472
384
    """
473
 
    class_name = eclass.__name__
474
 
    module_name = eclass.__module__
475
 
    if module_name in ("exceptions", "__main__") or (
476
 
            unqualified_bzrlib_errors and module_name == "bzrlib.errors"):
477
 
        return class_name
478
 
    return "%s.%s" % (module_name, class_name)
 
385
    pass
479
386
 
480
387
 
481
388
def report_exception(exc_info, err_file):
485
392
 
486
393
    :return: The appropriate exit code for this error.
487
394
    """
 
395
    exc_type, exc_object, exc_tb = exc_info
488
396
    # Log the full traceback to ~/.bzr.log
489
397
    log_exception_quietly()
490
 
    if 'error' in debug.debug_flags:
491
 
        print_exception(exc_info, err_file)
492
 
        return errors.EXIT_ERROR
493
 
    exc_type, exc_object, exc_tb = exc_info
494
398
    if (isinstance(exc_object, IOError)
495
399
        and getattr(exc_object, 'errno', None) == errno.EPIPE):
496
400
        err_file.write("bzr: broken pipe\n")
498
402
    elif isinstance(exc_object, KeyboardInterrupt):
499
403
        err_file.write("bzr: interrupted\n")
500
404
        return errors.EXIT_ERROR
501
 
    elif isinstance(exc_object, MemoryError):
502
 
        err_file.write("bzr: out of memory\n")
503
 
        if 'mem_dump' in debug.debug_flags:
504
 
            _dump_memory_usage(err_file)
505
 
        else:
506
 
            err_file.write("Use -Dmem_dump to dump memory to a file.\n")
507
 
        return errors.EXIT_ERROR
508
 
    elif isinstance(exc_object, ImportError) \
509
 
        and str(exc_object).startswith("No module named "):
510
 
        report_user_error(exc_info, err_file,
511
 
            'You may need to install this Python library separately.')
512
 
        return errors.EXIT_ERROR
513
405
    elif not getattr(exc_object, 'internal_error', True):
514
406
        report_user_error(exc_info, err_file)
515
407
        return errors.EXIT_ERROR
516
 
    elif isinstance(exc_object, (OSError, IOError)) or (
517
 
        # GZ 2010-05-20: Like (exc_type is pywintypes.error) but avoid import
518
 
        exc_type.__name__ == "error" and exc_type.__module__ == "pywintypes"):
 
408
    elif isinstance(exc_object, (OSError, IOError)):
519
409
        # Might be nice to catch all of these and show them as something more
520
410
        # specific, but there are too many cases at the moment.
521
411
        report_user_error(exc_info, err_file)
525
415
        return errors.EXIT_INTERNAL_ERROR
526
416
 
527
417
 
528
 
def print_exception(exc_info, err_file):
529
 
    exc_type, exc_object, exc_tb = exc_info
530
 
    err_file.write("bzr: ERROR: %s.%s: %s\n" % (
531
 
        exc_type.__module__, exc_type.__name__, exc_object))
532
 
    err_file.write('\n')
533
 
    traceback.print_exception(exc_type, exc_object, exc_tb, file=err_file)
534
 
 
535
 
 
536
418
# TODO: Should these be specially encoding the output?
537
 
def report_user_error(exc_info, err_file, advice=None):
 
419
def report_user_error(exc_info, err_file):
538
420
    """Report to err_file an error that's not an internal error.
539
421
 
540
422
    These don't get a traceback unless -Derror was given.
541
 
 
542
 
    :param exc_info: 3-tuple from sys.exc_info()
543
 
    :param advice: Extra advice to the user to be printed following the
544
 
        exception.
545
423
    """
 
424
    if 'error' in debug.debug_flags:
 
425
        report_bug(exc_info, err_file)
 
426
        return
546
427
    err_file.write("bzr: ERROR: %s\n" % (exc_info[1],))
547
 
    if advice:
548
 
        err_file.write("%s\n" % (advice,))
549
428
 
550
429
 
551
430
def report_bug(exc_info, err_file):
552
431
    """Report an exception that probably indicates a bug in bzr"""
553
 
    from bzrlib.crash import report_bug
554
 
    report_bug(exc_info, err_file)
555
 
 
556
 
 
557
 
def _flush_stdout_stderr():
558
 
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
559
 
    try:
560
 
        sys.stdout.flush()
561
 
        sys.stderr.flush()
562
 
    except ValueError, e:
563
 
        # On Windows, I get ValueError calling stdout.flush() on a closed
564
 
        # handle
565
 
        pass
566
 
    except IOError, e:
567
 
        import errno
568
 
        if e.errno in [errno.EINVAL, errno.EPIPE]:
569
 
            pass
570
 
        else:
571
 
            raise
572
 
 
573
 
 
574
 
def _flush_trace():
575
 
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
576
 
    global _trace_file
577
 
    if _trace_file:
578
 
        _trace_file.flush()
579
 
 
580
 
 
581
 
class Config(object):
582
 
    """Configuration of message tracing in bzrlib.
583
 
 
584
 
    This implements the context manager protocol and should manage any global
585
 
    variables still used. The default config used is DefaultConfig, but
586
 
    embedded uses of bzrlib may wish to use a custom manager.
587
 
    """
588
 
 
589
 
    def __enter__(self):
590
 
        return self # This is bound to the 'as' clause in a with statement.
591
 
 
592
 
    def __exit__(self, exc_type, exc_val, exc_tb):
593
 
        return False # propogate exceptions.
594
 
 
595
 
 
596
 
class DefaultConfig(Config):
597
 
    """A default configuration for tracing of messages in bzrlib.
598
 
 
599
 
    This implements the context manager protocol.
600
 
    """
601
 
 
602
 
    def __enter__(self):
603
 
        self._original_filename = _bzr_log_filename
604
 
        self._original_state = enable_default_logging()
605
 
        return self # This is bound to the 'as' clause in a with statement.
606
 
 
607
 
    def __exit__(self, exc_type, exc_val, exc_tb):
608
 
        pop_log_file(self._original_state)
609
 
        global _bzr_log_filename
610
 
        _bzr_log_filename = self._original_filename
611
 
        return False # propogate exceptions.
 
432
    exc_type, exc_object, exc_tb = exc_info
 
433
    err_file.write("bzr: ERROR: %s.%s: %s\n" % (
 
434
        exc_type.__module__, exc_type.__name__, exc_object))
 
435
    err_file.write('\n')
 
436
    traceback.print_exception(exc_type, exc_object, exc_tb, file=err_file)
 
437
    err_file.write('\n')
 
438
    err_file.write('bzr %s on python %s (%s)\n' % \
 
439
                       (bzrlib.__version__,
 
440
                        '.'.join(map(str, sys.version_info)),
 
441
                        sys.platform))
 
442
    err_file.write('arguments: %r\n' % sys.argv)
 
443
    err_file.write(
 
444
        'encoding: %r, fsenc: %r, lang: %r\n' % (
 
445
            osutils.get_user_encoding(), sys.getfilesystemencoding(),
 
446
            os.environ.get('LANG')))
 
447
    err_file.write("plugins:\n")
 
448
    for name, a_plugin in sorted(plugin.plugins().items()):
 
449
        err_file.write("  %-20s %s [%s]\n" %
 
450
            (name, a_plugin.path(), a_plugin.__version__))
 
451
    err_file.write(
 
452
"""\
 
453
*** Bazaar has encountered an internal error.
 
454
    Please report a bug at https://bugs.launchpad.net/bzr/+filebug
 
455
    including this traceback, and a description of what you
 
456
    were doing when the error occurred.
 
457
""")