~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/trace.py

  • Committer: Martin Packman
  • Date: 2011-10-06 16:41:45 UTC
  • mfrom: (6015.33.10 2.4)
  • mto: This revision was merged to the branch mainline in revision 6202.
  • Revision ID: martin.packman@canonical.com-20111006164145-o98oqn32440extgt
Merge 2.4 into dev

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
"""Messages and logging for bazaar-ng.
 
17
"""Messages and logging.
18
18
 
19
19
Messages are supplied by callers as a string-formatting template, plus values
20
20
to be inserted into it.  The actual %-formatting is deferred to the log
33
33
 
34
34
Output to stderr depends on the mode chosen by the user.  By default, messages
35
35
of info and above are sent out, which results in progress messages such as the
36
 
list of files processed by add and commit.  In quiet mode, only warnings and
37
 
above are shown.  In debug mode, stderr gets debug messages too.
 
36
list of files processed by add and commit.  In debug mode, stderr gets debug messages too.
38
37
 
39
38
Errors that terminate an operation are generally passed back as exceptions;
40
39
others may be just emitted as messages.
59
58
import logging
60
59
import os
61
60
import sys
62
 
import re
63
61
import time
64
62
 
65
63
from bzrlib.lazy_import import lazy_import
67
65
from cStringIO import StringIO
68
66
import errno
69
67
import locale
 
68
import tempfile
70
69
import traceback
71
70
""")
72
71
 
77
76
    debug,
78
77
    errors,
79
78
    osutils,
80
 
    plugin,
81
 
    symbol_versioning,
 
79
    ui,
82
80
    )
83
81
""")
84
82
 
107
105
 
108
106
 
109
107
def note(*args, **kwargs):
 
108
    """Output a note to the user.
 
109
 
 
110
    Takes the same parameters as logging.info.
 
111
 
 
112
    :return: None
 
113
    """
110
114
    # FIXME note always emits utf-8, regardless of the terminal encoding
111
115
    #
112
116
    # FIXME: clearing the ui and then going through the abstract logging
113
117
    # framework is whack; we should probably have a logging Handler that
114
118
    # deals with terminal output if needed.
115
 
    import bzrlib.ui
116
 
    bzrlib.ui.ui_factory.clear_term()
 
119
    ui.ui_factory.clear_term()
117
120
    _bzr_logger.info(*args, **kwargs)
118
121
 
119
122
 
120
123
def warning(*args, **kwargs):
121
 
    import bzrlib.ui
122
 
    bzrlib.ui.ui_factory.clear_term()
 
124
    ui.ui_factory.clear_term()
123
125
    _bzr_logger.warning(*args, **kwargs)
124
126
 
125
127
 
126
 
# configure convenient aliases for output routines
127
 
#
128
 
# TODO: deprecate them, have one name for each.
129
 
info = note
130
 
log_error = _bzr_logger.error
131
 
error =     _bzr_logger.error
132
 
 
133
 
 
134
 
_last_mutter_flush_time = None
 
128
def show_error(*args, **kwargs):
 
129
    """Show an error message to the user.
 
130
 
 
131
    Don't use this for exceptions, use report_exception instead.
 
132
    """
 
133
    _bzr_logger.error(*args, **kwargs)
 
134
 
135
135
 
136
136
def mutter(fmt, *args):
137
 
    global _last_mutter_flush_time
138
137
    if _trace_file is None:
139
138
        return
 
139
    # XXX: Don't check this every time; instead anyone who closes the file
 
140
    # ought to deregister it.  We can tolerate None.
140
141
    if (getattr(_trace_file, 'closed', None) is not None) and _trace_file.closed:
141
142
        return
142
143
 
159
160
    timestamp = '%0.3f  ' % (now - _bzr_log_start_time,)
160
161
    out = timestamp + out + '\n'
161
162
    _trace_file.write(out)
162
 
    # We flush if we haven't flushed for a few seconds. We don't want to flush
163
 
    # on every mutter, but when a command takes a while, it can be nice to see
164
 
    # updates in the debug log.
165
 
    if (_last_mutter_flush_time is None
166
 
        or (now - _last_mutter_flush_time) > 2.0):
167
 
        flush = getattr(_trace_file, 'flush', None)
168
 
        if flush is not None:
169
 
            flush()
170
 
        _last_mutter_flush_time = now
 
163
    # there's no explicit flushing; the file is typically line buffered.
171
164
 
172
165
 
173
166
def mutter_callsite(stacklevel, fmt, *args):
225
218
    This sets the global _bzr_log_filename.
226
219
    """
227
220
    global _bzr_log_filename
 
221
 
 
222
    def _open_or_create_log_file(filename):
 
223
        """Open existing log file, or create with ownership and permissions
 
224
 
 
225
        It inherits the ownership and permissions (masked by umask) from
 
226
        the containing directory to cope better with being run under sudo
 
227
        with $HOME still set to the user's homedir.
 
228
        """
 
229
        flags = os.O_WRONLY | os.O_APPEND | osutils.O_TEXT
 
230
        while True:
 
231
            try:
 
232
                fd = os.open(filename, flags)
 
233
                break
 
234
            except OSError, e:
 
235
                if e.errno != errno.ENOENT:
 
236
                    raise
 
237
            try:
 
238
                fd = os.open(filename, flags | os.O_CREAT | os.O_EXCL, 0666)
 
239
            except OSError, e:
 
240
                if e.errno != errno.EEXIST:
 
241
                    raise
 
242
            else:
 
243
                osutils.copy_ownership_from_path(filename)
 
244
                break
 
245
        return os.fdopen(fd, 'at', 0) # unbuffered
 
246
 
 
247
 
228
248
    _bzr_log_filename = _get_bzr_log_filename()
229
249
    _rollover_trace_maybe(_bzr_log_filename)
230
250
    try:
231
 
        bzr_log_file = open(_bzr_log_filename, 'at', 1) # line buffered
232
 
        # bzr_log_file.tell() on windows always return 0 until some writing done
 
251
        bzr_log_file = _open_or_create_log_file(_bzr_log_filename)
233
252
        bzr_log_file.write('\n')
234
253
        if bzr_log_file.tell() <= 2:
235
254
            bzr_log_file.write("this is a debug log for diagnosing/reporting problems in bzr\n")
236
255
            bzr_log_file.write("you can delete or truncate this file, or include sections in\n")
237
256
            bzr_log_file.write("bug reports to https://bugs.launchpad.net/bzr/+filebug\n\n")
 
257
 
238
258
        return bzr_log_file
239
 
    except IOError, e:
240
 
        warning("failed to open trace file: %s" % (e))
 
259
 
 
260
    except EnvironmentError, e:
 
261
        # If we are failing to open the log, then most likely logging has not
 
262
        # been set up yet. So we just write to stderr rather than using
 
263
        # 'warning()'. If we using warning(), users get the unhelpful 'no
 
264
        # handlers registered for "bzr"' when something goes wrong on the
 
265
        # server. (bug #503886)
 
266
        sys.stderr.write("failed to open trace file: %s\n" % (e,))
241
267
    # TODO: What should happen if we fail to open the trace file?  Maybe the
242
268
    # objects should be pointed at /dev/null or the equivalent?  Currently
243
269
    # returns None which will cause failures later.
254
280
    logging.getLogger("bzr").
255
281
 
256
282
    Output can be redirected away by calling _push_log_file.
 
283
 
 
284
    :return: A memento from push_log_file for restoring the log state.
257
285
    """
258
 
    # Do this before we open the log file, so we prevent
259
 
    # get_terminal_encoding() from mutter()ing multiple times
260
 
    term_encoding = osutils.get_terminal_encoding()
261
286
    start_time = osutils.format_local_date(_bzr_log_start_time,
262
287
                                           timezone='local')
263
288
    # create encoded wrapper around stderr
264
289
    bzr_log_file = _open_bzr_log()
265
290
    if bzr_log_file is not None:
266
291
        bzr_log_file.write(start_time.encode('utf-8') + '\n')
267
 
    push_log_file(bzr_log_file,
 
292
    memento = push_log_file(bzr_log_file,
268
293
        r'[%(process)5d] %(asctime)s.%(msecs)03d %(levelname)s: %(message)s',
269
294
        r'%Y-%m-%d %H:%M:%S')
270
295
    # after hooking output into bzr_log, we also need to attach a stderr
271
296
    # handler, writing only at level info and with encoding
 
297
    term_encoding = osutils.get_terminal_encoding()
272
298
    writer_factory = codecs.getwriter(term_encoding)
273
299
    encoded_stderr = writer_factory(sys.stderr, errors='replace')
274
300
    stderr_handler = logging.StreamHandler(encoded_stderr)
275
301
    stderr_handler.setLevel(logging.INFO)
276
302
    logging.getLogger('bzr').addHandler(stderr_handler)
 
303
    return memento
277
304
 
278
305
 
279
306
def push_log_file(to_file, log_format=None, date_format=None):
282
309
    :param to_file: A file-like object to which messages will be sent.
283
310
 
284
311
    :returns: A memento that should be passed to _pop_log_file to restore the
285
 
    previously active logging.
 
312
        previously active logging.
286
313
    """
287
314
    global _trace_file
288
315
    # make a new handler
315
342
def pop_log_file((magic, old_handlers, new_handler, old_trace_file, new_trace_file)):
316
343
    """Undo changes to logging/tracing done by _push_log_file.
317
344
 
318
 
    This flushes, but does not close the trace file.
 
345
    This flushes, but does not close the trace file (so that anything that was
 
346
    in it is output.
319
347
 
320
348
    Takes the memento returned from _push_log_file."""
321
349
    global _trace_file
322
350
    _trace_file = old_trace_file
323
351
    bzr_logger = logging.getLogger('bzr')
324
352
    bzr_logger.removeHandler(new_handler)
325
 
    # must be closed, otherwise logging will try to close it atexit, and the
 
353
    # must be closed, otherwise logging will try to close it at exit, and the
326
354
    # file will likely already be closed underneath.
327
355
    new_handler.close()
328
356
    bzr_logger.handlers = old_handlers
329
 
    new_trace_file.flush()
 
357
    if new_trace_file is not None:
 
358
        new_trace_file.flush()
330
359
 
331
360
 
332
361
def log_exception_quietly():
347
376
    global _verbosity_level
348
377
    _verbosity_level = level
349
378
    _update_logging_level(level < 0)
 
379
    ui.ui_factory.be_quiet(level < 0)
350
380
 
351
381
 
352
382
def get_verbosity_level():
358
388
 
359
389
 
360
390
def be_quiet(quiet=True):
361
 
    # Perhaps this could be deprecated now ...
362
391
    if quiet:
363
392
        set_verbosity_level(-1)
364
393
    else:
414
443
                    note(line)
415
444
                    break
416
445
 
 
446
def _dump_memory_usage(err_file):
 
447
    try:
 
448
        try:
 
449
            fd, name = tempfile.mkstemp(prefix="bzr_memdump", suffix=".json")
 
450
            dump_file = os.fdopen(fd, 'w')
 
451
            from meliae import scanner
 
452
            scanner.dump_gc_objects(dump_file)
 
453
            err_file.write("Memory dumped to %s\n" % name)
 
454
        except ImportError:
 
455
            err_file.write("Dumping memory requires meliae module.\n")
 
456
            log_exception_quietly()
 
457
        except:
 
458
            err_file.write("Exception while dumping memory.\n")
 
459
            log_exception_quietly()
 
460
    finally:
 
461
        if dump_file is not None:
 
462
            dump_file.close()
 
463
        elif fd is not None:
 
464
            os.close(fd)
 
465
 
 
466
 
 
467
def _qualified_exception_name(eclass, unqualified_bzrlib_errors=False):
 
468
    """Give name of error class including module for non-builtin exceptions
 
469
 
 
470
    If `unqualified_bzrlib_errors` is True, errors specific to bzrlib will
 
471
    also omit the module prefix.
 
472
    """
 
473
    class_name = eclass.__name__
 
474
    module_name = eclass.__module__
 
475
    if module_name in ("exceptions", "__main__") or (
 
476
            unqualified_bzrlib_errors and module_name == "bzrlib.errors"):
 
477
        return class_name
 
478
    return "%s.%s" % (module_name, class_name)
 
479
 
417
480
 
418
481
def report_exception(exc_info, err_file):
419
482
    """Report an exception to err_file (typically stderr) and to .bzr.log.
422
485
 
423
486
    :return: The appropriate exit code for this error.
424
487
    """
425
 
    exc_type, exc_object, exc_tb = exc_info
426
488
    # Log the full traceback to ~/.bzr.log
427
489
    log_exception_quietly()
 
490
    if 'error' in debug.debug_flags:
 
491
        print_exception(exc_info, err_file)
 
492
        return errors.EXIT_ERROR
 
493
    exc_type, exc_object, exc_tb = exc_info
428
494
    if (isinstance(exc_object, IOError)
429
495
        and getattr(exc_object, 'errno', None) == errno.EPIPE):
430
496
        err_file.write("bzr: broken pipe\n")
432
498
    elif isinstance(exc_object, KeyboardInterrupt):
433
499
        err_file.write("bzr: interrupted\n")
434
500
        return errors.EXIT_ERROR
 
501
    elif isinstance(exc_object, MemoryError):
 
502
        err_file.write("bzr: out of memory\n")
 
503
        if 'mem_dump' in debug.debug_flags:
 
504
            _dump_memory_usage(err_file)
 
505
        else:
 
506
            err_file.write("Use -Dmem_dump to dump memory to a file.\n")
 
507
        return errors.EXIT_ERROR
435
508
    elif isinstance(exc_object, ImportError) \
436
509
        and str(exc_object).startswith("No module named "):
437
510
        report_user_error(exc_info, err_file,
440
513
    elif not getattr(exc_object, 'internal_error', True):
441
514
        report_user_error(exc_info, err_file)
442
515
        return errors.EXIT_ERROR
443
 
    elif isinstance(exc_object, (OSError, IOError)):
 
516
    elif isinstance(exc_object, (OSError, IOError)) or (
 
517
        # GZ 2010-05-20: Like (exc_type is pywintypes.error) but avoid import
 
518
        exc_type.__name__ == "error" and exc_type.__module__ == "pywintypes"):
444
519
        # Might be nice to catch all of these and show them as something more
445
520
        # specific, but there are too many cases at the moment.
446
521
        report_user_error(exc_info, err_file)
468
543
    :param advice: Extra advice to the user to be printed following the
469
544
        exception.
470
545
    """
471
 
    if 'error' in debug.debug_flags:
472
 
        print_exception(exc_info, err_file)
473
 
        return
474
546
    err_file.write("bzr: ERROR: %s\n" % (exc_info[1],))
475
547
    if advice:
476
548
        err_file.write("%s\n" % (advice,))
478
550
 
479
551
def report_bug(exc_info, err_file):
480
552
    """Report an exception that probably indicates a bug in bzr"""
481
 
    print_exception(exc_info, err_file)
482
 
    err_file.write('\n')
483
 
    err_file.write('bzr %s on python %s (%s)\n' % \
484
 
                       (bzrlib.__version__,
485
 
                        bzrlib._format_version_tuple(sys.version_info),
486
 
                        sys.platform))
487
 
    err_file.write('arguments: %r\n' % sys.argv)
488
 
    err_file.write(
489
 
        'encoding: %r, fsenc: %r, lang: %r\n' % (
490
 
            osutils.get_user_encoding(), sys.getfilesystemencoding(),
491
 
            os.environ.get('LANG')))
492
 
    err_file.write("plugins:\n")
493
 
    for name, a_plugin in sorted(plugin.plugins().items()):
494
 
        err_file.write("  %-20s %s [%s]\n" %
495
 
            (name, a_plugin.path(), a_plugin.__version__))
496
 
    err_file.write(
497
 
"""\
498
 
*** Bazaar has encountered an internal error.
499
 
    Please report a bug at https://bugs.launchpad.net/bzr/+filebug
500
 
    including this traceback, and a description of what you
501
 
    were doing when the error occurred.
502
 
""")
 
553
    from bzrlib.crash import report_bug
 
554
    report_bug(exc_info, err_file)
 
555
 
 
556
 
 
557
def _flush_stdout_stderr():
 
558
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
 
559
    try:
 
560
        sys.stdout.flush()
 
561
        sys.stderr.flush()
 
562
    except ValueError, e:
 
563
        # On Windows, I get ValueError calling stdout.flush() on a closed
 
564
        # handle
 
565
        pass
 
566
    except IOError, e:
 
567
        import errno
 
568
        if e.errno in [errno.EINVAL, errno.EPIPE]:
 
569
            pass
 
570
        else:
 
571
            raise
 
572
 
 
573
 
 
574
def _flush_trace():
 
575
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
 
576
    global _trace_file
 
577
    if _trace_file:
 
578
        _trace_file.flush()
 
579
 
 
580
 
 
581
class Config(object):
 
582
    """Configuration of message tracing in bzrlib.
 
583
 
 
584
    This implements the context manager protocol and should manage any global
 
585
    variables still used. The default config used is DefaultConfig, but
 
586
    embedded uses of bzrlib may wish to use a custom manager.
 
587
    """
 
588
 
 
589
    def __enter__(self):
 
590
        return self # This is bound to the 'as' clause in a with statement.
 
591
 
 
592
    def __exit__(self, exc_type, exc_val, exc_tb):
 
593
        return False # propogate exceptions.
 
594
 
 
595
 
 
596
class DefaultConfig(Config):
 
597
    """A default configuration for tracing of messages in bzrlib.
 
598
 
 
599
    This implements the context manager protocol.
 
600
    """
 
601
 
 
602
    def __enter__(self):
 
603
        self._original_filename = _bzr_log_filename
 
604
        self._original_state = enable_default_logging()
 
605
        return self # This is bound to the 'as' clause in a with statement.
 
606
 
 
607
    def __exit__(self, exc_type, exc_val, exc_tb):
 
608
        pop_log_file(self._original_state)
 
609
        global _bzr_log_filename
 
610
        _bzr_log_filename = self._original_filename
 
611
        return False # propogate exceptions.