~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/trace.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2010-02-03 10:06:19 UTC
  • mfrom: (4999.3.2 apport)
  • Revision ID: pqm@pqm.ubuntu.com-20100203100619-f76bo5y5bd5c14wk
(mbp) use apport to send bugs, not just store them

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
45
45
form.
46
46
"""
47
47
 
48
 
from __future__ import absolute_import
49
 
 
50
48
# FIXME: Unfortunately it turns out that python's logging module
51
49
# is quite expensive, even when the message is not printed by any handlers.
52
50
# We should perhaps change back to just simply doing it here.
56
54
# increased cost of logging.py is not so bad, and we could standardize on
57
55
# that.
58
56
 
 
57
import codecs
59
58
import logging
60
59
import os
61
60
import sys
66
65
from cStringIO import StringIO
67
66
import errno
68
67
import locale
69
 
import tempfile
70
68
import traceback
71
69
""")
72
70
 
73
71
import bzrlib
74
72
 
 
73
from bzrlib.symbol_versioning import (
 
74
    deprecated_function,
 
75
    deprecated_in,
 
76
    )
 
77
 
75
78
lazy_import(globals(), """
76
79
from bzrlib import (
77
80
    debug,
78
81
    errors,
79
82
    osutils,
 
83
    plugin,
 
84
    symbol_versioning,
80
85
    ui,
81
86
    )
82
87
""")
106
111
 
107
112
 
108
113
def note(*args, **kwargs):
109
 
    """Output a note to the user.
110
 
 
111
 
    Takes the same parameters as logging.info.
112
 
 
113
 
    :return: None
114
 
    """
 
114
    # FIXME note always emits utf-8, regardless of the terminal encoding
 
115
    #
115
116
    # FIXME: clearing the ui and then going through the abstract logging
116
117
    # framework is whack; we should probably have a logging Handler that
117
118
    # deals with terminal output if needed.
118
 
    ui.ui_factory.clear_term()
 
119
    import bzrlib.ui
 
120
    bzrlib.ui.ui_factory.clear_term()
119
121
    _bzr_logger.info(*args, **kwargs)
120
122
 
121
123
 
122
124
def warning(*args, **kwargs):
123
 
    ui.ui_factory.clear_term()
 
125
    import bzrlib.ui
 
126
    bzrlib.ui.ui_factory.clear_term()
124
127
    _bzr_logger.warning(*args, **kwargs)
125
128
 
126
129
 
127
 
def show_error(*args, **kwargs):
 
130
@deprecated_function(deprecated_in((2, 1, 0)))
 
131
def info(*args, **kwargs):
 
132
    """Deprecated: use trace.note instead."""
 
133
    note(*args, **kwargs)
 
134
 
 
135
 
 
136
@deprecated_function(deprecated_in((2, 1, 0)))
 
137
def log_error(*args, **kwargs):
 
138
    """Deprecated: use bzrlib.trace.show_error instead"""
 
139
    _bzr_logger.error(*args, **kwargs)
 
140
 
 
141
 
 
142
@deprecated_function(deprecated_in((2, 1, 0)))
 
143
def error(*args, **kwargs):
 
144
    """Deprecated: use bzrlib.trace.show_error instead"""
 
145
    _bzr_logger.error(*args, **kwargs)
 
146
 
 
147
 
 
148
def show_error(msg):
128
149
    """Show an error message to the user.
129
150
 
130
151
    Don't use this for exceptions, use report_exception instead.
217
238
    This sets the global _bzr_log_filename.
218
239
    """
219
240
    global _bzr_log_filename
220
 
 
221
 
    def _open_or_create_log_file(filename):
222
 
        """Open existing log file, or create with ownership and permissions
223
 
 
224
 
        It inherits the ownership and permissions (masked by umask) from
225
 
        the containing directory to cope better with being run under sudo
226
 
        with $HOME still set to the user's homedir.
227
 
        """
228
 
        flags = os.O_WRONLY | os.O_APPEND | osutils.O_TEXT
229
 
        while True:
230
 
            try:
231
 
                fd = os.open(filename, flags)
232
 
                break
233
 
            except OSError, e:
234
 
                if e.errno != errno.ENOENT:
235
 
                    raise
236
 
            try:
237
 
                fd = os.open(filename, flags | os.O_CREAT | os.O_EXCL, 0666)
238
 
            except OSError, e:
239
 
                if e.errno != errno.EEXIST:
240
 
                    raise
241
 
            else:
242
 
                osutils.copy_ownership_from_path(filename)
243
 
                break
244
 
        return os.fdopen(fd, 'at', 0) # unbuffered
245
 
 
246
 
 
247
241
    _bzr_log_filename = _get_bzr_log_filename()
248
242
    _rollover_trace_maybe(_bzr_log_filename)
249
243
    try:
250
 
        bzr_log_file = _open_or_create_log_file(_bzr_log_filename)
 
244
        bzr_log_file = open(_bzr_log_filename, 'at', buffering=0) # unbuffered
 
245
        # bzr_log_file.tell() on windows always return 0 until some writing done
251
246
        bzr_log_file.write('\n')
252
247
        if bzr_log_file.tell() <= 2:
253
248
            bzr_log_file.write("this is a debug log for diagnosing/reporting problems in bzr\n")
254
249
            bzr_log_file.write("you can delete or truncate this file, or include sections in\n")
255
250
            bzr_log_file.write("bug reports to https://bugs.launchpad.net/bzr/+filebug\n\n")
256
 
 
257
251
        return bzr_log_file
258
 
 
259
 
    except EnvironmentError, e:
 
252
    except IOError, e:
260
253
        # If we are failing to open the log, then most likely logging has not
261
254
        # been set up yet. So we just write to stderr rather than using
262
255
        # 'warning()'. If we using warning(), users get the unhelpful 'no
279
272
    logging.getLogger("bzr").
280
273
 
281
274
    Output can be redirected away by calling _push_log_file.
282
 
 
283
 
    :return: A memento from push_log_file for restoring the log state.
284
275
    """
 
276
    # Do this before we open the log file, so we prevent
 
277
    # get_terminal_encoding() from mutter()ing multiple times
 
278
    term_encoding = osutils.get_terminal_encoding()
285
279
    start_time = osutils.format_local_date(_bzr_log_start_time,
286
280
                                           timezone='local')
 
281
    # create encoded wrapper around stderr
287
282
    bzr_log_file = _open_bzr_log()
288
283
    if bzr_log_file is not None:
289
284
        bzr_log_file.write(start_time.encode('utf-8') + '\n')
290
 
    memento = push_log_file(bzr_log_file,
 
285
    push_log_file(bzr_log_file,
291
286
        r'[%(process)5d] %(asctime)s.%(msecs)03d %(levelname)s: %(message)s',
292
287
        r'%Y-%m-%d %H:%M:%S')
293
288
    # after hooking output into bzr_log, we also need to attach a stderr
294
289
    # handler, writing only at level info and with encoding
295
 
    stderr_handler = EncodedStreamHandler(sys.stderr,
296
 
        osutils.get_terminal_encoding(), 'replace', level=logging.INFO)
 
290
    writer_factory = codecs.getwriter(term_encoding)
 
291
    encoded_stderr = writer_factory(sys.stderr, errors='replace')
 
292
    stderr_handler = logging.StreamHandler(encoded_stderr)
 
293
    stderr_handler.setLevel(logging.INFO)
297
294
    logging.getLogger('bzr').addHandler(stderr_handler)
298
 
    return memento
299
295
 
300
296
 
301
297
def push_log_file(to_file, log_format=None, date_format=None):
304
300
    :param to_file: A file-like object to which messages will be sent.
305
301
 
306
302
    :returns: A memento that should be passed to _pop_log_file to restore the
307
 
        previously active logging.
 
303
    previously active logging.
308
304
    """
309
305
    global _trace_file
310
306
    # make a new handler
311
 
    new_handler = EncodedStreamHandler(to_file, "utf-8", level=logging.DEBUG)
 
307
    new_handler = logging.StreamHandler(to_file)
 
308
    new_handler.setLevel(logging.DEBUG)
312
309
    if log_format is None:
313
310
        log_format = '%(levelname)8s  %(message)s'
314
311
    new_handler.setFormatter(logging.Formatter(log_format, date_format))
336
333
def pop_log_file((magic, old_handlers, new_handler, old_trace_file, new_trace_file)):
337
334
    """Undo changes to logging/tracing done by _push_log_file.
338
335
 
339
 
    This flushes, but does not close the trace file (so that anything that was
340
 
    in it is output.
 
336
    This flushes, but does not close the trace file.
341
337
 
342
338
    Takes the memento returned from _push_log_file."""
343
339
    global _trace_file
344
340
    _trace_file = old_trace_file
345
341
    bzr_logger = logging.getLogger('bzr')
346
342
    bzr_logger.removeHandler(new_handler)
347
 
    # must be closed, otherwise logging will try to close it at exit, and the
 
343
    # must be closed, otherwise logging will try to close it atexit, and the
348
344
    # file will likely already be closed underneath.
349
345
    new_handler.close()
350
346
    bzr_logger.handlers = old_handlers
351
 
    if new_trace_file is not None:
352
 
        new_trace_file.flush()
 
347
    new_trace_file.flush()
353
348
 
354
349
 
355
350
def log_exception_quietly():
437
432
                    note(line)
438
433
                    break
439
434
 
440
 
def _dump_memory_usage(err_file):
441
 
    try:
442
 
        try:
443
 
            fd, name = tempfile.mkstemp(prefix="bzr_memdump", suffix=".json")
444
 
            dump_file = os.fdopen(fd, 'w')
445
 
            from meliae import scanner
446
 
            scanner.dump_gc_objects(dump_file)
447
 
            err_file.write("Memory dumped to %s\n" % name)
448
 
        except ImportError:
449
 
            err_file.write("Dumping memory requires meliae module.\n")
450
 
            log_exception_quietly()
451
 
        except:
452
 
            err_file.write("Exception while dumping memory.\n")
453
 
            log_exception_quietly()
454
 
    finally:
455
 
        if dump_file is not None:
456
 
            dump_file.close()
457
 
        elif fd is not None:
458
 
            os.close(fd)
459
 
 
460
 
 
461
 
def _qualified_exception_name(eclass, unqualified_bzrlib_errors=False):
462
 
    """Give name of error class including module for non-builtin exceptions
463
 
 
464
 
    If `unqualified_bzrlib_errors` is True, errors specific to bzrlib will
465
 
    also omit the module prefix.
466
 
    """
467
 
    class_name = eclass.__name__
468
 
    module_name = eclass.__module__
469
 
    if module_name in ("exceptions", "__main__") or (
470
 
            unqualified_bzrlib_errors and module_name == "bzrlib.errors"):
471
 
        return class_name
472
 
    return "%s.%s" % (module_name, class_name)
473
 
 
474
435
 
475
436
def report_exception(exc_info, err_file):
476
437
    """Report an exception to err_file (typically stderr) and to .bzr.log.
485
446
        print_exception(exc_info, err_file)
486
447
        return errors.EXIT_ERROR
487
448
    exc_type, exc_object, exc_tb = exc_info
488
 
    if isinstance(exc_object, KeyboardInterrupt):
 
449
    if (isinstance(exc_object, IOError)
 
450
        and getattr(exc_object, 'errno', None) == errno.EPIPE):
 
451
        err_file.write("bzr: broken pipe\n")
 
452
        return errors.EXIT_ERROR
 
453
    elif isinstance(exc_object, KeyboardInterrupt):
489
454
        err_file.write("bzr: interrupted\n")
490
455
        return errors.EXIT_ERROR
491
456
    elif isinstance(exc_object, MemoryError):
492
457
        err_file.write("bzr: out of memory\n")
493
 
        if 'mem_dump' in debug.debug_flags:
494
 
            _dump_memory_usage(err_file)
495
 
        else:
496
 
            err_file.write("Use -Dmem_dump to dump memory to a file.\n")
497
458
        return errors.EXIT_ERROR
498
459
    elif isinstance(exc_object, ImportError) \
499
460
        and str(exc_object).startswith("No module named "):
503
464
    elif not getattr(exc_object, 'internal_error', True):
504
465
        report_user_error(exc_info, err_file)
505
466
        return errors.EXIT_ERROR
506
 
    elif osutils.is_environment_error(exc_object):
507
 
        if getattr(exc_object, 'errno', None) == errno.EPIPE:
508
 
            err_file.write("bzr: broken pipe\n")
509
 
            return errors.EXIT_ERROR
 
467
    elif isinstance(exc_object, (OSError, IOError)):
510
468
        # Might be nice to catch all of these and show them as something more
511
469
        # specific, but there are too many cases at the moment.
512
470
        report_user_error(exc_info, err_file)
543
501
    """Report an exception that probably indicates a bug in bzr"""
544
502
    from bzrlib.crash import report_bug
545
503
    report_bug(exc_info, err_file)
546
 
 
547
 
 
548
 
def _flush_stdout_stderr():
549
 
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
550
 
    try:
551
 
        sys.stdout.flush()
552
 
        sys.stderr.flush()
553
 
    except ValueError, e:
554
 
        # On Windows, I get ValueError calling stdout.flush() on a closed
555
 
        # handle
556
 
        pass
557
 
    except IOError, e:
558
 
        import errno
559
 
        if e.errno in [errno.EINVAL, errno.EPIPE]:
560
 
            pass
561
 
        else:
562
 
            raise
563
 
 
564
 
 
565
 
def _flush_trace():
566
 
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
567
 
    global _trace_file
568
 
    if _trace_file:
569
 
        _trace_file.flush()
570
 
 
571
 
 
572
 
class EncodedStreamHandler(logging.Handler):
573
 
    """Robustly write logging events to a stream using the specified encoding
574
 
 
575
 
    Messages are expected to be formatted to unicode, but UTF-8 byte strings
576
 
    are also accepted. An error during formatting or a str message in another
577
 
    encoding will be quitely noted as an error in the Bazaar log file.
578
 
 
579
 
    The stream is not closed so sys.stdout or sys.stderr may be passed.
580
 
    """
581
 
 
582
 
    def __init__(self, stream, encoding=None, errors='strict', level=0):
583
 
        logging.Handler.__init__(self, level)
584
 
        self.stream = stream
585
 
        if encoding is None:
586
 
            encoding = getattr(stream, "encoding", "ascii")
587
 
        self.encoding = encoding
588
 
        self.errors = errors
589
 
 
590
 
    def flush(self):
591
 
        flush = getattr(self.stream, "flush", None)
592
 
        if flush is not None:
593
 
            flush()
594
 
 
595
 
    def emit(self, record):
596
 
        try:
597
 
            line = self.format(record)
598
 
            if not isinstance(line, unicode):
599
 
                line = line.decode("utf-8")
600
 
            self.stream.write(line.encode(self.encoding, self.errors) + "\n")
601
 
        except Exception:
602
 
            log_exception_quietly()
603
 
            # Try saving the details that would have been logged in some form
604
 
            msg = args = "<Unformattable>"
605
 
            try:
606
 
                msg = repr(record.msg).encode("ascii")
607
 
                args = repr(record.args).encode("ascii")
608
 
            except Exception:
609
 
                pass
610
 
            # Using mutter() bypasses the logging module and writes directly
611
 
            # to the file so there's no danger of getting into a loop here.
612
 
            mutter("Logging record unformattable: %s %% %s", msg, args)
613
 
 
614
 
 
615
 
class Config(object):
616
 
    """Configuration of message tracing in bzrlib.
617
 
 
618
 
    This implements the context manager protocol and should manage any global
619
 
    variables still used. The default config used is DefaultConfig, but
620
 
    embedded uses of bzrlib may wish to use a custom manager.
621
 
    """
622
 
 
623
 
    def __enter__(self):
624
 
        return self # This is bound to the 'as' clause in a with statement.
625
 
 
626
 
    def __exit__(self, exc_type, exc_val, exc_tb):
627
 
        return False # propogate exceptions.
628
 
 
629
 
 
630
 
class DefaultConfig(Config):
631
 
    """A default configuration for tracing of messages in bzrlib.
632
 
 
633
 
    This implements the context manager protocol.
634
 
    """
635
 
 
636
 
    def __enter__(self):
637
 
        self._original_filename = _bzr_log_filename
638
 
        self._original_state = enable_default_logging()
639
 
        return self # This is bound to the 'as' clause in a with statement.
640
 
 
641
 
    def __exit__(self, exc_type, exc_val, exc_tb):
642
 
        pop_log_file(self._original_state)
643
 
        global _bzr_log_filename
644
 
        _bzr_log_filename = self._original_filename
645
 
        return False # propogate exceptions.