← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/trace.py

  • Committer: Wouter van Heyst
  • Date: 2012-01-25 21:13:15 UTC
  • mto: (6437.3.27 2.5)
  • mto: This revision was merged to the branch mainline in revision 6451.
  • Revision ID: larstiq@larstiq.dyndns.org-20120125211315-ch74doua37bqet0i
mechanically replace file().write() pattern with a with-keyword version

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/trace.py
1
 
# Copyright (C) 2005, 2006, 2007, 2008, 2009, 2010 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
45
45
form.
46
46
"""
47
47
 
 
48
from __future__ import absolute_import
 
49
 
48
50
# FIXME: Unfortunately it turns out that python's logging module
49
51
# is quite expensive, even when the message is not printed by any handlers.
50
52
# We should perhaps change back to just simply doing it here.
54
56
# increased cost of logging.py is not so bad, and we could standardize on
55
57
# that.
56
58
 
57
 
import codecs
58
59
import logging
59
60
import os
60
61
import sys
65
66
from cStringIO import StringIO
66
67
import errno
67
68
import locale
 
69
import tempfile
68
70
import traceback
69
71
""")
70
72
 
71
73
import bzrlib
72
74
 
73
 
from bzrlib.symbol_versioning import (
74
 
    deprecated_function,
75
 
    deprecated_in,
76
 
    )
77
 
 
78
75
lazy_import(globals(), """
79
76
from bzrlib import (
80
77
    debug,
81
78
    errors,
82
79
    osutils,
83
 
    plugin,
84
 
    symbol_versioning,
85
80
    ui,
86
81
    )
87
82
""")
111
106
 
112
107
 
113
108
def note(*args, **kwargs):
114
 
    # FIXME note always emits utf-8, regardless of the terminal encoding
115
 
    #
 
109
    """Output a note to the user.
 
110
 
 
111
    Takes the same parameters as logging.info.
 
112
 
 
113
    :return: None
 
114
    """
116
115
    # FIXME: clearing the ui and then going through the abstract logging
117
116
    # framework is whack; we should probably have a logging Handler that
118
117
    # deals with terminal output if needed.
119
 
    import bzrlib.ui
120
 
    bzrlib.ui.ui_factory.clear_term()
 
118
    ui.ui_factory.clear_term()
121
119
    _bzr_logger.info(*args, **kwargs)
122
120
 
123
121
 
124
122
def warning(*args, **kwargs):
125
 
    import bzrlib.ui
126
 
    bzrlib.ui.ui_factory.clear_term()
 
123
    ui.ui_factory.clear_term()
127
124
    _bzr_logger.warning(*args, **kwargs)
128
125
 
129
126
 
130
 
@deprecated_function(deprecated_in((2, 1, 0)))
131
 
def info(*args, **kwargs):
132
 
    """Deprecated: use trace.note instead."""
133
 
    note(*args, **kwargs)
134
 
 
135
 
 
136
 
@deprecated_function(deprecated_in((2, 1, 0)))
137
 
def log_error(*args, **kwargs):
138
 
    """Deprecated: use bzrlib.trace.show_error instead"""
139
 
    _bzr_logger.error(*args, **kwargs)
140
 
 
141
 
 
142
 
@deprecated_function(deprecated_in((2, 1, 0)))
143
 
def error(*args, **kwargs):
144
 
    """Deprecated: use bzrlib.trace.show_error instead"""
145
 
    _bzr_logger.error(*args, **kwargs)
146
 
 
147
 
 
148
 
def show_error(msg):
 
127
def show_error(*args, **kwargs):
149
128
    """Show an error message to the user.
150
129
 
151
130
    Don't use this for exceptions, use report_exception instead.
238
217
    This sets the global _bzr_log_filename.
239
218
    """
240
219
    global _bzr_log_filename
 
220
 
 
221
    def _open_or_create_log_file(filename):
 
222
        """Open existing log file, or create with ownership and permissions
 
223
 
 
224
        It inherits the ownership and permissions (masked by umask) from
 
225
        the containing directory to cope better with being run under sudo
 
226
        with $HOME still set to the user's homedir.
 
227
        """
 
228
        flags = os.O_WRONLY | os.O_APPEND | osutils.O_TEXT
 
229
        while True:
 
230
            try:
 
231
                fd = os.open(filename, flags)
 
232
                break
 
233
            except OSError, e:
 
234
                if e.errno != errno.ENOENT:
 
235
                    raise
 
236
            try:
 
237
                fd = os.open(filename, flags | os.O_CREAT | os.O_EXCL, 0666)
 
238
            except OSError, e:
 
239
                if e.errno != errno.EEXIST:
 
240
                    raise
 
241
            else:
 
242
                osutils.copy_ownership_from_path(filename)
 
243
                break
 
244
        return os.fdopen(fd, 'at', 0) # unbuffered
 
245
 
 
246
 
241
247
    _bzr_log_filename = _get_bzr_log_filename()
242
248
    _rollover_trace_maybe(_bzr_log_filename)
243
249
    try:
244
 
        bzr_log_file = open(_bzr_log_filename, 'at', buffering=0) # unbuffered
245
 
        # bzr_log_file.tell() on windows always return 0 until some writing done
 
250
        bzr_log_file = _open_or_create_log_file(_bzr_log_filename)
246
251
        bzr_log_file.write('\n')
247
252
        if bzr_log_file.tell() <= 2:
248
253
            bzr_log_file.write("this is a debug log for diagnosing/reporting problems in bzr\n")
249
254
            bzr_log_file.write("you can delete or truncate this file, or include sections in\n")
250
255
            bzr_log_file.write("bug reports to https://bugs.launchpad.net/bzr/+filebug\n\n")
 
256
 
251
257
        return bzr_log_file
252
 
    except IOError, e:
 
258
 
 
259
    except EnvironmentError, e:
253
260
        # If we are failing to open the log, then most likely logging has not
254
261
        # been set up yet. So we just write to stderr rather than using
255
262
        # 'warning()'. If we using warning(), users get the unhelpful 'no
272
279
    logging.getLogger("bzr").
273
280
 
274
281
    Output can be redirected away by calling _push_log_file.
 
282
 
 
283
    :return: A memento from push_log_file for restoring the log state.
275
284
    """
276
 
    # Do this before we open the log file, so we prevent
277
 
    # get_terminal_encoding() from mutter()ing multiple times
278
 
    term_encoding = osutils.get_terminal_encoding()
279
285
    start_time = osutils.format_local_date(_bzr_log_start_time,
280
286
                                           timezone='local')
281
 
    # create encoded wrapper around stderr
282
287
    bzr_log_file = _open_bzr_log()
283
288
    if bzr_log_file is not None:
284
289
        bzr_log_file.write(start_time.encode('utf-8') + '\n')
285
 
    push_log_file(bzr_log_file,
 
290
    memento = push_log_file(bzr_log_file,
286
291
        r'[%(process)5d] %(asctime)s.%(msecs)03d %(levelname)s: %(message)s',
287
292
        r'%Y-%m-%d %H:%M:%S')
288
293
    # after hooking output into bzr_log, we also need to attach a stderr
289
294
    # handler, writing only at level info and with encoding
290
 
    writer_factory = codecs.getwriter(term_encoding)
291
 
    encoded_stderr = writer_factory(sys.stderr, errors='replace')
292
 
    stderr_handler = logging.StreamHandler(encoded_stderr)
293
 
    stderr_handler.setLevel(logging.INFO)
 
295
    stderr_handler = EncodedStreamHandler(sys.stderr,
 
296
        osutils.get_terminal_encoding(), 'replace', level=logging.INFO)
294
297
    logging.getLogger('bzr').addHandler(stderr_handler)
 
298
    return memento
295
299
 
296
300
 
297
301
def push_log_file(to_file, log_format=None, date_format=None):
300
304
    :param to_file: A file-like object to which messages will be sent.
301
305
 
302
306
    :returns: A memento that should be passed to _pop_log_file to restore the
303
 
    previously active logging.
 
307
        previously active logging.
304
308
    """
305
309
    global _trace_file
306
310
    # make a new handler
307
 
    new_handler = logging.StreamHandler(to_file)
308
 
    new_handler.setLevel(logging.DEBUG)
 
311
    new_handler = EncodedStreamHandler(to_file, "utf-8", level=logging.DEBUG)
309
312
    if log_format is None:
310
313
        log_format = '%(levelname)8s  %(message)s'
311
314
    new_handler.setFormatter(logging.Formatter(log_format, date_format))
333
336
def pop_log_file((magic, old_handlers, new_handler, old_trace_file, new_trace_file)):
334
337
    """Undo changes to logging/tracing done by _push_log_file.
335
338
 
336
 
    This flushes, but does not close the trace file.
 
339
    This flushes, but does not close the trace file (so that anything that was
 
340
    in it is output.
337
341
 
338
342
    Takes the memento returned from _push_log_file."""
339
343
    global _trace_file
340
344
    _trace_file = old_trace_file
341
345
    bzr_logger = logging.getLogger('bzr')
342
346
    bzr_logger.removeHandler(new_handler)
343
 
    # must be closed, otherwise logging will try to close it atexit, and the
 
347
    # must be closed, otherwise logging will try to close it at exit, and the
344
348
    # file will likely already be closed underneath.
345
349
    new_handler.close()
346
350
    bzr_logger.handlers = old_handlers
347
 
    new_trace_file.flush()
 
351
    if new_trace_file is not None:
 
352
        new_trace_file.flush()
348
353
 
349
354
 
350
355
def log_exception_quietly():
432
437
                    note(line)
433
438
                    break
434
439
 
 
440
def _dump_memory_usage(err_file):
 
441
    try:
 
442
        try:
 
443
            fd, name = tempfile.mkstemp(prefix="bzr_memdump", suffix=".json")
 
444
            dump_file = os.fdopen(fd, 'w')
 
445
            from meliae import scanner
 
446
            scanner.dump_gc_objects(dump_file)
 
447
            err_file.write("Memory dumped to %s\n" % name)
 
448
        except ImportError:
 
449
            err_file.write("Dumping memory requires meliae module.\n")
 
450
            log_exception_quietly()
 
451
        except:
 
452
            err_file.write("Exception while dumping memory.\n")
 
453
            log_exception_quietly()
 
454
    finally:
 
455
        if dump_file is not None:
 
456
            dump_file.close()
 
457
        elif fd is not None:
 
458
            os.close(fd)
 
459
 
 
460
 
 
461
def _qualified_exception_name(eclass, unqualified_bzrlib_errors=False):
 
462
    """Give name of error class including module for non-builtin exceptions
 
463
 
 
464
    If `unqualified_bzrlib_errors` is True, errors specific to bzrlib will
 
465
    also omit the module prefix.
 
466
    """
 
467
    class_name = eclass.__name__
 
468
    module_name = eclass.__module__
 
469
    if module_name in ("exceptions", "__main__") or (
 
470
            unqualified_bzrlib_errors and module_name == "bzrlib.errors"):
 
471
        return class_name
 
472
    return "%s.%s" % (module_name, class_name)
 
473
 
435
474
 
436
475
def report_exception(exc_info, err_file):
437
476
    """Report an exception to err_file (typically stderr) and to .bzr.log.
446
485
        print_exception(exc_info, err_file)
447
486
        return errors.EXIT_ERROR
448
487
    exc_type, exc_object, exc_tb = exc_info
449
 
    if (isinstance(exc_object, IOError)
450
 
        and getattr(exc_object, 'errno', None) == errno.EPIPE):
451
 
        err_file.write("bzr: broken pipe\n")
452
 
        return errors.EXIT_ERROR
453
 
    elif isinstance(exc_object, KeyboardInterrupt):
 
488
    if isinstance(exc_object, KeyboardInterrupt):
454
489
        err_file.write("bzr: interrupted\n")
455
490
        return errors.EXIT_ERROR
456
491
    elif isinstance(exc_object, MemoryError):
457
492
        err_file.write("bzr: out of memory\n")
 
493
        if 'mem_dump' in debug.debug_flags:
 
494
            _dump_memory_usage(err_file)
 
495
        else:
 
496
            err_file.write("Use -Dmem_dump to dump memory to a file.\n")
458
497
        return errors.EXIT_ERROR
459
498
    elif isinstance(exc_object, ImportError) \
460
499
        and str(exc_object).startswith("No module named "):
464
503
    elif not getattr(exc_object, 'internal_error', True):
465
504
        report_user_error(exc_info, err_file)
466
505
        return errors.EXIT_ERROR
467
 
    elif isinstance(exc_object, (OSError, IOError)):
 
506
    elif osutils.is_environment_error(exc_object):
 
507
        if getattr(exc_object, 'errno', None) == errno.EPIPE:
 
508
            err_file.write("bzr: broken pipe\n")
 
509
            return errors.EXIT_ERROR
468
510
        # Might be nice to catch all of these and show them as something more
469
511
        # specific, but there are too many cases at the moment.
470
512
        report_user_error(exc_info, err_file)
504
546
 
505
547
 
506
548
def _flush_stdout_stderr():
507
 
    # installed into an atexit hook by bzrlib.initialize()
 
549
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
508
550
    try:
509
551
        sys.stdout.flush()
510
552
        sys.stderr.flush()
 
553
    except ValueError, e:
 
554
        # On Windows, I get ValueError calling stdout.flush() on a closed
 
555
        # handle
 
556
        pass
511
557
    except IOError, e:
512
558
        import errno
513
559
        if e.errno in [errno.EINVAL, errno.EPIPE]:
517
563
 
518
564
 
519
565
def _flush_trace():
520
 
    # run from atexit hook
 
566
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
521
567
    global _trace_file
522
568
    if _trace_file:
523
569
        _trace_file.flush()
 
570
 
 
571
 
 
572
class EncodedStreamHandler(logging.Handler):
 
573
    """Robustly write logging events to a stream using the specified encoding
 
574
 
 
575
    Messages are expected to be formatted to unicode, but UTF-8 byte strings
 
576
    are also accepted. An error during formatting or a str message in another
 
577
    encoding will be quitely noted as an error in the Bazaar log file.
 
578
 
 
579
    The stream is not closed so sys.stdout or sys.stderr may be passed.
 
580
    """
 
581
 
 
582
    def __init__(self, stream, encoding=None, errors='strict', level=0):
 
583
        logging.Handler.__init__(self, level)
 
584
        self.stream = stream
 
585
        if encoding is None:
 
586
            encoding = getattr(stream, "encoding", "ascii")
 
587
        self.encoding = encoding
 
588
        self.errors = errors
 
589
 
 
590
    def flush(self):
 
591
        flush = getattr(self.stream, "flush", None)
 
592
        if flush is not None:
 
593
            flush()
 
594
 
 
595
    def emit(self, record):
 
596
        try:
 
597
            line = self.format(record)
 
598
            if not isinstance(line, unicode):
 
599
                line = line.decode("utf-8")
 
600
            self.stream.write(line.encode(self.encoding, self.errors) + "\n")
 
601
        except Exception:
 
602
            log_exception_quietly()
 
603
            # Try saving the details that would have been logged in some form
 
604
            msg = args = "<Unformattable>"
 
605
            try:
 
606
                msg = repr(record.msg).encode("ascii")
 
607
                args = repr(record.args).encode("ascii")
 
608
            except Exception:
 
609
                pass
 
610
            # Using mutter() bypasses the logging module and writes directly
 
611
            # to the file so there's no danger of getting into a loop here.
 
612
            mutter("Logging record unformattable: %s %% %s", msg, args)
 
613
 
 
614
 
 
615
class Config(object):
 
616
    """Configuration of message tracing in bzrlib.
 
617
 
 
618
    This implements the context manager protocol and should manage any global
 
619
    variables still used. The default config used is DefaultConfig, but
 
620
    embedded uses of bzrlib may wish to use a custom manager.
 
621
    """
 
622
 
 
623
    def __enter__(self):
 
624
        return self # This is bound to the 'as' clause in a with statement.
 
625
 
 
626
    def __exit__(self, exc_type, exc_val, exc_tb):
 
627
        return False # propogate exceptions.
 
628
 
 
629
 
 
630
class DefaultConfig(Config):
 
631
    """A default configuration for tracing of messages in bzrlib.
 
632
 
 
633
    This implements the context manager protocol.
 
634
    """
 
635
 
 
636
    def __enter__(self):
 
637
        self._original_filename = _bzr_log_filename
 
638
        self._original_state = enable_default_logging()
 
639
        return self # This is bound to the 'as' clause in a with statement.
 
640
 
 
641
    def __exit__(self, exc_type, exc_val, exc_tb):
 
642
        pop_log_file(self._original_state)
 
643
        global _bzr_log_filename
 
644
        _bzr_log_filename = self._original_filename
 
645
        return False # propogate exceptions.