← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/trace.py

  • Committer: Tarmac
  • Author(s): Vincent Ladeuil
  • Date: 2017-01-30 14:42:05 UTC
  • mfrom: (6620.1.1 trunk)
  • Revision ID: tarmac-20170130144205-r8fh2xpmiuxyozpv
Merge  2.7 into trunk including fix for bug #1657238 [r=vila]

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/trace.py
1
 
# Copyright (C) 2005, 2006, 2007, 2008, 2009, 2010 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
45
45
form.
46
46
"""
47
47
 
 
48
from __future__ import absolute_import
 
49
 
48
50
# FIXME: Unfortunately it turns out that python's logging module
49
51
# is quite expensive, even when the message is not printed by any handlers.
50
52
# We should perhaps change back to just simply doing it here.
54
56
# increased cost of logging.py is not so bad, and we could standardize on
55
57
# that.
56
58
 
57
 
import codecs
58
59
import logging
59
60
import os
60
61
import sys
65
66
from cStringIO import StringIO
66
67
import errno
67
68
import locale
 
69
import tempfile
68
70
import traceback
69
71
""")
70
72
 
71
73
import bzrlib
72
74
 
73
 
from bzrlib.symbol_versioning import (
74
 
    deprecated_function,
75
 
    deprecated_in,
76
 
    )
77
 
 
78
75
lazy_import(globals(), """
79
76
from bzrlib import (
80
77
    debug,
81
78
    errors,
82
79
    osutils,
83
 
    plugin,
84
 
    symbol_versioning,
85
80
    ui,
86
81
    )
87
82
""")
111
106
 
112
107
 
113
108
def note(*args, **kwargs):
114
 
    # FIXME note always emits utf-8, regardless of the terminal encoding
115
 
    #
 
109
    """Output a note to the user.
 
110
 
 
111
    Takes the same parameters as logging.info.
 
112
 
 
113
    :return: None
 
114
    """
116
115
    # FIXME: clearing the ui and then going through the abstract logging
117
116
    # framework is whack; we should probably have a logging Handler that
118
117
    # deals with terminal output if needed.
119
 
    import bzrlib.ui
120
 
    bzrlib.ui.ui_factory.clear_term()
 
118
    ui.ui_factory.clear_term()
121
119
    _bzr_logger.info(*args, **kwargs)
122
120
 
123
121
 
124
122
def warning(*args, **kwargs):
125
 
    import bzrlib.ui
126
 
    bzrlib.ui.ui_factory.clear_term()
 
123
    ui.ui_factory.clear_term()
127
124
    _bzr_logger.warning(*args, **kwargs)
128
125
 
129
126
 
130
 
@deprecated_function(deprecated_in((2, 1, 0)))
131
 
def info(*args, **kwargs):
132
 
    """Deprecated: use trace.note instead."""
133
 
    note(*args, **kwargs)
134
 
 
135
 
 
136
 
@deprecated_function(deprecated_in((2, 1, 0)))
137
 
def log_error(*args, **kwargs):
138
 
    """Deprecated: use bzrlib.trace.show_error instead"""
139
 
    _bzr_logger.error(*args, **kwargs)
140
 
 
141
 
 
142
 
@deprecated_function(deprecated_in((2, 1, 0)))
143
 
def error(*args, **kwargs):
144
 
    """Deprecated: use bzrlib.trace.show_error instead"""
145
 
    _bzr_logger.error(*args, **kwargs)
146
 
 
147
 
 
148
 
def show_error(msg):
 
127
def show_error(*args, **kwargs):
149
128
    """Show an error message to the user.
150
129
 
151
130
    Don't use this for exceptions, use report_exception instead.
215
194
 
216
195
 
217
196
def _get_bzr_log_filename():
218
 
    bzr_log = os.environ.get('BZR_LOG')
 
197
    bzr_log = osutils.path_from_environ('BZR_LOG')
219
198
    if bzr_log:
220
199
        return bzr_log
221
 
    home = os.environ.get('BZR_HOME')
 
200
    home = osutils.path_from_environ('BZR_HOME')
222
201
    if home is None:
223
 
        if sys.platform == 'win32':
224
 
            from bzrlib import win32utils
225
 
            home = win32utils.get_home_location()
226
 
        else:
227
 
            home = os.path.expanduser('~')
 
202
        # GZ 2012-02-01: Logging to the home dir is bad, but XDG is unclear
 
203
        #                over what would be better. On windows, bug 240550
 
204
        #                suggests LOCALAPPDATA be used instead.
 
205
        home = osutils._get_home_dir()
228
206
    return os.path.join(home, '.bzr.log')
229
207
 
230
208
 
238
216
    This sets the global _bzr_log_filename.
239
217
    """
240
218
    global _bzr_log_filename
 
219
 
 
220
    def _open_or_create_log_file(filename):
 
221
        """Open existing log file, or create with ownership and permissions
 
222
 
 
223
        It inherits the ownership and permissions (masked by umask) from
 
224
        the containing directory to cope better with being run under sudo
 
225
        with $HOME still set to the user's homedir.
 
226
        """
 
227
        flags = os.O_WRONLY | os.O_APPEND | osutils.O_TEXT
 
228
        while True:
 
229
            try:
 
230
                fd = os.open(filename, flags)
 
231
                break
 
232
            except OSError, e:
 
233
                if e.errno != errno.ENOENT:
 
234
                    raise
 
235
            try:
 
236
                fd = os.open(filename, flags | os.O_CREAT | os.O_EXCL, 0666)
 
237
            except OSError, e:
 
238
                if e.errno != errno.EEXIST:
 
239
                    raise
 
240
            else:
 
241
                osutils.copy_ownership_from_path(filename)
 
242
                break
 
243
        return os.fdopen(fd, 'at', 0) # unbuffered
 
244
 
 
245
 
241
246
    _bzr_log_filename = _get_bzr_log_filename()
242
247
    _rollover_trace_maybe(_bzr_log_filename)
243
248
    try:
244
 
        bzr_log_file = open(_bzr_log_filename, 'at', buffering=0) # unbuffered
245
 
        # bzr_log_file.tell() on windows always return 0 until some writing done
 
249
        bzr_log_file = _open_or_create_log_file(_bzr_log_filename)
246
250
        bzr_log_file.write('\n')
247
251
        if bzr_log_file.tell() <= 2:
248
252
            bzr_log_file.write("this is a debug log for diagnosing/reporting problems in bzr\n")
249
253
            bzr_log_file.write("you can delete or truncate this file, or include sections in\n")
250
254
            bzr_log_file.write("bug reports to https://bugs.launchpad.net/bzr/+filebug\n\n")
 
255
 
251
256
        return bzr_log_file
252
 
    except IOError, e:
 
257
 
 
258
    except EnvironmentError, e:
253
259
        # If we are failing to open the log, then most likely logging has not
254
260
        # been set up yet. So we just write to stderr rather than using
255
261
        # 'warning()'. If we using warning(), users get the unhelpful 'no
272
278
    logging.getLogger("bzr").
273
279
 
274
280
    Output can be redirected away by calling _push_log_file.
 
281
 
 
282
    :return: A memento from push_log_file for restoring the log state.
275
283
    """
276
 
    # Do this before we open the log file, so we prevent
277
 
    # get_terminal_encoding() from mutter()ing multiple times
278
 
    term_encoding = osutils.get_terminal_encoding()
279
284
    start_time = osutils.format_local_date(_bzr_log_start_time,
280
285
                                           timezone='local')
281
 
    # create encoded wrapper around stderr
282
286
    bzr_log_file = _open_bzr_log()
283
287
    if bzr_log_file is not None:
284
288
        bzr_log_file.write(start_time.encode('utf-8') + '\n')
285
 
    push_log_file(bzr_log_file,
 
289
    memento = push_log_file(bzr_log_file,
286
290
        r'[%(process)5d] %(asctime)s.%(msecs)03d %(levelname)s: %(message)s',
287
291
        r'%Y-%m-%d %H:%M:%S')
288
292
    # after hooking output into bzr_log, we also need to attach a stderr
289
293
    # handler, writing only at level info and with encoding
290
 
    writer_factory = codecs.getwriter(term_encoding)
291
 
    encoded_stderr = writer_factory(sys.stderr, errors='replace')
292
 
    stderr_handler = logging.StreamHandler(encoded_stderr)
293
 
    stderr_handler.setLevel(logging.INFO)
 
294
    stderr_handler = EncodedStreamHandler(sys.stderr,
 
295
        osutils.get_terminal_encoding(), 'replace', level=logging.INFO)
294
296
    logging.getLogger('bzr').addHandler(stderr_handler)
 
297
    return memento
295
298
 
296
299
 
297
300
def push_log_file(to_file, log_format=None, date_format=None):
300
303
    :param to_file: A file-like object to which messages will be sent.
301
304
 
302
305
    :returns: A memento that should be passed to _pop_log_file to restore the
303
 
    previously active logging.
 
306
        previously active logging.
304
307
    """
305
308
    global _trace_file
306
309
    # make a new handler
307
 
    new_handler = logging.StreamHandler(to_file)
308
 
    new_handler.setLevel(logging.DEBUG)
 
310
    new_handler = EncodedStreamHandler(to_file, "utf-8", level=logging.DEBUG)
309
311
    if log_format is None:
310
312
        log_format = '%(levelname)8s  %(message)s'
311
313
    new_handler.setFormatter(logging.Formatter(log_format, date_format))
333
335
def pop_log_file((magic, old_handlers, new_handler, old_trace_file, new_trace_file)):
334
336
    """Undo changes to logging/tracing done by _push_log_file.
335
337
 
336
 
    This flushes, but does not close the trace file.
 
338
    This flushes, but does not close the trace file (so that anything that was
 
339
    in it is output.
337
340
 
338
341
    Takes the memento returned from _push_log_file."""
339
342
    global _trace_file
340
343
    _trace_file = old_trace_file
341
344
    bzr_logger = logging.getLogger('bzr')
342
345
    bzr_logger.removeHandler(new_handler)
343
 
    # must be closed, otherwise logging will try to close it atexit, and the
 
346
    # must be closed, otherwise logging will try to close it at exit, and the
344
347
    # file will likely already be closed underneath.
345
348
    new_handler.close()
346
349
    bzr_logger.handlers = old_handlers
347
 
    new_trace_file.flush()
 
350
    if new_trace_file is not None:
 
351
        new_trace_file.flush()
348
352
 
349
353
 
350
354
def log_exception_quietly():
432
436
                    note(line)
433
437
                    break
434
438
 
 
439
def _dump_memory_usage(err_file):
 
440
    try:
 
441
        try:
 
442
            fd, name = tempfile.mkstemp(prefix="bzr_memdump", suffix=".json")
 
443
            dump_file = os.fdopen(fd, 'w')
 
444
            from meliae import scanner
 
445
            scanner.dump_gc_objects(dump_file)
 
446
            err_file.write("Memory dumped to %s\n" % name)
 
447
        except ImportError:
 
448
            err_file.write("Dumping memory requires meliae module.\n")
 
449
            log_exception_quietly()
 
450
        except:
 
451
            err_file.write("Exception while dumping memory.\n")
 
452
            log_exception_quietly()
 
453
    finally:
 
454
        if dump_file is not None:
 
455
            dump_file.close()
 
456
        elif fd is not None:
 
457
            os.close(fd)
 
458
 
 
459
 
 
460
def _qualified_exception_name(eclass, unqualified_bzrlib_errors=False):
 
461
    """Give name of error class including module for non-builtin exceptions
 
462
 
 
463
    If `unqualified_bzrlib_errors` is True, errors specific to bzrlib will
 
464
    also omit the module prefix.
 
465
    """
 
466
    class_name = eclass.__name__
 
467
    module_name = eclass.__module__
 
468
    if module_name in ("exceptions", "__main__") or (
 
469
            unqualified_bzrlib_errors and module_name == "bzrlib.errors"):
 
470
        return class_name
 
471
    return "%s.%s" % (module_name, class_name)
 
472
 
435
473
 
436
474
def report_exception(exc_info, err_file):
437
475
    """Report an exception to err_file (typically stderr) and to .bzr.log.
446
484
        print_exception(exc_info, err_file)
447
485
        return errors.EXIT_ERROR
448
486
    exc_type, exc_object, exc_tb = exc_info
449
 
    if (isinstance(exc_object, IOError)
450
 
        and getattr(exc_object, 'errno', None) == errno.EPIPE):
451
 
        err_file.write("bzr: broken pipe\n")
452
 
        return errors.EXIT_ERROR
453
 
    elif isinstance(exc_object, KeyboardInterrupt):
 
487
    if isinstance(exc_object, KeyboardInterrupt):
454
488
        err_file.write("bzr: interrupted\n")
455
489
        return errors.EXIT_ERROR
456
490
    elif isinstance(exc_object, MemoryError):
457
491
        err_file.write("bzr: out of memory\n")
 
492
        if 'mem_dump' in debug.debug_flags:
 
493
            _dump_memory_usage(err_file)
 
494
        else:
 
495
            err_file.write("Use -Dmem_dump to dump memory to a file.\n")
458
496
        return errors.EXIT_ERROR
459
497
    elif isinstance(exc_object, ImportError) \
460
498
        and str(exc_object).startswith("No module named "):
464
502
    elif not getattr(exc_object, 'internal_error', True):
465
503
        report_user_error(exc_info, err_file)
466
504
        return errors.EXIT_ERROR
467
 
    elif isinstance(exc_object, (OSError, IOError)):
 
505
    elif osutils.is_environment_error(exc_object):
 
506
        if getattr(exc_object, 'errno', None) == errno.EPIPE:
 
507
            err_file.write("bzr: broken pipe\n")
 
508
            return errors.EXIT_ERROR
468
509
        # Might be nice to catch all of these and show them as something more
469
510
        # specific, but there are too many cases at the moment.
470
511
        report_user_error(exc_info, err_file)
504
545
 
505
546
 
506
547
def _flush_stdout_stderr():
507
 
    # installed into an atexit hook by bzrlib.initialize()
 
548
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
508
549
    try:
509
550
        sys.stdout.flush()
510
551
        sys.stderr.flush()
 
552
    except ValueError, e:
 
553
        # On Windows, I get ValueError calling stdout.flush() on a closed
 
554
        # handle
 
555
        pass
511
556
    except IOError, e:
512
557
        import errno
513
558
        if e.errno in [errno.EINVAL, errno.EPIPE]:
517
562
 
518
563
 
519
564
def _flush_trace():
520
 
    # run from atexit hook
 
565
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
521
566
    global _trace_file
522
567
    if _trace_file:
523
568
        _trace_file.flush()
 
569
 
 
570
 
 
571
class EncodedStreamHandler(logging.Handler):
 
572
    """Robustly write logging events to a stream using the specified encoding
 
573
 
 
574
    Messages are expected to be formatted to unicode, but UTF-8 byte strings
 
575
    are also accepted. An error during formatting or a str message in another
 
576
    encoding will be quitely noted as an error in the Bazaar log file.
 
577
 
 
578
    The stream is not closed so sys.stdout or sys.stderr may be passed.
 
579
    """
 
580
 
 
581
    def __init__(self, stream, encoding=None, errors='strict', level=0):
 
582
        logging.Handler.__init__(self, level)
 
583
        self.stream = stream
 
584
        if encoding is None:
 
585
            encoding = getattr(stream, "encoding", "ascii")
 
586
        self.encoding = encoding
 
587
        self.errors = errors
 
588
 
 
589
    def flush(self):
 
590
        flush = getattr(self.stream, "flush", None)
 
591
        if flush is not None:
 
592
            flush()
 
593
 
 
594
    def emit(self, record):
 
595
        try:
 
596
            line = self.format(record)
 
597
            if not isinstance(line, unicode):
 
598
                line = line.decode("utf-8")
 
599
            self.stream.write(line.encode(self.encoding, self.errors) + "\n")
 
600
        except Exception:
 
601
            log_exception_quietly()
 
602
            # Try saving the details that would have been logged in some form
 
603
            msg = args = "<Unformattable>"
 
604
            try:
 
605
                msg = repr(record.msg).encode("ascii")
 
606
                args = repr(record.args).encode("ascii")
 
607
            except Exception:
 
608
                pass
 
609
            # Using mutter() bypasses the logging module and writes directly
 
610
            # to the file so there's no danger of getting into a loop here.
 
611
            mutter("Logging record unformattable: %s %% %s", msg, args)
 
612
 
 
613
 
 
614
class Config(object):
 
615
    """Configuration of message tracing in bzrlib.
 
616
 
 
617
    This implements the context manager protocol and should manage any global
 
618
    variables still used. The default config used is DefaultConfig, but
 
619
    embedded uses of bzrlib may wish to use a custom manager.
 
620
    """
 
621
 
 
622
    def __enter__(self):
 
623
        return self # This is bound to the 'as' clause in a with statement.
 
624
 
 
625
    def __exit__(self, exc_type, exc_val, exc_tb):
 
626
        return False # propogate exceptions.
 
627
 
 
628
 
 
629
class DefaultConfig(Config):
 
630
    """A default configuration for tracing of messages in bzrlib.
 
631
 
 
632
    This implements the context manager protocol.
 
633
    """
 
634
 
 
635
    def __enter__(self):
 
636
        self._original_filename = _bzr_log_filename
 
637
        self._original_state = enable_default_logging()
 
638
        return self # This is bound to the 'as' clause in a with statement.
 
639
 
 
640
    def __exit__(self, exc_type, exc_val, exc_tb):
 
641
        pop_log_file(self._original_state)
 
642
        global _bzr_log_filename
 
643
        _bzr_log_filename = self._original_filename
 
644
        return False # propogate exceptions.