~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/trace.py

  • Committer: Tarmac
  • Author(s): Vincent Ladeuil
  • Date: 2017-01-30 14:42:05 UTC
  • mfrom: (6620.1.1 trunk)
  • Revision ID: tarmac-20170130144205-r8fh2xpmiuxyozpv
Merge  2.7 into trunk including fix for bug #1657238 [r=vila]

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
"""Messages and logging for bazaar-ng.
 
17
"""Messages and logging.
18
18
 
19
19
Messages are supplied by callers as a string-formatting template, plus values
20
20
to be inserted into it.  The actual %-formatting is deferred to the log
33
33
 
34
34
Output to stderr depends on the mode chosen by the user.  By default, messages
35
35
of info and above are sent out, which results in progress messages such as the
36
 
list of files processed by add and commit.  In quiet mode, only warnings and
37
 
above are shown.  In debug mode, stderr gets debug messages too.
 
36
list of files processed by add and commit.  In debug mode, stderr gets debug messages too.
38
37
 
39
38
Errors that terminate an operation are generally passed back as exceptions;
40
39
others may be just emitted as messages.
46
45
form.
47
46
"""
48
47
 
 
48
from __future__ import absolute_import
 
49
 
49
50
# FIXME: Unfortunately it turns out that python's logging module
50
51
# is quite expensive, even when the message is not printed by any handlers.
51
52
# We should perhaps change back to just simply doing it here.
55
56
# increased cost of logging.py is not so bad, and we could standardize on
56
57
# that.
57
58
 
58
 
import codecs
59
59
import logging
60
60
import os
61
61
import sys
62
 
import re
63
62
import time
64
63
 
65
64
from bzrlib.lazy_import import lazy_import
67
66
from cStringIO import StringIO
68
67
import errno
69
68
import locale
 
69
import tempfile
70
70
import traceback
71
71
""")
72
72
 
77
77
    debug,
78
78
    errors,
79
79
    osutils,
80
 
    plugin,
81
 
    symbol_versioning,
 
80
    ui,
82
81
    )
83
82
""")
84
83
 
107
106
 
108
107
 
109
108
def note(*args, **kwargs):
110
 
    # FIXME note always emits utf-8, regardless of the terminal encoding
111
 
    #
 
109
    """Output a note to the user.
 
110
 
 
111
    Takes the same parameters as logging.info.
 
112
 
 
113
    :return: None
 
114
    """
112
115
    # FIXME: clearing the ui and then going through the abstract logging
113
116
    # framework is whack; we should probably have a logging Handler that
114
117
    # deals with terminal output if needed.
115
 
    import bzrlib.ui
116
 
    bzrlib.ui.ui_factory.clear_term()
 
118
    ui.ui_factory.clear_term()
117
119
    _bzr_logger.info(*args, **kwargs)
118
120
 
119
121
 
120
122
def warning(*args, **kwargs):
121
 
    import bzrlib.ui
122
 
    bzrlib.ui.ui_factory.clear_term()
 
123
    ui.ui_factory.clear_term()
123
124
    _bzr_logger.warning(*args, **kwargs)
124
125
 
125
126
 
126
 
# configure convenient aliases for output routines
127
 
#
128
 
# TODO: deprecate them, have one name for each.
129
 
info = note
130
 
log_error = _bzr_logger.error
131
 
error =     _bzr_logger.error
132
 
 
133
 
 
134
 
_last_mutter_flush_time = None
 
127
def show_error(*args, **kwargs):
 
128
    """Show an error message to the user.
 
129
 
 
130
    Don't use this for exceptions, use report_exception instead.
 
131
    """
 
132
    _bzr_logger.error(*args, **kwargs)
 
133
 
135
134
 
136
135
def mutter(fmt, *args):
137
 
    global _last_mutter_flush_time
138
136
    if _trace_file is None:
139
137
        return
 
138
    # XXX: Don't check this every time; instead anyone who closes the file
 
139
    # ought to deregister it.  We can tolerate None.
140
140
    if (getattr(_trace_file, 'closed', None) is not None) and _trace_file.closed:
141
141
        return
142
142
 
159
159
    timestamp = '%0.3f  ' % (now - _bzr_log_start_time,)
160
160
    out = timestamp + out + '\n'
161
161
    _trace_file.write(out)
162
 
    # We flush if we haven't flushed for a few seconds. We don't want to flush
163
 
    # on every mutter, but when a command takes a while, it can be nice to see
164
 
    # updates in the debug log.
165
 
    if (_last_mutter_flush_time is None
166
 
        or (now - _last_mutter_flush_time) > 2.0):
167
 
        flush = getattr(_trace_file, 'flush', None)
168
 
        if flush is not None:
169
 
            flush()
170
 
        _last_mutter_flush_time = now
 
162
    # there's no explicit flushing; the file is typically line buffered.
171
163
 
172
164
 
173
165
def mutter_callsite(stacklevel, fmt, *args):
202
194
 
203
195
 
204
196
def _get_bzr_log_filename():
205
 
    bzr_log = os.environ.get('BZR_LOG')
 
197
    bzr_log = osutils.path_from_environ('BZR_LOG')
206
198
    if bzr_log:
207
199
        return bzr_log
208
 
    home = os.environ.get('BZR_HOME')
 
200
    home = osutils.path_from_environ('BZR_HOME')
209
201
    if home is None:
210
 
        if sys.platform == 'win32':
211
 
            from bzrlib import win32utils
212
 
            home = win32utils.get_home_location()
213
 
        else:
214
 
            home = os.path.expanduser('~')
 
202
        # GZ 2012-02-01: Logging to the home dir is bad, but XDG is unclear
 
203
        #                over what would be better. On windows, bug 240550
 
204
        #                suggests LOCALAPPDATA be used instead.
 
205
        home = osutils._get_home_dir()
215
206
    return os.path.join(home, '.bzr.log')
216
207
 
217
208
 
225
216
    This sets the global _bzr_log_filename.
226
217
    """
227
218
    global _bzr_log_filename
 
219
 
 
220
    def _open_or_create_log_file(filename):
 
221
        """Open existing log file, or create with ownership and permissions
 
222
 
 
223
        It inherits the ownership and permissions (masked by umask) from
 
224
        the containing directory to cope better with being run under sudo
 
225
        with $HOME still set to the user's homedir.
 
226
        """
 
227
        flags = os.O_WRONLY | os.O_APPEND | osutils.O_TEXT
 
228
        while True:
 
229
            try:
 
230
                fd = os.open(filename, flags)
 
231
                break
 
232
            except OSError, e:
 
233
                if e.errno != errno.ENOENT:
 
234
                    raise
 
235
            try:
 
236
                fd = os.open(filename, flags | os.O_CREAT | os.O_EXCL, 0666)
 
237
            except OSError, e:
 
238
                if e.errno != errno.EEXIST:
 
239
                    raise
 
240
            else:
 
241
                osutils.copy_ownership_from_path(filename)
 
242
                break
 
243
        return os.fdopen(fd, 'at', 0) # unbuffered
 
244
 
 
245
 
228
246
    _bzr_log_filename = _get_bzr_log_filename()
229
247
    _rollover_trace_maybe(_bzr_log_filename)
230
248
    try:
231
 
        bzr_log_file = open(_bzr_log_filename, 'at', 1) # line buffered
232
 
        # bzr_log_file.tell() on windows always return 0 until some writing done
 
249
        bzr_log_file = _open_or_create_log_file(_bzr_log_filename)
233
250
        bzr_log_file.write('\n')
234
251
        if bzr_log_file.tell() <= 2:
235
252
            bzr_log_file.write("this is a debug log for diagnosing/reporting problems in bzr\n")
236
253
            bzr_log_file.write("you can delete or truncate this file, or include sections in\n")
237
254
            bzr_log_file.write("bug reports to https://bugs.launchpad.net/bzr/+filebug\n\n")
 
255
 
238
256
        return bzr_log_file
239
 
    except IOError, e:
240
 
        warning("failed to open trace file: %s" % (e))
 
257
 
 
258
    except EnvironmentError, e:
 
259
        # If we are failing to open the log, then most likely logging has not
 
260
        # been set up yet. So we just write to stderr rather than using
 
261
        # 'warning()'. If we using warning(), users get the unhelpful 'no
 
262
        # handlers registered for "bzr"' when something goes wrong on the
 
263
        # server. (bug #503886)
 
264
        sys.stderr.write("failed to open trace file: %s\n" % (e,))
241
265
    # TODO: What should happen if we fail to open the trace file?  Maybe the
242
266
    # objects should be pointed at /dev/null or the equivalent?  Currently
243
267
    # returns None which will cause failures later.
254
278
    logging.getLogger("bzr").
255
279
 
256
280
    Output can be redirected away by calling _push_log_file.
 
281
 
 
282
    :return: A memento from push_log_file for restoring the log state.
257
283
    """
258
 
    # Do this before we open the log file, so we prevent
259
 
    # get_terminal_encoding() from mutter()ing multiple times
260
 
    term_encoding = osutils.get_terminal_encoding()
261
284
    start_time = osutils.format_local_date(_bzr_log_start_time,
262
285
                                           timezone='local')
263
 
    # create encoded wrapper around stderr
264
286
    bzr_log_file = _open_bzr_log()
265
287
    if bzr_log_file is not None:
266
288
        bzr_log_file.write(start_time.encode('utf-8') + '\n')
267
 
    push_log_file(bzr_log_file,
 
289
    memento = push_log_file(bzr_log_file,
268
290
        r'[%(process)5d] %(asctime)s.%(msecs)03d %(levelname)s: %(message)s',
269
291
        r'%Y-%m-%d %H:%M:%S')
270
292
    # after hooking output into bzr_log, we also need to attach a stderr
271
293
    # handler, writing only at level info and with encoding
272
 
    writer_factory = codecs.getwriter(term_encoding)
273
 
    encoded_stderr = writer_factory(sys.stderr, errors='replace')
274
 
    stderr_handler = logging.StreamHandler(encoded_stderr)
275
 
    stderr_handler.setLevel(logging.INFO)
 
294
    stderr_handler = EncodedStreamHandler(sys.stderr,
 
295
        osutils.get_terminal_encoding(), 'replace', level=logging.INFO)
276
296
    logging.getLogger('bzr').addHandler(stderr_handler)
 
297
    return memento
277
298
 
278
299
 
279
300
def push_log_file(to_file, log_format=None, date_format=None):
282
303
    :param to_file: A file-like object to which messages will be sent.
283
304
 
284
305
    :returns: A memento that should be passed to _pop_log_file to restore the
285
 
    previously active logging.
 
306
        previously active logging.
286
307
    """
287
308
    global _trace_file
288
309
    # make a new handler
289
 
    new_handler = logging.StreamHandler(to_file)
290
 
    new_handler.setLevel(logging.DEBUG)
 
310
    new_handler = EncodedStreamHandler(to_file, "utf-8", level=logging.DEBUG)
291
311
    if log_format is None:
292
312
        log_format = '%(levelname)8s  %(message)s'
293
313
    new_handler.setFormatter(logging.Formatter(log_format, date_format))
315
335
def pop_log_file((magic, old_handlers, new_handler, old_trace_file, new_trace_file)):
316
336
    """Undo changes to logging/tracing done by _push_log_file.
317
337
 
318
 
    This flushes, but does not close the trace file.
 
338
    This flushes, but does not close the trace file (so that anything that was
 
339
    in it is output.
319
340
 
320
341
    Takes the memento returned from _push_log_file."""
321
342
    global _trace_file
322
343
    _trace_file = old_trace_file
323
344
    bzr_logger = logging.getLogger('bzr')
324
345
    bzr_logger.removeHandler(new_handler)
325
 
    # must be closed, otherwise logging will try to close it atexit, and the
 
346
    # must be closed, otherwise logging will try to close it at exit, and the
326
347
    # file will likely already be closed underneath.
327
348
    new_handler.close()
328
349
    bzr_logger.handlers = old_handlers
329
 
    new_trace_file.flush()
 
350
    if new_trace_file is not None:
 
351
        new_trace_file.flush()
330
352
 
331
353
 
332
354
def log_exception_quietly():
347
369
    global _verbosity_level
348
370
    _verbosity_level = level
349
371
    _update_logging_level(level < 0)
 
372
    ui.ui_factory.be_quiet(level < 0)
350
373
 
351
374
 
352
375
def get_verbosity_level():
358
381
 
359
382
 
360
383
def be_quiet(quiet=True):
361
 
    # Perhaps this could be deprecated now ...
362
384
    if quiet:
363
385
        set_verbosity_level(-1)
364
386
    else:
414
436
                    note(line)
415
437
                    break
416
438
 
 
439
def _dump_memory_usage(err_file):
 
440
    try:
 
441
        try:
 
442
            fd, name = tempfile.mkstemp(prefix="bzr_memdump", suffix=".json")
 
443
            dump_file = os.fdopen(fd, 'w')
 
444
            from meliae import scanner
 
445
            scanner.dump_gc_objects(dump_file)
 
446
            err_file.write("Memory dumped to %s\n" % name)
 
447
        except ImportError:
 
448
            err_file.write("Dumping memory requires meliae module.\n")
 
449
            log_exception_quietly()
 
450
        except:
 
451
            err_file.write("Exception while dumping memory.\n")
 
452
            log_exception_quietly()
 
453
    finally:
 
454
        if dump_file is not None:
 
455
            dump_file.close()
 
456
        elif fd is not None:
 
457
            os.close(fd)
 
458
 
 
459
 
 
460
def _qualified_exception_name(eclass, unqualified_bzrlib_errors=False):
 
461
    """Give name of error class including module for non-builtin exceptions
 
462
 
 
463
    If `unqualified_bzrlib_errors` is True, errors specific to bzrlib will
 
464
    also omit the module prefix.
 
465
    """
 
466
    class_name = eclass.__name__
 
467
    module_name = eclass.__module__
 
468
    if module_name in ("exceptions", "__main__") or (
 
469
            unqualified_bzrlib_errors and module_name == "bzrlib.errors"):
 
470
        return class_name
 
471
    return "%s.%s" % (module_name, class_name)
 
472
 
417
473
 
418
474
def report_exception(exc_info, err_file):
419
475
    """Report an exception to err_file (typically stderr) and to .bzr.log.
422
478
 
423
479
    :return: The appropriate exit code for this error.
424
480
    """
425
 
    exc_type, exc_object, exc_tb = exc_info
426
481
    # Log the full traceback to ~/.bzr.log
427
482
    log_exception_quietly()
428
 
    if (isinstance(exc_object, IOError)
429
 
        and getattr(exc_object, 'errno', None) == errno.EPIPE):
430
 
        err_file.write("bzr: broken pipe\n")
 
483
    if 'error' in debug.debug_flags:
 
484
        print_exception(exc_info, err_file)
431
485
        return errors.EXIT_ERROR
432
 
    elif isinstance(exc_object, KeyboardInterrupt):
 
486
    exc_type, exc_object, exc_tb = exc_info
 
487
    if isinstance(exc_object, KeyboardInterrupt):
433
488
        err_file.write("bzr: interrupted\n")
434
489
        return errors.EXIT_ERROR
 
490
    elif isinstance(exc_object, MemoryError):
 
491
        err_file.write("bzr: out of memory\n")
 
492
        if 'mem_dump' in debug.debug_flags:
 
493
            _dump_memory_usage(err_file)
 
494
        else:
 
495
            err_file.write("Use -Dmem_dump to dump memory to a file.\n")
 
496
        return errors.EXIT_ERROR
435
497
    elif isinstance(exc_object, ImportError) \
436
498
        and str(exc_object).startswith("No module named "):
437
499
        report_user_error(exc_info, err_file,
440
502
    elif not getattr(exc_object, 'internal_error', True):
441
503
        report_user_error(exc_info, err_file)
442
504
        return errors.EXIT_ERROR
443
 
    elif isinstance(exc_object, (OSError, IOError)):
 
505
    elif osutils.is_environment_error(exc_object):
 
506
        if getattr(exc_object, 'errno', None) == errno.EPIPE:
 
507
            err_file.write("bzr: broken pipe\n")
 
508
            return errors.EXIT_ERROR
444
509
        # Might be nice to catch all of these and show them as something more
445
510
        # specific, but there are too many cases at the moment.
446
511
        report_user_error(exc_info, err_file)
468
533
    :param advice: Extra advice to the user to be printed following the
469
534
        exception.
470
535
    """
471
 
    if 'error' in debug.debug_flags:
472
 
        print_exception(exc_info, err_file)
473
 
        return
474
536
    err_file.write("bzr: ERROR: %s\n" % (exc_info[1],))
475
537
    if advice:
476
538
        err_file.write("%s\n" % (advice,))
478
540
 
479
541
def report_bug(exc_info, err_file):
480
542
    """Report an exception that probably indicates a bug in bzr"""
481
 
    print_exception(exc_info, err_file)
482
 
    err_file.write('\n')
483
 
    err_file.write('bzr %s on python %s (%s)\n' % \
484
 
                       (bzrlib.__version__,
485
 
                        bzrlib._format_version_tuple(sys.version_info),
486
 
                        sys.platform))
487
 
    err_file.write('arguments: %r\n' % sys.argv)
488
 
    err_file.write(
489
 
        'encoding: %r, fsenc: %r, lang: %r\n' % (
490
 
            osutils.get_user_encoding(), sys.getfilesystemencoding(),
491
 
            os.environ.get('LANG')))
492
 
    err_file.write("plugins:\n")
493
 
    for name, a_plugin in sorted(plugin.plugins().items()):
494
 
        err_file.write("  %-20s %s [%s]\n" %
495
 
            (name, a_plugin.path(), a_plugin.__version__))
496
 
    err_file.write(
497
 
"""\
498
 
*** Bazaar has encountered an internal error.
499
 
    Please report a bug at https://bugs.launchpad.net/bzr/+filebug
500
 
    including this traceback, and a description of what you
501
 
    were doing when the error occurred.
502
 
""")
 
543
    from bzrlib.crash import report_bug
 
544
    report_bug(exc_info, err_file)
 
545
 
 
546
 
 
547
def _flush_stdout_stderr():
 
548
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
 
549
    try:
 
550
        sys.stdout.flush()
 
551
        sys.stderr.flush()
 
552
    except ValueError, e:
 
553
        # On Windows, I get ValueError calling stdout.flush() on a closed
 
554
        # handle
 
555
        pass
 
556
    except IOError, e:
 
557
        import errno
 
558
        if e.errno in [errno.EINVAL, errno.EPIPE]:
 
559
            pass
 
560
        else:
 
561
            raise
 
562
 
 
563
 
 
564
def _flush_trace():
 
565
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
 
566
    global _trace_file
 
567
    if _trace_file:
 
568
        _trace_file.flush()
 
569
 
 
570
 
 
571
class EncodedStreamHandler(logging.Handler):
 
572
    """Robustly write logging events to a stream using the specified encoding
 
573
 
 
574
    Messages are expected to be formatted to unicode, but UTF-8 byte strings
 
575
    are also accepted. An error during formatting or a str message in another
 
576
    encoding will be quitely noted as an error in the Bazaar log file.
 
577
 
 
578
    The stream is not closed so sys.stdout or sys.stderr may be passed.
 
579
    """
 
580
 
 
581
    def __init__(self, stream, encoding=None, errors='strict', level=0):
 
582
        logging.Handler.__init__(self, level)
 
583
        self.stream = stream
 
584
        if encoding is None:
 
585
            encoding = getattr(stream, "encoding", "ascii")
 
586
        self.encoding = encoding
 
587
        self.errors = errors
 
588
 
 
589
    def flush(self):
 
590
        flush = getattr(self.stream, "flush", None)
 
591
        if flush is not None:
 
592
            flush()
 
593
 
 
594
    def emit(self, record):
 
595
        try:
 
596
            line = self.format(record)
 
597
            if not isinstance(line, unicode):
 
598
                line = line.decode("utf-8")
 
599
            self.stream.write(line.encode(self.encoding, self.errors) + "\n")
 
600
        except Exception:
 
601
            log_exception_quietly()
 
602
            # Try saving the details that would have been logged in some form
 
603
            msg = args = "<Unformattable>"
 
604
            try:
 
605
                msg = repr(record.msg).encode("ascii")
 
606
                args = repr(record.args).encode("ascii")
 
607
            except Exception:
 
608
                pass
 
609
            # Using mutter() bypasses the logging module and writes directly
 
610
            # to the file so there's no danger of getting into a loop here.
 
611
            mutter("Logging record unformattable: %s %% %s", msg, args)
 
612
 
 
613
 
 
614
class Config(object):
 
615
    """Configuration of message tracing in bzrlib.
 
616
 
 
617
    This implements the context manager protocol and should manage any global
 
618
    variables still used. The default config used is DefaultConfig, but
 
619
    embedded uses of bzrlib may wish to use a custom manager.
 
620
    """
 
621
 
 
622
    def __enter__(self):
 
623
        return self # This is bound to the 'as' clause in a with statement.
 
624
 
 
625
    def __exit__(self, exc_type, exc_val, exc_tb):
 
626
        return False # propogate exceptions.
 
627
 
 
628
 
 
629
class DefaultConfig(Config):
 
630
    """A default configuration for tracing of messages in bzrlib.
 
631
 
 
632
    This implements the context manager protocol.
 
633
    """
 
634
 
 
635
    def __enter__(self):
 
636
        self._original_filename = _bzr_log_filename
 
637
        self._original_state = enable_default_logging()
 
638
        return self # This is bound to the 'as' clause in a with statement.
 
639
 
 
640
    def __exit__(self, exc_type, exc_val, exc_tb):
 
641
        pop_log_file(self._original_state)
 
642
        global _bzr_log_filename
 
643
        _bzr_log_filename = self._original_filename
 
644
        return False # propogate exceptions.