~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/trace.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2010-03-25 00:02:51 UTC
  • mfrom: (5106.1.1 version-bump)
  • Revision ID: pqm@pqm.ubuntu.com-20100325000251-bwsv5c5d3l9x3lnn
(Jelmer) Bump API version for 2.2.0.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008, 2009, 2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
45
45
form.
46
46
"""
47
47
 
48
 
from __future__ import absolute_import
49
 
 
50
48
# FIXME: Unfortunately it turns out that python's logging module
51
49
# is quite expensive, even when the message is not printed by any handlers.
52
50
# We should perhaps change back to just simply doing it here.
56
54
# increased cost of logging.py is not so bad, and we could standardize on
57
55
# that.
58
56
 
 
57
import codecs
59
58
import logging
60
59
import os
61
60
import sys
66
65
from cStringIO import StringIO
67
66
import errno
68
67
import locale
69
 
import tempfile
70
68
import traceback
71
69
""")
72
70
 
73
71
import bzrlib
74
72
 
 
73
from bzrlib.symbol_versioning import (
 
74
    deprecated_function,
 
75
    deprecated_in,
 
76
    )
 
77
 
75
78
lazy_import(globals(), """
76
79
from bzrlib import (
77
80
    debug,
78
81
    errors,
79
82
    osutils,
 
83
    plugin,
 
84
    symbol_versioning,
80
85
    ui,
81
86
    )
82
87
""")
106
111
 
107
112
 
108
113
def note(*args, **kwargs):
109
 
    """Output a note to the user.
110
 
 
111
 
    Takes the same parameters as logging.info.
112
 
 
113
 
    :return: None
114
 
    """
 
114
    # FIXME note always emits utf-8, regardless of the terminal encoding
 
115
    #
115
116
    # FIXME: clearing the ui and then going through the abstract logging
116
117
    # framework is whack; we should probably have a logging Handler that
117
118
    # deals with terminal output if needed.
118
 
    ui.ui_factory.clear_term()
 
119
    import bzrlib.ui
 
120
    bzrlib.ui.ui_factory.clear_term()
119
121
    _bzr_logger.info(*args, **kwargs)
120
122
 
121
123
 
122
124
def warning(*args, **kwargs):
123
 
    ui.ui_factory.clear_term()
 
125
    import bzrlib.ui
 
126
    bzrlib.ui.ui_factory.clear_term()
124
127
    _bzr_logger.warning(*args, **kwargs)
125
128
 
126
129
 
 
130
@deprecated_function(deprecated_in((2, 1, 0)))
 
131
def info(*args, **kwargs):
 
132
    """Deprecated: use trace.note instead."""
 
133
    note(*args, **kwargs)
 
134
 
 
135
 
 
136
@deprecated_function(deprecated_in((2, 1, 0)))
 
137
def log_error(*args, **kwargs):
 
138
    """Deprecated: use bzrlib.trace.show_error instead"""
 
139
    _bzr_logger.error(*args, **kwargs)
 
140
 
 
141
 
 
142
@deprecated_function(deprecated_in((2, 1, 0)))
 
143
def error(*args, **kwargs):
 
144
    """Deprecated: use bzrlib.trace.show_error instead"""
 
145
    _bzr_logger.error(*args, **kwargs)
 
146
 
 
147
 
127
148
def show_error(*args, **kwargs):
128
149
    """Show an error message to the user.
129
150
 
194
215
 
195
216
 
196
217
def _get_bzr_log_filename():
197
 
    bzr_log = osutils.path_from_environ('BZR_LOG')
 
218
    bzr_log = os.environ.get('BZR_LOG')
198
219
    if bzr_log:
199
220
        return bzr_log
200
 
    home = osutils.path_from_environ('BZR_HOME')
 
221
    home = os.environ.get('BZR_HOME')
201
222
    if home is None:
202
 
        # GZ 2012-02-01: Logging to the home dir is bad, but XDG is unclear
203
 
        #                over what would be better. On windows, bug 240550
204
 
        #                suggests LOCALAPPDATA be used instead.
205
 
        home = osutils._get_home_dir()
 
223
        if sys.platform == 'win32':
 
224
            from bzrlib import win32utils
 
225
            home = win32utils.get_home_location()
 
226
        else:
 
227
            home = os.path.expanduser('~')
206
228
    return os.path.join(home, '.bzr.log')
207
229
 
208
230
 
216
238
    This sets the global _bzr_log_filename.
217
239
    """
218
240
    global _bzr_log_filename
219
 
 
220
 
    def _open_or_create_log_file(filename):
221
 
        """Open existing log file, or create with ownership and permissions
222
 
 
223
 
        It inherits the ownership and permissions (masked by umask) from
224
 
        the containing directory to cope better with being run under sudo
225
 
        with $HOME still set to the user's homedir.
226
 
        """
227
 
        flags = os.O_WRONLY | os.O_APPEND | osutils.O_TEXT
228
 
        while True:
229
 
            try:
230
 
                fd = os.open(filename, flags)
231
 
                break
232
 
            except OSError, e:
233
 
                if e.errno != errno.ENOENT:
234
 
                    raise
235
 
            try:
236
 
                fd = os.open(filename, flags | os.O_CREAT | os.O_EXCL, 0666)
237
 
            except OSError, e:
238
 
                if e.errno != errno.EEXIST:
239
 
                    raise
240
 
            else:
241
 
                osutils.copy_ownership_from_path(filename)
242
 
                break
243
 
        return os.fdopen(fd, 'at', 0) # unbuffered
244
 
 
245
 
 
246
241
    _bzr_log_filename = _get_bzr_log_filename()
247
242
    _rollover_trace_maybe(_bzr_log_filename)
248
243
    try:
249
 
        bzr_log_file = _open_or_create_log_file(_bzr_log_filename)
 
244
        buffering = 0 # unbuffered
 
245
        bzr_log_file = osutils.open_with_ownership(_bzr_log_filename, 'at', buffering)
 
246
        # bzr_log_file.tell() on windows always return 0 until some writing done
250
247
        bzr_log_file.write('\n')
251
248
        if bzr_log_file.tell() <= 2:
252
249
            bzr_log_file.write("this is a debug log for diagnosing/reporting problems in bzr\n")
255
252
 
256
253
        return bzr_log_file
257
254
 
258
 
    except EnvironmentError, e:
 
255
    except IOError, e:
259
256
        # If we are failing to open the log, then most likely logging has not
260
257
        # been set up yet. So we just write to stderr rather than using
261
258
        # 'warning()'. If we using warning(), users get the unhelpful 'no
278
275
    logging.getLogger("bzr").
279
276
 
280
277
    Output can be redirected away by calling _push_log_file.
281
 
 
282
 
    :return: A memento from push_log_file for restoring the log state.
283
278
    """
 
279
    # Do this before we open the log file, so we prevent
 
280
    # get_terminal_encoding() from mutter()ing multiple times
 
281
    term_encoding = osutils.get_terminal_encoding()
284
282
    start_time = osutils.format_local_date(_bzr_log_start_time,
285
283
                                           timezone='local')
 
284
    # create encoded wrapper around stderr
286
285
    bzr_log_file = _open_bzr_log()
287
286
    if bzr_log_file is not None:
288
287
        bzr_log_file.write(start_time.encode('utf-8') + '\n')
289
 
    memento = push_log_file(bzr_log_file,
 
288
    push_log_file(bzr_log_file,
290
289
        r'[%(process)5d] %(asctime)s.%(msecs)03d %(levelname)s: %(message)s',
291
290
        r'%Y-%m-%d %H:%M:%S')
292
291
    # after hooking output into bzr_log, we also need to attach a stderr
293
292
    # handler, writing only at level info and with encoding
294
 
    stderr_handler = EncodedStreamHandler(sys.stderr,
295
 
        osutils.get_terminal_encoding(), 'replace', level=logging.INFO)
 
293
    writer_factory = codecs.getwriter(term_encoding)
 
294
    encoded_stderr = writer_factory(sys.stderr, errors='replace')
 
295
    stderr_handler = logging.StreamHandler(encoded_stderr)
 
296
    stderr_handler.setLevel(logging.INFO)
296
297
    logging.getLogger('bzr').addHandler(stderr_handler)
297
 
    return memento
298
298
 
299
299
 
300
300
def push_log_file(to_file, log_format=None, date_format=None):
303
303
    :param to_file: A file-like object to which messages will be sent.
304
304
 
305
305
    :returns: A memento that should be passed to _pop_log_file to restore the
306
 
        previously active logging.
 
306
    previously active logging.
307
307
    """
308
308
    global _trace_file
309
309
    # make a new handler
310
 
    new_handler = EncodedStreamHandler(to_file, "utf-8", level=logging.DEBUG)
 
310
    new_handler = logging.StreamHandler(to_file)
 
311
    new_handler.setLevel(logging.DEBUG)
311
312
    if log_format is None:
312
313
        log_format = '%(levelname)8s  %(message)s'
313
314
    new_handler.setFormatter(logging.Formatter(log_format, date_format))
335
336
def pop_log_file((magic, old_handlers, new_handler, old_trace_file, new_trace_file)):
336
337
    """Undo changes to logging/tracing done by _push_log_file.
337
338
 
338
 
    This flushes, but does not close the trace file (so that anything that was
339
 
    in it is output.
 
339
    This flushes, but does not close the trace file.
340
340
 
341
341
    Takes the memento returned from _push_log_file."""
342
342
    global _trace_file
343
343
    _trace_file = old_trace_file
344
344
    bzr_logger = logging.getLogger('bzr')
345
345
    bzr_logger.removeHandler(new_handler)
346
 
    # must be closed, otherwise logging will try to close it at exit, and the
 
346
    # must be closed, otherwise logging will try to close it atexit, and the
347
347
    # file will likely already be closed underneath.
348
348
    new_handler.close()
349
349
    bzr_logger.handlers = old_handlers
350
 
    if new_trace_file is not None:
351
 
        new_trace_file.flush()
 
350
    new_trace_file.flush()
352
351
 
353
352
 
354
353
def log_exception_quietly():
436
435
                    note(line)
437
436
                    break
438
437
 
439
 
def _dump_memory_usage(err_file):
440
 
    try:
441
 
        try:
442
 
            fd, name = tempfile.mkstemp(prefix="bzr_memdump", suffix=".json")
443
 
            dump_file = os.fdopen(fd, 'w')
444
 
            from meliae import scanner
445
 
            scanner.dump_gc_objects(dump_file)
446
 
            err_file.write("Memory dumped to %s\n" % name)
447
 
        except ImportError:
448
 
            err_file.write("Dumping memory requires meliae module.\n")
449
 
            log_exception_quietly()
450
 
        except:
451
 
            err_file.write("Exception while dumping memory.\n")
452
 
            log_exception_quietly()
453
 
    finally:
454
 
        if dump_file is not None:
455
 
            dump_file.close()
456
 
        elif fd is not None:
457
 
            os.close(fd)
458
 
 
459
 
 
460
 
def _qualified_exception_name(eclass, unqualified_bzrlib_errors=False):
461
 
    """Give name of error class including module for non-builtin exceptions
462
 
 
463
 
    If `unqualified_bzrlib_errors` is True, errors specific to bzrlib will
464
 
    also omit the module prefix.
465
 
    """
466
 
    class_name = eclass.__name__
467
 
    module_name = eclass.__module__
468
 
    if module_name in ("exceptions", "__main__") or (
469
 
            unqualified_bzrlib_errors and module_name == "bzrlib.errors"):
470
 
        return class_name
471
 
    return "%s.%s" % (module_name, class_name)
472
 
 
473
438
 
474
439
def report_exception(exc_info, err_file):
475
440
    """Report an exception to err_file (typically stderr) and to .bzr.log.
484
449
        print_exception(exc_info, err_file)
485
450
        return errors.EXIT_ERROR
486
451
    exc_type, exc_object, exc_tb = exc_info
487
 
    if isinstance(exc_object, KeyboardInterrupt):
 
452
    if (isinstance(exc_object, IOError)
 
453
        and getattr(exc_object, 'errno', None) == errno.EPIPE):
 
454
        err_file.write("bzr: broken pipe\n")
 
455
        return errors.EXIT_ERROR
 
456
    elif isinstance(exc_object, KeyboardInterrupt):
488
457
        err_file.write("bzr: interrupted\n")
489
458
        return errors.EXIT_ERROR
490
459
    elif isinstance(exc_object, MemoryError):
491
460
        err_file.write("bzr: out of memory\n")
492
 
        if 'mem_dump' in debug.debug_flags:
493
 
            _dump_memory_usage(err_file)
494
 
        else:
495
 
            err_file.write("Use -Dmem_dump to dump memory to a file.\n")
496
461
        return errors.EXIT_ERROR
497
462
    elif isinstance(exc_object, ImportError) \
498
463
        and str(exc_object).startswith("No module named "):
502
467
    elif not getattr(exc_object, 'internal_error', True):
503
468
        report_user_error(exc_info, err_file)
504
469
        return errors.EXIT_ERROR
505
 
    elif osutils.is_environment_error(exc_object):
506
 
        if getattr(exc_object, 'errno', None) == errno.EPIPE:
507
 
            err_file.write("bzr: broken pipe\n")
508
 
            return errors.EXIT_ERROR
 
470
    elif isinstance(exc_object, (OSError, IOError)):
509
471
        # Might be nice to catch all of these and show them as something more
510
472
        # specific, but there are too many cases at the moment.
511
473
        report_user_error(exc_info, err_file)
545
507
 
546
508
 
547
509
def _flush_stdout_stderr():
548
 
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
 
510
    # installed into an atexit hook by bzrlib.initialize()
549
511
    try:
550
512
        sys.stdout.flush()
551
513
        sys.stderr.flush()
552
 
    except ValueError, e:
553
 
        # On Windows, I get ValueError calling stdout.flush() on a closed
554
 
        # handle
555
 
        pass
556
514
    except IOError, e:
557
515
        import errno
558
516
        if e.errno in [errno.EINVAL, errno.EPIPE]:
562
520
 
563
521
 
564
522
def _flush_trace():
565
 
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
 
523
    # run from atexit hook
566
524
    global _trace_file
567
525
    if _trace_file:
568
526
        _trace_file.flush()
569
 
 
570
 
 
571
 
class EncodedStreamHandler(logging.Handler):
572
 
    """Robustly write logging events to a stream using the specified encoding
573
 
 
574
 
    Messages are expected to be formatted to unicode, but UTF-8 byte strings
575
 
    are also accepted. An error during formatting or a str message in another
576
 
    encoding will be quitely noted as an error in the Bazaar log file.
577
 
 
578
 
    The stream is not closed so sys.stdout or sys.stderr may be passed.
579
 
    """
580
 
 
581
 
    def __init__(self, stream, encoding=None, errors='strict', level=0):
582
 
        logging.Handler.__init__(self, level)
583
 
        self.stream = stream
584
 
        if encoding is None:
585
 
            encoding = getattr(stream, "encoding", "ascii")
586
 
        self.encoding = encoding
587
 
        self.errors = errors
588
 
 
589
 
    def flush(self):
590
 
        flush = getattr(self.stream, "flush", None)
591
 
        if flush is not None:
592
 
            flush()
593
 
 
594
 
    def emit(self, record):
595
 
        try:
596
 
            line = self.format(record)
597
 
            if not isinstance(line, unicode):
598
 
                line = line.decode("utf-8")
599
 
            self.stream.write(line.encode(self.encoding, self.errors) + "\n")
600
 
        except Exception:
601
 
            log_exception_quietly()
602
 
            # Try saving the details that would have been logged in some form
603
 
            msg = args = "<Unformattable>"
604
 
            try:
605
 
                msg = repr(record.msg).encode("ascii")
606
 
                args = repr(record.args).encode("ascii")
607
 
            except Exception:
608
 
                pass
609
 
            # Using mutter() bypasses the logging module and writes directly
610
 
            # to the file so there's no danger of getting into a loop here.
611
 
            mutter("Logging record unformattable: %s %% %s", msg, args)
612
 
 
613
 
 
614
 
class Config(object):
615
 
    """Configuration of message tracing in bzrlib.
616
 
 
617
 
    This implements the context manager protocol and should manage any global
618
 
    variables still used. The default config used is DefaultConfig, but
619
 
    embedded uses of bzrlib may wish to use a custom manager.
620
 
    """
621
 
 
622
 
    def __enter__(self):
623
 
        return self # This is bound to the 'as' clause in a with statement.
624
 
 
625
 
    def __exit__(self, exc_type, exc_val, exc_tb):
626
 
        return False # propogate exceptions.
627
 
 
628
 
 
629
 
class DefaultConfig(Config):
630
 
    """A default configuration for tracing of messages in bzrlib.
631
 
 
632
 
    This implements the context manager protocol.
633
 
    """
634
 
 
635
 
    def __enter__(self):
636
 
        self._original_filename = _bzr_log_filename
637
 
        self._original_state = enable_default_logging()
638
 
        return self # This is bound to the 'as' clause in a with statement.
639
 
 
640
 
    def __exit__(self, exc_type, exc_val, exc_tb):
641
 
        pop_log_file(self._original_state)
642
 
        global _bzr_log_filename
643
 
        _bzr_log_filename = self._original_filename
644
 
        return False # propogate exceptions.