~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/trace.py

  • Committer: Martin
  • Date: 2009-11-28 00:48:03 UTC
  • mto: This revision was merged to the branch mainline in revision 4853.
  • Revision ID: gzlist@googlemail.com-20091128004803-nirz54wazyj0waf8
MergeDirective.from_lines claims to want an iterable but currently requires a list, rewrite so it really wants an iterable

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
"""Messages and logging.
 
17
"""Messages and logging for bazaar-ng.
18
18
 
19
19
Messages are supplied by callers as a string-formatting template, plus values
20
20
to be inserted into it.  The actual %-formatting is deferred to the log
33
33
 
34
34
Output to stderr depends on the mode chosen by the user.  By default, messages
35
35
of info and above are sent out, which results in progress messages such as the
36
 
list of files processed by add and commit.  In debug mode, stderr gets debug messages too.
 
36
list of files processed by add and commit.  In quiet mode, only warnings and
 
37
above are shown.  In debug mode, stderr gets debug messages too.
37
38
 
38
39
Errors that terminate an operation are generally passed back as exceptions;
39
40
others may be just emitted as messages.
65
66
from cStringIO import StringIO
66
67
import errno
67
68
import locale
68
 
import tempfile
69
69
import traceback
70
70
""")
71
71
 
72
72
import bzrlib
73
73
 
 
74
from bzrlib.symbol_versioning import (
 
75
    deprecated_function,
 
76
    deprecated_in,
 
77
    )
 
78
 
74
79
lazy_import(globals(), """
75
80
from bzrlib import (
76
81
    debug,
77
82
    errors,
78
83
    osutils,
79
 
    ui,
 
84
    plugin,
 
85
    symbol_versioning,
80
86
    )
81
87
""")
82
88
 
105
111
 
106
112
 
107
113
def note(*args, **kwargs):
108
 
    """Output a note to the user.
109
 
 
110
 
    Takes the same parameters as logging.info.
111
 
 
112
 
    :return: None
113
 
    """
114
114
    # FIXME note always emits utf-8, regardless of the terminal encoding
115
115
    #
116
116
    # FIXME: clearing the ui and then going through the abstract logging
117
117
    # framework is whack; we should probably have a logging Handler that
118
118
    # deals with terminal output if needed.
119
 
    ui.ui_factory.clear_term()
 
119
    import bzrlib.ui
 
120
    bzrlib.ui.ui_factory.clear_term()
120
121
    _bzr_logger.info(*args, **kwargs)
121
122
 
122
123
 
123
124
def warning(*args, **kwargs):
124
 
    ui.ui_factory.clear_term()
 
125
    import bzrlib.ui
 
126
    bzrlib.ui.ui_factory.clear_term()
125
127
    _bzr_logger.warning(*args, **kwargs)
126
128
 
127
129
 
128
 
def show_error(*args, **kwargs):
 
130
@deprecated_function(deprecated_in((2, 1, 0)))
 
131
def info(*args, **kwargs):
 
132
    """Deprecated: use trace.note instead."""
 
133
    note(*args, **kwargs)
 
134
 
 
135
 
 
136
@deprecated_function(deprecated_in((2, 1, 0)))
 
137
def log_error(*args, **kwargs):
 
138
    """Deprecated: use bzrlib.trace.show_error instead"""
 
139
    _bzr_logger.error(*args, **kwargs)
 
140
 
 
141
 
 
142
@deprecated_function(deprecated_in((2, 1, 0)))
 
143
def error(*args, **kwargs):
 
144
    """Deprecated: use bzrlib.trace.show_error instead"""
 
145
    _bzr_logger.error(*args, **kwargs)
 
146
 
 
147
 
 
148
def show_error(msg):
129
149
    """Show an error message to the user.
130
150
 
131
151
    Don't use this for exceptions, use report_exception instead.
133
153
    _bzr_logger.error(*args, **kwargs)
134
154
 
135
155
 
 
156
_last_mutter_flush_time = None
 
157
 
 
158
 
136
159
def mutter(fmt, *args):
 
160
    global _last_mutter_flush_time
137
161
    if _trace_file is None:
138
162
        return
139
 
    # XXX: Don't check this every time; instead anyone who closes the file
140
 
    # ought to deregister it.  We can tolerate None.
141
163
    if (getattr(_trace_file, 'closed', None) is not None) and _trace_file.closed:
142
164
        return
143
165
 
160
182
    timestamp = '%0.3f  ' % (now - _bzr_log_start_time,)
161
183
    out = timestamp + out + '\n'
162
184
    _trace_file.write(out)
163
 
    # there's no explicit flushing; the file is typically line buffered.
 
185
    # We flush if we haven't flushed for a few seconds. We don't want to flush
 
186
    # on every mutter, but when a command takes a while, it can be nice to see
 
187
    # updates in the debug log.
 
188
    if (_last_mutter_flush_time is None
 
189
        or (now - _last_mutter_flush_time) > 2.0):
 
190
        flush = getattr(_trace_file, 'flush', None)
 
191
        if flush is not None:
 
192
            flush()
 
193
        _last_mutter_flush_time = now
164
194
 
165
195
 
166
196
def mutter_callsite(stacklevel, fmt, *args):
218
248
    This sets the global _bzr_log_filename.
219
249
    """
220
250
    global _bzr_log_filename
221
 
 
222
 
    def _open_or_create_log_file(filename):
223
 
        """Open existing log file, or create with ownership and permissions
224
 
 
225
 
        It inherits the ownership and permissions (masked by umask) from
226
 
        the containing directory to cope better with being run under sudo
227
 
        with $HOME still set to the user's homedir.
228
 
        """
229
 
        flags = os.O_WRONLY | os.O_APPEND | osutils.O_TEXT
230
 
        while True:
231
 
            try:
232
 
                fd = os.open(filename, flags)
233
 
                break
234
 
            except OSError, e:
235
 
                if e.errno != errno.ENOENT:
236
 
                    raise
237
 
            try:
238
 
                fd = os.open(filename, flags | os.O_CREAT | os.O_EXCL, 0666)
239
 
            except OSError, e:
240
 
                if e.errno != errno.EEXIST:
241
 
                    raise
242
 
            else:
243
 
                osutils.copy_ownership_from_path(filename)
244
 
                break
245
 
        return os.fdopen(fd, 'at', 0) # unbuffered
246
 
 
247
 
 
248
251
    _bzr_log_filename = _get_bzr_log_filename()
249
252
    _rollover_trace_maybe(_bzr_log_filename)
250
253
    try:
251
 
        bzr_log_file = _open_or_create_log_file(_bzr_log_filename)
 
254
        bzr_log_file = open(_bzr_log_filename, 'at', 1) # line buffered
 
255
        # bzr_log_file.tell() on windows always return 0 until some writing done
252
256
        bzr_log_file.write('\n')
253
257
        if bzr_log_file.tell() <= 2:
254
258
            bzr_log_file.write("this is a debug log for diagnosing/reporting problems in bzr\n")
255
259
            bzr_log_file.write("you can delete or truncate this file, or include sections in\n")
256
260
            bzr_log_file.write("bug reports to https://bugs.launchpad.net/bzr/+filebug\n\n")
257
 
 
258
261
        return bzr_log_file
259
 
 
260
 
    except EnvironmentError, e:
261
 
        # If we are failing to open the log, then most likely logging has not
262
 
        # been set up yet. So we just write to stderr rather than using
263
 
        # 'warning()'. If we using warning(), users get the unhelpful 'no
264
 
        # handlers registered for "bzr"' when something goes wrong on the
265
 
        # server. (bug #503886)
266
 
        sys.stderr.write("failed to open trace file: %s\n" % (e,))
 
262
    except IOError, e:
 
263
        warning("failed to open trace file: %s" % (e))
267
264
    # TODO: What should happen if we fail to open the trace file?  Maybe the
268
265
    # objects should be pointed at /dev/null or the equivalent?  Currently
269
266
    # returns None which will cause failures later.
280
277
    logging.getLogger("bzr").
281
278
 
282
279
    Output can be redirected away by calling _push_log_file.
283
 
 
284
 
    :return: A memento from push_log_file for restoring the log state.
285
280
    """
 
281
    # Do this before we open the log file, so we prevent
 
282
    # get_terminal_encoding() from mutter()ing multiple times
 
283
    term_encoding = osutils.get_terminal_encoding()
286
284
    start_time = osutils.format_local_date(_bzr_log_start_time,
287
285
                                           timezone='local')
288
286
    # create encoded wrapper around stderr
289
287
    bzr_log_file = _open_bzr_log()
290
288
    if bzr_log_file is not None:
291
289
        bzr_log_file.write(start_time.encode('utf-8') + '\n')
292
 
    memento = push_log_file(bzr_log_file,
 
290
    push_log_file(bzr_log_file,
293
291
        r'[%(process)5d] %(asctime)s.%(msecs)03d %(levelname)s: %(message)s',
294
292
        r'%Y-%m-%d %H:%M:%S')
295
293
    # after hooking output into bzr_log, we also need to attach a stderr
296
294
    # handler, writing only at level info and with encoding
297
 
    term_encoding = osutils.get_terminal_encoding()
298
295
    writer_factory = codecs.getwriter(term_encoding)
299
296
    encoded_stderr = writer_factory(sys.stderr, errors='replace')
300
297
    stderr_handler = logging.StreamHandler(encoded_stderr)
301
298
    stderr_handler.setLevel(logging.INFO)
302
299
    logging.getLogger('bzr').addHandler(stderr_handler)
303
 
    return memento
304
300
 
305
301
 
306
302
def push_log_file(to_file, log_format=None, date_format=None):
309
305
    :param to_file: A file-like object to which messages will be sent.
310
306
 
311
307
    :returns: A memento that should be passed to _pop_log_file to restore the
312
 
        previously active logging.
 
308
    previously active logging.
313
309
    """
314
310
    global _trace_file
315
311
    # make a new handler
342
338
def pop_log_file((magic, old_handlers, new_handler, old_trace_file, new_trace_file)):
343
339
    """Undo changes to logging/tracing done by _push_log_file.
344
340
 
345
 
    This flushes, but does not close the trace file (so that anything that was
346
 
    in it is output.
 
341
    This flushes, but does not close the trace file.
347
342
 
348
343
    Takes the memento returned from _push_log_file."""
349
344
    global _trace_file
350
345
    _trace_file = old_trace_file
351
346
    bzr_logger = logging.getLogger('bzr')
352
347
    bzr_logger.removeHandler(new_handler)
353
 
    # must be closed, otherwise logging will try to close it at exit, and the
 
348
    # must be closed, otherwise logging will try to close it atexit, and the
354
349
    # file will likely already be closed underneath.
355
350
    new_handler.close()
356
351
    bzr_logger.handlers = old_handlers
357
 
    if new_trace_file is not None:
358
 
        new_trace_file.flush()
 
352
    new_trace_file.flush()
359
353
 
360
354
 
361
355
def log_exception_quietly():
376
370
    global _verbosity_level
377
371
    _verbosity_level = level
378
372
    _update_logging_level(level < 0)
379
 
    ui.ui_factory.be_quiet(level < 0)
380
373
 
381
374
 
382
375
def get_verbosity_level():
388
381
 
389
382
 
390
383
def be_quiet(quiet=True):
 
384
    # Perhaps this could be deprecated now ...
391
385
    if quiet:
392
386
        set_verbosity_level(-1)
393
387
    else:
443
437
                    note(line)
444
438
                    break
445
439
 
446
 
def _dump_memory_usage(err_file):
447
 
    try:
448
 
        try:
449
 
            fd, name = tempfile.mkstemp(prefix="bzr_memdump", suffix=".json")
450
 
            dump_file = os.fdopen(fd, 'w')
451
 
            from meliae import scanner
452
 
            scanner.dump_gc_objects(dump_file)
453
 
            err_file.write("Memory dumped to %s\n" % name)
454
 
        except ImportError:
455
 
            err_file.write("Dumping memory requires meliae module.\n")
456
 
            log_exception_quietly()
457
 
        except:
458
 
            err_file.write("Exception while dumping memory.\n")
459
 
            log_exception_quietly()
460
 
    finally:
461
 
        if dump_file is not None:
462
 
            dump_file.close()
463
 
        elif fd is not None:
464
 
            os.close(fd)
465
 
 
466
 
 
467
 
def _qualified_exception_name(eclass, unqualified_bzrlib_errors=False):
468
 
    """Give name of error class including module for non-builtin exceptions
469
 
 
470
 
    If `unqualified_bzrlib_errors` is True, errors specific to bzrlib will
471
 
    also omit the module prefix.
472
 
    """
473
 
    class_name = eclass.__name__
474
 
    module_name = eclass.__module__
475
 
    if module_name in ("exceptions", "__main__") or (
476
 
            unqualified_bzrlib_errors and module_name == "bzrlib.errors"):
477
 
        return class_name
478
 
    return "%s.%s" % (module_name, class_name)
479
 
 
480
440
 
481
441
def report_exception(exc_info, err_file):
482
442
    """Report an exception to err_file (typically stderr) and to .bzr.log.
485
445
 
486
446
    :return: The appropriate exit code for this error.
487
447
    """
 
448
    exc_type, exc_object, exc_tb = exc_info
488
449
    # Log the full traceback to ~/.bzr.log
489
450
    log_exception_quietly()
490
 
    if 'error' in debug.debug_flags:
491
 
        print_exception(exc_info, err_file)
492
 
        return errors.EXIT_ERROR
493
 
    exc_type, exc_object, exc_tb = exc_info
494
451
    if (isinstance(exc_object, IOError)
495
452
        and getattr(exc_object, 'errno', None) == errno.EPIPE):
496
453
        err_file.write("bzr: broken pipe\n")
500
457
        return errors.EXIT_ERROR
501
458
    elif isinstance(exc_object, MemoryError):
502
459
        err_file.write("bzr: out of memory\n")
503
 
        if 'mem_dump' in debug.debug_flags:
504
 
            _dump_memory_usage(err_file)
505
 
        else:
506
 
            err_file.write("Use -Dmem_dump to dump memory to a file.\n")
507
460
        return errors.EXIT_ERROR
508
461
    elif isinstance(exc_object, ImportError) \
509
462
        and str(exc_object).startswith("No module named "):
513
466
    elif not getattr(exc_object, 'internal_error', True):
514
467
        report_user_error(exc_info, err_file)
515
468
        return errors.EXIT_ERROR
516
 
    elif isinstance(exc_object, (OSError, IOError)) or (
517
 
        # GZ 2010-05-20: Like (exc_type is pywintypes.error) but avoid import
518
 
        exc_type.__name__ == "error" and exc_type.__module__ == "pywintypes"):
 
469
    elif isinstance(exc_object, (OSError, IOError)):
519
470
        # Might be nice to catch all of these and show them as something more
520
471
        # specific, but there are too many cases at the moment.
521
472
        report_user_error(exc_info, err_file)
543
494
    :param advice: Extra advice to the user to be printed following the
544
495
        exception.
545
496
    """
 
497
    if 'error' in debug.debug_flags:
 
498
        print_exception(exc_info, err_file)
 
499
        return
546
500
    err_file.write("bzr: ERROR: %s\n" % (exc_info[1],))
547
501
    if advice:
548
502
        err_file.write("%s\n" % (advice,))
552
506
    """Report an exception that probably indicates a bug in bzr"""
553
507
    from bzrlib.crash import report_bug
554
508
    report_bug(exc_info, err_file)
555
 
 
556
 
 
557
 
def _flush_stdout_stderr():
558
 
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
559
 
    try:
560
 
        sys.stdout.flush()
561
 
        sys.stderr.flush()
562
 
    except IOError, e:
563
 
        import errno
564
 
        if e.errno in [errno.EINVAL, errno.EPIPE]:
565
 
            pass
566
 
        else:
567
 
            raise
568
 
 
569
 
 
570
 
def _flush_trace():
571
 
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
572
 
    global _trace_file
573
 
    if _trace_file:
574
 
        _trace_file.flush()
575
 
 
576
 
 
577
 
class Config(object):
578
 
    """Configuration of message tracing in bzrlib.
579
 
 
580
 
    This implements the context manager protocol and should manage any global
581
 
    variables still used. The default config used is DefaultConfig, but
582
 
    embedded uses of bzrlib may wish to use a custom manager.
583
 
    """
584
 
 
585
 
    def __enter__(self):
586
 
        return self # This is bound to the 'as' clause in a with statement.
587
 
 
588
 
    def __exit__(self, exc_type, exc_val, exc_tb):
589
 
        return False # propogate exceptions.
590
 
 
591
 
 
592
 
class DefaultConfig(Config):
593
 
    """A default configuration for tracing of messages in bzrlib.
594
 
 
595
 
    This implements the context manager protocol.
596
 
    """
597
 
 
598
 
    def __enter__(self):
599
 
        self._original_filename = _bzr_log_filename
600
 
        self._original_state = enable_default_logging()
601
 
        return self # This is bound to the 'as' clause in a with statement.
602
 
 
603
 
    def __exit__(self, exc_type, exc_val, exc_tb):
604
 
        pop_log_file(self._original_state)
605
 
        global _bzr_log_filename
606
 
        _bzr_log_filename = self._original_filename
607
 
        return False # propogate exceptions.