← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/trace.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2010-09-29 22:03:03 UTC
  • mfrom: (5416.2.6 jam-integration)
  • Revision ID: pqm@pqm.ubuntu.com-20100929220303-cr95h8iwtggco721
(mbp) Add 'break-lock --force'

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/trace.py
1
 
# Copyright (C) 2005, 2006, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
"""Messages and logging for bazaar-ng.
 
17
"""Messages and logging.
18
18
 
19
19
Messages are supplied by callers as a string-formatting template, plus values
20
20
to be inserted into it.  The actual %-formatting is deferred to the log
33
33
 
34
34
Output to stderr depends on the mode chosen by the user.  By default, messages
35
35
of info and above are sent out, which results in progress messages such as the
36
 
list of files processed by add and commit.  In quiet mode, only warnings and
37
 
above are shown.  In debug mode, stderr gets debug messages too.
 
36
list of files processed by add and commit.  In debug mode, stderr gets debug messages too.
38
37
 
39
38
Errors that terminate an operation are generally passed back as exceptions;
40
39
others may be just emitted as messages.
59
58
import logging
60
59
import os
61
60
import sys
62
 
import re
63
61
import time
64
62
 
65
63
from bzrlib.lazy_import import lazy_import
72
70
 
73
71
import bzrlib
74
72
 
 
73
from bzrlib.symbol_versioning import (
 
74
    deprecated_function,
 
75
    deprecated_in,
 
76
    )
 
77
 
75
78
lazy_import(globals(), """
76
79
from bzrlib import (
77
80
    debug,
79
82
    osutils,
80
83
    plugin,
81
84
    symbol_versioning,
 
85
    ui,
82
86
    )
83
87
""")
84
88
 
107
111
 
108
112
 
109
113
def note(*args, **kwargs):
 
114
    """Output a note to the user.
 
115
 
 
116
    Takes the same parameters as logging.info.
 
117
 
 
118
    :return: None
 
119
    """
110
120
    # FIXME note always emits utf-8, regardless of the terminal encoding
111
121
    #
112
122
    # FIXME: clearing the ui and then going through the abstract logging
123
133
    _bzr_logger.warning(*args, **kwargs)
124
134
 
125
135
 
126
 
# configure convenient aliases for output routines
127
 
#
128
 
# TODO: deprecate them, have one name for each.
129
 
info = note
130
 
log_error = _bzr_logger.error
131
 
error =     _bzr_logger.error
 
136
@deprecated_function(deprecated_in((2, 1, 0)))
 
137
def info(*args, **kwargs):
 
138
    """Deprecated: use trace.note instead."""
 
139
    note(*args, **kwargs)
 
140
 
 
141
 
 
142
@deprecated_function(deprecated_in((2, 1, 0)))
 
143
def log_error(*args, **kwargs):
 
144
    """Deprecated: use bzrlib.trace.show_error instead"""
 
145
    _bzr_logger.error(*args, **kwargs)
 
146
 
 
147
 
 
148
@deprecated_function(deprecated_in((2, 1, 0)))
 
149
def error(*args, **kwargs):
 
150
    """Deprecated: use bzrlib.trace.show_error instead"""
 
151
    _bzr_logger.error(*args, **kwargs)
 
152
 
 
153
 
 
154
def show_error(*args, **kwargs):
 
155
    """Show an error message to the user.
 
156
 
 
157
    Don't use this for exceptions, use report_exception instead.
 
158
    """
 
159
    _bzr_logger.error(*args, **kwargs)
132
160
 
133
161
 
134
162
def mutter(fmt, *args):
135
163
    if _trace_file is None:
136
164
        return
 
165
    # XXX: Don't check this every time; instead anyone who closes the file
 
166
    # ought to deregister it.  We can tolerate None.
137
167
    if (getattr(_trace_file, 'closed', None) is not None) and _trace_file.closed:
138
168
        return
139
169
 
152
182
        out = fmt % tuple(real_args)
153
183
    else:
154
184
        out = fmt
155
 
    timestamp = '%0.3f  ' % (time.time() - _bzr_log_start_time,)
 
185
    now = time.time()
 
186
    timestamp = '%0.3f  ' % (now - _bzr_log_start_time,)
156
187
    out = timestamp + out + '\n'
157
188
    _trace_file.write(out)
158
 
    # no need to flush here, the trace file is now linebuffered when it's
159
 
    # opened.
 
189
    # there's no explicit flushing; the file is typically line buffered.
160
190
 
161
191
 
162
192
def mutter_callsite(stacklevel, fmt, *args):
205
235
 
206
236
 
207
237
def _open_bzr_log():
208
 
    """Open the .bzr.log trace file.  
 
238
    """Open the .bzr.log trace file.
209
239
 
210
240
    If the log is more than a particular length, the old file is renamed to
211
241
    .bzr.log.old and a new file is started.  Otherwise, we append to the
214
244
    This sets the global _bzr_log_filename.
215
245
    """
216
246
    global _bzr_log_filename
 
247
 
 
248
    def _open_or_create_log_file(filename):
 
249
        """Open existing log file, or create with ownership and permissions
 
250
 
 
251
        It inherits the ownership and permissions (masked by umask) from
 
252
        the containing directory to cope better with being run under sudo
 
253
        with $HOME still set to the user's homedir.
 
254
        """
 
255
        flags = os.O_WRONLY | os.O_APPEND | osutils.O_TEXT
 
256
        while True:
 
257
            try:
 
258
                fd = os.open(filename, flags)
 
259
                break
 
260
            except OSError, e:
 
261
                if e.errno != errno.ENOENT:
 
262
                    raise
 
263
            try:
 
264
                fd = os.open(filename, flags | os.O_CREAT | os.O_EXCL, 0666)
 
265
            except OSError, e:
 
266
                if e.errno != errno.EEXIST:
 
267
                    raise
 
268
            else:
 
269
                osutils.copy_ownership_from_path(filename)
 
270
                break
 
271
        return os.fdopen(fd, 'at', 0) # unbuffered
 
272
 
 
273
 
217
274
    _bzr_log_filename = _get_bzr_log_filename()
218
275
    _rollover_trace_maybe(_bzr_log_filename)
219
276
    try:
220
 
        bzr_log_file = open(_bzr_log_filename, 'at', 1) # line buffered
221
 
        # bzr_log_file.tell() on windows always return 0 until some writing done
 
277
        bzr_log_file = _open_or_create_log_file(_bzr_log_filename)
222
278
        bzr_log_file.write('\n')
223
279
        if bzr_log_file.tell() <= 2:
224
280
            bzr_log_file.write("this is a debug log for diagnosing/reporting problems in bzr\n")
225
281
            bzr_log_file.write("you can delete or truncate this file, or include sections in\n")
226
282
            bzr_log_file.write("bug reports to https://bugs.launchpad.net/bzr/+filebug\n\n")
 
283
 
227
284
        return bzr_log_file
228
 
    except IOError, e:
229
 
        warning("failed to open trace file: %s" % (e))
 
285
 
 
286
    except EnvironmentError, e:
 
287
        # If we are failing to open the log, then most likely logging has not
 
288
        # been set up yet. So we just write to stderr rather than using
 
289
        # 'warning()'. If we using warning(), users get the unhelpful 'no
 
290
        # handlers registered for "bzr"' when something goes wrong on the
 
291
        # server. (bug #503886)
 
292
        sys.stderr.write("failed to open trace file: %s\n" % (e,))
230
293
    # TODO: What should happen if we fail to open the trace file?  Maybe the
231
294
    # objects should be pointed at /dev/null or the equivalent?  Currently
232
295
    # returns None which will cause failures later.
 
296
    return None
233
297
 
234
298
 
235
299
def enable_default_logging():
236
300
    """Configure default logging: messages to stderr and debug to .bzr.log
237
 
    
 
301
 
238
302
    This should only be called once per process.
239
303
 
240
304
    Non-command-line programs embedding bzrlib do not need to call this.  They
241
305
    can instead either pass a file to _push_log_file, or act directly on
242
306
    logging.getLogger("bzr").
243
 
    
 
307
 
244
308
    Output can be redirected away by calling _push_log_file.
 
309
 
 
310
    :return: A memento from push_log_file for restoring the log state.
245
311
    """
 
312
    start_time = osutils.format_local_date(_bzr_log_start_time,
 
313
                                           timezone='local')
246
314
    # create encoded wrapper around stderr
247
315
    bzr_log_file = _open_bzr_log()
248
 
    push_log_file(bzr_log_file,
 
316
    if bzr_log_file is not None:
 
317
        bzr_log_file.write(start_time.encode('utf-8') + '\n')
 
318
    memento = push_log_file(bzr_log_file,
249
319
        r'[%(process)5d] %(asctime)s.%(msecs)03d %(levelname)s: %(message)s',
250
320
        r'%Y-%m-%d %H:%M:%S')
251
321
    # after hooking output into bzr_log, we also need to attach a stderr
252
322
    # handler, writing only at level info and with encoding
253
 
    writer_factory = codecs.getwriter(osutils.get_terminal_encoding())
 
323
    term_encoding = osutils.get_terminal_encoding()
 
324
    writer_factory = codecs.getwriter(term_encoding)
254
325
    encoded_stderr = writer_factory(sys.stderr, errors='replace')
255
326
    stderr_handler = logging.StreamHandler(encoded_stderr)
256
327
    stderr_handler.setLevel(logging.INFO)
257
328
    logging.getLogger('bzr').addHandler(stderr_handler)
 
329
    return memento
258
330
 
259
331
 
260
332
def push_log_file(to_file, log_format=None, date_format=None):
262
334
 
263
335
    :param to_file: A file-like object to which messages will be sent.
264
336
 
265
 
    :returns: A memento that should be passed to _pop_log_file to restore the 
 
337
    :returns: A memento that should be passed to _pop_log_file to restore the
266
338
    previously active logging.
267
339
    """
268
340
    global _trace_file
296
368
def pop_log_file((magic, old_handlers, new_handler, old_trace_file, new_trace_file)):
297
369
    """Undo changes to logging/tracing done by _push_log_file.
298
370
 
299
 
    This flushes, but does not close the trace file.
300
 
    
 
371
    This flushes, but does not close the trace file (so that anything that was
 
372
    in it is output.
 
373
 
301
374
    Takes the memento returned from _push_log_file."""
302
375
    global _trace_file
303
376
    _trace_file = old_trace_file
304
377
    bzr_logger = logging.getLogger('bzr')
305
378
    bzr_logger.removeHandler(new_handler)
306
 
    # must be closed, otherwise logging will try to close it atexit, and the
 
379
    # must be closed, otherwise logging will try to close it at exit, and the
307
380
    # file will likely already be closed underneath.
308
381
    new_handler.close()
309
382
    bzr_logger.handlers = old_handlers
310
 
    new_trace_file.flush()
311
 
 
312
 
 
313
 
@symbol_versioning.deprecated_function(symbol_versioning.one_two)
314
 
def enable_test_log(to_file):
315
 
    """Redirect logging to a temporary file for a test
316
 
    
317
 
    :returns: an opaque reference that should be passed to disable_test_log
318
 
    after the test completes.
319
 
    """
320
 
    return push_log_file(to_file)
321
 
 
322
 
 
323
 
@symbol_versioning.deprecated_function(symbol_versioning.one_two)
324
 
def disable_test_log(memento):
325
 
    return pop_log_file(memento)
 
383
    if new_trace_file is not None:
 
384
        new_trace_file.flush()
326
385
 
327
386
 
328
387
def log_exception_quietly():
329
388
    """Log the last exception to the trace file only.
330
389
 
331
 
    Used for exceptions that occur internally and that may be 
332
 
    interesting to developers but not to users.  For example, 
 
390
    Used for exceptions that occur internally and that may be
 
391
    interesting to developers but not to users.  For example,
333
392
    errors loading plugins.
334
393
    """
335
394
    mutter(traceback.format_exc())
343
402
    global _verbosity_level
344
403
    _verbosity_level = level
345
404
    _update_logging_level(level < 0)
 
405
    ui.ui_factory.be_quiet(level < 0)
346
406
 
347
407
 
348
408
def get_verbosity_level():
354
414
 
355
415
 
356
416
def be_quiet(quiet=True):
357
 
    # Perhaps this could be deprecated now ...
358
417
    if quiet:
359
418
        set_verbosity_level(-1)
360
419
    else:
379
438
    return _verbosity_level > 0
380
439
 
381
440
 
382
 
@symbol_versioning.deprecated_function(symbol_versioning.one_two)
383
 
def disable_default_logging():
384
 
    """Turn off default log handlers.
385
 
 
386
 
    Don't call this method, use _push_log_file and _pop_log_file instead.
387
 
    """
388
 
    pass
 
441
def debug_memory(message='', short=True):
 
442
    """Write out a memory dump."""
 
443
    if sys.platform == 'win32':
 
444
        from bzrlib import win32utils
 
445
        win32utils.debug_memory_win32api(message=message, short=short)
 
446
    else:
 
447
        _debug_memory_proc(message=message, short=short)
 
448
 
 
449
 
 
450
_short_fields = ('VmPeak', 'VmSize', 'VmRSS')
 
451
 
 
452
def _debug_memory_proc(message='', short=True):
 
453
    try:
 
454
        status_file = file('/proc/%s/status' % os.getpid(), 'rb')
 
455
    except IOError:
 
456
        return
 
457
    try:
 
458
        status = status_file.read()
 
459
    finally:
 
460
        status_file.close()
 
461
    if message:
 
462
        note(message)
 
463
    for line in status.splitlines():
 
464
        if not short:
 
465
            note(line)
 
466
        else:
 
467
            for field in _short_fields:
 
468
                if line.startswith(field):
 
469
                    note(line)
 
470
                    break
389
471
 
390
472
 
391
473
def report_exception(exc_info, err_file):
395
477
 
396
478
    :return: The appropriate exit code for this error.
397
479
    """
398
 
    exc_type, exc_object, exc_tb = exc_info
399
480
    # Log the full traceback to ~/.bzr.log
400
481
    log_exception_quietly()
 
482
    if 'error' in debug.debug_flags:
 
483
        print_exception(exc_info, err_file)
 
484
        return errors.EXIT_ERROR
 
485
    exc_type, exc_object, exc_tb = exc_info
401
486
    if (isinstance(exc_object, IOError)
402
487
        and getattr(exc_object, 'errno', None) == errno.EPIPE):
403
488
        err_file.write("bzr: broken pipe\n")
405
490
    elif isinstance(exc_object, KeyboardInterrupt):
406
491
        err_file.write("bzr: interrupted\n")
407
492
        return errors.EXIT_ERROR
 
493
    elif isinstance(exc_object, MemoryError):
 
494
        err_file.write("bzr: out of memory\n")
 
495
        return errors.EXIT_ERROR
408
496
    elif isinstance(exc_object, ImportError) \
409
497
        and str(exc_object).startswith("No module named "):
410
498
        report_user_error(exc_info, err_file,
413
501
    elif not getattr(exc_object, 'internal_error', True):
414
502
        report_user_error(exc_info, err_file)
415
503
        return errors.EXIT_ERROR
416
 
    elif isinstance(exc_object, (OSError, IOError)):
 
504
    elif isinstance(exc_object, (OSError, IOError)) or (
 
505
        # GZ 2010-05-20: Like (exc_type is pywintypes.error) but avoid import
 
506
        exc_type.__name__ == "error" and exc_type.__module__ == "pywintypes"):
417
507
        # Might be nice to catch all of these and show them as something more
418
508
        # specific, but there are too many cases at the moment.
419
509
        report_user_error(exc_info, err_file)
441
531
    :param advice: Extra advice to the user to be printed following the
442
532
        exception.
443
533
    """
444
 
    if 'error' in debug.debug_flags:
445
 
        print_exception(exc_info, err_file)
446
 
        return
447
534
    err_file.write("bzr: ERROR: %s\n" % (exc_info[1],))
448
535
    if advice:
449
536
        err_file.write("%s\n" % (advice,))
451
538
 
452
539
def report_bug(exc_info, err_file):
453
540
    """Report an exception that probably indicates a bug in bzr"""
454
 
    print_exception(exc_info, err_file)
455
 
    err_file.write('\n')
456
 
    err_file.write('bzr %s on python %s (%s)\n' % \
457
 
                       (bzrlib.__version__,
458
 
                        bzrlib._format_version_tuple(sys.version_info),
459
 
                        sys.platform))
460
 
    err_file.write('arguments: %r\n' % sys.argv)
461
 
    err_file.write(
462
 
        'encoding: %r, fsenc: %r, lang: %r\n' % (
463
 
            osutils.get_user_encoding(), sys.getfilesystemencoding(),
464
 
            os.environ.get('LANG')))
465
 
    err_file.write("plugins:\n")
466
 
    for name, a_plugin in sorted(plugin.plugins().items()):
467
 
        err_file.write("  %-20s %s [%s]\n" %
468
 
            (name, a_plugin.path(), a_plugin.__version__))
469
 
    err_file.write(
470
 
"""\
471
 
*** Bazaar has encountered an internal error.
472
 
    Please report a bug at https://bugs.launchpad.net/bzr/+filebug
473
 
    including this traceback, and a description of what you
474
 
    were doing when the error occurred.
475
 
""")
 
541
    from bzrlib.crash import report_bug
 
542
    report_bug(exc_info, err_file)
 
543
 
 
544
 
 
545
def _flush_stdout_stderr():
 
546
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
 
547
    try:
 
548
        sys.stdout.flush()
 
549
        sys.stderr.flush()
 
550
    except IOError, e:
 
551
        import errno
 
552
        if e.errno in [errno.EINVAL, errno.EPIPE]:
 
553
            pass
 
554
        else:
 
555
            raise
 
556
 
 
557
 
 
558
def _flush_trace():
 
559
    # called from the bzrlib library finalizer returned by bzrlib.initialize()
 
560
    global _trace_file
 
561
    if _trace_file:
 
562
        _trace_file.flush()
 
563
 
 
564
 
 
565
class Config(object):
 
566
    """Configuration of message tracing in bzrlib.
 
567
 
 
568
    This implements the context manager protocol and should manage any global
 
569
    variables still used. The default config used is DefaultConfig, but
 
570
    embedded uses of bzrlib may wish to use a custom manager.
 
571
    """
 
572
 
 
573
    def __enter__(self):
 
574
        return self # This is bound to the 'as' clause in a with statement.
 
575
 
 
576
    def __exit__(self, exc_type, exc_val, exc_tb):
 
577
        return False # propogate exceptions.
 
578
 
 
579
 
 
580
class DefaultConfig(Config):
 
581
    """A default configuration for tracing of messages in bzrlib.
 
582
 
 
583
    This implements the context manager protocol.
 
584
    """
 
585
 
 
586
    def __enter__(self):
 
587
        self._original_filename = _bzr_log_filename
 
588
        self._original_state = enable_default_logging()
 
589
        return self # This is bound to the 'as' clause in a with statement.
 
590
 
 
591
    def __exit__(self, exc_type, exc_val, exc_tb):
 
592
        pop_log_file(self._original_state)
 
593
        global _bzr_log_filename
 
594
        _bzr_log_filename = self._original_filename
 
595
        return False # propogate exceptions.