~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2010-04-08 06:17:41 UTC
  • mfrom: (4797.33.16 apport)
  • Revision ID: pqm@pqm.ubuntu.com-20100408061741-m7vl6z97vu33riv7
(robertc) Make sure ExecutablePath and InterpreterPath are set in
        Apport. (Martin Pool, James Westby, lp:528114)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
2
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# Copyright (C) 2005-2010 Canonical Ltd
3
2
#
4
3
# This program is free software; you can redistribute it and/or modify
5
4
# it under the terms of the GNU General Public License as published by
13
12
#
14
13
# You should have received a copy of the GNU General Public License
15
14
# along with this program; if not, write to the Free Software
16
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17
16
 
18
17
 
19
18
"""Progress indicators.
20
19
 
21
20
The usual way to use this is via bzrlib.ui.ui_factory.nested_progress_bar which
22
 
will maintain a ProgressBarStack for you.
23
 
 
24
 
For direct use, the factory ProgressBar will return an auto-detected progress
25
 
bar that should match your terminal type. You can manually create a
26
 
ProgressBarStack too if you need multiple levels of cooperating progress bars.
27
 
Note that bzrlib's internal functions use the ui module, so if you are using
28
 
bzrlib it really is best to use bzrlib.ui.ui_factory.
 
21
will manage a conceptual stack of nested activities.
29
22
"""
30
23
 
31
 
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
32
 
# when the rate is unpredictable
33
24
 
34
25
import sys
35
26
import time
36
27
import os
37
28
 
38
 
from bzrlib.lazy_import import lazy_import
39
 
lazy_import(globals(), """
 
29
 
40
30
from bzrlib import (
41
31
    errors,
42
32
    )
43
 
""")
44
 
 
45
33
from bzrlib.trace import mutter
 
34
from bzrlib.symbol_versioning import (
 
35
    deprecated_function,
 
36
    deprecated_in,
 
37
    deprecated_method,
 
38
    )
46
39
 
47
40
 
48
41
def _supports_progress(f):
49
 
    """Detect if we can use pretty progress bars on the output stream f.
 
42
    """Detect if we can use pretty progress bars on file F.
50
43
 
51
 
    If this returns true we expect that a human may be looking at that 
 
44
    If this returns true we expect that a human may be looking at that
52
45
    output, and that we can repaint a line to update it.
 
46
 
 
47
    This doesn't check the policy for whether we *should* use them.
53
48
    """
54
49
    isatty = getattr(f, 'isatty', None)
55
50
    if isatty is None:
56
51
        return False
57
52
    if not isatty():
58
53
        return False
 
54
    # The following case also handles Win32 - on that platform $TERM is
 
55
    # typically never set, so the case None is treated as a smart terminal,
 
56
    # not dumb.  <https://bugs.launchpad.net/bugs/334808>  win32 files do have
 
57
    # isatty methods that return true.
59
58
    if os.environ.get('TERM') == 'dumb':
60
59
        # e.g. emacs compile window
61
60
        return False
62
61
    return True
63
62
 
64
63
 
65
 
_progress_bar_types = {}
66
 
 
67
 
 
68
 
def ProgressBar(to_file=None, **kwargs):
69
 
    """Abstract factory"""
70
 
    if to_file is None:
71
 
        to_file = sys.stderr
72
 
    requested_bar_type = os.environ.get('BZR_PROGRESS_BAR')
73
 
    # An value of '' or not set reverts to standard processing
74
 
    if requested_bar_type in (None, ''):
75
 
        if _supports_progress(to_file):
76
 
            return TTYProgressBar(to_file=to_file, **kwargs)
77
 
        else:
78
 
            return DummyProgress(to_file=to_file, **kwargs)
79
 
    else:
80
 
        # Minor sanitation to prevent spurious errors
81
 
        requested_bar_type = requested_bar_type.lower().strip()
82
 
        # TODO: jam 20060710 Arguably we shouldn't raise an exception
83
 
        #       but should instead just disable progress bars if we
84
 
        #       don't recognize the type
85
 
        if requested_bar_type not in _progress_bar_types:
86
 
            raise errors.InvalidProgressBarType(requested_bar_type,
87
 
                                                _progress_bar_types.keys())
88
 
        return _progress_bar_types[requested_bar_type](to_file=to_file, **kwargs)
89
 
 
90
 
 
91
 
class ProgressBarStack(object):
92
 
    """A stack of progress bars."""
93
 
 
94
 
    def __init__(self,
95
 
                 to_file=None,
96
 
                 show_pct=False,
97
 
                 show_spinner=True,
98
 
                 show_eta=False,
99
 
                 show_bar=True,
100
 
                 show_count=True,
101
 
                 to_messages_file=None,
102
 
                 klass=None):
103
 
        """Setup the stack with the parameters the progress bars should have."""
104
 
        if to_file is None:
105
 
            to_file = sys.stderr
106
 
        if to_messages_file is None:
107
 
            to_messages_file = sys.stdout
108
 
        self._to_file = to_file
109
 
        self._show_pct = show_pct
110
 
        self._show_spinner = show_spinner
111
 
        self._show_eta = show_eta
112
 
        self._show_bar = show_bar
113
 
        self._show_count = show_count
114
 
        self._to_messages_file = to_messages_file
115
 
        self._stack = []
116
 
        self._klass = klass or ProgressBar
117
 
 
118
 
    def top(self):
119
 
        if len(self._stack) != 0:
120
 
            return self._stack[-1]
121
 
        else:
122
 
            return None
123
 
 
124
 
    def bottom(self):
125
 
        if len(self._stack) != 0:
126
 
            return self._stack[0]
127
 
        else:
128
 
            return None
129
 
 
130
 
    def get_nested(self):
131
 
        """Return a nested progress bar."""
132
 
        if len(self._stack) == 0:
133
 
            func = self._klass
134
 
        else:
135
 
            func = self.top().child_progress
136
 
        new_bar = func(to_file=self._to_file,
137
 
                       show_pct=self._show_pct,
138
 
                       show_spinner=self._show_spinner,
139
 
                       show_eta=self._show_eta,
140
 
                       show_bar=self._show_bar,
141
 
                       show_count=self._show_count,
142
 
                       to_messages_file=self._to_messages_file,
143
 
                       _stack=self)
144
 
        self._stack.append(new_bar)
145
 
        return new_bar
146
 
 
147
 
    def return_pb(self, bar):
148
 
        """Return bar after its been used."""
149
 
        if bar is not self._stack[-1]:
150
 
            raise errors.MissingProgressBarFinish()
151
 
        self._stack.pop()
152
 
 
153
 
 
 
64
class ProgressTask(object):
 
65
    """Model component of a progress indicator.
 
66
 
 
67
    Most code that needs to indicate progress should update one of these,
 
68
    and it will in turn update the display, if one is present.
 
69
 
 
70
    Code updating the task may also set fields as hints about how to display
 
71
    it: show_pct, show_spinner, show_eta, show_count, show_bar.  UIs
 
72
    will not necessarily respect all these fields.
 
73
    
 
74
    :ivar update_latency: The interval (in seconds) at which the PB should be
 
75
        updated.  Setting this to zero suggests every update should be shown
 
76
        synchronously.
 
77
 
 
78
    :ivar show_transport_activity: If true (default), transport activity
 
79
        will be shown when this task is drawn.  Disable it if you're sure 
 
80
        that only irrelevant or uninteresting transport activity can occur
 
81
        during this task.
 
82
    """
 
83
 
 
84
    def __init__(self, parent_task=None, ui_factory=None, progress_view=None):
 
85
        """Construct a new progress task.
 
86
 
 
87
        :param parent_task: Enclosing ProgressTask or None.
 
88
 
 
89
        :param progress_view: ProgressView to display this ProgressTask.
 
90
 
 
91
        :param ui_factory: The UI factory that will display updates; 
 
92
            deprecated in favor of passing progress_view directly.
 
93
 
 
94
        Normally you should not call this directly but rather through
 
95
        `ui_factory.nested_progress_bar`.
 
96
        """
 
97
        self._parent_task = parent_task
 
98
        self._last_update = 0
 
99
        self.total_cnt = None
 
100
        self.current_cnt = None
 
101
        self.msg = ''
 
102
        # TODO: deprecate passing ui_factory
 
103
        self.ui_factory = ui_factory
 
104
        self.progress_view = progress_view
 
105
        self.show_pct = False
 
106
        self.show_spinner = True
 
107
        self.show_eta = False,
 
108
        self.show_count = True
 
109
        self.show_bar = True
 
110
        self.update_latency = 0.1
 
111
        self.show_transport_activity = True
 
112
 
 
113
    def __repr__(self):
 
114
        return '%s(%r/%r, msg=%r)' % (
 
115
            self.__class__.__name__,
 
116
            self.current_cnt,
 
117
            self.total_cnt,
 
118
            self.msg)
 
119
 
 
120
    def update(self, msg, current_cnt=None, total_cnt=None):
 
121
        self.msg = msg
 
122
        self.current_cnt = current_cnt
 
123
        if total_cnt:
 
124
            self.total_cnt = total_cnt
 
125
        if self.progress_view:
 
126
            self.progress_view.show_progress(self)
 
127
        else:
 
128
            self.ui_factory._progress_updated(self)
 
129
 
 
130
    def tick(self):
 
131
        self.update(self.msg)
 
132
 
 
133
    def finished(self):
 
134
        if self.progress_view:
 
135
            self.progress_view.task_finished(self)
 
136
        else:
 
137
            self.ui_factory._progress_finished(self)
 
138
 
 
139
    def make_sub_task(self):
 
140
        return ProgressTask(self, ui_factory=self.ui_factory,
 
141
            progress_view=self.progress_view)
 
142
 
 
143
    def _overall_completion_fraction(self, child_fraction=0.0):
 
144
        """Return fractional completion of this task and its parents
 
145
 
 
146
        Returns None if no completion can be computed."""
 
147
        if self.current_cnt is not None and self.total_cnt:
 
148
            own_fraction = (float(self.current_cnt) + child_fraction) / self.total_cnt
 
149
        else:
 
150
            # if this task has no estimation, it just passes on directly
 
151
            # whatever the child has measured...
 
152
            own_fraction = child_fraction
 
153
        if self._parent_task is None:
 
154
            return own_fraction
 
155
        else:
 
156
            if own_fraction is None:
 
157
                own_fraction = 0.0
 
158
            return self._parent_task._overall_completion_fraction(own_fraction)
 
159
 
 
160
    @deprecated_method(deprecated_in((2, 1, 0)))
 
161
    def note(self, fmt_string, *args):
 
162
        """Record a note without disrupting the progress bar.
 
163
        
 
164
        Deprecated: use ui_factory.note() instead or bzrlib.trace.  Note that
 
165
        ui_factory.note takes just one string as the argument, not a format
 
166
        string and arguments.
 
167
        """
 
168
        if args:
 
169
            self.ui_factory.note(fmt_string % args)
 
170
        else:
 
171
            self.ui_factory.note(fmt_string)
 
172
 
 
173
    def clear(self):
 
174
        # TODO: deprecate this method; the model object shouldn't be concerned
 
175
        # with whether it's shown or not.  Most callers use this because they
 
176
        # want to write some different non-progress output to the screen, but
 
177
        # they should probably instead use a stream that's synchronized with
 
178
        # the progress output.  It may be there is a model-level use for
 
179
        # saying "this task's not active at the moment" but I don't see it. --
 
180
        # mbp 20090623
 
181
        if self.progress_view:
 
182
            self.progress_view.clear()
 
183
        else:
 
184
            self.ui_factory.clear_term()
 
185
 
 
186
 
 
187
# NOTE: This is also deprecated; you should provide a ProgressView instead.
154
188
class _BaseProgressBar(object):
155
189
 
156
190
    def __init__(self,
197
231
        self.to_messages_file.write(fmt_string % args)
198
232
        self.to_messages_file.write('\n')
199
233
 
200
 
    def child_progress(self, **kwargs):
201
 
        return ChildProgress(**kwargs)
202
 
 
203
 
 
204
 
class DummyProgress(_BaseProgressBar):
 
234
 
 
235
class DummyProgress(object):
205
236
    """Progress-bar standin that does nothing.
206
237
 
207
 
    This can be used as the default argument for methods that
208
 
    take an optional progress indicator."""
 
238
    This was previously often constructed by application code if no progress
 
239
    bar was explicitly passed in.  That's no longer recommended: instead, just
 
240
    create a progress task from the ui_factory.  This class can be used in
 
241
    test code that needs to fake a progress task for some reason.
 
242
    """
 
243
 
209
244
    def tick(self):
210
245
        pass
211
246
 
217
252
 
218
253
    def clear(self):
219
254
        pass
220
 
        
 
255
 
221
256
    def note(self, fmt_string, *args, **kwargs):
222
257
        """See _BaseProgressBar.note()."""
223
258
 
225
260
        return DummyProgress(**kwargs)
226
261
 
227
262
 
228
 
_progress_bar_types['dummy'] = DummyProgress
229
 
_progress_bar_types['none'] = DummyProgress
230
 
 
231
 
 
232
 
class DotsProgressBar(_BaseProgressBar):
233
 
 
234
 
    def __init__(self, **kwargs):
235
 
        _BaseProgressBar.__init__(self, **kwargs)
236
 
        self.last_msg = None
237
 
        self.need_nl = False
238
 
        
239
 
    def tick(self):
240
 
        self.update()
241
 
        
242
 
    def update(self, msg=None, current_cnt=None, total_cnt=None):
243
 
        if msg and msg != self.last_msg:
244
 
            if self.need_nl:
245
 
                self.to_file.write('\n')
246
 
            self.to_file.write(msg + ': ')
247
 
            self.last_msg = msg
248
 
        self.need_nl = True
249
 
        self.to_file.write('.')
250
 
        
251
 
    def clear(self):
252
 
        if self.need_nl:
253
 
            self.to_file.write('\n')
254
 
        self.need_nl = False
255
 
        
256
 
    def child_update(self, message, current, total):
257
 
        self.tick()
258
 
 
259
 
 
260
 
_progress_bar_types['dots'] = DotsProgressBar
261
 
 
262
 
    
263
 
class TTYProgressBar(_BaseProgressBar):
264
 
    """Progress bar display object.
265
 
 
266
 
    Several options are available to control the display.  These can
267
 
    be passed as parameters to the constructor or assigned at any time:
268
 
 
269
 
    show_pct
270
 
        Show percentage complete.
271
 
    show_spinner
272
 
        Show rotating baton.  This ticks over on every update even
273
 
        if the values don't change.
274
 
    show_eta
275
 
        Show predicted time-to-completion.
276
 
    show_bar
277
 
        Show bar graph.
278
 
    show_count
279
 
        Show numerical counts.
280
 
 
281
 
    The output file should be in line-buffered or unbuffered mode.
282
 
    """
283
 
    SPIN_CHARS = r'/-\|'
284
 
 
285
 
 
286
 
    def __init__(self, **kwargs):
287
 
        from bzrlib.osutils import terminal_width
288
 
        _BaseProgressBar.__init__(self, **kwargs)
289
 
        self.spin_pos = 0
290
 
        self.width = terminal_width()
291
 
        self.last_updates = []
292
 
        self._max_last_updates = 10
293
 
        self.child_fraction = 0
294
 
        self._have_output = False
295
 
    
296
 
    def throttle(self, old_msg):
297
 
        """Return True if the bar was updated too recently"""
298
 
        # time.time consistently takes 40/4000 ms = 0.01 ms.
299
 
        # time.clock() is faster, but gives us CPU time, not wall-clock time
300
 
        now = time.time()
301
 
        if self.start_time is not None and (now - self.start_time) < 1:
302
 
            return True
303
 
        if old_msg != self.last_msg:
304
 
            return False
305
 
        interval = now - self.last_update
306
 
        # if interval > 0
307
 
        if interval < self.MIN_PAUSE:
308
 
            return True
309
 
 
310
 
        self.last_updates.append(now - self.last_update)
311
 
        # Don't let the queue grow without bound
312
 
        self.last_updates = self.last_updates[-self._max_last_updates:]
313
 
        self.last_update = now
314
 
        return False
315
 
        
316
 
    def tick(self):
317
 
        self.update(self.last_msg, self.last_cnt, self.last_total,
318
 
                    self.child_fraction)
319
 
 
320
 
    def child_update(self, message, current, total):
321
 
        if current is not None and total != 0:
322
 
            child_fraction = float(current) / total
323
 
            if self.last_cnt is None:
324
 
                pass
325
 
            elif self.last_cnt + child_fraction <= self.last_total:
326
 
                self.child_fraction = child_fraction
327
 
        if self.last_msg is None:
328
 
            self.last_msg = ''
329
 
        self.tick()
330
 
 
331
 
    def update(self, msg, current_cnt=None, total_cnt=None,
332
 
               child_fraction=0):
333
 
        """Update and redraw progress bar."""
334
 
        if msg is None:
335
 
            msg = self.last_msg
336
 
 
337
 
        if total_cnt is None:
338
 
            total_cnt = self.last_total
339
 
 
340
 
        if current_cnt < 0:
341
 
            current_cnt = 0
342
 
            
343
 
        if current_cnt > total_cnt:
344
 
            total_cnt = current_cnt
345
 
        
346
 
        ## # optional corner case optimisation 
347
 
        ## # currently does not seem to fire so costs more than saved.
348
 
        ## # trivial optimal case:
349
 
        ## # NB if callers are doing a clear and restore with
350
 
        ## # the saved values, this will prevent that:
351
 
        ## # in that case add a restore method that calls
352
 
        ## # _do_update or some such
353
 
        ## if (self.last_msg == msg and
354
 
        ##     self.last_cnt == current_cnt and
355
 
        ##     self.last_total == total_cnt and
356
 
        ##     self.child_fraction == child_fraction):
357
 
        ##     return
358
 
 
359
 
        old_msg = self.last_msg
360
 
        # save these for the tick() function
361
 
        self.last_msg = msg
362
 
        self.last_cnt = current_cnt
363
 
        self.last_total = total_cnt
364
 
        self.child_fraction = child_fraction
365
 
 
366
 
        # each function call takes 20ms/4000 = 0.005 ms, 
367
 
        # but multiple that by 4000 calls -> starts to cost.
368
 
        # so anything to make this function call faster
369
 
        # will improve base 'diff' time by up to 0.1 seconds.
370
 
        if self.throttle(old_msg):
371
 
            return
372
 
 
373
 
        if self.show_eta and self.start_time and self.last_total:
374
 
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
375
 
                    self.last_total, last_updates = self.last_updates)
376
 
            eta_str = " " + str_tdelta(eta)
377
 
        else:
378
 
            eta_str = ""
379
 
 
380
 
        if self.show_spinner:
381
 
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '            
382
 
        else:
383
 
            spin_str = ''
384
 
 
385
 
        # always update this; it's also used for the bar
386
 
        self.spin_pos += 1
387
 
 
388
 
        if self.show_pct and self.last_total and self.last_cnt:
389
 
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
390
 
            pct_str = ' (%5.1f%%)' % pct
391
 
        else:
392
 
            pct_str = ''
393
 
 
394
 
        if not self.show_count:
395
 
            count_str = ''
396
 
        elif self.last_cnt is None:
397
 
            count_str = ''
398
 
        elif self.last_total is None:
399
 
            count_str = ' %i' % (self.last_cnt)
400
 
        else:
401
 
            # make both fields the same size
402
 
            t = '%i' % (self.last_total)
403
 
            c = '%*i' % (len(t), self.last_cnt)
404
 
            count_str = ' ' + c + '/' + t 
405
 
 
406
 
        if self.show_bar:
407
 
            # progress bar, if present, soaks up all remaining space
408
 
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
409
 
                   - len(eta_str) - len(count_str) - 3
410
 
 
411
 
            if self.last_total:
412
 
                # number of markers highlighted in bar
413
 
                markers = int(round(float(cols) * 
414
 
                              (self.last_cnt + self.child_fraction) / self.last_total))
415
 
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
416
 
            elif False:
417
 
                # don't know total, so can't show completion.
418
 
                # so just show an expanded spinning thingy
419
 
                m = self.spin_pos % cols
420
 
                ms = (' ' * m + '*').ljust(cols)
421
 
                
422
 
                bar_str = '[' + ms + '] '
423
 
            else:
424
 
                bar_str = ''
425
 
        else:
426
 
            bar_str = ''
427
 
 
428
 
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
429
 
        self.to_file.write('\r%-*.*s' % (self.width - 1, self.width - 1, m))
430
 
        self._have_output = True
431
 
        #self.to_file.flush()
432
 
            
433
 
    def clear(self):
434
 
        if self._have_output:
435
 
            self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
436
 
        self._have_output = False
437
 
        #self.to_file.flush()        
438
 
 
439
 
 
440
 
_progress_bar_types['tty'] = TTYProgressBar
441
 
 
442
 
 
443
 
class ChildProgress(_BaseProgressBar):
444
 
    """A progress indicator that pushes its data to the parent"""
445
 
 
446
 
    def __init__(self, _stack, **kwargs):
447
 
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
448
 
        self.parent = _stack.top()
449
 
        self.current = None
450
 
        self.total = None
451
 
        self.child_fraction = 0
452
 
        self.message = None
453
 
 
454
 
    def update(self, msg, current_cnt=None, total_cnt=None):
455
 
        self.current = current_cnt
456
 
        if total_cnt is not None:
457
 
            self.total = total_cnt
458
 
        self.message = msg
459
 
        self.child_fraction = 0
460
 
        self.tick()
461
 
 
462
 
    def child_update(self, message, current, total):
463
 
        if current is None or total == 0:
464
 
            self.child_fraction = 0
465
 
        else:
466
 
            self.child_fraction = float(current) / total
467
 
        self.tick()
468
 
 
469
 
    def tick(self):
470
 
        if self.current is None:
471
 
            count = None
472
 
        else:
473
 
            count = self.current+self.child_fraction
474
 
            if count > self.total:
475
 
                if __debug__:
476
 
                    mutter('clamping count of %d to %d' % (count, self.total))
477
 
                count = self.total
478
 
        self.parent.child_update(self.message, count, self.total)
479
 
 
480
 
    def clear(self):
481
 
        pass
482
 
 
483
 
    def note(self, *args, **kwargs):
484
 
        self.parent.note(*args, **kwargs)
485
 
 
486
 
 
487
 
class InstrumentedProgress(TTYProgressBar):
488
 
    """TTYProgress variant that tracks outcomes"""
489
 
 
490
 
    def __init__(self, *args, **kwargs):
491
 
        self.always_throttled = True
492
 
        self.never_throttle = False
493
 
        TTYProgressBar.__init__(self, *args, **kwargs)
494
 
 
495
 
    def throttle(self, old_message):
496
 
        if self.never_throttle:
497
 
            result =  False
498
 
        else:
499
 
            result = TTYProgressBar.throttle(self, old_message)
500
 
        if result is False:
501
 
            self.always_throttled = False
502
 
 
503
 
 
504
263
def str_tdelta(delt):
505
264
    if delt is None:
506
265
        return "-:--:--"
527
286
 
528
287
    if elapsed < 2.0:                   # not enough time to estimate
529
288
        return None
530
 
    
 
289
 
531
290
    total_duration = float(elapsed) * float(total) / float(current)
532
291
 
533
292
    if last_updates and len(last_updates) >= n_recent: