~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: Vincent Ladeuil
  • Date: 2009-06-22 12:52:39 UTC
  • mto: (4471.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 4472.
  • Revision ID: v.ladeuil+lp@free.fr-20090622125239-kabo9smxt9c3vnir
Use a consistent scheme for naming pyrex source files.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
2
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2008, 2009 Canonical Ltd
3
2
#
4
3
# This program is free software; you can redistribute it and/or modify
5
4
# it under the terms of the GNU General Public License as published by
13
12
#
14
13
# You should have received a copy of the GNU General Public License
15
14
# along with this program; if not, write to the Free Software
16
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17
16
 
18
17
 
19
18
"""Progress indicators.
20
19
 
21
20
The usual way to use this is via bzrlib.ui.ui_factory.nested_progress_bar which
22
 
will maintain a ProgressBarStack for you.
23
 
 
24
 
For direct use, the factory ProgressBar will return an auto-detected progress
25
 
bar that should match your terminal type. You can manually create a
26
 
ProgressBarStack too if you need multiple levels of cooperating progress bars.
27
 
Note that bzrlib's internal functions use the ui module, so if you are using
28
 
bzrlib it really is best to use bzrlib.ui.ui_factory.
 
21
will manage a conceptual stack of nested activities.
29
22
"""
30
23
 
31
 
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
32
 
# when the rate is unpredictable
33
24
 
34
25
import sys
35
26
import time
36
27
import os
37
 
 
38
 
from bzrlib.lazy_import import lazy_import
39
 
lazy_import(globals(), """
 
28
import warnings
 
29
 
 
30
 
40
31
from bzrlib import (
41
32
    errors,
 
33
    osutils,
 
34
    trace,
 
35
    ui,
42
36
    )
43
 
""")
44
 
 
45
37
from bzrlib.trace import mutter
46
 
 
47
 
 
 
38
from bzrlib.symbol_versioning import (
 
39
    deprecated_function,
 
40
    deprecated_in,
 
41
    deprecated_method,
 
42
    )
 
43
 
 
44
 
 
45
# XXX: deprecated; can be removed when the ProgressBar factory is removed
48
46
def _supports_progress(f):
49
47
    """Detect if we can use pretty progress bars on the output stream f.
50
48
 
51
 
    If this returns true we expect that a human may be looking at that 
 
49
    If this returns true we expect that a human may be looking at that
52
50
    output, and that we can repaint a line to update it.
53
51
    """
54
52
    isatty = getattr(f, 'isatty', None)
62
60
    return True
63
61
 
64
62
 
65
 
_progress_bar_types = {}
66
 
 
67
 
 
 
63
class ProgressTask(object):
 
64
    """Model component of a progress indicator.
 
65
 
 
66
    Most code that needs to indicate progress should update one of these,
 
67
    and it will in turn update the display, if one is present.
 
68
 
 
69
    Code updating the task may also set fields as hints about how to display
 
70
    it: show_pct, show_spinner, show_eta, show_count, show_bar.  UIs
 
71
    will not necessarily respect all these fields.
 
72
    """
 
73
 
 
74
    def __init__(self, parent_task=None, ui_factory=None):
 
75
        """Construct a new progress task.
 
76
 
 
77
        Normally you should not call this directly but rather through
 
78
        `ui_factory.nested_progress_bar`.
 
79
        """
 
80
        self._parent_task = parent_task
 
81
        self._last_update = 0
 
82
        self.total_cnt = None
 
83
        self.current_cnt = None
 
84
        self.msg = ''
 
85
        self.ui_factory = ui_factory
 
86
        self.show_pct = False
 
87
        self.show_spinner = True
 
88
        self.show_eta = False,
 
89
        self.show_count = True
 
90
        self.show_bar = True
 
91
 
 
92
    def __repr__(self):
 
93
        return '%s(%r/%r, msg=%r)' % (
 
94
            self.__class__.__name__,
 
95
            self.current_cnt,
 
96
            self.total_cnt,
 
97
            self.msg)
 
98
 
 
99
    def update(self, msg, current_cnt=None, total_cnt=None):
 
100
        self.msg = msg
 
101
        self.current_cnt = current_cnt
 
102
        if total_cnt:
 
103
            self.total_cnt = total_cnt
 
104
        self.ui_factory._progress_updated(self)
 
105
 
 
106
    def tick(self):
 
107
        self.update(self.msg)
 
108
 
 
109
    def finished(self):
 
110
        self.ui_factory._progress_finished(self)
 
111
 
 
112
    def make_sub_task(self):
 
113
        return ProgressTask(self, self.ui_factory)
 
114
 
 
115
    def _overall_completion_fraction(self, child_fraction=0.0):
 
116
        """Return fractional completion of this task and its parents
 
117
 
 
118
        Returns None if no completion can be computed."""
 
119
        if self.current_cnt is not None and self.total_cnt:
 
120
            own_fraction = (float(self.current_cnt) + child_fraction) / self.total_cnt
 
121
        else:
 
122
            # if this task has no estimation, it just passes on directly
 
123
            # whatever the child has measured...
 
124
            own_fraction = child_fraction
 
125
        if self._parent_task is None:
 
126
            return own_fraction
 
127
        else:
 
128
            if own_fraction is None:
 
129
                own_fraction = 0.0
 
130
            return self._parent_task._overall_completion_fraction(own_fraction)
 
131
 
 
132
    def note(self, fmt_string, *args):
 
133
        """Record a note without disrupting the progress bar."""
 
134
        # XXX: shouldn't be here; put it in mutter or the ui instead
 
135
        if args:
 
136
            self.ui_factory.note(fmt_string % args)
 
137
        else:
 
138
            self.ui_factory.note(fmt_string)
 
139
 
 
140
    def clear(self):
 
141
        # XXX: shouldn't be here; put it in mutter or the ui instead
 
142
        self.ui_factory.clear_term()
 
143
 
 
144
 
 
145
@deprecated_function(deprecated_in((1, 16, 0)))
68
146
def ProgressBar(to_file=None, **kwargs):
69
147
    """Abstract factory"""
70
148
    if to_file is None:
87
165
                                                _progress_bar_types.keys())
88
166
        return _progress_bar_types[requested_bar_type](to_file=to_file, **kwargs)
89
167
 
90
 
 
91
 
class ProgressBarStack(object):
92
 
    """A stack of progress bars."""
93
 
 
94
 
    def __init__(self,
95
 
                 to_file=None,
96
 
                 show_pct=False,
97
 
                 show_spinner=True,
98
 
                 show_eta=False,
99
 
                 show_bar=True,
100
 
                 show_count=True,
101
 
                 to_messages_file=None,
102
 
                 klass=None):
103
 
        """Setup the stack with the parameters the progress bars should have."""
104
 
        if to_file is None:
105
 
            to_file = sys.stderr
106
 
        if to_messages_file is None:
107
 
            to_messages_file = sys.stdout
108
 
        self._to_file = to_file
109
 
        self._show_pct = show_pct
110
 
        self._show_spinner = show_spinner
111
 
        self._show_eta = show_eta
112
 
        self._show_bar = show_bar
113
 
        self._show_count = show_count
114
 
        self._to_messages_file = to_messages_file
115
 
        self._stack = []
116
 
        self._klass = klass or ProgressBar
117
 
 
118
 
    def top(self):
119
 
        if len(self._stack) != 0:
120
 
            return self._stack[-1]
121
 
        else:
122
 
            return None
123
 
 
124
 
    def bottom(self):
125
 
        if len(self._stack) != 0:
126
 
            return self._stack[0]
127
 
        else:
128
 
            return None
129
 
 
130
 
    def get_nested(self):
131
 
        """Return a nested progress bar."""
132
 
        if len(self._stack) == 0:
133
 
            func = self._klass
134
 
        else:
135
 
            func = self.top().child_progress
136
 
        new_bar = func(to_file=self._to_file,
137
 
                       show_pct=self._show_pct,
138
 
                       show_spinner=self._show_spinner,
139
 
                       show_eta=self._show_eta,
140
 
                       show_bar=self._show_bar,
141
 
                       show_count=self._show_count,
142
 
                       to_messages_file=self._to_messages_file,
143
 
                       _stack=self)
144
 
        self._stack.append(new_bar)
145
 
        return new_bar
146
 
 
147
 
    def return_pb(self, bar):
148
 
        """Return bar after its been used."""
149
 
        if bar is not self._stack[-1]:
150
 
            raise errors.MissingProgressBarFinish()
151
 
        self._stack.pop()
152
 
 
153
 
 
 
168
 
154
169
class _BaseProgressBar(object):
155
170
 
156
171
    def __init__(self,
197
212
        self.to_messages_file.write(fmt_string % args)
198
213
        self.to_messages_file.write('\n')
199
214
 
 
215
    @deprecated_function(deprecated_in((1, 16, 0)))
200
216
    def child_progress(self, **kwargs):
201
217
        return ChildProgress(**kwargs)
202
218
 
206
222
 
207
223
    This can be used as the default argument for methods that
208
224
    take an optional progress indicator."""
 
225
 
209
226
    def tick(self):
210
227
        pass
211
228
 
217
234
 
218
235
    def clear(self):
219
236
        pass
220
 
        
 
237
 
221
238
    def note(self, fmt_string, *args, **kwargs):
222
239
        """See _BaseProgressBar.note()."""
223
240
 
225
242
        return DummyProgress(**kwargs)
226
243
 
227
244
 
228
 
_progress_bar_types['dummy'] = DummyProgress
229
 
_progress_bar_types['none'] = DummyProgress
230
 
 
231
 
 
232
245
class DotsProgressBar(_BaseProgressBar):
233
246
 
 
247
    @deprecated_function(deprecated_in((1, 16, 0)))
234
248
    def __init__(self, **kwargs):
235
249
        _BaseProgressBar.__init__(self, **kwargs)
236
250
        self.last_msg = None
237
251
        self.need_nl = False
238
 
        
 
252
 
239
253
    def tick(self):
240
254
        self.update()
241
 
        
 
255
 
242
256
    def update(self, msg=None, current_cnt=None, total_cnt=None):
243
257
        if msg and msg != self.last_msg:
244
258
            if self.need_nl:
247
261
            self.last_msg = msg
248
262
        self.need_nl = True
249
263
        self.to_file.write('.')
250
 
        
 
264
 
251
265
    def clear(self):
252
266
        if self.need_nl:
253
267
            self.to_file.write('\n')
254
268
        self.need_nl = False
255
 
        
 
269
 
256
270
    def child_update(self, message, current, total):
257
271
        self.tick()
258
272
 
259
273
 
260
 
_progress_bar_types['dots'] = DotsProgressBar
261
 
 
262
 
    
263
274
class TTYProgressBar(_BaseProgressBar):
264
275
    """Progress bar display object.
265
276
 
282
293
    """
283
294
    SPIN_CHARS = r'/-\|'
284
295
 
285
 
 
 
296
    @deprecated_function(deprecated_in((1, 16, 0)))
286
297
    def __init__(self, **kwargs):
287
298
        from bzrlib.osutils import terminal_width
288
299
        _BaseProgressBar.__init__(self, **kwargs)
292
303
        self._max_last_updates = 10
293
304
        self.child_fraction = 0
294
305
        self._have_output = False
295
 
    
 
306
 
296
307
    def throttle(self, old_msg):
297
308
        """Return True if the bar was updated too recently"""
298
309
        # time.time consistently takes 40/4000 ms = 0.01 ms.
312
323
        self.last_updates = self.last_updates[-self._max_last_updates:]
313
324
        self.last_update = now
314
325
        return False
315
 
        
 
326
 
316
327
    def tick(self):
317
328
        self.update(self.last_msg, self.last_cnt, self.last_total,
318
329
                    self.child_fraction)
329
340
        self.tick()
330
341
 
331
342
    def update(self, msg, current_cnt=None, total_cnt=None,
332
 
               child_fraction=0):
333
 
        """Update and redraw progress bar."""
 
343
            child_fraction=0):
 
344
        """Update and redraw progress bar.
 
345
        """
334
346
        if msg is None:
335
347
            msg = self.last_msg
336
348
 
339
351
 
340
352
        if current_cnt < 0:
341
353
            current_cnt = 0
342
 
            
 
354
 
343
355
        if current_cnt > total_cnt:
344
356
            total_cnt = current_cnt
345
 
        
346
 
        ## # optional corner case optimisation 
 
357
 
 
358
        ## # optional corner case optimisation
347
359
        ## # currently does not seem to fire so costs more than saved.
348
360
        ## # trivial optimal case:
349
361
        ## # NB if callers are doing a clear and restore with
356
368
        ##     self.child_fraction == child_fraction):
357
369
        ##     return
358
370
 
 
371
        if msg is None:
 
372
            msg = ''
 
373
 
359
374
        old_msg = self.last_msg
360
375
        # save these for the tick() function
361
376
        self.last_msg = msg
363
378
        self.last_total = total_cnt
364
379
        self.child_fraction = child_fraction
365
380
 
366
 
        # each function call takes 20ms/4000 = 0.005 ms, 
 
381
        # each function call takes 20ms/4000 = 0.005 ms,
367
382
        # but multiple that by 4000 calls -> starts to cost.
368
383
        # so anything to make this function call faster
369
384
        # will improve base 'diff' time by up to 0.1 seconds.
371
386
            return
372
387
 
373
388
        if self.show_eta and self.start_time and self.last_total:
374
 
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
 
389
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction,
375
390
                    self.last_total, last_updates = self.last_updates)
376
391
            eta_str = " " + str_tdelta(eta)
377
392
        else:
378
393
            eta_str = ""
379
394
 
380
395
        if self.show_spinner:
381
 
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '            
 
396
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '
382
397
        else:
383
398
            spin_str = ''
384
399
 
401
416
            # make both fields the same size
402
417
            t = '%i' % (self.last_total)
403
418
            c = '%*i' % (len(t), self.last_cnt)
404
 
            count_str = ' ' + c + '/' + t 
 
419
            count_str = ' ' + c + '/' + t
405
420
 
406
421
        if self.show_bar:
407
422
            # progress bar, if present, soaks up all remaining space
410
425
 
411
426
            if self.last_total:
412
427
                # number of markers highlighted in bar
413
 
                markers = int(round(float(cols) * 
 
428
                markers = int(round(float(cols) *
414
429
                              (self.last_cnt + self.child_fraction) / self.last_total))
415
430
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
416
431
            elif False:
418
433
                # so just show an expanded spinning thingy
419
434
                m = self.spin_pos % cols
420
435
                ms = (' ' * m + '*').ljust(cols)
421
 
                
 
436
 
422
437
                bar_str = '[' + ms + '] '
423
438
            else:
424
439
                bar_str = ''
425
440
        else:
426
441
            bar_str = ''
427
442
 
428
 
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
 
443
        m = spin_str + bar_str + self.last_msg + count_str \
 
444
            + pct_str + eta_str
429
445
        self.to_file.write('\r%-*.*s' % (self.width - 1, self.width - 1, m))
430
446
        self._have_output = True
431
447
        #self.to_file.flush()
432
 
            
 
448
 
433
449
    def clear(self):
434
450
        if self._have_output:
435
451
            self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
436
452
        self._have_output = False
437
 
        #self.to_file.flush()        
438
 
 
439
 
 
440
 
_progress_bar_types['tty'] = TTYProgressBar
 
453
        #self.to_file.flush()
441
454
 
442
455
 
443
456
class ChildProgress(_BaseProgressBar):
444
457
    """A progress indicator that pushes its data to the parent"""
445
458
 
 
459
    @deprecated_function(deprecated_in((1, 16, 0)))
446
460
    def __init__(self, _stack, **kwargs):
447
461
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
448
462
        self.parent = _stack.top()
484
498
        self.parent.note(*args, **kwargs)
485
499
 
486
500
 
487
 
class InstrumentedProgress(TTYProgressBar):
488
 
    """TTYProgress variant that tracks outcomes"""
489
 
 
490
 
    def __init__(self, *args, **kwargs):
491
 
        self.always_throttled = True
492
 
        self.never_throttle = False
493
 
        TTYProgressBar.__init__(self, *args, **kwargs)
494
 
 
495
 
    def throttle(self, old_message):
496
 
        if self.never_throttle:
497
 
            result =  False
498
 
        else:
499
 
            result = TTYProgressBar.throttle(self, old_message)
500
 
        if result is False:
501
 
            self.always_throttled = False
502
 
 
503
 
 
504
501
def str_tdelta(delt):
505
502
    if delt is None:
506
503
        return "-:--:--"
527
524
 
528
525
    if elapsed < 2.0:                   # not enough time to estimate
529
526
        return None
530
 
    
 
527
 
531
528
    total_duration = float(elapsed) * float(total) / float(current)
532
529
 
533
530
    if last_updates and len(last_updates) >= n_recent:
557
554
        else:
558
555
            self.cur_phase += 1
559
556
        self.pb.update(self.message, self.cur_phase, self.total)
 
557
 
 
558
 
 
559
_progress_bar_types = {}
 
560
_progress_bar_types['dummy'] = DummyProgress
 
561
_progress_bar_types['none'] = DummyProgress
 
562
_progress_bar_types['tty'] = TTYProgressBar
 
563
_progress_bar_types['dots'] = DotsProgressBar