~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: John Arbash Meinel
  • Date: 2008-06-08 17:00:25 UTC
  • mto: This revision was merged to the branch mainline in revision 3497.
  • Revision ID: john@arbash-meinel.com-20080608170025-6jd29enxnk3d5sy9
Finish fix for bug #125784. need_read/write_lock decorators should attempt to raise an original exception.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
 
2
# Copyright (C) 2005, 2006 Canonical Ltd
 
3
#
 
4
# This program is free software; you can redistribute it and/or modify
 
5
# it under the terms of the GNU General Public License as published by
 
6
# the Free Software Foundation; either version 2 of the License, or
 
7
# (at your option) any later version.
 
8
#
 
9
# This program is distributed in the hope that it will be useful,
 
10
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
11
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
12
# GNU General Public License for more details.
 
13
#
 
14
# You should have received a copy of the GNU General Public License
 
15
# along with this program; if not, write to the Free Software
 
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
17
 
 
18
 
 
19
"""Progress indicators.
 
20
 
 
21
The usual way to use this is via bzrlib.ui.ui_factory.nested_progress_bar which
 
22
will maintain a ProgressBarStack for you.
 
23
 
 
24
For direct use, the factory ProgressBar will return an auto-detected progress
 
25
bar that should match your terminal type. You can manually create a
 
26
ProgressBarStack too if you need multiple levels of cooperating progress bars.
 
27
Note that bzrlib's internal functions use the ui module, so if you are using
 
28
bzrlib it really is best to use bzrlib.ui.ui_factory.
 
29
"""
 
30
 
 
31
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
 
32
# when the rate is unpredictable
 
33
 
 
34
import sys
 
35
import time
 
36
import os
 
37
 
 
38
from bzrlib.lazy_import import lazy_import
 
39
lazy_import(globals(), """
 
40
from bzrlib import (
 
41
    errors,
 
42
    )
 
43
""")
 
44
 
 
45
from bzrlib.trace import mutter
 
46
 
 
47
 
 
48
def _supports_progress(f):
 
49
    """Detect if we can use pretty progress bars on the output stream f.
 
50
 
 
51
    If this returns true we expect that a human may be looking at that 
 
52
    output, and that we can repaint a line to update it.
 
53
    """
 
54
    isatty = getattr(f, 'isatty', None)
 
55
    if isatty is None:
 
56
        return False
 
57
    if not isatty():
 
58
        return False
 
59
    if os.environ.get('TERM') == 'dumb':
 
60
        # e.g. emacs compile window
 
61
        return False
 
62
    return True
 
63
 
 
64
 
 
65
_progress_bar_types = {}
 
66
 
 
67
 
 
68
def ProgressBar(to_file=None, **kwargs):
 
69
    """Abstract factory"""
 
70
    if to_file is None:
 
71
        to_file = sys.stderr
 
72
    requested_bar_type = os.environ.get('BZR_PROGRESS_BAR')
 
73
    # An value of '' or not set reverts to standard processing
 
74
    if requested_bar_type in (None, ''):
 
75
        if _supports_progress(to_file):
 
76
            return TTYProgressBar(to_file=to_file, **kwargs)
 
77
        else:
 
78
            return DummyProgress(to_file=to_file, **kwargs)
 
79
    else:
 
80
        # Minor sanitation to prevent spurious errors
 
81
        requested_bar_type = requested_bar_type.lower().strip()
 
82
        # TODO: jam 20060710 Arguably we shouldn't raise an exception
 
83
        #       but should instead just disable progress bars if we
 
84
        #       don't recognize the type
 
85
        if requested_bar_type not in _progress_bar_types:
 
86
            raise errors.InvalidProgressBarType(requested_bar_type,
 
87
                                                _progress_bar_types.keys())
 
88
        return _progress_bar_types[requested_bar_type](to_file=to_file, **kwargs)
 
89
 
 
90
 
 
91
class ProgressBarStack(object):
 
92
    """A stack of progress bars."""
 
93
 
 
94
    def __init__(self,
 
95
                 to_file=None,
 
96
                 show_pct=False,
 
97
                 show_spinner=True,
 
98
                 show_eta=False,
 
99
                 show_bar=True,
 
100
                 show_count=True,
 
101
                 to_messages_file=None,
 
102
                 klass=None):
 
103
        """Setup the stack with the parameters the progress bars should have."""
 
104
        if to_file is None:
 
105
            to_file = sys.stderr
 
106
        if to_messages_file is None:
 
107
            to_messages_file = sys.stdout
 
108
        self._to_file = to_file
 
109
        self._show_pct = show_pct
 
110
        self._show_spinner = show_spinner
 
111
        self._show_eta = show_eta
 
112
        self._show_bar = show_bar
 
113
        self._show_count = show_count
 
114
        self._to_messages_file = to_messages_file
 
115
        self._stack = []
 
116
        self._klass = klass or ProgressBar
 
117
 
 
118
    def top(self):
 
119
        if len(self._stack) != 0:
 
120
            return self._stack[-1]
 
121
        else:
 
122
            return None
 
123
 
 
124
    def bottom(self):
 
125
        if len(self._stack) != 0:
 
126
            return self._stack[0]
 
127
        else:
 
128
            return None
 
129
 
 
130
    def get_nested(self):
 
131
        """Return a nested progress bar."""
 
132
        if len(self._stack) == 0:
 
133
            func = self._klass
 
134
        else:
 
135
            func = self.top().child_progress
 
136
        new_bar = func(to_file=self._to_file,
 
137
                       show_pct=self._show_pct,
 
138
                       show_spinner=self._show_spinner,
 
139
                       show_eta=self._show_eta,
 
140
                       show_bar=self._show_bar,
 
141
                       show_count=self._show_count,
 
142
                       to_messages_file=self._to_messages_file,
 
143
                       _stack=self)
 
144
        self._stack.append(new_bar)
 
145
        return new_bar
 
146
 
 
147
    def return_pb(self, bar):
 
148
        """Return bar after its been used."""
 
149
        if bar is not self._stack[-1]:
 
150
            raise errors.MissingProgressBarFinish()
 
151
        self._stack.pop()
 
152
 
 
153
 
 
154
class _BaseProgressBar(object):
 
155
 
 
156
    def __init__(self,
 
157
                 to_file=None,
 
158
                 show_pct=False,
 
159
                 show_spinner=False,
 
160
                 show_eta=False,
 
161
                 show_bar=True,
 
162
                 show_count=True,
 
163
                 to_messages_file=None,
 
164
                 _stack=None):
 
165
        object.__init__(self)
 
166
        if to_file is None:
 
167
            to_file = sys.stderr
 
168
        if to_messages_file is None:
 
169
            to_messages_file = sys.stdout
 
170
        self.to_file = to_file
 
171
        self.to_messages_file = to_messages_file
 
172
        self.last_msg = None
 
173
        self.last_cnt = None
 
174
        self.last_total = None
 
175
        self.show_pct = show_pct
 
176
        self.show_spinner = show_spinner
 
177
        self.show_eta = show_eta
 
178
        self.show_bar = show_bar
 
179
        self.show_count = show_count
 
180
        self._stack = _stack
 
181
        # seed throttler
 
182
        self.MIN_PAUSE = 0.1 # seconds
 
183
        now = time.time()
 
184
        # starting now
 
185
        self.start_time = now
 
186
        # next update should not throttle
 
187
        self.last_update = now - self.MIN_PAUSE - 1
 
188
 
 
189
    def finished(self):
 
190
        """Return this bar to its progress stack."""
 
191
        self.clear()
 
192
        assert self._stack is not None
 
193
        self._stack.return_pb(self)
 
194
 
 
195
    def note(self, fmt_string, *args, **kwargs):
 
196
        """Record a note without disrupting the progress bar."""
 
197
        self.clear()
 
198
        self.to_messages_file.write(fmt_string % args)
 
199
        self.to_messages_file.write('\n')
 
200
 
 
201
    def child_progress(self, **kwargs):
 
202
        return ChildProgress(**kwargs)
 
203
 
 
204
 
 
205
class DummyProgress(_BaseProgressBar):
 
206
    """Progress-bar standin that does nothing.
 
207
 
 
208
    This can be used as the default argument for methods that
 
209
    take an optional progress indicator."""
 
210
    def tick(self):
 
211
        pass
 
212
 
 
213
    def update(self, msg=None, current=None, total=None):
 
214
        pass
 
215
 
 
216
    def child_update(self, message, current, total):
 
217
        pass
 
218
 
 
219
    def clear(self):
 
220
        pass
 
221
        
 
222
    def note(self, fmt_string, *args, **kwargs):
 
223
        """See _BaseProgressBar.note()."""
 
224
 
 
225
    def child_progress(self, **kwargs):
 
226
        return DummyProgress(**kwargs)
 
227
 
 
228
 
 
229
_progress_bar_types['dummy'] = DummyProgress
 
230
_progress_bar_types['none'] = DummyProgress
 
231
 
 
232
 
 
233
class DotsProgressBar(_BaseProgressBar):
 
234
 
 
235
    def __init__(self, **kwargs):
 
236
        _BaseProgressBar.__init__(self, **kwargs)
 
237
        self.last_msg = None
 
238
        self.need_nl = False
 
239
        
 
240
    def tick(self):
 
241
        self.update()
 
242
        
 
243
    def update(self, msg=None, current_cnt=None, total_cnt=None):
 
244
        if msg and msg != self.last_msg:
 
245
            if self.need_nl:
 
246
                self.to_file.write('\n')
 
247
            self.to_file.write(msg + ': ')
 
248
            self.last_msg = msg
 
249
        self.need_nl = True
 
250
        self.to_file.write('.')
 
251
        
 
252
    def clear(self):
 
253
        if self.need_nl:
 
254
            self.to_file.write('\n')
 
255
        self.need_nl = False
 
256
        
 
257
    def child_update(self, message, current, total):
 
258
        self.tick()
 
259
 
 
260
 
 
261
_progress_bar_types['dots'] = DotsProgressBar
 
262
 
 
263
    
 
264
class TTYProgressBar(_BaseProgressBar):
 
265
    """Progress bar display object.
 
266
 
 
267
    Several options are available to control the display.  These can
 
268
    be passed as parameters to the constructor or assigned at any time:
 
269
 
 
270
    show_pct
 
271
        Show percentage complete.
 
272
    show_spinner
 
273
        Show rotating baton.  This ticks over on every update even
 
274
        if the values don't change.
 
275
    show_eta
 
276
        Show predicted time-to-completion.
 
277
    show_bar
 
278
        Show bar graph.
 
279
    show_count
 
280
        Show numerical counts.
 
281
 
 
282
    The output file should be in line-buffered or unbuffered mode.
 
283
    """
 
284
    SPIN_CHARS = r'/-\|'
 
285
 
 
286
 
 
287
    def __init__(self, **kwargs):
 
288
        from bzrlib.osutils import terminal_width
 
289
        _BaseProgressBar.__init__(self, **kwargs)
 
290
        self.spin_pos = 0
 
291
        self.width = terminal_width()
 
292
        self.last_updates = []
 
293
        self._max_last_updates = 10
 
294
        self.child_fraction = 0
 
295
        self._have_output = False
 
296
    
 
297
    def throttle(self, old_msg):
 
298
        """Return True if the bar was updated too recently"""
 
299
        # time.time consistently takes 40/4000 ms = 0.01 ms.
 
300
        # time.clock() is faster, but gives us CPU time, not wall-clock time
 
301
        now = time.time()
 
302
        if self.start_time is not None and (now - self.start_time) < 1:
 
303
            return True
 
304
        if old_msg != self.last_msg:
 
305
            return False
 
306
        interval = now - self.last_update
 
307
        # if interval > 0
 
308
        if interval < self.MIN_PAUSE:
 
309
            return True
 
310
 
 
311
        self.last_updates.append(now - self.last_update)
 
312
        # Don't let the queue grow without bound
 
313
        self.last_updates = self.last_updates[-self._max_last_updates:]
 
314
        self.last_update = now
 
315
        return False
 
316
        
 
317
    def tick(self):
 
318
        self.update(self.last_msg, self.last_cnt, self.last_total,
 
319
                    self.child_fraction)
 
320
 
 
321
    def child_update(self, message, current, total):
 
322
        if current is not None and total != 0:
 
323
            child_fraction = float(current) / total
 
324
            if self.last_cnt is None:
 
325
                pass
 
326
            elif self.last_cnt + child_fraction <= self.last_total:
 
327
                self.child_fraction = child_fraction
 
328
            else:
 
329
                mutter('not updating child fraction')
 
330
        if self.last_msg is None:
 
331
            self.last_msg = ''
 
332
        self.tick()
 
333
 
 
334
    def update(self, msg, current_cnt=None, total_cnt=None,
 
335
               child_fraction=0):
 
336
        """Update and redraw progress bar."""
 
337
        if msg is None:
 
338
            msg = self.last_msg
 
339
 
 
340
        if total_cnt is None:
 
341
            total_cnt = self.last_total
 
342
 
 
343
        if current_cnt < 0:
 
344
            current_cnt = 0
 
345
            
 
346
        if current_cnt > total_cnt:
 
347
            total_cnt = current_cnt
 
348
        
 
349
        ## # optional corner case optimisation 
 
350
        ## # currently does not seem to fire so costs more than saved.
 
351
        ## # trivial optimal case:
 
352
        ## # NB if callers are doing a clear and restore with
 
353
        ## # the saved values, this will prevent that:
 
354
        ## # in that case add a restore method that calls
 
355
        ## # _do_update or some such
 
356
        ## if (self.last_msg == msg and
 
357
        ##     self.last_cnt == current_cnt and
 
358
        ##     self.last_total == total_cnt and
 
359
        ##     self.child_fraction == child_fraction):
 
360
        ##     return
 
361
 
 
362
        old_msg = self.last_msg
 
363
        # save these for the tick() function
 
364
        self.last_msg = msg
 
365
        self.last_cnt = current_cnt
 
366
        self.last_total = total_cnt
 
367
        self.child_fraction = child_fraction
 
368
 
 
369
        # each function call takes 20ms/4000 = 0.005 ms, 
 
370
        # but multiple that by 4000 calls -> starts to cost.
 
371
        # so anything to make this function call faster
 
372
        # will improve base 'diff' time by up to 0.1 seconds.
 
373
        if self.throttle(old_msg):
 
374
            return
 
375
 
 
376
        if self.show_eta and self.start_time and self.last_total:
 
377
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
 
378
                    self.last_total, last_updates = self.last_updates)
 
379
            eta_str = " " + str_tdelta(eta)
 
380
        else:
 
381
            eta_str = ""
 
382
 
 
383
        if self.show_spinner:
 
384
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '            
 
385
        else:
 
386
            spin_str = ''
 
387
 
 
388
        # always update this; it's also used for the bar
 
389
        self.spin_pos += 1
 
390
 
 
391
        if self.show_pct and self.last_total and self.last_cnt:
 
392
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
 
393
            pct_str = ' (%5.1f%%)' % pct
 
394
        else:
 
395
            pct_str = ''
 
396
 
 
397
        if not self.show_count:
 
398
            count_str = ''
 
399
        elif self.last_cnt is None:
 
400
            count_str = ''
 
401
        elif self.last_total is None:
 
402
            count_str = ' %i' % (self.last_cnt)
 
403
        else:
 
404
            # make both fields the same size
 
405
            t = '%i' % (self.last_total)
 
406
            c = '%*i' % (len(t), self.last_cnt)
 
407
            count_str = ' ' + c + '/' + t 
 
408
 
 
409
        if self.show_bar:
 
410
            # progress bar, if present, soaks up all remaining space
 
411
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
 
412
                   - len(eta_str) - len(count_str) - 3
 
413
 
 
414
            if self.last_total:
 
415
                # number of markers highlighted in bar
 
416
                markers = int(round(float(cols) * 
 
417
                              (self.last_cnt + self.child_fraction) / self.last_total))
 
418
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
 
419
            elif False:
 
420
                # don't know total, so can't show completion.
 
421
                # so just show an expanded spinning thingy
 
422
                m = self.spin_pos % cols
 
423
                ms = (' ' * m + '*').ljust(cols)
 
424
                
 
425
                bar_str = '[' + ms + '] '
 
426
            else:
 
427
                bar_str = ''
 
428
        else:
 
429
            bar_str = ''
 
430
 
 
431
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
 
432
        self.to_file.write('\r%-*.*s' % (self.width - 1, self.width - 1, m))
 
433
        self._have_output = True
 
434
        #self.to_file.flush()
 
435
            
 
436
    def clear(self):
 
437
        if self._have_output:
 
438
            self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
 
439
        self._have_output = False
 
440
        #self.to_file.flush()        
 
441
 
 
442
 
 
443
_progress_bar_types['tty'] = TTYProgressBar
 
444
 
 
445
 
 
446
class ChildProgress(_BaseProgressBar):
 
447
    """A progress indicator that pushes its data to the parent"""
 
448
 
 
449
    def __init__(self, _stack, **kwargs):
 
450
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
 
451
        self.parent = _stack.top()
 
452
        self.current = None
 
453
        self.total = None
 
454
        self.child_fraction = 0
 
455
        self.message = None
 
456
 
 
457
    def update(self, msg, current_cnt=None, total_cnt=None):
 
458
        self.current = current_cnt
 
459
        if total_cnt is not None:
 
460
            self.total = total_cnt
 
461
        self.message = msg
 
462
        self.child_fraction = 0
 
463
        self.tick()
 
464
 
 
465
    def child_update(self, message, current, total):
 
466
        if current is None or total == 0:
 
467
            self.child_fraction = 0
 
468
        else:
 
469
            self.child_fraction = float(current) / total
 
470
        self.tick()
 
471
 
 
472
    def tick(self):
 
473
        if self.current is None:
 
474
            count = None
 
475
        else:
 
476
            count = self.current+self.child_fraction
 
477
            if count > self.total:
 
478
                if __debug__:
 
479
                    mutter('clamping count of %d to %d' % (count, self.total))
 
480
                count = self.total
 
481
        self.parent.child_update(self.message, count, self.total)
 
482
 
 
483
    def clear(self):
 
484
        pass
 
485
 
 
486
    def note(self, *args, **kwargs):
 
487
        self.parent.note(*args, **kwargs)
 
488
 
 
489
 
 
490
class InstrumentedProgress(TTYProgressBar):
 
491
    """TTYProgress variant that tracks outcomes"""
 
492
 
 
493
    def __init__(self, *args, **kwargs):
 
494
        self.always_throttled = True
 
495
        self.never_throttle = False
 
496
        TTYProgressBar.__init__(self, *args, **kwargs)
 
497
 
 
498
    def throttle(self, old_message):
 
499
        if self.never_throttle:
 
500
            result =  False
 
501
        else:
 
502
            result = TTYProgressBar.throttle(self, old_message)
 
503
        if result is False:
 
504
            self.always_throttled = False
 
505
 
 
506
 
 
507
def str_tdelta(delt):
 
508
    if delt is None:
 
509
        return "-:--:--"
 
510
    delt = int(round(delt))
 
511
    return '%d:%02d:%02d' % (delt/3600,
 
512
                             (delt/60) % 60,
 
513
                             delt % 60)
 
514
 
 
515
 
 
516
def get_eta(start_time, current, total, enough_samples=3, last_updates=None, n_recent=10):
 
517
    if start_time is None:
 
518
        return None
 
519
 
 
520
    if not total:
 
521
        return None
 
522
 
 
523
    if current < enough_samples:
 
524
        return None
 
525
 
 
526
    if current > total:
 
527
        return None                     # wtf?
 
528
 
 
529
    elapsed = time.time() - start_time
 
530
 
 
531
    if elapsed < 2.0:                   # not enough time to estimate
 
532
        return None
 
533
    
 
534
    total_duration = float(elapsed) * float(total) / float(current)
 
535
 
 
536
    assert total_duration >= elapsed
 
537
 
 
538
    if last_updates and len(last_updates) >= n_recent:
 
539
        avg = sum(last_updates) / float(len(last_updates))
 
540
        time_left = avg * (total - current)
 
541
 
 
542
        old_time_left = total_duration - elapsed
 
543
 
 
544
        # We could return the average, or some other value here
 
545
        return (time_left + old_time_left) / 2
 
546
 
 
547
    return total_duration - elapsed
 
548
 
 
549
 
 
550
class ProgressPhase(object):
 
551
    """Update progress object with the current phase"""
 
552
    def __init__(self, message, total, pb):
 
553
        object.__init__(self)
 
554
        self.pb = pb
 
555
        self.message = message
 
556
        self.total = total
 
557
        self.cur_phase = None
 
558
 
 
559
    def next_phase(self):
 
560
        if self.cur_phase is None:
 
561
            self.cur_phase = 0
 
562
        else:
 
563
            self.cur_phase += 1
 
564
        assert self.cur_phase < self.total
 
565
        self.pb.update(self.message, self.cur_phase, self.total)