~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: mbp at sourcefrog
  • Date: 2005-03-09 04:51:05 UTC
  • Revision ID: mbp@sourcefrog.net-20050309045105-d02cd410a115da2c
import all docs from arch

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
2
 
# Copyright (C) 2005, 2006 Canonical <canonical.com>
3
 
#
4
 
#    This program is free software; you can redistribute it and/or modify
5
 
#    it under the terms of the GNU General Public License as published by
6
 
#    the Free Software Foundation; either version 2 of the License, or
7
 
#    (at your option) any later version.
8
 
#
9
 
#    This program is distributed in the hope that it will be useful,
10
 
#    but WITHOUT ANY WARRANTY; without even the implied warranty of
11
 
#    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12
 
#    GNU General Public License for more details.
13
 
#
14
 
#    You should have received a copy of the GNU General Public License
15
 
#    along with this program; if not, write to the Free Software
16
 
#    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
 
 
18
 
 
19
 
"""Simple text-mode progress indicator.
20
 
 
21
 
To display an indicator, create a ProgressBar object.  Call it,
22
 
passing Progress objects indicating the current state.  When done,
23
 
call clear().
24
 
 
25
 
Progress is suppressed when output is not sent to a terminal, so as
26
 
not to clutter log files.
27
 
"""
28
 
 
29
 
# TODO: should be a global option e.g. --silent that disables progress
30
 
# indicators, preferably without needing to adjust all code that
31
 
# potentially calls them.
32
 
 
33
 
# TODO: If not on a tty perhaps just print '......' for the benefit of IDEs, etc
34
 
 
35
 
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
36
 
# when the rate is unpredictable
37
 
 
38
 
 
39
 
import sys
40
 
import time
41
 
import os
42
 
from collections import deque
43
 
 
44
 
 
45
 
import bzrlib.errors as errors
46
 
from bzrlib.trace import mutter 
47
 
 
48
 
 
49
 
def _supports_progress(f):
50
 
    if not hasattr(f, 'isatty'):
51
 
        return False
52
 
    if not f.isatty():
53
 
        return False
54
 
    if os.environ.get('TERM') == 'dumb':
55
 
        # e.g. emacs compile window
56
 
        return False
57
 
    return True
58
 
 
59
 
 
60
 
 
61
 
def ProgressBar(to_file=None, **kwargs):
62
 
    """Abstract factory"""
63
 
    if to_file is None:
64
 
        to_file = sys.stderr
65
 
    if _supports_progress(to_file):
66
 
        return TTYProgressBar(to_file=to_file, **kwargs)
67
 
    else:
68
 
        return DotsProgressBar(to_file=to_file, **kwargs)
69
 
    
70
 
 
71
 
class ProgressBarStack(object):
72
 
    """A stack of progress bars."""
73
 
 
74
 
    def __init__(self,
75
 
                 to_file=None,
76
 
                 show_pct=False,
77
 
                 show_spinner=True,
78
 
                 show_eta=False,
79
 
                 show_bar=True,
80
 
                 show_count=True,
81
 
                 to_messages_file=None,
82
 
                 klass=None):
83
 
        """Setup the stack with the parameters the progress bars should have."""
84
 
        if to_file is None:
85
 
            to_file = sys.stderr
86
 
        if to_messages_file is None:
87
 
            to_messages_file = sys.stdout
88
 
        self._to_file = to_file
89
 
        self._show_pct = show_pct
90
 
        self._show_spinner = show_spinner
91
 
        self._show_eta = show_eta
92
 
        self._show_bar = show_bar
93
 
        self._show_count = show_count
94
 
        self._to_messages_file = to_messages_file
95
 
        self._stack = []
96
 
        self._klass = klass or TTYProgressBar
97
 
 
98
 
    def top(self):
99
 
        if len(self._stack) != 0:
100
 
            return self._stack[-1]
101
 
        else:
102
 
            return None
103
 
 
104
 
    def bottom(self):
105
 
        if len(self._stack) != 0:
106
 
            return self._stack[0]
107
 
        else:
108
 
            return None
109
 
 
110
 
    def get_nested(self):
111
 
        """Return a nested progress bar."""
112
 
        if len(self._stack) == 0:
113
 
            func = self._klass
114
 
        else:
115
 
            func = self.top().child_progress
116
 
        new_bar = func(to_file=self._to_file,
117
 
                       show_pct=self._show_pct,
118
 
                       show_spinner=self._show_spinner,
119
 
                       show_eta=self._show_eta,
120
 
                       show_bar=self._show_bar,
121
 
                       show_count=self._show_count,
122
 
                       to_messages_file=self._to_messages_file,
123
 
                       _stack=self)
124
 
        self._stack.append(new_bar)
125
 
        return new_bar
126
 
 
127
 
    def return_pb(self, bar):
128
 
        """Return bar after its been used."""
129
 
        if bar is not self._stack[-1]:
130
 
            raise errors.MissingProgressBarFinish()
131
 
        self._stack.pop()
132
 
 
133
 
 
134
 
class _BaseProgressBar(object):
135
 
 
136
 
    def __init__(self,
137
 
                 to_file=None,
138
 
                 show_pct=False,
139
 
                 show_spinner=False,
140
 
                 show_eta=False,
141
 
                 show_bar=True,
142
 
                 show_count=True,
143
 
                 to_messages_file=None,
144
 
                 _stack=None):
145
 
        object.__init__(self)
146
 
        if to_file is None:
147
 
            to_file = sys.stderr
148
 
        if to_messages_file is None:
149
 
            to_messages_file = sys.stdout
150
 
        self.to_file = to_file
151
 
        self.to_messages_file = to_messages_file
152
 
        self.last_msg = None
153
 
        self.last_cnt = None
154
 
        self.last_total = None
155
 
        self.show_pct = show_pct
156
 
        self.show_spinner = show_spinner
157
 
        self.show_eta = show_eta
158
 
        self.show_bar = show_bar
159
 
        self.show_count = show_count
160
 
        self._stack = _stack
161
 
        # seed throttler
162
 
        self.MIN_PAUSE = 0.1 # seconds
163
 
        now = time.clock()
164
 
        # starting now
165
 
        self.start_time = now
166
 
        # next update should not throttle
167
 
        self.last_update = now - self.MIN_PAUSE - 1
168
 
 
169
 
    def finished(self):
170
 
        """Return this bar to its progress stack."""
171
 
        self.clear()
172
 
        assert self._stack is not None
173
 
        self._stack.return_pb(self)
174
 
 
175
 
    def note(self, fmt_string, *args, **kwargs):
176
 
        """Record a note without disrupting the progress bar."""
177
 
        self.clear()
178
 
        self.to_messages_file.write(fmt_string % args)
179
 
        self.to_messages_file.write('\n')
180
 
 
181
 
    def child_progress(self, **kwargs):
182
 
        return ChildProgress(**kwargs)
183
 
 
184
 
 
185
 
class DummyProgress(_BaseProgressBar):
186
 
    """Progress-bar standin that does nothing.
187
 
 
188
 
    This can be used as the default argument for methods that
189
 
    take an optional progress indicator."""
190
 
    def tick(self):
191
 
        pass
192
 
 
193
 
    def update(self, msg=None, current=None, total=None):
194
 
        pass
195
 
 
196
 
    def child_update(self, message, current, total):
197
 
        pass
198
 
 
199
 
    def clear(self):
200
 
        pass
201
 
        
202
 
    def note(self, fmt_string, *args, **kwargs):
203
 
        """See _BaseProgressBar.note()."""
204
 
 
205
 
    def child_progress(self, **kwargs):
206
 
        return DummyProgress(**kwargs)
207
 
 
208
 
 
209
 
class DotsProgressBar(_BaseProgressBar):
210
 
 
211
 
    def __init__(self, **kwargs):
212
 
        _BaseProgressBar.__init__(self, **kwargs)
213
 
        self.last_msg = None
214
 
        self.need_nl = False
215
 
        
216
 
    def tick(self):
217
 
        self.update()
218
 
        
219
 
    def update(self, msg=None, current_cnt=None, total_cnt=None):
220
 
        if msg and msg != self.last_msg:
221
 
            if self.need_nl:
222
 
                self.to_file.write('\n')
223
 
            self.to_file.write(msg + ': ')
224
 
            self.last_msg = msg
225
 
        self.need_nl = True
226
 
        self.to_file.write('.')
227
 
        
228
 
    def clear(self):
229
 
        if self.need_nl:
230
 
            self.to_file.write('\n')
231
 
        self.need_nl = False
232
 
        
233
 
    def child_update(self, message, current, total):
234
 
        self.tick()
235
 
 
236
 
    
237
 
class TTYProgressBar(_BaseProgressBar):
238
 
    """Progress bar display object.
239
 
 
240
 
    Several options are available to control the display.  These can
241
 
    be passed as parameters to the constructor or assigned at any time:
242
 
 
243
 
    show_pct
244
 
        Show percentage complete.
245
 
    show_spinner
246
 
        Show rotating baton.  This ticks over on every update even
247
 
        if the values don't change.
248
 
    show_eta
249
 
        Show predicted time-to-completion.
250
 
    show_bar
251
 
        Show bar graph.
252
 
    show_count
253
 
        Show numerical counts.
254
 
 
255
 
    The output file should be in line-buffered or unbuffered mode.
256
 
    """
257
 
    SPIN_CHARS = r'/-\|'
258
 
 
259
 
 
260
 
    def __init__(self, **kwargs):
261
 
        from bzrlib.osutils import terminal_width
262
 
        _BaseProgressBar.__init__(self, **kwargs)
263
 
        self.spin_pos = 0
264
 
        self.width = terminal_width()
265
 
        self.last_updates = deque()
266
 
        self.child_fraction = 0
267
 
    
268
 
 
269
 
    def throttle(self, old_msg):
270
 
        """Return True if the bar was updated too recently"""
271
 
        # time.time consistently takes 40/4000 ms = 0.01 ms.
272
 
        # but every single update to the pb invokes it.
273
 
        # so we use time.clock which takes 20/4000 ms = 0.005ms
274
 
        # on the downside, time.clock() appears to have approximately
275
 
        # 10ms granularity, so we treat a zero-time change as 'throttled.'
276
 
        now = time.clock()
277
 
        if self.start_time is not None and (now - self.start_time) < 1:
278
 
            return True
279
 
        if old_msg != self.last_msg:
280
 
            return False
281
 
        interval = now - self.last_update
282
 
        # if interval > 0
283
 
        if interval < self.MIN_PAUSE:
284
 
            return True
285
 
 
286
 
        self.last_updates.append(now - self.last_update)
287
 
        self.last_update = now
288
 
        return False
289
 
        
290
 
    def tick(self):
291
 
        self.update(self.last_msg, self.last_cnt, self.last_total, 
292
 
                    self.child_fraction)
293
 
 
294
 
    def child_update(self, message, current, total):
295
 
        if current is not None and total != 0:
296
 
            child_fraction = float(current) / total
297
 
            if self.last_cnt is None:
298
 
                pass
299
 
            elif self.last_cnt + child_fraction <= self.last_total:
300
 
                self.child_fraction = child_fraction
301
 
            else:
302
 
                mutter('not updating child fraction')
303
 
        if self.last_msg is None:
304
 
            self.last_msg = ''
305
 
        self.tick()
306
 
 
307
 
    def update(self, msg, current_cnt=None, total_cnt=None, 
308
 
               child_fraction=0):
309
 
        """Update and redraw progress bar."""
310
 
        if msg is None:
311
 
            msg = self.last_msg
312
 
 
313
 
        if total_cnt is None:
314
 
            total_cnt = self.last_total
315
 
 
316
 
        if current_cnt < 0:
317
 
            current_cnt = 0
318
 
            
319
 
        if current_cnt > total_cnt:
320
 
            total_cnt = current_cnt
321
 
        
322
 
        ## # optional corner case optimisation 
323
 
        ## # currently does not seem to fire so costs more than saved.
324
 
        ## # trivial optimal case:
325
 
        ## # NB if callers are doing a clear and restore with
326
 
        ## # the saved values, this will prevent that:
327
 
        ## # in that case add a restore method that calls
328
 
        ## # _do_update or some such
329
 
        ## if (self.last_msg == msg and
330
 
        ##     self.last_cnt == current_cnt and
331
 
        ##     self.last_total == total_cnt and
332
 
        ##     self.child_fraction == child_fraction):
333
 
        ##     return
334
 
 
335
 
        old_msg = self.last_msg
336
 
        # save these for the tick() function
337
 
        self.last_msg = msg
338
 
        self.last_cnt = current_cnt
339
 
        self.last_total = total_cnt
340
 
        self.child_fraction = child_fraction
341
 
 
342
 
        # each function call takes 20ms/4000 = 0.005 ms, 
343
 
        # but multiple that by 4000 calls -> starts to cost.
344
 
        # so anything to make this function call faster
345
 
        # will improve base 'diff' time by up to 0.1 seconds.
346
 
        if self.throttle(old_msg):
347
 
            return
348
 
 
349
 
        if self.show_eta and self.start_time and self.last_total:
350
 
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
351
 
                    self.last_total, last_updates = self.last_updates)
352
 
            eta_str = " " + str_tdelta(eta)
353
 
        else:
354
 
            eta_str = ""
355
 
 
356
 
        if self.show_spinner:
357
 
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '            
358
 
        else:
359
 
            spin_str = ''
360
 
 
361
 
        # always update this; it's also used for the bar
362
 
        self.spin_pos += 1
363
 
 
364
 
        if self.show_pct and self.last_total and self.last_cnt:
365
 
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
366
 
            pct_str = ' (%5.1f%%)' % pct
367
 
        else:
368
 
            pct_str = ''
369
 
 
370
 
        if not self.show_count:
371
 
            count_str = ''
372
 
        elif self.last_cnt is None:
373
 
            count_str = ''
374
 
        elif self.last_total is None:
375
 
            count_str = ' %i' % (self.last_cnt)
376
 
        else:
377
 
            # make both fields the same size
378
 
            t = '%i' % (self.last_total)
379
 
            c = '%*i' % (len(t), self.last_cnt)
380
 
            count_str = ' ' + c + '/' + t 
381
 
 
382
 
        if self.show_bar:
383
 
            # progress bar, if present, soaks up all remaining space
384
 
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
385
 
                   - len(eta_str) - len(count_str) - 3
386
 
 
387
 
            if self.last_total:
388
 
                # number of markers highlighted in bar
389
 
                markers = int(round(float(cols) * 
390
 
                              (self.last_cnt + self.child_fraction) / self.last_total))
391
 
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
392
 
            elif False:
393
 
                # don't know total, so can't show completion.
394
 
                # so just show an expanded spinning thingy
395
 
                m = self.spin_pos % cols
396
 
                ms = (' ' * m + '*').ljust(cols)
397
 
                
398
 
                bar_str = '[' + ms + '] '
399
 
            else:
400
 
                bar_str = ''
401
 
        else:
402
 
            bar_str = ''
403
 
 
404
 
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
405
 
 
406
 
        assert len(m) < self.width
407
 
        self.to_file.write('\r' + m.ljust(self.width - 1))
408
 
        #self.to_file.flush()
409
 
            
410
 
    def clear(self):        
411
 
        self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
412
 
        #self.to_file.flush()        
413
 
 
414
 
 
415
 
class ChildProgress(_BaseProgressBar):
416
 
    """A progress indicator that pushes its data to the parent"""
417
 
 
418
 
    def __init__(self, _stack, **kwargs):
419
 
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
420
 
        self.parent = _stack.top()
421
 
        self.current = None
422
 
        self.total = None
423
 
        self.child_fraction = 0
424
 
        self.message = None
425
 
 
426
 
    def update(self, msg, current_cnt=None, total_cnt=None):
427
 
        self.current = current_cnt
428
 
        self.total = total_cnt
429
 
        self.message = msg
430
 
        self.child_fraction = 0
431
 
        self.tick()
432
 
 
433
 
    def child_update(self, message, current, total):
434
 
        if current is None or total == 0:
435
 
            self.child_fraction = 0
436
 
        else:
437
 
            self.child_fraction = float(current) / total
438
 
        self.tick()
439
 
 
440
 
    def tick(self):
441
 
        if self.current is None:
442
 
            count = None
443
 
        else:
444
 
            count = self.current+self.child_fraction
445
 
            if count > self.total:
446
 
                if __debug__:
447
 
                    mutter('clamping count of %d to %d' % (count, self.total))
448
 
                count = self.total
449
 
        self.parent.child_update(self.message, count, self.total)
450
 
 
451
 
    def clear(self):
452
 
        pass
453
 
 
454
 
    def note(self, *args, **kwargs):
455
 
        self.parent.note(*args, **kwargs)
456
 
 
457
 
 
458
 
def str_tdelta(delt):
459
 
    if delt is None:
460
 
        return "-:--:--"
461
 
    delt = int(round(delt))
462
 
    return '%d:%02d:%02d' % (delt/3600,
463
 
                             (delt/60) % 60,
464
 
                             delt % 60)
465
 
 
466
 
 
467
 
def get_eta(start_time, current, total, enough_samples=3, last_updates=None, n_recent=10):
468
 
    if start_time is None:
469
 
        return None
470
 
 
471
 
    if not total:
472
 
        return None
473
 
 
474
 
    if current < enough_samples:
475
 
        return None
476
 
 
477
 
    if current > total:
478
 
        return None                     # wtf?
479
 
 
480
 
    elapsed = time.clock() - start_time
481
 
 
482
 
    if elapsed < 2.0:                   # not enough time to estimate
483
 
        return None
484
 
    
485
 
    total_duration = float(elapsed) * float(total) / float(current)
486
 
 
487
 
    assert total_duration >= elapsed
488
 
 
489
 
    if last_updates and len(last_updates) >= n_recent:
490
 
        while len(last_updates) > n_recent:
491
 
            last_updates.popleft()
492
 
        avg = sum(last_updates) / float(len(last_updates))
493
 
        time_left = avg * (total - current)
494
 
 
495
 
        old_time_left = total_duration - elapsed
496
 
 
497
 
        # We could return the average, or some other value here
498
 
        return (time_left + old_time_left) / 2
499
 
 
500
 
    return total_duration - elapsed
501
 
 
502
 
 
503
 
class ProgressPhase(object):
504
 
    """Update progress object with the current phase"""
505
 
    def __init__(self, message, total, pb):
506
 
        object.__init__(self)
507
 
        self.pb = pb
508
 
        self.message = message
509
 
        self.total = total
510
 
        self.cur_phase = None
511
 
 
512
 
    def next_phase(self):
513
 
        if self.cur_phase is None:
514
 
            self.cur_phase = 0
515
 
        else:
516
 
            self.cur_phase += 1
517
 
        assert self.cur_phase < self.total 
518
 
        self.pb.update(self.message, self.cur_phase, self.total)
519
 
 
520
 
 
521
 
def run_tests():
522
 
    import doctest
523
 
    result = doctest.testmod()
524
 
    if result[1] > 0:
525
 
        if result[0] == 0:
526
 
            print "All tests passed"
527
 
    else:
528
 
        print "No tests to run"
529
 
 
530
 
 
531
 
def demo():
532
 
    sleep = time.sleep
533
 
    
534
 
    print 'dumb-terminal test:'
535
 
    pb = DotsProgressBar()
536
 
    for i in range(100):
537
 
        pb.update('Leoparden', i, 99)
538
 
        sleep(0.1)
539
 
    sleep(1.5)
540
 
    pb.clear()
541
 
    sleep(1.5)
542
 
    
543
 
    print 'smart-terminal test:'
544
 
    pb = ProgressBar(show_pct=True, show_bar=True, show_spinner=False)
545
 
    for i in range(100):
546
 
        pb.update('Elephanten', i, 99)
547
 
        sleep(0.1)
548
 
    sleep(2)
549
 
    pb.clear()
550
 
    sleep(1)
551
 
 
552
 
    print 'done!'
553
 
 
554
 
if __name__ == "__main__":
555
 
    demo()