~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: Robert Collins
  • Date: 2006-05-24 08:14:45 UTC
  • mfrom: (1725.1.1 benchmark)
  • mto: (1725.2.6 commit)
  • mto: This revision was merged to the branch mainline in revision 1729.
  • Revision ID: robertc@robertcollins.net-20060524081445-c046b4406ffc8dfa
(rbc)Merge in benchmark --lsprof-timed lsprofiling feature. (Robert Collins, Martin Pool).

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
 
2
# Copyright (C) 2005, 2006 Canonical <canonical.com>
 
3
#
 
4
#    This program is free software; you can redistribute it and/or modify
 
5
#    it under the terms of the GNU General Public License as published by
 
6
#    the Free Software Foundation; either version 2 of the License, or
 
7
#    (at your option) any later version.
 
8
#
 
9
#    This program is distributed in the hope that it will be useful,
 
10
#    but WITHOUT ANY WARRANTY; without even the implied warranty of
 
11
#    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
12
#    GNU General Public License for more details.
 
13
#
 
14
#    You should have received a copy of the GNU General Public License
 
15
#    along with this program; if not, write to the Free Software
 
16
#    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
17
 
 
18
 
 
19
"""Simple text-mode progress indicator.
 
20
 
 
21
To display an indicator, create a ProgressBar object.  Call it,
 
22
passing Progress objects indicating the current state.  When done,
 
23
call clear().
 
24
 
 
25
Progress is suppressed when output is not sent to a terminal, so as
 
26
not to clutter log files.
 
27
"""
 
28
 
 
29
# TODO: should be a global option e.g. --silent that disables progress
 
30
# indicators, preferably without needing to adjust all code that
 
31
# potentially calls them.
 
32
 
 
33
# TODO: If not on a tty perhaps just print '......' for the benefit of IDEs, etc
 
34
 
 
35
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
 
36
# when the rate is unpredictable
 
37
 
 
38
 
 
39
import sys
 
40
import time
 
41
import os
 
42
from collections import deque
 
43
 
 
44
 
 
45
import bzrlib.errors as errors
 
46
from bzrlib.trace import mutter 
 
47
 
 
48
 
 
49
def _supports_progress(f):
 
50
    if not hasattr(f, 'isatty'):
 
51
        return False
 
52
    if not f.isatty():
 
53
        return False
 
54
    if os.environ.get('TERM') == 'dumb':
 
55
        # e.g. emacs compile window
 
56
        return False
 
57
    return True
 
58
 
 
59
 
 
60
 
 
61
def ProgressBar(to_file=None, **kwargs):
 
62
    """Abstract factory"""
 
63
    if to_file is None:
 
64
        to_file = sys.stderr
 
65
    if _supports_progress(to_file):
 
66
        return TTYProgressBar(to_file=to_file, **kwargs)
 
67
    else:
 
68
        return DotsProgressBar(to_file=to_file, **kwargs)
 
69
    
 
70
 
 
71
class ProgressBarStack(object):
 
72
    """A stack of progress bars."""
 
73
 
 
74
    def __init__(self,
 
75
                 to_file=None,
 
76
                 show_pct=False,
 
77
                 show_spinner=True,
 
78
                 show_eta=False,
 
79
                 show_bar=True,
 
80
                 show_count=True,
 
81
                 to_messages_file=None,
 
82
                 klass=None):
 
83
        """Setup the stack with the parameters the progress bars should have."""
 
84
        if to_file is None:
 
85
            to_file = sys.stderr
 
86
        if to_messages_file is None:
 
87
            to_messages_file = sys.stdout
 
88
        self._to_file = to_file
 
89
        self._show_pct = show_pct
 
90
        self._show_spinner = show_spinner
 
91
        self._show_eta = show_eta
 
92
        self._show_bar = show_bar
 
93
        self._show_count = show_count
 
94
        self._to_messages_file = to_messages_file
 
95
        self._stack = []
 
96
        self._klass = klass or TTYProgressBar
 
97
 
 
98
    def top(self):
 
99
        if len(self._stack) != 0:
 
100
            return self._stack[-1]
 
101
        else:
 
102
            return None
 
103
 
 
104
    def bottom(self):
 
105
        if len(self._stack) != 0:
 
106
            return self._stack[0]
 
107
        else:
 
108
            return None
 
109
 
 
110
    def get_nested(self):
 
111
        """Return a nested progress bar."""
 
112
        if len(self._stack) == 0:
 
113
            func = self._klass
 
114
        else:
 
115
            func = self.top().child_progress
 
116
        new_bar = func(to_file=self._to_file,
 
117
                       show_pct=self._show_pct,
 
118
                       show_spinner=self._show_spinner,
 
119
                       show_eta=self._show_eta,
 
120
                       show_bar=self._show_bar,
 
121
                       show_count=self._show_count,
 
122
                       to_messages_file=self._to_messages_file,
 
123
                       _stack=self)
 
124
        self._stack.append(new_bar)
 
125
        return new_bar
 
126
 
 
127
    def return_pb(self, bar):
 
128
        """Return bar after its been used."""
 
129
        if bar is not self._stack[-1]:
 
130
            raise errors.MissingProgressBarFinish()
 
131
        self._stack.pop()
 
132
 
 
133
 
 
134
class _BaseProgressBar(object):
 
135
 
 
136
    def __init__(self,
 
137
                 to_file=None,
 
138
                 show_pct=False,
 
139
                 show_spinner=False,
 
140
                 show_eta=True,
 
141
                 show_bar=True,
 
142
                 show_count=True,
 
143
                 to_messages_file=None,
 
144
                 _stack=None):
 
145
        object.__init__(self)
 
146
        if to_file is None:
 
147
            to_file = sys.stderr
 
148
        if to_messages_file is None:
 
149
            to_messages_file = sys.stdout
 
150
        self.to_file = to_file
 
151
        self.to_messages_file = to_messages_file
 
152
        self.last_msg = None
 
153
        self.last_cnt = None
 
154
        self.last_total = None
 
155
        self.show_pct = show_pct
 
156
        self.show_spinner = show_spinner
 
157
        self.show_eta = show_eta
 
158
        self.show_bar = show_bar
 
159
        self.show_count = show_count
 
160
        self._stack = _stack
 
161
        # seed throttler
 
162
        self.MIN_PAUSE = 0.1 # seconds
 
163
        now = time.clock()
 
164
        # starting now
 
165
        self.start_time = now
 
166
        # next update should not throttle
 
167
        self.last_update = now - self.MIN_PAUSE - 1
 
168
 
 
169
    def finished(self):
 
170
        """Return this bar to its progress stack."""
 
171
        self.clear()
 
172
        assert self._stack is not None
 
173
        self._stack.return_pb(self)
 
174
 
 
175
    def note(self, fmt_string, *args, **kwargs):
 
176
        """Record a note without disrupting the progress bar."""
 
177
        self.clear()
 
178
        self.to_messages_file.write(fmt_string % args)
 
179
        self.to_messages_file.write('\n')
 
180
 
 
181
    def child_progress(self, **kwargs):
 
182
        return ChildProgress(**kwargs)
 
183
 
 
184
 
 
185
class DummyProgress(_BaseProgressBar):
 
186
    """Progress-bar standin that does nothing.
 
187
 
 
188
    This can be used as the default argument for methods that
 
189
    take an optional progress indicator."""
 
190
    def tick(self):
 
191
        pass
 
192
 
 
193
    def update(self, msg=None, current=None, total=None):
 
194
        pass
 
195
 
 
196
    def child_update(self, message, current, total):
 
197
        pass
 
198
 
 
199
    def clear(self):
 
200
        pass
 
201
        
 
202
    def note(self, fmt_string, *args, **kwargs):
 
203
        """See _BaseProgressBar.note()."""
 
204
 
 
205
    def child_progress(self, **kwargs):
 
206
        return DummyProgress(**kwargs)
 
207
 
 
208
 
 
209
class DotsProgressBar(_BaseProgressBar):
 
210
 
 
211
    def __init__(self, **kwargs):
 
212
        _BaseProgressBar.__init__(self, **kwargs)
 
213
        self.last_msg = None
 
214
        self.need_nl = False
 
215
        
 
216
    def tick(self):
 
217
        self.update()
 
218
        
 
219
    def update(self, msg=None, current_cnt=None, total_cnt=None):
 
220
        if msg and msg != self.last_msg:
 
221
            if self.need_nl:
 
222
                self.to_file.write('\n')
 
223
            self.to_file.write(msg + ': ')
 
224
            self.last_msg = msg
 
225
        self.need_nl = True
 
226
        self.to_file.write('.')
 
227
        
 
228
    def clear(self):
 
229
        if self.need_nl:
 
230
            self.to_file.write('\n')
 
231
        self.need_nl = False
 
232
        
 
233
    def child_update(self, message, current, total):
 
234
        self.tick()
 
235
 
 
236
    
 
237
class TTYProgressBar(_BaseProgressBar):
 
238
    """Progress bar display object.
 
239
 
 
240
    Several options are available to control the display.  These can
 
241
    be passed as parameters to the constructor or assigned at any time:
 
242
 
 
243
    show_pct
 
244
        Show percentage complete.
 
245
    show_spinner
 
246
        Show rotating baton.  This ticks over on every update even
 
247
        if the values don't change.
 
248
    show_eta
 
249
        Show predicted time-to-completion.
 
250
    show_bar
 
251
        Show bar graph.
 
252
    show_count
 
253
        Show numerical counts.
 
254
 
 
255
    The output file should be in line-buffered or unbuffered mode.
 
256
    """
 
257
    SPIN_CHARS = r'/-\|'
 
258
 
 
259
 
 
260
    def __init__(self, **kwargs):
 
261
        from bzrlib.osutils import terminal_width
 
262
        _BaseProgressBar.__init__(self, **kwargs)
 
263
        self.spin_pos = 0
 
264
        self.width = terminal_width()
 
265
        self.start_time = None
 
266
        self.last_updates = deque()
 
267
        self.child_fraction = 0
 
268
    
 
269
 
 
270
    def throttle(self):
 
271
        """Return True if the bar was updated too recently"""
 
272
        # time.time consistently takes 40/4000 ms = 0.01 ms.
 
273
        # but every single update to the pb invokes it.
 
274
        # so we use time.clock which takes 20/4000 ms = 0.005ms
 
275
        # on the downside, time.clock() appears to have approximately
 
276
        # 10ms granularity, so we treat a zero-time change as 'throttled.'
 
277
        
 
278
        now = time.clock()
 
279
        interval = now - self.last_update
 
280
        # if interval > 0
 
281
        if interval < self.MIN_PAUSE:
 
282
            return True
 
283
 
 
284
        self.last_updates.append(now - self.last_update)
 
285
        self.last_update = now
 
286
        return False
 
287
        
 
288
    def tick(self):
 
289
        self.update(self.last_msg, self.last_cnt, self.last_total, 
 
290
                    self.child_fraction)
 
291
 
 
292
    def child_update(self, message, current, total):
 
293
        if current is not None and total != 0:
 
294
            child_fraction = float(current) / total
 
295
            if self.last_cnt is None:
 
296
                pass
 
297
            elif self.last_cnt + child_fraction <= self.last_total:
 
298
                self.child_fraction = child_fraction
 
299
            else:
 
300
                mutter('not updating child fraction')
 
301
        if self.last_msg is None:
 
302
            self.last_msg = ''
 
303
        self.tick()
 
304
 
 
305
    def update(self, msg, current_cnt=None, total_cnt=None, 
 
306
               child_fraction=0):
 
307
        """Update and redraw progress bar."""
 
308
        if msg is None:
 
309
            msg = self.last_msg
 
310
 
 
311
        if total_cnt is None:
 
312
            total_cnt = self.last_total
 
313
 
 
314
        if current_cnt < 0:
 
315
            current_cnt = 0
 
316
            
 
317
        if current_cnt > total_cnt:
 
318
            total_cnt = current_cnt
 
319
        
 
320
        ## # optional corner case optimisation 
 
321
        ## # currently does not seem to fire so costs more than saved.
 
322
        ## # trivial optimal case:
 
323
        ## # NB if callers are doing a clear and restore with
 
324
        ## # the saved values, this will prevent that:
 
325
        ## # in that case add a restore method that calls
 
326
        ## # _do_update or some such
 
327
        ## if (self.last_msg == msg and
 
328
        ##     self.last_cnt == current_cnt and
 
329
        ##     self.last_total == total_cnt and
 
330
        ##     self.child_fraction == child_fraction):
 
331
        ##     return
 
332
 
 
333
        old_msg = self.last_msg
 
334
        # save these for the tick() function
 
335
        self.last_msg = msg
 
336
        self.last_cnt = current_cnt
 
337
        self.last_total = total_cnt
 
338
        self.child_fraction = child_fraction
 
339
 
 
340
        # each function call takes 20ms/4000 = 0.005 ms, 
 
341
        # but multiple that by 4000 calls -> starts to cost.
 
342
        # so anything to make this function call faster
 
343
        # will improve base 'diff' time by up to 0.1 seconds.
 
344
        if old_msg == self.last_msg and self.throttle():
 
345
            return
 
346
 
 
347
        if self.show_eta and self.start_time and self.last_total:
 
348
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
 
349
                    self.last_total, last_updates = self.last_updates)
 
350
            eta_str = " " + str_tdelta(eta)
 
351
        else:
 
352
            eta_str = ""
 
353
 
 
354
        if self.show_spinner:
 
355
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '            
 
356
        else:
 
357
            spin_str = ''
 
358
 
 
359
        # always update this; it's also used for the bar
 
360
        self.spin_pos += 1
 
361
 
 
362
        if self.show_pct and self.last_total and self.last_cnt:
 
363
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
 
364
            pct_str = ' (%5.1f%%)' % pct
 
365
        else:
 
366
            pct_str = ''
 
367
 
 
368
        if not self.show_count:
 
369
            count_str = ''
 
370
        elif self.last_cnt is None:
 
371
            count_str = ''
 
372
        elif self.last_total is None:
 
373
            count_str = ' %i' % (self.last_cnt)
 
374
        else:
 
375
            # make both fields the same size
 
376
            t = '%i' % (self.last_total)
 
377
            c = '%*i' % (len(t), self.last_cnt)
 
378
            count_str = ' ' + c + '/' + t 
 
379
 
 
380
        if self.show_bar:
 
381
            # progress bar, if present, soaks up all remaining space
 
382
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
 
383
                   - len(eta_str) - len(count_str) - 3
 
384
 
 
385
            if self.last_total:
 
386
                # number of markers highlighted in bar
 
387
                markers = int(round(float(cols) * 
 
388
                              (self.last_cnt + self.child_fraction) / self.last_total))
 
389
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
 
390
            elif False:
 
391
                # don't know total, so can't show completion.
 
392
                # so just show an expanded spinning thingy
 
393
                m = self.spin_pos % cols
 
394
                ms = (' ' * m + '*').ljust(cols)
 
395
                
 
396
                bar_str = '[' + ms + '] '
 
397
            else:
 
398
                bar_str = ''
 
399
        else:
 
400
            bar_str = ''
 
401
 
 
402
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
 
403
 
 
404
        assert len(m) < self.width
 
405
        self.to_file.write('\r' + m.ljust(self.width - 1))
 
406
        #self.to_file.flush()
 
407
            
 
408
    def clear(self):        
 
409
        self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
 
410
        #self.to_file.flush()        
 
411
 
 
412
 
 
413
class ChildProgress(_BaseProgressBar):
 
414
    """A progress indicator that pushes its data to the parent"""
 
415
 
 
416
    def __init__(self, _stack, **kwargs):
 
417
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
 
418
        self.parent = _stack.top()
 
419
        self.current = None
 
420
        self.total = None
 
421
        self.child_fraction = 0
 
422
        self.message = None
 
423
 
 
424
    def update(self, msg, current_cnt=None, total_cnt=None):
 
425
        self.current = current_cnt
 
426
        self.total = total_cnt
 
427
        self.message = msg
 
428
        self.child_fraction = 0
 
429
        self.tick()
 
430
 
 
431
    def child_update(self, message, current, total):
 
432
        if current is None or total == 0:
 
433
            self.child_fraction = 0
 
434
        else:
 
435
            self.child_fraction = float(current) / total
 
436
        self.tick()
 
437
 
 
438
    def tick(self):
 
439
        if self.current is None:
 
440
            count = None
 
441
        else:
 
442
            count = self.current+self.child_fraction
 
443
            if count > self.total:
 
444
                if __debug__:
 
445
                    mutter('clamping count of %d to %d' % (count, self.total))
 
446
                count = self.total
 
447
        self.parent.child_update(self.message, count, self.total)
 
448
 
 
449
    def clear(self):
 
450
        pass
 
451
 
 
452
    def note(self, *args, **kwargs):
 
453
        self.parent.note(*args, **kwargs)
 
454
 
 
455
 
 
456
def str_tdelta(delt):
 
457
    if delt is None:
 
458
        return "-:--:--"
 
459
    delt = int(round(delt))
 
460
    return '%d:%02d:%02d' % (delt/3600,
 
461
                             (delt/60) % 60,
 
462
                             delt % 60)
 
463
 
 
464
 
 
465
def get_eta(start_time, current, total, enough_samples=3, last_updates=None, n_recent=10):
 
466
    if start_time is None:
 
467
        return None
 
468
 
 
469
    if not total:
 
470
        return None
 
471
 
 
472
    if current < enough_samples:
 
473
        return None
 
474
 
 
475
    if current > total:
 
476
        return None                     # wtf?
 
477
 
 
478
    elapsed = time.clock() - start_time
 
479
 
 
480
    if elapsed < 2.0:                   # not enough time to estimate
 
481
        return None
 
482
    
 
483
    total_duration = float(elapsed) * float(total) / float(current)
 
484
 
 
485
    assert total_duration >= elapsed
 
486
 
 
487
    if last_updates and len(last_updates) >= n_recent:
 
488
        while len(last_updates) > n_recent:
 
489
            last_updates.popleft()
 
490
        avg = sum(last_updates) / float(len(last_updates))
 
491
        time_left = avg * (total - current)
 
492
 
 
493
        old_time_left = total_duration - elapsed
 
494
 
 
495
        # We could return the average, or some other value here
 
496
        return (time_left + old_time_left) / 2
 
497
 
 
498
    return total_duration - elapsed
 
499
 
 
500
 
 
501
class ProgressPhase(object):
 
502
    """Update progress object with the current phase"""
 
503
    def __init__(self, message, total, pb):
 
504
        object.__init__(self)
 
505
        self.pb = pb
 
506
        self.message = message
 
507
        self.total = total
 
508
        self.cur_phase = None
 
509
 
 
510
    def next_phase(self):
 
511
        if self.cur_phase is None:
 
512
            self.cur_phase = 0
 
513
        else:
 
514
            self.cur_phase += 1
 
515
        assert self.cur_phase < self.total 
 
516
        self.pb.update(self.message, self.cur_phase, self.total)
 
517
 
 
518
 
 
519
def run_tests():
 
520
    import doctest
 
521
    result = doctest.testmod()
 
522
    if result[1] > 0:
 
523
        if result[0] == 0:
 
524
            print "All tests passed"
 
525
    else:
 
526
        print "No tests to run"
 
527
 
 
528
 
 
529
def demo():
 
530
    sleep = time.sleep
 
531
    
 
532
    print 'dumb-terminal test:'
 
533
    pb = DotsProgressBar()
 
534
    for i in range(100):
 
535
        pb.update('Leoparden', i, 99)
 
536
        sleep(0.1)
 
537
    sleep(1.5)
 
538
    pb.clear()
 
539
    sleep(1.5)
 
540
    
 
541
    print 'smart-terminal test:'
 
542
    pb = ProgressBar(show_pct=True, show_bar=True, show_spinner=False)
 
543
    for i in range(100):
 
544
        pb.update('Elephanten', i, 99)
 
545
        sleep(0.1)
 
546
    sleep(2)
 
547
    pb.clear()
 
548
    sleep(1)
 
549
 
 
550
    print 'done!'
 
551
 
 
552
if __name__ == "__main__":
 
553
    demo()