~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: Martin Pool
  • Date: 2006-03-20 18:34:33 UTC
  • mto: This revision was merged to the branch mainline in revision 1621.
  • Revision ID: mbp@sourcefrog.net-20060320183433-ccd67ac1a77d40e2
Emit trace message about hash cache performance.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
 
2
# Copyright (C) 2005, 2006 Canonical <canonical.com>
 
3
#
 
4
#    This program is free software; you can redistribute it and/or modify
 
5
#    it under the terms of the GNU General Public License as published by
 
6
#    the Free Software Foundation; either version 2 of the License, or
 
7
#    (at your option) any later version.
 
8
#
 
9
#    This program is distributed in the hope that it will be useful,
 
10
#    but WITHOUT ANY WARRANTY; without even the implied warranty of
 
11
#    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
12
#    GNU General Public License for more details.
 
13
#
 
14
#    You should have received a copy of the GNU General Public License
 
15
#    along with this program; if not, write to the Free Software
 
16
#    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
17
 
 
18
 
 
19
"""Simple text-mode progress indicator.
 
20
 
 
21
To display an indicator, create a ProgressBar object.  Call it,
 
22
passing Progress objects indicating the current state.  When done,
 
23
call clear().
 
24
 
 
25
Progress is suppressed when output is not sent to a terminal, so as
 
26
not to clutter log files.
 
27
"""
 
28
 
 
29
# TODO: should be a global option e.g. --silent that disables progress
 
30
# indicators, preferably without needing to adjust all code that
 
31
# potentially calls them.
 
32
 
 
33
# TODO: If not on a tty perhaps just print '......' for the benefit of IDEs, etc
 
34
 
 
35
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
 
36
# when the rate is unpredictable
 
37
 
 
38
 
 
39
import sys
 
40
import time
 
41
import os
 
42
from collections import deque
 
43
 
 
44
 
 
45
import bzrlib.errors as errors
 
46
from bzrlib.trace import mutter 
 
47
 
 
48
 
 
49
def _supports_progress(f):
 
50
    if not hasattr(f, 'isatty'):
 
51
        return False
 
52
    if not f.isatty():
 
53
        return False
 
54
    if os.environ.get('TERM') == 'dumb':
 
55
        # e.g. emacs compile window
 
56
        return False
 
57
    return True
 
58
 
 
59
 
 
60
 
 
61
def ProgressBar(to_file=sys.stderr, **kwargs):
 
62
    """Abstract factory"""
 
63
    if _supports_progress(to_file):
 
64
        return TTYProgressBar(to_file=to_file, **kwargs)
 
65
    else:
 
66
        return DotsProgressBar(to_file=to_file, **kwargs)
 
67
    
 
68
 
 
69
class ProgressBarStack(object):
 
70
    """A stack of progress bars."""
 
71
 
 
72
    def __init__(self,
 
73
                 to_file=sys.stderr,
 
74
                 show_pct=False,
 
75
                 show_spinner=True,
 
76
                 show_eta=False,
 
77
                 show_bar=True,
 
78
                 show_count=True,
 
79
                 to_messages_file=sys.stdout,
 
80
                 klass=None):
 
81
        """Setup the stack with the parameters the progress bars should have."""
 
82
        self._to_file = to_file
 
83
        self._show_pct = show_pct
 
84
        self._show_spinner = show_spinner
 
85
        self._show_eta = show_eta
 
86
        self._show_bar = show_bar
 
87
        self._show_count = show_count
 
88
        self._to_messages_file = to_messages_file
 
89
        self._stack = []
 
90
        self._klass = klass or TTYProgressBar
 
91
 
 
92
    def top(self):
 
93
        if len(self._stack) != 0:
 
94
            return self._stack[-1]
 
95
        else:
 
96
            return None
 
97
 
 
98
    def get_nested(self):
 
99
        """Return a nested progress bar."""
 
100
        if len(self._stack) == 0:
 
101
            func = self._klass
 
102
        else:
 
103
            func = self.top().child_progress
 
104
        new_bar = func(to_file=self._to_file,
 
105
                       show_pct=self._show_pct,
 
106
                       show_spinner=self._show_spinner,
 
107
                       show_eta=self._show_eta,
 
108
                       show_bar=self._show_bar,
 
109
                       show_count=self._show_count,
 
110
                       to_messages_file=self._to_messages_file,
 
111
                       _stack=self)
 
112
        self._stack.append(new_bar)
 
113
        return new_bar
 
114
 
 
115
    def return_pb(self, bar):
 
116
        """Return bar after its been used."""
 
117
        if bar is not self._stack[-1]:
 
118
            raise errors.MissingProgressBarFinish()
 
119
        self._stack.pop()
 
120
 
 
121
 
 
122
class _BaseProgressBar(object):
 
123
 
 
124
    def __init__(self,
 
125
                 to_file=sys.stderr,
 
126
                 show_pct=False,
 
127
                 show_spinner=False,
 
128
                 show_eta=True,
 
129
                 show_bar=True,
 
130
                 show_count=True,
 
131
                 to_messages_file=sys.stdout,
 
132
                 _stack=None):
 
133
        object.__init__(self)
 
134
        self.to_file = to_file
 
135
        self.to_messages_file = to_messages_file
 
136
        self.last_msg = None
 
137
        self.last_cnt = None
 
138
        self.last_total = None
 
139
        self.show_pct = show_pct
 
140
        self.show_spinner = show_spinner
 
141
        self.show_eta = show_eta
 
142
        self.show_bar = show_bar
 
143
        self.show_count = show_count
 
144
        self._stack = _stack
 
145
        # seed throttler
 
146
        self.MIN_PAUSE = 0.1 # seconds
 
147
        now = time.clock()
 
148
        # starting now
 
149
        self.start_time = now
 
150
        # next update should not throttle
 
151
        self.last_update = now - self.MIN_PAUSE - 1
 
152
 
 
153
    def finished(self):
 
154
        """Return this bar to its progress stack."""
 
155
        self.clear()
 
156
        assert self._stack is not None
 
157
        self._stack.return_pb(self)
 
158
 
 
159
    def note(self, fmt_string, *args, **kwargs):
 
160
        """Record a note without disrupting the progress bar."""
 
161
        self.clear()
 
162
        self.to_messages_file.write(fmt_string % args)
 
163
        self.to_messages_file.write('\n')
 
164
 
 
165
    def child_progress(self, **kwargs):
 
166
        return ChildProgress(**kwargs)
 
167
 
 
168
 
 
169
class DummyProgress(_BaseProgressBar):
 
170
    """Progress-bar standin that does nothing.
 
171
 
 
172
    This can be used as the default argument for methods that
 
173
    take an optional progress indicator."""
 
174
    def tick(self):
 
175
        pass
 
176
 
 
177
    def update(self, msg=None, current=None, total=None):
 
178
        pass
 
179
 
 
180
    def child_update(self, message, current, total):
 
181
        pass
 
182
 
 
183
    def clear(self):
 
184
        pass
 
185
        
 
186
    def note(self, fmt_string, *args, **kwargs):
 
187
        """See _BaseProgressBar.note()."""
 
188
 
 
189
    def child_progress(self, **kwargs):
 
190
        return DummyProgress(**kwargs)
 
191
 
 
192
class DotsProgressBar(_BaseProgressBar):
 
193
 
 
194
    def __init__(self, **kwargs):
 
195
        _BaseProgressBar.__init__(self, **kwargs)
 
196
        self.last_msg = None
 
197
        self.need_nl = False
 
198
        
 
199
    def tick(self):
 
200
        self.update()
 
201
        
 
202
    def update(self, msg=None, current_cnt=None, total_cnt=None):
 
203
        if msg and msg != self.last_msg:
 
204
            if self.need_nl:
 
205
                self.to_file.write('\n')
 
206
            
 
207
            self.to_file.write(msg + ': ')
 
208
            self.last_msg = msg
 
209
        self.need_nl = True
 
210
        self.to_file.write('.')
 
211
        
 
212
    def clear(self):
 
213
        if self.need_nl:
 
214
            self.to_file.write('\n')
 
215
        
 
216
    def child_update(self, message, current, total):
 
217
        self.tick()
 
218
    
 
219
class TTYProgressBar(_BaseProgressBar):
 
220
    """Progress bar display object.
 
221
 
 
222
    Several options are available to control the display.  These can
 
223
    be passed as parameters to the constructor or assigned at any time:
 
224
 
 
225
    show_pct
 
226
        Show percentage complete.
 
227
    show_spinner
 
228
        Show rotating baton.  This ticks over on every update even
 
229
        if the values don't change.
 
230
    show_eta
 
231
        Show predicted time-to-completion.
 
232
    show_bar
 
233
        Show bar graph.
 
234
    show_count
 
235
        Show numerical counts.
 
236
 
 
237
    The output file should be in line-buffered or unbuffered mode.
 
238
    """
 
239
    SPIN_CHARS = r'/-\|'
 
240
 
 
241
 
 
242
    def __init__(self, **kwargs):
 
243
        from bzrlib.osutils import terminal_width
 
244
        _BaseProgressBar.__init__(self, **kwargs)
 
245
        self.spin_pos = 0
 
246
        self.width = terminal_width()
 
247
        self.start_time = None
 
248
        self.last_updates = deque()
 
249
        self.child_fraction = 0
 
250
    
 
251
 
 
252
    def throttle(self):
 
253
        """Return True if the bar was updated too recently"""
 
254
        # time.time consistently takes 40/4000 ms = 0.01 ms.
 
255
        # but every single update to the pb invokes it.
 
256
        # so we use time.clock which takes 20/4000 ms = 0.005ms
 
257
        # on the downside, time.clock() appears to have approximately
 
258
        # 10ms granularity, so we treat a zero-time change as 'throttled.'
 
259
        
 
260
        now = time.clock()
 
261
        interval = now - self.last_update
 
262
        # if interval > 0
 
263
        if interval < self.MIN_PAUSE:
 
264
            return True
 
265
 
 
266
        self.last_updates.append(now - self.last_update)
 
267
        self.last_update = now
 
268
        return False
 
269
        
 
270
 
 
271
    def tick(self):
 
272
        self.update(self.last_msg, self.last_cnt, self.last_total, 
 
273
                    self.child_fraction)
 
274
 
 
275
    def child_update(self, message, current, total):
 
276
        if current is not None and total != 0:
 
277
            child_fraction = float(current) / total
 
278
            if self.last_cnt is None:
 
279
                pass
 
280
            elif self.last_cnt + child_fraction <= self.last_total:
 
281
                self.child_fraction = child_fraction
 
282
            else:
 
283
                mutter('not updating child fraction')
 
284
        if self.last_msg is None:
 
285
            self.last_msg = ''
 
286
        self.tick()
 
287
 
 
288
 
 
289
    def update(self, msg, current_cnt=None, total_cnt=None, 
 
290
               child_fraction=0):
 
291
        """Update and redraw progress bar."""
 
292
 
 
293
        if current_cnt < 0:
 
294
            current_cnt = 0
 
295
            
 
296
        if current_cnt > total_cnt:
 
297
            total_cnt = current_cnt
 
298
        
 
299
        ## # optional corner case optimisation 
 
300
        ## # currently does not seem to fire so costs more than saved.
 
301
        ## # trivial optimal case:
 
302
        ## # NB if callers are doing a clear and restore with
 
303
        ## # the saved values, this will prevent that:
 
304
        ## # in that case add a restore method that calls
 
305
        ## # _do_update or some such
 
306
        ## if (self.last_msg == msg and
 
307
        ##     self.last_cnt == current_cnt and
 
308
        ##     self.last_total == total_cnt and
 
309
        ##     self.child_fraction == child_fraction):
 
310
        ##     return
 
311
 
 
312
        old_msg = self.last_msg
 
313
        # save these for the tick() function
 
314
        self.last_msg = msg
 
315
        self.last_cnt = current_cnt
 
316
        self.last_total = total_cnt
 
317
        self.child_fraction = child_fraction
 
318
 
 
319
        # each function call takes 20ms/4000 = 0.005 ms, 
 
320
        # but multiple that by 4000 calls -> starts to cost.
 
321
        # so anything to make this function call faster
 
322
        # will improve base 'diff' time by up to 0.1 seconds.
 
323
        if old_msg == self.last_msg and self.throttle():
 
324
            return
 
325
 
 
326
        if self.show_eta and self.start_time and self.last_total:
 
327
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
 
328
                    self.last_total, last_updates = self.last_updates)
 
329
            eta_str = " " + str_tdelta(eta)
 
330
        else:
 
331
            eta_str = ""
 
332
 
 
333
        if self.show_spinner:
 
334
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '            
 
335
        else:
 
336
            spin_str = ''
 
337
 
 
338
        # always update this; it's also used for the bar
 
339
        self.spin_pos += 1
 
340
 
 
341
        if self.show_pct and self.last_total and self.last_cnt:
 
342
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
 
343
            pct_str = ' (%5.1f%%)' % pct
 
344
        else:
 
345
            pct_str = ''
 
346
 
 
347
        if not self.show_count:
 
348
            count_str = ''
 
349
        elif self.last_cnt is None:
 
350
            count_str = ''
 
351
        elif self.last_total is None:
 
352
            count_str = ' %i' % (self.last_cnt)
 
353
        else:
 
354
            # make both fields the same size
 
355
            t = '%i' % (self.last_total)
 
356
            c = '%*i' % (len(t), self.last_cnt)
 
357
            count_str = ' ' + c + '/' + t 
 
358
 
 
359
        if self.show_bar:
 
360
            # progress bar, if present, soaks up all remaining space
 
361
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
 
362
                   - len(eta_str) - len(count_str) - 3
 
363
 
 
364
            if self.last_total:
 
365
                # number of markers highlighted in bar
 
366
                markers = int(round(float(cols) * 
 
367
                              (self.last_cnt + self.child_fraction) / self.last_total))
 
368
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
 
369
            elif False:
 
370
                # don't know total, so can't show completion.
 
371
                # so just show an expanded spinning thingy
 
372
                m = self.spin_pos % cols
 
373
                ms = (' ' * m + '*').ljust(cols)
 
374
                
 
375
                bar_str = '[' + ms + '] '
 
376
            else:
 
377
                bar_str = ''
 
378
        else:
 
379
            bar_str = ''
 
380
 
 
381
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
 
382
 
 
383
        assert len(m) < self.width
 
384
        self.to_file.write('\r' + m.ljust(self.width - 1))
 
385
        #self.to_file.flush()
 
386
            
 
387
    def clear(self):        
 
388
        self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
 
389
        #self.to_file.flush()        
 
390
 
 
391
 
 
392
class ChildProgress(_BaseProgressBar):
 
393
    """A progress indicator that pushes its data to the parent"""
 
394
    def __init__(self, _stack, **kwargs):
 
395
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
 
396
        self.parent = _stack.top()
 
397
        self.current = None
 
398
        self.total = None
 
399
        self.child_fraction = 0
 
400
        self.message = None
 
401
 
 
402
    def update(self, msg, current_cnt=None, total_cnt=None):
 
403
        self.current = current_cnt
 
404
        self.total = total_cnt
 
405
        self.message = msg
 
406
        self.child_fraction = 0
 
407
        self.tick()
 
408
 
 
409
    def child_update(self, message, current, total):
 
410
        if current is None or total == 0:
 
411
            self.child_fraction = 0
 
412
        else:
 
413
            self.child_fraction = float(current) / total
 
414
        self.tick()
 
415
 
 
416
    def tick(self):
 
417
        if self.current is None:
 
418
            count = None
 
419
        else:
 
420
            count = self.current+self.child_fraction
 
421
            if count > self.total:
 
422
                if __debug__:
 
423
                    mutter('clamping count of %d to %d' % (count, self.total))
 
424
                count = self.total
 
425
        self.parent.child_update(self.message, count, self.total)
 
426
 
 
427
    def clear(self):
 
428
        pass
 
429
 
 
430
 
 
431
def str_tdelta(delt):
 
432
    if delt is None:
 
433
        return "-:--:--"
 
434
    delt = int(round(delt))
 
435
    return '%d:%02d:%02d' % (delt/3600,
 
436
                             (delt/60) % 60,
 
437
                             delt % 60)
 
438
 
 
439
 
 
440
def get_eta(start_time, current, total, enough_samples=3, last_updates=None, n_recent=10):
 
441
    if start_time is None:
 
442
        return None
 
443
 
 
444
    if not total:
 
445
        return None
 
446
 
 
447
    if current < enough_samples:
 
448
        return None
 
449
 
 
450
    if current > total:
 
451
        return None                     # wtf?
 
452
 
 
453
    elapsed = time.clock() - start_time
 
454
 
 
455
    if elapsed < 2.0:                   # not enough time to estimate
 
456
        return None
 
457
    
 
458
    total_duration = float(elapsed) * float(total) / float(current)
 
459
 
 
460
    assert total_duration >= elapsed
 
461
 
 
462
    if last_updates and len(last_updates) >= n_recent:
 
463
        while len(last_updates) > n_recent:
 
464
            last_updates.popleft()
 
465
        avg = sum(last_updates) / float(len(last_updates))
 
466
        time_left = avg * (total - current)
 
467
 
 
468
        old_time_left = total_duration - elapsed
 
469
 
 
470
        # We could return the average, or some other value here
 
471
        return (time_left + old_time_left) / 2
 
472
 
 
473
    return total_duration - elapsed
 
474
 
 
475
 
 
476
class ProgressPhase(object):
 
477
    """Update progress object with the current phase"""
 
478
    def __init__(self, message, total, pb):
 
479
        object.__init__(self)
 
480
        self.pb = pb
 
481
        self.message = message
 
482
        self.total = total
 
483
        self.cur_phase = None
 
484
 
 
485
    def next_phase(self):
 
486
        if self.cur_phase is None:
 
487
            self.cur_phase = 0
 
488
        else:
 
489
            self.cur_phase += 1
 
490
        assert self.cur_phase < self.total 
 
491
        self.pb.update(self.message, self.cur_phase, self.total)
 
492
 
 
493
 
 
494
def run_tests():
 
495
    import doctest
 
496
    result = doctest.testmod()
 
497
    if result[1] > 0:
 
498
        if result[0] == 0:
 
499
            print "All tests passed"
 
500
    else:
 
501
        print "No tests to run"
 
502
 
 
503
 
 
504
def demo():
 
505
    sleep = time.sleep
 
506
    
 
507
    print 'dumb-terminal test:'
 
508
    pb = DotsProgressBar()
 
509
    for i in range(100):
 
510
        pb.update('Leoparden', i, 99)
 
511
        sleep(0.1)
 
512
    sleep(1.5)
 
513
    pb.clear()
 
514
    sleep(1.5)
 
515
    
 
516
    print 'smart-terminal test:'
 
517
    pb = ProgressBar(show_pct=True, show_bar=True, show_spinner=False)
 
518
    for i in range(100):
 
519
        pb.update('Elephanten', i, 99)
 
520
        sleep(0.1)
 
521
    sleep(2)
 
522
    pb.clear()
 
523
    sleep(1)
 
524
 
 
525
    print 'done!'
 
526
 
 
527
if __name__ == "__main__":
 
528
    demo()