~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: John Arbash Meinel
  • Date: 2006-07-09 15:47:02 UTC
  • mto: This revision was merged to the branch mainline in revision 1846.
  • Revision ID: john@arbash-meinel.com-20060709154702-304436a47a55e265
Renaming LockHelpers.py to lock_helpers.py

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
 
2
# Copyright (C) 2005, 2006 Canonical <canonical.com>
 
3
#
 
4
#    This program is free software; you can redistribute it and/or modify
 
5
#    it under the terms of the GNU General Public License as published by
 
6
#    the Free Software Foundation; either version 2 of the License, or
 
7
#    (at your option) any later version.
 
8
#
 
9
#    This program is distributed in the hope that it will be useful,
 
10
#    but WITHOUT ANY WARRANTY; without even the implied warranty of
 
11
#    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
12
#    GNU General Public License for more details.
 
13
#
 
14
#    You should have received a copy of the GNU General Public License
 
15
#    along with this program; if not, write to the Free Software
 
16
#    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
17
 
 
18
 
 
19
"""Simple text-mode progress indicator.
 
20
 
 
21
To display an indicator, create a ProgressBar object.  Call it,
 
22
passing Progress objects indicating the current state.  When done,
 
23
call clear().
 
24
 
 
25
Progress is suppressed when output is not sent to a terminal, so as
 
26
not to clutter log files.
 
27
"""
 
28
 
 
29
# TODO: should be a global option e.g. --silent that disables progress
 
30
# indicators, preferably without needing to adjust all code that
 
31
# potentially calls them.
 
32
 
 
33
# TODO: If not on a tty perhaps just print '......' for the benefit of IDEs, etc
 
34
 
 
35
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
 
36
# when the rate is unpredictable
 
37
 
 
38
 
 
39
import sys
 
40
import time
 
41
import os
 
42
from collections import deque
 
43
 
 
44
 
 
45
import bzrlib.errors as errors
 
46
from bzrlib.trace import mutter 
 
47
 
 
48
 
 
49
def _supports_progress(f):
 
50
    if not hasattr(f, 'isatty'):
 
51
        return False
 
52
    if not f.isatty():
 
53
        return False
 
54
    if os.environ.get('TERM') == 'dumb':
 
55
        # e.g. emacs compile window
 
56
        return False
 
57
    return True
 
58
 
 
59
 
 
60
 
 
61
def ProgressBar(to_file=None, **kwargs):
 
62
    """Abstract factory"""
 
63
    if to_file is None:
 
64
        to_file = sys.stderr
 
65
    if _supports_progress(to_file):
 
66
        return TTYProgressBar(to_file=to_file, **kwargs)
 
67
    else:
 
68
        return DotsProgressBar(to_file=to_file, **kwargs)
 
69
    
 
70
 
 
71
class ProgressBarStack(object):
 
72
    """A stack of progress bars."""
 
73
 
 
74
    def __init__(self,
 
75
                 to_file=None,
 
76
                 show_pct=False,
 
77
                 show_spinner=True,
 
78
                 show_eta=False,
 
79
                 show_bar=True,
 
80
                 show_count=True,
 
81
                 to_messages_file=None,
 
82
                 klass=None):
 
83
        """Setup the stack with the parameters the progress bars should have."""
 
84
        if to_file is None:
 
85
            to_file = sys.stderr
 
86
        if to_messages_file is None:
 
87
            to_messages_file = sys.stdout
 
88
        self._to_file = to_file
 
89
        self._show_pct = show_pct
 
90
        self._show_spinner = show_spinner
 
91
        self._show_eta = show_eta
 
92
        self._show_bar = show_bar
 
93
        self._show_count = show_count
 
94
        self._to_messages_file = to_messages_file
 
95
        self._stack = []
 
96
        self._klass = klass or TTYProgressBar
 
97
 
 
98
    def top(self):
 
99
        if len(self._stack) != 0:
 
100
            return self._stack[-1]
 
101
        else:
 
102
            return None
 
103
 
 
104
    def bottom(self):
 
105
        if len(self._stack) != 0:
 
106
            return self._stack[0]
 
107
        else:
 
108
            return None
 
109
 
 
110
    def get_nested(self):
 
111
        """Return a nested progress bar."""
 
112
        if len(self._stack) == 0:
 
113
            func = self._klass
 
114
        else:
 
115
            func = self.top().child_progress
 
116
        new_bar = func(to_file=self._to_file,
 
117
                       show_pct=self._show_pct,
 
118
                       show_spinner=self._show_spinner,
 
119
                       show_eta=self._show_eta,
 
120
                       show_bar=self._show_bar,
 
121
                       show_count=self._show_count,
 
122
                       to_messages_file=self._to_messages_file,
 
123
                       _stack=self)
 
124
        self._stack.append(new_bar)
 
125
        return new_bar
 
126
 
 
127
    def return_pb(self, bar):
 
128
        """Return bar after its been used."""
 
129
        if bar is not self._stack[-1]:
 
130
            raise errors.MissingProgressBarFinish()
 
131
        self._stack.pop()
 
132
 
 
133
 
 
134
class _BaseProgressBar(object):
 
135
 
 
136
    def __init__(self,
 
137
                 to_file=None,
 
138
                 show_pct=False,
 
139
                 show_spinner=False,
 
140
                 show_eta=False,
 
141
                 show_bar=True,
 
142
                 show_count=True,
 
143
                 to_messages_file=None,
 
144
                 _stack=None):
 
145
        object.__init__(self)
 
146
        if to_file is None:
 
147
            to_file = sys.stderr
 
148
        if to_messages_file is None:
 
149
            to_messages_file = sys.stdout
 
150
        self.to_file = to_file
 
151
        self.to_messages_file = to_messages_file
 
152
        self.last_msg = None
 
153
        self.last_cnt = None
 
154
        self.last_total = None
 
155
        self.show_pct = show_pct
 
156
        self.show_spinner = show_spinner
 
157
        self.show_eta = show_eta
 
158
        self.show_bar = show_bar
 
159
        self.show_count = show_count
 
160
        self._stack = _stack
 
161
        # seed throttler
 
162
        self.MIN_PAUSE = 0.1 # seconds
 
163
        now = time.clock()
 
164
        # starting now
 
165
        self.start_time = now
 
166
        # next update should not throttle
 
167
        self.last_update = now - self.MIN_PAUSE - 1
 
168
 
 
169
    def finished(self):
 
170
        """Return this bar to its progress stack."""
 
171
        self.clear()
 
172
        assert self._stack is not None
 
173
        self._stack.return_pb(self)
 
174
 
 
175
    def note(self, fmt_string, *args, **kwargs):
 
176
        """Record a note without disrupting the progress bar."""
 
177
        self.clear()
 
178
        self.to_messages_file.write(fmt_string % args)
 
179
        self.to_messages_file.write('\n')
 
180
 
 
181
    def child_progress(self, **kwargs):
 
182
        return ChildProgress(**kwargs)
 
183
 
 
184
 
 
185
class DummyProgress(_BaseProgressBar):
 
186
    """Progress-bar standin that does nothing.
 
187
 
 
188
    This can be used as the default argument for methods that
 
189
    take an optional progress indicator."""
 
190
    def tick(self):
 
191
        pass
 
192
 
 
193
    def update(self, msg=None, current=None, total=None):
 
194
        pass
 
195
 
 
196
    def child_update(self, message, current, total):
 
197
        pass
 
198
 
 
199
    def clear(self):
 
200
        pass
 
201
        
 
202
    def note(self, fmt_string, *args, **kwargs):
 
203
        """See _BaseProgressBar.note()."""
 
204
 
 
205
    def child_progress(self, **kwargs):
 
206
        return DummyProgress(**kwargs)
 
207
 
 
208
 
 
209
class DotsProgressBar(_BaseProgressBar):
 
210
 
 
211
    def __init__(self, **kwargs):
 
212
        _BaseProgressBar.__init__(self, **kwargs)
 
213
        self.last_msg = None
 
214
        self.need_nl = False
 
215
        
 
216
    def tick(self):
 
217
        self.update()
 
218
        
 
219
    def update(self, msg=None, current_cnt=None, total_cnt=None):
 
220
        if msg and msg != self.last_msg:
 
221
            if self.need_nl:
 
222
                self.to_file.write('\n')
 
223
            self.to_file.write(msg + ': ')
 
224
            self.last_msg = msg
 
225
        self.need_nl = True
 
226
        self.to_file.write('.')
 
227
        
 
228
    def clear(self):
 
229
        if self.need_nl:
 
230
            self.to_file.write('\n')
 
231
        self.need_nl = False
 
232
        
 
233
    def child_update(self, message, current, total):
 
234
        self.tick()
 
235
 
 
236
    
 
237
class TTYProgressBar(_BaseProgressBar):
 
238
    """Progress bar display object.
 
239
 
 
240
    Several options are available to control the display.  These can
 
241
    be passed as parameters to the constructor or assigned at any time:
 
242
 
 
243
    show_pct
 
244
        Show percentage complete.
 
245
    show_spinner
 
246
        Show rotating baton.  This ticks over on every update even
 
247
        if the values don't change.
 
248
    show_eta
 
249
        Show predicted time-to-completion.
 
250
    show_bar
 
251
        Show bar graph.
 
252
    show_count
 
253
        Show numerical counts.
 
254
 
 
255
    The output file should be in line-buffered or unbuffered mode.
 
256
    """
 
257
    SPIN_CHARS = r'/-\|'
 
258
 
 
259
 
 
260
    def __init__(self, **kwargs):
 
261
        from bzrlib.osutils import terminal_width
 
262
        _BaseProgressBar.__init__(self, **kwargs)
 
263
        self.spin_pos = 0
 
264
        self.width = terminal_width()
 
265
        self.last_updates = deque()
 
266
        self.child_fraction = 0
 
267
    
 
268
 
 
269
    def throttle(self, old_msg):
 
270
        """Return True if the bar was updated too recently"""
 
271
        # time.time consistently takes 40/4000 ms = 0.01 ms.
 
272
        # but every single update to the pb invokes it.
 
273
        # so we use time.clock which takes 20/4000 ms = 0.005ms
 
274
        # on the downside, time.clock() appears to have approximately
 
275
        # 10ms granularity, so we treat a zero-time change as 'throttled.'
 
276
        now = time.clock()
 
277
        if self.start_time is not None and (now - self.start_time) < 1:
 
278
            return True
 
279
        if old_msg != self.last_msg:
 
280
            return False
 
281
        interval = now - self.last_update
 
282
        # if interval > 0
 
283
        if interval < self.MIN_PAUSE:
 
284
            return True
 
285
 
 
286
        self.last_updates.append(now - self.last_update)
 
287
        self.last_update = now
 
288
        return False
 
289
        
 
290
    def tick(self):
 
291
        self.update(self.last_msg, self.last_cnt, self.last_total, 
 
292
                    self.child_fraction)
 
293
 
 
294
    def child_update(self, message, current, total):
 
295
        if current is not None and total != 0:
 
296
            child_fraction = float(current) / total
 
297
            if self.last_cnt is None:
 
298
                pass
 
299
            elif self.last_cnt + child_fraction <= self.last_total:
 
300
                self.child_fraction = child_fraction
 
301
            else:
 
302
                mutter('not updating child fraction')
 
303
        if self.last_msg is None:
 
304
            self.last_msg = ''
 
305
        self.tick()
 
306
 
 
307
    def update(self, msg, current_cnt=None, total_cnt=None, 
 
308
               child_fraction=0):
 
309
        """Update and redraw progress bar."""
 
310
        if msg is None:
 
311
            msg = self.last_msg
 
312
 
 
313
        if total_cnt is None:
 
314
            total_cnt = self.last_total
 
315
 
 
316
        if current_cnt < 0:
 
317
            current_cnt = 0
 
318
            
 
319
        if current_cnt > total_cnt:
 
320
            total_cnt = current_cnt
 
321
        
 
322
        ## # optional corner case optimisation 
 
323
        ## # currently does not seem to fire so costs more than saved.
 
324
        ## # trivial optimal case:
 
325
        ## # NB if callers are doing a clear and restore with
 
326
        ## # the saved values, this will prevent that:
 
327
        ## # in that case add a restore method that calls
 
328
        ## # _do_update or some such
 
329
        ## if (self.last_msg == msg and
 
330
        ##     self.last_cnt == current_cnt and
 
331
        ##     self.last_total == total_cnt and
 
332
        ##     self.child_fraction == child_fraction):
 
333
        ##     return
 
334
 
 
335
        old_msg = self.last_msg
 
336
        # save these for the tick() function
 
337
        self.last_msg = msg
 
338
        self.last_cnt = current_cnt
 
339
        self.last_total = total_cnt
 
340
        self.child_fraction = child_fraction
 
341
 
 
342
        # each function call takes 20ms/4000 = 0.005 ms, 
 
343
        # but multiple that by 4000 calls -> starts to cost.
 
344
        # so anything to make this function call faster
 
345
        # will improve base 'diff' time by up to 0.1 seconds.
 
346
        if self.throttle(old_msg):
 
347
            return
 
348
 
 
349
        if self.show_eta and self.start_time and self.last_total:
 
350
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
 
351
                    self.last_total, last_updates = self.last_updates)
 
352
            eta_str = " " + str_tdelta(eta)
 
353
        else:
 
354
            eta_str = ""
 
355
 
 
356
        if self.show_spinner:
 
357
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '            
 
358
        else:
 
359
            spin_str = ''
 
360
 
 
361
        # always update this; it's also used for the bar
 
362
        self.spin_pos += 1
 
363
 
 
364
        if self.show_pct and self.last_total and self.last_cnt:
 
365
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
 
366
            pct_str = ' (%5.1f%%)' % pct
 
367
        else:
 
368
            pct_str = ''
 
369
 
 
370
        if not self.show_count:
 
371
            count_str = ''
 
372
        elif self.last_cnt is None:
 
373
            count_str = ''
 
374
        elif self.last_total is None:
 
375
            count_str = ' %i' % (self.last_cnt)
 
376
        else:
 
377
            # make both fields the same size
 
378
            t = '%i' % (self.last_total)
 
379
            c = '%*i' % (len(t), self.last_cnt)
 
380
            count_str = ' ' + c + '/' + t 
 
381
 
 
382
        if self.show_bar:
 
383
            # progress bar, if present, soaks up all remaining space
 
384
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
 
385
                   - len(eta_str) - len(count_str) - 3
 
386
 
 
387
            if self.last_total:
 
388
                # number of markers highlighted in bar
 
389
                markers = int(round(float(cols) * 
 
390
                              (self.last_cnt + self.child_fraction) / self.last_total))
 
391
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
 
392
            elif False:
 
393
                # don't know total, so can't show completion.
 
394
                # so just show an expanded spinning thingy
 
395
                m = self.spin_pos % cols
 
396
                ms = (' ' * m + '*').ljust(cols)
 
397
                
 
398
                bar_str = '[' + ms + '] '
 
399
            else:
 
400
                bar_str = ''
 
401
        else:
 
402
            bar_str = ''
 
403
 
 
404
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
 
405
 
 
406
        assert len(m) < self.width
 
407
        self.to_file.write('\r' + m.ljust(self.width - 1))
 
408
        #self.to_file.flush()
 
409
            
 
410
    def clear(self):        
 
411
        self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
 
412
        #self.to_file.flush()        
 
413
 
 
414
 
 
415
class ChildProgress(_BaseProgressBar):
 
416
    """A progress indicator that pushes its data to the parent"""
 
417
 
 
418
    def __init__(self, _stack, **kwargs):
 
419
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
 
420
        self.parent = _stack.top()
 
421
        self.current = None
 
422
        self.total = None
 
423
        self.child_fraction = 0
 
424
        self.message = None
 
425
 
 
426
    def update(self, msg, current_cnt=None, total_cnt=None):
 
427
        self.current = current_cnt
 
428
        self.total = total_cnt
 
429
        self.message = msg
 
430
        self.child_fraction = 0
 
431
        self.tick()
 
432
 
 
433
    def child_update(self, message, current, total):
 
434
        if current is None or total == 0:
 
435
            self.child_fraction = 0
 
436
        else:
 
437
            self.child_fraction = float(current) / total
 
438
        self.tick()
 
439
 
 
440
    def tick(self):
 
441
        if self.current is None:
 
442
            count = None
 
443
        else:
 
444
            count = self.current+self.child_fraction
 
445
            if count > self.total:
 
446
                if __debug__:
 
447
                    mutter('clamping count of %d to %d' % (count, self.total))
 
448
                count = self.total
 
449
        self.parent.child_update(self.message, count, self.total)
 
450
 
 
451
    def clear(self):
 
452
        pass
 
453
 
 
454
    def note(self, *args, **kwargs):
 
455
        self.parent.note(*args, **kwargs)
 
456
 
 
457
 
 
458
def str_tdelta(delt):
 
459
    if delt is None:
 
460
        return "-:--:--"
 
461
    delt = int(round(delt))
 
462
    return '%d:%02d:%02d' % (delt/3600,
 
463
                             (delt/60) % 60,
 
464
                             delt % 60)
 
465
 
 
466
 
 
467
def get_eta(start_time, current, total, enough_samples=3, last_updates=None, n_recent=10):
 
468
    if start_time is None:
 
469
        return None
 
470
 
 
471
    if not total:
 
472
        return None
 
473
 
 
474
    if current < enough_samples:
 
475
        return None
 
476
 
 
477
    if current > total:
 
478
        return None                     # wtf?
 
479
 
 
480
    elapsed = time.clock() - start_time
 
481
 
 
482
    if elapsed < 2.0:                   # not enough time to estimate
 
483
        return None
 
484
    
 
485
    total_duration = float(elapsed) * float(total) / float(current)
 
486
 
 
487
    assert total_duration >= elapsed
 
488
 
 
489
    if last_updates and len(last_updates) >= n_recent:
 
490
        while len(last_updates) > n_recent:
 
491
            last_updates.popleft()
 
492
        avg = sum(last_updates) / float(len(last_updates))
 
493
        time_left = avg * (total - current)
 
494
 
 
495
        old_time_left = total_duration - elapsed
 
496
 
 
497
        # We could return the average, or some other value here
 
498
        return (time_left + old_time_left) / 2
 
499
 
 
500
    return total_duration - elapsed
 
501
 
 
502
 
 
503
class ProgressPhase(object):
 
504
    """Update progress object with the current phase"""
 
505
    def __init__(self, message, total, pb):
 
506
        object.__init__(self)
 
507
        self.pb = pb
 
508
        self.message = message
 
509
        self.total = total
 
510
        self.cur_phase = None
 
511
 
 
512
    def next_phase(self):
 
513
        if self.cur_phase is None:
 
514
            self.cur_phase = 0
 
515
        else:
 
516
            self.cur_phase += 1
 
517
        assert self.cur_phase < self.total 
 
518
        self.pb.update(self.message, self.cur_phase, self.total)
 
519
 
 
520
 
 
521
def run_tests():
 
522
    import doctest
 
523
    result = doctest.testmod()
 
524
    if result[1] > 0:
 
525
        if result[0] == 0:
 
526
            print "All tests passed"
 
527
    else:
 
528
        print "No tests to run"
 
529
 
 
530
 
 
531
def demo():
 
532
    sleep = time.sleep
 
533
    
 
534
    print 'dumb-terminal test:'
 
535
    pb = DotsProgressBar()
 
536
    for i in range(100):
 
537
        pb.update('Leoparden', i, 99)
 
538
        sleep(0.1)
 
539
    sleep(1.5)
 
540
    pb.clear()
 
541
    sleep(1.5)
 
542
    
 
543
    print 'smart-terminal test:'
 
544
    pb = ProgressBar(show_pct=True, show_bar=True, show_spinner=False)
 
545
    for i in range(100):
 
546
        pb.update('Elephanten', i, 99)
 
547
        sleep(0.1)
 
548
    sleep(2)
 
549
    pb.clear()
 
550
    sleep(1)
 
551
 
 
552
    print 'done!'
 
553
 
 
554
if __name__ == "__main__":
 
555
    demo()