~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: Robert Collins
  • Date: 2006-03-11 13:58:48 UTC
  • mto: (1615.1.2 bzr.mbp.integration)
  • mto: This revision was merged to the branch mainline in revision 1616.
  • Revision ID: robertc@robertcollins.net-20060311135848-789fa616b8da4662
Note potential improvements in knit adds.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
2
 
# Copyright (C) 2005 Canonical <canonical.com>
 
2
# Copyright (C) 2005, 2006 Canonical <canonical.com>
3
3
#
4
4
#    This program is free software; you can redistribute it and/or modify
5
5
#    it under the terms of the GNU General Public License as published by
39
39
import sys
40
40
import time
41
41
import os
42
 
 
43
 
 
44
 
def _width():
45
 
    """Return estimated terminal width.
46
 
 
47
 
    TODO: Do something smart on Windows?
48
 
 
49
 
    TODO: Is there anything that gets a better update when the window
50
 
          is resized while the program is running?
51
 
    """
52
 
    try:
53
 
        return int(os.environ['COLUMNS'])
54
 
    except (IndexError, KeyError, ValueError):
55
 
        return 80
 
42
from collections import deque
 
43
 
 
44
 
 
45
import bzrlib.errors as errors
 
46
from bzrlib.trace import mutter 
56
47
 
57
48
 
58
49
def _supports_progress(f):
74
65
    else:
75
66
        return DotsProgressBar(to_file=to_file, **kwargs)
76
67
    
77
 
    
 
68
 
 
69
class ProgressBarStack(object):
 
70
    """A stack of progress bars."""
 
71
 
 
72
    def __init__(self,
 
73
                 to_file=sys.stderr,
 
74
                 show_pct=False,
 
75
                 show_spinner=True,
 
76
                 show_eta=False,
 
77
                 show_bar=True,
 
78
                 show_count=True,
 
79
                 to_messages_file=sys.stdout,
 
80
                 klass=None):
 
81
        """Setup the stack with the parameters the progress bars should have."""
 
82
        self._to_file = to_file
 
83
        self._show_pct = show_pct
 
84
        self._show_spinner = show_spinner
 
85
        self._show_eta = show_eta
 
86
        self._show_bar = show_bar
 
87
        self._show_count = show_count
 
88
        self._to_messages_file = to_messages_file
 
89
        self._stack = []
 
90
        self._klass = klass or TTYProgressBar
 
91
 
 
92
    def top(self):
 
93
        if len(self._stack) != 0:
 
94
            return self._stack[-1]
 
95
        else:
 
96
            return None
 
97
 
 
98
    def get_nested(self):
 
99
        """Return a nested progress bar."""
 
100
        if len(self._stack) == 0:
 
101
            func = self._klass
 
102
        else:
 
103
            func = self.top().child_progress
 
104
        new_bar = func(to_file=self._to_file,
 
105
                       show_pct=self._show_pct,
 
106
                       show_spinner=self._show_spinner,
 
107
                       show_eta=self._show_eta,
 
108
                       show_bar=self._show_bar,
 
109
                       show_count=self._show_count,
 
110
                       to_messages_file=self._to_messages_file,
 
111
                       _stack=self)
 
112
        self._stack.append(new_bar)
 
113
        return new_bar
 
114
 
 
115
    def return_pb(self, bar):
 
116
        """Return bar after its been used."""
 
117
        if bar is not self._stack[-1]:
 
118
            raise errors.MissingProgressBarFinish()
 
119
        self._stack.pop()
 
120
 
 
121
 
78
122
class _BaseProgressBar(object):
 
123
 
79
124
    def __init__(self,
80
125
                 to_file=sys.stderr,
81
126
                 show_pct=False,
82
127
                 show_spinner=False,
83
128
                 show_eta=True,
84
129
                 show_bar=True,
85
 
                 show_count=True):
 
130
                 show_count=True,
 
131
                 to_messages_file=sys.stdout,
 
132
                 _stack=None):
86
133
        object.__init__(self)
87
134
        self.to_file = to_file
88
 
 
 
135
        self.to_messages_file = to_messages_file
89
136
        self.last_msg = None
90
137
        self.last_cnt = None
91
138
        self.last_total = None
94
141
        self.show_eta = show_eta
95
142
        self.show_bar = show_bar
96
143
        self.show_count = show_count
97
 
 
 
144
        self._stack = _stack
 
145
        # seed throttler
 
146
        self.MIN_PAUSE = 0.1 # seconds
 
147
        now = time.clock()
 
148
        # starting now
 
149
        self.start_time = now
 
150
        # next update should not throttle
 
151
        self.last_update = now - self.MIN_PAUSE - 1
 
152
 
 
153
    def finished(self):
 
154
        """Return this bar to its progress stack."""
 
155
        self.clear()
 
156
        assert self._stack is not None
 
157
        self._stack.return_pb(self)
 
158
 
 
159
    def note(self, fmt_string, *args, **kwargs):
 
160
        """Record a note without disrupting the progress bar."""
 
161
        self.clear()
 
162
        self.to_messages_file.write(fmt_string % args)
 
163
        self.to_messages_file.write('\n')
 
164
 
 
165
    def child_progress(self, **kwargs):
 
166
        return ChildProgress(**kwargs)
98
167
 
99
168
 
100
169
class DummyProgress(_BaseProgressBar):
108
177
    def update(self, msg=None, current=None, total=None):
109
178
        pass
110
179
 
 
180
    def child_update(self, message, current, total):
 
181
        pass
 
182
 
111
183
    def clear(self):
112
184
        pass
113
185
        
114
 
    
 
186
    def note(self, fmt_string, *args, **kwargs):
 
187
        """See _BaseProgressBar.note()."""
 
188
 
 
189
    def child_progress(self, **kwargs):
 
190
        return DummyProgress(**kwargs)
 
191
 
115
192
class DotsProgressBar(_BaseProgressBar):
 
193
 
116
194
    def __init__(self, **kwargs):
117
195
        _BaseProgressBar.__init__(self, **kwargs)
118
196
        self.last_msg = None
135
213
        if self.need_nl:
136
214
            self.to_file.write('\n')
137
215
        
 
216
    def child_update(self, message, current, total):
 
217
        self.tick()
138
218
    
139
219
class TTYProgressBar(_BaseProgressBar):
140
220
    """Progress bar display object.
157
237
    The output file should be in line-buffered or unbuffered mode.
158
238
    """
159
239
    SPIN_CHARS = r'/-\|'
160
 
    MIN_PAUSE = 0.1 # seconds
161
240
 
162
241
 
163
242
    def __init__(self, **kwargs):
 
243
        from bzrlib.osutils import terminal_width
164
244
        _BaseProgressBar.__init__(self, **kwargs)
165
245
        self.spin_pos = 0
166
 
        self.width = _width()
 
246
        self.width = terminal_width()
167
247
        self.start_time = None
168
 
        self.last_update = None
 
248
        self.last_updates = deque()
 
249
        self.child_fraction = 0
169
250
    
170
251
 
171
252
    def throttle(self):
172
253
        """Return True if the bar was updated too recently"""
173
 
        now = time.time()
174
 
        if self.start_time is None:
175
 
            self.start_time = self.last_update = now
176
 
            return False
177
 
        else:
178
 
            interval = now - self.last_update
179
 
            if interval > 0 and interval < self.MIN_PAUSE:
180
 
                return True
 
254
        # time.time consistently takes 40/4000 ms = 0.01 ms.
 
255
        # but every single update to the pb invokes it.
 
256
        # so we use time.clock which takes 20/4000 ms = 0.005ms
 
257
        # on the downside, time.clock() appears to have approximately
 
258
        # 10ms granularity, so we treat a zero-time change as 'throttled.'
 
259
        
 
260
        now = time.clock()
 
261
        interval = now - self.last_update
 
262
        # if interval > 0
 
263
        if interval < self.MIN_PAUSE:
 
264
            return True
181
265
 
 
266
        self.last_updates.append(now - self.last_update)
182
267
        self.last_update = now
183
268
        return False
184
269
        
185
270
 
186
271
    def tick(self):
187
 
        self.update(self.last_msg, self.last_cnt, self.last_total)
188
 
                 
189
 
 
190
 
 
191
 
    def update(self, msg, current_cnt=None, total_cnt=None):
 
272
        self.update(self.last_msg, self.last_cnt, self.last_total, 
 
273
                    self.child_fraction)
 
274
 
 
275
    def child_update(self, message, current, total):
 
276
        if current is not None and total != 0:
 
277
            child_fraction = float(current) / total
 
278
            if self.last_cnt is None:
 
279
                pass
 
280
            elif self.last_cnt + child_fraction <= self.last_total:
 
281
                self.child_fraction = child_fraction
 
282
            else:
 
283
                mutter('not updating child fraction')
 
284
        if self.last_msg is None:
 
285
            self.last_msg = ''
 
286
        self.tick()
 
287
 
 
288
 
 
289
    def update(self, msg, current_cnt=None, total_cnt=None, 
 
290
               child_fraction=0):
192
291
        """Update and redraw progress bar."""
193
292
 
194
293
        if current_cnt < 0:
196
295
            
197
296
        if current_cnt > total_cnt:
198
297
            total_cnt = current_cnt
 
298
        
 
299
        ## # optional corner case optimisation 
 
300
        ## # currently does not seem to fire so costs more than saved.
 
301
        ## # trivial optimal case:
 
302
        ## # NB if callers are doing a clear and restore with
 
303
        ## # the saved values, this will prevent that:
 
304
        ## # in that case add a restore method that calls
 
305
        ## # _do_update or some such
 
306
        ## if (self.last_msg == msg and
 
307
        ##     self.last_cnt == current_cnt and
 
308
        ##     self.last_total == total_cnt and
 
309
        ##     self.child_fraction == child_fraction):
 
310
        ##     return
199
311
 
 
312
        old_msg = self.last_msg
200
313
        # save these for the tick() function
201
314
        self.last_msg = msg
202
315
        self.last_cnt = current_cnt
203
316
        self.last_total = total_cnt
204
 
            
205
 
        if self.throttle():
206
 
            return 
207
 
        
208
 
        if self.show_eta and self.start_time and total_cnt:
209
 
            eta = get_eta(self.start_time, current_cnt, total_cnt)
 
317
        self.child_fraction = child_fraction
 
318
 
 
319
        # each function call takes 20ms/4000 = 0.005 ms, 
 
320
        # but multiple that by 4000 calls -> starts to cost.
 
321
        # so anything to make this function call faster
 
322
        # will improve base 'diff' time by up to 0.1 seconds.
 
323
        if old_msg == self.last_msg and self.throttle():
 
324
            return
 
325
 
 
326
        if self.show_eta and self.start_time and self.last_total:
 
327
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
 
328
                    self.last_total, last_updates = self.last_updates)
210
329
            eta_str = " " + str_tdelta(eta)
211
330
        else:
212
331
            eta_str = ""
219
338
        # always update this; it's also used for the bar
220
339
        self.spin_pos += 1
221
340
 
222
 
        if self.show_pct and total_cnt and current_cnt:
223
 
            pct = 100.0 * current_cnt / total_cnt
 
341
        if self.show_pct and self.last_total and self.last_cnt:
 
342
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
224
343
            pct_str = ' (%5.1f%%)' % pct
225
344
        else:
226
345
            pct_str = ''
227
346
 
228
347
        if not self.show_count:
229
348
            count_str = ''
230
 
        elif current_cnt is None:
 
349
        elif self.last_cnt is None:
231
350
            count_str = ''
232
 
        elif total_cnt is None:
233
 
            count_str = ' %i' % (current_cnt)
 
351
        elif self.last_total is None:
 
352
            count_str = ' %i' % (self.last_cnt)
234
353
        else:
235
354
            # make both fields the same size
236
 
            t = '%i' % (total_cnt)
237
 
            c = '%*i' % (len(t), current_cnt)
 
355
            t = '%i' % (self.last_total)
 
356
            c = '%*i' % (len(t), self.last_cnt)
238
357
            count_str = ' ' + c + '/' + t 
239
358
 
240
359
        if self.show_bar:
241
360
            # progress bar, if present, soaks up all remaining space
242
 
            cols = self.width - 1 - len(msg) - len(spin_str) - len(pct_str) \
 
361
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
243
362
                   - len(eta_str) - len(count_str) - 3
244
363
 
245
 
            if total_cnt:
 
364
            if self.last_total:
246
365
                # number of markers highlighted in bar
247
 
                markers = int(round(float(cols) * current_cnt / total_cnt))
 
366
                markers = int(round(float(cols) * 
 
367
                              (self.last_cnt + self.child_fraction) / self.last_total))
248
368
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
249
369
            elif False:
250
370
                # don't know total, so can't show completion.
258
378
        else:
259
379
            bar_str = ''
260
380
 
261
 
        m = spin_str + bar_str + msg + count_str + pct_str + eta_str
 
381
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
262
382
 
263
383
        assert len(m) < self.width
264
384
        self.to_file.write('\r' + m.ljust(self.width - 1))
265
385
        #self.to_file.flush()
266
386
            
267
 
 
268
387
    def clear(self):        
269
388
        self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
270
389
        #self.to_file.flush()        
271
 
    
272
 
 
273
 
        
 
390
 
 
391
 
 
392
class ChildProgress(_BaseProgressBar):
 
393
    """A progress indicator that pushes its data to the parent"""
 
394
    def __init__(self, _stack, **kwargs):
 
395
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
 
396
        self.parent = _stack.top()
 
397
        self.current = None
 
398
        self.total = None
 
399
        self.child_fraction = 0
 
400
        self.message = None
 
401
 
 
402
    def update(self, msg, current_cnt=None, total_cnt=None):
 
403
        self.current = current_cnt
 
404
        self.total = total_cnt
 
405
        self.message = msg
 
406
        self.child_fraction = 0
 
407
        self.tick()
 
408
 
 
409
    def child_update(self, message, current, total):
 
410
        if current is None or total == 0:
 
411
            self.child_fraction = 0
 
412
        else:
 
413
            self.child_fraction = float(current) / total
 
414
        self.tick()
 
415
 
 
416
    def tick(self):
 
417
        if self.current is None:
 
418
            count = None
 
419
        else:
 
420
            count = self.current+self.child_fraction
 
421
            if count > self.total:
 
422
                mutter('clamping count of %d to %d' % (count, self.total))
 
423
                count = self.total
 
424
        self.parent.child_update(self.message, count, self.total)
 
425
 
 
426
    def clear(self):
 
427
        pass
 
428
 
 
429
 
274
430
def str_tdelta(delt):
275
431
    if delt is None:
276
432
        return "-:--:--"
280
436
                             delt % 60)
281
437
 
282
438
 
283
 
def get_eta(start_time, current, total, enough_samples=3):
 
439
def get_eta(start_time, current, total, enough_samples=3, last_updates=None, n_recent=10):
284
440
    if start_time is None:
285
441
        return None
286
442
 
293
449
    if current > total:
294
450
        return None                     # wtf?
295
451
 
296
 
    elapsed = time.time() - start_time
 
452
    elapsed = time.clock() - start_time
297
453
 
298
454
    if elapsed < 2.0:                   # not enough time to estimate
299
455
        return None
302
458
 
303
459
    assert total_duration >= elapsed
304
460
 
 
461
    if last_updates and len(last_updates) >= n_recent:
 
462
        while len(last_updates) > n_recent:
 
463
            last_updates.popleft()
 
464
        avg = sum(last_updates) / float(len(last_updates))
 
465
        time_left = avg * (total - current)
 
466
 
 
467
        old_time_left = total_duration - elapsed
 
468
 
 
469
        # We could return the average, or some other value here
 
470
        return (time_left + old_time_left) / 2
 
471
 
305
472
    return total_duration - elapsed
306
473
 
307
474
 
 
475
class ProgressPhase(object):
 
476
    """Update progress object with the current phase"""
 
477
    def __init__(self, message, total, pb):
 
478
        object.__init__(self)
 
479
        self.pb = pb
 
480
        self.message = message
 
481
        self.total = total
 
482
        self.cur_phase = None
 
483
 
 
484
    def next_phase(self):
 
485
        if self.cur_phase is None:
 
486
            self.cur_phase = 0
 
487
        else:
 
488
            self.cur_phase += 1
 
489
        assert self.cur_phase < self.total 
 
490
        self.pb.update(self.message, self.cur_phase, self.total)
 
491
 
 
492
 
308
493
def run_tests():
309
494
    import doctest
310
495
    result = doctest.testmod()