~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: Martin Pool
  • Date: 2006-11-02 10:20:19 UTC
  • mfrom: (2114 +trunk)
  • mto: This revision was merged to the branch mainline in revision 2119.
  • Revision ID: mbp@sourcefrog.net-20061102102019-9a5a02f485dff6f6
merge bzr.dev and reconcile several changes, also some test fixes

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
1
# Copyright (C) 2005 Aaron Bentley <aaron.bentley@utoronto.ca>
2
 
# Copyright (C) 2005 Canonical <canonical.com>
3
 
#
4
 
#    This program is free software; you can redistribute it and/or modify
5
 
#    it under the terms of the GNU General Public License as published by
6
 
#    the Free Software Foundation; either version 2 of the License, or
7
 
#    (at your option) any later version.
8
 
#
9
 
#    This program is distributed in the hope that it will be useful,
10
 
#    but WITHOUT ANY WARRANTY; without even the implied warranty of
11
 
#    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12
 
#    GNU General Public License for more details.
13
 
#
14
 
#    You should have received a copy of the GNU General Public License
15
 
#    along with this program; if not, write to the Free Software
16
 
#    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
2
# Copyright (C) 2005, 2006 Canonical Ltd
 
3
#
 
4
# This program is free software; you can redistribute it and/or modify
 
5
# it under the terms of the GNU General Public License as published by
 
6
# the Free Software Foundation; either version 2 of the License, or
 
7
# (at your option) any later version.
 
8
#
 
9
# This program is distributed in the hope that it will be useful,
 
10
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
11
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
12
# GNU General Public License for more details.
 
13
#
 
14
# You should have received a copy of the GNU General Public License
 
15
# along with this program; if not, write to the Free Software
 
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
17
 
18
18
 
19
19
"""Simple text-mode progress indicator.
35
35
# TODO: Optionally show elapsed time instead/as well as ETA; nicer
36
36
# when the rate is unpredictable
37
37
 
38
 
 
39
38
import sys
40
39
import time
41
40
import os
42
 
from collections import deque
43
 
 
44
 
 
45
 
def _width():
46
 
    """Return estimated terminal width.
47
 
 
48
 
    TODO: Do something smart on Windows?
49
 
 
50
 
    TODO: Is there anything that gets a better update when the window
51
 
          is resized while the program is running?
52
 
    """
53
 
    try:
54
 
        return int(os.environ['COLUMNS'])
55
 
    except (IndexError, KeyError, ValueError):
56
 
        return 80
 
41
 
 
42
from bzrlib.lazy_import import lazy_import
 
43
lazy_import(globals(), """
 
44
from bzrlib import (
 
45
    errors,
 
46
    )
 
47
""")
 
48
 
 
49
from bzrlib.trace import mutter
57
50
 
58
51
 
59
52
def _supports_progress(f):
60
 
    if not hasattr(f, 'isatty'):
 
53
    isatty = getattr(f, 'isatty', None)
 
54
    if isatty is None:
61
55
        return False
62
 
    if not f.isatty():
 
56
    if not isatty():
63
57
        return False
64
58
    if os.environ.get('TERM') == 'dumb':
65
59
        # e.g. emacs compile window
67
61
    return True
68
62
 
69
63
 
70
 
 
71
 
def ProgressBar(to_file=sys.stderr, **kwargs):
 
64
_progress_bar_types = {}
 
65
 
 
66
 
 
67
def ProgressBar(to_file=None, **kwargs):
72
68
    """Abstract factory"""
73
 
    if _supports_progress(to_file):
74
 
        return TTYProgressBar(to_file=to_file, **kwargs)
 
69
    if to_file is None:
 
70
        to_file = sys.stderr
 
71
    requested_bar_type = os.environ.get('BZR_PROGRESS_BAR')
 
72
    # An value of '' or not set reverts to standard processing
 
73
    if requested_bar_type in (None, ''):
 
74
        if _supports_progress(to_file):
 
75
            return TTYProgressBar(to_file=to_file, **kwargs)
 
76
        else:
 
77
            return DotsProgressBar(to_file=to_file, **kwargs)
75
78
    else:
76
 
        return DotsProgressBar(to_file=to_file, **kwargs)
77
 
    
78
 
    
 
79
        # Minor sanitation to prevent spurious errors
 
80
        requested_bar_type = requested_bar_type.lower().strip()
 
81
        # TODO: jam 20060710 Arguably we shouldn't raise an exception
 
82
        #       but should instead just disable progress bars if we
 
83
        #       don't recognize the type
 
84
        if requested_bar_type not in _progress_bar_types:
 
85
            raise errors.InvalidProgressBarType(requested_bar_type,
 
86
                                                _progress_bar_types.keys())
 
87
        return _progress_bar_types[requested_bar_type](to_file=to_file, **kwargs)
 
88
 
 
89
 
 
90
class ProgressBarStack(object):
 
91
    """A stack of progress bars."""
 
92
 
 
93
    def __init__(self,
 
94
                 to_file=None,
 
95
                 show_pct=False,
 
96
                 show_spinner=True,
 
97
                 show_eta=False,
 
98
                 show_bar=True,
 
99
                 show_count=True,
 
100
                 to_messages_file=None,
 
101
                 klass=None):
 
102
        """Setup the stack with the parameters the progress bars should have."""
 
103
        if to_file is None:
 
104
            to_file = sys.stderr
 
105
        if to_messages_file is None:
 
106
            to_messages_file = sys.stdout
 
107
        self._to_file = to_file
 
108
        self._show_pct = show_pct
 
109
        self._show_spinner = show_spinner
 
110
        self._show_eta = show_eta
 
111
        self._show_bar = show_bar
 
112
        self._show_count = show_count
 
113
        self._to_messages_file = to_messages_file
 
114
        self._stack = []
 
115
        self._klass = klass or ProgressBar
 
116
 
 
117
    def top(self):
 
118
        if len(self._stack) != 0:
 
119
            return self._stack[-1]
 
120
        else:
 
121
            return None
 
122
 
 
123
    def bottom(self):
 
124
        if len(self._stack) != 0:
 
125
            return self._stack[0]
 
126
        else:
 
127
            return None
 
128
 
 
129
    def get_nested(self):
 
130
        """Return a nested progress bar."""
 
131
        if len(self._stack) == 0:
 
132
            func = self._klass
 
133
        else:
 
134
            func = self.top().child_progress
 
135
        new_bar = func(to_file=self._to_file,
 
136
                       show_pct=self._show_pct,
 
137
                       show_spinner=self._show_spinner,
 
138
                       show_eta=self._show_eta,
 
139
                       show_bar=self._show_bar,
 
140
                       show_count=self._show_count,
 
141
                       to_messages_file=self._to_messages_file,
 
142
                       _stack=self)
 
143
        self._stack.append(new_bar)
 
144
        return new_bar
 
145
 
 
146
    def return_pb(self, bar):
 
147
        """Return bar after its been used."""
 
148
        if bar is not self._stack[-1]:
 
149
            raise errors.MissingProgressBarFinish()
 
150
        self._stack.pop()
 
151
 
 
152
 
79
153
class _BaseProgressBar(object):
 
154
 
80
155
    def __init__(self,
81
 
                 to_file=sys.stderr,
 
156
                 to_file=None,
82
157
                 show_pct=False,
83
158
                 show_spinner=False,
84
 
                 show_eta=True,
 
159
                 show_eta=False,
85
160
                 show_bar=True,
86
 
                 show_count=True):
 
161
                 show_count=True,
 
162
                 to_messages_file=None,
 
163
                 _stack=None):
87
164
        object.__init__(self)
 
165
        if to_file is None:
 
166
            to_file = sys.stderr
 
167
        if to_messages_file is None:
 
168
            to_messages_file = sys.stdout
88
169
        self.to_file = to_file
89
 
 
 
170
        self.to_messages_file = to_messages_file
90
171
        self.last_msg = None
91
172
        self.last_cnt = None
92
173
        self.last_total = None
95
176
        self.show_eta = show_eta
96
177
        self.show_bar = show_bar
97
178
        self.show_count = show_count
98
 
 
 
179
        self._stack = _stack
 
180
        # seed throttler
 
181
        self.MIN_PAUSE = 0.1 # seconds
 
182
        now = time.clock()
 
183
        # starting now
 
184
        self.start_time = now
 
185
        # next update should not throttle
 
186
        self.last_update = now - self.MIN_PAUSE - 1
 
187
 
 
188
    def finished(self):
 
189
        """Return this bar to its progress stack."""
 
190
        self.clear()
 
191
        assert self._stack is not None
 
192
        self._stack.return_pb(self)
 
193
 
 
194
    def note(self, fmt_string, *args, **kwargs):
 
195
        """Record a note without disrupting the progress bar."""
 
196
        self.clear()
 
197
        self.to_messages_file.write(fmt_string % args)
 
198
        self.to_messages_file.write('\n')
 
199
 
 
200
    def child_progress(self, **kwargs):
 
201
        return ChildProgress(**kwargs)
99
202
 
100
203
 
101
204
class DummyProgress(_BaseProgressBar):
109
212
    def update(self, msg=None, current=None, total=None):
110
213
        pass
111
214
 
 
215
    def child_update(self, message, current, total):
 
216
        pass
 
217
 
112
218
    def clear(self):
113
219
        pass
114
220
        
115
 
    
 
221
    def note(self, fmt_string, *args, **kwargs):
 
222
        """See _BaseProgressBar.note()."""
 
223
 
 
224
    def child_progress(self, **kwargs):
 
225
        return DummyProgress(**kwargs)
 
226
 
 
227
 
 
228
_progress_bar_types['dummy'] = DummyProgress
 
229
_progress_bar_types['none'] = DummyProgress
 
230
 
 
231
 
116
232
class DotsProgressBar(_BaseProgressBar):
 
233
 
117
234
    def __init__(self, **kwargs):
118
235
        _BaseProgressBar.__init__(self, **kwargs)
119
236
        self.last_msg = None
126
243
        if msg and msg != self.last_msg:
127
244
            if self.need_nl:
128
245
                self.to_file.write('\n')
129
 
            
130
246
            self.to_file.write(msg + ': ')
131
247
            self.last_msg = msg
132
248
        self.need_nl = True
135
251
    def clear(self):
136
252
        if self.need_nl:
137
253
            self.to_file.write('\n')
 
254
        self.need_nl = False
138
255
        
 
256
    def child_update(self, message, current, total):
 
257
        self.tick()
 
258
 
 
259
 
 
260
_progress_bar_types['dots'] = DotsProgressBar
 
261
 
139
262
    
140
263
class TTYProgressBar(_BaseProgressBar):
141
264
    """Progress bar display object.
158
281
    The output file should be in line-buffered or unbuffered mode.
159
282
    """
160
283
    SPIN_CHARS = r'/-\|'
161
 
    MIN_PAUSE = 0.1 # seconds
162
284
 
163
285
 
164
286
    def __init__(self, **kwargs):
 
287
        from bzrlib.osutils import terminal_width
165
288
        _BaseProgressBar.__init__(self, **kwargs)
166
289
        self.spin_pos = 0
167
 
        self.width = _width()
168
 
        self.start_time = None
169
 
        self.last_update = None
170
 
        self.last_updates = deque()
 
290
        self.width = terminal_width()
 
291
        self.last_updates = []
 
292
        self._max_last_updates = 10
 
293
        self.child_fraction = 0
 
294
        self._have_output = False
171
295
    
172
296
 
173
 
    def throttle(self):
 
297
    def throttle(self, old_msg):
174
298
        """Return True if the bar was updated too recently"""
175
 
        now = time.time()
176
 
        if self.start_time is None:
177
 
            self.start_time = self.last_update = now
 
299
        # time.time consistently takes 40/4000 ms = 0.01 ms.
 
300
        # but every single update to the pb invokes it.
 
301
        # so we use time.clock which takes 20/4000 ms = 0.005ms
 
302
        # on the downside, time.clock() appears to have approximately
 
303
        # 10ms granularity, so we treat a zero-time change as 'throttled.'
 
304
        now = time.clock()
 
305
        if self.start_time is not None and (now - self.start_time) < 1:
 
306
            return True
 
307
        if old_msg != self.last_msg:
178
308
            return False
179
 
        else:
180
 
            interval = now - self.last_update
181
 
            if interval > 0 and interval < self.MIN_PAUSE:
182
 
                return True
 
309
        interval = now - self.last_update
 
310
        # if interval > 0
 
311
        if interval < self.MIN_PAUSE:
 
312
            return True
183
313
 
184
314
        self.last_updates.append(now - self.last_update)
 
315
        # Don't let the queue grow without bound
 
316
        self.last_updates = self.last_updates[-self._max_last_updates:]
185
317
        self.last_update = now
186
318
        return False
187
319
        
188
 
 
189
320
    def tick(self):
190
 
        self.update(self.last_msg, self.last_cnt, self.last_total)
191
 
                 
192
 
 
193
 
 
194
 
    def update(self, msg, current_cnt=None, total_cnt=None):
 
321
        self.update(self.last_msg, self.last_cnt, self.last_total, 
 
322
                    self.child_fraction)
 
323
 
 
324
    def child_update(self, message, current, total):
 
325
        if current is not None and total != 0:
 
326
            child_fraction = float(current) / total
 
327
            if self.last_cnt is None:
 
328
                pass
 
329
            elif self.last_cnt + child_fraction <= self.last_total:
 
330
                self.child_fraction = child_fraction
 
331
            else:
 
332
                mutter('not updating child fraction')
 
333
        if self.last_msg is None:
 
334
            self.last_msg = ''
 
335
        self.tick()
 
336
 
 
337
    def update(self, msg, current_cnt=None, total_cnt=None, 
 
338
               child_fraction=0):
195
339
        """Update and redraw progress bar."""
 
340
        if msg is None:
 
341
            msg = self.last_msg
 
342
 
 
343
        if total_cnt is None:
 
344
            total_cnt = self.last_total
196
345
 
197
346
        if current_cnt < 0:
198
347
            current_cnt = 0
199
348
            
200
349
        if current_cnt > total_cnt:
201
350
            total_cnt = current_cnt
 
351
        
 
352
        ## # optional corner case optimisation 
 
353
        ## # currently does not seem to fire so costs more than saved.
 
354
        ## # trivial optimal case:
 
355
        ## # NB if callers are doing a clear and restore with
 
356
        ## # the saved values, this will prevent that:
 
357
        ## # in that case add a restore method that calls
 
358
        ## # _do_update or some such
 
359
        ## if (self.last_msg == msg and
 
360
        ##     self.last_cnt == current_cnt and
 
361
        ##     self.last_total == total_cnt and
 
362
        ##     self.child_fraction == child_fraction):
 
363
        ##     return
202
364
 
 
365
        old_msg = self.last_msg
203
366
        # save these for the tick() function
204
367
        self.last_msg = msg
205
368
        self.last_cnt = current_cnt
206
369
        self.last_total = total_cnt
207
 
            
208
 
        if self.throttle():
209
 
            return 
210
 
        
211
 
        if self.show_eta and self.start_time and total_cnt:
212
 
            eta = get_eta(self.start_time, current_cnt, total_cnt,
213
 
                    last_updates = self.last_updates)
 
370
        self.child_fraction = child_fraction
 
371
 
 
372
        # each function call takes 20ms/4000 = 0.005 ms, 
 
373
        # but multiple that by 4000 calls -> starts to cost.
 
374
        # so anything to make this function call faster
 
375
        # will improve base 'diff' time by up to 0.1 seconds.
 
376
        if self.throttle(old_msg):
 
377
            return
 
378
 
 
379
        if self.show_eta and self.start_time and self.last_total:
 
380
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
 
381
                    self.last_total, last_updates = self.last_updates)
214
382
            eta_str = " " + str_tdelta(eta)
215
383
        else:
216
384
            eta_str = ""
223
391
        # always update this; it's also used for the bar
224
392
        self.spin_pos += 1
225
393
 
226
 
        if self.show_pct and total_cnt and current_cnt:
227
 
            pct = 100.0 * current_cnt / total_cnt
 
394
        if self.show_pct and self.last_total and self.last_cnt:
 
395
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
228
396
            pct_str = ' (%5.1f%%)' % pct
229
397
        else:
230
398
            pct_str = ''
231
399
 
232
400
        if not self.show_count:
233
401
            count_str = ''
234
 
        elif current_cnt is None:
 
402
        elif self.last_cnt is None:
235
403
            count_str = ''
236
 
        elif total_cnt is None:
237
 
            count_str = ' %i' % (current_cnt)
 
404
        elif self.last_total is None:
 
405
            count_str = ' %i' % (self.last_cnt)
238
406
        else:
239
407
            # make both fields the same size
240
 
            t = '%i' % (total_cnt)
241
 
            c = '%*i' % (len(t), current_cnt)
 
408
            t = '%i' % (self.last_total)
 
409
            c = '%*i' % (len(t), self.last_cnt)
242
410
            count_str = ' ' + c + '/' + t 
243
411
 
244
412
        if self.show_bar:
245
413
            # progress bar, if present, soaks up all remaining space
246
 
            cols = self.width - 1 - len(msg) - len(spin_str) - len(pct_str) \
 
414
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
247
415
                   - len(eta_str) - len(count_str) - 3
248
416
 
249
 
            if total_cnt:
 
417
            if self.last_total:
250
418
                # number of markers highlighted in bar
251
 
                markers = int(round(float(cols) * current_cnt / total_cnt))
 
419
                markers = int(round(float(cols) * 
 
420
                              (self.last_cnt + self.child_fraction) / self.last_total))
252
421
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
253
422
            elif False:
254
423
                # don't know total, so can't show completion.
262
431
        else:
263
432
            bar_str = ''
264
433
 
265
 
        m = spin_str + bar_str + msg + count_str + pct_str + eta_str
266
 
 
267
 
        assert len(m) < self.width
268
 
        self.to_file.write('\r' + m.ljust(self.width - 1))
 
434
        m = spin_str + bar_str + self.last_msg + count_str + pct_str + eta_str
 
435
        self.to_file.write('\r%-*.*s' % (self.width - 1, self.width - 1, m))
 
436
        self._have_output = True
269
437
        #self.to_file.flush()
270
438
            
271
 
 
272
439
    def clear(self):        
273
 
        self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
 
440
        if self._have_output:
 
441
            self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
 
442
        self._have_output = False
274
443
        #self.to_file.flush()        
275
 
    
276
 
 
277
 
        
 
444
 
 
445
 
 
446
_progress_bar_types['tty'] = TTYProgressBar
 
447
 
 
448
 
 
449
class ChildProgress(_BaseProgressBar):
 
450
    """A progress indicator that pushes its data to the parent"""
 
451
 
 
452
    def __init__(self, _stack, **kwargs):
 
453
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
 
454
        self.parent = _stack.top()
 
455
        self.current = None
 
456
        self.total = None
 
457
        self.child_fraction = 0
 
458
        self.message = None
 
459
 
 
460
    def update(self, msg, current_cnt=None, total_cnt=None):
 
461
        self.current = current_cnt
 
462
        self.total = total_cnt
 
463
        self.message = msg
 
464
        self.child_fraction = 0
 
465
        self.tick()
 
466
 
 
467
    def child_update(self, message, current, total):
 
468
        if current is None or total == 0:
 
469
            self.child_fraction = 0
 
470
        else:
 
471
            self.child_fraction = float(current) / total
 
472
        self.tick()
 
473
 
 
474
    def tick(self):
 
475
        if self.current is None:
 
476
            count = None
 
477
        else:
 
478
            count = self.current+self.child_fraction
 
479
            if count > self.total:
 
480
                if __debug__:
 
481
                    mutter('clamping count of %d to %d' % (count, self.total))
 
482
                count = self.total
 
483
        self.parent.child_update(self.message, count, self.total)
 
484
 
 
485
    def clear(self):
 
486
        pass
 
487
 
 
488
    def note(self, *args, **kwargs):
 
489
        self.parent.note(*args, **kwargs)
 
490
 
 
491
 
278
492
def str_tdelta(delt):
279
493
    if delt is None:
280
494
        return "-:--:--"
297
511
    if current > total:
298
512
        return None                     # wtf?
299
513
 
300
 
    elapsed = time.time() - start_time
 
514
    elapsed = time.clock() - start_time
301
515
 
302
516
    if elapsed < 2.0:                   # not enough time to estimate
303
517
        return None
307
521
    assert total_duration >= elapsed
308
522
 
309
523
    if last_updates and len(last_updates) >= n_recent:
310
 
        while len(last_updates) > n_recent:
311
 
            last_updates.popleft()
312
524
        avg = sum(last_updates) / float(len(last_updates))
313
525
        time_left = avg * (total - current)
314
526
 
320
532
    return total_duration - elapsed
321
533
 
322
534
 
 
535
class ProgressPhase(object):
 
536
    """Update progress object with the current phase"""
 
537
    def __init__(self, message, total, pb):
 
538
        object.__init__(self)
 
539
        self.pb = pb
 
540
        self.message = message
 
541
        self.total = total
 
542
        self.cur_phase = None
 
543
 
 
544
    def next_phase(self):
 
545
        if self.cur_phase is None:
 
546
            self.cur_phase = 0
 
547
        else:
 
548
            self.cur_phase += 1
 
549
        assert self.cur_phase < self.total 
 
550
        self.pb.update(self.message, self.cur_phase, self.total)
 
551
 
 
552
 
323
553
def run_tests():
324
554
    import doctest
325
555
    result = doctest.testmod()