~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: Frank Aspell
  • Date: 2009-02-17 11:40:05 UTC
  • mto: (4054.1.1 doc)
  • mto: This revision was merged to the branch mainline in revision 4056.
  • Revision ID: frankaspell@googlemail.com-20090217114005-ojufrp6rqht664um
Fixed typos.

Fixed some typos in bzr doc's using "aspell -l en -c FILENAME".

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2008, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
 
18
18
"""Progress indicators.
25
25
import sys
26
26
import time
27
27
import os
28
 
 
29
 
 
 
28
import warnings
 
29
 
 
30
 
 
31
from bzrlib import (
 
32
    errors,
 
33
    osutils,
 
34
    trace,
 
35
    ui,
 
36
    )
 
37
from bzrlib.trace import mutter
30
38
from bzrlib.symbol_versioning import (
31
39
    deprecated_in,
32
40
    deprecated_method,
34
42
 
35
43
 
36
44
def _supports_progress(f):
37
 
    """Detect if we can use pretty progress bars on file F.
 
45
    """Detect if we can use pretty progress bars on the output stream f.
38
46
 
39
 
    If this returns true we expect that a human may be looking at that
 
47
    If this returns true we expect that a human may be looking at that 
40
48
    output, and that we can repaint a line to update it.
41
 
 
42
 
    This doesn't check the policy for whether we *should* use them.
43
49
    """
44
50
    isatty = getattr(f, 'isatty', None)
45
51
    if isatty is None:
46
52
        return False
47
53
    if not isatty():
48
54
        return False
49
 
    # The following case also handles Win32 - on that platform $TERM is
50
 
    # typically never set, so the case None is treated as a smart terminal,
51
 
    # not dumb.  <https://bugs.launchpad.net/bugs/334808>  win32 files do have
52
 
    # isatty methods that return true.
53
55
    if os.environ.get('TERM') == 'dumb':
54
56
        # e.g. emacs compile window
55
57
        return False
59
61
class ProgressTask(object):
60
62
    """Model component of a progress indicator.
61
63
 
62
 
    Most code that needs to indicate progress should update one of these,
 
64
    Most code that needs to indicate progress should update one of these, 
63
65
    and it will in turn update the display, if one is present.
64
66
 
65
67
    Code updating the task may also set fields as hints about how to display
66
68
    it: show_pct, show_spinner, show_eta, show_count, show_bar.  UIs
67
69
    will not necessarily respect all these fields.
68
 
    
69
 
    :ivar update_latency: The interval (in seconds) at which the PB should be
70
 
        updated.  Setting this to zero suggests every update should be shown
71
 
        synchronously.
72
 
 
73
 
    :ivar show_transport_activity: If true (default), transport activity
74
 
        will be shown when this task is drawn.  Disable it if you're sure 
75
 
        that only irrelevant or uninteresting transport activity can occur
76
 
        during this task.
77
70
    """
78
71
 
79
 
    def __init__(self, parent_task=None, ui_factory=None, progress_view=None):
80
 
        """Construct a new progress task.
81
 
 
82
 
        :param parent_task: Enclosing ProgressTask or None.
83
 
 
84
 
        :param progress_view: ProgressView to display this ProgressTask.
85
 
 
86
 
        :param ui_factory: The UI factory that will display updates; 
87
 
            deprecated in favor of passing progress_view directly.
88
 
 
89
 
        Normally you should not call this directly but rather through
90
 
        `ui_factory.nested_progress_bar`.
91
 
        """
 
72
    def __init__(self, parent_task=None, ui_factory=None):
92
73
        self._parent_task = parent_task
93
74
        self._last_update = 0
94
75
        self.total_cnt = None
95
76
        self.current_cnt = None
96
77
        self.msg = ''
97
 
        # TODO: deprecate passing ui_factory
98
78
        self.ui_factory = ui_factory
99
 
        self.progress_view = progress_view
100
79
        self.show_pct = False
101
80
        self.show_spinner = True
102
81
        self.show_eta = False,
103
82
        self.show_count = True
104
83
        self.show_bar = True
105
 
        self.update_latency = 0.1
106
 
        self.show_transport_activity = True
107
84
 
108
85
    def __repr__(self):
109
86
        return '%s(%r/%r, msg=%r)' % (
117
94
        self.current_cnt = current_cnt
118
95
        if total_cnt:
119
96
            self.total_cnt = total_cnt
120
 
        if self.progress_view:
121
 
            self.progress_view.show_progress(self)
122
 
        else:
123
 
            self.ui_factory._progress_updated(self)
 
97
        self.ui_factory._progress_updated(self)
124
98
 
125
99
    def tick(self):
126
100
        self.update(self.msg)
127
101
 
128
102
    def finished(self):
129
 
        if self.progress_view:
130
 
            self.progress_view.task_finished(self)
131
 
        else:
132
 
            self.ui_factory._progress_finished(self)
 
103
        self.ui_factory._progress_finished(self)
133
104
 
134
105
    def make_sub_task(self):
135
 
        return ProgressTask(self, ui_factory=self.ui_factory,
136
 
            progress_view=self.progress_view)
 
106
        return ProgressTask(self, self.ui_factory)
137
107
 
138
108
    def _overall_completion_fraction(self, child_fraction=0.0):
139
109
        """Return fractional completion of this task and its parents
140
 
 
 
110
        
141
111
        Returns None if no completion can be computed."""
142
 
        if self.current_cnt is not None and self.total_cnt:
 
112
        if self.total_cnt:
143
113
            own_fraction = (float(self.current_cnt) + child_fraction) / self.total_cnt
144
114
        else:
145
 
            # if this task has no estimation, it just passes on directly
146
 
            # whatever the child has measured...
147
 
            own_fraction = child_fraction
 
115
            own_fraction = None
148
116
        if self._parent_task is None:
149
117
            return own_fraction
150
118
        else:
152
120
                own_fraction = 0.0
153
121
            return self._parent_task._overall_completion_fraction(own_fraction)
154
122
 
 
123
    def note(self, fmt_string, *args):
 
124
        """Record a note without disrupting the progress bar."""
 
125
        # XXX: shouldn't be here; put it in mutter or the ui instead
 
126
        if args:
 
127
            self.ui_factory.note(fmt_string % args)
 
128
        else:
 
129
            self.ui_factory.note(fmt_string)
 
130
 
155
131
    def clear(self):
156
 
        # TODO: deprecate this method; the model object shouldn't be concerned
157
 
        # with whether it's shown or not.  Most callers use this because they
158
 
        # want to write some different non-progress output to the screen, but
159
 
        # they should probably instead use a stream that's synchronized with
160
 
        # the progress output.  It may be there is a model-level use for
161
 
        # saying "this task's not active at the moment" but I don't see it. --
162
 
        # mbp 20090623
163
 
        if self.progress_view:
164
 
            self.progress_view.clear()
165
 
        else:
166
 
            self.ui_factory.clear_term()
167
 
 
168
 
 
169
 
# NOTE: This is also deprecated; you should provide a ProgressView instead.
 
132
        # XXX: shouldn't be here; put it in mutter or the ui instead
 
133
        self.ui_factory.clear_term()
 
134
 
 
135
 
 
136
def ProgressBar(to_file=None, **kwargs):
 
137
    """Abstract factory"""
 
138
    if to_file is None:
 
139
        to_file = sys.stderr
 
140
    requested_bar_type = os.environ.get('BZR_PROGRESS_BAR')
 
141
    # An value of '' or not set reverts to standard processing
 
142
    if requested_bar_type in (None, ''):
 
143
        if _supports_progress(to_file):
 
144
            return TTYProgressBar(to_file=to_file, **kwargs)
 
145
        else:
 
146
            return DummyProgress(to_file=to_file, **kwargs)
 
147
    else:
 
148
        # Minor sanitation to prevent spurious errors
 
149
        requested_bar_type = requested_bar_type.lower().strip()
 
150
        # TODO: jam 20060710 Arguably we shouldn't raise an exception
 
151
        #       but should instead just disable progress bars if we
 
152
        #       don't recognize the type
 
153
        if requested_bar_type not in _progress_bar_types:
 
154
            raise errors.InvalidProgressBarType(requested_bar_type,
 
155
                                                _progress_bar_types.keys())
 
156
        return _progress_bar_types[requested_bar_type](to_file=to_file, **kwargs)
 
157
 
 
158
 
 
159
class ProgressBarStack(object):
 
160
    """A stack of progress bars.
 
161
    
 
162
    This class is deprecated: instead, ask the ui factory for a new progress
 
163
    task and finish it when it's done.
 
164
    """
 
165
 
 
166
    @deprecated_method(deprecated_in((1, 12, 0)))
 
167
    def __init__(self,
 
168
                 to_file=None,
 
169
                 show_pct=False,
 
170
                 show_spinner=True,
 
171
                 show_eta=False,
 
172
                 show_bar=True,
 
173
                 show_count=True,
 
174
                 to_messages_file=None,
 
175
                 klass=None):
 
176
        """Setup the stack with the parameters the progress bars should have."""
 
177
        if to_file is None:
 
178
            to_file = sys.stderr
 
179
        if to_messages_file is None:
 
180
            to_messages_file = sys.stdout
 
181
        self._to_file = to_file
 
182
        self._show_pct = show_pct
 
183
        self._show_spinner = show_spinner
 
184
        self._show_eta = show_eta
 
185
        self._show_bar = show_bar
 
186
        self._show_count = show_count
 
187
        self._to_messages_file = to_messages_file
 
188
        self._stack = []
 
189
        self._klass = klass or ProgressBar
 
190
 
 
191
    def top(self):
 
192
        if len(self._stack) != 0:
 
193
            return self._stack[-1]
 
194
        else:
 
195
            return None
 
196
 
 
197
    def bottom(self):
 
198
        if len(self._stack) != 0:
 
199
            return self._stack[0]
 
200
        else:
 
201
            return None
 
202
 
 
203
    def get_nested(self):
 
204
        """Return a nested progress bar."""
 
205
        if len(self._stack) == 0:
 
206
            func = self._klass
 
207
        else:
 
208
            func = self.top().child_progress
 
209
        new_bar = func(to_file=self._to_file,
 
210
                       show_pct=self._show_pct,
 
211
                       show_spinner=self._show_spinner,
 
212
                       show_eta=self._show_eta,
 
213
                       show_bar=self._show_bar,
 
214
                       show_count=self._show_count,
 
215
                       to_messages_file=self._to_messages_file,
 
216
                       _stack=self)
 
217
        self._stack.append(new_bar)
 
218
        return new_bar
 
219
 
 
220
    def return_pb(self, bar):
 
221
        """Return bar after its been used."""
 
222
        if bar is not self._stack[-1]:
 
223
            warnings.warn("%r is not currently active" % (bar,))
 
224
        else:
 
225
            self._stack.pop()
 
226
 
 
227
 
170
228
class _BaseProgressBar(object):
171
229
 
172
230
    def __init__(self,
207
265
        self.clear()
208
266
        self._stack.return_pb(self)
209
267
 
210
 
 
211
 
class DummyProgress(object):
 
268
    def note(self, fmt_string, *args, **kwargs):
 
269
        """Record a note without disrupting the progress bar."""
 
270
        self.clear()
 
271
        self.to_messages_file.write(fmt_string % args)
 
272
        self.to_messages_file.write('\n')
 
273
 
 
274
    def child_progress(self, **kwargs):
 
275
        return ChildProgress(**kwargs)
 
276
 
 
277
 
 
278
class DummyProgress(_BaseProgressBar):
212
279
    """Progress-bar standin that does nothing.
213
280
 
214
 
    This was previously often constructed by application code if no progress
215
 
    bar was explicitly passed in.  That's no longer recommended: instead, just
216
 
    create a progress task from the ui_factory.  This class can be used in
217
 
    test code that needs to fake a progress task for some reason.
218
 
    """
 
281
    This can be used as the default argument for methods that
 
282
    take an optional progress indicator."""
219
283
 
220
284
    def tick(self):
221
285
        pass
228
292
 
229
293
    def clear(self):
230
294
        pass
 
295
        
 
296
    def note(self, fmt_string, *args, **kwargs):
 
297
        """See _BaseProgressBar.note()."""
231
298
 
232
299
    def child_progress(self, **kwargs):
233
300
        return DummyProgress(**kwargs)
234
301
 
235
302
 
 
303
class DotsProgressBar(_BaseProgressBar):
 
304
 
 
305
    def __init__(self, **kwargs):
 
306
        _BaseProgressBar.__init__(self, **kwargs)
 
307
        self.last_msg = None
 
308
        self.need_nl = False
 
309
        
 
310
    def tick(self):
 
311
        self.update()
 
312
        
 
313
    def update(self, msg=None, current_cnt=None, total_cnt=None):
 
314
        if msg and msg != self.last_msg:
 
315
            if self.need_nl:
 
316
                self.to_file.write('\n')
 
317
            self.to_file.write(msg + ': ')
 
318
            self.last_msg = msg
 
319
        self.need_nl = True
 
320
        self.to_file.write('.')
 
321
        
 
322
    def clear(self):
 
323
        if self.need_nl:
 
324
            self.to_file.write('\n')
 
325
        self.need_nl = False
 
326
        
 
327
    def child_update(self, message, current, total):
 
328
        self.tick()
 
329
 
 
330
 
 
331
 
 
332
    
 
333
class TTYProgressBar(_BaseProgressBar):
 
334
    """Progress bar display object.
 
335
 
 
336
    Several options are available to control the display.  These can
 
337
    be passed as parameters to the constructor or assigned at any time:
 
338
 
 
339
    show_pct
 
340
        Show percentage complete.
 
341
    show_spinner
 
342
        Show rotating baton.  This ticks over on every update even
 
343
        if the values don't change.
 
344
    show_eta
 
345
        Show predicted time-to-completion.
 
346
    show_bar
 
347
        Show bar graph.
 
348
    show_count
 
349
        Show numerical counts.
 
350
 
 
351
    The output file should be in line-buffered or unbuffered mode.
 
352
    """
 
353
    SPIN_CHARS = r'/-\|'
 
354
 
 
355
 
 
356
    def __init__(self, **kwargs):
 
357
        from bzrlib.osutils import terminal_width
 
358
        _BaseProgressBar.__init__(self, **kwargs)
 
359
        self.spin_pos = 0
 
360
        self.width = terminal_width()
 
361
        self.last_updates = []
 
362
        self._max_last_updates = 10
 
363
        self.child_fraction = 0
 
364
        self._have_output = False
 
365
    
 
366
    def throttle(self, old_msg):
 
367
        """Return True if the bar was updated too recently"""
 
368
        # time.time consistently takes 40/4000 ms = 0.01 ms.
 
369
        # time.clock() is faster, but gives us CPU time, not wall-clock time
 
370
        now = time.time()
 
371
        if self.start_time is not None and (now - self.start_time) < 1:
 
372
            return True
 
373
        if old_msg != self.last_msg:
 
374
            return False
 
375
        interval = now - self.last_update
 
376
        # if interval > 0
 
377
        if interval < self.MIN_PAUSE:
 
378
            return True
 
379
 
 
380
        self.last_updates.append(now - self.last_update)
 
381
        # Don't let the queue grow without bound
 
382
        self.last_updates = self.last_updates[-self._max_last_updates:]
 
383
        self.last_update = now
 
384
        return False
 
385
        
 
386
    def tick(self):
 
387
        self.update(self.last_msg, self.last_cnt, self.last_total,
 
388
                    self.child_fraction)
 
389
 
 
390
    def child_update(self, message, current, total):
 
391
        if current is not None and total != 0:
 
392
            child_fraction = float(current) / total
 
393
            if self.last_cnt is None:
 
394
                pass
 
395
            elif self.last_cnt + child_fraction <= self.last_total:
 
396
                self.child_fraction = child_fraction
 
397
        if self.last_msg is None:
 
398
            self.last_msg = ''
 
399
        self.tick()
 
400
 
 
401
    def update(self, msg, current_cnt=None, total_cnt=None,
 
402
            child_fraction=0):
 
403
        """Update and redraw progress bar.
 
404
        """
 
405
        if msg is None:
 
406
            msg = self.last_msg
 
407
 
 
408
        if total_cnt is None:
 
409
            total_cnt = self.last_total
 
410
 
 
411
        if current_cnt < 0:
 
412
            current_cnt = 0
 
413
            
 
414
        if current_cnt > total_cnt:
 
415
            total_cnt = current_cnt
 
416
        
 
417
        ## # optional corner case optimisation 
 
418
        ## # currently does not seem to fire so costs more than saved.
 
419
        ## # trivial optimal case:
 
420
        ## # NB if callers are doing a clear and restore with
 
421
        ## # the saved values, this will prevent that:
 
422
        ## # in that case add a restore method that calls
 
423
        ## # _do_update or some such
 
424
        ## if (self.last_msg == msg and
 
425
        ##     self.last_cnt == current_cnt and
 
426
        ##     self.last_total == total_cnt and
 
427
        ##     self.child_fraction == child_fraction):
 
428
        ##     return
 
429
 
 
430
        if msg is None:
 
431
            msg = ''
 
432
 
 
433
        old_msg = self.last_msg
 
434
        # save these for the tick() function
 
435
        self.last_msg = msg
 
436
        self.last_cnt = current_cnt
 
437
        self.last_total = total_cnt
 
438
        self.child_fraction = child_fraction
 
439
 
 
440
        # each function call takes 20ms/4000 = 0.005 ms, 
 
441
        # but multiple that by 4000 calls -> starts to cost.
 
442
        # so anything to make this function call faster
 
443
        # will improve base 'diff' time by up to 0.1 seconds.
 
444
        if self.throttle(old_msg):
 
445
            return
 
446
 
 
447
        if self.show_eta and self.start_time and self.last_total:
 
448
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
 
449
                    self.last_total, last_updates = self.last_updates)
 
450
            eta_str = " " + str_tdelta(eta)
 
451
        else:
 
452
            eta_str = ""
 
453
 
 
454
        if self.show_spinner:
 
455
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '            
 
456
        else:
 
457
            spin_str = ''
 
458
 
 
459
        # always update this; it's also used for the bar
 
460
        self.spin_pos += 1
 
461
 
 
462
        if self.show_pct and self.last_total and self.last_cnt:
 
463
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
 
464
            pct_str = ' (%5.1f%%)' % pct
 
465
        else:
 
466
            pct_str = ''
 
467
 
 
468
        if not self.show_count:
 
469
            count_str = ''
 
470
        elif self.last_cnt is None:
 
471
            count_str = ''
 
472
        elif self.last_total is None:
 
473
            count_str = ' %i' % (self.last_cnt)
 
474
        else:
 
475
            # make both fields the same size
 
476
            t = '%i' % (self.last_total)
 
477
            c = '%*i' % (len(t), self.last_cnt)
 
478
            count_str = ' ' + c + '/' + t
 
479
 
 
480
        if self.show_bar:
 
481
            # progress bar, if present, soaks up all remaining space
 
482
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
 
483
                   - len(eta_str) - len(count_str) - 3
 
484
 
 
485
            if self.last_total:
 
486
                # number of markers highlighted in bar
 
487
                markers = int(round(float(cols) * 
 
488
                              (self.last_cnt + self.child_fraction) / self.last_total))
 
489
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
 
490
            elif False:
 
491
                # don't know total, so can't show completion.
 
492
                # so just show an expanded spinning thingy
 
493
                m = self.spin_pos % cols
 
494
                ms = (' ' * m + '*').ljust(cols)
 
495
                
 
496
                bar_str = '[' + ms + '] '
 
497
            else:
 
498
                bar_str = ''
 
499
        else:
 
500
            bar_str = ''
 
501
 
 
502
        m = spin_str + bar_str + self.last_msg + count_str \
 
503
            + pct_str + eta_str
 
504
        self.to_file.write('\r%-*.*s' % (self.width - 1, self.width - 1, m))
 
505
        self._have_output = True
 
506
        #self.to_file.flush()
 
507
            
 
508
    def clear(self):
 
509
        if self._have_output:
 
510
            self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
 
511
        self._have_output = False
 
512
        #self.to_file.flush()        
 
513
 
 
514
 
 
515
 
 
516
 
 
517
class ChildProgress(_BaseProgressBar):
 
518
    """A progress indicator that pushes its data to the parent"""
 
519
 
 
520
    def __init__(self, _stack, **kwargs):
 
521
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
 
522
        self.parent = _stack.top()
 
523
        self.current = None
 
524
        self.total = None
 
525
        self.child_fraction = 0
 
526
        self.message = None
 
527
 
 
528
    def update(self, msg, current_cnt=None, total_cnt=None):
 
529
        self.current = current_cnt
 
530
        if total_cnt is not None:
 
531
            self.total = total_cnt
 
532
        self.message = msg
 
533
        self.child_fraction = 0
 
534
        self.tick()
 
535
 
 
536
    def child_update(self, message, current, total):
 
537
        if current is None or total == 0:
 
538
            self.child_fraction = 0
 
539
        else:
 
540
            self.child_fraction = float(current) / total
 
541
        self.tick()
 
542
 
 
543
    def tick(self):
 
544
        if self.current is None:
 
545
            count = None
 
546
        else:
 
547
            count = self.current+self.child_fraction
 
548
            if count > self.total:
 
549
                if __debug__:
 
550
                    mutter('clamping count of %d to %d' % (count, self.total))
 
551
                count = self.total
 
552
        self.parent.child_update(self.message, count, self.total)
 
553
 
 
554
    def clear(self):
 
555
        pass
 
556
 
 
557
    def note(self, *args, **kwargs):
 
558
        self.parent.note(*args, **kwargs)
 
559
 
 
560
 
 
561
class InstrumentedProgress(TTYProgressBar):
 
562
    """TTYProgress variant that tracks outcomes"""
 
563
 
 
564
    def __init__(self, *args, **kwargs):
 
565
        self.always_throttled = True
 
566
        self.never_throttle = False
 
567
        TTYProgressBar.__init__(self, *args, **kwargs)
 
568
 
 
569
    def throttle(self, old_message):
 
570
        if self.never_throttle:
 
571
            result =  False
 
572
        else:
 
573
            result = TTYProgressBar.throttle(self, old_message)
 
574
        if result is False:
 
575
            self.always_throttled = False
 
576
 
 
577
 
236
578
def str_tdelta(delt):
237
579
    if delt is None:
238
580
        return "-:--:--"
259
601
 
260
602
    if elapsed < 2.0:                   # not enough time to estimate
261
603
        return None
262
 
 
 
604
    
263
605
    total_duration = float(elapsed) * float(total) / float(current)
264
606
 
265
607
    if last_updates and len(last_updates) >= n_recent:
289
631
        else:
290
632
            self.cur_phase += 1
291
633
        self.pb.update(self.message, self.cur_phase, self.total)
 
634
 
 
635
 
 
636
_progress_bar_types = {}
 
637
_progress_bar_types['dummy'] = DummyProgress
 
638
_progress_bar_types['none'] = DummyProgress
 
639
_progress_bar_types['tty'] = TTYProgressBar
 
640
_progress_bar_types['dots'] = DotsProgressBar