~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/progress.py

  • Committer: Vincent Ladeuil
  • Date: 2010-02-10 15:46:03 UTC
  • mfrom: (4985.3.21 update)
  • mto: This revision was merged to the branch mainline in revision 5021.
  • Revision ID: v.ladeuil+lp@free.fr-20100210154603-k4no1gvfuqpzrw7p
Update performs two merges in a more logical order but stop on conflicts

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2008, 2009 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2008, 2009, 2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
 
18
18
"""Progress indicators.
25
25
import sys
26
26
import time
27
27
import os
28
 
import warnings
29
28
 
30
29
 
31
30
from bzrlib import (
32
31
    errors,
33
 
    osutils,
34
 
    trace,
35
 
    ui,
36
32
    )
37
33
from bzrlib.trace import mutter
38
34
from bzrlib.symbol_versioning import (
 
35
    deprecated_function,
39
36
    deprecated_in,
40
37
    deprecated_method,
41
38
    )
42
39
 
43
40
 
44
41
def _supports_progress(f):
45
 
    """Detect if we can use pretty progress bars on the output stream f.
 
42
    """Detect if we can use pretty progress bars on file F.
46
43
 
47
 
    If this returns true we expect that a human may be looking at that 
 
44
    If this returns true we expect that a human may be looking at that
48
45
    output, and that we can repaint a line to update it.
 
46
 
 
47
    This doesn't check the policy for whether we *should* use them.
49
48
    """
50
49
    isatty = getattr(f, 'isatty', None)
51
50
    if isatty is None:
52
51
        return False
53
52
    if not isatty():
54
53
        return False
 
54
    # The following case also handles Win32 - on that platform $TERM is
 
55
    # typically never set, so the case None is treated as a smart terminal,
 
56
    # not dumb.  <https://bugs.launchpad.net/bugs/334808>  win32 files do have
 
57
    # isatty methods that return true.
55
58
    if os.environ.get('TERM') == 'dumb':
56
59
        # e.g. emacs compile window
57
60
        return False
61
64
class ProgressTask(object):
62
65
    """Model component of a progress indicator.
63
66
 
64
 
    Most code that needs to indicate progress should update one of these, 
 
67
    Most code that needs to indicate progress should update one of these,
65
68
    and it will in turn update the display, if one is present.
66
69
 
67
70
    Code updating the task may also set fields as hints about how to display
68
71
    it: show_pct, show_spinner, show_eta, show_count, show_bar.  UIs
69
72
    will not necessarily respect all these fields.
 
73
    
 
74
    :ivar update_latency: The interval (in seconds) at which the PB should be
 
75
        updated.  Setting this to zero suggests every update should be shown
 
76
        synchronously.
 
77
 
 
78
    :ivar show_transport_activity: If true (default), transport activity
 
79
        will be shown when this task is drawn.  Disable it if you're sure 
 
80
        that only irrelevant or uninteresting transport activity can occur
 
81
        during this task.
70
82
    """
71
83
 
72
 
    def __init__(self, parent_task=None, ui_factory=None):
 
84
    def __init__(self, parent_task=None, ui_factory=None, progress_view=None):
 
85
        """Construct a new progress task.
 
86
 
 
87
        :param parent_task: Enclosing ProgressTask or None.
 
88
 
 
89
        :param progress_view: ProgressView to display this ProgressTask.
 
90
 
 
91
        :param ui_factory: The UI factory that will display updates; 
 
92
            deprecated in favor of passing progress_view directly.
 
93
 
 
94
        Normally you should not call this directly but rather through
 
95
        `ui_factory.nested_progress_bar`.
 
96
        """
73
97
        self._parent_task = parent_task
74
98
        self._last_update = 0
75
99
        self.total_cnt = None
76
100
        self.current_cnt = None
77
101
        self.msg = ''
 
102
        # TODO: deprecate passing ui_factory
78
103
        self.ui_factory = ui_factory
 
104
        self.progress_view = progress_view
79
105
        self.show_pct = False
80
106
        self.show_spinner = True
81
107
        self.show_eta = False,
82
108
        self.show_count = True
83
109
        self.show_bar = True
 
110
        self.update_latency = 0.1
 
111
        self.show_transport_activity = True
84
112
 
85
113
    def __repr__(self):
86
114
        return '%s(%r/%r, msg=%r)' % (
94
122
        self.current_cnt = current_cnt
95
123
        if total_cnt:
96
124
            self.total_cnt = total_cnt
97
 
        self.ui_factory._progress_updated(self)
 
125
        if self.progress_view:
 
126
            self.progress_view.show_progress(self)
 
127
        else:
 
128
            self.ui_factory._progress_updated(self)
98
129
 
99
130
    def tick(self):
100
131
        self.update(self.msg)
101
132
 
102
133
    def finished(self):
103
 
        self.ui_factory._progress_finished(self)
 
134
        if self.progress_view:
 
135
            self.progress_view.task_finished(self)
 
136
        else:
 
137
            self.ui_factory._progress_finished(self)
104
138
 
105
139
    def make_sub_task(self):
106
 
        return ProgressTask(self, self.ui_factory)
 
140
        return ProgressTask(self, ui_factory=self.ui_factory,
 
141
            progress_view=self.progress_view)
107
142
 
108
143
    def _overall_completion_fraction(self, child_fraction=0.0):
109
144
        """Return fractional completion of this task and its parents
110
 
        
 
145
 
111
146
        Returns None if no completion can be computed."""
112
 
        if self.total_cnt:
 
147
        if self.current_cnt is not None and self.total_cnt:
113
148
            own_fraction = (float(self.current_cnt) + child_fraction) / self.total_cnt
114
149
        else:
115
 
            own_fraction = None
 
150
            # if this task has no estimation, it just passes on directly
 
151
            # whatever the child has measured...
 
152
            own_fraction = child_fraction
116
153
        if self._parent_task is None:
117
154
            return own_fraction
118
155
        else:
120
157
                own_fraction = 0.0
121
158
            return self._parent_task._overall_completion_fraction(own_fraction)
122
159
 
 
160
    @deprecated_method(deprecated_in((2, 1, 0)))
123
161
    def note(self, fmt_string, *args):
124
 
        """Record a note without disrupting the progress bar."""
125
 
        # XXX: shouldn't be here; put it in mutter or the ui instead
 
162
        """Record a note without disrupting the progress bar.
 
163
        
 
164
        Deprecated: use ui_factory.note() instead or bzrlib.trace.  Note that
 
165
        ui_factory.note takes just one string as the argument, not a format
 
166
        string and arguments.
 
167
        """
126
168
        if args:
127
169
            self.ui_factory.note(fmt_string % args)
128
170
        else:
129
171
            self.ui_factory.note(fmt_string)
130
172
 
131
173
    def clear(self):
132
 
        # XXX: shouldn't be here; put it in mutter or the ui instead
133
 
        self.ui_factory.clear_term()
134
 
 
135
 
 
136
 
def ProgressBar(to_file=None, **kwargs):
137
 
    """Abstract factory"""
138
 
    if to_file is None:
139
 
        to_file = sys.stderr
140
 
    requested_bar_type = os.environ.get('BZR_PROGRESS_BAR')
141
 
    # An value of '' or not set reverts to standard processing
142
 
    if requested_bar_type in (None, ''):
143
 
        if _supports_progress(to_file):
144
 
            return TTYProgressBar(to_file=to_file, **kwargs)
145
 
        else:
146
 
            return DummyProgress(to_file=to_file, **kwargs)
147
 
    else:
148
 
        # Minor sanitation to prevent spurious errors
149
 
        requested_bar_type = requested_bar_type.lower().strip()
150
 
        # TODO: jam 20060710 Arguably we shouldn't raise an exception
151
 
        #       but should instead just disable progress bars if we
152
 
        #       don't recognize the type
153
 
        if requested_bar_type not in _progress_bar_types:
154
 
            raise errors.InvalidProgressBarType(requested_bar_type,
155
 
                                                _progress_bar_types.keys())
156
 
        return _progress_bar_types[requested_bar_type](to_file=to_file, **kwargs)
157
 
 
158
 
 
159
 
class ProgressBarStack(object):
160
 
    """A stack of progress bars.
161
 
    
162
 
    This class is deprecated: instead, ask the ui factory for a new progress
163
 
    task and finish it when it's done.
164
 
    """
165
 
 
166
 
    @deprecated_method(deprecated_in((1, 12, 0)))
167
 
    def __init__(self,
168
 
                 to_file=None,
169
 
                 show_pct=False,
170
 
                 show_spinner=True,
171
 
                 show_eta=False,
172
 
                 show_bar=True,
173
 
                 show_count=True,
174
 
                 to_messages_file=None,
175
 
                 klass=None):
176
 
        """Setup the stack with the parameters the progress bars should have."""
177
 
        if to_file is None:
178
 
            to_file = sys.stderr
179
 
        if to_messages_file is None:
180
 
            to_messages_file = sys.stdout
181
 
        self._to_file = to_file
182
 
        self._show_pct = show_pct
183
 
        self._show_spinner = show_spinner
184
 
        self._show_eta = show_eta
185
 
        self._show_bar = show_bar
186
 
        self._show_count = show_count
187
 
        self._to_messages_file = to_messages_file
188
 
        self._stack = []
189
 
        self._klass = klass or ProgressBar
190
 
 
191
 
    def top(self):
192
 
        if len(self._stack) != 0:
193
 
            return self._stack[-1]
194
 
        else:
195
 
            return None
196
 
 
197
 
    def bottom(self):
198
 
        if len(self._stack) != 0:
199
 
            return self._stack[0]
200
 
        else:
201
 
            return None
202
 
 
203
 
    def get_nested(self):
204
 
        """Return a nested progress bar."""
205
 
        if len(self._stack) == 0:
206
 
            func = self._klass
207
 
        else:
208
 
            func = self.top().child_progress
209
 
        new_bar = func(to_file=self._to_file,
210
 
                       show_pct=self._show_pct,
211
 
                       show_spinner=self._show_spinner,
212
 
                       show_eta=self._show_eta,
213
 
                       show_bar=self._show_bar,
214
 
                       show_count=self._show_count,
215
 
                       to_messages_file=self._to_messages_file,
216
 
                       _stack=self)
217
 
        self._stack.append(new_bar)
218
 
        return new_bar
219
 
 
220
 
    def return_pb(self, bar):
221
 
        """Return bar after its been used."""
222
 
        if bar is not self._stack[-1]:
223
 
            warnings.warn("%r is not currently active" % (bar,))
224
 
        else:
225
 
            self._stack.pop()
226
 
 
227
 
 
 
174
        # TODO: deprecate this method; the model object shouldn't be concerned
 
175
        # with whether it's shown or not.  Most callers use this because they
 
176
        # want to write some different non-progress output to the screen, but
 
177
        # they should probably instead use a stream that's synchronized with
 
178
        # the progress output.  It may be there is a model-level use for
 
179
        # saying "this task's not active at the moment" but I don't see it. --
 
180
        # mbp 20090623
 
181
        if self.progress_view:
 
182
            self.progress_view.clear()
 
183
        else:
 
184
            self.ui_factory.clear_term()
 
185
 
 
186
 
 
187
# NOTE: This is also deprecated; you should provide a ProgressView instead.
228
188
class _BaseProgressBar(object):
229
189
 
230
190
    def __init__(self,
271
231
        self.to_messages_file.write(fmt_string % args)
272
232
        self.to_messages_file.write('\n')
273
233
 
274
 
    def child_progress(self, **kwargs):
275
 
        return ChildProgress(**kwargs)
276
 
 
277
 
 
278
 
class DummyProgress(_BaseProgressBar):
 
234
 
 
235
class DummyProgress(object):
279
236
    """Progress-bar standin that does nothing.
280
237
 
281
 
    This can be used as the default argument for methods that
282
 
    take an optional progress indicator."""
 
238
    This was previously often constructed by application code if no progress
 
239
    bar was explicitly passed in.  That's no longer recommended: instead, just
 
240
    create a progress task from the ui_factory.  This class can be used in
 
241
    test code that needs to fake a progress task for some reason.
 
242
    """
283
243
 
284
244
    def tick(self):
285
245
        pass
292
252
 
293
253
    def clear(self):
294
254
        pass
295
 
        
 
255
 
296
256
    def note(self, fmt_string, *args, **kwargs):
297
257
        """See _BaseProgressBar.note()."""
298
258
 
300
260
        return DummyProgress(**kwargs)
301
261
 
302
262
 
303
 
class DotsProgressBar(_BaseProgressBar):
304
 
 
305
 
    def __init__(self, **kwargs):
306
 
        _BaseProgressBar.__init__(self, **kwargs)
307
 
        self.last_msg = None
308
 
        self.need_nl = False
309
 
        
310
 
    def tick(self):
311
 
        self.update()
312
 
        
313
 
    def update(self, msg=None, current_cnt=None, total_cnt=None):
314
 
        if msg and msg != self.last_msg:
315
 
            if self.need_nl:
316
 
                self.to_file.write('\n')
317
 
            self.to_file.write(msg + ': ')
318
 
            self.last_msg = msg
319
 
        self.need_nl = True
320
 
        self.to_file.write('.')
321
 
        
322
 
    def clear(self):
323
 
        if self.need_nl:
324
 
            self.to_file.write('\n')
325
 
        self.need_nl = False
326
 
        
327
 
    def child_update(self, message, current, total):
328
 
        self.tick()
329
 
 
330
 
 
331
 
 
332
 
    
333
 
class TTYProgressBar(_BaseProgressBar):
334
 
    """Progress bar display object.
335
 
 
336
 
    Several options are available to control the display.  These can
337
 
    be passed as parameters to the constructor or assigned at any time:
338
 
 
339
 
    show_pct
340
 
        Show percentage complete.
341
 
    show_spinner
342
 
        Show rotating baton.  This ticks over on every update even
343
 
        if the values don't change.
344
 
    show_eta
345
 
        Show predicted time-to-completion.
346
 
    show_bar
347
 
        Show bar graph.
348
 
    show_count
349
 
        Show numerical counts.
350
 
 
351
 
    The output file should be in line-buffered or unbuffered mode.
352
 
    """
353
 
    SPIN_CHARS = r'/-\|'
354
 
 
355
 
 
356
 
    def __init__(self, **kwargs):
357
 
        from bzrlib.osutils import terminal_width
358
 
        _BaseProgressBar.__init__(self, **kwargs)
359
 
        self.spin_pos = 0
360
 
        self.width = terminal_width()
361
 
        self.last_updates = []
362
 
        self._max_last_updates = 10
363
 
        self.child_fraction = 0
364
 
        self._have_output = False
365
 
    
366
 
    def throttle(self, old_msg):
367
 
        """Return True if the bar was updated too recently"""
368
 
        # time.time consistently takes 40/4000 ms = 0.01 ms.
369
 
        # time.clock() is faster, but gives us CPU time, not wall-clock time
370
 
        now = time.time()
371
 
        if self.start_time is not None and (now - self.start_time) < 1:
372
 
            return True
373
 
        if old_msg != self.last_msg:
374
 
            return False
375
 
        interval = now - self.last_update
376
 
        # if interval > 0
377
 
        if interval < self.MIN_PAUSE:
378
 
            return True
379
 
 
380
 
        self.last_updates.append(now - self.last_update)
381
 
        # Don't let the queue grow without bound
382
 
        self.last_updates = self.last_updates[-self._max_last_updates:]
383
 
        self.last_update = now
384
 
        return False
385
 
        
386
 
    def tick(self):
387
 
        self.update(self.last_msg, self.last_cnt, self.last_total,
388
 
                    self.child_fraction)
389
 
 
390
 
    def child_update(self, message, current, total):
391
 
        if current is not None and total != 0:
392
 
            child_fraction = float(current) / total
393
 
            if self.last_cnt is None:
394
 
                pass
395
 
            elif self.last_cnt + child_fraction <= self.last_total:
396
 
                self.child_fraction = child_fraction
397
 
        if self.last_msg is None:
398
 
            self.last_msg = ''
399
 
        self.tick()
400
 
 
401
 
    def update(self, msg, current_cnt=None, total_cnt=None,
402
 
            child_fraction=0):
403
 
        """Update and redraw progress bar.
404
 
        """
405
 
        if msg is None:
406
 
            msg = self.last_msg
407
 
 
408
 
        if total_cnt is None:
409
 
            total_cnt = self.last_total
410
 
 
411
 
        if current_cnt < 0:
412
 
            current_cnt = 0
413
 
            
414
 
        if current_cnt > total_cnt:
415
 
            total_cnt = current_cnt
416
 
        
417
 
        ## # optional corner case optimisation 
418
 
        ## # currently does not seem to fire so costs more than saved.
419
 
        ## # trivial optimal case:
420
 
        ## # NB if callers are doing a clear and restore with
421
 
        ## # the saved values, this will prevent that:
422
 
        ## # in that case add a restore method that calls
423
 
        ## # _do_update or some such
424
 
        ## if (self.last_msg == msg and
425
 
        ##     self.last_cnt == current_cnt and
426
 
        ##     self.last_total == total_cnt and
427
 
        ##     self.child_fraction == child_fraction):
428
 
        ##     return
429
 
 
430
 
        if msg is None:
431
 
            msg = ''
432
 
 
433
 
        old_msg = self.last_msg
434
 
        # save these for the tick() function
435
 
        self.last_msg = msg
436
 
        self.last_cnt = current_cnt
437
 
        self.last_total = total_cnt
438
 
        self.child_fraction = child_fraction
439
 
 
440
 
        # each function call takes 20ms/4000 = 0.005 ms, 
441
 
        # but multiple that by 4000 calls -> starts to cost.
442
 
        # so anything to make this function call faster
443
 
        # will improve base 'diff' time by up to 0.1 seconds.
444
 
        if self.throttle(old_msg):
445
 
            return
446
 
 
447
 
        if self.show_eta and self.start_time and self.last_total:
448
 
            eta = get_eta(self.start_time, self.last_cnt + self.child_fraction, 
449
 
                    self.last_total, last_updates = self.last_updates)
450
 
            eta_str = " " + str_tdelta(eta)
451
 
        else:
452
 
            eta_str = ""
453
 
 
454
 
        if self.show_spinner:
455
 
            spin_str = self.SPIN_CHARS[self.spin_pos % 4] + ' '            
456
 
        else:
457
 
            spin_str = ''
458
 
 
459
 
        # always update this; it's also used for the bar
460
 
        self.spin_pos += 1
461
 
 
462
 
        if self.show_pct and self.last_total and self.last_cnt:
463
 
            pct = 100.0 * ((self.last_cnt + self.child_fraction) / self.last_total)
464
 
            pct_str = ' (%5.1f%%)' % pct
465
 
        else:
466
 
            pct_str = ''
467
 
 
468
 
        if not self.show_count:
469
 
            count_str = ''
470
 
        elif self.last_cnt is None:
471
 
            count_str = ''
472
 
        elif self.last_total is None:
473
 
            count_str = ' %i' % (self.last_cnt)
474
 
        else:
475
 
            # make both fields the same size
476
 
            t = '%i' % (self.last_total)
477
 
            c = '%*i' % (len(t), self.last_cnt)
478
 
            count_str = ' ' + c + '/' + t
479
 
 
480
 
        if self.show_bar:
481
 
            # progress bar, if present, soaks up all remaining space
482
 
            cols = self.width - 1 - len(self.last_msg) - len(spin_str) - len(pct_str) \
483
 
                   - len(eta_str) - len(count_str) - 3
484
 
 
485
 
            if self.last_total:
486
 
                # number of markers highlighted in bar
487
 
                markers = int(round(float(cols) * 
488
 
                              (self.last_cnt + self.child_fraction) / self.last_total))
489
 
                bar_str = '[' + ('=' * markers).ljust(cols) + '] '
490
 
            elif False:
491
 
                # don't know total, so can't show completion.
492
 
                # so just show an expanded spinning thingy
493
 
                m = self.spin_pos % cols
494
 
                ms = (' ' * m + '*').ljust(cols)
495
 
                
496
 
                bar_str = '[' + ms + '] '
497
 
            else:
498
 
                bar_str = ''
499
 
        else:
500
 
            bar_str = ''
501
 
 
502
 
        m = spin_str + bar_str + self.last_msg + count_str \
503
 
            + pct_str + eta_str
504
 
        self.to_file.write('\r%-*.*s' % (self.width - 1, self.width - 1, m))
505
 
        self._have_output = True
506
 
        #self.to_file.flush()
507
 
            
508
 
    def clear(self):
509
 
        if self._have_output:
510
 
            self.to_file.write('\r%s\r' % (' ' * (self.width - 1)))
511
 
        self._have_output = False
512
 
        #self.to_file.flush()        
513
 
 
514
 
 
515
 
 
516
 
 
517
 
class ChildProgress(_BaseProgressBar):
518
 
    """A progress indicator that pushes its data to the parent"""
519
 
 
520
 
    def __init__(self, _stack, **kwargs):
521
 
        _BaseProgressBar.__init__(self, _stack=_stack, **kwargs)
522
 
        self.parent = _stack.top()
523
 
        self.current = None
524
 
        self.total = None
525
 
        self.child_fraction = 0
526
 
        self.message = None
527
 
 
528
 
    def update(self, msg, current_cnt=None, total_cnt=None):
529
 
        self.current = current_cnt
530
 
        if total_cnt is not None:
531
 
            self.total = total_cnt
532
 
        self.message = msg
533
 
        self.child_fraction = 0
534
 
        self.tick()
535
 
 
536
 
    def child_update(self, message, current, total):
537
 
        if current is None or total == 0:
538
 
            self.child_fraction = 0
539
 
        else:
540
 
            self.child_fraction = float(current) / total
541
 
        self.tick()
542
 
 
543
 
    def tick(self):
544
 
        if self.current is None:
545
 
            count = None
546
 
        else:
547
 
            count = self.current+self.child_fraction
548
 
            if count > self.total:
549
 
                if __debug__:
550
 
                    mutter('clamping count of %d to %d' % (count, self.total))
551
 
                count = self.total
552
 
        self.parent.child_update(self.message, count, self.total)
553
 
 
554
 
    def clear(self):
555
 
        pass
556
 
 
557
 
    def note(self, *args, **kwargs):
558
 
        self.parent.note(*args, **kwargs)
559
 
 
560
 
 
561
 
class InstrumentedProgress(TTYProgressBar):
562
 
    """TTYProgress variant that tracks outcomes"""
563
 
 
564
 
    def __init__(self, *args, **kwargs):
565
 
        self.always_throttled = True
566
 
        self.never_throttle = False
567
 
        TTYProgressBar.__init__(self, *args, **kwargs)
568
 
 
569
 
    def throttle(self, old_message):
570
 
        if self.never_throttle:
571
 
            result =  False
572
 
        else:
573
 
            result = TTYProgressBar.throttle(self, old_message)
574
 
        if result is False:
575
 
            self.always_throttled = False
576
 
 
577
 
 
578
263
def str_tdelta(delt):
579
264
    if delt is None:
580
265
        return "-:--:--"
601
286
 
602
287
    if elapsed < 2.0:                   # not enough time to estimate
603
288
        return None
604
 
    
 
289
 
605
290
    total_duration = float(elapsed) * float(total) / float(current)
606
291
 
607
292
    if last_updates and len(last_updates) >= n_recent:
636
321
_progress_bar_types = {}
637
322
_progress_bar_types['dummy'] = DummyProgress
638
323
_progress_bar_types['none'] = DummyProgress
639
 
_progress_bar_types['tty'] = TTYProgressBar
640
 
_progress_bar_types['dots'] = DotsProgressBar