~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/ui/text.py

  • Committer: Vincent Ladeuil
  • Date: 2009-01-30 00:49:41 UTC
  • mto: (3982.1.1 bzr.integration)
  • mto: This revision was merged to the branch mainline in revision 3983.
  • Revision ID: v.ladeuil+lp@free.fr-20090130004941-820fpd2ryyo127vv
Add more tests, fix pycurl double handling, revert previous tracking.

* bzrlib/tests/test_http.py:
(PredefinedRequestHandler): Renamed from
PreRecordedRequestHandler.
(PredefinedRequestHandler.handle_one_request): Get the canned
response from the test server directly.
(ActivityServerMixin): Make it a true object and intialize the
attributes in the constructor. Tests can now set the
canned_response attribute before querying the server.
(TestActivity.setUp, TestActivity.tearDown,
TestActivity.get_transport, TestActivity.assertActivitiesMatch):
Extracted from test_get to be able to write other tests.
(TestActivity.test_has, TestActivity.test_readv,
TestActivity.test_post): New tests, all cases should be covered
now.

* bzrlib/transport/http/response.py:
(RangeFile.__init__, RangeFile.read, handle_response): Revert
previous tracking, both http implementations can now report
activity from the socket.

* bzrlib/transport/http/_pycurl.py:
(PyCurlTransport._get_ranged, PyCurlTransport._post): Revert
previous tracking.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2008, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
16
17
 
17
18
 
18
19
"""Text UI, write output to the console.
19
20
"""
20
21
 
21
 
import codecs
22
 
import getpass
23
 
import os
24
22
import sys
25
23
import time
26
24
import warnings
27
25
 
28
26
from bzrlib.lazy_import import lazy_import
29
27
lazy_import(globals(), """
 
28
import getpass
 
29
 
30
30
from bzrlib import (
31
 
    debug,
32
31
    progress,
33
32
    osutils,
34
33
    symbol_versioning,
35
 
    trace,
36
34
    )
37
35
 
38
36
""")
39
37
 
40
 
from bzrlib.osutils import watch_sigwinch
41
 
 
42
 
from bzrlib.ui import (
43
 
    UIFactory,
44
 
    NullProgressView,
45
 
    )
46
 
 
47
 
 
48
 
class TextUIFactory(UIFactory):
 
38
from bzrlib.ui import CLIUIFactory
 
39
 
 
40
 
 
41
class TextUIFactory(CLIUIFactory):
49
42
    """A UI factory for Text user interefaces."""
50
43
 
51
44
    def __init__(self,
 
45
                 bar_type=None,
52
46
                 stdin=None,
53
47
                 stdout=None,
54
48
                 stderr=None):
55
49
        """Create a TextUIFactory.
 
50
 
 
51
        :param bar_type: The type of progress bar to create. It defaults to 
 
52
                         letting the bzrlib.progress.ProgressBar factory auto
 
53
                         select.   Deprecated.
56
54
        """
57
 
        super(TextUIFactory, self).__init__()
58
 
        # TODO: there's no good reason not to pass all three streams, maybe we
59
 
        # should deprecate the default values...
60
 
        self.stdin = stdin
61
 
        self.stdout = stdout
62
 
        self.stderr = stderr
 
55
        super(TextUIFactory, self).__init__(stdin=stdin,
 
56
                stdout=stdout, stderr=stderr)
 
57
        if bar_type:
 
58
            symbol_versioning.warn(symbol_versioning.deprecated_in((1, 11, 0))
 
59
                % "bar_type parameter")
63
60
        # paints progress, network activity, etc
64
 
        self._progress_view = self.make_progress_view()
65
 
        # hook up the signals to watch for terminal size changes
66
 
        watch_sigwinch()
67
 
 
68
 
    def be_quiet(self, state):
69
 
        if state and not self._quiet:
70
 
            self.clear_term()
71
 
        UIFactory.be_quiet(self, state)
72
 
        self._progress_view = self.make_progress_view()
73
 
 
 
61
        self._progress_view = TextProgressView(self.stderr)
 
62
 
 
63
    def prompt(self, prompt):
 
64
        """Emit prompt on the CLI."""
 
65
        self.stdout.write(prompt)
 
66
        
74
67
    def clear_term(self):
75
68
        """Prepare the terminal for output.
76
69
 
79
72
        # XXX: If this is preparing to write to stdout, but that's for example
80
73
        # directed into a file rather than to the terminal, and the progress
81
74
        # bar _is_ going to the terminal, we shouldn't need
82
 
        # to clear it.  We might need to separately check for the case of
 
75
        # to clear it.  We might need to separately check for the case of 
83
76
        self._progress_view.clear()
84
77
 
85
 
    def get_boolean(self, prompt):
86
 
        while True:
87
 
            self.prompt(prompt + "? [y/n]: ")
88
 
            line = self.stdin.readline().lower()
89
 
            if line in ('y\n', 'yes\n'):
90
 
                return True
91
 
            elif line in ('n\n', 'no\n'):
92
 
                return False
93
 
            elif line in ('', None):
94
 
                # end-of-file; possibly should raise an error here instead
95
 
                return None
96
 
 
97
 
    def get_integer(self, prompt):
98
 
        while True:
99
 
            self.prompt(prompt)
100
 
            line = self.stdin.readline()
101
 
            try:
102
 
                return int(line)
103
 
            except ValueError:
104
 
                pass
105
 
 
106
 
    def get_non_echoed_password(self):
107
 
        isatty = getattr(self.stdin, 'isatty', None)
108
 
        if isatty is not None and isatty():
109
 
            # getpass() ensure the password is not echoed and other
110
 
            # cross-platform niceties
111
 
            password = getpass.getpass('')
112
 
        else:
113
 
            # echo doesn't make sense without a terminal
114
 
            password = self.stdin.readline()
115
 
            if not password:
116
 
                password = None
117
 
            elif password[-1] == '\n':
118
 
                password = password[:-1]
119
 
        return password
120
 
 
121
 
    def get_password(self, prompt='', **kwargs):
122
 
        """Prompt the user for a password.
123
 
 
124
 
        :param prompt: The prompt to present the user
125
 
        :param kwargs: Arguments which will be expanded into the prompt.
126
 
                       This lets front ends display different things if
127
 
                       they so choose.
128
 
        :return: The password string, return None if the user
129
 
                 canceled the request.
130
 
        """
131
 
        prompt += ': '
132
 
        self.prompt(prompt, **kwargs)
133
 
        # There's currently no way to say 'i decline to enter a password'
134
 
        # as opposed to 'my password is empty' -- does it matter?
135
 
        return self.get_non_echoed_password()
136
 
 
137
 
    def get_username(self, prompt, **kwargs):
138
 
        """Prompt the user for a username.
139
 
 
140
 
        :param prompt: The prompt to present the user
141
 
        :param kwargs: Arguments which will be expanded into the prompt.
142
 
                       This lets front ends display different things if
143
 
                       they so choose.
144
 
        :return: The username string, return None if the user
145
 
                 canceled the request.
146
 
        """
147
 
        prompt += ': '
148
 
        self.prompt(prompt, **kwargs)
149
 
        username = self.stdin.readline()
150
 
        if not username:
151
 
            username = None
152
 
        elif username[-1] == '\n':
153
 
            username = username[:-1]
154
 
        return username
155
 
 
156
 
    def make_progress_view(self):
157
 
        """Construct and return a new ProgressView subclass for this UI.
158
 
        """
159
 
        # with --quiet, never any progress view
160
 
        # <https://bugs.edge.launchpad.net/bzr/+bug/320035>.  Otherwise if the
161
 
        # user specifically requests either text or no progress bars, always
162
 
        # do that.  otherwise, guess based on $TERM and tty presence.
163
 
        if self.is_quiet():
164
 
            return NullProgressView()
165
 
        elif os.environ.get('BZR_PROGRESS_BAR') == 'text':
166
 
            return TextProgressView(self.stderr)
167
 
        elif os.environ.get('BZR_PROGRESS_BAR') == 'none':
168
 
            return NullProgressView()
169
 
        elif progress._supports_progress(self.stderr):
170
 
            return TextProgressView(self.stderr)
171
 
        else:
172
 
            return NullProgressView()
173
 
 
174
 
    def _make_output_stream_explicit(self, encoding, encoding_type):
175
 
        if encoding_type == 'exact':
176
 
            # force sys.stdout to be binary stream on win32; 
177
 
            # NB: this leaves the file set in that mode; may cause problems if
178
 
            # one process tries to do binary and then text output
179
 
            if sys.platform == 'win32':
180
 
                fileno = getattr(self.stdout, 'fileno', None)
181
 
                if fileno:
182
 
                    import msvcrt
183
 
                    msvcrt.setmode(fileno(), os.O_BINARY)
184
 
            return TextUIOutputStream(self, self.stdout)
185
 
        else:
186
 
            encoded_stdout = codecs.getwriter(encoding)(self.stdout,
187
 
                errors=encoding_type)
188
 
            # For whatever reason codecs.getwriter() does not advertise its encoding
189
 
            # it just returns the encoding of the wrapped file, which is completely
190
 
            # bogus. So set the attribute, so we can find the correct encoding later.
191
 
            encoded_stdout.encoding = encoding
192
 
            return TextUIOutputStream(self, encoded_stdout)
193
 
 
194
78
    def note(self, msg):
195
79
        """Write an already-formatted message, clearing the progress bar if necessary."""
196
80
        self.clear_term()
197
81
        self.stdout.write(msg + '\n')
198
82
 
199
 
    def prompt(self, prompt, **kwargs):
200
 
        """Emit prompt on the CLI.
201
 
        
202
 
        :param kwargs: Dictionary of arguments to insert into the prompt,
203
 
            to allow UIs to reformat the prompt.
204
 
        """
205
 
        if kwargs:
206
 
            # See <https://launchpad.net/bugs/365891>
207
 
            prompt = prompt % kwargs
208
 
        prompt = prompt.encode(osutils.get_terminal_encoding(), 'replace')
209
 
        self.clear_term()
210
 
        self.stderr.write(prompt)
211
 
 
212
83
    def report_transport_activity(self, transport, byte_count, direction):
213
84
        """Called by transports as they do IO.
214
 
 
 
85
        
215
86
        This may update a progress bar, spinner, or similar display.
216
87
        By default it does nothing.
217
88
        """
218
 
        self._progress_view.show_transport_activity(transport,
219
 
            direction, byte_count)
220
 
 
221
 
    def log_transport_activity(self, display=False):
222
 
        """See UIFactory.log_transport_activity()"""
223
 
        log = getattr(self._progress_view, 'log_transport_activity', None)
224
 
        if log is not None:
225
 
            log(display=display)
226
 
 
227
 
    def show_error(self, msg):
228
 
        self.clear_term()
229
 
        self.stderr.write("bzr: error: %s\n" % msg)
230
 
 
231
 
    def show_message(self, msg):
232
 
        self.note(msg)
233
 
 
234
 
    def show_warning(self, msg):
235
 
        self.clear_term()
236
 
        self.stderr.write("bzr: warning: %s\n" % msg)
 
89
        self._progress_view.show_transport_activity(byte_count)
237
90
 
238
91
    def _progress_updated(self, task):
239
92
        """A task has been updated and wants to be displayed.
240
93
        """
241
 
        if not self._task_stack:
242
 
            warnings.warn("%r updated but no tasks are active" %
243
 
                (task,))
244
 
        elif task != self._task_stack[-1]:
245
 
            # We used to check it was the top task, but it's hard to always
246
 
            # get this right and it's not necessarily useful: any actual
247
 
            # problems will be evident in use
248
 
            #warnings.warn("%r is not the top progress task %r" %
249
 
            #     (task, self._task_stack[-1]))
250
 
            pass
 
94
        if task != self._task_stack[-1]:
 
95
            warnings.warn("%r is not the top progress task %r" %
 
96
                (task, self._task_stack[-1]))
251
97
        self._progress_view.show_progress(task)
252
98
 
253
99
    def _progress_all_finished(self):
254
100
        self._progress_view.clear()
255
101
 
256
 
    def show_user_warning(self, warning_id, **message_args):
257
 
        """Show a text message to the user.
258
 
 
259
 
        Explicitly not for warnings about bzr apis, deprecations or internals.
260
 
        """
261
 
        # eventually trace.warning should migrate here, to avoid logging and
262
 
        # be easier to test; that has a lot of test fallout so for now just
263
 
        # new code can call this
264
 
        if warning_id not in self.suppressed_warnings:
265
 
            self.stderr.write(self.format_user_warning(warning_id, message_args) +
266
 
                '\n')
267
 
 
268
102
 
269
103
class TextProgressView(object):
270
104
    """Display of progress bar and other information on a tty.
271
 
 
272
 
    This shows one line of text, including possibly a network indicator, spinner,
 
105
    
 
106
    This shows one line of text, including possibly a network indicator, spinner, 
273
107
    progress bar, message, etc.
274
108
 
275
109
    One instance of this is created and held by the UI, and fed updates when a
285
119
        self._term_file = term_file
286
120
        # true when there's output on the screen we may need to clear
287
121
        self._have_output = False
 
122
        # XXX: We could listen for SIGWINCH and update the terminal width...
 
123
        self._width = osutils.terminal_width()
288
124
        self._last_transport_msg = ''
289
125
        self._spin_pos = 0
290
126
        # time we last repainted the screen
291
127
        self._last_repaint = 0
292
128
        # time we last got information about transport activity
293
129
        self._transport_update_time = 0
 
130
        self._task_fraction = None
294
131
        self._last_task = None
295
132
        self._total_byte_count = 0
296
133
        self._bytes_since_update = 0
297
 
        self._bytes_by_direction = {'unknown': 0, 'read': 0, 'write': 0}
298
 
        self._first_byte_time = None
299
 
        self._fraction = 0
300
 
        # force the progress bar to be off, as at the moment it doesn't 
301
 
        # correspond reliably to overall command progress
302
 
        self.enable_bar = False
303
134
 
304
135
    def _show_line(self, s):
305
 
        # sys.stderr.write("progress %r\n" % s)
306
 
        width = osutils.terminal_width()
307
 
        if width is not None:
308
 
            # we need one extra space for terminals that wrap on last char
309
 
            width = width - 1
310
 
            s = '%-*.*s' % (width, width, s)
311
 
        self._term_file.write('\r' + s + '\r')
 
136
        n = self._width - 1
 
137
        self._term_file.write('\r%-*.*s\r' % (n, n, s))
312
138
 
313
139
    def clear(self):
314
140
        if self._have_output:
317
143
 
318
144
    def _render_bar(self):
319
145
        # return a string for the progress bar itself
320
 
        if self.enable_bar and (
321
 
            (self._last_task is None) or self._last_task.show_bar):
322
 
            # If there's no task object, we show space for the bar anyhow.
323
 
            # That's because most invocations of bzr will end showing progress
324
 
            # at some point, though perhaps only after doing some initial IO.
325
 
            # It looks better to draw the progress bar initially rather than
326
 
            # to have what looks like an incomplete progress bar.
 
146
        if (self._last_task is not None) and self._last_task.show_bar:
327
147
            spin_str =  r'/-\|'[self._spin_pos % 4]
328
148
            self._spin_pos += 1
 
149
            f = self._task_fraction or 0
329
150
            cols = 20
330
 
            if self._last_task is None:
331
 
                completion_fraction = 0
332
 
                self._fraction = 0
333
 
            else:
334
 
                completion_fraction = \
335
 
                    self._last_task._overall_completion_fraction() or 0
336
 
            if (completion_fraction < self._fraction and 'progress' in
337
 
                debug.debug_flags):
338
 
                import pdb;pdb.set_trace()
339
 
            self._fraction = completion_fraction
340
 
            markers = int(round(float(cols) * completion_fraction)) - 1
 
151
            # number of markers highlighted in bar
 
152
            markers = int(round(float(cols) * f)) - 1
341
153
            bar_str = '[' + ('#' * markers + spin_str).ljust(cols) + '] '
342
154
            return bar_str
343
155
        elif (self._last_task is None) or self._last_task.show_spinner:
344
 
            # The last task wanted just a spinner, no bar
345
156
            spin_str =  r'/-\|'[self._spin_pos % 4]
346
157
            self._spin_pos += 1
347
158
            return spin_str + ' '
351
162
    def _format_task(self, task):
352
163
        if not task.show_count:
353
164
            s = ''
354
 
        elif task.current_cnt is not None and task.total_cnt is not None:
 
165
        elif task.total_cnt is not None:
355
166
            s = ' %d/%d' % (task.current_cnt, task.total_cnt)
356
167
        elif task.current_cnt is not None:
357
168
            s = ' %d' % (task.current_cnt)
358
169
        else:
359
170
            s = ''
 
171
        self._task_fraction = task._overall_completion_fraction()
360
172
        # compose all the parent messages
361
173
        t = task
362
174
        m = task.msg
366
178
                m = t.msg + ':' + m
367
179
        return m + s
368
180
 
369
 
    def _render_line(self):
 
181
    def _repaint(self):
370
182
        bar_string = self._render_bar()
371
183
        if self._last_task:
372
184
            task_msg = self._format_task(self._last_task)
373
185
        else:
374
186
            task_msg = ''
375
 
        if self._last_task and not self._last_task.show_transport_activity:
376
 
            trans = ''
377
 
        else:
378
 
            trans = self._last_transport_msg
379
 
            if trans:
380
 
                trans += ' | '
381
 
        return (bar_string + trans + task_msg)
382
 
 
383
 
    def _repaint(self):
384
 
        s = self._render_line()
 
187
        trans = self._last_transport_msg
 
188
        if trans and task_msg:
 
189
            trans += ' | '
 
190
        s = (bar_string
 
191
             + trans
 
192
             + task_msg
 
193
             )
385
194
        self._show_line(s)
386
195
        self._have_output = True
387
196
 
388
197
    def show_progress(self, task):
389
 
        """Called by the task object when it has changed.
390
 
        
391
 
        :param task: The top task object; its parents are also included 
392
 
            by following links.
393
 
        """
394
 
        must_update = task is not self._last_task
395
198
        self._last_task = task
396
199
        now = time.time()
397
 
        if (not must_update) and (now < self._last_repaint + task.update_latency):
 
200
        if now < self._last_repaint + 0.1:
398
201
            return
399
 
        if now > self._transport_update_time + 10:
 
202
        if now > self._transport_update_time + 5:
400
203
            # no recent activity; expire it
401
204
            self._last_transport_msg = ''
402
205
        self._last_repaint = now
403
206
        self._repaint()
404
207
 
405
 
    def show_transport_activity(self, transport, direction, byte_count):
406
 
        """Called by transports via the ui_factory, as they do IO.
407
 
 
 
208
    def show_transport_activity(self, byte_count):
 
209
        """Called by transports as they do IO.
 
210
        
408
211
        This may update a progress bar, spinner, or similar display.
409
212
        By default it does nothing.
410
213
        """
411
 
        # XXX: there should be a transport activity model, and that too should
412
 
        #      be seen by the progress view, rather than being poked in here.
 
214
        # XXX: Probably there should be a transport activity model, and that
 
215
        # too should be seen by the progress view, rather than being poked in
 
216
        # here.
413
217
        self._total_byte_count += byte_count
414
218
        self._bytes_since_update += byte_count
415
 
        if self._first_byte_time is None:
416
 
            # Note that this isn't great, as technically it should be the time
417
 
            # when the bytes started transferring, not when they completed.
418
 
            # However, we usually start with a small request anyway.
419
 
            self._first_byte_time = time.time()
420
 
        if direction in self._bytes_by_direction:
421
 
            self._bytes_by_direction[direction] += byte_count
422
 
        else:
423
 
            self._bytes_by_direction['unknown'] += byte_count
424
 
        if 'no_activity' in debug.debug_flags:
425
 
            # Can be used as a workaround if
426
 
            # <https://launchpad.net/bugs/321935> reappears and transport
427
 
            # activity is cluttering other output.  However, thanks to
428
 
            # TextUIOutputStream this shouldn't be a problem any more.
429
 
            return
430
219
        now = time.time()
431
 
        if self._total_byte_count < 2000:
432
 
            # a little resistance at first, so it doesn't stay stuck at 0
433
 
            # while connecting...
434
 
            return
435
220
        if self._transport_update_time is None:
436
221
            self._transport_update_time = now
437
 
        elif now >= (self._transport_update_time + 0.5):
 
222
        elif now >= (self._transport_update_time + 0.2):
438
223
            # guard against clock stepping backwards, and don't update too
439
224
            # often
440
 
            rate = (self._bytes_since_update
441
 
                    / (now - self._transport_update_time))
442
 
            # using base-10 units (see HACKING.txt).
443
 
            msg = ("%6dkB %5dkB/s" %
444
 
                    (self._total_byte_count / 1000, int(rate) / 1000,))
 
225
            rate = self._bytes_since_update / (now - self._transport_update_time)
 
226
            msg = ("%6dkB @ %4dkB/s" %
 
227
                (self._total_byte_count>>10, int(rate)>>10,))
445
228
            self._transport_update_time = now
446
229
            self._last_repaint = now
447
230
            self._bytes_since_update = 0
448
231
            self._last_transport_msg = msg
449
232
            self._repaint()
450
233
 
451
 
    def _format_bytes_by_direction(self):
452
 
        if self._first_byte_time is None:
453
 
            bps = 0.0
454
 
        else:
455
 
            transfer_time = time.time() - self._first_byte_time
456
 
            if transfer_time < 0.001:
457
 
                transfer_time = 0.001
458
 
            bps = self._total_byte_count / transfer_time
459
 
 
460
 
        # using base-10 units (see HACKING.txt).
461
 
        msg = ('Transferred: %.0fkB'
462
 
               ' (%.1fkB/s r:%.0fkB w:%.0fkB'
463
 
               % (self._total_byte_count / 1000.,
464
 
                  bps / 1000.,
465
 
                  self._bytes_by_direction['read'] / 1000.,
466
 
                  self._bytes_by_direction['write'] / 1000.,
467
 
                 ))
468
 
        if self._bytes_by_direction['unknown'] > 0:
469
 
            msg += ' u:%.0fkB)' % (
470
 
                self._bytes_by_direction['unknown'] / 1000.
471
 
                )
472
 
        else:
473
 
            msg += ')'
474
 
        return msg
475
 
 
476
 
    def log_transport_activity(self, display=False):
477
 
        msg = self._format_bytes_by_direction()
478
 
        trace.mutter(msg)
479
 
        if display and self._total_byte_count > 0:
480
 
            self.clear()
481
 
            self._term_file.write(msg + '\n')
482
 
 
483
 
 
484
 
class TextUIOutputStream(object):
485
 
    """Decorates an output stream so that the terminal is cleared before writing.
486
 
 
487
 
    This is supposed to ensure that the progress bar does not conflict with bulk
488
 
    text output.
489
 
    """
490
 
    # XXX: this does not handle the case of writing part of a line, then doing
491
 
    # progress bar output: the progress bar will probably write over it.
492
 
    # one option is just to buffer that text until we have a full line;
493
 
    # another is to save and restore it
494
 
 
495
 
    # XXX: might need to wrap more methods
496
 
 
497
 
    def __init__(self, ui_factory, wrapped_stream):
498
 
        self.ui_factory = ui_factory
499
 
        self.wrapped_stream = wrapped_stream
500
 
        # this does no transcoding, but it must expose the underlying encoding
501
 
        # because some callers need to know what can be written - see for
502
 
        # example unescape_for_display.
503
 
        self.encoding = getattr(wrapped_stream, 'encoding', None)
504
 
 
505
 
    def flush(self):
506
 
        self.ui_factory.clear_term()
507
 
        self.wrapped_stream.flush()
508
 
 
509
 
    def write(self, to_write):
510
 
        self.ui_factory.clear_term()
511
 
        self.wrapped_stream.write(to_write)
512
 
 
513
 
    def writelines(self, lines):
514
 
        self.ui_factory.clear_term()
515
 
        self.wrapped_stream.writelines(lines)
 
234