~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/smart/medium.py

  • Committer: John Arbash Meinel
  • Date: 2008-03-20 15:10:05 UTC
  • mto: This revision was merged to the branch mainline in revision 3299.
  • Revision ID: john@arbash-meinel.com-20080320151005-z9lajjy69m20of17
uncommit --local in an unbound branch raises the same exception as commit --local

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2011 Canonical Ltd
 
1
# Copyright (C) 2006 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""The 'medium' layer for the smart servers and clients.
18
18
 
24
24
bzrlib/transport/smart/__init__.py.
25
25
"""
26
26
 
27
 
from __future__ import absolute_import
28
 
 
29
 
import errno
30
27
import os
 
28
import socket
31
29
import sys
32
 
import time
33
 
 
34
 
import bzrlib
35
 
from bzrlib.lazy_import import lazy_import
36
 
lazy_import(globals(), """
37
 
import select
38
 
import socket
39
 
import thread
40
 
import weakref
41
30
 
42
31
from bzrlib import (
43
 
    debug,
44
32
    errors,
45
 
    trace,
46
 
    transport,
47
 
    ui,
48
 
    urlutils,
49
 
    )
50
 
from bzrlib.i18n import gettext
51
 
from bzrlib.smart import client, protocol, request, signals, vfs
 
33
    osutils,
 
34
    symbol_versioning,
 
35
    )
 
36
from bzrlib.smart.protocol import (
 
37
    REQUEST_VERSION_TWO,
 
38
    SmartServerRequestProtocolOne,
 
39
    SmartServerRequestProtocolTwo,
 
40
    )
52
41
from bzrlib.transport import ssh
53
 
""")
54
 
from bzrlib import osutils
55
 
 
56
 
# Throughout this module buffer size parameters are either limited to be at
57
 
# most _MAX_READ_SIZE, or are ignored and _MAX_READ_SIZE is used instead.
58
 
# For this module's purposes, MAX_SOCKET_CHUNK is a reasonable size for reads
59
 
# from non-sockets as well.
60
 
_MAX_READ_SIZE = osutils.MAX_SOCKET_CHUNK
61
 
 
62
 
def _get_protocol_factory_for_bytes(bytes):
63
 
    """Determine the right protocol factory for 'bytes'.
64
 
 
65
 
    This will return an appropriate protocol factory depending on the version
66
 
    of the protocol being used, as determined by inspecting the given bytes.
67
 
    The bytes should have at least one newline byte (i.e. be a whole line),
68
 
    otherwise it's possible that a request will be incorrectly identified as
69
 
    version 1.
70
 
 
71
 
    Typical use would be::
72
 
 
73
 
         factory, unused_bytes = _get_protocol_factory_for_bytes(bytes)
74
 
         server_protocol = factory(transport, write_func, root_client_path)
75
 
         server_protocol.accept_bytes(unused_bytes)
76
 
 
77
 
    :param bytes: a str of bytes of the start of the request.
78
 
    :returns: 2-tuple of (protocol_factory, unused_bytes).  protocol_factory is
79
 
        a callable that takes three args: transport, write_func,
80
 
        root_client_path.  unused_bytes are any bytes that were not part of a
81
 
        protocol version marker.
82
 
    """
83
 
    if bytes.startswith(protocol.MESSAGE_VERSION_THREE):
84
 
        protocol_factory = protocol.build_server_protocol_three
85
 
        bytes = bytes[len(protocol.MESSAGE_VERSION_THREE):]
86
 
    elif bytes.startswith(protocol.REQUEST_VERSION_TWO):
87
 
        protocol_factory = protocol.SmartServerRequestProtocolTwo
88
 
        bytes = bytes[len(protocol.REQUEST_VERSION_TWO):]
89
 
    else:
90
 
        protocol_factory = protocol.SmartServerRequestProtocolOne
91
 
    return protocol_factory, bytes
92
 
 
93
 
 
94
 
def _get_line(read_bytes_func):
95
 
    """Read bytes using read_bytes_func until a newline byte.
96
 
 
97
 
    This isn't particularly efficient, so should only be used when the
98
 
    expected size of the line is quite short.
99
 
 
100
 
    :returns: a tuple of two strs: (line, excess)
101
 
    """
102
 
    newline_pos = -1
103
 
    bytes = ''
104
 
    while newline_pos == -1:
105
 
        new_bytes = read_bytes_func(1)
106
 
        bytes += new_bytes
107
 
        if new_bytes == '':
108
 
            # Ran out of bytes before receiving a complete line.
109
 
            return bytes, ''
110
 
        newline_pos = bytes.find('\n')
111
 
    line = bytes[:newline_pos+1]
112
 
    excess = bytes[newline_pos+1:]
113
 
    return line, excess
114
 
 
115
 
 
116
 
class SmartMedium(object):
117
 
    """Base class for smart protocol media, both client- and server-side."""
118
 
 
119
 
    def __init__(self):
120
 
        self._push_back_buffer = None
121
 
 
122
 
    def _push_back(self, bytes):
123
 
        """Return unused bytes to the medium, because they belong to the next
124
 
        request(s).
125
 
 
126
 
        This sets the _push_back_buffer to the given bytes.
127
 
        """
128
 
        if self._push_back_buffer is not None:
129
 
            raise AssertionError(
130
 
                "_push_back called when self._push_back_buffer is %r"
131
 
                % (self._push_back_buffer,))
132
 
        if bytes == '':
133
 
            return
134
 
        self._push_back_buffer = bytes
135
 
 
136
 
    def _get_push_back_buffer(self):
137
 
        if self._push_back_buffer == '':
138
 
            raise AssertionError(
139
 
                '%s._push_back_buffer should never be the empty string, '
140
 
                'which can be confused with EOF' % (self,))
141
 
        bytes = self._push_back_buffer
142
 
        self._push_back_buffer = None
143
 
        return bytes
144
 
 
145
 
    def read_bytes(self, desired_count):
146
 
        """Read some bytes from this medium.
147
 
 
148
 
        :returns: some bytes, possibly more or less than the number requested
149
 
            in 'desired_count' depending on the medium.
150
 
        """
151
 
        if self._push_back_buffer is not None:
152
 
            return self._get_push_back_buffer()
153
 
        bytes_to_read = min(desired_count, _MAX_READ_SIZE)
154
 
        return self._read_bytes(bytes_to_read)
155
 
 
156
 
    def _read_bytes(self, count):
157
 
        raise NotImplementedError(self._read_bytes)
158
 
 
159
 
    def _get_line(self):
160
 
        """Read bytes from this request's response until a newline byte.
161
 
 
162
 
        This isn't particularly efficient, so should only be used when the
163
 
        expected size of the line is quite short.
164
 
 
165
 
        :returns: a string of bytes ending in a newline (byte 0x0A).
166
 
        """
167
 
        line, excess = _get_line(self.read_bytes)
168
 
        self._push_back(excess)
169
 
        return line
170
 
 
171
 
    def _report_activity(self, bytes, direction):
172
 
        """Notify that this medium has activity.
173
 
 
174
 
        Implementations should call this from all methods that actually do IO.
175
 
        Be careful that it's not called twice, if one method is implemented on
176
 
        top of another.
177
 
 
178
 
        :param bytes: Number of bytes read or written.
179
 
        :param direction: 'read' or 'write' or None.
180
 
        """
181
 
        ui.ui_factory.report_transport_activity(self, bytes, direction)
182
 
 
183
 
 
184
 
_bad_file_descriptor = (errno.EBADF,)
185
 
if sys.platform == 'win32':
186
 
    # Given on Windows if you pass a closed socket to select.select. Probably
187
 
    # also given if you pass a file handle to select.
188
 
    WSAENOTSOCK = 10038
189
 
    _bad_file_descriptor += (WSAENOTSOCK,)
190
 
 
191
 
 
192
 
class SmartServerStreamMedium(SmartMedium):
 
42
 
 
43
 
 
44
class SmartServerStreamMedium(object):
193
45
    """Handles smart commands coming over a stream.
194
46
 
195
47
    The stream may be a pipe connected to sshd, or a tcp socket, or an
198
50
    One instance is created for each connected client; it can serve multiple
199
51
    requests in the lifetime of the connection.
200
52
 
201
 
    The server passes requests through to an underlying backing transport,
 
53
    The server passes requests through to an underlying backing transport, 
202
54
    which will typically be a LocalTransport looking at the server's filesystem.
203
 
 
204
 
    :ivar _push_back_buffer: a str of bytes that have been read from the stream
205
 
        but not used yet, or None if there are no buffered bytes.  Subclasses
206
 
        should make sure to exhaust this buffer before reading more bytes from
207
 
        the stream.  See also the _push_back method.
208
55
    """
209
56
 
210
 
    _timer = time.time
211
 
 
212
 
    def __init__(self, backing_transport, root_client_path='/', timeout=None):
 
57
    def __init__(self, backing_transport):
213
58
        """Construct new server.
214
59
 
215
60
        :param backing_transport: Transport for the directory served.
216
61
        """
217
62
        # backing_transport could be passed to serve instead of __init__
218
63
        self.backing_transport = backing_transport
219
 
        self.root_client_path = root_client_path
220
64
        self.finished = False
221
 
        if timeout is None:
222
 
            raise AssertionError('You must supply a timeout.')
223
 
        self._client_timeout = timeout
224
 
        self._client_poll_timeout = min(timeout / 10.0, 1.0)
225
 
        SmartMedium.__init__(self)
226
65
 
227
66
    def serve(self):
228
67
        """Serve requests until the client disconnects."""
233
72
            while not self.finished:
234
73
                server_protocol = self._build_protocol()
235
74
                self._serve_one_request(server_protocol)
236
 
        except errors.ConnectionTimeout, e:
237
 
            trace.note('%s' % (e,))
238
 
            trace.log_exception_quietly()
239
 
            self._disconnect_client()
240
 
            # We reported it, no reason to make a big fuss.
241
 
            return
242
75
        except Exception, e:
243
76
            stderr.write("%s terminating on exception %s\n" % (self, e))
244
77
            raise
245
 
        self._disconnect_client()
246
 
 
247
 
    def _stop_gracefully(self):
248
 
        """When we finish this message, stop looking for more."""
249
 
        trace.mutter('Stopping %s' % (self,))
250
 
        self.finished = True
251
 
 
252
 
    def _disconnect_client(self):
253
 
        """Close the current connection. We stopped due to a timeout/etc."""
254
 
        # The default implementation is a no-op, because that is all we used to
255
 
        # do when disconnecting from a client. I suppose we never had the
256
 
        # *server* initiate a disconnect, before
257
 
 
258
 
    def _wait_for_bytes_with_timeout(self, timeout_seconds):
259
 
        """Wait for more bytes to be read, but timeout if none available.
260
 
 
261
 
        This allows us to detect idle connections, and stop trying to read from
262
 
        them, without setting the socket itself to non-blocking. This also
263
 
        allows us to specify when we watch for idle timeouts.
264
 
 
265
 
        :return: Did we timeout? (True if we timed out, False if there is data
266
 
            to be read)
267
 
        """
268
 
        raise NotImplementedError(self._wait_for_bytes_with_timeout)
269
78
 
270
79
    def _build_protocol(self):
271
80
        """Identifies the version of the incoming request, and returns an
276
85
 
277
86
        :returns: a SmartServerRequestProtocol.
278
87
        """
279
 
        self._wait_for_bytes_with_timeout(self._client_timeout)
280
 
        if self.finished:
281
 
            # We're stopping, so don't try to do any more work
282
 
            return None
 
88
        # Identify the protocol version.
283
89
        bytes = self._get_line()
284
 
        protocol_factory, unused_bytes = _get_protocol_factory_for_bytes(bytes)
285
 
        protocol = protocol_factory(
286
 
            self.backing_transport, self._write_out, self.root_client_path)
287
 
        protocol.accept_bytes(unused_bytes)
 
90
        if bytes.startswith(REQUEST_VERSION_TWO):
 
91
            protocol_class = SmartServerRequestProtocolTwo
 
92
            bytes = bytes[len(REQUEST_VERSION_TWO):]
 
93
        else:
 
94
            protocol_class = SmartServerRequestProtocolOne
 
95
        protocol = protocol_class(self.backing_transport, self._write_out)
 
96
        protocol.accept_bytes(bytes)
288
97
        return protocol
289
98
 
290
 
    def _wait_on_descriptor(self, fd, timeout_seconds):
291
 
        """select() on a file descriptor, waiting for nonblocking read()
292
 
 
293
 
        This will raise a ConnectionTimeout exception if we do not get a
294
 
        readable handle before timeout_seconds.
295
 
        :return: None
296
 
        """
297
 
        t_end = self._timer() + timeout_seconds
298
 
        poll_timeout = min(timeout_seconds, self._client_poll_timeout)
299
 
        rs = xs = None
300
 
        while not rs and not xs and self._timer() < t_end:
301
 
            if self.finished:
302
 
                return
303
 
            try:
304
 
                rs, _, xs = select.select([fd], [], [fd], poll_timeout)
305
 
            except (select.error, socket.error) as e:
306
 
                err = getattr(e, 'errno', None)
307
 
                if err is None and getattr(e, 'args', None) is not None:
308
 
                    # select.error doesn't have 'errno', it just has args[0]
309
 
                    err = e.args[0]
310
 
                if err in _bad_file_descriptor:
311
 
                    return # Not a socket indicates read() will fail
312
 
                elif err == errno.EINTR:
313
 
                    # Interrupted, keep looping.
314
 
                    continue
315
 
                raise
316
 
        if rs or xs:
317
 
            return
318
 
        raise errors.ConnectionTimeout('disconnecting client after %.1f seconds'
319
 
                                       % (timeout_seconds,))
320
 
 
321
99
    def _serve_one_request(self, protocol):
322
100
        """Read one request from input, process, send back a response.
323
 
 
 
101
        
324
102
        :param protocol: a SmartServerRequestProtocol.
325
103
        """
326
 
        if protocol is None:
327
 
            return
328
104
        try:
329
105
            self._serve_one_request_unguarded(protocol)
330
106
        except KeyboardInterrupt:
336
112
        """Called when an unhandled exception from the protocol occurs."""
337
113
        raise NotImplementedError(self.terminate_due_to_error)
338
114
 
339
 
    def _read_bytes(self, desired_count):
 
115
    def _get_bytes(self, desired_count):
340
116
        """Get some bytes from the medium.
341
117
 
342
118
        :param desired_count: number of bytes we want to read.
343
119
        """
344
 
        raise NotImplementedError(self._read_bytes)
 
120
        raise NotImplementedError(self._get_bytes)
 
121
 
 
122
    def _get_line(self):
 
123
        """Read bytes from this request's response until a newline byte.
 
124
        
 
125
        This isn't particularly efficient, so should only be used when the
 
126
        expected size of the line is quite short.
 
127
 
 
128
        :returns: a string of bytes ending in a newline (byte 0x0A).
 
129
        """
 
130
        # XXX: this duplicates SmartClientRequestProtocolOne._recv_tuple
 
131
        line = ''
 
132
        while not line or line[-1] != '\n':
 
133
            new_char = self._get_bytes(1)
 
134
            line += new_char
 
135
            if new_char == '':
 
136
                # Ran out of bytes before receiving a complete line.
 
137
                break
 
138
        return line
345
139
 
346
140
 
347
141
class SmartServerSocketStreamMedium(SmartServerStreamMedium):
348
142
 
349
 
    def __init__(self, sock, backing_transport, root_client_path='/',
350
 
                 timeout=None):
 
143
    def __init__(self, sock, backing_transport):
351
144
        """Constructor.
352
145
 
353
146
        :param sock: the socket the server will read from.  It will be put
354
147
            into blocking mode.
355
148
        """
356
 
        SmartServerStreamMedium.__init__(
357
 
            self, backing_transport, root_client_path=root_client_path,
358
 
            timeout=timeout)
 
149
        SmartServerStreamMedium.__init__(self, backing_transport)
 
150
        self.push_back = ''
359
151
        sock.setblocking(True)
360
152
        self.socket = sock
361
 
        # Get the getpeername now, as we might be closed later when we care.
362
 
        try:
363
 
            self._client_info = sock.getpeername()
364
 
        except socket.error:
365
 
            self._client_info = '<unknown>'
366
 
 
367
 
    def __str__(self):
368
 
        return '%s(client=%s)' % (self.__class__.__name__, self._client_info)
369
 
 
370
 
    def __repr__(self):
371
 
        return '%s.%s(client=%s)' % (self.__module__, self.__class__.__name__,
372
 
            self._client_info)
373
153
 
374
154
    def _serve_one_request_unguarded(self, protocol):
375
155
        while protocol.next_read_size():
376
 
            # We can safely try to read large chunks.  If there is less data
377
 
            # than MAX_SOCKET_CHUNK ready, the socket will just return a
378
 
            # short read immediately rather than block.
379
 
            bytes = self.read_bytes(osutils.MAX_SOCKET_CHUNK)
380
 
            if bytes == '':
381
 
                self.finished = True
382
 
                return
383
 
            protocol.accept_bytes(bytes)
384
 
 
385
 
        self._push_back(protocol.unused_data)
386
 
 
387
 
    def _disconnect_client(self):
388
 
        """Close the current connection. We stopped due to a timeout/etc."""
389
 
        self.socket.close()
390
 
 
391
 
    def _wait_for_bytes_with_timeout(self, timeout_seconds):
392
 
        """Wait for more bytes to be read, but timeout if none available.
393
 
 
394
 
        This allows us to detect idle connections, and stop trying to read from
395
 
        them, without setting the socket itself to non-blocking. This also
396
 
        allows us to specify when we watch for idle timeouts.
397
 
 
398
 
        :return: None, this will raise ConnectionTimeout if we time out before
399
 
            data is available.
400
 
        """
401
 
        return self._wait_on_descriptor(self.socket, timeout_seconds)
402
 
 
403
 
    def _read_bytes(self, desired_count):
404
 
        return osutils.read_bytes_from_socket(
405
 
            self.socket, self._report_activity)
406
 
 
 
156
            if self.push_back:
 
157
                protocol.accept_bytes(self.push_back)
 
158
                self.push_back = ''
 
159
            else:
 
160
                bytes = self._get_bytes(4096)
 
161
                if bytes == '':
 
162
                    self.finished = True
 
163
                    return
 
164
                protocol.accept_bytes(bytes)
 
165
        
 
166
        self.push_back = protocol.excess_buffer
 
167
 
 
168
    def _get_bytes(self, desired_count):
 
169
        # We ignore the desired_count because on sockets it's more efficient to
 
170
        # read 4k at a time.
 
171
        return self.socket.recv(4096)
 
172
    
407
173
    def terminate_due_to_error(self):
 
174
        """Called when an unhandled exception from the protocol occurs."""
408
175
        # TODO: This should log to a server log file, but no such thing
409
176
        # exists yet.  Andrew Bennetts 2006-09-29.
410
177
        self.socket.close()
411
178
        self.finished = True
412
179
 
413
180
    def _write_out(self, bytes):
414
 
        tstart = osutils.timer_func()
415
 
        osutils.send_all(self.socket, bytes, self._report_activity)
416
 
        if 'hpss' in debug.debug_flags:
417
 
            thread_id = thread.get_ident()
418
 
            trace.mutter('%12s: [%s] %d bytes to the socket in %.3fs'
419
 
                         % ('wrote', thread_id, len(bytes),
420
 
                            osutils.timer_func() - tstart))
 
181
        osutils.send_all(self.socket, bytes)
421
182
 
422
183
 
423
184
class SmartServerPipeStreamMedium(SmartServerStreamMedium):
424
185
 
425
 
    def __init__(self, in_file, out_file, backing_transport, timeout=None):
 
186
    def __init__(self, in_file, out_file, backing_transport):
426
187
        """Construct new server.
427
188
 
428
189
        :param in_file: Python file from which requests can be read.
429
190
        :param out_file: Python file to write responses.
430
191
        :param backing_transport: Transport for the directory served.
431
192
        """
432
 
        SmartServerStreamMedium.__init__(self, backing_transport,
433
 
            timeout=timeout)
 
193
        SmartServerStreamMedium.__init__(self, backing_transport)
434
194
        if sys.platform == 'win32':
435
195
            # force binary mode for files
436
196
            import msvcrt
441
201
        self._in = in_file
442
202
        self._out = out_file
443
203
 
444
 
    def serve(self):
445
 
        """See SmartServerStreamMedium.serve"""
446
 
        # This is the regular serve, except it adds signal trapping for soft
447
 
        # shutdown.
448
 
        stop_gracefully = self._stop_gracefully
449
 
        signals.register_on_hangup(id(self), stop_gracefully)
450
 
        try:
451
 
            return super(SmartServerPipeStreamMedium, self).serve()
452
 
        finally:
453
 
            signals.unregister_on_hangup(id(self))
454
 
 
455
204
    def _serve_one_request_unguarded(self, protocol):
456
205
        while True:
457
 
            # We need to be careful not to read past the end of the current
458
 
            # request, or else the read from the pipe will block, so we use
459
 
            # protocol.next_read_size().
460
206
            bytes_to_read = protocol.next_read_size()
461
207
            if bytes_to_read == 0:
462
208
                # Finished serving this request.
463
209
                self._out.flush()
464
210
                return
465
 
            bytes = self.read_bytes(bytes_to_read)
 
211
            bytes = self._get_bytes(bytes_to_read)
466
212
            if bytes == '':
467
213
                # Connection has been closed.
468
214
                self.finished = True
470
216
                return
471
217
            protocol.accept_bytes(bytes)
472
218
 
473
 
    def _disconnect_client(self):
474
 
        self._in.close()
475
 
        self._out.flush()
476
 
        self._out.close()
477
 
 
478
 
    def _wait_for_bytes_with_timeout(self, timeout_seconds):
479
 
        """Wait for more bytes to be read, but timeout if none available.
480
 
 
481
 
        This allows us to detect idle connections, and stop trying to read from
482
 
        them, without setting the socket itself to non-blocking. This also
483
 
        allows us to specify when we watch for idle timeouts.
484
 
 
485
 
        :return: None, this will raise ConnectionTimeout if we time out before
486
 
            data is available.
487
 
        """
488
 
        if (getattr(self._in, 'fileno', None) is None
489
 
            or sys.platform == 'win32'):
490
 
            # You can't select() file descriptors on Windows.
491
 
            return
492
 
        return self._wait_on_descriptor(self._in, timeout_seconds)
493
 
 
494
 
    def _read_bytes(self, desired_count):
 
219
    def _get_bytes(self, desired_count):
495
220
        return self._in.read(desired_count)
496
221
 
497
222
    def terminate_due_to_error(self):
517
242
    request.finished_reading()
518
243
 
519
244
    It is up to the individual SmartClientMedium whether multiple concurrent
520
 
    requests can exist. See SmartClientMedium.get_request to obtain instances
521
 
    of SmartClientMediumRequest, and the concrete Medium you are using for
 
245
    requests can exist. See SmartClientMedium.get_request to obtain instances 
 
246
    of SmartClientMediumRequest, and the concrete Medium you are using for 
522
247
    details on concurrency and pipelining.
523
248
    """
524
249
 
533
258
    def accept_bytes(self, bytes):
534
259
        """Accept bytes for inclusion in this request.
535
260
 
536
 
        This method may not be called after finished_writing() has been
 
261
        This method may not be be called after finished_writing() has been
537
262
        called.  It depends upon the Medium whether or not the bytes will be
538
263
        immediately transmitted. Message based Mediums will tend to buffer the
539
264
        bytes until finished_writing() is called.
570
295
    def _finished_reading(self):
571
296
        """Helper for finished_reading.
572
297
 
573
 
        finished_reading checks the state of the request to determine if
 
298
        finished_reading checks the state of the request to determine if 
574
299
        finished_reading is allowed, and if it is hands off to _finished_reading
575
300
        to perform the action.
576
301
        """
590
315
    def _finished_writing(self):
591
316
        """Helper for finished_writing.
592
317
 
593
 
        finished_writing checks the state of the request to determine if
 
318
        finished_writing checks the state of the request to determine if 
594
319
        finished_writing is allowed, and if it is hands off to _finished_writing
595
320
        to perform the action.
596
321
        """
611
336
        return self._read_bytes(count)
612
337
 
613
338
    def _read_bytes(self, count):
614
 
        """Helper for SmartClientMediumRequest.read_bytes.
 
339
        """Helper for read_bytes.
615
340
 
616
341
        read_bytes checks the state of the request to determing if bytes
617
342
        should be read. After that it hands off to _read_bytes to do the
618
343
        actual read.
619
 
 
620
 
        By default this forwards to self._medium.read_bytes because we are
621
 
        operating on the medium's stream.
622
344
        """
623
 
        return self._medium.read_bytes(count)
 
345
        raise NotImplementedError(self._read_bytes)
624
346
 
625
347
    def read_line(self):
626
 
        line = self._read_line()
627
 
        if not line.endswith('\n'):
628
 
            # end of file encountered reading from server
629
 
            raise errors.ConnectionReset(
630
 
                "Unexpected end of message. Please check connectivity "
631
 
                "and permissions, and report a bug if problems persist.")
 
348
        """Read bytes from this request's response until a newline byte.
 
349
        
 
350
        This isn't particularly efficient, so should only be used when the
 
351
        expected size of the line is quite short.
 
352
 
 
353
        :returns: a string of bytes ending in a newline (byte 0x0A).
 
354
        """
 
355
        # XXX: this duplicates SmartClientRequestProtocolOne._recv_tuple
 
356
        line = ''
 
357
        while not line or line[-1] != '\n':
 
358
            new_char = self.read_bytes(1)
 
359
            line += new_char
 
360
            if new_char == '':
 
361
                # end of file encountered reading from server
 
362
                raise errors.ConnectionReset(
 
363
                    "please check connectivity and permissions",
 
364
                    "(and try -Dhpss if further diagnosis is required)")
632
365
        return line
633
366
 
634
 
    def _read_line(self):
635
 
        """Helper for SmartClientMediumRequest.read_line.
636
 
 
637
 
        By default this forwards to self._medium._get_line because we are
638
 
        operating on the medium's stream.
639
 
        """
640
 
        return self._medium._get_line()
641
 
 
642
 
 
643
 
class _VfsRefuser(object):
644
 
    """An object that refuses all VFS requests.
645
 
 
646
 
    """
647
 
 
648
 
    def __init__(self):
649
 
        client._SmartClient.hooks.install_named_hook(
650
 
            'call', self.check_vfs, 'vfs refuser')
651
 
 
652
 
    def check_vfs(self, params):
653
 
        try:
654
 
            request_method = request.request_handlers.get(params.method)
655
 
        except KeyError:
656
 
            # A method we don't know about doesn't count as a VFS method.
657
 
            return
658
 
        if issubclass(request_method, vfs.VfsRequest):
659
 
            raise errors.HpssVfsRequestNotAllowed(params.method, params.args)
660
 
 
661
 
 
662
 
class _DebugCounter(object):
663
 
    """An object that counts the HPSS calls made to each client medium.
664
 
 
665
 
    When a medium is garbage-collected, or failing that when
666
 
    bzrlib.global_state exits, the total number of calls made on that medium
667
 
    are reported via trace.note.
668
 
    """
669
 
 
670
 
    def __init__(self):
671
 
        self.counts = weakref.WeakKeyDictionary()
672
 
        client._SmartClient.hooks.install_named_hook(
673
 
            'call', self.increment_call_count, 'hpss call counter')
674
 
        bzrlib.global_state.cleanups.add_cleanup(self.flush_all)
675
 
 
676
 
    def track(self, medium):
677
 
        """Start tracking calls made to a medium.
678
 
 
679
 
        This only keeps a weakref to the medium, so shouldn't affect the
680
 
        medium's lifetime.
681
 
        """
682
 
        medium_repr = repr(medium)
683
 
        # Add this medium to the WeakKeyDictionary
684
 
        self.counts[medium] = dict(count=0, vfs_count=0,
685
 
                                   medium_repr=medium_repr)
686
 
        # Weakref callbacks are fired in reverse order of their association
687
 
        # with the referenced object.  So we add a weakref *after* adding to
688
 
        # the WeakKeyDict so that we can report the value from it before the
689
 
        # entry is removed by the WeakKeyDict's own callback.
690
 
        ref = weakref.ref(medium, self.done)
691
 
 
692
 
    def increment_call_count(self, params):
693
 
        # Increment the count in the WeakKeyDictionary
694
 
        value = self.counts[params.medium]
695
 
        value['count'] += 1
696
 
        try:
697
 
            request_method = request.request_handlers.get(params.method)
698
 
        except KeyError:
699
 
            # A method we don't know about doesn't count as a VFS method.
700
 
            return
701
 
        if issubclass(request_method, vfs.VfsRequest):
702
 
            value['vfs_count'] += 1
703
 
 
704
 
    def done(self, ref):
705
 
        value = self.counts[ref]
706
 
        count, vfs_count, medium_repr = (
707
 
            value['count'], value['vfs_count'], value['medium_repr'])
708
 
        # In case this callback is invoked for the same ref twice (by the
709
 
        # weakref callback and by the atexit function), set the call count back
710
 
        # to 0 so this item won't be reported twice.
711
 
        value['count'] = 0
712
 
        value['vfs_count'] = 0
713
 
        if count != 0:
714
 
            trace.note(gettext('HPSS calls: {0} ({1} vfs) {2}').format(
715
 
                       count, vfs_count, medium_repr))
716
 
 
717
 
    def flush_all(self):
718
 
        for ref in list(self.counts.keys()):
719
 
            self.done(ref)
720
 
 
721
 
_debug_counter = None
722
 
_vfs_refuser = None
723
 
 
724
 
 
725
 
class SmartClientMedium(SmartMedium):
 
367
 
 
368
class SmartClientMedium(object):
726
369
    """Smart client is a medium for sending smart protocol requests over."""
727
370
 
728
 
    def __init__(self, base):
729
 
        super(SmartClientMedium, self).__init__()
730
 
        self.base = base
731
 
        self._protocol_version_error = None
732
 
        self._protocol_version = None
733
 
        self._done_hello = False
734
 
        # Be optimistic: we assume the remote end can accept new remote
735
 
        # requests until we get an error saying otherwise.
736
 
        # _remote_version_is_before tracks the bzr version the remote side
737
 
        # can be based on what we've seen so far.
738
 
        self._remote_version_is_before = None
739
 
        # Install debug hook function if debug flag is set.
740
 
        if 'hpss' in debug.debug_flags:
741
 
            global _debug_counter
742
 
            if _debug_counter is None:
743
 
                _debug_counter = _DebugCounter()
744
 
            _debug_counter.track(self)
745
 
        if 'hpss_client_no_vfs' in debug.debug_flags:
746
 
            global _vfs_refuser
747
 
            if _vfs_refuser is None:
748
 
                _vfs_refuser = _VfsRefuser()
749
 
 
750
 
    def _is_remote_before(self, version_tuple):
751
 
        """Is it possible the remote side supports RPCs for a given version?
752
 
 
753
 
        Typical use::
754
 
 
755
 
            needed_version = (1, 2)
756
 
            if medium._is_remote_before(needed_version):
757
 
                fallback_to_pre_1_2_rpc()
758
 
            else:
759
 
                try:
760
 
                    do_1_2_rpc()
761
 
                except UnknownSmartMethod:
762
 
                    medium._remember_remote_is_before(needed_version)
763
 
                    fallback_to_pre_1_2_rpc()
764
 
 
765
 
        :seealso: _remember_remote_is_before
766
 
        """
767
 
        if self._remote_version_is_before is None:
768
 
            # So far, the remote side seems to support everything
769
 
            return False
770
 
        return version_tuple >= self._remote_version_is_before
771
 
 
772
 
    def _remember_remote_is_before(self, version_tuple):
773
 
        """Tell this medium that the remote side is older the given version.
774
 
 
775
 
        :seealso: _is_remote_before
776
 
        """
777
 
        if (self._remote_version_is_before is not None and
778
 
            version_tuple > self._remote_version_is_before):
779
 
            # We have been told that the remote side is older than some version
780
 
            # which is newer than a previously supplied older-than version.
781
 
            # This indicates that some smart verb call is not guarded
782
 
            # appropriately (it should simply not have been tried).
783
 
            trace.mutter(
784
 
                "_remember_remote_is_before(%r) called, but "
785
 
                "_remember_remote_is_before(%r) was called previously."
786
 
                , version_tuple, self._remote_version_is_before)
787
 
            if 'hpss' in debug.debug_flags:
788
 
                ui.ui_factory.show_warning(
789
 
                    "_remember_remote_is_before(%r) called, but "
790
 
                    "_remember_remote_is_before(%r) was called previously."
791
 
                    % (version_tuple, self._remote_version_is_before))
792
 
            return
793
 
        self._remote_version_is_before = version_tuple
794
 
 
795
 
    def protocol_version(self):
796
 
        """Find out if 'hello' smart request works."""
797
 
        if self._protocol_version_error is not None:
798
 
            raise self._protocol_version_error
799
 
        if not self._done_hello:
800
 
            try:
801
 
                medium_request = self.get_request()
802
 
                # Send a 'hello' request in protocol version one, for maximum
803
 
                # backwards compatibility.
804
 
                client_protocol = protocol.SmartClientRequestProtocolOne(medium_request)
805
 
                client_protocol.query_version()
806
 
                self._done_hello = True
807
 
            except errors.SmartProtocolError, e:
808
 
                # Cache the error, just like we would cache a successful
809
 
                # result.
810
 
                self._protocol_version_error = e
811
 
                raise
812
 
        return '2'
813
 
 
814
 
    def should_probe(self):
815
 
        """Should RemoteBzrDirFormat.probe_transport send a smart request on
816
 
        this medium?
817
 
 
818
 
        Some transports are unambiguously smart-only; there's no need to check
819
 
        if the transport is able to carry smart requests, because that's all
820
 
        it is for.  In those cases, this method should return False.
821
 
 
822
 
        But some HTTP transports can sometimes fail to carry smart requests,
823
 
        but still be usuable for accessing remote bzrdirs via plain file
824
 
        accesses.  So for those transports, their media should return True here
825
 
        so that RemoteBzrDirFormat can determine if it is appropriate for that
826
 
        transport.
827
 
        """
828
 
        return False
829
 
 
830
371
    def disconnect(self):
831
372
        """If this medium maintains a persistent connection, close it.
832
 
 
 
373
        
833
374
        The default implementation does nothing.
834
375
        """
835
 
 
836
 
    def remote_path_from_transport(self, transport):
837
 
        """Convert transport into a path suitable for using in a request.
838
 
 
839
 
        Note that the resulting remote path doesn't encode the host name or
840
 
        anything but path, so it is only safe to use it in requests sent over
841
 
        the medium from the matching transport.
842
 
        """
843
 
        medium_base = urlutils.join(self.base, '/')
844
 
        rel_url = urlutils.relative_url(medium_base, transport.base)
845
 
        return urlutils.unquote(rel_url)
846
 
 
 
376
        
847
377
 
848
378
class SmartClientStreamMedium(SmartClientMedium):
849
379
    """Stream based medium common class.
854
384
    receive bytes.
855
385
    """
856
386
 
857
 
    def __init__(self, base):
858
 
        SmartClientMedium.__init__(self, base)
 
387
    def __init__(self):
859
388
        self._current_request = None
 
389
        # Be optimistic: we assume the remote end can accept new remote
 
390
        # requests until we get an error saying otherwise.  (1.2 adds some
 
391
        # requests that send bodies, which confuses older servers.)
 
392
        self._remote_is_at_least_1_2 = True
860
393
 
861
394
    def accept_bytes(self, bytes):
862
395
        self._accept_bytes(bytes)
869
402
 
870
403
    def _flush(self):
871
404
        """Flush the output stream.
872
 
 
 
405
        
873
406
        This method is used by the SmartClientStreamMediumRequest to ensure that
874
407
        all data for a request is sent, to avoid long timeouts or deadlocks.
875
408
        """
883
416
        """
884
417
        return SmartClientStreamMediumRequest(self)
885
418
 
886
 
    def reset(self):
887
 
        """We have been disconnected, reset current state.
888
 
 
889
 
        This resets things like _current_request and connected state.
890
 
        """
891
 
        self.disconnect()
892
 
        self._current_request = None
 
419
    def read_bytes(self, count):
 
420
        return self._read_bytes(count)
893
421
 
894
422
 
895
423
class SmartSimplePipesClientMedium(SmartClientStreamMedium):
896
424
    """A client medium using simple pipes.
897
 
 
 
425
    
898
426
    This client does not manage the pipes: it assumes they will always be open.
899
427
    """
900
428
 
901
 
    def __init__(self, readable_pipe, writeable_pipe, base):
902
 
        SmartClientStreamMedium.__init__(self, base)
 
429
    def __init__(self, readable_pipe, writeable_pipe):
 
430
        SmartClientStreamMedium.__init__(self)
903
431
        self._readable_pipe = readable_pipe
904
432
        self._writeable_pipe = writeable_pipe
905
433
 
906
434
    def _accept_bytes(self, bytes):
907
435
        """See SmartClientStreamMedium.accept_bytes."""
908
 
        try:
909
 
            self._writeable_pipe.write(bytes)
910
 
        except IOError, e:
911
 
            if e.errno in (errno.EINVAL, errno.EPIPE):
912
 
                raise errors.ConnectionReset(
913
 
                    "Error trying to write to subprocess", e)
914
 
            raise
915
 
        self._report_activity(len(bytes), 'write')
 
436
        self._writeable_pipe.write(bytes)
916
437
 
917
438
    def _flush(self):
918
439
        """See SmartClientStreamMedium._flush()."""
919
 
        # Note: If flush were to fail, we'd like to raise ConnectionReset, etc.
920
 
        #       However, testing shows that even when the child process is
921
 
        #       gone, this doesn't error.
922
440
        self._writeable_pipe.flush()
923
441
 
924
442
    def _read_bytes(self, count):
925
443
        """See SmartClientStreamMedium._read_bytes."""
926
 
        bytes_to_read = min(count, _MAX_READ_SIZE)
927
 
        bytes = self._readable_pipe.read(bytes_to_read)
928
 
        self._report_activity(len(bytes), 'read')
929
 
        return bytes
930
 
 
931
 
 
932
 
class SSHParams(object):
933
 
    """A set of parameters for starting a remote bzr via SSH."""
934
 
 
 
444
        return self._readable_pipe.read(count)
 
445
 
 
446
 
 
447
class SmartSSHClientMedium(SmartClientStreamMedium):
 
448
    """A client medium using SSH."""
 
449
    
935
450
    def __init__(self, host, port=None, username=None, password=None,
936
 
            bzr_remote_path='bzr'):
937
 
        self.host = host
938
 
        self.port = port
939
 
        self.username = username
940
 
        self.password = password
941
 
        self.bzr_remote_path = bzr_remote_path
942
 
 
943
 
 
944
 
class SmartSSHClientMedium(SmartClientStreamMedium):
945
 
    """A client medium using SSH.
946
 
 
947
 
    It delegates IO to a SmartSimplePipesClientMedium or
948
 
    SmartClientAlreadyConnectedSocketMedium (depending on platform).
949
 
    """
950
 
 
951
 
    def __init__(self, base, ssh_params, vendor=None):
 
451
            vendor=None, bzr_remote_path=None):
952
452
        """Creates a client that will connect on the first use.
953
 
 
954
 
        :param ssh_params: A SSHParams instance.
 
453
        
955
454
        :param vendor: An optional override for the ssh vendor to use. See
956
455
            bzrlib.transport.ssh for details on ssh vendors.
957
456
        """
958
 
        self._real_medium = None
959
 
        self._ssh_params = ssh_params
960
 
        # for the benefit of progress making a short description of this
961
 
        # transport
962
 
        self._scheme = 'bzr+ssh'
963
 
        # SmartClientStreamMedium stores the repr of this object in its
964
 
        # _DebugCounter so we have to store all the values used in our repr
965
 
        # method before calling the super init.
966
 
        SmartClientStreamMedium.__init__(self, base)
 
457
        SmartClientStreamMedium.__init__(self)
 
458
        self._connected = False
 
459
        self._host = host
 
460
        self._password = password
 
461
        self._port = port
 
462
        self._username = username
 
463
        self._read_from = None
 
464
        self._ssh_connection = None
967
465
        self._vendor = vendor
968
 
        self._ssh_connection = None
969
 
 
970
 
    def __repr__(self):
971
 
        if self._ssh_params.port is None:
972
 
            maybe_port = ''
973
 
        else:
974
 
            maybe_port = ':%s' % self._ssh_params.port
975
 
        if self._ssh_params.username is None:
976
 
            maybe_user = ''
977
 
        else:
978
 
            maybe_user = '%s@' % self._ssh_params.username
979
 
        return "%s(%s://%s%s%s/)" % (
980
 
            self.__class__.__name__,
981
 
            self._scheme,
982
 
            maybe_user,
983
 
            self._ssh_params.host,
984
 
            maybe_port)
 
466
        self._write_to = None
 
467
        self._bzr_remote_path = bzr_remote_path
 
468
        if self._bzr_remote_path is None:
 
469
            symbol_versioning.warn(
 
470
                'bzr_remote_path is required as of bzr 0.92',
 
471
                DeprecationWarning, stacklevel=2)
 
472
            self._bzr_remote_path = os.environ.get('BZR_REMOTE_PATH', 'bzr')
985
473
 
986
474
    def _accept_bytes(self, bytes):
987
475
        """See SmartClientStreamMedium.accept_bytes."""
988
476
        self._ensure_connection()
989
 
        self._real_medium.accept_bytes(bytes)
 
477
        self._write_to.write(bytes)
990
478
 
991
479
    def disconnect(self):
992
480
        """See SmartClientMedium.disconnect()."""
993
 
        if self._real_medium is not None:
994
 
            self._real_medium.disconnect()
995
 
            self._real_medium = None
996
 
        if self._ssh_connection is not None:
997
 
            self._ssh_connection.close()
998
 
            self._ssh_connection = None
 
481
        if not self._connected:
 
482
            return
 
483
        self._read_from.close()
 
484
        self._write_to.close()
 
485
        self._ssh_connection.close()
 
486
        self._connected = False
999
487
 
1000
488
    def _ensure_connection(self):
1001
489
        """Connect this medium if not already connected."""
1002
 
        if self._real_medium is not None:
 
490
        if self._connected:
1003
491
            return
1004
492
        if self._vendor is None:
1005
493
            vendor = ssh._get_ssh_vendor()
1006
494
        else:
1007
495
            vendor = self._vendor
1008
 
        self._ssh_connection = vendor.connect_ssh(self._ssh_params.username,
1009
 
                self._ssh_params.password, self._ssh_params.host,
1010
 
                self._ssh_params.port,
1011
 
                command=[self._ssh_params.bzr_remote_path, 'serve', '--inet',
 
496
        self._ssh_connection = vendor.connect_ssh(self._username,
 
497
                self._password, self._host, self._port,
 
498
                command=[self._bzr_remote_path, 'serve', '--inet',
1012
499
                         '--directory=/', '--allow-writes'])
1013
 
        io_kind, io_object = self._ssh_connection.get_sock_or_pipes()
1014
 
        if io_kind == 'socket':
1015
 
            self._real_medium = SmartClientAlreadyConnectedSocketMedium(
1016
 
                self.base, io_object)
1017
 
        elif io_kind == 'pipes':
1018
 
            read_from, write_to = io_object
1019
 
            self._real_medium = SmartSimplePipesClientMedium(
1020
 
                read_from, write_to, self.base)
1021
 
        else:
1022
 
            raise AssertionError(
1023
 
                "Unexpected io_kind %r from %r"
1024
 
                % (io_kind, self._ssh_connection))
1025
 
        for hook in transport.Transport.hooks["post_connect"]:
1026
 
            hook(self)
 
500
        self._read_from, self._write_to = \
 
501
            self._ssh_connection.get_filelike_channels()
 
502
        self._connected = True
1027
503
 
1028
504
    def _flush(self):
1029
505
        """See SmartClientStreamMedium._flush()."""
1030
 
        self._real_medium._flush()
 
506
        self._write_to.flush()
1031
507
 
1032
508
    def _read_bytes(self, count):
1033
509
        """See SmartClientStreamMedium.read_bytes."""
1034
 
        if self._real_medium is None:
 
510
        if not self._connected:
1035
511
            raise errors.MediumNotConnected(self)
1036
 
        return self._real_medium.read_bytes(count)
 
512
        return self._read_from.read(count)
1037
513
 
1038
514
 
1039
515
# Port 4155 is the default port for bzr://, registered with IANA.
1040
 
BZR_DEFAULT_INTERFACE = None
 
516
BZR_DEFAULT_INTERFACE = '0.0.0.0'
1041
517
BZR_DEFAULT_PORT = 4155
1042
518
 
1043
519
 
1044
 
class SmartClientSocketMedium(SmartClientStreamMedium):
1045
 
    """A client medium using a socket.
1046
 
 
1047
 
    This class isn't usable directly.  Use one of its subclasses instead.
1048
 
    """
1049
 
 
1050
 
    def __init__(self, base):
1051
 
        SmartClientStreamMedium.__init__(self, base)
 
520
class SmartTCPClientMedium(SmartClientStreamMedium):
 
521
    """A client medium using TCP."""
 
522
    
 
523
    def __init__(self, host, port):
 
524
        """Creates a client that will connect on the first use."""
 
525
        SmartClientStreamMedium.__init__(self)
 
526
        self._connected = False
 
527
        self._host = host
 
528
        self._port = port
1052
529
        self._socket = None
1053
 
        self._connected = False
1054
530
 
1055
531
    def _accept_bytes(self, bytes):
1056
532
        """See SmartClientMedium.accept_bytes."""
1057
533
        self._ensure_connection()
1058
 
        osutils.send_all(self._socket, bytes, self._report_activity)
1059
 
 
1060
 
    def _ensure_connection(self):
1061
 
        """Connect this medium if not already connected."""
1062
 
        raise NotImplementedError(self._ensure_connection)
1063
 
 
1064
 
    def _flush(self):
1065
 
        """See SmartClientStreamMedium._flush().
1066
 
 
1067
 
        For sockets we do no flushing. For TCP sockets we may want to turn off
1068
 
        TCP_NODELAY and add a means to do a flush, but that can be done in the
1069
 
        future.
1070
 
        """
1071
 
 
1072
 
    def _read_bytes(self, count):
1073
 
        """See SmartClientMedium.read_bytes."""
1074
 
        if not self._connected:
1075
 
            raise errors.MediumNotConnected(self)
1076
 
        return osutils.read_bytes_from_socket(
1077
 
            self._socket, self._report_activity)
 
534
        osutils.send_all(self._socket, bytes)
1078
535
 
1079
536
    def disconnect(self):
1080
537
        """See SmartClientMedium.disconnect()."""
1084
541
        self._socket = None
1085
542
        self._connected = False
1086
543
 
1087
 
 
1088
 
class SmartTCPClientMedium(SmartClientSocketMedium):
1089
 
    """A client medium that creates a TCP connection."""
1090
 
 
1091
 
    def __init__(self, host, port, base):
1092
 
        """Creates a client that will connect on the first use."""
1093
 
        SmartClientSocketMedium.__init__(self, base)
1094
 
        self._host = host
1095
 
        self._port = port
1096
 
 
1097
544
    def _ensure_connection(self):
1098
545
        """Connect this medium if not already connected."""
1099
546
        if self._connected:
1100
547
            return
 
548
        self._socket = socket.socket()
 
549
        self._socket.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
1101
550
        if self._port is None:
1102
551
            port = BZR_DEFAULT_PORT
1103
552
        else:
1104
553
            port = int(self._port)
1105
554
        try:
1106
 
            sockaddrs = socket.getaddrinfo(self._host, port, socket.AF_UNSPEC,
1107
 
                socket.SOCK_STREAM, 0, 0)
1108
 
        except socket.gaierror, (err_num, err_msg):
1109
 
            raise errors.ConnectionError("failed to lookup %s:%d: %s" %
1110
 
                    (self._host, port, err_msg))
1111
 
        # Initialize err in case there are no addresses returned:
1112
 
        err = socket.error("no address found for %s" % self._host)
1113
 
        for (family, socktype, proto, canonname, sockaddr) in sockaddrs:
1114
 
            try:
1115
 
                self._socket = socket.socket(family, socktype, proto)
1116
 
                self._socket.setsockopt(socket.IPPROTO_TCP,
1117
 
                                        socket.TCP_NODELAY, 1)
1118
 
                self._socket.connect(sockaddr)
1119
 
            except socket.error, err:
1120
 
                if self._socket is not None:
1121
 
                    self._socket.close()
1122
 
                self._socket = None
1123
 
                continue
1124
 
            break
1125
 
        if self._socket is None:
 
555
            self._socket.connect((self._host, port))
 
556
        except socket.error, err:
1126
557
            # socket errors either have a (string) or (errno, string) as their
1127
558
            # args.
1128
559
            if type(err.args) is str:
1132
563
            raise errors.ConnectionError("failed to connect to %s:%d: %s" %
1133
564
                    (self._host, port, err_msg))
1134
565
        self._connected = True
1135
 
        for hook in transport.Transport.hooks["post_connect"]:
1136
 
            hook(self)
1137
 
 
1138
 
 
1139
 
class SmartClientAlreadyConnectedSocketMedium(SmartClientSocketMedium):
1140
 
    """A client medium for an already connected socket.
1141
 
    
1142
 
    Note that this class will assume it "owns" the socket, so it will close it
1143
 
    when its disconnect method is called.
1144
 
    """
1145
 
 
1146
 
    def __init__(self, base, sock):
1147
 
        SmartClientSocketMedium.__init__(self, base)
1148
 
        self._socket = sock
1149
 
        self._connected = True
1150
 
 
1151
 
    def _ensure_connection(self):
1152
 
        # Already connected, by definition!  So nothing to do.
1153
 
        pass
 
566
 
 
567
    def _flush(self):
 
568
        """See SmartClientStreamMedium._flush().
 
569
        
 
570
        For TCP we do no flushing. We may want to turn off TCP_NODELAY and 
 
571
        add a means to do a flush, but that can be done in the future.
 
572
        """
 
573
 
 
574
    def _read_bytes(self, count):
 
575
        """See SmartClientMedium.read_bytes."""
 
576
        if not self._connected:
 
577
            raise errors.MediumNotConnected(self)
 
578
        return self._socket.recv(count)
1154
579
 
1155
580
 
1156
581
class SmartClientStreamMediumRequest(SmartClientMediumRequest):
1169
594
 
1170
595
    def _accept_bytes(self, bytes):
1171
596
        """See SmartClientMediumRequest._accept_bytes.
1172
 
 
 
597
        
1173
598
        This forwards to self._medium._accept_bytes because we are operating
1174
599
        on the mediums stream.
1175
600
        """
1178
603
    def _finished_reading(self):
1179
604
        """See SmartClientMediumRequest._finished_reading.
1180
605
 
1181
 
        This clears the _current_request on self._medium to allow a new
 
606
        This clears the _current_request on self._medium to allow a new 
1182
607
        request to be created.
1183
608
        """
1184
 
        if self._medium._current_request is not self:
1185
 
            raise AssertionError()
 
609
        assert self._medium._current_request is self
1186
610
        self._medium._current_request = None
1187
 
 
 
611
        
1188
612
    def _finished_writing(self):
1189
613
        """See SmartClientMediumRequest._finished_writing.
1190
614
 
1191
615
        This invokes self._medium._flush to ensure all bytes are transmitted.
1192
616
        """
1193
617
        self._medium._flush()
 
618
 
 
619
    def _read_bytes(self, count):
 
620
        """See SmartClientMediumRequest._read_bytes.
 
621
        
 
622
        This forwards to self._medium._read_bytes because we are operating
 
623
        on the mediums stream.
 
624
        """
 
625
        return self._medium._read_bytes(count)
 
626