~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/smart/client.py

  • Committer: Patch Queue Manager
  • Date: 2016-04-21 04:39:02 UTC
  • mfrom: (6613.2.1 fix-gpl)
  • Revision ID: pqm@pqm.ubuntu.com-20160421043902-skyc5cmuqnh1b9la
(richard-wilbur) Update COPYING.txt from the original
 http://www.gnu.org/licenses/gpl-2.0.txt (Only differences were in
 whitespace.) Thanks to Petr Stodulka for pointing out the discrepancy.
 (Richard Wilbur)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2008 Canonical Ltd
 
1
# Copyright (C) 2006-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
 
 
17
from __future__ import absolute_import
 
18
 
 
19
from bzrlib import lazy_import
 
20
lazy_import.lazy_import(globals(), """
 
21
from bzrlib.smart import request as _mod_request
 
22
""")
16
23
 
17
24
import bzrlib
18
25
from bzrlib.smart import message, protocol
19
 
from bzrlib.trace import warning
20
26
from bzrlib import (
 
27
    debug,
21
28
    errors,
22
29
    hooks,
 
30
    trace,
23
31
    )
24
32
 
25
33
 
36
44
        else:
37
45
            self._headers = dict(headers)
38
46
 
39
 
    def _send_request(self, protocol_version, method, args, body=None,
40
 
                      readv_body=None):
41
 
        encoder, response_handler = self._construct_protocol(
42
 
            protocol_version)
43
 
        encoder.set_headers(self._headers)
44
 
        if body is not None:
45
 
            if readv_body is not None:
46
 
                raise AssertionError(
47
 
                    "body and readv_body are mutually exclusive.")
48
 
            encoder.call_with_body_bytes((method, ) + args, body)
49
 
        elif readv_body is not None:
50
 
            encoder.call_with_body_readv_array((method, ) + args,
51
 
                    readv_body)
52
 
        else:
53
 
            encoder.call(method, *args)
54
 
        return response_handler
 
47
    def __repr__(self):
 
48
        return '%s(%r)' % (self.__class__.__name__, self._medium)
55
49
 
56
 
    def _run_call_hooks(self, method, args, body, readv_body):
57
 
        if not _SmartClient.hooks['call']:
58
 
            return
59
 
        params = CallHookParams(method, args, body, readv_body, self._medium)
60
 
        for hook in _SmartClient.hooks['call']:
61
 
            hook(params)
62
 
            
63
50
    def _call_and_read_response(self, method, args, body=None, readv_body=None,
64
 
            expect_response_body=True):
65
 
        self._run_call_hooks(method, args, body, readv_body)
66
 
        if self._medium._protocol_version is not None:
67
 
            response_handler = self._send_request(
68
 
                self._medium._protocol_version, method, args, body=body,
69
 
                readv_body=readv_body)
70
 
            return (response_handler.read_response_tuple(
71
 
                        expect_body=expect_response_body),
72
 
                    response_handler)
73
 
        else:
74
 
            for protocol_version in [3, 2]:
75
 
                if protocol_version == 2:
76
 
                    # If v3 doesn't work, the remote side is older than 1.6.
77
 
                    self._medium._remember_remote_is_before((1, 6))
78
 
                response_handler = self._send_request(
79
 
                    protocol_version, method, args, body=body,
80
 
                    readv_body=readv_body)
81
 
                try:
82
 
                    response_tuple = response_handler.read_response_tuple(
83
 
                        expect_body=expect_response_body)
84
 
                except errors.UnexpectedProtocolVersionMarker, err:
85
 
                    # TODO: We could recover from this without disconnecting if
86
 
                    # we recognise the protocol version.
87
 
                    warning(
88
 
                        'Server does not understand Bazaar network protocol %d,'
89
 
                        ' reconnecting.  (Upgrade the server to avoid this.)'
90
 
                        % (protocol_version,))
91
 
                    self._medium.disconnect()
92
 
                    continue
93
 
                except errors.ErrorFromSmartServer:
94
 
                    # If we received an error reply from the server, then it
95
 
                    # must be ok with this protocol version.
96
 
                    self._medium._protocol_version = protocol_version
97
 
                    raise
98
 
                else:
99
 
                    self._medium._protocol_version = protocol_version
100
 
                    return response_tuple, response_handler
101
 
            raise errors.SmartProtocolError(
102
 
                'Server is not a Bazaar server: ' + str(err))
103
 
 
104
 
    def _construct_protocol(self, version):
105
 
        request = self._medium.get_request()
106
 
        if version == 3:
107
 
            request_encoder = protocol.ProtocolThreeRequester(request)
108
 
            response_handler = message.ConventionalResponseHandler()
109
 
            response_proto = protocol.ProtocolThreeDecoder(
110
 
                response_handler, expect_version_marker=True)
111
 
            response_handler.setProtoAndMediumRequest(response_proto, request)
112
 
        elif version == 2:
113
 
            request_encoder = protocol.SmartClientRequestProtocolTwo(request)
114
 
            response_handler = request_encoder
115
 
        else:
116
 
            request_encoder = protocol.SmartClientRequestProtocolOne(request)
117
 
            response_handler = request_encoder
118
 
        return request_encoder, response_handler
 
51
            body_stream=None, expect_response_body=True):
 
52
        request = _SmartClientRequest(self, method, args, body=body,
 
53
            readv_body=readv_body, body_stream=body_stream,
 
54
            expect_response_body=expect_response_body)
 
55
        return request.call_and_read_response()
119
56
 
120
57
    def call(self, method, *args):
121
58
        """Call a method on the remote server."""
125
62
 
126
63
    def call_expecting_body(self, method, *args):
127
64
        """Call a method and return the result and the protocol object.
128
 
        
 
65
 
129
66
        The body can be read like so::
130
67
 
131
68
            result, smart_protocol = smart_client.call_expecting_body(...)
165
102
                args[0], args[1:], readv_body=body, expect_response_body=True)
166
103
        return (response, response_handler)
167
104
 
 
105
    def call_with_body_stream(self, args, stream):
 
106
        response, response_handler = self._call_and_read_response(
 
107
                args[0], args[1:], body_stream=stream,
 
108
                expect_response_body=False)
 
109
        return (response, response_handler)
 
110
 
168
111
    def remote_path_from_transport(self, transport):
169
112
        """Convert transport into a path suitable for using in a request.
170
 
        
 
113
 
171
114
        Note that the resulting remote path doesn't encode the host name or
172
115
        anything but path, so it is only safe to use it in requests sent over
173
116
        the medium from the matching transport.
175
118
        return self._medium.remote_path_from_transport(transport)
176
119
 
177
120
 
 
121
class _SmartClientRequest(object):
 
122
    """Encapsulate the logic for a single request.
 
123
 
 
124
    This class handles things like reconnecting and sending the request a
 
125
    second time when the connection is reset in the middle. It also handles the
 
126
    multiple requests that get made if we don't know what protocol the server
 
127
    supports yet.
 
128
 
 
129
    Generally, you build up one of these objects, passing in the arguments that
 
130
    you want to send to the server, and then use 'call_and_read_response' to
 
131
    get the response from the server.
 
132
    """
 
133
 
 
134
    def __init__(self, client, method, args, body=None, readv_body=None,
 
135
                 body_stream=None, expect_response_body=True):
 
136
        self.client = client
 
137
        self.method = method
 
138
        self.args = args
 
139
        self.body = body
 
140
        self.readv_body = readv_body
 
141
        self.body_stream = body_stream
 
142
        self.expect_response_body = expect_response_body
 
143
 
 
144
    def call_and_read_response(self):
 
145
        """Send the request to the server, and read the initial response.
 
146
 
 
147
        This doesn't read all of the body content of the response, instead it
 
148
        returns (response_tuple, response_handler). response_tuple is the 'ok',
 
149
        or 'error' information, and 'response_handler' can be used to get the
 
150
        content stream out.
 
151
        """
 
152
        self._run_call_hooks()
 
153
        protocol_version = self.client._medium._protocol_version
 
154
        if protocol_version is None:
 
155
            return self._call_determining_protocol_version()
 
156
        else:
 
157
            return self._call(protocol_version)
 
158
 
 
159
    def _is_safe_to_send_twice(self):
 
160
        """Check if the current method is re-entrant safe."""
 
161
        if self.body_stream is not None or 'noretry' in debug.debug_flags:
 
162
            # We can't restart a body stream that has already been consumed.
 
163
            return False
 
164
        request_type = _mod_request.request_handlers.get_info(self.method)
 
165
        if request_type in ('read', 'idem', 'semi'):
 
166
            return True
 
167
        # If we have gotten this far, 'stream' cannot be retried, because we
 
168
        # already consumed the local stream.
 
169
        if request_type in ('semivfs', 'mutate', 'stream'):
 
170
            return False
 
171
        trace.mutter('Unknown request type: %s for method %s'
 
172
                     % (request_type, self.method))
 
173
        return False
 
174
 
 
175
    def _run_call_hooks(self):
 
176
        if not _SmartClient.hooks['call']:
 
177
            return
 
178
        params = CallHookParams(self.method, self.args, self.body,
 
179
                                self.readv_body, self.client._medium)
 
180
        for hook in _SmartClient.hooks['call']:
 
181
            hook(params)
 
182
 
 
183
    def _call(self, protocol_version):
 
184
        """We know the protocol version.
 
185
 
 
186
        So this just sends the request, and then reads the response. This is
 
187
        where the code will be to retry requests if the connection is closed.
 
188
        """
 
189
        response_handler = self._send(protocol_version)
 
190
        try:
 
191
            response_tuple = response_handler.read_response_tuple(
 
192
                expect_body=self.expect_response_body)
 
193
        except errors.ConnectionReset, e:
 
194
            self.client._medium.reset()
 
195
            if not self._is_safe_to_send_twice():
 
196
                raise
 
197
            trace.warning('ConnectionReset reading response for %r, retrying'
 
198
                          % (self.method,))
 
199
            trace.log_exception_quietly()
 
200
            encoder, response_handler = self._construct_protocol(
 
201
                protocol_version)
 
202
            self._send_no_retry(encoder)
 
203
            response_tuple = response_handler.read_response_tuple(
 
204
                expect_body=self.expect_response_body)
 
205
        return (response_tuple, response_handler)
 
206
 
 
207
    def _call_determining_protocol_version(self):
 
208
        """Determine what protocol the remote server supports.
 
209
 
 
210
        We do this by placing a request in the most recent protocol, and
 
211
        handling the UnexpectedProtocolVersionMarker from the server.
 
212
        """
 
213
        for protocol_version in [3, 2]:
 
214
            if protocol_version == 2:
 
215
                # If v3 doesn't work, the remote side is older than 1.6.
 
216
                self.client._medium._remember_remote_is_before((1, 6))
 
217
            try:
 
218
                response_tuple, response_handler = self._call(protocol_version)
 
219
            except errors.UnexpectedProtocolVersionMarker, err:
 
220
                # TODO: We could recover from this without disconnecting if
 
221
                # we recognise the protocol version.
 
222
                trace.warning(
 
223
                    'Server does not understand Bazaar network protocol %d,'
 
224
                    ' reconnecting.  (Upgrade the server to avoid this.)'
 
225
                    % (protocol_version,))
 
226
                self.client._medium.disconnect()
 
227
                continue
 
228
            except errors.ErrorFromSmartServer:
 
229
                # If we received an error reply from the server, then it
 
230
                # must be ok with this protocol version.
 
231
                self.client._medium._protocol_version = protocol_version
 
232
                raise
 
233
            else:
 
234
                self.client._medium._protocol_version = protocol_version
 
235
                return response_tuple, response_handler
 
236
        raise errors.SmartProtocolError(
 
237
            'Server is not a Bazaar server: ' + str(err))
 
238
 
 
239
    def _construct_protocol(self, version):
 
240
        """Build the encoding stack for a given protocol version."""
 
241
        request = self.client._medium.get_request()
 
242
        if version == 3:
 
243
            request_encoder = protocol.ProtocolThreeRequester(request)
 
244
            response_handler = message.ConventionalResponseHandler()
 
245
            response_proto = protocol.ProtocolThreeDecoder(
 
246
                response_handler, expect_version_marker=True)
 
247
            response_handler.setProtoAndMediumRequest(response_proto, request)
 
248
        elif version == 2:
 
249
            request_encoder = protocol.SmartClientRequestProtocolTwo(request)
 
250
            response_handler = request_encoder
 
251
        else:
 
252
            request_encoder = protocol.SmartClientRequestProtocolOne(request)
 
253
            response_handler = request_encoder
 
254
        return request_encoder, response_handler
 
255
 
 
256
    def _send(self, protocol_version):
 
257
        """Encode the request, and send it to the server.
 
258
 
 
259
        This will retry a request if we get a ConnectionReset while sending the
 
260
        request to the server. (Unless we have a body_stream that we have
 
261
        already started consuming, since we can't restart body_streams)
 
262
 
 
263
        :return: response_handler as defined by _construct_protocol
 
264
        """
 
265
        encoder, response_handler = self._construct_protocol(protocol_version)
 
266
        try:
 
267
            self._send_no_retry(encoder)
 
268
        except errors.ConnectionReset, e:
 
269
            # If we fail during the _send_no_retry phase, then we can
 
270
            # be confident that the server did not get our request, because we
 
271
            # haven't started waiting for the reply yet. So try the request
 
272
            # again. We only issue a single retry, because if the connection
 
273
            # really is down, there is no reason to loop endlessly.
 
274
 
 
275
            # Connection is dead, so close our end of it.
 
276
            self.client._medium.reset()
 
277
            if (('noretry' in debug.debug_flags)
 
278
                or (self.body_stream is not None
 
279
                    and encoder.body_stream_started)):
 
280
                # We can't restart a body_stream that has been partially
 
281
                # consumed, so we don't retry.
 
282
                # Note: We don't have to worry about
 
283
                #   SmartClientRequestProtocolOne or Two, because they don't
 
284
                #   support client-side body streams.
 
285
                raise
 
286
            trace.warning('ConnectionReset calling %r, retrying'
 
287
                          % (self.method,))
 
288
            trace.log_exception_quietly()
 
289
            encoder, response_handler = self._construct_protocol(
 
290
                protocol_version)
 
291
            self._send_no_retry(encoder)
 
292
        return response_handler
 
293
 
 
294
    def _send_no_retry(self, encoder):
 
295
        """Just encode the request and try to send it."""
 
296
        encoder.set_headers(self.client._headers)
 
297
        if self.body is not None:
 
298
            if self.readv_body is not None:
 
299
                raise AssertionError(
 
300
                    "body and readv_body are mutually exclusive.")
 
301
            if self.body_stream is not None:
 
302
                raise AssertionError(
 
303
                    "body and body_stream are mutually exclusive.")
 
304
            encoder.call_with_body_bytes((self.method, ) + self.args, self.body)
 
305
        elif self.readv_body is not None:
 
306
            if self.body_stream is not None:
 
307
                raise AssertionError(
 
308
                    "readv_body and body_stream are mutually exclusive.")
 
309
            encoder.call_with_body_readv_array((self.method, ) + self.args,
 
310
                                               self.readv_body)
 
311
        elif self.body_stream is not None:
 
312
            encoder.call_with_body_stream((self.method, ) + self.args,
 
313
                                          self.body_stream)
 
314
        else:
 
315
            encoder.call(self.method, *self.args)
 
316
 
 
317
 
178
318
class SmartClientHooks(hooks.Hooks):
179
319
 
180
320
    def __init__(self):
181
 
        hooks.Hooks.__init__(self)
182
 
        self['call'] = []
183
 
 
184
 
        
 
321
        hooks.Hooks.__init__(self, "bzrlib.smart.client", "_SmartClient.hooks")
 
322
        self.add_hook('call',
 
323
            "Called when the smart client is submitting a request to the "
 
324
            "smart server. Called with a bzrlib.smart.client.CallHookParams "
 
325
            "object. Streaming request bodies, and responses, are not "
 
326
            "accessible.", None)
 
327
 
 
328
 
185
329
_SmartClient.hooks = SmartClientHooks()
186
330
 
187
331
 
188
332
class CallHookParams(object):
189
 
    
 
333
 
190
334
    def __init__(self, method, args, body, readv_body, medium):
191
335
        self.method = method
192
336
        self.args = args