~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/ssh.py

  • Committer: Robert Collins
  • Date: 2007-03-08 04:06:06 UTC
  • mfrom: (2323.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 2442.
  • Revision ID: robertc@robertcollins.net-20070308040606-84gsniv56huiyjt4
Merge bzr.dev.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005 Robey Pointer <robey@lag.net>
 
2
# Copyright (C) 2005, 2006 Canonical Ltd
 
3
#
 
4
# This program is free software; you can redistribute it and/or modify
 
5
# it under the terms of the GNU General Public License as published by
 
6
# the Free Software Foundation; either version 2 of the License, or
 
7
# (at your option) any later version.
 
8
#
 
9
# This program is distributed in the hope that it will be useful,
 
10
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
11
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
12
# GNU General Public License for more details.
 
13
#
 
14
# You should have received a copy of the GNU General Public License
 
15
# along with this program; if not, write to the Free Software
 
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
17
 
 
18
"""Foundation SSH support for SFTP and smart server."""
 
19
 
 
20
import errno
 
21
import getpass
 
22
import os
 
23
import socket
 
24
import subprocess
 
25
import sys
 
26
 
 
27
from bzrlib.config import config_dir, ensure_config_dir_exists
 
28
from bzrlib.errors import (ConnectionError,
 
29
                           ParamikoNotPresent,
 
30
                           SocketConnectionError,
 
31
                           TransportError,
 
32
                           UnknownSSH,
 
33
                           )
 
34
 
 
35
from bzrlib.osutils import pathjoin
 
36
from bzrlib.trace import mutter, warning
 
37
import bzrlib.ui
 
38
 
 
39
try:
 
40
    import paramiko
 
41
except ImportError, e:
 
42
    # If we have an ssh subprocess, we don't strictly need paramiko for all ssh
 
43
    # access
 
44
    paramiko = None
 
45
else:
 
46
    from paramiko.sftp_client import SFTPClient
 
47
 
 
48
 
 
49
SYSTEM_HOSTKEYS = {}
 
50
BZR_HOSTKEYS = {}
 
51
 
 
52
 
 
53
_paramiko_version = getattr(paramiko, '__version_info__', (0, 0, 0))
 
54
 
 
55
# Paramiko 1.5 tries to open a socket.AF_UNIX in order to connect
 
56
# to ssh-agent. That attribute doesn't exist on win32 (it does in cygwin)
 
57
# so we get an AttributeError exception. So we will not try to
 
58
# connect to an agent if we are on win32 and using Paramiko older than 1.6
 
59
_use_ssh_agent = (sys.platform != 'win32' or _paramiko_version >= (1, 6, 0))
 
60
 
 
61
_ssh_vendors = {}
 
62
 
 
63
def register_ssh_vendor(name, vendor):
 
64
    """Register SSH vendor."""
 
65
    _ssh_vendors[name] = vendor
 
66
 
 
67
    
 
68
_ssh_vendor = None
 
69
def _get_ssh_vendor():
 
70
    """Find out what version of SSH is on the system."""
 
71
    global _ssh_vendor
 
72
    if _ssh_vendor is not None:
 
73
        return _ssh_vendor
 
74
 
 
75
    if 'BZR_SSH' in os.environ:
 
76
        vendor_name = os.environ['BZR_SSH']
 
77
        try:
 
78
            _ssh_vendor = _ssh_vendors[vendor_name]
 
79
        except KeyError:
 
80
            raise UnknownSSH(vendor_name)
 
81
        return _ssh_vendor
 
82
 
 
83
    try:
 
84
        p = subprocess.Popen(['ssh', '-V'],
 
85
                             stdin=subprocess.PIPE,
 
86
                             stdout=subprocess.PIPE,
 
87
                             stderr=subprocess.PIPE,
 
88
                             **os_specific_subprocess_params())
 
89
        returncode = p.returncode
 
90
        stdout, stderr = p.communicate()
 
91
    except OSError:
 
92
        returncode = -1
 
93
        stdout = stderr = ''
 
94
    if 'OpenSSH' in stderr:
 
95
        mutter('ssh implementation is OpenSSH')
 
96
        _ssh_vendor = OpenSSHSubprocessVendor()
 
97
    elif 'SSH Secure Shell' in stderr:
 
98
        mutter('ssh implementation is SSH Corp.')
 
99
        _ssh_vendor = SSHCorpSubprocessVendor()
 
100
 
 
101
    if _ssh_vendor is not None:
 
102
        return _ssh_vendor
 
103
 
 
104
    # XXX: 20051123 jamesh
 
105
    # A check for putty's plink or lsh would go here.
 
106
 
 
107
    mutter('falling back to paramiko implementation')
 
108
    _ssh_vendor = ParamikoVendor()
 
109
    return _ssh_vendor
 
110
 
 
111
 
 
112
def _ignore_sigint():
 
113
    # TODO: This should possibly ignore SIGHUP as well, but bzr currently
 
114
    # doesn't handle it itself.
 
115
    # <https://launchpad.net/products/bzr/+bug/41433/+index>
 
116
    import signal
 
117
    signal.signal(signal.SIGINT, signal.SIG_IGN)
 
118
    
 
119
 
 
120
 
 
121
class LoopbackSFTP(object):
 
122
    """Simple wrapper for a socket that pretends to be a paramiko Channel."""
 
123
 
 
124
    def __init__(self, sock):
 
125
        self.__socket = sock
 
126
 
 
127
    def send(self, data):
 
128
        return self.__socket.send(data)
 
129
 
 
130
    def recv(self, n):
 
131
        return self.__socket.recv(n)
 
132
 
 
133
    def recv_ready(self):
 
134
        return True
 
135
 
 
136
    def close(self):
 
137
        self.__socket.close()
 
138
 
 
139
 
 
140
class SSHVendor(object):
 
141
    """Abstract base class for SSH vendor implementations."""
 
142
    
 
143
    def connect_sftp(self, username, password, host, port):
 
144
        """Make an SSH connection, and return an SFTPClient.
 
145
        
 
146
        :param username: an ascii string
 
147
        :param password: an ascii string
 
148
        :param host: a host name as an ascii string
 
149
        :param port: a port number
 
150
        :type port: int
 
151
 
 
152
        :raises: ConnectionError if it cannot connect.
 
153
 
 
154
        :rtype: paramiko.sftp_client.SFTPClient
 
155
        """
 
156
        raise NotImplementedError(self.connect_sftp)
 
157
 
 
158
    def connect_ssh(self, username, password, host, port, command):
 
159
        """Make an SSH connection.
 
160
        
 
161
        :returns: something with a `close` method, and a `get_filelike_channels`
 
162
            method that returns a pair of (read, write) filelike objects.
 
163
        """
 
164
        raise NotImplementedError(self.connect_ssh)
 
165
        
 
166
    def _raise_connection_error(self, host, port=None, orig_error=None,
 
167
                                msg='Unable to connect to SSH host'):
 
168
        """Raise a SocketConnectionError with properly formatted host.
 
169
 
 
170
        This just unifies all the locations that try to raise ConnectionError,
 
171
        so that they format things properly.
 
172
        """
 
173
        raise SocketConnectionError(host=host, port=port, msg=msg,
 
174
                                    orig_error=orig_error)
 
175
 
 
176
 
 
177
class LoopbackVendor(SSHVendor):
 
178
    """SSH "vendor" that connects over a plain TCP socket, not SSH."""
 
179
    
 
180
    def connect_sftp(self, username, password, host, port):
 
181
        sock = socket.socket()
 
182
        try:
 
183
            sock.connect((host, port))
 
184
        except socket.error, e:
 
185
            self._raise_connection_error(host, port=port, orig_error=e)
 
186
        return SFTPClient(LoopbackSFTP(sock))
 
187
 
 
188
register_ssh_vendor('loopback', LoopbackVendor())
 
189
 
 
190
 
 
191
class _ParamikoSSHConnection(object):
 
192
    def __init__(self, channel):
 
193
        self.channel = channel
 
194
 
 
195
    def get_filelike_channels(self):
 
196
        return self.channel.makefile('rb'), self.channel.makefile('wb')
 
197
 
 
198
    def close(self):
 
199
        return self.channel.close()
 
200
 
 
201
 
 
202
class ParamikoVendor(SSHVendor):
 
203
    """Vendor that uses paramiko."""
 
204
 
 
205
    def _connect(self, username, password, host, port):
 
206
        global SYSTEM_HOSTKEYS, BZR_HOSTKEYS
 
207
        
 
208
        load_host_keys()
 
209
 
 
210
        try:
 
211
            t = paramiko.Transport((host, port or 22))
 
212
            t.set_log_channel('bzr.paramiko')
 
213
            t.start_client()
 
214
        except (paramiko.SSHException, socket.error), e:
 
215
            self._raise_connection_error(host, port=port, orig_error=e)
 
216
            
 
217
        server_key = t.get_remote_server_key()
 
218
        server_key_hex = paramiko.util.hexify(server_key.get_fingerprint())
 
219
        keytype = server_key.get_name()
 
220
        if host in SYSTEM_HOSTKEYS and keytype in SYSTEM_HOSTKEYS[host]:
 
221
            our_server_key = SYSTEM_HOSTKEYS[host][keytype]
 
222
            our_server_key_hex = paramiko.util.hexify(our_server_key.get_fingerprint())
 
223
        elif host in BZR_HOSTKEYS and keytype in BZR_HOSTKEYS[host]:
 
224
            our_server_key = BZR_HOSTKEYS[host][keytype]
 
225
            our_server_key_hex = paramiko.util.hexify(our_server_key.get_fingerprint())
 
226
        else:
 
227
            warning('Adding %s host key for %s: %s' % (keytype, host, server_key_hex))
 
228
            add = getattr(BZR_HOSTKEYS, 'add', None)
 
229
            if add is not None: # paramiko >= 1.X.X
 
230
                BZR_HOSTKEYS.add(host, keytype, server_key)
 
231
            else:
 
232
                BZR_HOSTKEYS.setdefault(host, {})[keytype] = server_key
 
233
            our_server_key = server_key
 
234
            our_server_key_hex = paramiko.util.hexify(our_server_key.get_fingerprint())
 
235
            save_host_keys()
 
236
        if server_key != our_server_key:
 
237
            filename1 = os.path.expanduser('~/.ssh/known_hosts')
 
238
            filename2 = pathjoin(config_dir(), 'ssh_host_keys')
 
239
            raise TransportError('Host keys for %s do not match!  %s != %s' % \
 
240
                (host, our_server_key_hex, server_key_hex),
 
241
                ['Try editing %s or %s' % (filename1, filename2)])
 
242
 
 
243
        _paramiko_auth(username, password, host, t)
 
244
        return t
 
245
        
 
246
    def connect_sftp(self, username, password, host, port):
 
247
        t = self._connect(username, password, host, port)
 
248
        try:
 
249
            return t.open_sftp_client()
 
250
        except paramiko.SSHException, e:
 
251
            self._raise_connection_error(host, port=port, orig_error=e,
 
252
                                         msg='Unable to start sftp client')
 
253
 
 
254
    def connect_ssh(self, username, password, host, port, command):
 
255
        t = self._connect(username, password, host, port)
 
256
        try:
 
257
            channel = t.open_session()
 
258
            cmdline = ' '.join(command)
 
259
            channel.exec_command(cmdline)
 
260
            return _ParamikoSSHConnection(channel)
 
261
        except paramiko.SSHException, e:
 
262
            self._raise_connection_error(host, port=port, orig_error=e,
 
263
                                         msg='Unable to invoke remote bzr')
 
264
 
 
265
if paramiko is not None:
 
266
    register_ssh_vendor('paramiko', ParamikoVendor())
 
267
 
 
268
 
 
269
class SubprocessVendor(SSHVendor):
 
270
    """Abstract base class for vendors that use pipes to a subprocess."""
 
271
    
 
272
    def _connect(self, argv):
 
273
        proc = subprocess.Popen(argv,
 
274
                                stdin=subprocess.PIPE,
 
275
                                stdout=subprocess.PIPE,
 
276
                                **os_specific_subprocess_params())
 
277
        return SSHSubprocess(proc)
 
278
 
 
279
    def connect_sftp(self, username, password, host, port):
 
280
        try:
 
281
            argv = self._get_vendor_specific_argv(username, host, port,
 
282
                                                  subsystem='sftp')
 
283
            sock = self._connect(argv)
 
284
            return SFTPClient(sock)
 
285
        except (EOFError, paramiko.SSHException), e:
 
286
            self._raise_connection_error(host, port=port, orig_error=e)
 
287
        except (OSError, IOError), e:
 
288
            # If the machine is fast enough, ssh can actually exit
 
289
            # before we try and send it the sftp request, which
 
290
            # raises a Broken Pipe
 
291
            if e.errno not in (errno.EPIPE,):
 
292
                raise
 
293
            self._raise_connection_error(host, port=port, orig_error=e)
 
294
 
 
295
    def connect_ssh(self, username, password, host, port, command):
 
296
        try:
 
297
            argv = self._get_vendor_specific_argv(username, host, port,
 
298
                                                  command=command)
 
299
            return self._connect(argv)
 
300
        except (EOFError), e:
 
301
            self._raise_connection_error(host, port=port, orig_error=e)
 
302
        except (OSError, IOError), e:
 
303
            # If the machine is fast enough, ssh can actually exit
 
304
            # before we try and send it the sftp request, which
 
305
            # raises a Broken Pipe
 
306
            if e.errno not in (errno.EPIPE,):
 
307
                raise
 
308
            self._raise_connection_error(host, port=port, orig_error=e)
 
309
 
 
310
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
 
311
                                  command=None):
 
312
        """Returns the argument list to run the subprocess with.
 
313
        
 
314
        Exactly one of 'subsystem' and 'command' must be specified.
 
315
        """
 
316
        raise NotImplementedError(self._get_vendor_specific_argv)
 
317
 
 
318
register_ssh_vendor('none', ParamikoVendor())
 
319
 
 
320
 
 
321
class OpenSSHSubprocessVendor(SubprocessVendor):
 
322
    """SSH vendor that uses the 'ssh' executable from OpenSSH."""
 
323
    
 
324
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
 
325
                                  command=None):
 
326
        assert subsystem is not None or command is not None, (
 
327
            'Must specify a command or subsystem')
 
328
        if subsystem is not None:
 
329
            assert command is None, (
 
330
                'subsystem and command are mutually exclusive')
 
331
        args = ['ssh',
 
332
                '-oForwardX11=no', '-oForwardAgent=no',
 
333
                '-oClearAllForwardings=yes', '-oProtocol=2',
 
334
                '-oNoHostAuthenticationForLocalhost=yes']
 
335
        if port is not None:
 
336
            args.extend(['-p', str(port)])
 
337
        if username is not None:
 
338
            args.extend(['-l', username])
 
339
        if subsystem is not None:
 
340
            args.extend(['-s', host, subsystem])
 
341
        else:
 
342
            args.extend([host] + command)
 
343
        return args
 
344
 
 
345
register_ssh_vendor('openssh', OpenSSHSubprocessVendor())
 
346
 
 
347
 
 
348
class SSHCorpSubprocessVendor(SubprocessVendor):
 
349
    """SSH vendor that uses the 'ssh' executable from SSH Corporation."""
 
350
 
 
351
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
 
352
                                  command=None):
 
353
        assert subsystem is not None or command is not None, (
 
354
            'Must specify a command or subsystem')
 
355
        if subsystem is not None:
 
356
            assert command is None, (
 
357
                'subsystem and command are mutually exclusive')
 
358
        args = ['ssh', '-x']
 
359
        if port is not None:
 
360
            args.extend(['-p', str(port)])
 
361
        if username is not None:
 
362
            args.extend(['-l', username])
 
363
        if subsystem is not None:
 
364
            args.extend(['-s', subsystem, host])
 
365
        else:
 
366
            args.extend([host] + command)
 
367
        return args
 
368
    
 
369
register_ssh_vendor('ssh', SSHCorpSubprocessVendor())
 
370
 
 
371
 
 
372
def _paramiko_auth(username, password, host, paramiko_transport):
 
373
    # paramiko requires a username, but it might be none if nothing was supplied
 
374
    # use the local username, just in case.
 
375
    # We don't override username, because if we aren't using paramiko,
 
376
    # the username might be specified in ~/.ssh/config and we don't want to
 
377
    # force it to something else
 
378
    # Also, it would mess up the self.relpath() functionality
 
379
    username = username or getpass.getuser()
 
380
 
 
381
    if _use_ssh_agent:
 
382
        agent = paramiko.Agent()
 
383
        for key in agent.get_keys():
 
384
            mutter('Trying SSH agent key %s' % paramiko.util.hexify(key.get_fingerprint()))
 
385
            try:
 
386
                paramiko_transport.auth_publickey(username, key)
 
387
                return
 
388
            except paramiko.SSHException, e:
 
389
                pass
 
390
    
 
391
    # okay, try finding id_rsa or id_dss?  (posix only)
 
392
    if _try_pkey_auth(paramiko_transport, paramiko.RSAKey, username, 'id_rsa'):
 
393
        return
 
394
    if _try_pkey_auth(paramiko_transport, paramiko.DSSKey, username, 'id_dsa'):
 
395
        return
 
396
 
 
397
    if password:
 
398
        try:
 
399
            paramiko_transport.auth_password(username, password)
 
400
            return
 
401
        except paramiko.SSHException, e:
 
402
            pass
 
403
 
 
404
    # give up and ask for a password
 
405
    password = bzrlib.ui.ui_factory.get_password(
 
406
            prompt='SSH %(user)s@%(host)s password',
 
407
            user=username, host=host)
 
408
    try:
 
409
        paramiko_transport.auth_password(username, password)
 
410
    except paramiko.SSHException, e:
 
411
        raise ConnectionError('Unable to authenticate to SSH host as %s@%s' %
 
412
                              (username, host), e)
 
413
 
 
414
 
 
415
def _try_pkey_auth(paramiko_transport, pkey_class, username, filename):
 
416
    filename = os.path.expanduser('~/.ssh/' + filename)
 
417
    try:
 
418
        key = pkey_class.from_private_key_file(filename)
 
419
        paramiko_transport.auth_publickey(username, key)
 
420
        return True
 
421
    except paramiko.PasswordRequiredException:
 
422
        password = bzrlib.ui.ui_factory.get_password(
 
423
                prompt='SSH %(filename)s password',
 
424
                filename=filename)
 
425
        try:
 
426
            key = pkey_class.from_private_key_file(filename, password)
 
427
            paramiko_transport.auth_publickey(username, key)
 
428
            return True
 
429
        except paramiko.SSHException:
 
430
            mutter('SSH authentication via %s key failed.' % (os.path.basename(filename),))
 
431
    except paramiko.SSHException:
 
432
        mutter('SSH authentication via %s key failed.' % (os.path.basename(filename),))
 
433
    except IOError:
 
434
        pass
 
435
    return False
 
436
 
 
437
 
 
438
def load_host_keys():
 
439
    """
 
440
    Load system host keys (probably doesn't work on windows) and any
 
441
    "discovered" keys from previous sessions.
 
442
    """
 
443
    global SYSTEM_HOSTKEYS, BZR_HOSTKEYS
 
444
    try:
 
445
        SYSTEM_HOSTKEYS = paramiko.util.load_host_keys(os.path.expanduser('~/.ssh/known_hosts'))
 
446
    except Exception, e:
 
447
        mutter('failed to load system host keys: ' + str(e))
 
448
    bzr_hostkey_path = pathjoin(config_dir(), 'ssh_host_keys')
 
449
    try:
 
450
        BZR_HOSTKEYS = paramiko.util.load_host_keys(bzr_hostkey_path)
 
451
    except Exception, e:
 
452
        mutter('failed to load bzr host keys: ' + str(e))
 
453
        save_host_keys()
 
454
 
 
455
 
 
456
def save_host_keys():
 
457
    """
 
458
    Save "discovered" host keys in $(config)/ssh_host_keys/.
 
459
    """
 
460
    global SYSTEM_HOSTKEYS, BZR_HOSTKEYS
 
461
    bzr_hostkey_path = pathjoin(config_dir(), 'ssh_host_keys')
 
462
    ensure_config_dir_exists()
 
463
 
 
464
    try:
 
465
        f = open(bzr_hostkey_path, 'w')
 
466
        f.write('# SSH host keys collected by bzr\n')
 
467
        for hostname, keys in BZR_HOSTKEYS.iteritems():
 
468
            for keytype, key in keys.iteritems():
 
469
                f.write('%s %s %s\n' % (hostname, keytype, key.get_base64()))
 
470
        f.close()
 
471
    except IOError, e:
 
472
        mutter('failed to save bzr host keys: ' + str(e))
 
473
 
 
474
 
 
475
def os_specific_subprocess_params():
 
476
    """Get O/S specific subprocess parameters."""
 
477
    if sys.platform == 'win32':
 
478
        # setting the process group and closing fds is not supported on 
 
479
        # win32
 
480
        return {}
 
481
    else:
 
482
        # We close fds other than the pipes as the child process does not need 
 
483
        # them to be open.
 
484
        #
 
485
        # We also set the child process to ignore SIGINT.  Normally the signal
 
486
        # would be sent to every process in the foreground process group, but
 
487
        # this causes it to be seen only by bzr and not by ssh.  Python will
 
488
        # generate a KeyboardInterrupt in bzr, and we will then have a chance
 
489
        # to release locks or do other cleanup over ssh before the connection
 
490
        # goes away.  
 
491
        # <https://launchpad.net/products/bzr/+bug/5987>
 
492
        #
 
493
        # Running it in a separate process group is not good because then it
 
494
        # can't get non-echoed input of a password or passphrase.
 
495
        # <https://launchpad.net/products/bzr/+bug/40508>
 
496
        return {'preexec_fn': _ignore_sigint,
 
497
                'close_fds': True,
 
498
                }
 
499
 
 
500
 
 
501
class SSHSubprocess(object):
 
502
    """A socket-like object that talks to an ssh subprocess via pipes."""
 
503
 
 
504
    def __init__(self, proc):
 
505
        self.proc = proc
 
506
 
 
507
    def send(self, data):
 
508
        return os.write(self.proc.stdin.fileno(), data)
 
509
 
 
510
    def recv_ready(self):
 
511
        # TODO: jam 20051215 this function is necessary to support the
 
512
        # pipelined() function. In reality, it probably should use
 
513
        # poll() or select() to actually return if there is data
 
514
        # available, otherwise we probably don't get any benefit
 
515
        return True
 
516
 
 
517
    def recv(self, count):
 
518
        return os.read(self.proc.stdout.fileno(), count)
 
519
 
 
520
    def close(self):
 
521
        self.proc.stdin.close()
 
522
        self.proc.stdout.close()
 
523
        self.proc.wait()
 
524
 
 
525
    def get_filelike_channels(self):
 
526
        return (self.proc.stdout, self.proc.stdin)
 
527