~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/ssh.py

  • Committer: Andrew Bennetts
  • Date: 2008-07-03 07:56:02 UTC
  • mto: This revision was merged to the branch mainline in revision 3520.
  • Revision ID: andrew.bennetts@canonical.com-20080703075602-8n055qsfkjijcz6i
Better tests for {pre,post}_change_branch_tip hooks.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2011 Robey Pointer <robey@lag.net>
 
1
# Copyright (C) 2005 Robey Pointer <robey@lag.net>
2
2
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
3
3
#
4
4
# This program is free software; you can redistribute it and/or modify
13
13
#
14
14
# You should have received a copy of the GNU General Public License
15
15
# along with this program; if not, write to the Free Software
16
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
17
 
18
18
"""Foundation SSH support for SFTP and smart server."""
19
19
 
20
20
import errno
21
21
import getpass
22
 
import logging
23
22
import os
24
23
import socket
25
24
import subprocess
94
93
            try:
95
94
                vendor = self._ssh_vendors[vendor_name]
96
95
            except KeyError:
97
 
                vendor = self._get_vendor_from_path(vendor_name)
98
 
                if vendor is None:
99
 
                    raise errors.UnknownSSH(vendor_name)
100
 
                vendor.executable_path = vendor_name
 
96
                raise errors.UnknownSSH(vendor_name)
101
97
            return vendor
102
98
        return None
103
99
 
113
109
            stdout = stderr = ''
114
110
        return stdout + stderr
115
111
 
116
 
    def _get_vendor_by_version_string(self, version, progname):
 
112
    def _get_vendor_by_version_string(self, version, args):
117
113
        """Return the vendor or None based on output from the subprocess.
118
114
 
119
115
        :param version: The output of 'ssh -V' like command.
126
122
        elif 'SSH Secure Shell' in version:
127
123
            trace.mutter('ssh implementation is SSH Corp.')
128
124
            vendor = SSHCorpSubprocessVendor()
129
 
        elif 'lsh' in version:
130
 
            trace.mutter('ssh implementation is GNU lsh.')
131
 
            vendor = LSHSubprocessVendor()
132
 
        # As plink user prompts are not handled currently, don't auto-detect
133
 
        # it by inspection below, but keep this vendor detection for if a path
134
 
        # is given in BZR_SSH. See https://bugs.launchpad.net/bugs/414743
135
 
        elif 'plink' in version and progname == 'plink':
 
125
        elif 'plink' in version and args[0] == 'plink':
136
126
            # Checking if "plink" was the executed argument as Windows
137
 
            # sometimes reports 'ssh -V' incorrectly with 'plink' in its
 
127
            # sometimes reports 'ssh -V' incorrectly with 'plink' in it's
138
128
            # version.  See https://bugs.launchpad.net/bzr/+bug/107155
139
129
            trace.mutter("ssh implementation is Putty's plink.")
140
130
            vendor = PLinkSubprocessVendor()
142
132
 
143
133
    def _get_vendor_by_inspection(self):
144
134
        """Return the vendor or None by checking for known SSH implementations."""
145
 
        version = self._get_ssh_version_string(['ssh', '-V'])
146
 
        return self._get_vendor_by_version_string(version, "ssh")
147
 
 
148
 
    def _get_vendor_from_path(self, path):
149
 
        """Return the vendor or None using the program at the given path"""
150
 
        version = self._get_ssh_version_string([path, '-V'])
151
 
        return self._get_vendor_by_version_string(version, 
152
 
            os.path.splitext(os.path.basename(path))[0])
 
135
        for args in (['ssh', '-V'], ['plink', '-V']):
 
136
            version = self._get_ssh_version_string(args)
 
137
            vendor = self._get_vendor_by_version_string(version, args)
 
138
            if vendor is not None:
 
139
                return vendor
 
140
        return None
153
141
 
154
142
    def get_vendor(self, environment=None):
155
143
        """Find out what version of SSH is on the system.
176
164
register_ssh_vendor = _ssh_vendor_manager.register_vendor
177
165
 
178
166
 
179
 
def _ignore_signals():
 
167
def _ignore_sigint():
180
168
    # TODO: This should possibly ignore SIGHUP as well, but bzr currently
181
169
    # doesn't handle it itself.
182
170
    # <https://launchpad.net/products/bzr/+bug/41433/+index>
183
171
    import signal
184
172
    signal.signal(signal.SIGINT, signal.SIG_IGN)
185
 
    # GZ 2010-02-19: Perhaps make this check if breakin is installed instead
186
 
    if signal.getsignal(signal.SIGQUIT) != signal.SIG_DFL:
187
 
        signal.signal(signal.SIGQUIT, signal.SIG_IGN)
188
173
 
189
174
 
190
175
class SocketAsChannelAdapter(object):
195
180
 
196
181
    def get_name(self):
197
182
        return "bzr SocketAsChannelAdapter"
198
 
 
 
183
    
199
184
    def send(self, data):
200
185
        return self.__socket.send(data)
201
186
 
226
211
 
227
212
    def connect_sftp(self, username, password, host, port):
228
213
        """Make an SSH connection, and return an SFTPClient.
229
 
 
 
214
        
230
215
        :param username: an ascii string
231
216
        :param password: an ascii string
232
217
        :param host: a host name as an ascii string
241
226
 
242
227
    def connect_ssh(self, username, password, host, port, command):
243
228
        """Make an SSH connection.
244
 
 
245
 
        :returns: an SSHConnection.
 
229
        
 
230
        :returns: something with a `close` method, and a `get_filelike_channels`
 
231
            method that returns a pair of (read, write) filelike objects.
246
232
        """
247
233
        raise NotImplementedError(self.connect_ssh)
248
234
 
271
257
register_ssh_vendor('loopback', LoopbackVendor())
272
258
 
273
259
 
 
260
class _ParamikoSSHConnection(object):
 
261
    def __init__(self, channel):
 
262
        self.channel = channel
 
263
 
 
264
    def get_filelike_channels(self):
 
265
        return self.channel.makefile('rb'), self.channel.makefile('wb')
 
266
 
 
267
    def close(self):
 
268
        return self.channel.close()
 
269
 
 
270
 
274
271
class ParamikoVendor(SSHVendor):
275
272
    """Vendor that uses paramiko."""
276
273
 
339
336
            self._raise_connection_error(host, port=port, orig_error=e,
340
337
                                         msg='Unable to invoke remote bzr')
341
338
 
342
 
_ssh_connection_errors = (EOFError, OSError, IOError, socket.error)
343
339
if paramiko is not None:
344
340
    vendor = ParamikoVendor()
345
341
    register_ssh_vendor('paramiko', vendor)
346
342
    register_ssh_vendor('none', vendor)
347
343
    register_default_ssh_vendor(vendor)
348
 
    _ssh_connection_errors += (paramiko.SSHException,)
 
344
    _sftp_connection_errors = (EOFError, paramiko.SSHException)
349
345
    del vendor
 
346
else:
 
347
    _sftp_connection_errors = (EOFError,)
350
348
 
351
349
 
352
350
class SubprocessVendor(SSHVendor):
353
351
    """Abstract base class for vendors that use pipes to a subprocess."""
354
352
 
355
353
    def _connect(self, argv):
356
 
        # Attempt to make a socketpair to use as stdin/stdout for the SSH
357
 
        # subprocess.  We prefer sockets to pipes because they support
358
 
        # non-blocking short reads, allowing us to optimistically read 64k (or
359
 
        # whatever) chunks.
360
 
        try:
361
 
            my_sock, subproc_sock = socket.socketpair()
362
 
            osutils.set_fd_cloexec(my_sock)
363
 
        except (AttributeError, socket.error):
364
 
            # This platform doesn't support socketpair(), so just use ordinary
365
 
            # pipes instead.
366
 
            stdin = stdout = subprocess.PIPE
367
 
            my_sock, subproc_sock = None, None
368
 
        else:
369
 
            stdin = stdout = subproc_sock
370
 
        proc = subprocess.Popen(argv, stdin=stdin, stdout=stdout,
 
354
        proc = subprocess.Popen(argv,
 
355
                                stdin=subprocess.PIPE,
 
356
                                stdout=subprocess.PIPE,
371
357
                                **os_specific_subprocess_params())
372
 
        if subproc_sock is not None:
373
 
            subproc_sock.close()
374
 
        return SSHSubprocessConnection(proc, sock=my_sock)
 
358
        return SSHSubprocess(proc)
375
359
 
376
360
    def connect_sftp(self, username, password, host, port):
377
361
        try:
379
363
                                                  subsystem='sftp')
380
364
            sock = self._connect(argv)
381
365
            return SFTPClient(SocketAsChannelAdapter(sock))
382
 
        except _ssh_connection_errors, e:
 
366
        except _sftp_connection_errors, e:
 
367
            self._raise_connection_error(host, port=port, orig_error=e)
 
368
        except (OSError, IOError), e:
 
369
            # If the machine is fast enough, ssh can actually exit
 
370
            # before we try and send it the sftp request, which
 
371
            # raises a Broken Pipe
 
372
            if e.errno not in (errno.EPIPE,):
 
373
                raise
383
374
            self._raise_connection_error(host, port=port, orig_error=e)
384
375
 
385
376
    def connect_ssh(self, username, password, host, port, command):
387
378
            argv = self._get_vendor_specific_argv(username, host, port,
388
379
                                                  command=command)
389
380
            return self._connect(argv)
390
 
        except _ssh_connection_errors, e:
 
381
        except (EOFError), e:
 
382
            self._raise_connection_error(host, port=port, orig_error=e)
 
383
        except (OSError, IOError), e:
 
384
            # If the machine is fast enough, ssh can actually exit
 
385
            # before we try and send it the sftp request, which
 
386
            # raises a Broken Pipe
 
387
            if e.errno not in (errno.EPIPE,):
 
388
                raise
391
389
            self._raise_connection_error(host, port=port, orig_error=e)
392
390
 
393
391
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
394
392
                                  command=None):
395
393
        """Returns the argument list to run the subprocess with.
396
 
 
 
394
        
397
395
        Exactly one of 'subsystem' and 'command' must be specified.
398
396
        """
399
397
        raise NotImplementedError(self._get_vendor_specific_argv)
402
400
class OpenSSHSubprocessVendor(SubprocessVendor):
403
401
    """SSH vendor that uses the 'ssh' executable from OpenSSH."""
404
402
 
405
 
    executable_path = 'ssh'
406
 
 
407
403
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
408
404
                                  command=None):
409
 
        args = [self.executable_path,
 
405
        args = ['ssh',
410
406
                '-oForwardX11=no', '-oForwardAgent=no',
411
 
                '-oClearAllForwardings=yes',
 
407
                '-oClearAllForwardings=yes', '-oProtocol=2',
412
408
                '-oNoHostAuthenticationForLocalhost=yes']
413
409
        if port is not None:
414
410
            args.extend(['-p', str(port)])
426
422
class SSHCorpSubprocessVendor(SubprocessVendor):
427
423
    """SSH vendor that uses the 'ssh' executable from SSH Corporation."""
428
424
 
429
 
    executable_path = 'ssh'
430
 
 
431
425
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
432
426
                                  command=None):
433
 
        args = [self.executable_path, '-x']
 
427
        args = ['ssh', '-x']
434
428
        if port is not None:
435
429
            args.extend(['-p', str(port)])
436
430
        if username is not None:
441
435
            args.extend([host] + command)
442
436
        return args
443
437
 
444
 
register_ssh_vendor('sshcorp', SSHCorpSubprocessVendor())
445
 
 
446
 
 
447
 
class LSHSubprocessVendor(SubprocessVendor):
448
 
    """SSH vendor that uses the 'lsh' executable from GNU"""
449
 
 
450
 
    executable_path = 'lsh'
451
 
 
452
 
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
453
 
                                  command=None):
454
 
        args = [self.executable_path]
455
 
        if port is not None:
456
 
            args.extend(['-p', str(port)])
457
 
        if username is not None:
458
 
            args.extend(['-l', username])
459
 
        if subsystem is not None:
460
 
            args.extend(['--subsystem', subsystem, host])
461
 
        else:
462
 
            args.extend([host] + command)
463
 
        return args
464
 
 
465
 
register_ssh_vendor('lsh', LSHSubprocessVendor())
 
438
register_ssh_vendor('ssh', SSHCorpSubprocessVendor())
466
439
 
467
440
 
468
441
class PLinkSubprocessVendor(SubprocessVendor):
469
442
    """SSH vendor that uses the 'plink' executable from Putty."""
470
443
 
471
 
    executable_path = 'plink'
472
 
 
473
444
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
474
445
                                  command=None):
475
 
        args = [self.executable_path, '-x', '-a', '-ssh', '-2', '-batch']
 
446
        args = ['plink', '-x', '-a', '-ssh', '-2', '-batch']
476
447
        if port is not None:
477
448
            args.extend(['-P', str(port)])
478
449
        if username is not None:
487
458
 
488
459
 
489
460
def _paramiko_auth(username, password, host, port, paramiko_transport):
 
461
    # paramiko requires a username, but it might be none if nothing was supplied
 
462
    # use the local username, just in case.
 
463
    # We don't override username, because if we aren't using paramiko,
 
464
    # the username might be specified in ~/.ssh/config and we don't want to
 
465
    # force it to something else
 
466
    # Also, it would mess up the self.relpath() functionality
490
467
    auth = config.AuthenticationConfig()
491
 
    # paramiko requires a username, but it might be none if nothing was
492
 
    # supplied.  If so, use the local username.
493
468
    if username is None:
494
 
        username = auth.get_user('ssh', host, port=port,
495
 
                                 default=getpass.getuser())
 
469
        username = auth.get_user('ssh', host, port=port)
 
470
        if username is None:
 
471
            # Default to local user
 
472
            username = getpass.getuser()
 
473
 
496
474
    if _use_ssh_agent:
497
475
        agent = paramiko.Agent()
498
476
        for key in agent.get_keys():
510
488
    if _try_pkey_auth(paramiko_transport, paramiko.DSSKey, username, 'id_dsa'):
511
489
        return
512
490
 
513
 
    # If we have gotten this far, we are about to try for passwords, do an
514
 
    # auth_none check to see if it is even supported.
515
 
    supported_auth_types = []
516
 
    try:
517
 
        # Note that with paramiko <1.7.5 this logs an INFO message:
518
 
        #    Authentication type (none) not permitted.
519
 
        # So we explicitly disable the logging level for this action
520
 
        old_level = paramiko_transport.logger.level
521
 
        paramiko_transport.logger.setLevel(logging.WARNING)
522
 
        try:
523
 
            paramiko_transport.auth_none(username)
524
 
        finally:
525
 
            paramiko_transport.logger.setLevel(old_level)
526
 
    except paramiko.BadAuthenticationType, e:
527
 
        # Supported methods are in the exception
528
 
        supported_auth_types = e.allowed_types
529
 
    except paramiko.SSHException, e:
530
 
        # Don't know what happened, but just ignore it
531
 
        pass
532
 
    # We treat 'keyboard-interactive' and 'password' auth methods identically,
533
 
    # because Paramiko's auth_password method will automatically try
534
 
    # 'keyboard-interactive' auth (using the password as the response) if
535
 
    # 'password' auth is not available.  Apparently some Debian and Gentoo
536
 
    # OpenSSH servers require this.
537
 
    # XXX: It's possible for a server to require keyboard-interactive auth that
538
 
    # requires something other than a single password, but we currently don't
539
 
    # support that.
540
 
    if ('password' not in supported_auth_types and
541
 
        'keyboard-interactive' not in supported_auth_types):
542
 
        raise errors.ConnectionError('Unable to authenticate to SSH host as'
543
 
            '\n  %s@%s\nsupported auth types: %s'
544
 
            % (username, host, supported_auth_types))
545
 
 
546
491
    if password:
547
492
        try:
548
493
            paramiko_transport.auth_password(username, password)
552
497
 
553
498
    # give up and ask for a password
554
499
    password = auth.get_password('ssh', host, username, port=port)
555
 
    # get_password can still return None, which means we should not prompt
556
 
    if password is not None:
557
 
        try:
558
 
            paramiko_transport.auth_password(username, password)
559
 
        except paramiko.SSHException, e:
560
 
            raise errors.ConnectionError(
561
 
                'Unable to authenticate to SSH host as'
562
 
                '\n  %s@%s\n' % (username, host), e)
563
 
    else:
564
 
        raise errors.ConnectionError('Unable to authenticate to SSH host as'
565
 
                                     '  %s@%s' % (username, host))
 
500
    try:
 
501
        paramiko_transport.auth_password(username, password)
 
502
    except paramiko.SSHException, e:
 
503
        raise errors.ConnectionError(
 
504
            'Unable to authenticate to SSH host as %s@%s' % (username, host), e)
566
505
 
567
506
 
568
507
def _try_pkey_auth(paramiko_transport, pkey_class, username, filename):
630
569
def os_specific_subprocess_params():
631
570
    """Get O/S specific subprocess parameters."""
632
571
    if sys.platform == 'win32':
633
 
        # setting the process group and closing fds is not supported on
 
572
        # setting the process group and closing fds is not supported on 
634
573
        # win32
635
574
        return {}
636
575
    else:
637
 
        # We close fds other than the pipes as the child process does not need
 
576
        # We close fds other than the pipes as the child process does not need 
638
577
        # them to be open.
639
578
        #
640
579
        # We also set the child process to ignore SIGINT.  Normally the signal
642
581
        # this causes it to be seen only by bzr and not by ssh.  Python will
643
582
        # generate a KeyboardInterrupt in bzr, and we will then have a chance
644
583
        # to release locks or do other cleanup over ssh before the connection
645
 
        # goes away.
 
584
        # goes away.  
646
585
        # <https://launchpad.net/products/bzr/+bug/5987>
647
586
        #
648
587
        # Running it in a separate process group is not good because then it
649
588
        # can't get non-echoed input of a password or passphrase.
650
589
        # <https://launchpad.net/products/bzr/+bug/40508>
651
 
        return {'preexec_fn': _ignore_signals,
 
590
        return {'preexec_fn': _ignore_sigint,
652
591
                'close_fds': True,
653
592
                }
654
593
 
655
 
import weakref
656
 
_subproc_weakrefs = set()
657
 
 
658
 
def _close_ssh_proc(proc, sock):
659
 
    """Carefully close stdin/stdout and reap the SSH process.
660
 
 
661
 
    If the pipes are already closed and/or the process has already been
662
 
    wait()ed on, that's ok, and no error is raised.  The goal is to do our best
663
 
    to clean up (whether or not a clean up was already tried).
664
 
    """
665
 
    funcs = []
666
 
    for closeable in (proc.stdin, proc.stdout, sock):
667
 
        # We expect that either proc (a subprocess.Popen) will have stdin and
668
 
        # stdout streams to close, or that we will have been passed a socket to
669
 
        # close, with the option not in use being None.
670
 
        if closeable is not None:
671
 
            funcs.append(closeable.close)
672
 
    funcs.append(proc.wait)
673
 
    for func in funcs:
674
 
        try:
675
 
            func()
676
 
        except OSError:
677
 
            # It's ok for the pipe to already be closed, or the process to
678
 
            # already be finished.
679
 
            continue
680
 
 
681
 
 
682
 
class SSHConnection(object):
683
 
    """Abstract base class for SSH connections."""
684
 
 
685
 
    def get_sock_or_pipes(self):
686
 
        """Returns a (kind, io_object) pair.
687
 
 
688
 
        If kind == 'socket', then io_object is a socket.
689
 
 
690
 
        If kind == 'pipes', then io_object is a pair of file-like objects
691
 
        (read_from, write_to).
692
 
        """
693
 
        raise NotImplementedError(self.get_sock_or_pipes)
694
 
 
695
 
    def close(self):
696
 
        raise NotImplementedError(self.close)
697
 
 
698
 
 
699
 
class SSHSubprocessConnection(SSHConnection):
700
 
    """A connection to an ssh subprocess via pipes or a socket.
701
 
 
702
 
    This class is also socket-like enough to be used with
703
 
    SocketAsChannelAdapter (it has 'send' and 'recv' methods).
704
 
    """
705
 
 
706
 
    def __init__(self, proc, sock=None):
707
 
        """Constructor.
708
 
 
709
 
        :param proc: a subprocess.Popen
710
 
        :param sock: if proc.stdin/out is a socket from a socketpair, then sock
711
 
            should bzrlib's half of that socketpair.  If not passed, proc's
712
 
            stdin/out is assumed to be ordinary pipes.
713
 
        """
 
594
 
 
595
class SSHSubprocess(object):
 
596
    """A socket-like object that talks to an ssh subprocess via pipes."""
 
597
 
 
598
    def __init__(self, proc):
714
599
        self.proc = proc
715
 
        self._sock = sock
716
 
        # Add a weakref to proc that will attempt to do the same as self.close
717
 
        # to avoid leaving processes lingering indefinitely.
718
 
        def terminate(ref):
719
 
            _subproc_weakrefs.remove(ref)
720
 
            _close_ssh_proc(proc, sock)
721
 
        _subproc_weakrefs.add(weakref.ref(self, terminate))
722
600
 
723
601
    def send(self, data):
724
 
        if self._sock is not None:
725
 
            return self._sock.send(data)
726
 
        else:
727
 
            return os.write(self.proc.stdin.fileno(), data)
 
602
        return os.write(self.proc.stdin.fileno(), data)
728
603
 
729
604
    def recv(self, count):
730
 
        if self._sock is not None:
731
 
            return self._sock.recv(count)
732
 
        else:
733
 
            return os.read(self.proc.stdout.fileno(), count)
734
 
 
735
 
    def close(self):
736
 
        _close_ssh_proc(self.proc, self._sock)
737
 
 
738
 
    def get_sock_or_pipes(self):
739
 
        if self._sock is not None:
740
 
            return 'socket', self._sock
741
 
        else:
742
 
            return 'pipes', (self.proc.stdout, self.proc.stdin)
743
 
 
744
 
 
745
 
class _ParamikoSSHConnection(SSHConnection):
746
 
    """An SSH connection via paramiko."""
747
 
 
748
 
    def __init__(self, channel):
749
 
        self.channel = channel
750
 
 
751
 
    def get_sock_or_pipes(self):
752
 
        return ('socket', self.channel)
753
 
 
754
 
    def close(self):
755
 
        return self.channel.close()
756
 
 
 
605
        return os.read(self.proc.stdout.fileno(), count)
 
606
 
 
607
    def close(self):
 
608
        self.proc.stdin.close()
 
609
        self.proc.stdout.close()
 
610
        self.proc.wait()
 
611
 
 
612
    def get_filelike_channels(self):
 
613
        return (self.proc.stdout, self.proc.stdin)
757
614