~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/ssh.py

  • Committer: Patch Queue Manager
  • Date: 2014-02-12 18:22:22 UTC
  • mfrom: (6589.2.1 trunk)
  • Revision ID: pqm@pqm.ubuntu.com-20140212182222-beouo25gaf1cny76
(vila) The XDG Base Directory Specification uses the XDG_CACHE_HOME,
 not XDG_CACHE_DIR. (Andrew Starr-Bochicchio)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Robey Pointer <robey@lag.net>
 
1
# Copyright (C) 2006-2011 Robey Pointer <robey@lag.net>
2
2
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
3
3
#
4
4
# This program is free software; you can redistribute it and/or modify
17
17
 
18
18
"""Foundation SSH support for SFTP and smart server."""
19
19
 
 
20
from __future__ import absolute_import
 
21
 
20
22
import errno
 
23
import getpass
 
24
import logging
21
25
import os
22
26
import socket
23
27
import subprocess
92
96
            try:
93
97
                vendor = self._ssh_vendors[vendor_name]
94
98
            except KeyError:
95
 
                raise errors.UnknownSSH(vendor_name)
 
99
                vendor = self._get_vendor_from_path(vendor_name)
 
100
                if vendor is None:
 
101
                    raise errors.UnknownSSH(vendor_name)
 
102
                vendor.executable_path = vendor_name
96
103
            return vendor
97
104
        return None
98
105
 
108
115
            stdout = stderr = ''
109
116
        return stdout + stderr
110
117
 
111
 
    def _get_vendor_by_version_string(self, version, args):
 
118
    def _get_vendor_by_version_string(self, version, progname):
112
119
        """Return the vendor or None based on output from the subprocess.
113
120
 
114
121
        :param version: The output of 'ssh -V' like command.
121
128
        elif 'SSH Secure Shell' in version:
122
129
            trace.mutter('ssh implementation is SSH Corp.')
123
130
            vendor = SSHCorpSubprocessVendor()
124
 
        elif 'plink' in version and args[0] == 'plink':
 
131
        elif 'lsh' in version:
 
132
            trace.mutter('ssh implementation is GNU lsh.')
 
133
            vendor = LSHSubprocessVendor()
 
134
        # As plink user prompts are not handled currently, don't auto-detect
 
135
        # it by inspection below, but keep this vendor detection for if a path
 
136
        # is given in BZR_SSH. See https://bugs.launchpad.net/bugs/414743
 
137
        elif 'plink' in version and progname == 'plink':
125
138
            # Checking if "plink" was the executed argument as Windows
126
 
            # sometimes reports 'ssh -V' incorrectly with 'plink' in it's
 
139
            # sometimes reports 'ssh -V' incorrectly with 'plink' in its
127
140
            # version.  See https://bugs.launchpad.net/bzr/+bug/107155
128
141
            trace.mutter("ssh implementation is Putty's plink.")
129
142
            vendor = PLinkSubprocessVendor()
131
144
 
132
145
    def _get_vendor_by_inspection(self):
133
146
        """Return the vendor or None by checking for known SSH implementations."""
134
 
        for args in (['ssh', '-V'], ['plink', '-V']):
135
 
            version = self._get_ssh_version_string(args)
136
 
            vendor = self._get_vendor_by_version_string(version, args)
137
 
            if vendor is not None:
138
 
                return vendor
139
 
        return None
 
147
        version = self._get_ssh_version_string(['ssh', '-V'])
 
148
        return self._get_vendor_by_version_string(version, "ssh")
 
149
 
 
150
    def _get_vendor_from_path(self, path):
 
151
        """Return the vendor or None using the program at the given path"""
 
152
        version = self._get_ssh_version_string([path, '-V'])
 
153
        return self._get_vendor_by_version_string(version, 
 
154
            os.path.splitext(os.path.basename(path))[0])
140
155
 
141
156
    def get_vendor(self, environment=None):
142
157
        """Find out what version of SSH is on the system.
163
178
register_ssh_vendor = _ssh_vendor_manager.register_vendor
164
179
 
165
180
 
166
 
def _ignore_sigint():
 
181
def _ignore_signals():
167
182
    # TODO: This should possibly ignore SIGHUP as well, but bzr currently
168
183
    # doesn't handle it itself.
169
184
    # <https://launchpad.net/products/bzr/+bug/41433/+index>
170
185
    import signal
171
186
    signal.signal(signal.SIGINT, signal.SIG_IGN)
 
187
    # GZ 2010-02-19: Perhaps make this check if breakin is installed instead
 
188
    if signal.getsignal(signal.SIGQUIT) != signal.SIG_DFL:
 
189
        signal.signal(signal.SIGQUIT, signal.SIG_IGN)
172
190
 
173
191
 
174
192
class SocketAsChannelAdapter(object):
226
244
    def connect_ssh(self, username, password, host, port, command):
227
245
        """Make an SSH connection.
228
246
 
229
 
        :returns: something with a `close` method, and a `get_filelike_channels`
230
 
            method that returns a pair of (read, write) filelike objects.
 
247
        :returns: an SSHConnection.
231
248
        """
232
249
        raise NotImplementedError(self.connect_ssh)
233
250
 
256
273
register_ssh_vendor('loopback', LoopbackVendor())
257
274
 
258
275
 
259
 
class _ParamikoSSHConnection(object):
260
 
    def __init__(self, channel):
261
 
        self.channel = channel
262
 
 
263
 
    def get_filelike_channels(self):
264
 
        return self.channel.makefile('rb'), self.channel.makefile('wb')
265
 
 
266
 
    def close(self):
267
 
        return self.channel.close()
268
 
 
269
 
 
270
276
class ParamikoVendor(SSHVendor):
271
277
    """Vendor that uses paramiko."""
272
278
 
335
341
            self._raise_connection_error(host, port=port, orig_error=e,
336
342
                                         msg='Unable to invoke remote bzr')
337
343
 
 
344
_ssh_connection_errors = (EOFError, OSError, IOError, socket.error)
338
345
if paramiko is not None:
339
346
    vendor = ParamikoVendor()
340
347
    register_ssh_vendor('paramiko', vendor)
341
348
    register_ssh_vendor('none', vendor)
342
349
    register_default_ssh_vendor(vendor)
343
 
    _sftp_connection_errors = (EOFError, paramiko.SSHException)
 
350
    _ssh_connection_errors += (paramiko.SSHException,)
344
351
    del vendor
345
 
else:
346
 
    _sftp_connection_errors = (EOFError,)
347
352
 
348
353
 
349
354
class SubprocessVendor(SSHVendor):
350
355
    """Abstract base class for vendors that use pipes to a subprocess."""
351
356
 
 
357
    # In general stderr should be inherited from the parent process so prompts
 
358
    # are visible on the terminal. This can be overriden to another file for
 
359
    # tests, but beware of using PIPE which may hang due to not being read.
 
360
    _stderr_target = None
 
361
 
352
362
    def _connect(self, argv):
353
 
        proc = subprocess.Popen(argv,
354
 
                                stdin=subprocess.PIPE,
355
 
                                stdout=subprocess.PIPE,
 
363
        # Attempt to make a socketpair to use as stdin/stdout for the SSH
 
364
        # subprocess.  We prefer sockets to pipes because they support
 
365
        # non-blocking short reads, allowing us to optimistically read 64k (or
 
366
        # whatever) chunks.
 
367
        try:
 
368
            my_sock, subproc_sock = socket.socketpair()
 
369
            osutils.set_fd_cloexec(my_sock)
 
370
        except (AttributeError, socket.error):
 
371
            # This platform doesn't support socketpair(), so just use ordinary
 
372
            # pipes instead.
 
373
            stdin = stdout = subprocess.PIPE
 
374
            my_sock, subproc_sock = None, None
 
375
        else:
 
376
            stdin = stdout = subproc_sock
 
377
        proc = subprocess.Popen(argv, stdin=stdin, stdout=stdout,
 
378
                                stderr=self._stderr_target,
356
379
                                **os_specific_subprocess_params())
357
 
        return SSHSubprocess(proc)
 
380
        if subproc_sock is not None:
 
381
            subproc_sock.close()
 
382
        return SSHSubprocessConnection(proc, sock=my_sock)
358
383
 
359
384
    def connect_sftp(self, username, password, host, port):
360
385
        try:
362
387
                                                  subsystem='sftp')
363
388
            sock = self._connect(argv)
364
389
            return SFTPClient(SocketAsChannelAdapter(sock))
365
 
        except _sftp_connection_errors, e:
366
 
            self._raise_connection_error(host, port=port, orig_error=e)
367
 
        except (OSError, IOError), e:
368
 
            # If the machine is fast enough, ssh can actually exit
369
 
            # before we try and send it the sftp request, which
370
 
            # raises a Broken Pipe
371
 
            if e.errno not in (errno.EPIPE,):
372
 
                raise
 
390
        except _ssh_connection_errors, e:
373
391
            self._raise_connection_error(host, port=port, orig_error=e)
374
392
 
375
393
    def connect_ssh(self, username, password, host, port, command):
377
395
            argv = self._get_vendor_specific_argv(username, host, port,
378
396
                                                  command=command)
379
397
            return self._connect(argv)
380
 
        except (EOFError), e:
381
 
            self._raise_connection_error(host, port=port, orig_error=e)
382
 
        except (OSError, IOError), e:
383
 
            # If the machine is fast enough, ssh can actually exit
384
 
            # before we try and send it the sftp request, which
385
 
            # raises a Broken Pipe
386
 
            if e.errno not in (errno.EPIPE,):
387
 
                raise
 
398
        except _ssh_connection_errors, e:
388
399
            self._raise_connection_error(host, port=port, orig_error=e)
389
400
 
390
401
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
399
410
class OpenSSHSubprocessVendor(SubprocessVendor):
400
411
    """SSH vendor that uses the 'ssh' executable from OpenSSH."""
401
412
 
 
413
    executable_path = 'ssh'
 
414
 
402
415
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
403
416
                                  command=None):
404
 
        args = ['ssh',
 
417
        args = [self.executable_path,
405
418
                '-oForwardX11=no', '-oForwardAgent=no',
406
 
                '-oClearAllForwardings=yes', '-oProtocol=2',
 
419
                '-oClearAllForwardings=yes',
407
420
                '-oNoHostAuthenticationForLocalhost=yes']
408
421
        if port is not None:
409
422
            args.extend(['-p', str(port)])
421
434
class SSHCorpSubprocessVendor(SubprocessVendor):
422
435
    """SSH vendor that uses the 'ssh' executable from SSH Corporation."""
423
436
 
 
437
    executable_path = 'ssh'
 
438
 
424
439
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
425
440
                                  command=None):
426
 
        args = ['ssh', '-x']
 
441
        args = [self.executable_path, '-x']
427
442
        if port is not None:
428
443
            args.extend(['-p', str(port)])
429
444
        if username is not None:
434
449
            args.extend([host] + command)
435
450
        return args
436
451
 
437
 
register_ssh_vendor('ssh', SSHCorpSubprocessVendor())
 
452
register_ssh_vendor('sshcorp', SSHCorpSubprocessVendor())
 
453
 
 
454
 
 
455
class LSHSubprocessVendor(SubprocessVendor):
 
456
    """SSH vendor that uses the 'lsh' executable from GNU"""
 
457
 
 
458
    executable_path = 'lsh'
 
459
 
 
460
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
 
461
                                  command=None):
 
462
        args = [self.executable_path]
 
463
        if port is not None:
 
464
            args.extend(['-p', str(port)])
 
465
        if username is not None:
 
466
            args.extend(['-l', username])
 
467
        if subsystem is not None:
 
468
            args.extend(['--subsystem', subsystem, host])
 
469
        else:
 
470
            args.extend([host] + command)
 
471
        return args
 
472
 
 
473
register_ssh_vendor('lsh', LSHSubprocessVendor())
438
474
 
439
475
 
440
476
class PLinkSubprocessVendor(SubprocessVendor):
441
477
    """SSH vendor that uses the 'plink' executable from Putty."""
442
478
 
 
479
    executable_path = 'plink'
 
480
 
443
481
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
444
482
                                  command=None):
445
 
        args = ['plink', '-x', '-a', '-ssh', '-2', '-batch']
 
483
        args = [self.executable_path, '-x', '-a', '-ssh', '-2', '-batch']
446
484
        if port is not None:
447
485
            args.extend(['-P', str(port)])
448
486
        if username is not None:
461
499
    # paramiko requires a username, but it might be none if nothing was
462
500
    # supplied.  If so, use the local username.
463
501
    if username is None:
464
 
        username = auth.get_user('ssh', host, port=port)
465
 
 
 
502
        username = auth.get_user('ssh', host, port=port,
 
503
                                 default=getpass.getuser())
466
504
    if _use_ssh_agent:
467
505
        agent = paramiko.Agent()
468
506
        for key in agent.get_keys():
480
518
    if _try_pkey_auth(paramiko_transport, paramiko.DSSKey, username, 'id_dsa'):
481
519
        return
482
520
 
 
521
    # If we have gotten this far, we are about to try for passwords, do an
 
522
    # auth_none check to see if it is even supported.
 
523
    supported_auth_types = []
 
524
    try:
 
525
        # Note that with paramiko <1.7.5 this logs an INFO message:
 
526
        #    Authentication type (none) not permitted.
 
527
        # So we explicitly disable the logging level for this action
 
528
        old_level = paramiko_transport.logger.level
 
529
        paramiko_transport.logger.setLevel(logging.WARNING)
 
530
        try:
 
531
            paramiko_transport.auth_none(username)
 
532
        finally:
 
533
            paramiko_transport.logger.setLevel(old_level)
 
534
    except paramiko.BadAuthenticationType, e:
 
535
        # Supported methods are in the exception
 
536
        supported_auth_types = e.allowed_types
 
537
    except paramiko.SSHException, e:
 
538
        # Don't know what happened, but just ignore it
 
539
        pass
 
540
    # We treat 'keyboard-interactive' and 'password' auth methods identically,
 
541
    # because Paramiko's auth_password method will automatically try
 
542
    # 'keyboard-interactive' auth (using the password as the response) if
 
543
    # 'password' auth is not available.  Apparently some Debian and Gentoo
 
544
    # OpenSSH servers require this.
 
545
    # XXX: It's possible for a server to require keyboard-interactive auth that
 
546
    # requires something other than a single password, but we currently don't
 
547
    # support that.
 
548
    if ('password' not in supported_auth_types and
 
549
        'keyboard-interactive' not in supported_auth_types):
 
550
        raise errors.ConnectionError('Unable to authenticate to SSH host as'
 
551
            '\n  %s@%s\nsupported auth types: %s'
 
552
            % (username, host, supported_auth_types))
 
553
 
483
554
    if password:
484
555
        try:
485
556
            paramiko_transport.auth_password(username, password)
489
560
 
490
561
    # give up and ask for a password
491
562
    password = auth.get_password('ssh', host, username, port=port)
492
 
    try:
493
 
        paramiko_transport.auth_password(username, password)
494
 
    except paramiko.SSHException, e:
495
 
        raise errors.ConnectionError(
496
 
            'Unable to authenticate to SSH host as %s@%s' % (username, host), e)
 
563
    # get_password can still return None, which means we should not prompt
 
564
    if password is not None:
 
565
        try:
 
566
            paramiko_transport.auth_password(username, password)
 
567
        except paramiko.SSHException, e:
 
568
            raise errors.ConnectionError(
 
569
                'Unable to authenticate to SSH host as'
 
570
                '\n  %s@%s\n' % (username, host), e)
 
571
    else:
 
572
        raise errors.ConnectionError('Unable to authenticate to SSH host as'
 
573
                                     '  %s@%s' % (username, host))
497
574
 
498
575
 
499
576
def _try_pkey_auth(paramiko_transport, pkey_class, username, filename):
504
581
        return True
505
582
    except paramiko.PasswordRequiredException:
506
583
        password = ui.ui_factory.get_password(
507
 
            prompt='SSH %(filename)s password', filename=filename)
 
584
            prompt=u'SSH %(filename)s password',
 
585
            filename=filename.decode(osutils._fs_enc))
508
586
        try:
509
587
            key = pkey_class.from_private_key_file(filename, password)
510
588
            paramiko_transport.auth_publickey(username, key)
579
657
        # Running it in a separate process group is not good because then it
580
658
        # can't get non-echoed input of a password or passphrase.
581
659
        # <https://launchpad.net/products/bzr/+bug/40508>
582
 
        return {'preexec_fn': _ignore_sigint,
 
660
        return {'preexec_fn': _ignore_signals,
583
661
                'close_fds': True,
584
662
                }
585
663
 
586
 
 
587
 
class SSHSubprocess(object):
588
 
    """A socket-like object that talks to an ssh subprocess via pipes."""
589
 
 
590
 
    def __init__(self, proc):
 
664
import weakref
 
665
_subproc_weakrefs = set()
 
666
 
 
667
def _close_ssh_proc(proc, sock):
 
668
    """Carefully close stdin/stdout and reap the SSH process.
 
669
 
 
670
    If the pipes are already closed and/or the process has already been
 
671
    wait()ed on, that's ok, and no error is raised.  The goal is to do our best
 
672
    to clean up (whether or not a clean up was already tried).
 
673
    """
 
674
    funcs = []
 
675
    for closeable in (proc.stdin, proc.stdout, sock):
 
676
        # We expect that either proc (a subprocess.Popen) will have stdin and
 
677
        # stdout streams to close, or that we will have been passed a socket to
 
678
        # close, with the option not in use being None.
 
679
        if closeable is not None:
 
680
            funcs.append(closeable.close)
 
681
    funcs.append(proc.wait)
 
682
    for func in funcs:
 
683
        try:
 
684
            func()
 
685
        except OSError:
 
686
            # It's ok for the pipe to already be closed, or the process to
 
687
            # already be finished.
 
688
            continue
 
689
 
 
690
 
 
691
class SSHConnection(object):
 
692
    """Abstract base class for SSH connections."""
 
693
 
 
694
    def get_sock_or_pipes(self):
 
695
        """Returns a (kind, io_object) pair.
 
696
 
 
697
        If kind == 'socket', then io_object is a socket.
 
698
 
 
699
        If kind == 'pipes', then io_object is a pair of file-like objects
 
700
        (read_from, write_to).
 
701
        """
 
702
        raise NotImplementedError(self.get_sock_or_pipes)
 
703
 
 
704
    def close(self):
 
705
        raise NotImplementedError(self.close)
 
706
 
 
707
 
 
708
class SSHSubprocessConnection(SSHConnection):
 
709
    """A connection to an ssh subprocess via pipes or a socket.
 
710
 
 
711
    This class is also socket-like enough to be used with
 
712
    SocketAsChannelAdapter (it has 'send' and 'recv' methods).
 
713
    """
 
714
 
 
715
    def __init__(self, proc, sock=None):
 
716
        """Constructor.
 
717
 
 
718
        :param proc: a subprocess.Popen
 
719
        :param sock: if proc.stdin/out is a socket from a socketpair, then sock
 
720
            should bzrlib's half of that socketpair.  If not passed, proc's
 
721
            stdin/out is assumed to be ordinary pipes.
 
722
        """
591
723
        self.proc = proc
 
724
        self._sock = sock
 
725
        # Add a weakref to proc that will attempt to do the same as self.close
 
726
        # to avoid leaving processes lingering indefinitely.
 
727
        def terminate(ref):
 
728
            _subproc_weakrefs.remove(ref)
 
729
            _close_ssh_proc(proc, sock)
 
730
        _subproc_weakrefs.add(weakref.ref(self, terminate))
592
731
 
593
732
    def send(self, data):
594
 
        return os.write(self.proc.stdin.fileno(), data)
 
733
        if self._sock is not None:
 
734
            return self._sock.send(data)
 
735
        else:
 
736
            return os.write(self.proc.stdin.fileno(), data)
595
737
 
596
738
    def recv(self, count):
597
 
        return os.read(self.proc.stdout.fileno(), count)
598
 
 
599
 
    def close(self):
600
 
        self.proc.stdin.close()
601
 
        self.proc.stdout.close()
602
 
        self.proc.wait()
603
 
 
604
 
    def get_filelike_channels(self):
605
 
        return (self.proc.stdout, self.proc.stdin)
 
739
        if self._sock is not None:
 
740
            return self._sock.recv(count)
 
741
        else:
 
742
            return os.read(self.proc.stdout.fileno(), count)
 
743
 
 
744
    def close(self):
 
745
        _close_ssh_proc(self.proc, self._sock)
 
746
 
 
747
    def get_sock_or_pipes(self):
 
748
        if self._sock is not None:
 
749
            return 'socket', self._sock
 
750
        else:
 
751
            return 'pipes', (self.proc.stdout, self.proc.stdin)
 
752
 
 
753
 
 
754
class _ParamikoSSHConnection(SSHConnection):
 
755
    """An SSH connection via paramiko."""
 
756
 
 
757
    def __init__(self, channel):
 
758
        self.channel = channel
 
759
 
 
760
    def get_sock_or_pipes(self):
 
761
        return ('socket', self.channel)
 
762
 
 
763
    def close(self):
 
764
        return self.channel.close()
 
765
 
606
766