~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/ssh.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2009-10-13 06:08:53 UTC
  • mfrom: (4737.1.1 merge-2.0-into-devel)
  • Revision ID: pqm@pqm.ubuntu.com-20091013060853-erk2aaj80fnkrv25
(andrew) Merge lp:bzr/2.0 into lp:bzr, including fixes for #322807,
        #389413, #402623 and documentation improvements.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2011 Robey Pointer <robey@lag.net>
 
1
# Copyright (C) 2005 Robey Pointer <robey@lag.net>
2
2
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
3
3
#
4
4
# This program is free software; you can redistribute it and/or modify
17
17
 
18
18
"""Foundation SSH support for SFTP and smart server."""
19
19
 
20
 
from __future__ import absolute_import
21
 
 
22
20
import errno
23
21
import getpass
24
22
import logging
96
94
            try:
97
95
                vendor = self._ssh_vendors[vendor_name]
98
96
            except KeyError:
99
 
                vendor = self._get_vendor_from_path(vendor_name)
100
 
                if vendor is None:
101
 
                    raise errors.UnknownSSH(vendor_name)
102
 
                vendor.executable_path = vendor_name
 
97
                raise errors.UnknownSSH(vendor_name)
103
98
            return vendor
104
99
        return None
105
100
 
115
110
            stdout = stderr = ''
116
111
        return stdout + stderr
117
112
 
118
 
    def _get_vendor_by_version_string(self, version, progname):
 
113
    def _get_vendor_by_version_string(self, version, args):
119
114
        """Return the vendor or None based on output from the subprocess.
120
115
 
121
116
        :param version: The output of 'ssh -V' like command.
128
123
        elif 'SSH Secure Shell' in version:
129
124
            trace.mutter('ssh implementation is SSH Corp.')
130
125
            vendor = SSHCorpSubprocessVendor()
131
 
        elif 'lsh' in version:
132
 
            trace.mutter('ssh implementation is GNU lsh.')
133
 
            vendor = LSHSubprocessVendor()
134
 
        # As plink user prompts are not handled currently, don't auto-detect
135
 
        # it by inspection below, but keep this vendor detection for if a path
136
 
        # is given in BZR_SSH. See https://bugs.launchpad.net/bugs/414743
137
 
        elif 'plink' in version and progname == 'plink':
138
 
            # Checking if "plink" was the executed argument as Windows
139
 
            # sometimes reports 'ssh -V' incorrectly with 'plink' in its
140
 
            # version.  See https://bugs.launchpad.net/bzr/+bug/107155
141
 
            trace.mutter("ssh implementation is Putty's plink.")
142
 
            vendor = PLinkSubprocessVendor()
 
126
        # Auto-detect of plink vendor disabled, on Windows recommended
 
127
        # default ssh-client is paramiko
 
128
        # see https://bugs.launchpad.net/bugs/414743
 
129
        #~elif 'plink' in version and args[0] == 'plink':
 
130
        #~    # Checking if "plink" was the executed argument as Windows
 
131
        #~    # sometimes reports 'ssh -V' incorrectly with 'plink' in it's
 
132
        #~    # version.  See https://bugs.launchpad.net/bzr/+bug/107155
 
133
        #~    trace.mutter("ssh implementation is Putty's plink.")
 
134
        #~    vendor = PLinkSubprocessVendor()
143
135
        return vendor
144
136
 
145
137
    def _get_vendor_by_inspection(self):
146
138
        """Return the vendor or None by checking for known SSH implementations."""
147
 
        version = self._get_ssh_version_string(['ssh', '-V'])
148
 
        return self._get_vendor_by_version_string(version, "ssh")
149
 
 
150
 
    def _get_vendor_from_path(self, path):
151
 
        """Return the vendor or None using the program at the given path"""
152
 
        version = self._get_ssh_version_string([path, '-V'])
153
 
        return self._get_vendor_by_version_string(version, 
154
 
            os.path.splitext(os.path.basename(path))[0])
 
139
        for args in (['ssh', '-V'], ['plink', '-V']):
 
140
            version = self._get_ssh_version_string(args)
 
141
            vendor = self._get_vendor_by_version_string(version, args)
 
142
            if vendor is not None:
 
143
                return vendor
 
144
        return None
155
145
 
156
146
    def get_vendor(self, environment=None):
157
147
        """Find out what version of SSH is on the system.
178
168
register_ssh_vendor = _ssh_vendor_manager.register_vendor
179
169
 
180
170
 
181
 
def _ignore_signals():
 
171
def _ignore_sigint():
182
172
    # TODO: This should possibly ignore SIGHUP as well, but bzr currently
183
173
    # doesn't handle it itself.
184
174
    # <https://launchpad.net/products/bzr/+bug/41433/+index>
185
175
    import signal
186
176
    signal.signal(signal.SIGINT, signal.SIG_IGN)
187
 
    # GZ 2010-02-19: Perhaps make this check if breakin is installed instead
188
 
    if signal.getsignal(signal.SIGQUIT) != signal.SIG_DFL:
189
 
        signal.signal(signal.SIGQUIT, signal.SIG_IGN)
190
177
 
191
178
 
192
179
class SocketAsChannelAdapter(object):
244
231
    def connect_ssh(self, username, password, host, port, command):
245
232
        """Make an SSH connection.
246
233
 
247
 
        :returns: an SSHConnection.
 
234
        :returns: something with a `close` method, and a `get_filelike_channels`
 
235
            method that returns a pair of (read, write) filelike objects.
248
236
        """
249
237
        raise NotImplementedError(self.connect_ssh)
250
238
 
273
261
register_ssh_vendor('loopback', LoopbackVendor())
274
262
 
275
263
 
 
264
class _ParamikoSSHConnection(object):
 
265
    def __init__(self, channel):
 
266
        self.channel = channel
 
267
 
 
268
    def get_filelike_channels(self):
 
269
        return self.channel.makefile('rb'), self.channel.makefile('wb')
 
270
 
 
271
    def close(self):
 
272
        return self.channel.close()
 
273
 
 
274
 
276
275
class ParamikoVendor(SSHVendor):
277
276
    """Vendor that uses paramiko."""
278
277
 
341
340
            self._raise_connection_error(host, port=port, orig_error=e,
342
341
                                         msg='Unable to invoke remote bzr')
343
342
 
344
 
_ssh_connection_errors = (EOFError, OSError, IOError, socket.error)
345
343
if paramiko is not None:
346
344
    vendor = ParamikoVendor()
347
345
    register_ssh_vendor('paramiko', vendor)
348
346
    register_ssh_vendor('none', vendor)
349
347
    register_default_ssh_vendor(vendor)
350
 
    _ssh_connection_errors += (paramiko.SSHException,)
 
348
    _sftp_connection_errors = (EOFError, paramiko.SSHException)
351
349
    del vendor
 
350
else:
 
351
    _sftp_connection_errors = (EOFError,)
352
352
 
353
353
 
354
354
class SubprocessVendor(SSHVendor):
355
355
    """Abstract base class for vendors that use pipes to a subprocess."""
356
356
 
357
 
    # In general stderr should be inherited from the parent process so prompts
358
 
    # are visible on the terminal. This can be overriden to another file for
359
 
    # tests, but beware of using PIPE which may hang due to not being read.
360
 
    _stderr_target = None
361
 
 
362
357
    def _connect(self, argv):
363
 
        # Attempt to make a socketpair to use as stdin/stdout for the SSH
364
 
        # subprocess.  We prefer sockets to pipes because they support
365
 
        # non-blocking short reads, allowing us to optimistically read 64k (or
366
 
        # whatever) chunks.
367
 
        try:
368
 
            my_sock, subproc_sock = socket.socketpair()
369
 
            osutils.set_fd_cloexec(my_sock)
370
 
        except (AttributeError, socket.error):
371
 
            # This platform doesn't support socketpair(), so just use ordinary
372
 
            # pipes instead.
373
 
            stdin = stdout = subprocess.PIPE
374
 
            my_sock, subproc_sock = None, None
375
 
        else:
376
 
            stdin = stdout = subproc_sock
377
 
        proc = subprocess.Popen(argv, stdin=stdin, stdout=stdout,
378
 
                                stderr=self._stderr_target,
 
358
        proc = subprocess.Popen(argv,
 
359
                                stdin=subprocess.PIPE,
 
360
                                stdout=subprocess.PIPE,
379
361
                                **os_specific_subprocess_params())
380
 
        if subproc_sock is not None:
381
 
            subproc_sock.close()
382
 
        return SSHSubprocessConnection(proc, sock=my_sock)
 
362
        return SSHSubprocess(proc)
383
363
 
384
364
    def connect_sftp(self, username, password, host, port):
385
365
        try:
387
367
                                                  subsystem='sftp')
388
368
            sock = self._connect(argv)
389
369
            return SFTPClient(SocketAsChannelAdapter(sock))
390
 
        except _ssh_connection_errors, e:
 
370
        except _sftp_connection_errors, e:
 
371
            self._raise_connection_error(host, port=port, orig_error=e)
 
372
        except (OSError, IOError), e:
 
373
            # If the machine is fast enough, ssh can actually exit
 
374
            # before we try and send it the sftp request, which
 
375
            # raises a Broken Pipe
 
376
            if e.errno not in (errno.EPIPE,):
 
377
                raise
391
378
            self._raise_connection_error(host, port=port, orig_error=e)
392
379
 
393
380
    def connect_ssh(self, username, password, host, port, command):
395
382
            argv = self._get_vendor_specific_argv(username, host, port,
396
383
                                                  command=command)
397
384
            return self._connect(argv)
398
 
        except _ssh_connection_errors, e:
 
385
        except (EOFError), e:
 
386
            self._raise_connection_error(host, port=port, orig_error=e)
 
387
        except (OSError, IOError), e:
 
388
            # If the machine is fast enough, ssh can actually exit
 
389
            # before we try and send it the sftp request, which
 
390
            # raises a Broken Pipe
 
391
            if e.errno not in (errno.EPIPE,):
 
392
                raise
399
393
            self._raise_connection_error(host, port=port, orig_error=e)
400
394
 
401
395
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
410
404
class OpenSSHSubprocessVendor(SubprocessVendor):
411
405
    """SSH vendor that uses the 'ssh' executable from OpenSSH."""
412
406
 
413
 
    executable_path = 'ssh'
414
 
 
415
407
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
416
408
                                  command=None):
417
 
        args = [self.executable_path,
 
409
        args = ['ssh',
418
410
                '-oForwardX11=no', '-oForwardAgent=no',
419
 
                '-oClearAllForwardings=yes',
 
411
                '-oClearAllForwardings=yes', '-oProtocol=2',
420
412
                '-oNoHostAuthenticationForLocalhost=yes']
421
413
        if port is not None:
422
414
            args.extend(['-p', str(port)])
434
426
class SSHCorpSubprocessVendor(SubprocessVendor):
435
427
    """SSH vendor that uses the 'ssh' executable from SSH Corporation."""
436
428
 
437
 
    executable_path = 'ssh'
438
 
 
439
429
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
440
430
                                  command=None):
441
 
        args = [self.executable_path, '-x']
 
431
        args = ['ssh', '-x']
442
432
        if port is not None:
443
433
            args.extend(['-p', str(port)])
444
434
        if username is not None:
449
439
            args.extend([host] + command)
450
440
        return args
451
441
 
452
 
register_ssh_vendor('sshcorp', SSHCorpSubprocessVendor())
453
 
 
454
 
 
455
 
class LSHSubprocessVendor(SubprocessVendor):
456
 
    """SSH vendor that uses the 'lsh' executable from GNU"""
457
 
 
458
 
    executable_path = 'lsh'
459
 
 
460
 
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
461
 
                                  command=None):
462
 
        args = [self.executable_path]
463
 
        if port is not None:
464
 
            args.extend(['-p', str(port)])
465
 
        if username is not None:
466
 
            args.extend(['-l', username])
467
 
        if subsystem is not None:
468
 
            args.extend(['--subsystem', subsystem, host])
469
 
        else:
470
 
            args.extend([host] + command)
471
 
        return args
472
 
 
473
 
register_ssh_vendor('lsh', LSHSubprocessVendor())
 
442
register_ssh_vendor('ssh', SSHCorpSubprocessVendor())
474
443
 
475
444
 
476
445
class PLinkSubprocessVendor(SubprocessVendor):
477
446
    """SSH vendor that uses the 'plink' executable from Putty."""
478
447
 
479
 
    executable_path = 'plink'
480
 
 
481
448
    def _get_vendor_specific_argv(self, username, host, port, subsystem=None,
482
449
                                  command=None):
483
 
        args = [self.executable_path, '-x', '-a', '-ssh', '-2', '-batch']
 
450
        args = ['plink', '-x', '-a', '-ssh', '-2', '-batch']
484
451
        if port is not None:
485
452
            args.extend(['-P', str(port)])
486
453
        if username is not None:
581
548
        return True
582
549
    except paramiko.PasswordRequiredException:
583
550
        password = ui.ui_factory.get_password(
584
 
            prompt=u'SSH %(filename)s password',
585
 
            filename=filename.decode(osutils._fs_enc))
 
551
            prompt='SSH %(filename)s password', filename=filename)
586
552
        try:
587
553
            key = pkey_class.from_private_key_file(filename, password)
588
554
            paramiko_transport.auth_publickey(username, key)
657
623
        # Running it in a separate process group is not good because then it
658
624
        # can't get non-echoed input of a password or passphrase.
659
625
        # <https://launchpad.net/products/bzr/+bug/40508>
660
 
        return {'preexec_fn': _ignore_signals,
 
626
        return {'preexec_fn': _ignore_sigint,
661
627
                'close_fds': True,
662
628
                }
663
629
 
664
 
import weakref
665
 
_subproc_weakrefs = set()
666
 
 
667
 
def _close_ssh_proc(proc, sock):
668
 
    """Carefully close stdin/stdout and reap the SSH process.
669
 
 
670
 
    If the pipes are already closed and/or the process has already been
671
 
    wait()ed on, that's ok, and no error is raised.  The goal is to do our best
672
 
    to clean up (whether or not a clean up was already tried).
673
 
    """
674
 
    funcs = []
675
 
    for closeable in (proc.stdin, proc.stdout, sock):
676
 
        # We expect that either proc (a subprocess.Popen) will have stdin and
677
 
        # stdout streams to close, or that we will have been passed a socket to
678
 
        # close, with the option not in use being None.
679
 
        if closeable is not None:
680
 
            funcs.append(closeable.close)
681
 
    funcs.append(proc.wait)
682
 
    for func in funcs:
683
 
        try:
684
 
            func()
685
 
        except OSError:
686
 
            # It's ok for the pipe to already be closed, or the process to
687
 
            # already be finished.
688
 
            continue
689
 
 
690
 
 
691
 
class SSHConnection(object):
692
 
    """Abstract base class for SSH connections."""
693
 
 
694
 
    def get_sock_or_pipes(self):
695
 
        """Returns a (kind, io_object) pair.
696
 
 
697
 
        If kind == 'socket', then io_object is a socket.
698
 
 
699
 
        If kind == 'pipes', then io_object is a pair of file-like objects
700
 
        (read_from, write_to).
701
 
        """
702
 
        raise NotImplementedError(self.get_sock_or_pipes)
703
 
 
704
 
    def close(self):
705
 
        raise NotImplementedError(self.close)
706
 
 
707
 
 
708
 
class SSHSubprocessConnection(SSHConnection):
709
 
    """A connection to an ssh subprocess via pipes or a socket.
710
 
 
711
 
    This class is also socket-like enough to be used with
712
 
    SocketAsChannelAdapter (it has 'send' and 'recv' methods).
713
 
    """
714
 
 
715
 
    def __init__(self, proc, sock=None):
716
 
        """Constructor.
717
 
 
718
 
        :param proc: a subprocess.Popen
719
 
        :param sock: if proc.stdin/out is a socket from a socketpair, then sock
720
 
            should bzrlib's half of that socketpair.  If not passed, proc's
721
 
            stdin/out is assumed to be ordinary pipes.
722
 
        """
 
630
 
 
631
class SSHSubprocess(object):
 
632
    """A socket-like object that talks to an ssh subprocess via pipes."""
 
633
 
 
634
    def __init__(self, proc):
723
635
        self.proc = proc
724
 
        self._sock = sock
725
 
        # Add a weakref to proc that will attempt to do the same as self.close
726
 
        # to avoid leaving processes lingering indefinitely.
727
 
        def terminate(ref):
728
 
            _subproc_weakrefs.remove(ref)
729
 
            _close_ssh_proc(proc, sock)
730
 
        _subproc_weakrefs.add(weakref.ref(self, terminate))
731
636
 
732
637
    def send(self, data):
733
 
        if self._sock is not None:
734
 
            return self._sock.send(data)
735
 
        else:
736
 
            return os.write(self.proc.stdin.fileno(), data)
 
638
        return os.write(self.proc.stdin.fileno(), data)
737
639
 
738
640
    def recv(self, count):
739
 
        if self._sock is not None:
740
 
            return self._sock.recv(count)
741
 
        else:
742
 
            return os.read(self.proc.stdout.fileno(), count)
743
 
 
744
 
    def close(self):
745
 
        _close_ssh_proc(self.proc, self._sock)
746
 
 
747
 
    def get_sock_or_pipes(self):
748
 
        if self._sock is not None:
749
 
            return 'socket', self._sock
750
 
        else:
751
 
            return 'pipes', (self.proc.stdout, self.proc.stdin)
752
 
 
753
 
 
754
 
class _ParamikoSSHConnection(SSHConnection):
755
 
    """An SSH connection via paramiko."""
756
 
 
757
 
    def __init__(self, channel):
758
 
        self.channel = channel
759
 
 
760
 
    def get_sock_or_pipes(self):
761
 
        return ('socket', self.channel)
762
 
 
763
 
    def close(self):
764
 
        return self.channel.close()
765
 
 
 
641
        return os.read(self.proc.stdout.fileno(), count)
 
642
 
 
643
    def close(self):
 
644
        self.proc.stdin.close()
 
645
        self.proc.stdout.close()
 
646
        self.proc.wait()
 
647
 
 
648
    def get_filelike_channels(self):
 
649
        return (self.proc.stdout, self.proc.stdin)
766
650