~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/sftp.py

  • Committer: Alexander Belchenko
  • Date: 2006-07-30 16:43:12 UTC
  • mto: (1711.2.111 jam-integration)
  • mto: This revision was merged to the branch mainline in revision 1906.
  • Revision ID: bialix@ukr.net-20060730164312-b025fd3ff0cee59e
rename  gpl.txt => COPYING.txt

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005 Robey Pointer <robey@lag.net>
 
2
# Copyright (C) 2005, 2006 Canonical Ltd
2
3
#
3
4
# This program is free software; you can redistribute it and/or modify
4
5
# it under the terms of the GNU General Public License as published by
12
13
#
13
14
# You should have received a copy of the GNU General Public License
14
15
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
17
 
17
18
"""Implementation of Transport over SFTP, using paramiko."""
18
19
 
19
 
# TODO: Remove the transport-based lock_read and lock_write methods.  They'll
20
 
# then raise TransportNotPossible, which will break remote access to any
21
 
# formats which rely on OS-level locks.  That should be fine as those formats
22
 
# are pretty old, but these combinations may have to be removed from the test
23
 
# suite.  Those formats all date back to 0.7; so we should be able to remove
24
 
# these methods when we officially drop support for those formats.
25
 
 
26
 
import bisect
27
20
import errno
 
21
import getpass
28
22
import itertools
29
23
import os
30
24
import random
 
25
import re
 
26
import select
 
27
import socket
31
28
import stat
 
29
import subprocess
32
30
import sys
33
31
import time
34
32
import urllib
35
33
import urlparse
36
 
import warnings
 
34
import weakref
37
35
 
38
 
from bzrlib import (
39
 
    config,
40
 
    debug,
41
 
    errors,
42
 
    urlutils,
43
 
    )
44
 
from bzrlib.errors import (FileExists,
45
 
                           NoSuchFile, PathNotChild,
 
36
from bzrlib.config import config_dir, ensure_config_dir_exists
 
37
from bzrlib.errors import (ConnectionError,
 
38
                           FileExists, 
 
39
                           TransportNotPossible, NoSuchFile, PathNotChild,
46
40
                           TransportError,
47
 
                           LockError,
 
41
                           LockError, 
48
42
                           PathError,
49
43
                           ParamikoNotPresent,
50
44
                           )
51
45
from bzrlib.osutils import pathjoin, fancy_rename, getcwd
52
 
from bzrlib.symbol_versioning import (
53
 
        deprecated_function,
54
 
        )
55
 
from bzrlib.trace import mutter, warning
 
46
from bzrlib.trace import mutter, warning, error
56
47
from bzrlib.transport import (
57
 
    FileFileStream,
58
 
    _file_streams,
59
 
    local,
 
48
    register_urlparse_netloc_protocol,
60
49
    Server,
61
 
    ssh,
62
 
    ConnectedTransport,
 
50
    split_url,
 
51
    Transport,
63
52
    )
64
 
 
65
 
# Disable one particular warning that comes from paramiko in Python2.5; if
66
 
# this is emitted at the wrong time it tends to cause spurious test failures
67
 
# or at least noise in the test case::
68
 
#
69
 
# [1770/7639 in 86s, 1 known failures, 50 skipped, 2 missing features]
70
 
# test_permissions.TestSftpPermissions.test_new_files
71
 
# /var/lib/python-support/python2.5/paramiko/message.py:226: DeprecationWarning: integer argument expected, got float
72
 
#  self.packet.write(struct.pack('>I', n))
73
 
warnings.filterwarnings('ignore',
74
 
        'integer argument expected, got float',
75
 
        category=DeprecationWarning,
76
 
        module='paramiko.message')
 
53
import bzrlib.ui
 
54
import bzrlib.urlutils as urlutils
77
55
 
78
56
try:
79
57
    import paramiko
82
60
else:
83
61
    from paramiko.sftp import (SFTP_FLAG_WRITE, SFTP_FLAG_CREATE,
84
62
                               SFTP_FLAG_EXCL, SFTP_FLAG_TRUNC,
85
 
                               SFTP_OK, CMD_HANDLE, CMD_OPEN)
 
63
                               CMD_HANDLE, CMD_OPEN)
86
64
    from paramiko.sftp_attr import SFTPAttributes
87
65
    from paramiko.sftp_file import SFTPFile
 
66
    from paramiko.sftp_client import SFTPClient
 
67
 
 
68
 
 
69
register_urlparse_netloc_protocol('sftp')
 
70
 
 
71
 
 
72
def _ignore_sigint():
 
73
    # TODO: This should possibly ignore SIGHUP as well, but bzr currently
 
74
    # doesn't handle it itself.
 
75
    # <https://launchpad.net/products/bzr/+bug/41433/+index>
 
76
    import signal
 
77
    signal.signal(signal.SIGINT, signal.SIG_IGN)
 
78
    
 
79
 
 
80
def os_specific_subprocess_params():
 
81
    """Get O/S specific subprocess parameters."""
 
82
    if sys.platform == 'win32':
 
83
        # setting the process group and closing fds is not supported on 
 
84
        # win32
 
85
        return {}
 
86
    else:
 
87
        # We close fds other than the pipes as the child process does not need 
 
88
        # them to be open.
 
89
        #
 
90
        # We also set the child process to ignore SIGINT.  Normally the signal
 
91
        # would be sent to every process in the foreground process group, but
 
92
        # this causes it to be seen only by bzr and not by ssh.  Python will
 
93
        # generate a KeyboardInterrupt in bzr, and we will then have a chance
 
94
        # to release locks or do other cleanup over ssh before the connection
 
95
        # goes away.  
 
96
        # <https://launchpad.net/products/bzr/+bug/5987>
 
97
        #
 
98
        # Running it in a separate process group is not good because then it
 
99
        # can't get non-echoed input of a password or passphrase.
 
100
        # <https://launchpad.net/products/bzr/+bug/40508>
 
101
        return {'preexec_fn': _ignore_sigint,
 
102
                'close_fds': True,
 
103
                }
88
104
 
89
105
 
90
106
_paramiko_version = getattr(paramiko, '__version_info__', (0, 0, 0))
91
107
# don't use prefetch unless paramiko version >= 1.5.5 (there were bugs earlier)
92
108
_default_do_prefetch = (_paramiko_version >= (1, 5, 5))
93
109
 
 
110
# Paramiko 1.5 tries to open a socket.AF_UNIX in order to connect
 
111
# to ssh-agent. That attribute doesn't exist on win32 (it does in cygwin)
 
112
# so we get an AttributeError exception. So we will not try to
 
113
# connect to an agent if we are on win32 and using Paramiko older than 1.6
 
114
_use_ssh_agent = (sys.platform != 'win32' or _paramiko_version >= (1, 6, 0))
 
115
 
 
116
 
 
117
_ssh_vendor = None
 
118
def _get_ssh_vendor():
 
119
    """Find out what version of SSH is on the system."""
 
120
    global _ssh_vendor
 
121
    if _ssh_vendor is not None:
 
122
        return _ssh_vendor
 
123
 
 
124
    _ssh_vendor = 'none'
 
125
 
 
126
    if 'BZR_SSH' in os.environ:
 
127
        _ssh_vendor = os.environ['BZR_SSH']
 
128
        if _ssh_vendor == 'paramiko':
 
129
            _ssh_vendor = 'none'
 
130
        return _ssh_vendor
 
131
 
 
132
    try:
 
133
        p = subprocess.Popen(['ssh', '-V'],
 
134
                             stdin=subprocess.PIPE,
 
135
                             stdout=subprocess.PIPE,
 
136
                             stderr=subprocess.PIPE,
 
137
                             **os_specific_subprocess_params())
 
138
        returncode = p.returncode
 
139
        stdout, stderr = p.communicate()
 
140
    except OSError:
 
141
        returncode = -1
 
142
        stdout = stderr = ''
 
143
    if 'OpenSSH' in stderr:
 
144
        mutter('ssh implementation is OpenSSH')
 
145
        _ssh_vendor = 'openssh'
 
146
    elif 'SSH Secure Shell' in stderr:
 
147
        mutter('ssh implementation is SSH Corp.')
 
148
        _ssh_vendor = 'ssh'
 
149
 
 
150
    if _ssh_vendor != 'none':
 
151
        return _ssh_vendor
 
152
 
 
153
    # XXX: 20051123 jamesh
 
154
    # A check for putty's plink or lsh would go here.
 
155
 
 
156
    mutter('falling back to paramiko implementation')
 
157
    return _ssh_vendor
 
158
 
 
159
 
 
160
class SFTPSubprocess:
 
161
    """A socket-like object that talks to an ssh subprocess via pipes."""
 
162
    def __init__(self, hostname, vendor, port=None, user=None):
 
163
        assert vendor in ['openssh', 'ssh']
 
164
        if vendor == 'openssh':
 
165
            args = ['ssh',
 
166
                    '-oForwardX11=no', '-oForwardAgent=no',
 
167
                    '-oClearAllForwardings=yes', '-oProtocol=2',
 
168
                    '-oNoHostAuthenticationForLocalhost=yes']
 
169
            if port is not None:
 
170
                args.extend(['-p', str(port)])
 
171
            if user is not None:
 
172
                args.extend(['-l', user])
 
173
            args.extend(['-s', hostname, 'sftp'])
 
174
        elif vendor == 'ssh':
 
175
            args = ['ssh', '-x']
 
176
            if port is not None:
 
177
                args.extend(['-p', str(port)])
 
178
            if user is not None:
 
179
                args.extend(['-l', user])
 
180
            args.extend(['-s', 'sftp', hostname])
 
181
 
 
182
        self.proc = subprocess.Popen(args,
 
183
                                     stdin=subprocess.PIPE,
 
184
                                     stdout=subprocess.PIPE,
 
185
                                     **os_specific_subprocess_params())
 
186
 
 
187
    def send(self, data):
 
188
        return os.write(self.proc.stdin.fileno(), data)
 
189
 
 
190
    def recv_ready(self):
 
191
        # TODO: jam 20051215 this function is necessary to support the
 
192
        # pipelined() function. In reality, it probably should use
 
193
        # poll() or select() to actually return if there is data
 
194
        # available, otherwise we probably don't get any benefit
 
195
        return True
 
196
 
 
197
    def recv(self, count):
 
198
        return os.read(self.proc.stdout.fileno(), count)
 
199
 
 
200
    def close(self):
 
201
        self.proc.stdin.close()
 
202
        self.proc.stdout.close()
 
203
        self.proc.wait()
 
204
 
 
205
 
 
206
class LoopbackSFTP(object):
 
207
    """Simple wrapper for a socket that pretends to be a paramiko Channel."""
 
208
 
 
209
    def __init__(self, sock):
 
210
        self.__socket = sock
 
211
 
 
212
    def send(self, data):
 
213
        return self.__socket.send(data)
 
214
 
 
215
    def recv(self, n):
 
216
        return self.__socket.recv(n)
 
217
 
 
218
    def recv_ready(self):
 
219
        return True
 
220
 
 
221
    def close(self):
 
222
        self.__socket.close()
 
223
 
 
224
 
 
225
SYSTEM_HOSTKEYS = {}
 
226
BZR_HOSTKEYS = {}
 
227
 
 
228
# This is a weakref dictionary, so that we can reuse connections
 
229
# that are still active. Long term, it might be nice to have some
 
230
# sort of expiration policy, such as disconnect if inactive for
 
231
# X seconds. But that requires a lot more fanciness.
 
232
_connected_hosts = weakref.WeakValueDictionary()
 
233
 
 
234
def clear_connection_cache():
 
235
    """Remove all hosts from the SFTP connection cache.
 
236
 
 
237
    Primarily useful for test cases wanting to force garbage collection.
 
238
    """
 
239
    _connected_hosts.clear()
 
240
 
 
241
 
 
242
def load_host_keys():
 
243
    """
 
244
    Load system host keys (probably doesn't work on windows) and any
 
245
    "discovered" keys from previous sessions.
 
246
    """
 
247
    global SYSTEM_HOSTKEYS, BZR_HOSTKEYS
 
248
    try:
 
249
        SYSTEM_HOSTKEYS = paramiko.util.load_host_keys(os.path.expanduser('~/.ssh/known_hosts'))
 
250
    except Exception, e:
 
251
        mutter('failed to load system host keys: ' + str(e))
 
252
    bzr_hostkey_path = pathjoin(config_dir(), 'ssh_host_keys')
 
253
    try:
 
254
        BZR_HOSTKEYS = paramiko.util.load_host_keys(bzr_hostkey_path)
 
255
    except Exception, e:
 
256
        mutter('failed to load bzr host keys: ' + str(e))
 
257
        save_host_keys()
 
258
 
 
259
 
 
260
def save_host_keys():
 
261
    """
 
262
    Save "discovered" host keys in $(config)/ssh_host_keys/.
 
263
    """
 
264
    global SYSTEM_HOSTKEYS, BZR_HOSTKEYS
 
265
    bzr_hostkey_path = pathjoin(config_dir(), 'ssh_host_keys')
 
266
    ensure_config_dir_exists()
 
267
 
 
268
    try:
 
269
        f = open(bzr_hostkey_path, 'w')
 
270
        f.write('# SSH host keys collected by bzr\n')
 
271
        for hostname, keys in BZR_HOSTKEYS.iteritems():
 
272
            for keytype, key in keys.iteritems():
 
273
                f.write('%s %s %s\n' % (hostname, keytype, key.get_base64()))
 
274
        f.close()
 
275
    except IOError, e:
 
276
        mutter('failed to save bzr host keys: ' + str(e))
 
277
 
94
278
 
95
279
class SFTPLock(object):
96
 
    """This fakes a lock in a remote location.
97
 
 
98
 
    A present lock is indicated just by the existence of a file.  This
99
 
    doesn't work well on all transports and they are only used in
100
 
    deprecated storage formats.
101
 
    """
102
 
 
 
280
    """This fakes a lock in a remote location."""
103
281
    __slots__ = ['path', 'lock_path', 'lock_file', 'transport']
104
 
 
105
282
    def __init__(self, path, transport):
 
283
        assert isinstance(transport, SFTPTransport)
 
284
 
106
285
        self.lock_file = None
107
286
        self.path = path
108
287
        self.lock_path = path + '.write-lock'
132
311
            pass
133
312
 
134
313
 
135
 
class _SFTPReadvHelper(object):
136
 
    """A class to help with managing the state of a readv request."""
137
 
 
138
 
    # See _get_requests for an explanation.
139
 
    _max_request_size = 32768
140
 
 
141
 
    def __init__(self, original_offsets, relpath, _report_activity):
142
 
        """Create a new readv helper.
143
 
 
144
 
        :param original_offsets: The original requests given by the caller of
145
 
            readv()
146
 
        :param relpath: The name of the file (if known)
147
 
        :param _report_activity: A Transport._report_activity bound method,
148
 
            to be called as data arrives.
149
 
        """
150
 
        self.original_offsets = list(original_offsets)
151
 
        self.relpath = relpath
152
 
        self._report_activity = _report_activity
153
 
 
154
 
    def _get_requests(self):
155
 
        """Break up the offsets into individual requests over sftp.
156
 
 
157
 
        The SFTP spec only requires implementers to support 32kB requests. We
158
 
        could try something larger (openssh supports 64kB), but then we have to
159
 
        handle requests that fail.
160
 
        So instead, we just break up our maximum chunks into 32kB chunks, and
161
 
        asyncronously requests them.
162
 
        Newer versions of paramiko would do the chunking for us, but we want to
163
 
        start processing results right away, so we do it ourselves.
164
 
        """
165
 
        # TODO: Because we issue async requests, we don't 'fudge' any extra
166
 
        #       data.  I'm not 100% sure that is the best choice.
167
 
 
168
 
        # The first thing we do, is to collapse the individual requests as much
169
 
        # as possible, so we don't issues requests <32kB
170
 
        sorted_offsets = sorted(self.original_offsets)
171
 
        coalesced = list(ConnectedTransport._coalesce_offsets(sorted_offsets,
172
 
                                                        limit=0, fudge_factor=0))
173
 
        requests = []
174
 
        for c_offset in coalesced:
175
 
            start = c_offset.start
176
 
            size = c_offset.length
177
 
 
178
 
            # Break this up into 32kB requests
179
 
            while size > 0:
180
 
                next_size = min(size, self._max_request_size)
181
 
                requests.append((start, next_size))
182
 
                size -= next_size
183
 
                start += next_size
184
 
        if 'sftp' in debug.debug_flags:
185
 
            mutter('SFTP.readv(%s) %s offsets => %s coalesced => %s requests',
186
 
                self.relpath, len(sorted_offsets), len(coalesced),
187
 
                len(requests))
188
 
        return requests
189
 
 
190
 
    def request_and_yield_offsets(self, fp):
191
 
        """Request the data from the remote machine, yielding the results.
192
 
 
193
 
        :param fp: A Paramiko SFTPFile object that supports readv.
194
 
        :return: Yield the data requested by the original readv caller, one by
195
 
            one.
196
 
        """
197
 
        requests = self._get_requests()
198
 
        offset_iter = iter(self.original_offsets)
199
 
        cur_offset, cur_size = offset_iter.next()
200
 
        # paramiko .readv() yields strings that are in the order of the requests
201
 
        # So we track the current request to know where the next data is
202
 
        # being returned from.
203
 
        input_start = None
204
 
        last_end = None
205
 
        buffered_data = []
206
 
        buffered_len = 0
207
 
 
208
 
        # This is used to buffer chunks which we couldn't process yet
209
 
        # It is (start, end, data) tuples.
210
 
        data_chunks = []
211
 
        # Create an 'unlimited' data stream, so we stop based on requests,
212
 
        # rather than just because the data stream ended. This lets us detect
213
 
        # short readv.
214
 
        data_stream = itertools.chain(fp.readv(requests),
215
 
                                      itertools.repeat(None))
216
 
        for (start, length), data in itertools.izip(requests, data_stream):
217
 
            if data is None:
218
 
                if cur_coalesced is not None:
219
 
                    raise errors.ShortReadvError(self.relpath,
220
 
                        start, length, len(data))
221
 
            if len(data) != length:
222
 
                raise errors.ShortReadvError(self.relpath,
223
 
                    start, length, len(data))
224
 
            self._report_activity(length, 'read')
225
 
            if last_end is None:
226
 
                # This is the first request, just buffer it
227
 
                buffered_data = [data]
228
 
                buffered_len = length
229
 
                input_start = start
230
 
            elif start == last_end:
231
 
                # The data we are reading fits neatly on the previous
232
 
                # buffer, so this is all part of a larger coalesced range.
233
 
                buffered_data.append(data)
234
 
                buffered_len += length
235
 
            else:
236
 
                # We have an 'interrupt' in the data stream. So we know we are
237
 
                # at a request boundary.
238
 
                if buffered_len > 0:
239
 
                    # We haven't consumed the buffer so far, so put it into
240
 
                    # data_chunks, and continue.
241
 
                    buffered = ''.join(buffered_data)
242
 
                    data_chunks.append((input_start, buffered))
243
 
                input_start = start
244
 
                buffered_data = [data]
245
 
                buffered_len = length
246
 
            last_end = start + length
247
 
            if input_start == cur_offset and cur_size <= buffered_len:
248
 
                # Simplify the next steps a bit by transforming buffered_data
249
 
                # into a single string. We also have the nice property that
250
 
                # when there is only one string ''.join([x]) == x, so there is
251
 
                # no data copying.
252
 
                buffered = ''.join(buffered_data)
253
 
                # Clean out buffered data so that we keep memory
254
 
                # consumption low
255
 
                del buffered_data[:]
256
 
                buffered_offset = 0
257
 
                # TODO: We *could* also consider the case where cur_offset is in
258
 
                #       in the buffered range, even though it doesn't *start*
259
 
                #       the buffered range. But for packs we pretty much always
260
 
                #       read in order, so you won't get any extra data in the
261
 
                #       middle.
262
 
                while (input_start == cur_offset
263
 
                       and (buffered_offset + cur_size) <= buffered_len):
264
 
                    # We've buffered enough data to process this request, spit it
265
 
                    # out
266
 
                    cur_data = buffered[buffered_offset:buffered_offset + cur_size]
267
 
                    # move the direct pointer into our buffered data
268
 
                    buffered_offset += cur_size
269
 
                    # Move the start-of-buffer pointer
270
 
                    input_start += cur_size
271
 
                    # Yield the requested data
272
 
                    yield cur_offset, cur_data
273
 
                    cur_offset, cur_size = offset_iter.next()
274
 
                # at this point, we've consumed as much of buffered as we can,
275
 
                # so break off the portion that we consumed
276
 
                if buffered_offset == len(buffered_data):
277
 
                    # No tail to leave behind
278
 
                    buffered_data = []
279
 
                    buffered_len = 0
280
 
                else:
281
 
                    buffered = buffered[buffered_offset:]
282
 
                    buffered_data = [buffered]
283
 
                    buffered_len = len(buffered)
284
 
        if buffered_len:
285
 
            buffered = ''.join(buffered_data)
286
 
            del buffered_data[:]
287
 
            data_chunks.append((input_start, buffered))
288
 
        if data_chunks:
289
 
            if 'sftp' in debug.debug_flags:
290
 
                mutter('SFTP readv left with %d out-of-order bytes',
291
 
                    sum(map(lambda x: len(x[1]), data_chunks)))
292
 
            # We've processed all the readv data, at this point, anything we
293
 
            # couldn't process is in data_chunks. This doesn't happen often, so
294
 
            # this code path isn't optimized
295
 
            # We use an interesting process for data_chunks
296
 
            # Specifically if we have "bisect_left([(start, len, entries)],
297
 
            #                                       (qstart,)])
298
 
            # If start == qstart, then we get the specific node. Otherwise we
299
 
            # get the previous node
300
 
            while True:
301
 
                idx = bisect.bisect_left(data_chunks, (cur_offset,))
302
 
                if idx < len(data_chunks) and data_chunks[idx][0] == cur_offset:
303
 
                    # The data starts here
304
 
                    data = data_chunks[idx][1][:cur_size]
305
 
                elif idx > 0:
306
 
                    # The data is in a portion of a previous page
307
 
                    idx -= 1
308
 
                    sub_offset = cur_offset - data_chunks[idx][0]
309
 
                    data = data_chunks[idx][1]
310
 
                    data = data[sub_offset:sub_offset + cur_size]
311
 
                else:
312
 
                    # We are missing the page where the data should be found,
313
 
                    # something is wrong
314
 
                    data = ''
315
 
                if len(data) != cur_size:
316
 
                    raise AssertionError('We must have miscalulated.'
317
 
                        ' We expected %d bytes, but only found %d'
318
 
                        % (cur_size, len(data)))
319
 
                yield cur_offset, data
320
 
                cur_offset, cur_size = offset_iter.next()
321
 
 
322
 
 
323
 
class SFTPTransport(ConnectedTransport):
324
 
    """Transport implementation for SFTP access."""
 
314
class SFTPTransport (Transport):
 
315
    """Transport implementation for SFTP access"""
325
316
 
326
317
    _do_prefetch = _default_do_prefetch
327
318
    # TODO: jam 20060717 Conceivably these could be configurable, either
341
332
    # up the request itself, rather than us having to worry about it
342
333
    _max_request_size = 32768
343
334
 
344
 
    def __init__(self, base, _from_transport=None):
345
 
        super(SFTPTransport, self).__init__(base,
346
 
                                            _from_transport=_from_transport)
347
 
 
 
335
    def __init__(self, base, clone_from=None):
 
336
        assert base.startswith('sftp://')
 
337
        self._parse_url(base)
 
338
        base = self._unparse_url()
 
339
        if base[-1] != '/':
 
340
            base += '/'
 
341
        super(SFTPTransport, self).__init__(base)
 
342
        if clone_from is None:
 
343
            self._sftp_connect()
 
344
        else:
 
345
            # use the same ssh connection, etc
 
346
            self._sftp = clone_from._sftp
 
347
        # super saves 'self.base'
 
348
    
 
349
    def should_cache(self):
 
350
        """
 
351
        Return True if the data pulled across should be cached locally.
 
352
        """
 
353
        return True
 
354
 
 
355
    def clone(self, offset=None):
 
356
        """
 
357
        Return a new SFTPTransport with root at self.base + offset.
 
358
        We share the same SFTP session between such transports, because it's
 
359
        fairly expensive to set them up.
 
360
        """
 
361
        if offset is None:
 
362
            return SFTPTransport(self.base, self)
 
363
        else:
 
364
            return SFTPTransport(self.abspath(offset), self)
 
365
 
 
366
    def abspath(self, relpath):
 
367
        """
 
368
        Return the full url to the given relative path.
 
369
        
 
370
        @param relpath: the relative path or path components
 
371
        @type relpath: str or list
 
372
        """
 
373
        return self._unparse_url(self._remote_path(relpath))
 
374
    
348
375
    def _remote_path(self, relpath):
349
376
        """Return the path to be passed along the sftp protocol for relpath.
350
 
 
351
 
        :param relpath: is a urlencoded string.
352
 
        """
353
 
        relative = urlutils.unescape(relpath).encode('utf-8')
354
 
        remote_path = self._combine_paths(self._path, relative)
355
 
        # the initial slash should be removed from the path, and treated as a
356
 
        # homedir relative path (the path begins with a double slash if it is
357
 
        # absolute).  see draft-ietf-secsh-scp-sftp-ssh-uri-03.txt
358
 
        # RBC 20060118 we are not using this as its too user hostile. instead
359
 
        # we are following lftp and using /~/foo to mean '~/foo'
360
 
        # vila--20070602 and leave absolute paths begin with a single slash.
361
 
        if remote_path.startswith('/~/'):
362
 
            remote_path = remote_path[3:]
363
 
        elif remote_path == '/~':
364
 
            remote_path = ''
365
 
        return remote_path
366
 
 
367
 
    def _create_connection(self, credentials=None):
368
 
        """Create a new connection with the provided credentials.
369
 
 
370
 
        :param credentials: The credentials needed to establish the connection.
371
 
 
372
 
        :return: The created connection and its associated credentials.
373
 
 
374
 
        The credentials are only the password as it may have been entered
375
 
        interactively by the user and may be different from the one provided
376
 
        in base url at transport creation time.
377
 
        """
378
 
        if credentials is None:
379
 
            password = self._password
380
 
        else:
381
 
            password = credentials
382
 
 
383
 
        vendor = ssh._get_ssh_vendor()
384
 
        user = self._user
385
 
        if user is None:
386
 
            auth = config.AuthenticationConfig()
387
 
            user = auth.get_user('ssh', self._host, self._port)
388
 
        connection = vendor.connect_sftp(self._user, password,
389
 
                                         self._host, self._port)
390
 
        return connection, (user, password)
391
 
 
392
 
    def _get_sftp(self):
393
 
        """Ensures that a connection is established"""
394
 
        connection = self._get_connection()
395
 
        if connection is None:
396
 
            # First connection ever
397
 
            connection, credentials = self._create_connection()
398
 
            self._set_connection(connection, credentials)
399
 
        return connection
 
377
        
 
378
        relpath is a urlencoded string.
 
379
        """
 
380
        # FIXME: share the common code across transports
 
381
        assert isinstance(relpath, basestring)
 
382
        relpath = urlutils.unescape(relpath).split('/')
 
383
        basepath = self._path.split('/')
 
384
        if len(basepath) > 0 and basepath[-1] == '':
 
385
            basepath = basepath[:-1]
 
386
 
 
387
        for p in relpath:
 
388
            if p == '..':
 
389
                if len(basepath) == 0:
 
390
                    # In most filesystems, a request for the parent
 
391
                    # of root, just returns root.
 
392
                    continue
 
393
                basepath.pop()
 
394
            elif p == '.':
 
395
                continue # No-op
 
396
            else:
 
397
                basepath.append(p)
 
398
 
 
399
        path = '/'.join(basepath)
 
400
        # mutter('relpath => remotepath %s => %s', relpath, path)
 
401
        return path
 
402
 
 
403
    def relpath(self, abspath):
 
404
        username, password, host, port, path = self._split_url(abspath)
 
405
        error = []
 
406
        if (username != self._username):
 
407
            error.append('username mismatch')
 
408
        if (host != self._host):
 
409
            error.append('host mismatch')
 
410
        if (port != self._port):
 
411
            error.append('port mismatch')
 
412
        if (not path.startswith(self._path)):
 
413
            error.append('path mismatch')
 
414
        if error:
 
415
            extra = ': ' + ', '.join(error)
 
416
            raise PathNotChild(abspath, self.base, extra=extra)
 
417
        pl = len(self._path)
 
418
        return path[pl:].strip('/')
400
419
 
401
420
    def has(self, relpath):
402
421
        """
403
422
        Does the target location exist?
404
423
        """
405
424
        try:
406
 
            self._get_sftp().stat(self._remote_path(relpath))
407
 
            # stat result is about 20 bytes, let's say
408
 
            self._report_activity(20, 'read')
 
425
            self._sftp.stat(self._remote_path(relpath))
409
426
            return True
410
427
        except IOError:
411
428
            return False
412
429
 
413
430
    def get(self, relpath):
414
 
        """Get the file at the given relative path.
 
431
        """
 
432
        Get the file at the given relative path.
415
433
 
416
434
        :param relpath: The relative path to the file
417
435
        """
418
436
        try:
419
 
            # FIXME: by returning the file directly, we don't pass this
420
 
            # through to report_activity.  We could try wrapping the object
421
 
            # before it's returned.  For readv and get_bytes it's handled in
422
 
            # the higher-level function.
423
 
            # -- mbp 20090126
424
437
            path = self._remote_path(relpath)
425
 
            f = self._get_sftp().file(path, mode='rb')
 
438
            f = self._sftp.file(path, mode='rb')
426
439
            if self._do_prefetch and (getattr(f, 'prefetch', None) is not None):
427
440
                f.prefetch()
428
441
            return f
429
442
        except (IOError, paramiko.SSHException), e:
430
 
            self._translate_io_exception(e, path, ': error retrieving',
431
 
                failure_exc=errors.ReadError)
432
 
 
433
 
    def get_bytes(self, relpath):
434
 
        # reimplement this here so that we can report how many bytes came back
435
 
        f = self.get(relpath)
436
 
        try:
437
 
            bytes = f.read()
438
 
            self._report_activity(len(bytes), 'read')
439
 
            return bytes
440
 
        finally:
441
 
            f.close()
442
 
 
443
 
    def _readv(self, relpath, offsets):
 
443
            self._translate_io_exception(e, path, ': error retrieving')
 
444
 
 
445
    def readv(self, relpath, offsets):
444
446
        """See Transport.readv()"""
445
447
        # We overload the default readv() because we want to use a file
446
448
        # that does not have prefetch enabled.
450
452
 
451
453
        try:
452
454
            path = self._remote_path(relpath)
453
 
            fp = self._get_sftp().file(path, mode='rb')
 
455
            fp = self._sftp.file(path, mode='rb')
454
456
            readv = getattr(fp, 'readv', None)
455
457
            if readv:
456
 
                return self._sftp_readv(fp, offsets, relpath)
457
 
            if 'sftp' in debug.debug_flags:
458
 
                mutter('seek and read %s offsets', len(offsets))
459
 
            return self._seek_and_read(fp, offsets, relpath)
 
458
                return self._sftp_readv(fp, offsets)
 
459
            mutter('seek and read %s offsets', len(offsets))
 
460
            return self._seek_and_read(fp, offsets)
460
461
        except (IOError, paramiko.SSHException), e:
461
462
            self._translate_io_exception(e, path, ': error retrieving')
462
463
 
463
 
    def recommended_page_size(self):
464
 
        """See Transport.recommended_page_size().
465
 
 
466
 
        For SFTP we suggest a large page size to reduce the overhead
467
 
        introduced by latency.
468
 
        """
469
 
        return 64 * 1024
470
 
 
471
 
    def _sftp_readv(self, fp, offsets, relpath):
 
464
    def _sftp_readv(self, fp, offsets):
472
465
        """Use the readv() member of fp to do async readv.
473
466
 
474
 
        Then read them using paramiko.readv(). paramiko.readv()
 
467
        And then read them using paramiko.readv(). paramiko.readv()
475
468
        does not support ranges > 64K, so it caps the request size, and
476
 
        just reads until it gets all the stuff it wants.
477
 
        """
478
 
        helper = _SFTPReadvHelper(offsets, relpath, self._report_activity)
479
 
        return helper.request_and_yield_offsets(fp)
480
 
 
481
 
    def put_file(self, relpath, f, mode=None):
482
 
        """
483
 
        Copy the file-like object into the location.
 
469
        just reads until it gets all the stuff it wants
 
470
        """
 
471
        offsets = list(offsets)
 
472
        sorted_offsets = sorted(offsets)
 
473
 
 
474
        # The algorithm works as follows:
 
475
        # 1) Coalesce nearby reads into a single chunk
 
476
        #    This generates a list of combined regions, the total size
 
477
        #    and the size of the sub regions. This coalescing step is limited
 
478
        #    in the number of nearby chunks to combine, and is allowed to
 
479
        #    skip small breaks in the requests. Limiting it makes sure that
 
480
        #    we can start yielding some data earlier, and skipping means we
 
481
        #    make fewer requests. (Beneficial even when using async)
 
482
        # 2) Break up this combined regions into chunks that are smaller
 
483
        #    than 64KiB. Technically the limit is 65536, but we are a
 
484
        #    little bit conservative. This is because sftp has a maximum
 
485
        #    return chunk size of 64KiB (max size of an unsigned short)
 
486
        # 3) Issue a readv() to paramiko to create an async request for
 
487
        #    all of this data
 
488
        # 4) Read in the data as it comes back, until we've read one
 
489
        #    continuous section as determined in step 1
 
490
        # 5) Break up the full sections into hunks for the original requested
 
491
        #    offsets. And put them in a cache
 
492
        # 6) Check if the next request is in the cache, and if it is, remove
 
493
        #    it from the cache, and yield its data. Continue until no more
 
494
        #    entries are in the cache.
 
495
        # 7) loop back to step 4 until all data has been read
 
496
        #
 
497
        # TODO: jam 20060725 This could be optimized one step further, by
 
498
        #       attempting to yield whatever data we have read, even before
 
499
        #       the first coallesced section has been fully processed.
 
500
 
 
501
        # When coalescing for use with readv(), we don't really need to
 
502
        # use any fudge factor, because the requests are made asynchronously
 
503
        coalesced = list(self._coalesce_offsets(sorted_offsets,
 
504
                               limit=self._max_readv_combine,
 
505
                               fudge_factor=0,
 
506
                               ))
 
507
        requests = []
 
508
        for c_offset in coalesced:
 
509
            start = c_offset.start
 
510
            size = c_offset.length
 
511
 
 
512
            # We need to break this up into multiple requests
 
513
            while size > 0:
 
514
                next_size = min(size, self._max_request_size)
 
515
                requests.append((start, next_size))
 
516
                size -= next_size
 
517
                start += next_size
 
518
 
 
519
        mutter('SFTP.readv() %s offsets => %s coalesced => %s requests',
 
520
                len(offsets), len(coalesced), len(requests))
 
521
 
 
522
        # Queue the current read until we have read the full coalesced section
 
523
        cur_data = []
 
524
        cur_data_len = 0
 
525
        cur_coalesced_stack = iter(coalesced)
 
526
        cur_coalesced = cur_coalesced_stack.next()
 
527
 
 
528
        # Cache the results, but only until they have been fulfilled
 
529
        data_map = {}
 
530
        # turn the list of offsets into a stack
 
531
        offset_stack = iter(offsets)
 
532
        cur_offset_and_size = offset_stack.next()
 
533
 
 
534
        for data in fp.readv(requests):
 
535
            cur_data += data
 
536
            cur_data_len += len(data)
 
537
 
 
538
            if cur_data_len < cur_coalesced.length:
 
539
                continue
 
540
            assert cur_data_len == cur_coalesced.length, \
 
541
                "Somehow we read too much: %s != %s" % (cur_data_len,
 
542
                                                        cur_coalesced.length)
 
543
            all_data = ''.join(cur_data)
 
544
            cur_data = []
 
545
            cur_data_len = 0
 
546
 
 
547
            for suboffset, subsize in cur_coalesced.ranges:
 
548
                key = (cur_coalesced.start+suboffset, subsize)
 
549
                data_map[key] = all_data[suboffset:suboffset+subsize]
 
550
 
 
551
            # Now that we've read some data, see if we can yield anything back
 
552
            while cur_offset_and_size in data_map:
 
553
                this_data = data_map.pop(cur_offset_and_size)
 
554
                yield cur_offset_and_size[0], this_data
 
555
                cur_offset_and_size = offset_stack.next()
 
556
 
 
557
            # Now that we've read all of the data for this coalesced section
 
558
            # on to the next
 
559
            cur_coalesced = cur_coalesced_stack.next()
 
560
 
 
561
    def put(self, relpath, f, mode=None):
 
562
        """
 
563
        Copy the file-like or string object into the location.
484
564
 
485
565
        :param relpath: Location to put the contents, relative to base.
486
 
        :param f:       File-like object.
 
566
        :param f:       File-like or string object.
487
567
        :param mode: The final mode for the file
488
568
        """
489
569
        final_path = self._remote_path(relpath)
490
 
        return self._put(final_path, f, mode=mode)
 
570
        self._put(final_path, f, mode=mode)
491
571
 
492
572
    def _put(self, abspath, f, mode=None):
493
573
        """Helper function so both put() and copy_abspaths can reuse the code"""
498
578
        try:
499
579
            try:
500
580
                fout.set_pipelined(True)
501
 
                length = self._pump(f, fout)
 
581
                self._pump(f, fout)
502
582
            except (IOError, paramiko.SSHException), e:
503
583
                self._translate_io_exception(e, tmp_abspath)
504
 
            # XXX: This doesn't truly help like we would like it to.
505
 
            #      The problem is that openssh strips sticky bits. So while we
506
 
            #      can properly set group write permission, we lose the group
507
 
            #      sticky bit. So it is probably best to stop chmodding, and
508
 
            #      just tell users that they need to set the umask correctly.
509
 
            #      The attr.st_mode = mode, in _sftp_open_exclusive
510
 
            #      will handle when the user wants the final mode to be more
511
 
            #      restrictive. And then we avoid a round trip. Unless
512
 
            #      paramiko decides to expose an async chmod()
513
 
 
514
 
            # This is designed to chmod() right before we close.
515
 
            # Because we set_pipelined() earlier, theoretically we might
516
 
            # avoid the round trip for fout.close()
517
584
            if mode is not None:
518
 
                self._get_sftp().chmod(tmp_abspath, mode)
 
585
                self._sftp.chmod(tmp_abspath, mode)
519
586
            fout.close()
520
587
            closed = True
521
588
            self._rename_and_overwrite(tmp_abspath, abspath)
522
 
            return length
523
589
        except Exception, e:
524
590
            # If we fail, try to clean up the temporary file
525
591
            # before we throw the exception
531
597
            try:
532
598
                if not closed:
533
599
                    fout.close()
534
 
                self._get_sftp().remove(tmp_abspath)
 
600
                self._sftp.remove(tmp_abspath)
535
601
            except:
536
602
                # raise the saved except
537
603
                raise e
538
604
            # raise the original with its traceback if we can.
539
605
            raise
540
606
 
541
 
    def _put_non_atomic_helper(self, relpath, writer, mode=None,
542
 
                               create_parent_dir=False,
543
 
                               dir_mode=None):
544
 
        abspath = self._remote_path(relpath)
545
 
 
546
 
        # TODO: jam 20060816 paramiko doesn't publicly expose a way to
547
 
        #       set the file mode at create time. If it does, use it.
548
 
        #       But for now, we just chmod later anyway.
549
 
 
550
 
        def _open_and_write_file():
551
 
            """Try to open the target file, raise error on failure"""
552
 
            fout = None
553
 
            try:
554
 
                try:
555
 
                    fout = self._get_sftp().file(abspath, mode='wb')
556
 
                    fout.set_pipelined(True)
557
 
                    writer(fout)
558
 
                except (paramiko.SSHException, IOError), e:
559
 
                    self._translate_io_exception(e, abspath,
560
 
                                                 ': unable to open')
561
 
 
562
 
                # This is designed to chmod() right before we close.
563
 
                # Because we set_pipelined() earlier, theoretically we might
564
 
                # avoid the round trip for fout.close()
565
 
                if mode is not None:
566
 
                    self._get_sftp().chmod(abspath, mode)
567
 
            finally:
568
 
                if fout is not None:
569
 
                    fout.close()
570
 
 
571
 
        if not create_parent_dir:
572
 
            _open_and_write_file()
573
 
            return
574
 
 
575
 
        # Try error handling to create the parent directory if we need to
576
 
        try:
577
 
            _open_and_write_file()
578
 
        except NoSuchFile:
579
 
            # Try to create the parent directory, and then go back to
580
 
            # writing the file
581
 
            parent_dir = os.path.dirname(abspath)
582
 
            self._mkdir(parent_dir, dir_mode)
583
 
            _open_and_write_file()
584
 
 
585
 
    def put_file_non_atomic(self, relpath, f, mode=None,
586
 
                            create_parent_dir=False,
587
 
                            dir_mode=None):
588
 
        """Copy the file-like object into the target location.
589
 
 
590
 
        This function is not strictly safe to use. It is only meant to
591
 
        be used when you already know that the target does not exist.
592
 
        It is not safe, because it will open and truncate the remote
593
 
        file. So there may be a time when the file has invalid contents.
594
 
 
595
 
        :param relpath: The remote location to put the contents.
596
 
        :param f:       File-like object.
597
 
        :param mode:    Possible access permissions for new file.
598
 
                        None means do not set remote permissions.
599
 
        :param create_parent_dir: If we cannot create the target file because
600
 
                        the parent directory does not exist, go ahead and
601
 
                        create it, and then try again.
602
 
        """
603
 
        def writer(fout):
604
 
            self._pump(f, fout)
605
 
        self._put_non_atomic_helper(relpath, writer, mode=mode,
606
 
                                    create_parent_dir=create_parent_dir,
607
 
                                    dir_mode=dir_mode)
608
 
 
609
 
    def put_bytes_non_atomic(self, relpath, bytes, mode=None,
610
 
                             create_parent_dir=False,
611
 
                             dir_mode=None):
612
 
        def writer(fout):
613
 
            fout.write(bytes)
614
 
        self._put_non_atomic_helper(relpath, writer, mode=mode,
615
 
                                    create_parent_dir=create_parent_dir,
616
 
                                    dir_mode=dir_mode)
617
 
 
618
607
    def iter_files_recursive(self):
619
608
        """Walk the relative paths of all files in this transport."""
620
 
        # progress is handled by list_dir
621
609
        queue = list(self.list_dir('.'))
622
610
        while queue:
623
 
            relpath = queue.pop(0)
 
611
            relpath = urllib.quote(queue.pop(0))
624
612
            st = self.stat(relpath)
625
613
            if stat.S_ISDIR(st.st_mode):
626
614
                for i, basename in enumerate(self.list_dir(relpath)):
628
616
            else:
629
617
                yield relpath
630
618
 
631
 
    def _mkdir(self, abspath, mode=None):
632
 
        if mode is None:
633
 
            local_mode = 0777
634
 
        else:
635
 
            local_mode = mode
636
 
        try:
637
 
            self._report_activity(len(abspath), 'write')
638
 
            self._get_sftp().mkdir(abspath, local_mode)
639
 
            self._report_activity(1, 'read')
640
 
            if mode is not None:
641
 
                # chmod a dir through sftp will erase any sgid bit set
642
 
                # on the server side.  So, if the bit mode are already
643
 
                # set, avoid the chmod.  If the mode is not fine but
644
 
                # the sgid bit is set, report a warning to the user
645
 
                # with the umask fix.
646
 
                stat = self._get_sftp().lstat(abspath)
647
 
                mode = mode & 0777 # can't set special bits anyway
648
 
                if mode != stat.st_mode & 0777:
649
 
                    if stat.st_mode & 06000:
650
 
                        warning('About to chmod %s over sftp, which will result'
651
 
                                ' in its suid or sgid bits being cleared.  If'
652
 
                                ' you want to preserve those bits, change your '
653
 
                                ' environment on the server to use umask 0%03o.'
654
 
                                % (abspath, 0777 - mode))
655
 
                    self._get_sftp().chmod(abspath, mode=mode)
656
 
        except (paramiko.SSHException, IOError), e:
657
 
            self._translate_io_exception(e, abspath, ': unable to mkdir',
658
 
                failure_exc=FileExists)
659
 
 
660
619
    def mkdir(self, relpath, mode=None):
661
620
        """Create a directory at the given path."""
662
 
        self._mkdir(self._remote_path(relpath), mode=mode)
663
 
 
664
 
    def open_write_stream(self, relpath, mode=None):
665
 
        """See Transport.open_write_stream."""
666
 
        # initialise the file to zero-length
667
 
        # this is three round trips, but we don't use this
668
 
        # api more than once per write_group at the moment so
669
 
        # it is a tolerable overhead. Better would be to truncate
670
 
        # the file after opening. RBC 20070805
671
 
        self.put_bytes_non_atomic(relpath, "", mode)
672
 
        abspath = self._remote_path(relpath)
673
 
        # TODO: jam 20060816 paramiko doesn't publicly expose a way to
674
 
        #       set the file mode at create time. If it does, use it.
675
 
        #       But for now, we just chmod later anyway.
676
 
        handle = None
 
621
        path = self._remote_path(relpath)
677
622
        try:
678
 
            handle = self._get_sftp().file(abspath, mode='wb')
679
 
            handle.set_pipelined(True)
 
623
            # In the paramiko documentation, it says that passing a mode flag 
 
624
            # will filtered against the server umask.
 
625
            # StubSFTPServer does not do this, which would be nice, because it is
 
626
            # what we really want :)
 
627
            # However, real servers do use umask, so we really should do it that way
 
628
            self._sftp.mkdir(path)
 
629
            if mode is not None:
 
630
                self._sftp.chmod(path, mode=mode)
680
631
        except (paramiko.SSHException, IOError), e:
681
 
            self._translate_io_exception(e, abspath,
682
 
                                         ': unable to open')
683
 
        _file_streams[self.abspath(relpath)] = handle
684
 
        return FileFileStream(self, relpath, handle)
 
632
            self._translate_io_exception(e, path, ': unable to mkdir',
 
633
                failure_exc=FileExists)
685
634
 
686
 
    def _translate_io_exception(self, e, path, more_info='',
 
635
    def _translate_io_exception(self, e, path, more_info='', 
687
636
                                failure_exc=PathError):
688
637
        """Translate a paramiko or IOError into a friendlier exception.
689
638
 
694
643
        :param failure_exc: Paramiko has the super fun ability to raise completely
695
644
                           opaque errors that just set "e.args = ('Failure',)" with
696
645
                           no more information.
697
 
                           If this parameter is set, it defines the exception
 
646
                           If this parameter is set, it defines the exception 
698
647
                           to raise in these cases.
699
648
        """
700
649
        # paramiko seems to generate detailless errors.
701
650
        self._translate_error(e, path, raise_generic=False)
702
 
        if getattr(e, 'args', None) is not None:
 
651
        if hasattr(e, 'args'):
703
652
            if (e.args == ('No such file or directory',) or
704
653
                e.args == ('No such file',)):
705
654
                raise NoSuchFile(path, str(e) + more_info)
706
 
            if (e.args == ('mkdir failed',) or
707
 
                e.args[0].startswith('syserr: File exists')):
 
655
            if (e.args == ('mkdir failed',)):
708
656
                raise FileExists(path, str(e) + more_info)
709
657
            # strange but true, for the paramiko server.
710
658
            if (e.args == ('Failure',)):
711
659
                raise failure_exc(path, str(e) + more_info)
712
 
            # Can be something like args = ('Directory not empty:
713
 
            # '/srv/bazaar.launchpad.net/blah...: '
714
 
            # [Errno 39] Directory not empty',)
715
 
            if (e.args[0].startswith('Directory not empty: ')
716
 
                or getattr(e, 'errno', None) == errno.ENOTEMPTY):
717
 
                raise errors.DirectoryNotEmpty(path, str(e))
718
660
            mutter('Raising exception with args %s', e.args)
719
 
        if getattr(e, 'errno', None) is not None:
 
661
        if hasattr(e, 'errno'):
720
662
            mutter('Raising exception with errno %s', e.errno)
721
663
        raise e
722
664
 
723
 
    def append_file(self, relpath, f, mode=None):
 
665
    def append(self, relpath, f, mode=None):
724
666
        """
725
667
        Append the text in the file-like object into the final
726
668
        location.
727
669
        """
728
670
        try:
729
671
            path = self._remote_path(relpath)
730
 
            fout = self._get_sftp().file(path, 'ab')
 
672
            fout = self._sftp.file(path, 'ab')
731
673
            if mode is not None:
732
 
                self._get_sftp().chmod(path, mode)
 
674
                self._sftp.chmod(path, mode)
733
675
            result = fout.tell()
734
676
            self._pump(f, fout)
735
677
            return result
739
681
    def rename(self, rel_from, rel_to):
740
682
        """Rename without special overwriting"""
741
683
        try:
742
 
            self._get_sftp().rename(self._remote_path(rel_from),
 
684
            self._sftp.rename(self._remote_path(rel_from),
743
685
                              self._remote_path(rel_to))
744
686
        except (IOError, paramiko.SSHException), e:
745
687
            self._translate_io_exception(e, rel_from,
747
689
 
748
690
    def _rename_and_overwrite(self, abs_from, abs_to):
749
691
        """Do a fancy rename on the remote server.
750
 
 
 
692
        
751
693
        Using the implementation provided by osutils.
752
694
        """
753
695
        try:
754
 
            sftp = self._get_sftp()
755
696
            fancy_rename(abs_from, abs_to,
756
 
                         rename_func=sftp.rename,
757
 
                         unlink_func=sftp.remove)
 
697
                    rename_func=self._sftp.rename,
 
698
                    unlink_func=self._sftp.remove)
758
699
        except (IOError, paramiko.SSHException), e:
759
 
            self._translate_io_exception(e, abs_from,
760
 
                                         ': unable to rename to %r' % (abs_to))
 
700
            self._translate_io_exception(e, abs_from, ': unable to rename to %r' % (abs_to))
761
701
 
762
702
    def move(self, rel_from, rel_to):
763
703
        """Move the item at rel_from to the location at rel_to"""
769
709
        """Delete the item at relpath"""
770
710
        path = self._remote_path(relpath)
771
711
        try:
772
 
            self._get_sftp().remove(path)
 
712
            self._sftp.remove(path)
773
713
        except (IOError, paramiko.SSHException), e:
774
714
            self._translate_io_exception(e, path, ': unable to delete')
775
 
 
776
 
    def external_url(self):
777
 
        """See bzrlib.transport.Transport.external_url."""
778
 
        # the external path for SFTP is the base
779
 
        return self.base
780
 
 
 
715
            
781
716
    def listable(self):
782
717
        """Return True if this store supports listing."""
783
718
        return True
787
722
        Return a list of all files at the given location.
788
723
        """
789
724
        # does anything actually use this?
790
 
        # -- Unknown
791
 
        # This is at least used by copy_tree for remote upgrades.
792
 
        # -- David Allouche 2006-08-11
793
725
        path = self._remote_path(relpath)
794
726
        try:
795
 
            entries = self._get_sftp().listdir(path)
796
 
            self._report_activity(sum(map(len, entries)), 'read')
 
727
            return self._sftp.listdir(path)
797
728
        except (IOError, paramiko.SSHException), e:
798
729
            self._translate_io_exception(e, path, ': failed to list_dir')
799
 
        return [urlutils.escape(entry) for entry in entries]
800
730
 
801
731
    def rmdir(self, relpath):
802
732
        """See Transport.rmdir."""
803
733
        path = self._remote_path(relpath)
804
734
        try:
805
 
            return self._get_sftp().rmdir(path)
 
735
            return self._sftp.rmdir(path)
806
736
        except (IOError, paramiko.SSHException), e:
807
737
            self._translate_io_exception(e, path, ': failed to rmdir')
808
738
 
810
740
        """Return the stat information for a file."""
811
741
        path = self._remote_path(relpath)
812
742
        try:
813
 
            return self._get_sftp().lstat(path)
 
743
            return self._sftp.stat(path)
814
744
        except (IOError, paramiko.SSHException), e:
815
745
            self._translate_io_exception(e, path, ': unable to stat')
816
746
 
817
 
    def readlink(self, relpath):
818
 
        """See Transport.readlink."""
819
 
        path = self._remote_path(relpath)
820
 
        try:
821
 
            return self._get_sftp().readlink(path)
822
 
        except (IOError, paramiko.SSHException), e:
823
 
            self._translate_io_exception(e, path, ': unable to readlink')
824
 
 
825
 
    def symlink(self, source, link_name):
826
 
        """See Transport.symlink."""
827
 
        try:
828
 
            conn = self._get_sftp()
829
 
            sftp_retval = conn.symlink(source, link_name)
830
 
            if SFTP_OK != sftp_retval:
831
 
                raise TransportError(
832
 
                    '%r: unable to create symlink to %r' % (link_name, source),
833
 
                    sftp_retval
834
 
                )
835
 
        except (IOError, paramiko.SSHException), e:
836
 
            self._translate_io_exception(e, link_name,
837
 
                                         ': unable to create symlink to %r' % (source))
838
 
 
839
747
    def lock_read(self, relpath):
840
748
        """
841
749
        Lock the given file for shared (read) access.
862
770
        # that we have taken the lock.
863
771
        return SFTPLock(relpath, self)
864
772
 
 
773
    def _unparse_url(self, path=None):
 
774
        if path is None:
 
775
            path = self._path
 
776
        path = urllib.quote(path)
 
777
        # handle homedir paths
 
778
        if not path.startswith('/'):
 
779
            path = "/~/" + path
 
780
        netloc = urllib.quote(self._host)
 
781
        if self._username is not None:
 
782
            netloc = '%s@%s' % (urllib.quote(self._username), netloc)
 
783
        if self._port is not None:
 
784
            netloc = '%s:%d' % (netloc, self._port)
 
785
        return urlparse.urlunparse(('sftp', netloc, path, '', '', ''))
 
786
 
 
787
    def _split_url(self, url):
 
788
        (scheme, username, password, host, port, path) = split_url(url)
 
789
        assert scheme == 'sftp'
 
790
 
 
791
        # the initial slash should be removed from the path, and treated
 
792
        # as a homedir relative path (the path begins with a double slash
 
793
        # if it is absolute).
 
794
        # see draft-ietf-secsh-scp-sftp-ssh-uri-03.txt
 
795
        # RBC 20060118 we are not using this as its too user hostile. instead
 
796
        # we are following lftp and using /~/foo to mean '~/foo'.
 
797
        # handle homedir paths
 
798
        if path.startswith('/~/'):
 
799
            path = path[3:]
 
800
        elif path == '/~':
 
801
            path = ''
 
802
        return (username, password, host, port, path)
 
803
 
 
804
    def _parse_url(self, url):
 
805
        (self._username, self._password,
 
806
         self._host, self._port, self._path) = self._split_url(url)
 
807
 
 
808
    def _sftp_connect(self):
 
809
        """Connect to the remote sftp server.
 
810
        After this, self._sftp should have a valid connection (or
 
811
        we raise an TransportError 'could not connect').
 
812
 
 
813
        TODO: Raise a more reasonable ConnectionFailed exception
 
814
        """
 
815
        global _connected_hosts
 
816
 
 
817
        idx = (self._host, self._port, self._username)
 
818
        try:
 
819
            self._sftp = _connected_hosts[idx]
 
820
            return
 
821
        except KeyError:
 
822
            pass
 
823
        
 
824
        vendor = _get_ssh_vendor()
 
825
        if vendor == 'loopback':
 
826
            sock = socket.socket()
 
827
            try:
 
828
                sock.connect((self._host, self._port))
 
829
            except socket.error, e:
 
830
                raise ConnectionError('Unable to connect to SSH host %s:%s: %s'
 
831
                                      % (self._host, self._port, e))
 
832
            self._sftp = SFTPClient(LoopbackSFTP(sock))
 
833
        elif vendor != 'none':
 
834
            sock = SFTPSubprocess(self._host, vendor, self._port,
 
835
                                  self._username)
 
836
            self._sftp = SFTPClient(sock)
 
837
        else:
 
838
            self._paramiko_connect()
 
839
 
 
840
        _connected_hosts[idx] = self._sftp
 
841
 
 
842
    def _paramiko_connect(self):
 
843
        global SYSTEM_HOSTKEYS, BZR_HOSTKEYS
 
844
        
 
845
        load_host_keys()
 
846
 
 
847
        try:
 
848
            t = paramiko.Transport((self._host, self._port or 22))
 
849
            t.set_log_channel('bzr.paramiko')
 
850
            t.start_client()
 
851
        except paramiko.SSHException, e:
 
852
            raise ConnectionError('Unable to reach SSH host %s:%s: %s' 
 
853
                                  % (self._host, self._port, e))
 
854
            
 
855
        server_key = t.get_remote_server_key()
 
856
        server_key_hex = paramiko.util.hexify(server_key.get_fingerprint())
 
857
        keytype = server_key.get_name()
 
858
        if SYSTEM_HOSTKEYS.has_key(self._host) and SYSTEM_HOSTKEYS[self._host].has_key(keytype):
 
859
            our_server_key = SYSTEM_HOSTKEYS[self._host][keytype]
 
860
            our_server_key_hex = paramiko.util.hexify(our_server_key.get_fingerprint())
 
861
        elif BZR_HOSTKEYS.has_key(self._host) and BZR_HOSTKEYS[self._host].has_key(keytype):
 
862
            our_server_key = BZR_HOSTKEYS[self._host][keytype]
 
863
            our_server_key_hex = paramiko.util.hexify(our_server_key.get_fingerprint())
 
864
        else:
 
865
            warning('Adding %s host key for %s: %s' % (keytype, self._host, server_key_hex))
 
866
            if not BZR_HOSTKEYS.has_key(self._host):
 
867
                BZR_HOSTKEYS[self._host] = {}
 
868
            BZR_HOSTKEYS[self._host][keytype] = server_key
 
869
            our_server_key = server_key
 
870
            our_server_key_hex = paramiko.util.hexify(our_server_key.get_fingerprint())
 
871
            save_host_keys()
 
872
        if server_key != our_server_key:
 
873
            filename1 = os.path.expanduser('~/.ssh/known_hosts')
 
874
            filename2 = pathjoin(config_dir(), 'ssh_host_keys')
 
875
            raise TransportError('Host keys for %s do not match!  %s != %s' % \
 
876
                (self._host, our_server_key_hex, server_key_hex),
 
877
                ['Try editing %s or %s' % (filename1, filename2)])
 
878
 
 
879
        self._sftp_auth(t)
 
880
        
 
881
        try:
 
882
            self._sftp = t.open_sftp_client()
 
883
        except paramiko.SSHException, e:
 
884
            raise ConnectionError('Unable to start sftp client %s:%d' %
 
885
                                  (self._host, self._port), e)
 
886
 
 
887
    def _sftp_auth(self, transport):
 
888
        # paramiko requires a username, but it might be none if nothing was supplied
 
889
        # use the local username, just in case.
 
890
        # We don't override self._username, because if we aren't using paramiko,
 
891
        # the username might be specified in ~/.ssh/config and we don't want to
 
892
        # force it to something else
 
893
        # Also, it would mess up the self.relpath() functionality
 
894
        username = self._username or getpass.getuser()
 
895
 
 
896
        if _use_ssh_agent:
 
897
            agent = paramiko.Agent()
 
898
            for key in agent.get_keys():
 
899
                mutter('Trying SSH agent key %s' % paramiko.util.hexify(key.get_fingerprint()))
 
900
                try:
 
901
                    transport.auth_publickey(username, key)
 
902
                    return
 
903
                except paramiko.SSHException, e:
 
904
                    pass
 
905
        
 
906
        # okay, try finding id_rsa or id_dss?  (posix only)
 
907
        if self._try_pkey_auth(transport, paramiko.RSAKey, username, 'id_rsa'):
 
908
            return
 
909
        if self._try_pkey_auth(transport, paramiko.DSSKey, username, 'id_dsa'):
 
910
            return
 
911
 
 
912
        if self._password:
 
913
            try:
 
914
                transport.auth_password(username, self._password)
 
915
                return
 
916
            except paramiko.SSHException, e:
 
917
                pass
 
918
 
 
919
            # FIXME: Don't keep a password held in memory if you can help it
 
920
            #self._password = None
 
921
 
 
922
        # give up and ask for a password
 
923
        password = bzrlib.ui.ui_factory.get_password(
 
924
                prompt='SSH %(user)s@%(host)s password',
 
925
                user=username, host=self._host)
 
926
        try:
 
927
            transport.auth_password(username, password)
 
928
        except paramiko.SSHException, e:
 
929
            raise ConnectionError('Unable to authenticate to SSH host as %s@%s' %
 
930
                                  (username, self._host), e)
 
931
 
 
932
    def _try_pkey_auth(self, transport, pkey_class, username, filename):
 
933
        filename = os.path.expanduser('~/.ssh/' + filename)
 
934
        try:
 
935
            key = pkey_class.from_private_key_file(filename)
 
936
            transport.auth_publickey(username, key)
 
937
            return True
 
938
        except paramiko.PasswordRequiredException:
 
939
            password = bzrlib.ui.ui_factory.get_password(
 
940
                    prompt='SSH %(filename)s password',
 
941
                    filename=filename)
 
942
            try:
 
943
                key = pkey_class.from_private_key_file(filename, password)
 
944
                transport.auth_publickey(username, key)
 
945
                return True
 
946
            except paramiko.SSHException:
 
947
                mutter('SSH authentication via %s key failed.' % (os.path.basename(filename),))
 
948
        except paramiko.SSHException:
 
949
            mutter('SSH authentication via %s key failed.' % (os.path.basename(filename),))
 
950
        except IOError:
 
951
            pass
 
952
        return False
 
953
 
865
954
    def _sftp_open_exclusive(self, abspath, mode=None):
866
955
        """Open a remote path exclusively.
867
956
 
876
965
        :param abspath: The remote absolute path where the file should be opened
877
966
        :param mode: The mode permissions bits for the new file
878
967
        """
879
 
        # TODO: jam 20060816 Paramiko >= 1.6.2 (probably earlier) supports
880
 
        #       using the 'x' flag to indicate SFTP_FLAG_EXCL.
881
 
        #       However, there is no way to set the permission mode at open
882
 
        #       time using the sftp_client.file() functionality.
883
 
        path = self._get_sftp()._adjust_cwd(abspath)
 
968
        path = self._sftp._adjust_cwd(abspath)
884
969
        # mutter('sftp abspath %s => %s', abspath, path)
885
970
        attr = SFTPAttributes()
886
971
        if mode is not None:
887
972
            attr.st_mode = mode
888
 
        omode = (SFTP_FLAG_WRITE | SFTP_FLAG_CREATE
 
973
        omode = (SFTP_FLAG_WRITE | SFTP_FLAG_CREATE 
889
974
                | SFTP_FLAG_TRUNC | SFTP_FLAG_EXCL)
890
975
        try:
891
 
            t, msg = self._get_sftp()._request(CMD_OPEN, path, omode, attr)
 
976
            t, msg = self._sftp._request(CMD_OPEN, path, omode, attr)
892
977
            if t != CMD_HANDLE:
893
978
                raise TransportError('Expected an SFTP handle')
894
979
            handle = msg.get_string()
895
 
            return SFTPFile(self._get_sftp(), handle, 'wb', -1)
 
980
            return SFTPFile(self._sftp, handle, 'wb', -1)
896
981
        except (paramiko.SSHException, IOError), e:
897
982
            self._translate_io_exception(e, abspath, ': unable to open',
898
983
                failure_exc=FileExists)
899
984
 
900
 
    def _can_roundtrip_unix_modebits(self):
901
 
        if sys.platform == 'win32':
902
 
            # anyone else?
903
 
            return False
904
 
        else:
905
 
            return True
 
985
 
 
986
# ------------- server test implementation --------------
 
987
import socket
 
988
import threading
 
989
 
 
990
from bzrlib.tests.stub_sftp import StubServer, StubSFTPServer
 
991
 
 
992
STUB_SERVER_KEY = """
 
993
-----BEGIN RSA PRIVATE KEY-----
 
994
MIICWgIBAAKBgQDTj1bqB4WmayWNPB+8jVSYpZYk80Ujvj680pOTh2bORBjbIAyz
 
995
oWGW+GUjzKxTiiPvVmxFgx5wdsFvF03v34lEVVhMpouqPAYQ15N37K/ir5XY+9m/
 
996
d8ufMCkjeXsQkKqFbAlQcnWMCRnOoPHS3I4vi6hmnDDeeYTSRvfLbW0fhwIBIwKB
 
997
gBIiOqZYaoqbeD9OS9z2K9KR2atlTxGxOJPXiP4ESqP3NVScWNwyZ3NXHpyrJLa0
 
998
EbVtzsQhLn6rF+TzXnOlcipFvjsem3iYzCpuChfGQ6SovTcOjHV9z+hnpXvQ/fon
 
999
soVRZY65wKnF7IAoUwTmJS9opqgrN6kRgCd3DASAMd1bAkEA96SBVWFt/fJBNJ9H
 
1000
tYnBKZGw0VeHOYmVYbvMSstssn8un+pQpUm9vlG/bp7Oxd/m+b9KWEh2xPfv6zqU
 
1001
avNwHwJBANqzGZa/EpzF4J8pGti7oIAPUIDGMtfIcmqNXVMckrmzQ2vTfqtkEZsA
 
1002
4rE1IERRyiJQx6EJsz21wJmGV9WJQ5kCQQDwkS0uXqVdFzgHO6S++tjmjYcxwr3g
 
1003
H0CoFYSgbddOT6miqRskOQF3DZVkJT3kyuBgU2zKygz52ukQZMqxCb1fAkASvuTv
 
1004
qfpH87Qq5kQhNKdbbwbmd2NxlNabazPijWuphGTdW0VfJdWfklyS2Kr+iqrs/5wV
 
1005
HhathJt636Eg7oIjAkA8ht3MQ+XSl9yIJIS8gVpbPxSw5OMfw0PjVE7tBdQruiSc
 
1006
nvuQES5C9BMHjF39LZiGH1iLQy7FgdHyoP+eodI7
 
1007
-----END RSA PRIVATE KEY-----
 
1008
"""
 
1009
 
 
1010
 
 
1011
class SocketListener(threading.Thread):
 
1012
 
 
1013
    def __init__(self, callback):
 
1014
        threading.Thread.__init__(self)
 
1015
        self._callback = callback
 
1016
        self._socket = socket.socket()
 
1017
        self._socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
 
1018
        self._socket.bind(('localhost', 0))
 
1019
        self._socket.listen(1)
 
1020
        self.port = self._socket.getsockname()[1]
 
1021
        self._stop_event = threading.Event()
 
1022
 
 
1023
    def stop(self):
 
1024
        # called from outside this thread
 
1025
        self._stop_event.set()
 
1026
        # use a timeout here, because if the test fails, the server thread may
 
1027
        # never notice the stop_event.
 
1028
        self.join(5.0)
 
1029
        self._socket.close()
 
1030
 
 
1031
    def run(self):
 
1032
        while True:
 
1033
            readable, writable_unused, exception_unused = \
 
1034
                select.select([self._socket], [], [], 0.1)
 
1035
            if self._stop_event.isSet():
 
1036
                return
 
1037
            if len(readable) == 0:
 
1038
                continue
 
1039
            try:
 
1040
                s, addr_unused = self._socket.accept()
 
1041
                # because the loopback socket is inline, and transports are
 
1042
                # never explicitly closed, best to launch a new thread.
 
1043
                threading.Thread(target=self._callback, args=(s,)).start()
 
1044
            except socket.error, x:
 
1045
                sys.excepthook(*sys.exc_info())
 
1046
                warning('Socket error during accept() within unit test server'
 
1047
                        ' thread: %r' % x)
 
1048
            except Exception, x:
 
1049
                # probably a failed test; unit test thread will log the
 
1050
                # failure/error
 
1051
                sys.excepthook(*sys.exc_info())
 
1052
                warning('Exception from within unit test server thread: %r' % 
 
1053
                        x)
 
1054
 
 
1055
 
 
1056
class SFTPServer(Server):
 
1057
    """Common code for SFTP server facilities."""
 
1058
 
 
1059
    def __init__(self):
 
1060
        self._original_vendor = None
 
1061
        self._homedir = None
 
1062
        self._server_homedir = None
 
1063
        self._listener = None
 
1064
        self._root = None
 
1065
        self._vendor = 'none'
 
1066
        # sftp server logs
 
1067
        self.logs = []
 
1068
 
 
1069
    def _get_sftp_url(self, path):
 
1070
        """Calculate an sftp url to this server for path."""
 
1071
        return 'sftp://foo:bar@localhost:%d/%s' % (self._listener.port, path)
 
1072
 
 
1073
    def log(self, message):
 
1074
        """StubServer uses this to log when a new server is created."""
 
1075
        self.logs.append(message)
 
1076
 
 
1077
    def _run_server(self, s):
 
1078
        ssh_server = paramiko.Transport(s)
 
1079
        key_file = pathjoin(self._homedir, 'test_rsa.key')
 
1080
        f = open(key_file, 'w')
 
1081
        f.write(STUB_SERVER_KEY)
 
1082
        f.close()
 
1083
        host_key = paramiko.RSAKey.from_private_key_file(key_file)
 
1084
        ssh_server.add_server_key(host_key)
 
1085
        server = StubServer(self)
 
1086
        ssh_server.set_subsystem_handler('sftp', paramiko.SFTPServer,
 
1087
                                         StubSFTPServer, root=self._root,
 
1088
                                         home=self._server_homedir)
 
1089
        event = threading.Event()
 
1090
        ssh_server.start_server(event, server)
 
1091
        event.wait(5.0)
 
1092
    
 
1093
    def setUp(self):
 
1094
        global _ssh_vendor
 
1095
        self._original_vendor = _ssh_vendor
 
1096
        _ssh_vendor = self._vendor
 
1097
        if sys.platform == 'win32':
 
1098
            # Win32 needs to use the UNICODE api
 
1099
            self._homedir = getcwd()
 
1100
        else:
 
1101
            # But Linux SFTP servers should just deal in bytestreams
 
1102
            self._homedir = os.getcwd()
 
1103
        if self._server_homedir is None:
 
1104
            self._server_homedir = self._homedir
 
1105
        self._root = '/'
 
1106
        if sys.platform == 'win32':
 
1107
            self._root = ''
 
1108
        self._listener = SocketListener(self._run_server)
 
1109
        self._listener.setDaemon(True)
 
1110
        self._listener.start()
 
1111
 
 
1112
    def tearDown(self):
 
1113
        """See bzrlib.transport.Server.tearDown."""
 
1114
        global _ssh_vendor
 
1115
        self._listener.stop()
 
1116
        _ssh_vendor = self._original_vendor
 
1117
 
 
1118
    def get_bogus_url(self):
 
1119
        """See bzrlib.transport.Server.get_bogus_url."""
 
1120
        # this is chosen to try to prevent trouble with proxies, wierd dns,
 
1121
        # etc
 
1122
        return 'sftp://127.0.0.1:1/'
 
1123
 
 
1124
 
 
1125
 
 
1126
class SFTPFullAbsoluteServer(SFTPServer):
 
1127
    """A test server for sftp transports, using absolute urls and ssh."""
 
1128
 
 
1129
    def get_url(self):
 
1130
        """See bzrlib.transport.Server.get_url."""
 
1131
        return self._get_sftp_url(urlutils.escape(self._homedir[1:]))
 
1132
 
 
1133
 
 
1134
class SFTPServerWithoutSSH(SFTPServer):
 
1135
    """An SFTP server that uses a simple TCP socket pair rather than SSH."""
 
1136
 
 
1137
    def __init__(self):
 
1138
        super(SFTPServerWithoutSSH, self).__init__()
 
1139
        self._vendor = 'loopback'
 
1140
 
 
1141
    def _run_server(self, sock):
 
1142
        class FakeChannel(object):
 
1143
            def get_transport(self):
 
1144
                return self
 
1145
            def get_log_channel(self):
 
1146
                return 'paramiko'
 
1147
            def get_name(self):
 
1148
                return '1'
 
1149
            def get_hexdump(self):
 
1150
                return False
 
1151
            def close(self):
 
1152
                pass
 
1153
 
 
1154
        server = paramiko.SFTPServer(FakeChannel(), 'sftp', StubServer(self), StubSFTPServer,
 
1155
                                     root=self._root, home=self._server_homedir)
 
1156
        try:
 
1157
            server.start_subsystem('sftp', None, sock)
 
1158
        except socket.error, e:
 
1159
            if (len(e.args) > 0) and (e.args[0] == errno.EPIPE):
 
1160
                # it's okay for the client to disconnect abruptly
 
1161
                # (bug in paramiko 1.6: it should absorb this exception)
 
1162
                pass
 
1163
            else:
 
1164
                raise
 
1165
        except Exception, e:
 
1166
            import sys; sys.stderr.write('\nEXCEPTION %r\n\n' % e.__class__)
 
1167
        server.finish_subsystem()
 
1168
 
 
1169
 
 
1170
class SFTPAbsoluteServer(SFTPServerWithoutSSH):
 
1171
    """A test server for sftp transports, using absolute urls."""
 
1172
 
 
1173
    def get_url(self):
 
1174
        """See bzrlib.transport.Server.get_url."""
 
1175
        if sys.platform == 'win32':
 
1176
            return self._get_sftp_url(urlutils.escape(self._homedir))
 
1177
        else:
 
1178
            return self._get_sftp_url(urlutils.escape(self._homedir[1:]))
 
1179
 
 
1180
 
 
1181
class SFTPHomeDirServer(SFTPServerWithoutSSH):
 
1182
    """A test server for sftp transports, using homedir relative urls."""
 
1183
 
 
1184
    def get_url(self):
 
1185
        """See bzrlib.transport.Server.get_url."""
 
1186
        return self._get_sftp_url("~/")
 
1187
 
 
1188
 
 
1189
class SFTPSiblingAbsoluteServer(SFTPAbsoluteServer):
 
1190
    """A test servere for sftp transports, using absolute urls to non-home."""
 
1191
 
 
1192
    def setUp(self):
 
1193
        self._server_homedir = '/dev/noone/runs/tests/here'
 
1194
        super(SFTPSiblingAbsoluteServer, self).setUp()
906
1195
 
907
1196
 
908
1197
def get_test_permutations():
909
1198
    """Return the permutations to be used in testing."""
910
 
    from bzrlib.tests import stub_sftp
911
 
    return [(SFTPTransport, stub_sftp.SFTPAbsoluteServer),
912
 
            (SFTPTransport, stub_sftp.SFTPHomeDirServer),
913
 
            (SFTPTransport, stub_sftp.SFTPSiblingAbsoluteServer),
 
1199
    return [(SFTPTransport, SFTPAbsoluteServer),
 
1200
            (SFTPTransport, SFTPHomeDirServer),
 
1201
            (SFTPTransport, SFTPSiblingAbsoluteServer),
914
1202
            ]