~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/ftp.py

  • Committer: Martin Pool
  • Date: 2007-10-12 08:00:07 UTC
  • mto: This revision was merged to the branch mainline in revision 2913.
  • Revision ID: mbp@sourcefrog.net-20071012080007-vf80woayyom8s8e1
Rename update_to_one_parent_via_delta to more wieldy update_basis_by_delta

Show diffs side-by-side

added added

removed removed

Lines of Context:
25
25
"""
26
26
 
27
27
from cStringIO import StringIO
 
28
import asyncore
28
29
import errno
29
30
import ftplib
30
 
import getpass
31
31
import os
32
32
import os.path
 
33
import urllib
33
34
import urlparse
34
 
import socket
 
35
import select
35
36
import stat
 
37
import threading
36
38
import time
37
39
import random
38
40
from warnings import warn
39
41
 
40
42
from bzrlib import (
41
 
    config,
42
43
    errors,
43
44
    osutils,
44
45
    urlutils,
46
47
from bzrlib.trace import mutter, warning
47
48
from bzrlib.transport import (
48
49
    AppendBasedFileStream,
49
 
    ConnectedTransport,
50
50
    _file_streams,
51
 
    register_urlparse_netloc_protocol,
52
51
    Server,
 
52
    ConnectedTransport,
53
53
    )
54
54
from bzrlib.transport.local import LocalURLServer
55
55
import bzrlib.ui
56
56
 
57
 
 
58
 
register_urlparse_netloc_protocol('aftp')
 
57
_have_medusa = False
59
58
 
60
59
 
61
60
class FtpPathError(errors.PathError):
89
88
 
90
89
    def __init__(self, base, _from_transport=None):
91
90
        """Set the base path where files will be stored."""
92
 
        if not (base.startswith('ftp://') or base.startswith('aftp://')):
93
 
            raise ValueError(base)
 
91
        assert base.startswith('ftp://') or base.startswith('aftp://')
94
92
        super(FtpTransport, self).__init__(base,
95
93
                                           _from_transport=_from_transport)
96
94
        self._unqualified_scheme = 'ftp'
121
119
        in base url at transport creation time.
122
120
        """
123
121
        if credentials is None:
124
 
            user, password = self._user, self._password
 
122
            password = self._password
125
123
        else:
126
 
            user, password = credentials
127
 
 
128
 
        auth = config.AuthenticationConfig()
129
 
        if user is None:
130
 
            user = auth.get_user('ftp', self._host, port=self._port)
131
 
            if user is None:
132
 
                # Default to local user
133
 
                user = getpass.getuser()
 
124
            password = credentials
134
125
 
135
126
        mutter("Constructing FTP instance against %r" %
136
 
               ((self._host, self._port, user, '********',
 
127
               ((self._host, self._port, self._user, '********',
137
128
                self.is_active),))
138
129
        try:
139
130
            connection = ftplib.FTP()
140
131
            connection.connect(host=self._host, port=self._port)
141
 
            if user and user != 'anonymous' and \
 
132
            if self._user and self._user != 'anonymous' and \
142
133
                    password is None: # '' is a valid password
143
 
                password = auth.get_password('ftp', self._host, user,
144
 
                                             port=self._port)
145
 
            connection.login(user=user, passwd=password)
 
134
                get_password = bzrlib.ui.ui_factory.get_password
 
135
                password = get_password(prompt='FTP %(user)s@%(host)s password',
 
136
                                        user=self._user, host=self._host)
 
137
            connection.login(user=self._user, passwd=password)
146
138
            connection.set_pasv(not self.is_active)
147
 
        except socket.error, e:
148
 
            raise errors.SocketConnectionError(self._host, self._port,
149
 
                                               msg='Unable to connect to',
150
 
                                               orig_error= e)
151
139
        except ftplib.error_perm, e:
152
140
            raise errors.TransportError(msg="Error setting up connection:"
153
141
                                        " %s" % str(e), orig_error=e)
154
 
        return connection, (user, password)
 
142
        return connection, password
155
143
 
156
144
    def _reconnect(self):
157
145
        """Create a new connection with the previously used credentials"""
158
 
        credentials = self._get_credentials()
 
146
        credentials = self.get_credentials()
159
147
        connection, credentials = self._create_connection(credentials)
160
148
        self._set_connection(connection, credentials)
161
149
 
179
167
            or 'no such dir' in s
180
168
            or 'could not create file' in s # vsftpd
181
169
            or 'file doesn\'t exist' in s
182
 
            or 'rnfr command failed.' in s # vsftpd RNFR reply if file not found
183
170
            or 'file/directory not found' in s # filezilla server
184
 
            # Microsoft FTP-Service RNFR reply if file not found
185
 
            or (s.startswith('550 ') and 'unable to rename to' in extra)
186
171
            ):
187
172
            raise errors.NoSuchFile(path, extra=extra)
188
173
        if ('file exists' in s):
310
295
            try:
311
296
                f.storbinary('STOR '+tmp_abspath, fp)
312
297
                self._rename_and_overwrite(tmp_abspath, abspath, f)
313
 
                self._setmode(relpath, mode)
314
298
                if bytes is not None:
315
299
                    return len(bytes)
316
300
                else:
352
336
            mutter("FTP mkd: %s", abspath)
353
337
            f = self._get_FTP()
354
338
            f.mkd(abspath)
355
 
            self._setmode(relpath, mode)
356
339
        except ftplib.error_perm, e:
357
340
            self._translate_perm_error(e, abspath,
358
341
                unknown_exc=errors.FileExists)
413
396
            conn = ftp.transfercmd(cmd)
414
397
            conn.sendall(text)
415
398
            conn.close()
416
 
            self._setmode(relpath, mode)
 
399
            if mode:
 
400
                self._setmode(relpath, mode)
417
401
            ftp.getresp()
418
402
        except ftplib.error_perm, e:
419
403
            self._translate_perm_error(e, abspath, extra='error appending',
433
417
        Only set permissions if the FTP server supports the 'SITE CHMOD'
434
418
        extension.
435
419
        """
436
 
        if mode:
437
 
            try:
438
 
                mutter("FTP site chmod: setting permissions to %s on %s",
439
 
                    str(mode), self._remote_path(relpath))
440
 
                ftp = self._get_FTP()
441
 
                cmd = "SITE CHMOD %s %s" % (oct(mode),
442
 
                                            self._remote_path(relpath))
443
 
                ftp.sendcmd(cmd)
444
 
            except ftplib.error_perm, e:
445
 
                # Command probably not available on this server
446
 
                warning("FTP Could not set permissions to %s on %s. %s",
447
 
                        str(mode), self._remote_path(relpath), str(e))
 
420
        try:
 
421
            mutter("FTP site chmod: setting permissions to %s on %s",
 
422
                str(mode), self._remote_path(relpath))
 
423
            ftp = self._get_FTP()
 
424
            cmd = "SITE CHMOD %s %s" % (self._remote_path(relpath), str(mode))
 
425
            ftp.sendcmd(cmd)
 
426
        except ftplib.error_perm, e:
 
427
            # Command probably not available on this server
 
428
            warning("FTP Could not set permissions to %s on %s. %s",
 
429
                    str(mode), self._remote_path(relpath), str(e))
448
430
 
449
431
    # TODO: jam 20060516 I believe ftp allows you to tell an ftp server
450
432
    #       to copy something to another machine. And you may be able
519
501
            paths = f.nlst(basepath)
520
502
        except ftplib.error_perm, e:
521
503
            self._translate_perm_error(e, relpath, extra='error with list_dir')
522
 
        except ftplib.error_temp, e:
523
 
            # xs4all's ftp server raises a 450 temp error when listing an empty
524
 
            # directory. Check for that and just return an empty list in that
525
 
            # case. See bug #215522
526
 
            if str(e).lower().startswith('450 no files found'):
527
 
                mutter('FTP Server returned "%s" for nlst.'
528
 
                       ' Assuming it means empty directory',
529
 
                       str(e))
530
 
                return []
531
 
            raise
532
504
        # If FTP.nlst returns paths prefixed by relpath, strip 'em
533
505
        if paths and paths[0].startswith(basepath):
534
506
            entries = [path[len(basepath)+1:] for path in paths]
585
557
        return self.lock_read(relpath)
586
558
 
587
559
 
 
560
class FtpServer(Server):
 
561
    """Common code for FTP server facilities."""
 
562
 
 
563
    def __init__(self):
 
564
        self._root = None
 
565
        self._ftp_server = None
 
566
        self._port = None
 
567
        self._async_thread = None
 
568
        # ftp server logs
 
569
        self.logs = []
 
570
 
 
571
    def get_url(self):
 
572
        """Calculate an ftp url to this server."""
 
573
        return 'ftp://foo:bar@localhost:%d/' % (self._port)
 
574
 
 
575
#    def get_bogus_url(self):
 
576
#        """Return a URL which cannot be connected to."""
 
577
#        return 'ftp://127.0.0.1:1'
 
578
 
 
579
    def log(self, message):
 
580
        """This is used by medusa.ftp_server to log connections, etc."""
 
581
        self.logs.append(message)
 
582
 
 
583
    def setUp(self, vfs_server=None):
 
584
        if not _have_medusa:
 
585
            raise RuntimeError('Must have medusa to run the FtpServer')
 
586
 
 
587
        assert vfs_server is None or isinstance(vfs_server, LocalURLServer), \
 
588
            "FtpServer currently assumes local transport, got %s" % vfs_server
 
589
 
 
590
        self._root = os.getcwdu()
 
591
        self._ftp_server = _ftp_server(
 
592
            authorizer=_test_authorizer(root=self._root),
 
593
            ip='localhost',
 
594
            port=0, # bind to a random port
 
595
            resolver=None,
 
596
            logger_object=self # Use FtpServer.log() for messages
 
597
            )
 
598
        self._port = self._ftp_server.getsockname()[1]
 
599
        # Don't let it loop forever, or handle an infinite number of requests.
 
600
        # In this case it will run for 1000s, or 10000 requests
 
601
        self._async_thread = threading.Thread(
 
602
                target=FtpServer._asyncore_loop_ignore_EBADF,
 
603
                kwargs={'timeout':0.1, 'count':10000})
 
604
        self._async_thread.setDaemon(True)
 
605
        self._async_thread.start()
 
606
 
 
607
    def tearDown(self):
 
608
        """See bzrlib.transport.Server.tearDown."""
 
609
        self._ftp_server.close()
 
610
        asyncore.close_all()
 
611
        self._async_thread.join()
 
612
 
 
613
    @staticmethod
 
614
    def _asyncore_loop_ignore_EBADF(*args, **kwargs):
 
615
        """Ignore EBADF during server shutdown.
 
616
 
 
617
        We close the socket to get the server to shutdown, but this causes
 
618
        select.select() to raise EBADF.
 
619
        """
 
620
        try:
 
621
            asyncore.loop(*args, **kwargs)
 
622
            # FIXME: If we reach that point, we should raise an exception
 
623
            # explaining that the 'count' parameter in setUp is too low or
 
624
            # testers may wonder why their test just sits there waiting for a
 
625
            # server that is already dead. Note that if the tester waits too
 
626
            # long under pdb the server will also die.
 
627
        except select.error, e:
 
628
            if e.args[0] != errno.EBADF:
 
629
                raise
 
630
 
 
631
 
 
632
_ftp_channel = None
 
633
_ftp_server = None
 
634
_test_authorizer = None
 
635
 
 
636
 
 
637
def _setup_medusa():
 
638
    global _have_medusa, _ftp_channel, _ftp_server, _test_authorizer
 
639
    try:
 
640
        import medusa
 
641
        import medusa.filesys
 
642
        import medusa.ftp_server
 
643
    except ImportError:
 
644
        return False
 
645
 
 
646
    _have_medusa = True
 
647
 
 
648
    class test_authorizer(object):
 
649
        """A custom Authorizer object for running the test suite.
 
650
 
 
651
        The reason we cannot use dummy_authorizer, is because it sets the
 
652
        channel to readonly, which we don't always want to do.
 
653
        """
 
654
 
 
655
        def __init__(self, root):
 
656
            self.root = root
 
657
            # If secured_user is set secured_password will be checked
 
658
            self.secured_user = None
 
659
            self.secured_password = None
 
660
 
 
661
        def authorize(self, channel, username, password):
 
662
            """Return (success, reply_string, filesystem)"""
 
663
            if not _have_medusa:
 
664
                return 0, 'No Medusa.', None
 
665
 
 
666
            channel.persona = -1, -1
 
667
            if username == 'anonymous':
 
668
                channel.read_only = 1
 
669
            else:
 
670
                channel.read_only = 0
 
671
 
 
672
            # Check secured_user if set
 
673
            if (self.secured_user is not None
 
674
                and username == self.secured_user
 
675
                and password != self.secured_password):
 
676
                return 0, 'Password invalid.', None
 
677
            else:
 
678
                return 1, 'OK.', medusa.filesys.os_filesystem(self.root)
 
679
 
 
680
 
 
681
    class ftp_channel(medusa.ftp_server.ftp_channel):
 
682
        """Customized ftp channel"""
 
683
 
 
684
        def log(self, message):
 
685
            """Redirect logging requests."""
 
686
            mutter('_ftp_channel: %s', message)
 
687
 
 
688
        def log_info(self, message, type='info'):
 
689
            """Redirect logging requests."""
 
690
            mutter('_ftp_channel %s: %s', type, message)
 
691
 
 
692
        def cmd_rnfr(self, line):
 
693
            """Prepare for renaming a file."""
 
694
            self._renaming = line[1]
 
695
            self.respond('350 Ready for RNTO')
 
696
            # TODO: jam 20060516 in testing, the ftp server seems to
 
697
            #       check that the file already exists, or it sends
 
698
            #       550 RNFR command failed
 
699
 
 
700
        def cmd_rnto(self, line):
 
701
            """Rename a file based on the target given.
 
702
 
 
703
            rnto must be called after calling rnfr.
 
704
            """
 
705
            if not self._renaming:
 
706
                self.respond('503 RNFR required first.')
 
707
            pfrom = self.filesystem.translate(self._renaming)
 
708
            self._renaming = None
 
709
            pto = self.filesystem.translate(line[1])
 
710
            if os.path.exists(pto):
 
711
                self.respond('550 RNTO failed: file exists')
 
712
                return
 
713
            try:
 
714
                os.rename(pfrom, pto)
 
715
            except (IOError, OSError), e:
 
716
                # TODO: jam 20060516 return custom responses based on
 
717
                #       why the command failed
 
718
                # (bialix 20070418) str(e) on Python 2.5 @ Windows
 
719
                # sometimes don't provide expected error message;
 
720
                # so we obtain such message via os.strerror()
 
721
                self.respond('550 RNTO failed: %s' % os.strerror(e.errno))
 
722
            except:
 
723
                self.respond('550 RNTO failed')
 
724
                # For a test server, we will go ahead and just die
 
725
                raise
 
726
            else:
 
727
                self.respond('250 Rename successful.')
 
728
 
 
729
        def cmd_size(self, line):
 
730
            """Return the size of a file
 
731
 
 
732
            This is overloaded to help the test suite determine if the 
 
733
            target is a directory.
 
734
            """
 
735
            filename = line[1]
 
736
            if not self.filesystem.isfile(filename):
 
737
                if self.filesystem.isdir(filename):
 
738
                    self.respond('550 "%s" is a directory' % (filename,))
 
739
                else:
 
740
                    self.respond('550 "%s" is not a file' % (filename,))
 
741
            else:
 
742
                self.respond('213 %d' 
 
743
                    % (self.filesystem.stat(filename)[stat.ST_SIZE]),)
 
744
 
 
745
        def cmd_mkd(self, line):
 
746
            """Create a directory.
 
747
 
 
748
            Overloaded because default implementation does not distinguish
 
749
            *why* it cannot make a directory.
 
750
            """
 
751
            if len (line) != 2:
 
752
                self.command_not_understood(''.join(line))
 
753
            else:
 
754
                path = line[1]
 
755
                try:
 
756
                    self.filesystem.mkdir (path)
 
757
                    self.respond ('257 MKD command successful.')
 
758
                except (IOError, OSError), e:
 
759
                    # (bialix 20070418) str(e) on Python 2.5 @ Windows
 
760
                    # sometimes don't provide expected error message;
 
761
                    # so we obtain such message via os.strerror()
 
762
                    self.respond ('550 error creating directory: %s' %
 
763
                                  os.strerror(e.errno))
 
764
                except:
 
765
                    self.respond ('550 error creating directory.')
 
766
 
 
767
 
 
768
    class ftp_server(medusa.ftp_server.ftp_server):
 
769
        """Customize the behavior of the Medusa ftp_server.
 
770
 
 
771
        There are a few warts on the ftp_server, based on how it expects
 
772
        to be used.
 
773
        """
 
774
        _renaming = None
 
775
        ftp_channel_class = ftp_channel
 
776
 
 
777
        def __init__(self, *args, **kwargs):
 
778
            mutter('Initializing _ftp_server: %r, %r', args, kwargs)
 
779
            medusa.ftp_server.ftp_server.__init__(self, *args, **kwargs)
 
780
 
 
781
        def log(self, message):
 
782
            """Redirect logging requests."""
 
783
            mutter('_ftp_server: %s', message)
 
784
 
 
785
        def log_info(self, message, type='info'):
 
786
            """Override the asyncore.log_info so we don't stipple the screen."""
 
787
            mutter('_ftp_server %s: %s', type, message)
 
788
 
 
789
    _test_authorizer = test_authorizer
 
790
    _ftp_channel = ftp_channel
 
791
    _ftp_server = ftp_server
 
792
 
 
793
    return True
 
794
 
 
795
 
588
796
def get_test_permutations():
589
797
    """Return the permutations to be used in testing."""
590
 
    from bzrlib import tests
591
 
    if tests.FTPServerFeature.available():
592
 
        from bzrlib.tests import ftp_server
593
 
        return [(FtpTransport, ftp_server.FTPServer)]
 
798
    if not _setup_medusa():
 
799
        warn("You must install medusa (http://www.amk.ca/python/code/medusa.html) for FTP tests")
 
800
        return []
594
801
    else:
595
 
        # Dummy server to have the test suite report the number of tests
596
 
        # needing that feature. We raise UnavailableFeature from methods before
597
 
        # the test server is being used. Doing so in the setUp method has bad
598
 
        # side-effects (tearDown is never called).
599
 
        class UnavailableFTPServer(object):
600
 
 
601
 
            def setUp(self):
602
 
                pass
603
 
 
604
 
            def tearDown(self):
605
 
                pass
606
 
 
607
 
            def get_url(self):
608
 
                raise tests.UnavailableFeature(tests.FTPServerFeature)
609
 
 
610
 
            def get_bogus_url(self):
611
 
                raise tests.UnavailableFeature(tests.FTPServerFeature)
612
 
 
613
 
        return [(FtpTransport, UnavailableFTPServer)]
 
802
        return [(FtpTransport, FtpServer)]