~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/urlutils.py

(gz) Never raise KnownFailure in tests,
 use knownFailure method instead (Martin [gz])

Show diffs side-by-side

added added

removed removed

Lines of Context:
22
22
 
23
23
from bzrlib.lazy_import import lazy_import
24
24
lazy_import(globals(), """
25
 
from posixpath import split as _posix_split
 
25
from posixpath import split as _posix_split, normpath as _posix_normpath
26
26
import urllib
27
27
import urlparse
28
28
 
78
78
        raise ValueError('Length of base (%r) must equal or'
79
79
            ' exceed the platform minimum url length (which is %d)' %
80
80
            (base, MIN_ABS_FILEURL_LENGTH))
81
 
    base = osutils.normpath(local_path_from_url(base))
82
 
    path = osutils.normpath(local_path_from_url(path))
 
81
    base = local_path_from_url(base)
 
82
    path = local_path_from_url(path)
83
83
    return escape(osutils.relpath(base, path))
84
84
 
85
85
 
181
181
# jam 20060502 Sorted to 'l' because the final target is 'local_path_from_url'
182
182
def _posix_local_path_from_url(url):
183
183
    """Convert a url like file:///path/to/foo into /path/to/foo"""
184
 
    url = split_segment_parameters_raw(url)[0]
185
184
    file_localhost_prefix = 'file://localhost/'
186
185
    if url.startswith(file_localhost_prefix):
187
186
        path = url[len(file_localhost_prefix) - 1:]
201
200
    """
202
201
    # importing directly from posixpath allows us to test this
203
202
    # on non-posix platforms
204
 
    return 'file://' + escape(osutils._posix_abspath(path))
 
203
    return 'file://' + escape(_posix_normpath(
 
204
        osutils._posix_abspath(path)))
205
205
 
206
206
 
207
207
def _win32_local_path_from_url(url):
209
209
    if not url.startswith('file://'):
210
210
        raise errors.InvalidURL(url, 'local urls must start with file:///, '
211
211
                                     'UNC path urls must start with file://')
212
 
    url = split_segment_parameters_raw(url)[0]
213
212
    # We strip off all 3 slashes
214
213
    win32_url = url[len('file:'):]
215
214
    # check for UNC path: //HOST/path
387
386
    """On win32 the drive letter needs to be added to the url base."""
388
387
    # Strip off the drive letter
389
388
    # path is currently /C:/foo
390
 
    if len(path) < 4 or path[2] not in ':|' or path[3] != '/':
 
389
    if len(path) < 3 or path[2] not in ':|' or path[3] != '/':
391
390
        raise errors.InvalidURL(url_base + path,
392
391
            'win32 file:/// paths need a drive letter')
393
392
    url_base += path[0:3] # file:// + /C:
441
440
    :param url: A relative or absolute URL
442
441
    :return: (url, subsegments)
443
442
    """
444
 
    # GZ 2011-11-18: Dodgy removing the terminal slash like this, function
445
 
    #                operates on urls not url+segments, and Transport classes
446
 
    #                should not be blindly adding slashes in the first place. 
447
 
    lurl = strip_trailing_slash(url)
448
 
    # Segments begin at first comma after last forward slash, if one exists
449
 
    segment_start = lurl.find(",", lurl.rfind("/")+1)
450
 
    if segment_start == -1:
 
443
    (parent_url, child_dir) = split(url)
 
444
    subsegments = child_dir.split(",")
 
445
    if len(subsegments) == 1:
451
446
        return (url, [])
452
 
    return (lurl[:segment_start], lurl[segment_start+1:].split(","))
 
447
    return (join(parent_url, subsegments[0]), subsegments[1:])
453
448
 
454
449
 
455
450
def split_segment_parameters(url):
735
730
    return osutils.pathjoin(*segments)
736
731
 
737
732
 
738
 
class URL(object):
739
 
    """Parsed URL."""
740
 
 
741
 
    def __init__(self, scheme, quoted_user, quoted_password, quoted_host,
742
 
            port, quoted_path):
743
 
        self.scheme = scheme
744
 
        self.quoted_host = quoted_host
745
 
        self.host = urllib.unquote(self.quoted_host)
746
 
        self.quoted_user = quoted_user
747
 
        if self.quoted_user is not None:
748
 
            self.user = urllib.unquote(self.quoted_user)
749
 
        else:
750
 
            self.user = None
751
 
        self.quoted_password = quoted_password
752
 
        if self.quoted_password is not None:
753
 
            self.password = urllib.unquote(self.quoted_password)
754
 
        else:
755
 
            self.password = None
756
 
        self.port = port
757
 
        self.quoted_path = _url_hex_escapes_re.sub(_unescape_safe_chars, quoted_path)
758
 
        self.path = urllib.unquote(self.quoted_path)
759
 
 
760
 
    def __eq__(self, other):
761
 
        return (isinstance(other, self.__class__) and
762
 
                self.scheme == other.scheme and
763
 
                self.host == other.host and
764
 
                self.user == other.user and
765
 
                self.password == other.password and
766
 
                self.path == other.path)
767
 
 
768
 
    def __repr__(self):
769
 
        return "<%s(%r, %r, %r, %r, %r, %r)>" % (
770
 
            self.__class__.__name__,
771
 
            self.scheme, self.quoted_user, self.quoted_password,
772
 
            self.quoted_host, self.port, self.quoted_path)
773
 
 
774
 
    @classmethod
775
 
    def from_string(cls, url):
776
 
        """Create a URL object from a string.
777
 
 
778
 
        :param url: URL as bytestring
779
 
        """
780
 
        if isinstance(url, unicode):
781
 
            raise errors.InvalidURL('should be ascii:\n%r' % url)
782
 
        url = url.encode('utf-8')
783
 
        (scheme, netloc, path, params,
784
 
         query, fragment) = urlparse.urlparse(url, allow_fragments=False)
785
 
        user = password = host = port = None
786
 
        if '@' in netloc:
787
 
            user, host = netloc.rsplit('@', 1)
788
 
            if ':' in user:
789
 
                user, password = user.split(':', 1)
790
 
        else:
791
 
            host = netloc
792
 
 
793
 
        if ':' in host and not (host[0] == '[' and host[-1] == ']'):
794
 
            # there *is* port
795
 
            host, port = host.rsplit(':',1)
796
 
            try:
797
 
                port = int(port)
798
 
            except ValueError:
799
 
                raise errors.InvalidURL('invalid port number %s in url:\n%s' %
800
 
                                        (port, url))
801
 
        if host != "" and host[0] == '[' and host[-1] == ']': #IPv6
802
 
            host = host[1:-1]
803
 
 
804
 
        return cls(scheme, user, password, host, port, path)
805
 
 
806
 
    def __str__(self):
807
 
        netloc = self.quoted_host
808
 
        if ":" in netloc:
809
 
            netloc = "[%s]" % netloc
810
 
        if self.quoted_user is not None:
811
 
            # Note that we don't put the password back even if we
812
 
            # have one so that it doesn't get accidentally
813
 
            # exposed.
814
 
            netloc = '%s@%s' % (self.quoted_user, netloc)
815
 
        if self.port is not None:
816
 
            netloc = '%s:%d' % (netloc, self.port)
817
 
        return urlparse.urlunparse(
818
 
            (self.scheme, netloc, self.quoted_path, None, None, None))
819
 
 
820
 
    @staticmethod
821
 
    def _combine_paths(base_path, relpath):
822
 
        """Transform a Transport-relative path to a remote absolute path.
823
 
 
824
 
        This does not handle substitution of ~ but does handle '..' and '.'
825
 
        components.
826
 
 
827
 
        Examples::
828
 
 
829
 
            t._combine_paths('/home/sarah', 'project/foo')
830
 
                => '/home/sarah/project/foo'
831
 
            t._combine_paths('/home/sarah', '../../etc')
832
 
                => '/etc'
833
 
            t._combine_paths('/home/sarah', '/etc')
834
 
                => '/etc'
835
 
 
836
 
        :param base_path: base path
837
 
        :param relpath: relative url string for relative part of remote path.
838
 
        :return: urlencoded string for final path.
839
 
        """
840
 
        if not isinstance(relpath, str):
841
 
            raise errors.InvalidURL(relpath)
842
 
        relpath = _url_hex_escapes_re.sub(_unescape_safe_chars, relpath)
843
 
        if relpath.startswith('/'):
844
 
            base_parts = []
845
 
        else:
846
 
            base_parts = base_path.split('/')
847
 
        if len(base_parts) > 0 and base_parts[-1] == '':
848
 
            base_parts = base_parts[:-1]
849
 
        for p in relpath.split('/'):
850
 
            if p == '..':
851
 
                if len(base_parts) == 0:
852
 
                    # In most filesystems, a request for the parent
853
 
                    # of root, just returns root.
854
 
                    continue
855
 
                base_parts.pop()
856
 
            elif p == '.':
857
 
                continue # No-op
858
 
            elif p != '':
859
 
                base_parts.append(p)
860
 
        path = '/'.join(base_parts)
861
 
        if not path.startswith('/'):
862
 
            path = '/' + path
863
 
        return path
864
 
 
865
 
    def clone(self, offset=None):
866
 
        """Return a new URL for a path relative to this URL.
867
 
 
868
 
        :param offset: A relative path, already urlencoded
869
 
        :return: `URL` instance
870
 
        """
871
 
        if offset is not None:
872
 
            relative = unescape(offset).encode('utf-8')
873
 
            path = self._combine_paths(self.path, relative)
874
 
            path = urllib.quote(path, safe="/~")
875
 
        else:
876
 
            path = self.quoted_path
877
 
        return self.__class__(self.scheme, self.quoted_user,
878
 
                self.quoted_password, self.quoted_host, self.port,
879
 
                path)
880
 
 
881
733
 
882
734
def parse_url(url):
883
735
    """Extract the server address, the credentials and the path from the url.
886
738
    chars.
887
739
 
888
740
    :param url: an quoted url
 
741
 
889
742
    :return: (scheme, user, password, host, port, path) tuple, all fields
890
743
        are unquoted.
891
744
    """
892
 
    parsed_url = URL.from_string(url)
893
 
    return (parsed_url.scheme, parsed_url.user, parsed_url.password,
894
 
        parsed_url.host, parsed_url.port, parsed_url.path)
 
745
    if isinstance(url, unicode):
 
746
        raise errors.InvalidURL('should be ascii:\n%r' % url)
 
747
    url = url.encode('utf-8')
 
748
    (scheme, netloc, path, params,
 
749
     query, fragment) = urlparse.urlparse(url, allow_fragments=False)
 
750
    user = password = host = port = None
 
751
    if '@' in netloc:
 
752
        user, host = netloc.rsplit('@', 1)
 
753
        if ':' in user:
 
754
            user, password = user.split(':', 1)
 
755
            password = urllib.unquote(password)
 
756
        user = urllib.unquote(user)
 
757
    else:
 
758
        host = netloc
 
759
 
 
760
    if ':' in host and not (host[0] == '[' and host[-1] == ']'): #there *is* port
 
761
        host, port = host.rsplit(':',1)
 
762
        try:
 
763
            port = int(port)
 
764
        except ValueError:
 
765
            raise errors.InvalidURL('invalid port number %s in url:\n%s' %
 
766
                                    (port, url))
 
767
    if host != "" and host[0] == '[' and host[-1] == ']': #IPv6
 
768
        host = host[1:-1]
 
769
 
 
770
    host = urllib.unquote(host)
 
771
    path = urllib.unquote(path)
 
772
 
 
773
    return (scheme, user, password, host, port, path)