~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/http.py

  • Committer: mbp at sourcefrog
  • Date: 2005-03-24 00:44:18 UTC
  • Revision ID: mbp@sourcefrog.net-20050324004418-b4a050f656c07f5f
show space usage for various stores in the info command

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Canonical Ltd
2
 
 
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
 
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
 
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
"""Implementation of Transport over http.
17
 
"""
18
 
 
19
 
from bzrlib.transport import Transport, register_transport
20
 
from bzrlib.errors import (TransportNotPossible, NoSuchFile, 
21
 
                           NonRelativePath, TransportError)
22
 
import os, errno
23
 
from cStringIO import StringIO
24
 
import urllib2
25
 
import urlparse
26
 
 
27
 
from bzrlib.errors import BzrError, BzrCheckError
28
 
from bzrlib.branch import Branch
29
 
from bzrlib.trace import mutter
30
 
 
31
 
 
32
 
def get_url(url):
33
 
    import urllib2
34
 
    mutter("get_url %s" % url)
35
 
    url_f = urllib2.urlopen(url)
36
 
    return url_f
37
 
 
38
 
class HttpTransportError(TransportError):
39
 
    pass
40
 
 
41
 
class HttpTransport(Transport):
42
 
    """This is the transport agent for http:// access.
43
 
    
44
 
    TODO: Implement pipelined versions of all of the *_multi() functions.
45
 
    """
46
 
 
47
 
    def __init__(self, base):
48
 
        """Set the base path where files will be stored."""
49
 
        assert base.startswith('http://') or base.startswith('https://')
50
 
        super(HttpTransport, self).__init__(base)
51
 
        # In the future we might actually connect to the remote host
52
 
        # rather than using get_url
53
 
        # self._connection = None
54
 
        (self._proto, self._host,
55
 
            self._path, self._parameters,
56
 
            self._query, self._fragment) = urlparse.urlparse(self.base)
57
 
 
58
 
    def should_cache(self):
59
 
        """Return True if the data pulled across should be cached locally.
60
 
        """
61
 
        return True
62
 
 
63
 
    def clone(self, offset=None):
64
 
        """Return a new HttpTransport with root at self.base + offset
65
 
        For now HttpTransport does not actually connect, so just return
66
 
        a new HttpTransport object.
67
 
        """
68
 
        if offset is None:
69
 
            return HttpTransport(self.base)
70
 
        else:
71
 
            return HttpTransport(self.abspath(offset))
72
 
 
73
 
    def abspath(self, relpath):
74
 
        """Return the full url to the given relative path.
75
 
        This can be supplied with a string or a list
76
 
        """
77
 
        assert isinstance(relpath, basestring)
78
 
        if isinstance(relpath, basestring):
79
 
            relpath_parts = relpath.split('/')
80
 
        else:
81
 
            # TODO: Don't call this with an array - no magic interfaces
82
 
            relpath_parts = relpath[:]
83
 
        if len(relpath_parts) > 1:
84
 
            if relpath_parts[0] == '':
85
 
                raise ValueError("path %r within branch %r seems to be absolute"
86
 
                                 % (relpath, self._path))
87
 
            if relpath_parts[-1] == '':
88
 
                raise ValueError("path %r within branch %r seems to be a directory"
89
 
                                 % (relpath, self._path))
90
 
        basepath = self._path.split('/')
91
 
        if len(basepath) > 0 and basepath[-1] == '':
92
 
            basepath = basepath[:-1]
93
 
        for p in relpath_parts:
94
 
            if p == '..':
95
 
                if len(basepath) == 0:
96
 
                    # In most filesystems, a request for the parent
97
 
                    # of root, just returns root.
98
 
                    continue
99
 
                basepath.pop()
100
 
            elif p == '.' or p == '':
101
 
                continue # No-op
102
 
            else:
103
 
                basepath.append(p)
104
 
        # Possibly, we could use urlparse.urljoin() here, but
105
 
        # I'm concerned about when it chooses to strip the last
106
 
        # portion of the path, and when it doesn't.
107
 
        path = '/'.join(basepath)
108
 
        return urlparse.urlunparse((self._proto,
109
 
                self._host, path, '', '', ''))
110
 
 
111
 
    def has(self, relpath):
112
 
        """Does the target location exist?
113
 
 
114
 
        TODO: HttpTransport.has() should use a HEAD request,
115
 
        not a full GET request.
116
 
 
117
 
        TODO: This should be changed so that we don't use
118
 
        urllib2 and get an exception, the code path would be
119
 
        cleaner if we just do an http HEAD request, and parse
120
 
        the return code.
121
 
        """
122
 
        try:
123
 
            f = get_url(self.abspath(relpath))
124
 
            # Without the read and then close()
125
 
            # we tend to have busy sockets.
126
 
            f.read()
127
 
            f.close()
128
 
            return True
129
 
        except urllib2.URLError, e:
130
 
            if e.code == 404:
131
 
                return False
132
 
            raise
133
 
        except IOError, e:
134
 
            if e.errno == errno.ENOENT:
135
 
                return False
136
 
            raise HttpTransportError(orig_error=e)
137
 
 
138
 
    def get(self, relpath, decode=False):
139
 
        """Get the file at the given relative path.
140
 
 
141
 
        :param relpath: The relative path to the file
142
 
        """
143
 
        try:
144
 
            return get_url(self.abspath(relpath))
145
 
        except urllib2.URLError, e:
146
 
            if e.code == 404:
147
 
                raise NoSuchFile(msg = "Error retrieving %s: %s" 
148
 
                                 % (self.abspath(relpath), str(e)),
149
 
                                 orig_error=e)
150
 
            raise
151
 
        except (BzrError, IOError), e:
152
 
            raise NoSuchFile(msg = "Error retrieving %s: %s" 
153
 
                             % (self.abspath(relpath), str(e)),
154
 
                             orig_error=e)
155
 
 
156
 
    def put(self, relpath, f):
157
 
        """Copy the file-like or string object into the location.
158
 
 
159
 
        :param relpath: Location to put the contents, relative to base.
160
 
        :param f:       File-like or string object.
161
 
        """
162
 
        raise TransportNotPossible('http PUT not supported')
163
 
 
164
 
    def mkdir(self, relpath):
165
 
        """Create a directory at the given path."""
166
 
        raise TransportNotPossible('http does not support mkdir()')
167
 
 
168
 
    def append(self, relpath, f):
169
 
        """Append the text in the file-like object into the final
170
 
        location.
171
 
        """
172
 
        raise TransportNotPossible('http does not support append()')
173
 
 
174
 
    def copy(self, rel_from, rel_to):
175
 
        """Copy the item at rel_from to the location at rel_to"""
176
 
        raise TransportNotPossible('http does not support copy()')
177
 
 
178
 
    def copy_to(self, relpaths, other, pb=None):
179
 
        """Copy a set of entries from self into another Transport.
180
 
 
181
 
        :param relpaths: A list/generator of entries to be copied.
182
 
 
183
 
        TODO: if other is LocalTransport, is it possible to
184
 
              do better than put(get())?
185
 
        """
186
 
        # At this point HttpTransport might be able to check and see if
187
 
        # the remote location is the same, and rather than download, and
188
 
        # then upload, it could just issue a remote copy_this command.
189
 
        if isinstance(other, HttpTransport):
190
 
            raise TransportNotPossible('http cannot be the target of copy_to()')
191
 
        else:
192
 
            return super(HttpTransport, self).copy_to(relpaths, other, pb=pb)
193
 
 
194
 
    def move(self, rel_from, rel_to):
195
 
        """Move the item at rel_from to the location at rel_to"""
196
 
        raise TransportNotPossible('http does not support move()')
197
 
 
198
 
    def delete(self, relpath):
199
 
        """Delete the item at relpath"""
200
 
        raise TransportNotPossible('http does not support delete()')
201
 
 
202
 
    def listable(self):
203
 
        """See Transport.listable."""
204
 
        return False
205
 
 
206
 
    def stat(self, relpath):
207
 
        """Return the stat information for a file.
208
 
        """
209
 
        raise TransportNotPossible('http does not support stat()')
210
 
 
211
 
    def lock_read(self, relpath):
212
 
        """Lock the given file for shared (read) access.
213
 
        :return: A lock object, which should be passed to Transport.unlock()
214
 
        """
215
 
        # The old RemoteBranch ignore lock for reading, so we will
216
 
        # continue that tradition and return a bogus lock object.
217
 
        class BogusLock(object):
218
 
            def __init__(self, path):
219
 
                self.path = path
220
 
            def unlock(self):
221
 
                pass
222
 
        return BogusLock(relpath)
223
 
 
224
 
    def lock_write(self, relpath):
225
 
        """Lock the given file for exclusive (write) access.
226
 
        WARNING: many transports do not support this, so trying avoid using it
227
 
 
228
 
        :return: A lock object, which should be passed to Transport.unlock()
229
 
        """
230
 
        raise TransportNotPossible('http does not support lock_write()')