~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/transport/http.py

Exclude more files from dumb-rsync upload

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2005 Canonical Ltd
 
2
 
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
 
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
 
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
"""Implementation of Transport over http.
 
17
"""
 
18
 
 
19
from bzrlib.transport import Transport, register_transport
 
20
from bzrlib.errors import (TransportNotPossible, NoSuchFile, 
 
21
                           NonRelativePath, TransportError, ConnectionError)
 
22
import os, errno
 
23
from cStringIO import StringIO
 
24
import urllib2
 
25
import urlparse
 
26
 
 
27
from bzrlib.errors import BzrError, BzrCheckError
 
28
from bzrlib.branch import Branch
 
29
from bzrlib.trace import mutter
 
30
 
 
31
 
 
32
def get_url(url):
 
33
    import urllib2
 
34
    mutter("get_url %s" % url)
 
35
    url_f = urllib2.urlopen(url)
 
36
    return url_f
 
37
 
 
38
class HttpTransportError(TransportError):
 
39
    pass
 
40
 
 
41
class HttpTransport(Transport):
 
42
    """This is the transport agent for http:// access.
 
43
    
 
44
    TODO: Implement pipelined versions of all of the *_multi() functions.
 
45
    """
 
46
 
 
47
    def __init__(self, base):
 
48
        """Set the base path where files will be stored."""
 
49
        assert base.startswith('http://') or base.startswith('https://')
 
50
        super(HttpTransport, self).__init__(base)
 
51
        # In the future we might actually connect to the remote host
 
52
        # rather than using get_url
 
53
        # self._connection = None
 
54
        (self._proto, self._host,
 
55
            self._path, self._parameters,
 
56
            self._query, self._fragment) = urlparse.urlparse(self.base)
 
57
 
 
58
    def should_cache(self):
 
59
        """Return True if the data pulled across should be cached locally.
 
60
        """
 
61
        return True
 
62
 
 
63
    def clone(self, offset=None):
 
64
        """Return a new HttpTransport with root at self.base + offset
 
65
        For now HttpTransport does not actually connect, so just return
 
66
        a new HttpTransport object.
 
67
        """
 
68
        if offset is None:
 
69
            return HttpTransport(self.base)
 
70
        else:
 
71
            return HttpTransport(self.abspath(offset))
 
72
 
 
73
    def abspath(self, relpath):
 
74
        """Return the full url to the given relative path.
 
75
        This can be supplied with a string or a list
 
76
        """
 
77
        assert isinstance(relpath, basestring)
 
78
        if isinstance(relpath, basestring):
 
79
            relpath_parts = relpath.split('/')
 
80
        else:
 
81
            # TODO: Don't call this with an array - no magic interfaces
 
82
            relpath_parts = relpath[:]
 
83
        if len(relpath_parts) > 1:
 
84
            if relpath_parts[0] == '':
 
85
                raise ValueError("path %r within branch %r seems to be absolute"
 
86
                                 % (relpath, self._path))
 
87
            if relpath_parts[-1] == '':
 
88
                raise ValueError("path %r within branch %r seems to be a directory"
 
89
                                 % (relpath, self._path))
 
90
        basepath = self._path.split('/')
 
91
        if len(basepath) > 0 and basepath[-1] == '':
 
92
            basepath = basepath[:-1]
 
93
        for p in relpath_parts:
 
94
            if p == '..':
 
95
                if len(basepath) == 0:
 
96
                    # In most filesystems, a request for the parent
 
97
                    # of root, just returns root.
 
98
                    continue
 
99
                basepath.pop()
 
100
            elif p == '.' or p == '':
 
101
                continue # No-op
 
102
            else:
 
103
                basepath.append(p)
 
104
        # Possibly, we could use urlparse.urljoin() here, but
 
105
        # I'm concerned about when it chooses to strip the last
 
106
        # portion of the path, and when it doesn't.
 
107
        path = '/'.join(basepath)
 
108
        return urlparse.urlunparse((self._proto,
 
109
                self._host, path, '', '', ''))
 
110
 
 
111
    def has(self, relpath):
 
112
        """Does the target location exist?
 
113
 
 
114
        TODO: HttpTransport.has() should use a HEAD request,
 
115
        not a full GET request.
 
116
 
 
117
        TODO: This should be changed so that we don't use
 
118
        urllib2 and get an exception, the code path would be
 
119
        cleaner if we just do an http HEAD request, and parse
 
120
        the return code.
 
121
        """
 
122
        try:
 
123
            f = get_url(self.abspath(relpath))
 
124
            # Without the read and then close()
 
125
            # we tend to have busy sockets.
 
126
            f.read()
 
127
            f.close()
 
128
            return True
 
129
        except urllib2.URLError, e:
 
130
            if e.code == 404:
 
131
                return False
 
132
            raise
 
133
        except IOError, e:
 
134
            if e.errno == errno.ENOENT:
 
135
                return False
 
136
            raise HttpTransportError(orig_error=e)
 
137
 
 
138
    def get(self, relpath, decode=False):
 
139
        """Get the file at the given relative path.
 
140
 
 
141
        :param relpath: The relative path to the file
 
142
        """
 
143
        try:
 
144
            return get_url(self.abspath(relpath))
 
145
        except urllib2.HTTPError, e:
 
146
            if e.code == 404:
 
147
                raise NoSuchFile(msg = "Error retrieving %s: %s" 
 
148
                                 % (self.abspath(relpath), str(e)),
 
149
                                 orig_error=e)
 
150
            raise
 
151
        except (BzrError, IOError), e:
 
152
            raise ConnectionError(msg = "Error retrieving %s: %s" 
 
153
                             % (self.abspath(relpath), str(e)),
 
154
                             orig_error=e)
 
155
 
 
156
    def put(self, relpath, f):
 
157
        """Copy the file-like or string object into the location.
 
158
 
 
159
        :param relpath: Location to put the contents, relative to base.
 
160
        :param f:       File-like or string object.
 
161
        """
 
162
        raise TransportNotPossible('http PUT not supported')
 
163
 
 
164
    def mkdir(self, relpath):
 
165
        """Create a directory at the given path."""
 
166
        raise TransportNotPossible('http does not support mkdir()')
 
167
 
 
168
    def append(self, relpath, f):
 
169
        """Append the text in the file-like object into the final
 
170
        location.
 
171
        """
 
172
        raise TransportNotPossible('http does not support append()')
 
173
 
 
174
    def copy(self, rel_from, rel_to):
 
175
        """Copy the item at rel_from to the location at rel_to"""
 
176
        raise TransportNotPossible('http does not support copy()')
 
177
 
 
178
    def copy_to(self, relpaths, other, pb=None):
 
179
        """Copy a set of entries from self into another Transport.
 
180
 
 
181
        :param relpaths: A list/generator of entries to be copied.
 
182
 
 
183
        TODO: if other is LocalTransport, is it possible to
 
184
              do better than put(get())?
 
185
        """
 
186
        # At this point HttpTransport might be able to check and see if
 
187
        # the remote location is the same, and rather than download, and
 
188
        # then upload, it could just issue a remote copy_this command.
 
189
        if isinstance(other, HttpTransport):
 
190
            raise TransportNotPossible('http cannot be the target of copy_to()')
 
191
        else:
 
192
            return super(HttpTransport, self).copy_to(relpaths, other, pb=pb)
 
193
 
 
194
    def move(self, rel_from, rel_to):
 
195
        """Move the item at rel_from to the location at rel_to"""
 
196
        raise TransportNotPossible('http does not support move()')
 
197
 
 
198
    def delete(self, relpath):
 
199
        """Delete the item at relpath"""
 
200
        raise TransportNotPossible('http does not support delete()')
 
201
 
 
202
    def listable(self):
 
203
        """See Transport.listable."""
 
204
        return False
 
205
 
 
206
    def stat(self, relpath):
 
207
        """Return the stat information for a file.
 
208
        """
 
209
        raise TransportNotPossible('http does not support stat()')
 
210
 
 
211
    def lock_read(self, relpath):
 
212
        """Lock the given file for shared (read) access.
 
213
        :return: A lock object, which should be passed to Transport.unlock()
 
214
        """
 
215
        # The old RemoteBranch ignore lock for reading, so we will
 
216
        # continue that tradition and return a bogus lock object.
 
217
        class BogusLock(object):
 
218
            def __init__(self, path):
 
219
                self.path = path
 
220
            def unlock(self):
 
221
                pass
 
222
        return BogusLock(relpath)
 
223
 
 
224
    def lock_write(self, relpath):
 
225
        """Lock the given file for exclusive (write) access.
 
226
        WARNING: many transports do not support this, so trying avoid using it
 
227
 
 
228
        :return: A lock object, which should be passed to Transport.unlock()
 
229
        """
 
230
        raise TransportNotPossible('http does not support lock_write()')