← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remotebranch.py

  • Committer: mbp at sourcefrog
  • Date: 2005-04-08 05:39:46 UTC
  • Revision ID: mbp@sourcefrog.net-20050408053946-1cb3415e1f8f58493034a5cf
- import lovely urlgrabber library

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/remotebranch.py
1
 
#! /usr/bin/env python
2
 
 
3
1
# Copyright (C) 2005 Canonical Ltd
4
2
 
5
3
# This program is free software; you can redistribute it and/or modify
17
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18
16
 
19
17
 
20
 
"""Proxy object for access to remote branches.
21
 
 
22
 
At the moment remote branches are only for HTTP and only for read
23
 
access.
24
 
"""
25
 
 
26
 
 
27
 
import gzip
 
18
## XXX: This is pretty slow on high-latency connections because it
 
19
## doesn't keep the HTTP connection alive.  If you have a smart local
 
20
## proxy it may be much better.  Eventually I want to switch to
 
21
## urlgrabber which should use HTTP much more efficiently.
 
22
 
 
23
 
 
24
import urllib2, gzip, zlib
 
25
from sets import Set
28
26
from cStringIO import StringIO
29
 
import urllib2
30
 
 
31
 
from errors import BzrError, BzrCheckError
32
 
from branch import Branch, BZR_BRANCH_FORMAT
33
 
from trace import mutter
 
27
 
 
28
from errors import BzrError
 
29
from revision import Revision
 
30
from inventory import Inventory
 
31
 
 
32
# h = HTTPConnection('localhost:8000')
 
33
# h = HTTPConnection('bazaar-ng.org')
34
34
 
35
35
# velocitynet.com.au transparently proxies connections and thereby
36
36
# breaks keep-alive -- sucks!
37
37
 
38
38
 
39
 
ENABLE_URLGRABBER = True
40
 
 
41
 
from bzrlib.errors import BzrError
42
 
 
43
 
class GetFailed(BzrError):
44
 
    def __init__(self, url, status):
45
 
        BzrError.__init__(self, "Get %s failed with status %s" % (url, status))
46
 
        self.url = url
47
 
        self.status = status
48
 
 
49
 
if ENABLE_URLGRABBER:
50
 
    import util.urlgrabber
51
 
    import util.urlgrabber.keepalive
52
 
    util.urlgrabber.keepalive.DEBUG = 0
53
 
    def get_url(path, compressed=False):
54
 
        try:
55
 
            url = path
56
 
            if compressed:
57
 
                url += '.gz'
58
 
            mutter("grab url %s" % url)
59
 
            url_f = util.urlgrabber.urlopen(url, keepalive=1, close_connection=0)
60
 
            if url_f.status != 200:
61
 
                raise GetFailed(url, url_f.status)
62
 
            if not compressed:
63
 
                return url_f
64
 
            else:
65
 
                return gzip.GzipFile(fileobj=StringIO(url_f.read()))
66
 
        except urllib2.URLError, e:
67
 
            raise BzrError("remote fetch failed: %r: %s" % (url, e))
68
 
else:
69
 
    def get_url(url, compressed=False):
70
 
        import urllib2
 
39
import urlgrabber.keepalive
 
40
urlgrabber.keepalive.DEBUG = 2
 
41
 
 
42
import urlgrabber
 
43
 
 
44
prefix = 'http://localhost:8000'
 
45
# prefix = 'http://bazaar-ng.org/bzr/main/'
 
46
 
 
47
def get_url(path, compressed=False):
 
48
    try:
 
49
        url = prefix + path
71
50
        if compressed:
72
51
            url += '.gz'
73
 
        mutter("get_url %s" % url)
74
 
        url_f = urllib2.urlopen(url)
75
 
        if compressed:
 
52
        url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
 
53
        if not compressed:
 
54
            return url_f
 
55
        else:
76
56
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
77
 
        else:
78
 
            return url_f
79
 
 
80
 
 
81
 
 
82
 
def _find_remote_root(url):
83
 
    """Return the prefix URL that corresponds to the branch root."""
84
 
    orig_url = url
85
 
    while True:
86
 
        try:
87
 
            ff = get_url(url + '/.bzr/branch-format')
88
 
 
89
 
            fmt = ff.read()
90
 
            ff.close()
91
 
 
92
 
            fmt = fmt.rstrip('\r\n')
93
 
            if fmt != BZR_BRANCH_FORMAT.rstrip('\r\n'):
94
 
                raise BzrError("sorry, branch format %r not supported at url %s"
95
 
                               % (fmt, url))
 
57
    except urllib2.URLError, e:
 
58
        raise BzrError("remote fetch failed: %r: %s" % (url, e))
 
59
 
 
60
 
 
61
got_invs = Set()
 
62
got_texts = Set()
 
63
 
 
64
print 'read history'
 
65
history = get_url('/.bzr/revision-history').readlines()
 
66
num_revs = len(history)
 
67
for i, rev_id in enumerate(history):
 
68
    rev_id = rev_id.rstrip()
 
69
    print 'read revision %d/%d' % (i, num_revs)
 
70
 
 
71
    # python gzip needs a seekable file (!!) but the HTTP response
 
72
    # isn't, so we need to buffer it
 
73
    
 
74
    rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
 
75
                    compressed=True)
 
76
 
 
77
    rev = Revision.read_xml(rev_f)
 
78
    print rev.message
 
79
    inv_id = rev.inventory_id
 
80
    if inv_id not in got_invs:
 
81
        print 'get inventory %s' % inv_id
 
82
        inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
 
83
                        compressed=True)
 
84
        inv = Inventory.read_xml(inv_f)
 
85
        print '%4d inventory entries' % len(inv)
 
86
 
 
87
        for path, ie in inv.iter_entries():
 
88
            text_id = ie.text_id
 
89
            if text_id == None:
 
90
                continue
 
91
            if text_id in got_texts:
 
92
                continue
 
93
            print '  fetch %s text {%s}' % (path, text_id)
 
94
            text_f = get_url('/.bzr/text-store/%s' % text_id,
 
95
                             compressed=True)
 
96
            got_texts.add(text_id)
96
97
            
97
 
            return url
98
 
        except urllib2.URLError:
99
 
            pass
100
 
 
101
 
        try:
102
 
            idx = url.rindex('/')
103
 
        except ValueError:
104
 
            raise BzrError('no branch root found for URL %s' % orig_url)
105
 
 
106
 
        url = url[:idx]        
107
 
        
108
 
 
109
 
 
110
 
class RemoteBranch(Branch):
111
 
    def __init__(self, baseurl, find_root=True):
112
 
        """Create new proxy for a remote branch."""
113
 
        if find_root:
114
 
            self.baseurl = _find_remote_root(baseurl)
115
 
        else:
116
 
            self.baseurl = baseurl
117
 
            self._check_format()
118
 
 
119
 
        self.inventory_store = RemoteStore(baseurl + '/.bzr/inventory-store/')
120
 
        self.text_store = RemoteStore(baseurl + '/.bzr/text-store/')
121
 
        self.revision_store = RemoteStore(baseurl + '/.bzr/revision-store/')
122
 
 
123
 
    def __str__(self):
124
 
        b = getattr(self, 'baseurl', 'undefined')
125
 
        return '%s(%r)' % (self.__class__.__name__, b)
126
 
 
127
 
    __repr__ = __str__
128
 
 
129
 
    def controlfile(self, filename, mode):
130
 
        if mode not in ('rb', 'rt', 'r'):
131
 
            raise BzrError("file mode %r not supported for remote branches" % mode)
132
 
        return get_url(self.baseurl + '/.bzr/' + filename, False)
133
 
 
134
 
 
135
 
    def lock_read(self):
136
 
        # no locking for remote branches yet
137
 
        pass
138
 
 
139
 
    def lock_write(self):
140
 
        from errors import LockError
141
 
        raise LockError("write lock not supported for remote branch %s"
142
 
                        % self.baseurl)
143
 
 
144
 
    def unlock(self):
145
 
        pass
146
 
    
147
 
 
148
 
    def relpath(self, path):
149
 
        if not path.startswith(self.baseurl):
150
 
            raise BzrError('path %r is not under base URL %r'
151
 
                           % (path, self.baseurl))
152
 
        pl = len(self.baseurl)
153
 
        return path[pl:].lstrip('/')
154
 
 
155
 
 
156
 
    def get_revision(self, revision_id):
157
 
        from bzrlib.revision import Revision
158
 
        from bzrlib.xml import unpack_xml
159
 
        revf = self.revision_store[revision_id]
160
 
        r = unpack_xml(Revision, revf)
161
 
        if r.revision_id != revision_id:
162
 
            raise BzrCheckError('revision stored as {%s} actually contains {%s}'
163
 
                                % (revision_id, r.revision_id))
164
 
        return r
165
 
 
166
 
 
167
 
class RemoteStore(object):
168
 
    def __init__(self, baseurl):
169
 
        self._baseurl = baseurl
170
 
        
171
 
 
172
 
    def _path(self, name):
173
 
        if '/' in name:
174
 
            raise ValueError('invalid store id', name)
175
 
        return self._baseurl + '/' + name
176
 
        
177
 
    def __getitem__(self, fileid):
178
 
        p = self._path(fileid)
179
 
        try:
180
 
            return get_url(p, compressed=True)
181
 
        except:
182
 
            raise KeyError(fileid)
183
 
    
184
 
 
185
 
    
 
98
        got_invs.add(inv_id)
 
99
 
 
100
    print '----'