← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remotebranch.py

  • Committer: mbp at sourcefrog
  • Date: 2005-04-08 22:14:09 UTC
  • Revision ID: mbp@sourcefrog.net-20050408221409-a99bd4796a56f42edbf3f13a
selected-file diff

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/remotebranch.py
1
 
#! /usr/bin/env python
2
 
 
3
1
# Copyright (C) 2005 Canonical Ltd
4
2
 
5
3
# This program is free software; you can redistribute it and/or modify
17
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18
16
 
19
17
 
20
 
"""Proxy object for access to remote branches.
21
 
 
22
 
At the moment remote branches are only for HTTP and only for read
23
 
access.
24
 
"""
25
 
 
26
 
 
27
 
import gzip
 
18
## XXX: This is pretty slow on high-latency connections because it
 
19
## doesn't keep the HTTP connection alive.  If you have a smart local
 
20
## proxy it may be much better.  Eventually I want to switch to
 
21
## urlgrabber which should use HTTP much more efficiently.
 
22
 
 
23
 
 
24
import urllib2, gzip, zlib
 
25
from sets import Set
28
26
from cStringIO import StringIO
29
 
import urllib2
30
 
 
31
 
from errors import BzrError, BzrCheckError
32
 
from branch import Branch, BZR_BRANCH_FORMAT
33
 
from trace import mutter
 
27
 
 
28
from errors import BzrError
 
29
from revision import Revision
 
30
from inventory import Inventory
 
31
 
 
32
# h = HTTPConnection('localhost:8000')
 
33
# h = HTTPConnection('bazaar-ng.org')
34
34
 
35
35
# velocitynet.com.au transparently proxies connections and thereby
36
36
# breaks keep-alive -- sucks!
37
37
 
38
38
 
39
 
ENABLE_URLGRABBER = True
40
 
 
41
 
 
42
 
if ENABLE_URLGRABBER:
43
 
    import urlgrabber
44
 
    import urlgrabber.keepalive
45
 
    urlgrabber.keepalive.DEBUG = 0
46
 
    def get_url(path, compressed=False):
47
 
        try:
48
 
            url = path
49
 
            if compressed:
50
 
                url += '.gz'
51
 
            mutter("grab url %s" % url)
52
 
            url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
53
 
            if not compressed:
54
 
                return url_f
55
 
            else:
56
 
                return gzip.GzipFile(fileobj=StringIO(url_f.read()))
57
 
        except urllib2.URLError, e:
58
 
            raise BzrError("remote fetch failed: %r: %s" % (url, e))
59
 
else:
60
 
    def get_url(url, compressed=False):
61
 
        import urllib2
 
39
import urlgrabber.keepalive
 
40
urlgrabber.keepalive.DEBUG = 2
 
41
 
 
42
import urlgrabber
 
43
 
 
44
prefix = 'http://localhost:8000'
 
45
# prefix = 'http://bazaar-ng.org/bzr/main/'
 
46
 
 
47
def get_url(path, compressed=False):
 
48
    try:
 
49
        url = prefix + path
62
50
        if compressed:
63
51
            url += '.gz'
64
 
        mutter("get_url %s" % url)
65
 
        url_f = urllib2.urlopen(url)
66
 
        if compressed:
 
52
        url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
 
53
        if not compressed:
 
54
            return url_f
 
55
        else:
67
56
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
68
 
        else:
69
 
            return url_f
70
 
 
71
 
 
72
 
 
73
 
def _find_remote_root(url):
74
 
    """Return the prefix URL that corresponds to the branch root."""
75
 
    orig_url = url
76
 
    while True:
77
 
        try:
78
 
            ff = get_url(url + '/.bzr/branch-format')
79
 
 
80
 
            fmt = ff.read()
81
 
            ff.close()
82
 
 
83
 
            fmt = fmt.rstrip('\r\n')
84
 
            if fmt != BZR_BRANCH_FORMAT.rstrip('\r\n'):
85
 
                raise BzrError("sorry, branch format %r not supported at url %s"
86
 
                               % (fmt, url))
 
57
    except urllib2.URLError, e:
 
58
        raise BzrError("remote fetch failed: %r: %s" % (url, e))
 
59
 
 
60
 
 
61
got_invs = Set()
 
62
got_texts = Set()
 
63
 
 
64
print 'read history'
 
65
history = get_url('/.bzr/revision-history').readlines()
 
66
num_revs = len(history)
 
67
for i, rev_id in enumerate(history):
 
68
    rev_id = rev_id.rstrip()
 
69
    print 'read revision %d/%d' % (i, num_revs)
 
70
 
 
71
    # python gzip needs a seekable file (!!) but the HTTP response
 
72
    # isn't, so we need to buffer it
 
73
    
 
74
    rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
 
75
                    compressed=True)
 
76
 
 
77
    rev = Revision.read_xml(rev_f)
 
78
    print rev.message
 
79
    inv_id = rev.inventory_id
 
80
    if inv_id not in got_invs:
 
81
        print 'get inventory %s' % inv_id
 
82
        inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
 
83
                        compressed=True)
 
84
        inv = Inventory.read_xml(inv_f)
 
85
        print '%4d inventory entries' % len(inv)
 
86
 
 
87
        for path, ie in inv.iter_entries():
 
88
            text_id = ie.text_id
 
89
            if text_id == None:
 
90
                continue
 
91
            if text_id in got_texts:
 
92
                continue
 
93
            print '  fetch %s text {%s}' % (path, text_id)
 
94
            text_f = get_url('/.bzr/text-store/%s' % text_id,
 
95
                             compressed=True)
 
96
            got_texts.add(text_id)
87
97
            
88
 
            return url
89
 
        except urllib2.URLError:
90
 
            pass
91
 
 
92
 
        try:
93
 
            idx = url.rindex('/')
94
 
        except ValueError:
95
 
            raise BzrError('no branch root found for URL %s' % orig_url)
96
 
 
97
 
        url = url[:idx]        
98
 
        
99
 
 
100
 
 
101
 
class RemoteBranch(Branch):
102
 
    def __init__(self, baseurl, find_root=True):
103
 
        """Create new proxy for a remote branch."""
104
 
        if find_root:
105
 
            self.baseurl = _find_remote_root(baseurl)
106
 
        else:
107
 
            self.baseurl = baseurl
108
 
            self._check_format()
109
 
 
110
 
        self.inventory_store = RemoteStore(baseurl + '/.bzr/inventory-store/')
111
 
        self.text_store = RemoteStore(baseurl + '/.bzr/text-store/')
112
 
        self.revision_store = RemoteStore(baseurl + '/.bzr/revision-store/')
113
 
 
114
 
    def __str__(self):
115
 
        b = getattr(self, 'baseurl', 'undefined')
116
 
        return '%s(%r)' % (self.__class__.__name__, b)
117
 
 
118
 
    __repr__ = __str__
119
 
 
120
 
    def controlfile(self, filename, mode):
121
 
        if mode not in ('rb', 'rt', 'r'):
122
 
            raise BzrError("file mode %r not supported for remote branches" % mode)
123
 
        return get_url(self.baseurl + '/.bzr/' + filename, False)
124
 
 
125
 
 
126
 
    def lock_read(self):
127
 
        # no locking for remote branches yet
128
 
        pass
129
 
 
130
 
    def lock_write(self):
131
 
        from errors import LockError
132
 
        raise LockError("write lock not supported for remote branch %s"
133
 
                        % self.baseurl)
134
 
 
135
 
    def unlock(self):
136
 
        pass
137
 
    
138
 
 
139
 
    def relpath(self, path):
140
 
        if not path.startswith(self.baseurl):
141
 
            raise BzrError('path %r is not under base URL %r'
142
 
                           % (path, self.baseurl))
143
 
        pl = len(self.baseurl)
144
 
        return path[pl:].lstrip('/')
145
 
 
146
 
 
147
 
    def get_revision(self, revision_id):
148
 
        from bzrlib.revision import Revision
149
 
        from bzrlib.xml import unpack_xml
150
 
        revf = self.revision_store[revision_id]
151
 
        r = unpack_xml(Revision, revf)
152
 
        if r.revision_id != revision_id:
153
 
            raise BzrCheckError('revision stored as {%s} actually contains {%s}'
154
 
                                % (revision_id, r.revision_id))
155
 
        return r
156
 
 
157
 
 
158
 
class RemoteStore(object):
159
 
    def __init__(self, baseurl):
160
 
        self._baseurl = baseurl
161
 
        
162
 
 
163
 
    def _path(self, name):
164
 
        if '/' in name:
165
 
            raise ValueError('invalid store id', name)
166
 
        return self._baseurl + '/' + name
167
 
        
168
 
    def __getitem__(self, fileid):
169
 
        p = self._path(fileid)
170
 
        return get_url(p, compressed=True)
171
 
    
172
 
 
173
 
def simple_walk():
174
 
    """For experimental purposes, traverse many parts of a remote branch"""
175
 
    from bzrlib.revision import Revision
176
 
    from bzrlib.branch import Branch
177
 
    from bzrlib.inventory import Inventory
178
 
    from bzrlib.xml import unpack_xml
179
 
 
180
 
    got_invs = {}
181
 
    got_texts = {}
182
 
 
183
 
    print 'read history'
184
 
    history = get_url('/.bzr/revision-history').readlines()
185
 
    num_revs = len(history)
186
 
    for i, rev_id in enumerate(history):
187
 
        rev_id = rev_id.rstrip()
188
 
        print 'read revision %d/%d' % (i, num_revs)
189
 
 
190
 
        # python gzip needs a seekable file (!!) but the HTTP response
191
 
        # isn't, so we need to buffer it
192
 
 
193
 
        rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
194
 
                        compressed=True)
195
 
 
196
 
        rev = unpack_xml(Revision, rev_f)
197
 
        print rev.message
198
 
        inv_id = rev.inventory_id
199
 
        if inv_id not in got_invs:
200
 
            print 'get inventory %s' % inv_id
201
 
            inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
202
 
                            compressed=True)
203
 
            inv = Inventory.read_xml(inv_f)
204
 
            print '%4d inventory entries' % len(inv)
205
 
 
206
 
            for path, ie in inv.iter_entries():
207
 
                text_id = ie.text_id
208
 
                if text_id == None:
209
 
                    continue
210
 
                if text_id in got_texts:
211
 
                    continue
212
 
                print '  fetch %s text {%s}' % (path, text_id)
213
 
                text_f = get_url('/.bzr/text-store/%s' % text_id,
214
 
                                 compressed=True)
215
 
                got_texts[text_id] = True
216
 
 
217
 
            got_invs.add[inv_id] = True
218
 
 
219
 
        print '----'
220
 
 
221
 
 
222
 
def try_me():
223
 
    BASE_URL = 'http://bazaar-ng.org/bzr/bzr.dev/'
224
 
    b = RemoteBranch(BASE_URL)
225
 
    ## print '\n'.join(b.revision_history())
226
 
    from log import show_log
227
 
    show_log(b)
228
 
 
229
 
 
230
 
if __name__ == '__main__':
231
 
    try_me()
232
 
    
 
98
        got_invs.add(inv_id)
 
99
 
 
100
    print '----'