← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remotebranch.py

  • Committer: Martin Pool
  • Date: 2005-06-22 06:38:18 UTC
  • Revision ID: mbp@sourcefrog.net-20050622063818-cd8d21b14bd4b636
- add plugin patch, still being integrated

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/remotebranch.py
 
1
#! /usr/bin/env python
 
2
 
1
3
# Copyright (C) 2005 Canonical Ltd
2
4
 
3
5
# This program is free software; you can redistribute it and/or modify
15
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
18
 
17
19
 
18
 
## XXX: This is pretty slow on high-latency connections because it
19
 
## doesn't keep the HTTP connection alive.  If you have a smart local
20
 
## proxy it may be much better.  Eventually I want to switch to
21
 
## urlgrabber which should use HTTP much more efficiently.
22
 
 
23
 
 
24
 
import urllib2, gzip, zlib
25
 
from sets import Set
 
20
"""Proxy object for access to remote branches.
 
21
 
 
22
At the moment remote branches are only for HTTP and only for read
 
23
access.
 
24
"""
 
25
 
 
26
 
 
27
import gzip
26
28
from cStringIO import StringIO
27
 
 
28
 
from errors import BzrError
29
 
from revision import Revision
30
 
from inventory import Inventory
31
 
 
32
 
# h = HTTPConnection('localhost:8000')
33
 
# h = HTTPConnection('bazaar-ng.org')
 
29
import urllib2
 
30
 
 
31
from errors import BzrError, BzrCheckError
 
32
from branch import Branch, BZR_BRANCH_FORMAT
 
33
from trace import mutter
34
34
 
35
35
# velocitynet.com.au transparently proxies connections and thereby
36
36
# breaks keep-alive -- sucks!
37
37
 
38
38
 
39
 
import urlgrabber.keepalive
40
 
urlgrabber.keepalive.DEBUG = 2
41
 
 
42
 
import urlgrabber
43
 
 
44
 
prefix = 'http://localhost:8000'
45
 
# prefix = 'http://bazaar-ng.org/bzr/main/'
46
 
 
47
 
def get_url(path, compressed=False):
48
 
    try:
49
 
        url = prefix + path
 
39
ENABLE_URLGRABBER = True
 
40
 
 
41
 
 
42
if ENABLE_URLGRABBER:
 
43
    import urlgrabber
 
44
    import urlgrabber.keepalive
 
45
    urlgrabber.keepalive.DEBUG = 0
 
46
    def get_url(path, compressed=False):
 
47
        try:
 
48
            url = path
 
49
            if compressed:
 
50
                url += '.gz'
 
51
            mutter("grab url %s" % url)
 
52
            url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
 
53
            if not compressed:
 
54
                return url_f
 
55
            else:
 
56
                return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
57
        except urllib2.URLError, e:
 
58
            raise BzrError("remote fetch failed: %r: %s" % (url, e))
 
59
else:
 
60
    def get_url(url, compressed=False):
 
61
        import urllib2
50
62
        if compressed:
51
63
            url += '.gz'
52
 
        url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
53
 
        if not compressed:
 
64
        mutter("get_url %s" % url)
 
65
        url_f = urllib2.urlopen(url)
 
66
        if compressed:
 
67
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
68
        else:
54
69
            return url_f
 
70
 
 
71
 
 
72
 
 
73
def _find_remote_root(url):
 
74
    """Return the prefix URL that corresponds to the branch root."""
 
75
    orig_url = url
 
76
    while True:
 
77
        try:
 
78
            ff = get_url(url + '/.bzr/branch-format')
 
79
 
 
80
            fmt = ff.read()
 
81
            ff.close()
 
82
 
 
83
            fmt = fmt.rstrip('\r\n')
 
84
            if fmt != BZR_BRANCH_FORMAT.rstrip('\r\n'):
 
85
                raise BzrError("sorry, branch format %r not supported at url %s"
 
86
                               % (fmt, url))
 
87
            
 
88
            return url
 
89
        except urllib2.URLError:
 
90
            pass
 
91
 
 
92
        try:
 
93
            idx = url.rindex('/')
 
94
        except ValueError:
 
95
            raise BzrError('no branch root found for URL %s' % orig_url)
 
96
 
 
97
        url = url[:idx]        
 
98
        
 
99
 
 
100
 
 
101
class RemoteBranch(Branch):
 
102
    def __init__(self, baseurl, find_root=True):
 
103
        """Create new proxy for a remote branch."""
 
104
        if find_root:
 
105
            self.baseurl = _find_remote_root(baseurl)
55
106
        else:
56
 
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
57
 
    except urllib2.URLError, e:
58
 
        raise BzrError("remote fetch failed: %r: %s" % (url, e))
59
 
 
60
 
 
61
 
got_invs = Set()
62
 
got_texts = Set()
63
 
 
64
 
print 'read history'
65
 
history = get_url('/.bzr/revision-history').readlines()
66
 
num_revs = len(history)
67
 
for i, rev_id in enumerate(history):
68
 
    rev_id = rev_id.rstrip()
69
 
    print 'read revision %d/%d' % (i, num_revs)
70
 
 
71
 
    # python gzip needs a seekable file (!!) but the HTTP response
72
 
    # isn't, so we need to buffer it
73
 
    
74
 
    rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
75
 
                    compressed=True)
76
 
 
77
 
    rev = Revision.read_xml(rev_f)
78
 
    print rev.message
79
 
    inv_id = rev.inventory_id
80
 
    if inv_id not in got_invs:
81
 
        print 'get inventory %s' % inv_id
82
 
        inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
 
107
            self.baseurl = baseurl
 
108
            self._check_format()
 
109
 
 
110
        self.inventory_store = RemoteStore(baseurl + '/.bzr/inventory-store/')
 
111
        self.text_store = RemoteStore(baseurl + '/.bzr/text-store/')
 
112
        self.revision_store = RemoteStore(baseurl + '/.bzr/revision-store/')
 
113
 
 
114
    def __str__(self):
 
115
        b = getattr(self, 'baseurl', 'undefined')
 
116
        return '%s(%r)' % (self.__class__.__name__, b)
 
117
 
 
118
    __repr__ = __str__
 
119
 
 
120
    def controlfile(self, filename, mode):
 
121
        if mode not in ('rb', 'rt', 'r'):
 
122
            raise BzrError("file mode %r not supported for remote branches" % mode)
 
123
        return get_url(self.baseurl + '/.bzr/' + filename, False)
 
124
 
 
125
 
 
126
    def lock_read(self):
 
127
        # no locking for remote branches yet
 
128
        pass
 
129
 
 
130
    def lock_write(self):
 
131
        from errors import LockError
 
132
        raise LockError("write lock not supported for remote branch %s"
 
133
                        % self.baseurl)
 
134
 
 
135
    def unlock(self):
 
136
        pass
 
137
    
 
138
 
 
139
    def relpath(self, path):
 
140
        if not path.startswith(self.baseurl):
 
141
            raise BzrError('path %r is not under base URL %r'
 
142
                           % (path, self.baseurl))
 
143
        pl = len(self.baseurl)
 
144
        return path[pl:].lstrip('/')
 
145
 
 
146
    def get_revision(self, revision_id):
 
147
        from revision import Revision
 
148
        revf = get_url(self.baseurl + '/.bzr/revision-store/' + revision_id,
 
149
                       True)
 
150
        r = Revision.read_xml(revf)
 
151
        if r.revision_id != revision_id:
 
152
            raise BzrCheckError('revision stored as {%s} actually contains {%s}'
 
153
                                % (revision_id, r.revision_id))
 
154
        return r
 
155
 
 
156
 
 
157
class RemoteStore(object):
 
158
    def __init__(self, baseurl):
 
159
        self._baseurl = baseurl
 
160
        
 
161
 
 
162
    def _path(self, name):
 
163
        if '/' in name:
 
164
            raise ValueError('invalid store id', name)
 
165
        return self._baseurl + '/' + name
 
166
        
 
167
    def __getitem__(self, fileid):
 
168
        p = self._path(fileid)
 
169
        return get_url(p, compressed=True)
 
170
    
 
171
 
 
172
def simple_walk():
 
173
    """For experimental purposes, traverse many parts of a remote branch"""
 
174
    from revision import Revision
 
175
    from branch import Branch
 
176
    from inventory import Inventory
 
177
 
 
178
    got_invs = {}
 
179
    got_texts = {}
 
180
 
 
181
    print 'read history'
 
182
    history = get_url('/.bzr/revision-history').readlines()
 
183
    num_revs = len(history)
 
184
    for i, rev_id in enumerate(history):
 
185
        rev_id = rev_id.rstrip()
 
186
        print 'read revision %d/%d' % (i, num_revs)
 
187
 
 
188
        # python gzip needs a seekable file (!!) but the HTTP response
 
189
        # isn't, so we need to buffer it
 
190
 
 
191
        rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
83
192
                        compressed=True)
84
 
        inv = Inventory.read_xml(inv_f)
85
 
        print '%4d inventory entries' % len(inv)
86
 
 
87
 
        for path, ie in inv.iter_entries():
88
 
            text_id = ie.text_id
89
 
            if text_id == None:
90
 
                continue
91
 
            if text_id in got_texts:
92
 
                continue
93
 
            print '  fetch %s text {%s}' % (path, text_id)
94
 
            text_f = get_url('/.bzr/text-store/%s' % text_id,
95
 
                             compressed=True)
96
 
            got_texts.add(text_id)
97
 
            
98
 
        got_invs.add(inv_id)
99
 
 
100
 
    print '----'
 
193
 
 
194
        rev = Revision.read_xml(rev_f)
 
195
        print rev.message
 
196
        inv_id = rev.inventory_id
 
197
        if inv_id not in got_invs:
 
198
            print 'get inventory %s' % inv_id
 
199
            inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
 
200
                            compressed=True)
 
201
            inv = Inventory.read_xml(inv_f)
 
202
            print '%4d inventory entries' % len(inv)
 
203
 
 
204
            for path, ie in inv.iter_entries():
 
205
                text_id = ie.text_id
 
206
                if text_id == None:
 
207
                    continue
 
208
                if text_id in got_texts:
 
209
                    continue
 
210
                print '  fetch %s text {%s}' % (path, text_id)
 
211
                text_f = get_url('/.bzr/text-store/%s' % text_id,
 
212
                                 compressed=True)
 
213
                got_texts[text_id] = True
 
214
 
 
215
            got_invs.add[inv_id] = True
 
216
 
 
217
        print '----'
 
218
 
 
219
 
 
220
def try_me():
 
221
    BASE_URL = 'http://bazaar-ng.org/bzr/bzr.dev/'
 
222
    b = RemoteBranch(BASE_URL)
 
223
    ## print '\n'.join(b.revision_history())
 
224
    from log import show_log
 
225
    show_log(b)
 
226
 
 
227
 
 
228
if __name__ == '__main__':
 
229
    try_me()
 
230