← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remotebranch.py

  • Committer: Martin Pool
  • Date: 2005-05-16 02:19:13 UTC
  • Revision ID: mbp@sourcefrog.net-20050516021913-3a933f871079e3fe
- patch from ddaa to create api/ directory 
  before building API docs

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/remotebranch.py
 
1
#! /usr/bin/env python
 
2
 
1
3
# Copyright (C) 2005 Canonical Ltd
2
4
 
3
5
# This program is free software; you can redistribute it and/or modify
15
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
18
 
17
19
 
18
 
## XXX: This is pretty slow on high-latency connections because it
19
 
## doesn't keep the HTTP connection alive.  If you have a smart local
20
 
## proxy it may be much better.  Eventually I want to switch to
21
 
## urlgrabber which should use HTTP much more efficiently.
22
 
 
23
 
 
24
 
import urllib2, gzip, zlib
 
20
"""Proxy object for access to remote branches.
 
21
 
 
22
At the moment remote branches are only for HTTP and only for read
 
23
access.
 
24
"""
 
25
 
 
26
 
 
27
import gzip
25
28
from sets import Set
26
29
from cStringIO import StringIO
27
 
 
28
 
from errors import BzrError
29
 
from revision import Revision
30
 
from inventory import Inventory
31
 
 
32
 
# h = HTTPConnection('localhost:8000')
33
 
# h = HTTPConnection('bazaar-ng.org')
 
30
import urllib2
 
31
 
 
32
from errors import BzrError, BzrCheckError
 
33
from branch import Branch, BZR_BRANCH_FORMAT
 
34
from trace import mutter
34
35
 
35
36
# velocitynet.com.au transparently proxies connections and thereby
36
37
# breaks keep-alive -- sucks!
37
38
 
38
39
 
39
 
import urlgrabber.keepalive
40
 
urlgrabber.keepalive.DEBUG = 2
41
 
 
42
 
import urlgrabber
43
 
 
44
 
prefix = 'http://localhost:8000'
45
 
# prefix = 'http://bazaar-ng.org/bzr/main/'
46
 
 
47
 
def get_url(path, compressed=False):
48
 
    try:
49
 
        url = prefix + path
 
40
ENABLE_URLGRABBER = True
 
41
 
 
42
 
 
43
if ENABLE_URLGRABBER:
 
44
    import urlgrabber
 
45
    import urlgrabber.keepalive
 
46
    urlgrabber.keepalive.DEBUG = 0
 
47
    def get_url(path, compressed=False):
 
48
        try:
 
49
            url = path
 
50
            if compressed:
 
51
                url += '.gz'
 
52
            mutter("grab url %s" % url)
 
53
            url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
 
54
            if not compressed:
 
55
                return url_f
 
56
            else:
 
57
                return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
58
        except urllib2.URLError, e:
 
59
            raise BzrError("remote fetch failed: %r: %s" % (url, e))
 
60
else:
 
61
    def get_url(url, compressed=False):
 
62
        import urllib2
50
63
        if compressed:
51
64
            url += '.gz'
52
 
        url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
53
 
        if not compressed:
 
65
        mutter("get_url %s" % url)
 
66
        url_f = urllib2.urlopen(url)
 
67
        if compressed:
 
68
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
69
        else:
54
70
            return url_f
 
71
 
 
72
 
 
73
 
 
74
def _find_remote_root(url):
 
75
    """Return the prefix URL that corresponds to the branch root."""
 
76
    orig_url = url
 
77
    while True:
 
78
        try:
 
79
            ff = get_url(url + '/.bzr/branch-format')
 
80
 
 
81
            fmt = ff.read()
 
82
            ff.close()
 
83
 
 
84
            fmt = fmt.rstrip('\r\n')
 
85
            if fmt != BZR_BRANCH_FORMAT.rstrip('\r\n'):
 
86
                raise BzrError("sorry, branch format %r not supported at url %s"
 
87
                               % (fmt, url))
 
88
            
 
89
            return url
 
90
        except urllib2.URLError:
 
91
            pass
 
92
 
 
93
        try:
 
94
            idx = url.rindex('/')
 
95
        except ValueError:
 
96
            raise BzrError('no branch root found for URL %s' % orig_url)
 
97
 
 
98
        url = url[:idx]        
 
99
        
 
100
 
 
101
 
 
102
class RemoteBranch(Branch):
 
103
    def __init__(self, baseurl, find_root=True, lock_mode='r'):
 
104
        """Create new proxy for a remote branch."""
 
105
        if lock_mode not in ('', 'r'):
 
106
            raise BzrError('lock mode %r is not supported for remote branches'
 
107
                           % lock_mode)
 
108
 
 
109
        if find_root:
 
110
            self.baseurl = _find_remote_root(baseurl)
55
111
        else:
56
 
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
57
 
    except urllib2.URLError, e:
58
 
        raise BzrError("remote fetch failed: %r: %s" % (url, e))
59
 
 
60
 
 
61
 
got_invs = Set()
62
 
got_texts = Set()
63
 
 
64
 
print 'read history'
65
 
history = get_url('/.bzr/revision-history').readlines()
66
 
num_revs = len(history)
67
 
for i, rev_id in enumerate(history):
68
 
    rev_id = rev_id.rstrip()
69
 
    print 'read revision %d/%d' % (i, num_revs)
70
 
 
71
 
    # python gzip needs a seekable file (!!) but the HTTP response
72
 
    # isn't, so we need to buffer it
 
112
            self.baseurl = baseurl
 
113
            self._check_format()
 
114
 
 
115
    def __str__(self):
 
116
        return '%s(%r)' % (self.__class__.__name__, self.baseurl)
 
117
 
 
118
    __repr__ = __str__
 
119
 
 
120
    def controlfile(self, filename, mode):
 
121
        if mode not in ('rb', 'rt', 'r'):
 
122
            raise BzrError("file mode %r not supported for remote branches" % mode)
 
123
        return get_url(self.baseurl + '/.bzr/' + filename, False)
 
124
 
 
125
    def _need_readlock(self):
 
126
        # remote branch always safe for read
 
127
        pass
 
128
 
 
129
    def _need_writelock(self):
 
130
        raise BzrError("cannot get write lock on HTTP remote branch")
 
131
 
 
132
    def relpath(self, path):
 
133
        if not path.startswith(self.baseurl):
 
134
            raise BzrError('path %r is not under base URL %r'
 
135
                           % (path, self.baseurl))
 
136
        pl = len(self.baseurl)
 
137
        return path[pl:].lstrip('/')
 
138
 
 
139
    def get_revision(self, revision_id):
 
140
        from revision import Revision
 
141
        revf = get_url(self.baseurl + '/.bzr/revision-store/' + revision_id,
 
142
                       True)
 
143
        r = Revision.read_xml(revf)
 
144
        if r.revision_id != revision_id:
 
145
            raise BzrCheckError('revision stored as {%s} actually contains {%s}'
 
146
                                % (revision_id, r.revision_id))
 
147
        return r
73
148
    
74
 
    rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
75
 
                    compressed=True)
76
 
 
77
 
    rev = Revision.read_xml(rev_f)
78
 
    print rev.message
79
 
    inv_id = rev.inventory_id
80
 
    if inv_id not in got_invs:
81
 
        print 'get inventory %s' % inv_id
82
 
        inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
 
149
 
 
150
def simple_walk():
 
151
    from revision import Revision
 
152
    from branch import Branch
 
153
    from inventory import Inventory
 
154
 
 
155
    got_invs = Set()
 
156
    got_texts = Set()
 
157
 
 
158
    print 'read history'
 
159
    history = get_url('/.bzr/revision-history').readlines()
 
160
    num_revs = len(history)
 
161
    for i, rev_id in enumerate(history):
 
162
        rev_id = rev_id.rstrip()
 
163
        print 'read revision %d/%d' % (i, num_revs)
 
164
 
 
165
        # python gzip needs a seekable file (!!) but the HTTP response
 
166
        # isn't, so we need to buffer it
 
167
 
 
168
        rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
83
169
                        compressed=True)
84
 
        inv = Inventory.read_xml(inv_f)
85
 
        print '%4d inventory entries' % len(inv)
86
 
 
87
 
        for path, ie in inv.iter_entries():
88
 
            text_id = ie.text_id
89
 
            if text_id == None:
90
 
                continue
91
 
            if text_id in got_texts:
92
 
                continue
93
 
            print '  fetch %s text {%s}' % (path, text_id)
94
 
            text_f = get_url('/.bzr/text-store/%s' % text_id,
95
 
                             compressed=True)
96
 
            got_texts.add(text_id)
97
 
            
98
 
        got_invs.add(inv_id)
99
 
 
100
 
    print '----'
 
170
 
 
171
        rev = Revision.read_xml(rev_f)
 
172
        print rev.message
 
173
        inv_id = rev.inventory_id
 
174
        if inv_id not in got_invs:
 
175
            print 'get inventory %s' % inv_id
 
176
            inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
 
177
                            compressed=True)
 
178
            inv = Inventory.read_xml(inv_f)
 
179
            print '%4d inventory entries' % len(inv)
 
180
 
 
181
            for path, ie in inv.iter_entries():
 
182
                text_id = ie.text_id
 
183
                if text_id == None:
 
184
                    continue
 
185
                if text_id in got_texts:
 
186
                    continue
 
187
                print '  fetch %s text {%s}' % (path, text_id)
 
188
                text_f = get_url('/.bzr/text-store/%s' % text_id,
 
189
                                 compressed=True)
 
190
                got_texts.add(text_id)
 
191
 
 
192
            got_invs.add(inv_id)
 
193
 
 
194
        print '----'
 
195
 
 
196
 
 
197
def try_me():
 
198
    BASE_URL = 'http://bazaar-ng.org/bzr/bzr.dev/'
 
199
    b = RemoteBranch(BASE_URL)
 
200
    ## print '\n'.join(b.revision_history())
 
201
    from log import show_log
 
202
    show_log(b)
 
203
 
 
204
 
 
205
if __name__ == '__main__':
 
206
    try_me()
 
207