← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remotebranch.py

  • Committer: Martin Pool
  • Date: 2005-05-10 06:21:52 UTC
  • Revision ID: mbp@sourcefrog.net-20050510062152-41db56a62921b23a
- Always call it 'statcache' not 'work cache'.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/remotebranch.py
 
1
#! /usr/bin/env python
 
2
 
1
3
# Copyright (C) 2005 Canonical Ltd
2
4
 
3
5
# This program is free software; you can redistribute it and/or modify
15
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
18
 
17
19
 
18
 
## XXX: This is pretty slow on high-latency connections because it
19
 
## doesn't keep the HTTP connection alive.  If you have a smart local
20
 
## proxy it may be much better.  Eventually I want to switch to
21
 
## urlgrabber which should use HTTP much more efficiently.
22
 
 
23
 
 
24
 
import urllib2, gzip, zlib
 
20
"""Proxy object for access to remote branches.
 
21
 
 
22
At the moment remote branches are only for HTTP and only for read
 
23
access.
 
24
 
 
25
"""
 
26
 
 
27
 
 
28
import gzip
25
29
from sets import Set
26
30
from cStringIO import StringIO
27
 
 
28
 
from errors import BzrError
29
 
from revision import Revision
30
 
from inventory import Inventory
31
 
 
32
 
# h = HTTPConnection('localhost:8000')
33
 
# h = HTTPConnection('bazaar-ng.org')
 
31
import urllib2
 
32
 
 
33
from errors import BzrError, BzrCheckError
 
34
from branch import Branch, BZR_BRANCH_FORMAT
 
35
from trace import mutter
34
36
 
35
37
# velocitynet.com.au transparently proxies connections and thereby
36
38
# breaks keep-alive -- sucks!
37
39
 
38
40
 
39
 
import urlgrabber.keepalive
40
 
urlgrabber.keepalive.DEBUG = 2
41
 
 
42
 
import urlgrabber
43
 
 
44
 
prefix = 'http://localhost:8000'
45
 
# prefix = 'http://bazaar-ng.org/bzr/main/'
46
 
 
47
 
def get_url(path, compressed=False):
48
 
    try:
49
 
        url = prefix + path
50
 
        if compressed:
51
 
            url += '.gz'
52
 
        url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
53
 
        if not compressed:
54
 
            return url_f
 
41
 
 
42
ENABLE_URLGRABBER = False
 
43
 
 
44
def get_url(url, compressed=False):
 
45
    import urllib2
 
46
    if compressed:
 
47
        url += '.gz'
 
48
    mutter("get_url %s" % url)
 
49
    url_f = urllib2.urlopen(url)
 
50
    if compressed:
 
51
        return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
52
    else:
 
53
        return url_f
 
54
 
 
55
 
 
56
if ENABLE_URLGRABBER:
 
57
    import urlgrabber
 
58
    import urlgrabber.keepalive
 
59
    urlgrabber.keepalive.DEBUG = 0
 
60
    def get_url(path, compressed=False):
 
61
        try:
 
62
            url = path
 
63
            if compressed:
 
64
                url += '.gz'
 
65
            url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
 
66
            if not compressed:
 
67
                return url_f
 
68
            else:
 
69
                return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
70
        except urllib2.URLError, e:
 
71
            raise BzrError("remote fetch failed: %r: %s" % (url, e))
 
72
 
 
73
 
 
74
 
 
75
def _find_remote_root(url):
 
76
    """Return the prefix URL that corresponds to the branch root."""
 
77
    orig_url = url
 
78
    while True:
 
79
        try:
 
80
            ff = get_url(url + '/.bzr/branch-format')
 
81
 
 
82
            fmt = ff.read()
 
83
            ff.close()
 
84
 
 
85
            fmt = fmt.rstrip('\r\n')
 
86
            if fmt != BZR_BRANCH_FORMAT.rstrip('\r\n'):
 
87
                raise BzrError("sorry, branch format %r not supported at url %s"
 
88
                               % (fmt, url))
 
89
            
 
90
            return url
 
91
        except urllib2.URLError:
 
92
            pass
 
93
 
 
94
        try:
 
95
            idx = url.rindex('/')
 
96
        except ValueError:
 
97
            raise BzrError('no branch root found for URL %s' % orig_url)
 
98
 
 
99
        url = url[:idx]        
 
100
        
 
101
 
 
102
 
 
103
class RemoteBranch(Branch):
 
104
    def __init__(self, baseurl, find_root=True, lock_mode='r'):
 
105
        """Create new proxy for a remote branch."""
 
106
        if lock_mode not in ('', 'r'):
 
107
            raise BzrError('lock mode %r is not supported for remote branches'
 
108
                           % lock_mode)
 
109
 
 
110
        if find_root:
 
111
            self.baseurl = _find_remote_root(baseurl)
55
112
        else:
56
 
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
57
 
    except urllib2.URLError, e:
58
 
        raise BzrError("remote fetch failed: %r: %s" % (url, e))
59
 
 
60
 
 
61
 
got_invs = Set()
62
 
got_texts = Set()
63
 
 
64
 
print 'read history'
65
 
history = get_url('/.bzr/revision-history').readlines()
66
 
num_revs = len(history)
67
 
for i, rev_id in enumerate(history):
68
 
    rev_id = rev_id.rstrip()
69
 
    print 'read revision %d/%d' % (i, num_revs)
70
 
 
71
 
    # python gzip needs a seekable file (!!) but the HTTP response
72
 
    # isn't, so we need to buffer it
 
113
            self.baseurl = baseurl
 
114
            self._check_format()
 
115
 
 
116
    def __str__(self):
 
117
        return '%s(%r)' % (self.__class__.__name__, self.baseurl)
 
118
 
 
119
    __repr__ = __str__
 
120
 
 
121
    def controlfile(self, filename, mode):
 
122
        if mode not in ('rb', 'rt', 'r'):
 
123
            raise BzrError("file mode %r not supported for remote branches" % mode)
 
124
        return get_url(self.baseurl + '/.bzr/' + filename, False)
 
125
 
 
126
    def _need_readlock(self):
 
127
        # remote branch always safe for read
 
128
        pass
 
129
 
 
130
    def _need_writelock(self):
 
131
        raise BzrError("cannot get write lock on HTTP remote branch")
 
132
 
 
133
    def relpath(self, path):
 
134
        if not path.startswith(self.baseurl):
 
135
            raise BzrError('path %r is not under base URL %r'
 
136
                           % (path, self.baseurl))
 
137
        pl = len(self.baseurl)
 
138
        return path[pl:].lstrip('/')
 
139
 
 
140
    def get_revision(self, revision_id):
 
141
        from revision import Revision
 
142
        revf = get_url(self.baseurl + '/.bzr/revision-store/' + revision_id,
 
143
                       True)
 
144
        r = Revision.read_xml(revf)
 
145
        if r.revision_id != revision_id:
 
146
            raise BzrCheckError('revision stored as {%s} actually contains {%s}'
 
147
                                % (revision_id, r.revision_id))
 
148
        return r
73
149
    
74
 
    rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
75
 
                    compressed=True)
76
 
 
77
 
    rev = Revision.read_xml(rev_f)
78
 
    print rev.message
79
 
    inv_id = rev.inventory_id
80
 
    if inv_id not in got_invs:
81
 
        print 'get inventory %s' % inv_id
82
 
        inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
 
150
 
 
151
def simple_walk():
 
152
    from revision import Revision
 
153
    from branch import Branch
 
154
    from inventory import Inventory
 
155
 
 
156
    got_invs = Set()
 
157
    got_texts = Set()
 
158
 
 
159
    print 'read history'
 
160
    history = get_url('/.bzr/revision-history').readlines()
 
161
    num_revs = len(history)
 
162
    for i, rev_id in enumerate(history):
 
163
        rev_id = rev_id.rstrip()
 
164
        print 'read revision %d/%d' % (i, num_revs)
 
165
 
 
166
        # python gzip needs a seekable file (!!) but the HTTP response
 
167
        # isn't, so we need to buffer it
 
168
 
 
169
        rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
83
170
                        compressed=True)
84
 
        inv = Inventory.read_xml(inv_f)
85
 
        print '%4d inventory entries' % len(inv)
86
 
 
87
 
        for path, ie in inv.iter_entries():
88
 
            text_id = ie.text_id
89
 
            if text_id == None:
90
 
                continue
91
 
            if text_id in got_texts:
92
 
                continue
93
 
            print '  fetch %s text {%s}' % (path, text_id)
94
 
            text_f = get_url('/.bzr/text-store/%s' % text_id,
95
 
                             compressed=True)
96
 
            got_texts.add(text_id)
97
 
            
98
 
        got_invs.add(inv_id)
99
 
 
100
 
    print '----'
 
171
 
 
172
        rev = Revision.read_xml(rev_f)
 
173
        print rev.message
 
174
        inv_id = rev.inventory_id
 
175
        if inv_id not in got_invs:
 
176
            print 'get inventory %s' % inv_id
 
177
            inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
 
178
                            compressed=True)
 
179
            inv = Inventory.read_xml(inv_f)
 
180
            print '%4d inventory entries' % len(inv)
 
181
 
 
182
            for path, ie in inv.iter_entries():
 
183
                text_id = ie.text_id
 
184
                if text_id == None:
 
185
                    continue
 
186
                if text_id in got_texts:
 
187
                    continue
 
188
                print '  fetch %s text {%s}' % (path, text_id)
 
189
                text_f = get_url('/.bzr/text-store/%s' % text_id,
 
190
                                 compressed=True)
 
191
                got_texts.add(text_id)
 
192
 
 
193
            got_invs.add(inv_id)
 
194
 
 
195
        print '----'
 
196
 
 
197
 
 
198
def try_me():
 
199
    BASE_URL = 'http://bazaar-ng.org/bzr/bzr.dev/'
 
200
    b = RemoteBranch(BASE_URL)
 
201
    ## print '\n'.join(b.revision_history())
 
202
    from log import show_log
 
203
    show_log(b)
 
204
 
 
205
 
 
206
if __name__ == '__main__':
 
207
    try_me()
 
208