← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remotebranch.py

  • Committer: mbp at sourcefrog
  • Date: 2005-04-11 02:50:08 UTC
  • Revision ID: mbp@sourcefrog.net-20050411025008-855e0e0637ff8a49
- Don't put profiling temp file in current directory

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/remotebranch.py
1
 
#! /usr/bin/env python
2
 
 
3
1
# Copyright (C) 2005 Canonical Ltd
4
2
 
5
3
# This program is free software; you can redistribute it and/or modify
17
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18
16
 
19
17
 
20
 
"""Proxy object for access to remote branches.
21
 
 
22
 
At the moment remote branches are only for HTTP and only for read
23
 
access.
24
 
"""
25
 
 
26
 
 
27
 
import gzip
 
18
## XXX: This is pretty slow on high-latency connections because it
 
19
## doesn't keep the HTTP connection alive.  If you have a smart local
 
20
## proxy it may be much better.  Eventually I want to switch to
 
21
## urlgrabber which should use HTTP much more efficiently.
 
22
 
 
23
 
 
24
import urllib2, gzip, zlib
28
25
from sets import Set
29
26
from cStringIO import StringIO
30
 
import urllib2
31
 
 
32
 
from errors import BzrError, BzrCheckError
33
 
from branch import Branch, BZR_BRANCH_FORMAT
34
 
from trace import mutter
 
27
 
 
28
from errors import BzrError
 
29
from revision import Revision
 
30
from inventory import Inventory
 
31
 
 
32
# h = HTTPConnection('localhost:8000')
 
33
# h = HTTPConnection('bazaar-ng.org')
35
34
 
36
35
# velocitynet.com.au transparently proxies connections and thereby
37
36
# breaks keep-alive -- sucks!
38
37
 
39
38
 
40
 
ENABLE_URLGRABBER = True
41
 
 
42
 
 
43
 
if ENABLE_URLGRABBER:
44
 
    import urlgrabber
45
 
    import urlgrabber.keepalive
46
 
    urlgrabber.keepalive.DEBUG = 0
47
 
    def get_url(path, compressed=False):
48
 
        try:
49
 
            url = path
50
 
            if compressed:
51
 
                url += '.gz'
52
 
            mutter("grab url %s" % url)
53
 
            url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
54
 
            if not compressed:
55
 
                return url_f
56
 
            else:
57
 
                return gzip.GzipFile(fileobj=StringIO(url_f.read()))
58
 
        except urllib2.URLError, e:
59
 
            raise BzrError("remote fetch failed: %r: %s" % (url, e))
60
 
else:
61
 
    def get_url(url, compressed=False):
62
 
        import urllib2
 
39
import urlgrabber.keepalive
 
40
urlgrabber.keepalive.DEBUG = 2
 
41
 
 
42
import urlgrabber
 
43
 
 
44
prefix = 'http://localhost:8000'
 
45
# prefix = 'http://bazaar-ng.org/bzr/main/'
 
46
 
 
47
def get_url(path, compressed=False):
 
48
    try:
 
49
        url = prefix + path
63
50
        if compressed:
64
51
            url += '.gz'
65
 
        mutter("get_url %s" % url)
66
 
        url_f = urllib2.urlopen(url)
67
 
        if compressed:
 
52
        url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
 
53
        if not compressed:
 
54
            return url_f
 
55
        else:
68
56
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
69
 
        else:
70
 
            return url_f
71
 
 
72
 
 
73
 
 
74
 
def _find_remote_root(url):
75
 
    """Return the prefix URL that corresponds to the branch root."""
76
 
    orig_url = url
77
 
    while True:
78
 
        try:
79
 
            ff = get_url(url + '/.bzr/branch-format')
80
 
 
81
 
            fmt = ff.read()
82
 
            ff.close()
83
 
 
84
 
            fmt = fmt.rstrip('\r\n')
85
 
            if fmt != BZR_BRANCH_FORMAT.rstrip('\r\n'):
86
 
                raise BzrError("sorry, branch format %r not supported at url %s"
87
 
                               % (fmt, url))
 
57
    except urllib2.URLError, e:
 
58
        raise BzrError("remote fetch failed: %r: %s" % (url, e))
 
59
 
 
60
 
 
61
got_invs = Set()
 
62
got_texts = Set()
 
63
 
 
64
print 'read history'
 
65
history = get_url('/.bzr/revision-history').readlines()
 
66
num_revs = len(history)
 
67
for i, rev_id in enumerate(history):
 
68
    rev_id = rev_id.rstrip()
 
69
    print 'read revision %d/%d' % (i, num_revs)
 
70
 
 
71
    # python gzip needs a seekable file (!!) but the HTTP response
 
72
    # isn't, so we need to buffer it
 
73
    
 
74
    rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
 
75
                    compressed=True)
 
76
 
 
77
    rev = Revision.read_xml(rev_f)
 
78
    print rev.message
 
79
    inv_id = rev.inventory_id
 
80
    if inv_id not in got_invs:
 
81
        print 'get inventory %s' % inv_id
 
82
        inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
 
83
                        compressed=True)
 
84
        inv = Inventory.read_xml(inv_f)
 
85
        print '%4d inventory entries' % len(inv)
 
86
 
 
87
        for path, ie in inv.iter_entries():
 
88
            text_id = ie.text_id
 
89
            if text_id == None:
 
90
                continue
 
91
            if text_id in got_texts:
 
92
                continue
 
93
            print '  fetch %s text {%s}' % (path, text_id)
 
94
            text_f = get_url('/.bzr/text-store/%s' % text_id,
 
95
                             compressed=True)
 
96
            got_texts.add(text_id)
88
97
            
89
 
            return url
90
 
        except urllib2.URLError:
91
 
            pass
92
 
 
93
 
        try:
94
 
            idx = url.rindex('/')
95
 
        except ValueError:
96
 
            raise BzrError('no branch root found for URL %s' % orig_url)
97
 
 
98
 
        url = url[:idx]        
99
 
        
100
 
 
101
 
 
102
 
class RemoteBranch(Branch):
103
 
    def __init__(self, baseurl, find_root=True, lock_mode='r'):
104
 
        """Create new proxy for a remote branch."""
105
 
        if lock_mode not in ('', 'r'):
106
 
            raise BzrError('lock mode %r is not supported for remote branches'
107
 
                           % lock_mode)
108
 
 
109
 
        if find_root:
110
 
            self.baseurl = _find_remote_root(baseurl)
111
 
        else:
112
 
            self.baseurl = baseurl
113
 
            self._check_format()
114
 
 
115
 
    def __str__(self):
116
 
        return '%s(%r)' % (self.__class__.__name__, self.baseurl)
117
 
 
118
 
    __repr__ = __str__
119
 
 
120
 
    def controlfile(self, filename, mode):
121
 
        if mode not in ('rb', 'rt', 'r'):
122
 
            raise BzrError("file mode %r not supported for remote branches" % mode)
123
 
        return get_url(self.baseurl + '/.bzr/' + filename, False)
124
 
 
125
 
    def _need_readlock(self):
126
 
        # remote branch always safe for read
127
 
        pass
128
 
 
129
 
    def _need_writelock(self):
130
 
        raise BzrError("cannot get write lock on HTTP remote branch")
131
 
 
132
 
    def relpath(self, path):
133
 
        if not path.startswith(self.baseurl):
134
 
            raise BzrError('path %r is not under base URL %r'
135
 
                           % (path, self.baseurl))
136
 
        pl = len(self.baseurl)
137
 
        return path[pl:].lstrip('/')
138
 
 
139
 
    def get_revision(self, revision_id):
140
 
        from revision import Revision
141
 
        revf = get_url(self.baseurl + '/.bzr/revision-store/' + revision_id,
142
 
                       True)
143
 
        r = Revision.read_xml(revf)
144
 
        if r.revision_id != revision_id:
145
 
            raise BzrCheckError('revision stored as {%s} actually contains {%s}'
146
 
                                % (revision_id, r.revision_id))
147
 
        return r
148
 
    
149
 
 
150
 
def simple_walk():
151
 
    from revision import Revision
152
 
    from branch import Branch
153
 
    from inventory import Inventory
154
 
 
155
 
    got_invs = Set()
156
 
    got_texts = Set()
157
 
 
158
 
    print 'read history'
159
 
    history = get_url('/.bzr/revision-history').readlines()
160
 
    num_revs = len(history)
161
 
    for i, rev_id in enumerate(history):
162
 
        rev_id = rev_id.rstrip()
163
 
        print 'read revision %d/%d' % (i, num_revs)
164
 
 
165
 
        # python gzip needs a seekable file (!!) but the HTTP response
166
 
        # isn't, so we need to buffer it
167
 
 
168
 
        rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
169
 
                        compressed=True)
170
 
 
171
 
        rev = Revision.read_xml(rev_f)
172
 
        print rev.message
173
 
        inv_id = rev.inventory_id
174
 
        if inv_id not in got_invs:
175
 
            print 'get inventory %s' % inv_id
176
 
            inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
177
 
                            compressed=True)
178
 
            inv = Inventory.read_xml(inv_f)
179
 
            print '%4d inventory entries' % len(inv)
180
 
 
181
 
            for path, ie in inv.iter_entries():
182
 
                text_id = ie.text_id
183
 
                if text_id == None:
184
 
                    continue
185
 
                if text_id in got_texts:
186
 
                    continue
187
 
                print '  fetch %s text {%s}' % (path, text_id)
188
 
                text_f = get_url('/.bzr/text-store/%s' % text_id,
189
 
                                 compressed=True)
190
 
                got_texts.add(text_id)
191
 
 
192
 
            got_invs.add(inv_id)
193
 
 
194
 
        print '----'
195
 
 
196
 
 
197
 
def try_me():
198
 
    BASE_URL = 'http://bazaar-ng.org/bzr/bzr.dev/'
199
 
    b = RemoteBranch(BASE_URL)
200
 
    ## print '\n'.join(b.revision_history())
201
 
    from log import show_log
202
 
    show_log(b)
203
 
 
204
 
 
205
 
if __name__ == '__main__':
206
 
    try_me()
207
 
    
 
98
        got_invs.add(inv_id)
 
99
 
 
100
    print '----'