← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remotebranch.py

  • Committer: Martin Pool
  • Date: 2005-06-27 01:36:22 UTC
  • Revision ID: mbp@sourcefrog.net-20050627013622-0d56be3e3105043e
Merge from aaron:

------------------------------------------------------------
revno: 763
committer: Aaron Bentley <abentley@panoramicfeedback.com>
timestamp: Thu 2005-06-23 17:30:28 -0400
message:
  Copy files in immutable stores directly.
------------------------------------------------------------
revno: 762
committer: Aaron Bentley <abentley@panoramicfeedback.com>
timestamp: Thu 2005-06-23 16:12:33 -0400
message:
  Fixed direct call of get_url in RemoteBranch.get_revision
------------------------------------------------------------
revno: 761
committer: Aaron Bentley <abentley@panoramicfeedback.com>
timestamp: Thu 2005-06-23 12:00:31 -0400
message:
  Added prefetch support to update_revisions
------------------------------------------------------------
revno: 760
committer: Aaron Bentley <abentley@panoramicfeedback.com>
timestamp: Thu 2005-06-23 11:57:54 -0400
message:
  Added cache support to branch and pull
------------------------------------------------------------
revno: 759
committer: Aaron Bentley <abentley@panoramicfeedback.com>
timestamp: Thu 2005-06-23 11:21:37 -0400
message:
  Added find_cached_branch to branch
------------------------------------------------------------
revno: 758
committer: Aaron Bentley <abentley@panoramicfeedback.com>
timestamp: Thu 2005-06-23 11:17:10 -0400
message:
  Added CachedStore type to reduce remote downloads

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/remotebranch.py
 
1
#! /usr/bin/env python
 
2
 
 
3
# Copyright (C) 2005 Canonical Ltd
 
4
 
 
5
# This program is free software; you can redistribute it and/or modify
 
6
# it under the terms of the GNU General Public License as published by
 
7
# the Free Software Foundation; either version 2 of the License, or
 
8
# (at your option) any later version.
 
9
 
 
10
# This program is distributed in the hope that it will be useful,
 
11
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
12
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
13
# GNU General Public License for more details.
 
14
 
 
15
# You should have received a copy of the GNU General Public License
 
16
# along with this program; if not, write to the Free Software
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
18
 
 
19
 
 
20
"""Proxy object for access to remote branches.
 
21
 
 
22
At the moment remote branches are only for HTTP and only for read
 
23
access.
 
24
"""
 
25
 
 
26
 
 
27
import gzip
 
28
from cStringIO import StringIO
 
29
import urllib2
 
30
 
 
31
from errors import BzrError, BzrCheckError
 
32
from branch import Branch, BZR_BRANCH_FORMAT
 
33
from trace import mutter
 
34
 
 
35
# velocitynet.com.au transparently proxies connections and thereby
 
36
# breaks keep-alive -- sucks!
 
37
 
 
38
 
 
39
ENABLE_URLGRABBER = True
 
40
 
 
41
 
 
42
if ENABLE_URLGRABBER:
 
43
    import urlgrabber
 
44
    import urlgrabber.keepalive
 
45
    urlgrabber.keepalive.DEBUG = 0
 
46
    def get_url(path, compressed=False):
 
47
        try:
 
48
            url = path
 
49
            if compressed:
 
50
                url += '.gz'
 
51
            mutter("grab url %s" % url)
 
52
            url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
 
53
            if not compressed:
 
54
                return url_f
 
55
            else:
 
56
                return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
57
        except urllib2.URLError, e:
 
58
            raise BzrError("remote fetch failed: %r: %s" % (url, e))
 
59
else:
 
60
    def get_url(url, compressed=False):
 
61
        import urllib2
 
62
        if compressed:
 
63
            url += '.gz'
 
64
        mutter("get_url %s" % url)
 
65
        url_f = urllib2.urlopen(url)
 
66
        if compressed:
 
67
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
68
        else:
 
69
            return url_f
 
70
 
 
71
 
 
72
 
 
73
def _find_remote_root(url):
 
74
    """Return the prefix URL that corresponds to the branch root."""
 
75
    orig_url = url
 
76
    while True:
 
77
        try:
 
78
            ff = get_url(url + '/.bzr/branch-format')
 
79
 
 
80
            fmt = ff.read()
 
81
            ff.close()
 
82
 
 
83
            fmt = fmt.rstrip('\r\n')
 
84
            if fmt != BZR_BRANCH_FORMAT.rstrip('\r\n'):
 
85
                raise BzrError("sorry, branch format %r not supported at url %s"
 
86
                               % (fmt, url))
 
87
            
 
88
            return url
 
89
        except urllib2.URLError:
 
90
            pass
 
91
 
 
92
        try:
 
93
            idx = url.rindex('/')
 
94
        except ValueError:
 
95
            raise BzrError('no branch root found for URL %s' % orig_url)
 
96
 
 
97
        url = url[:idx]        
 
98
        
 
99
 
 
100
 
 
101
class RemoteBranch(Branch):
 
102
    def __init__(self, baseurl, find_root=True):
 
103
        """Create new proxy for a remote branch."""
 
104
        if find_root:
 
105
            self.baseurl = _find_remote_root(baseurl)
 
106
        else:
 
107
            self.baseurl = baseurl
 
108
            self._check_format()
 
109
 
 
110
        self.inventory_store = RemoteStore(baseurl + '/.bzr/inventory-store/')
 
111
        self.text_store = RemoteStore(baseurl + '/.bzr/text-store/')
 
112
        self.revision_store = RemoteStore(baseurl + '/.bzr/revision-store/')
 
113
 
 
114
    def __str__(self):
 
115
        b = getattr(self, 'baseurl', 'undefined')
 
116
        return '%s(%r)' % (self.__class__.__name__, b)
 
117
 
 
118
    __repr__ = __str__
 
119
 
 
120
    def controlfile(self, filename, mode):
 
121
        if mode not in ('rb', 'rt', 'r'):
 
122
            raise BzrError("file mode %r not supported for remote branches" % mode)
 
123
        return get_url(self.baseurl + '/.bzr/' + filename, False)
 
124
 
 
125
 
 
126
    def lock_read(self):
 
127
        # no locking for remote branches yet
 
128
        pass
 
129
 
 
130
    def lock_write(self):
 
131
        from errors import LockError
 
132
        raise LockError("write lock not supported for remote branch %s"
 
133
                        % self.baseurl)
 
134
 
 
135
    def unlock(self):
 
136
        pass
 
137
    
 
138
 
 
139
    def relpath(self, path):
 
140
        if not path.startswith(self.baseurl):
 
141
            raise BzrError('path %r is not under base URL %r'
 
142
                           % (path, self.baseurl))
 
143
        pl = len(self.baseurl)
 
144
        return path[pl:].lstrip('/')
 
145
 
 
146
    def get_revision(self, revision_id):
 
147
        from revision import Revision
 
148
        revf = self.revision_store[revision_id]
 
149
        r = Revision.read_xml(revf)
 
150
        if r.revision_id != revision_id:
 
151
            raise BzrCheckError('revision stored as {%s} actually contains {%s}'
 
152
                                % (revision_id, r.revision_id))
 
153
        return r
 
154
 
 
155
 
 
156
class RemoteStore(object):
 
157
    def __init__(self, baseurl):
 
158
        self._baseurl = baseurl
 
159
        
 
160
 
 
161
    def _path(self, name):
 
162
        if '/' in name:
 
163
            raise ValueError('invalid store id', name)
 
164
        return self._baseurl + '/' + name
 
165
        
 
166
    def __getitem__(self, fileid):
 
167
        p = self._path(fileid)
 
168
        return get_url(p, compressed=True)
 
169
    
 
170
 
 
171
def simple_walk():
 
172
    """For experimental purposes, traverse many parts of a remote branch"""
 
173
    from revision import Revision
 
174
    from branch import Branch
 
175
    from inventory import Inventory
 
176
 
 
177
    got_invs = {}
 
178
    got_texts = {}
 
179
 
 
180
    print 'read history'
 
181
    history = get_url('/.bzr/revision-history').readlines()
 
182
    num_revs = len(history)
 
183
    for i, rev_id in enumerate(history):
 
184
        rev_id = rev_id.rstrip()
 
185
        print 'read revision %d/%d' % (i, num_revs)
 
186
 
 
187
        # python gzip needs a seekable file (!!) but the HTTP response
 
188
        # isn't, so we need to buffer it
 
189
 
 
190
        rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
 
191
                        compressed=True)
 
192
 
 
193
        rev = Revision.read_xml(rev_f)
 
194
        print rev.message
 
195
        inv_id = rev.inventory_id
 
196
        if inv_id not in got_invs:
 
197
            print 'get inventory %s' % inv_id
 
198
            inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
 
199
                            compressed=True)
 
200
            inv = Inventory.read_xml(inv_f)
 
201
            print '%4d inventory entries' % len(inv)
 
202
 
 
203
            for path, ie in inv.iter_entries():
 
204
                text_id = ie.text_id
 
205
                if text_id == None:
 
206
                    continue
 
207
                if text_id in got_texts:
 
208
                    continue
 
209
                print '  fetch %s text {%s}' % (path, text_id)
 
210
                text_f = get_url('/.bzr/text-store/%s' % text_id,
 
211
                                 compressed=True)
 
212
                got_texts[text_id] = True
 
213
 
 
214
            got_invs.add[inv_id] = True
 
215
 
 
216
        print '----'
 
217
 
 
218
 
 
219
def try_me():
 
220
    BASE_URL = 'http://bazaar-ng.org/bzr/bzr.dev/'
 
221
    b = RemoteBranch(BASE_URL)
 
222
    ## print '\n'.join(b.revision_history())
 
223
    from log import show_log
 
224
    show_log(b)
 
225
 
 
226
 
 
227
if __name__ == '__main__':
 
228
    try_me()
 
229