← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remotebranch.py

  • Committer: Martin Pool
  • Date: 2005-09-13 23:42:32 UTC
  • mto: (1185.8.2) (974.1.91)
  • mto: This revision was merged to the branch mainline in revision 1390.
  • Revision ID: mbp@sourcefrog.net-20050913234232-4d901f2d843a35f3
- ignore .DS_Store by default

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/remotebranch.py
 
1
#! /usr/bin/env python
 
2
 
1
3
# Copyright (C) 2005 Canonical Ltd
2
4
 
3
5
# This program is free software; you can redistribute it and/or modify
15
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
18
 
17
19
 
18
 
## XXX: This is pretty slow on high-latency connections because it
19
 
## doesn't keep the HTTP connection alive.  If you have a smart local
20
 
## proxy it may be much better.  Eventually I want to switch to
21
 
## urlgrabber which should use HTTP much more efficiently.
22
 
 
23
 
 
24
 
import urllib2, gzip, zlib
25
 
from sets import Set
 
20
"""Proxy object for access to remote branches.
 
21
 
 
22
At the moment remote branches are only for HTTP and only for read
 
23
access.
 
24
"""
 
25
 
 
26
 
 
27
import gzip
26
28
from cStringIO import StringIO
27
 
 
28
 
from errors import BzrError
29
 
from revision import Revision
30
 
from inventory import Inventory
31
 
 
32
 
# h = HTTPConnection('localhost:8000')
33
 
# h = HTTPConnection('bazaar-ng.org')
34
 
 
35
 
# velocitynet.com.au transparently proxies connections and thereby
36
 
# breaks keep-alive -- sucks!
37
 
 
38
 
 
39
 
import urlgrabber.keepalive
40
 
urlgrabber.keepalive.DEBUG = 2
41
 
 
42
 
import urlgrabber
43
 
 
44
 
prefix = 'http://localhost:8000'
45
 
# prefix = 'http://bazaar-ng.org/bzr/main/'
46
 
 
47
 
def get_url(path, compressed=False):
48
 
    try:
49
 
        url = prefix + path
 
29
import os
 
30
import urllib2
 
31
import urlparse
 
32
 
 
33
from bzrlib.errors import BzrError, BzrCheckError
 
34
from bzrlib.branch import Branch, BZR_BRANCH_FORMAT
 
35
from bzrlib.trace import mutter
 
36
from bzrlib.xml import serializer_v4
 
37
 
 
38
 
 
39
ENABLE_URLGRABBER = False
 
40
 
 
41
from bzrlib.errors import BzrError, NoSuchRevision
 
42
 
 
43
class GetFailed(BzrError):
 
44
    def __init__(self, url, status):
 
45
        BzrError.__init__(self, "Get %s failed with status %s" % (url, status))
 
46
        self.url = url
 
47
        self.status = status
 
48
 
 
49
if ENABLE_URLGRABBER:
 
50
    import util.urlgrabber
 
51
    import util.urlgrabber.keepalive
 
52
    util.urlgrabber.keepalive.DEBUG = 0
 
53
    def get_url(path, compressed=False):
 
54
        try:
 
55
            url = path
 
56
            if compressed:
 
57
                url += '.gz'
 
58
            mutter("grab url %s" % url)
 
59
            url_f = util.urlgrabber.urlopen(url, keepalive=1, close_connection=0)
 
60
            if url_f.status != 200:
 
61
                raise GetFailed(url, url_f.status)
 
62
            if not compressed:
 
63
                return url_f
 
64
            else:
 
65
                return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
66
        except urllib2.URLError, e:
 
67
            raise BzrError("remote fetch failed: %r: %s" % (url, e))
 
68
else:
 
69
    def get_url(url, compressed=False):
 
70
        import urllib2
50
71
        if compressed:
51
72
            url += '.gz'
52
 
        url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
53
 
        if not compressed:
 
73
        mutter("get_url %s" % url)
 
74
        url_f = urllib2.urlopen(url)
 
75
        if compressed:
 
76
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
77
        else:
54
78
            return url_f
55
 
        else:
56
 
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
57
 
    except urllib2.URLError, e:
58
 
        raise BzrError("remote fetch failed: %r: %s" % (url, e))
59
 
 
60
 
 
61
 
got_invs = Set()
62
 
got_texts = Set()
63
 
 
64
 
print 'read history'
65
 
history = get_url('/.bzr/revision-history').readlines()
66
 
num_revs = len(history)
67
 
for i, rev_id in enumerate(history):
68
 
    rev_id = rev_id.rstrip()
69
 
    print 'read revision %d/%d' % (i, num_revs)
70
 
 
71
 
    # python gzip needs a seekable file (!!) but the HTTP response
72
 
    # isn't, so we need to buffer it
73
 
    
74
 
    rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
75
 
                    compressed=True)
76
 
 
77
 
    rev = Revision.read_xml(rev_f)
78
 
    print rev.message
79
 
    inv_id = rev.inventory_id
80
 
    if inv_id not in got_invs:
81
 
        print 'get inventory %s' % inv_id
82
 
        inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
83
 
                        compressed=True)
84
 
        inv = Inventory.read_xml(inv_f)
85
 
        print '%4d inventory entries' % len(inv)
86
 
 
87
 
        for path, ie in inv.iter_entries():
88
 
            text_id = ie.text_id
89
 
            if text_id == None:
90
 
                continue
91
 
            if text_id in got_texts:
92
 
                continue
93
 
            print '  fetch %s text {%s}' % (path, text_id)
94
 
            text_f = get_url('/.bzr/text-store/%s' % text_id,
95
 
                             compressed=True)
96
 
            got_texts.add(text_id)
 
79
 
 
80
 
 
81
 
 
82
def _find_remote_root(url):
 
83
    """Return the prefix URL that corresponds to the branch root."""
 
84
    orig_url = url
 
85
    while True:
 
86
        try:
 
87
            fmt_url = url + '/.bzr/branch-format'
 
88
            ff = get_url(fmt_url)
 
89
            fmt = ff.read()
 
90
            ff.close()
 
91
 
 
92
            fmt = fmt.rstrip('\r\n')
 
93
            if fmt != BZR_BRANCH_FORMAT.rstrip('\r\n'):
 
94
                raise BzrError("sorry, branch format %r not supported at url %s"
 
95
                               % (fmt, url))
97
96
            
98
 
        got_invs.add(inv_id)
99
 
 
100
 
    print '----'
 
97
            return url
 
98
        except urllib2.URLError:
 
99
            pass
 
100
 
 
101
        scheme, host, path = list(urlparse.urlparse(url))[:3]
 
102
        # discard params, query, fragment
 
103
        
 
104
        # strip off one component of the path component
 
105
        idx = path.rfind('/')
 
106
        if idx == -1 or path == '/':
 
107
            raise BzrError('no branch root found for URL %s'
 
108
                           ' or enclosing directories'
 
109
                           % orig_url)
 
110
        path = path[:idx]
 
111
        url = urlparse.urlunparse((scheme, host, path, '', '', ''))
 
112
        
 
113
 
 
114
 
 
115
class RemoteBranch(Branch):
 
116
    def __init__(self, baseurl, find_root=True):
 
117
        """Create new proxy for a remote branch."""
 
118
        if find_root:
 
119
            self.baseurl = _find_remote_root(baseurl)
 
120
        else:
 
121
            self.baseurl = baseurl
 
122
            self._check_format()
 
123
 
 
124
        self.inventory_store = RemoteStore(baseurl + '/.bzr/inventory-store/')
 
125
        self.text_store = RemoteStore(baseurl + '/.bzr/text-store/')
 
126
        self.revision_store = RemoteStore(baseurl + '/.bzr/revision-store/')
 
127
 
 
128
    def __str__(self):
 
129
        b = getattr(self, 'baseurl', 'undefined')
 
130
        return '%s(%r)' % (self.__class__.__name__, b)
 
131
 
 
132
    __repr__ = __str__
 
133
 
 
134
    def controlfile(self, filename, mode):
 
135
        if mode not in ('rb', 'rt', 'r'):
 
136
            raise BzrError("file mode %r not supported for remote branches" % mode)
 
137
        return get_url(self.baseurl + '/.bzr/' + filename, False)
 
138
 
 
139
 
 
140
    def lock_read(self):
 
141
        # no locking for remote branches yet
 
142
        pass
 
143
 
 
144
    def lock_write(self):
 
145
        from errors import LockError
 
146
        raise LockError("write lock not supported for remote branch %s"
 
147
                        % self.baseurl)
 
148
 
 
149
    def unlock(self):
 
150
        pass
 
151
    
 
152
 
 
153
    def relpath(self, path):
 
154
        if not path.startswith(self.baseurl):
 
155
            raise BzrError('path %r is not under base URL %r'
 
156
                           % (path, self.baseurl))
 
157
        pl = len(self.baseurl)
 
158
        return path[pl:].lstrip('/')
 
159
 
 
160
 
 
161
    def get_revision(self, revision_id):
 
162
        try:
 
163
            revf = self.revision_store[revision_id]
 
164
        except KeyError:
 
165
            raise NoSuchRevision(self, revision_id)
 
166
        r = serializer_v4.read_revision(revf)
 
167
        if r.revision_id != revision_id:
 
168
            raise BzrCheckError('revision stored as {%s} actually contains {%s}'
 
169
                                % (revision_id, r.revision_id))
 
170
        return r
 
171
 
 
172
 
 
173
class RemoteStore(object):
 
174
    def __init__(self, baseurl):
 
175
        self._baseurl = baseurl
 
176
        
 
177
 
 
178
    def _path(self, name):
 
179
        if '/' in name:
 
180
            raise ValueError('invalid store id', name)
 
181
        return self._baseurl + '/' + name
 
182
        
 
183
    def __getitem__(self, fileid):
 
184
        p = self._path(fileid)
 
185
        try:
 
186
            return get_url(p, compressed=True)
 
187
        except urllib2.URLError:
 
188
            raise KeyError(fileid)
 
189
    
 
190
 
 
191