← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remotebranch.py

merge David Clymer's patch for TestCaseInTestDir.runcmd

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/remotebranch.py
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
 
18
 
## XXX: This is pretty slow on high-latency connections because it
19
 
## doesn't keep the HTTP connection alive.  If you have a smart local
20
 
## proxy it may be much better.  Eventually I want to switch to
21
 
## urlgrabber which should use HTTP much more efficiently.
22
 
 
23
 
 
24
 
import urllib2, gzip, zlib
25
 
from sets import Set
 
18
"""Proxy object for access to remote branches.
 
19
 
 
20
At the moment remote branches are only for HTTP and only for read
 
21
access.
 
22
"""
 
23
 
 
24
 
 
25
import gzip
26
26
from cStringIO import StringIO
27
 
 
28
 
from errors import BzrError
29
 
from revision import Revision
30
 
from inventory import Inventory
31
 
 
32
 
# h = HTTPConnection('localhost:8000')
33
 
# h = HTTPConnection('bazaar-ng.org')
34
 
 
35
 
# velocitynet.com.au transparently proxies connections and thereby
36
 
# breaks keep-alive -- sucks!
37
 
 
38
 
 
39
 
import urlgrabber.keepalive
40
 
urlgrabber.keepalive.DEBUG = 2
41
 
 
42
 
import urlgrabber
43
 
 
44
 
prefix = 'http://localhost:8000'
45
 
# prefix = 'http://bazaar-ng.org/bzr/main/'
46
 
 
47
 
def get_url(path, compressed=False):
48
 
    try:
49
 
        url = prefix + path
 
27
import os
 
28
import urllib2
 
29
import urlparse
 
30
 
 
31
from bzrlib.errors import BzrError, BzrCheckError
 
32
from bzrlib.branch import Branch, LocalBranch, BZR_BRANCH_FORMAT
 
33
from bzrlib.trace import mutter
 
34
from bzrlib.xml import serializer_v4
 
35
 
 
36
 
 
37
ENABLE_URLGRABBER = False
 
38
 
 
39
from bzrlib.errors import BzrError, NoSuchRevision
 
40
 
 
41
class GetFailed(BzrError):
 
42
    def __init__(self, url, status):
 
43
        BzrError.__init__(self, "Get %s failed with status %s" % (url, status))
 
44
        self.url = url
 
45
        self.status = status
 
46
 
 
47
if ENABLE_URLGRABBER:
 
48
    import util.urlgrabber
 
49
    import util.urlgrabber.keepalive
 
50
    util.urlgrabber.keepalive.DEBUG = 0
 
51
    def get_url(path, compressed=False):
 
52
        try:
 
53
            url = path
 
54
            if compressed:
 
55
                url += '.gz'
 
56
            mutter("grab url %s" % url)
 
57
            url_f = util.urlgrabber.urlopen(url, keepalive=1, close_connection=0)
 
58
            if url_f.status != 200:
 
59
                raise GetFailed(url, url_f.status)
 
60
            if not compressed:
 
61
                return url_f
 
62
            else:
 
63
                return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
64
        except urllib2.URLError, e:
 
65
            raise BzrError("remote fetch failed: %r: %s" % (url, e))
 
66
else:
 
67
    def get_url(url, compressed=False):
 
68
        import urllib2
50
69
        if compressed:
51
70
            url += '.gz'
52
 
        url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
53
 
        if not compressed:
 
71
        mutter("get_url %s" % url)
 
72
        url_f = urllib2.urlopen(url)
 
73
        if compressed:
 
74
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
75
        else:
54
76
            return url_f
55
 
        else:
56
 
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
57
 
    except urllib2.URLError, e:
58
 
        raise BzrError("remote fetch failed: %r: %s" % (url, e))
59
 
 
60
 
 
61
 
got_invs = Set()
62
 
got_texts = Set()
63
 
 
64
 
print 'read history'
65
 
history = get_url('/.bzr/revision-history').readlines()
66
 
num_revs = len(history)
67
 
for i, rev_id in enumerate(history):
68
 
    rev_id = rev_id.rstrip()
69
 
    print 'read revision %d/%d' % (i, num_revs)
70
 
 
71
 
    # python gzip needs a seekable file (!!) but the HTTP response
72
 
    # isn't, so we need to buffer it
73
 
    
74
 
    rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
75
 
                    compressed=True)
76
 
 
77
 
    rev = Revision.read_xml(rev_f)
78
 
    print rev.message
79
 
    inv_id = rev.inventory_id
80
 
    if inv_id not in got_invs:
81
 
        print 'get inventory %s' % inv_id
82
 
        inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
83
 
                        compressed=True)
84
 
        inv = Inventory.read_xml(inv_f)
85
 
        print '%4d inventory entries' % len(inv)
86
 
 
87
 
        for path, ie in inv.iter_entries():
88
 
            text_id = ie.text_id
89
 
            if text_id == None:
90
 
                continue
91
 
            if text_id in got_texts:
92
 
                continue
93
 
            print '  fetch %s text {%s}' % (path, text_id)
94
 
            text_f = get_url('/.bzr/text-store/%s' % text_id,
95
 
                             compressed=True)
96
 
            got_texts.add(text_id)
 
77
 
 
78
 
 
79
 
 
80
def _find_remote_root(url):
 
81
    """Return the prefix URL that corresponds to the branch root."""
 
82
    orig_url = url
 
83
    while True:
 
84
        try:
 
85
            fmt_url = url + '/.bzr/branch-format'
 
86
            ff = get_url(fmt_url)
 
87
            fmt = ff.read()
 
88
            ff.close()
 
89
 
 
90
            fmt = fmt.rstrip('\r\n')
 
91
            if fmt != BZR_BRANCH_FORMAT.rstrip('\r\n'):
 
92
                raise BzrError("sorry, branch format %r not supported at url %s"
 
93
                               % (fmt, url))
97
94
            
98
 
        got_invs.add(inv_id)
99
 
 
100
 
    print '----'
 
95
            return url
 
96
        except urllib2.URLError:
 
97
            pass
 
98
 
 
99
        scheme, host, path = list(urlparse.urlparse(url))[:3]
 
100
        # discard params, query, fragment
 
101
        
 
102
        # strip off one component of the path component
 
103
        idx = path.rfind('/')
 
104
        if idx == -1 or path == '/':
 
105
            raise BzrError('no branch root found for URL %s'
 
106
                           ' or enclosing directories'
 
107
                           % orig_url)
 
108
        path = path[:idx]
 
109
        url = urlparse.urlunparse((scheme, host, path, '', '', ''))
 
110
        
 
111
 
 
112
 
 
113
class RemoteBranch(LocalBranch):
 
114
    def __init__(self, baseurl, find_root=True):
 
115
        """Create new proxy for a remote branch."""
 
116
        if find_root:
 
117
            self.base = _find_remote_root(baseurl)
 
118
        else:
 
119
            self.base = baseurl
 
120
            self._check_format()
 
121
 
 
122
        self.inventory_store = RemoteStore(baseurl + '/.bzr/inventory-store/')
 
123
        self.text_store = RemoteStore(baseurl + '/.bzr/text-store/')
 
124
        self.revision_store = RemoteStore(baseurl + '/.bzr/revision-store/')
 
125
 
 
126
    def __str__(self):
 
127
        b = getattr(self, 'baseurl', 'undefined')
 
128
        return '%s(%r)' % (self.__class__.__name__, b)
 
129
 
 
130
    __repr__ = __str__
 
131
 
 
132
    def setup_caching(self, cache_root):
 
133
        """Set up cached stores located under cache_root"""
 
134
        from bzrlib.meta_store import CachedStore
 
135
        for store_name in ('inventory_store', 'text_store', 'revision_store'):
 
136
            if not isinstance(getattr(self, store_name), CachedStore):
 
137
                cache_path = os.path.join(cache_root, store_name)
 
138
                os.mkdir(cache_path)
 
139
                new_store = CachedStore(getattr(self, store_name), cache_path)
 
140
                setattr(self, store_name, new_store)
 
141
 
 
142
    def controlfile(self, filename, mode):
 
143
        if mode not in ('rb', 'rt', 'r'):
 
144
            raise BzrError("file mode %r not supported for remote branches" % mode)
 
145
        return get_url(self.base + '/.bzr/' + filename, False)
 
146
 
 
147
 
 
148
    def lock_read(self):
 
149
        # no locking for remote branches yet
 
150
        pass
 
151
 
 
152
    def lock_write(self):
 
153
        from errors import LockError
 
154
        raise LockError("write lock not supported for remote branch %s"
 
155
                        % self.base)
 
156
 
 
157
    def unlock(self):
 
158
        pass
 
159
    
 
160
 
 
161
    def relpath(self, path):
 
162
        if not path.startswith(self.base):
 
163
            raise BzrError('path %r is not under base URL %r'
 
164
                           % (path, self.base))
 
165
        pl = len(self.base)
 
166
        return path[pl:].lstrip('/')
 
167
 
 
168
 
 
169
    def get_revision(self, revision_id):
 
170
        try:
 
171
            revf = self.revision_store[revision_id]
 
172
        except KeyError:
 
173
            raise NoSuchRevision(self, revision_id)
 
174
        r = serializer_v4.read_revision(revf)
 
175
        if r.revision_id != revision_id:
 
176
            raise BzrCheckError('revision stored as {%s} actually contains {%s}'
 
177
                                % (revision_id, r.revision_id))
 
178
        return r
 
179
 
 
180
 
 
181
class RemoteStore(object):
 
182
    def __init__(self, baseurl):
 
183
        self._baseurl = baseurl
 
184
        
 
185
 
 
186
    def _path(self, name):
 
187
        if '/' in name:
 
188
            raise ValueError('invalid store id', name)
 
189
        return self._baseurl + '/' + name
 
190
        
 
191
    def __getitem__(self, fileid):
 
192
        p = self._path(fileid)
 
193
        try:
 
194
            return get_url(p, compressed=True)
 
195
        except urllib2.URLError:
 
196
            raise KeyError(fileid)
 
197
    
 
198
 
 
199