← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remotebranch.py

  • Committer: Martin Pool
  • Date: 2005-05-10 04:32:39 UTC
  • Revision ID: mbp@sourcefrog.net-20050510043239-d866ce1a4f472b7f
- Skip symlinks during recursive add (path from aaron)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/remotebranch.py
 
1
#! /usr/bin/env python
 
2
 
1
3
# Copyright (C) 2005 Canonical Ltd
2
4
 
3
5
# This program is free software; you can redistribute it and/or modify
19
21
 
20
22
At the moment remote branches are only for HTTP and only for read
21
23
access.
 
24
 
22
25
"""
23
26
 
24
27
 
25
28
import gzip
 
29
from sets import Set
26
30
from cStringIO import StringIO
27
 
import os
28
31
import urllib2
29
 
import urlparse
30
 
 
31
 
from bzrlib.errors import BzrError, BzrCheckError
32
 
from bzrlib.branch import Branch, BZR_BRANCH_FORMAT
33
 
from bzrlib.trace import mutter
34
 
from bzrlib.xml import serializer_v4
 
32
 
 
33
from errors import BzrError, BzrCheckError
 
34
from branch import Branch, BZR_BRANCH_FORMAT
 
35
from trace import mutter
 
36
 
 
37
# velocitynet.com.au transparently proxies connections and thereby
 
38
# breaks keep-alive -- sucks!
 
39
 
35
40
 
36
41
 
37
42
ENABLE_URLGRABBER = False
38
43
 
39
 
from bzrlib.errors import BzrError, NoSuchRevision
 
44
def get_url(url, compressed=False):
 
45
    import urllib2
 
46
    if compressed:
 
47
        url += '.gz'
 
48
    mutter("get_url %s" % url)
 
49
    url_f = urllib2.urlopen(url)
 
50
    if compressed:
 
51
        return gzip.GzipFile(fileobj=StringIO(url_f.read()))
 
52
    else:
 
53
        return url_f
40
54
 
41
 
class GetFailed(BzrError):
42
 
    def __init__(self, url, status):
43
 
        BzrError.__init__(self, "Get %s failed with status %s" % (url, status))
44
 
        self.url = url
45
 
        self.status = status
46
55
 
47
56
if ENABLE_URLGRABBER:
48
 
    import util.urlgrabber
49
 
    import util.urlgrabber.keepalive
50
 
    util.urlgrabber.keepalive.DEBUG = 0
 
57
    import urlgrabber
 
58
    import urlgrabber.keepalive
 
59
    urlgrabber.keepalive.DEBUG = 0
51
60
    def get_url(path, compressed=False):
52
61
        try:
53
62
            url = path
54
63
            if compressed:
55
64
                url += '.gz'
56
 
            mutter("grab url %s" % url)
57
 
            url_f = util.urlgrabber.urlopen(url, keepalive=1, close_connection=0)
58
 
            if url_f.status != 200:
59
 
                raise GetFailed(url, url_f.status)
 
65
            url_f = urlgrabber.urlopen(url, keepalive=1, close_connection=0)
60
66
            if not compressed:
61
67
                return url_f
62
68
            else:
63
69
                return gzip.GzipFile(fileobj=StringIO(url_f.read()))
64
70
        except urllib2.URLError, e:
65
71
            raise BzrError("remote fetch failed: %r: %s" % (url, e))
66
 
else:
67
 
    def get_url(url, compressed=False):
68
 
        import urllib2
69
 
        if compressed:
70
 
            url += '.gz'
71
 
        mutter("get_url %s" % url)
72
 
        url_f = urllib2.urlopen(url)
73
 
        if compressed:
74
 
            return gzip.GzipFile(fileobj=StringIO(url_f.read()))
75
 
        else:
76
 
            return url_f
77
72
 
78
73
 
79
74
 
82
77
    orig_url = url
83
78
    while True:
84
79
        try:
85
 
            fmt_url = url + '/.bzr/branch-format'
86
 
            ff = get_url(fmt_url)
 
80
            ff = get_url(url + '/.bzr/branch-format')
 
81
 
87
82
            fmt = ff.read()
88
83
            ff.close()
89
84
 
96
91
        except urllib2.URLError:
97
92
            pass
98
93
 
99
 
        scheme, host, path = list(urlparse.urlparse(url))[:3]
100
 
        # discard params, query, fragment
101
 
        
102
 
        # strip off one component of the path component
103
 
        idx = path.rfind('/')
104
 
        if idx == -1 or path == '/':
105
 
            raise BzrError('no branch root found for URL %s'
106
 
                           ' or enclosing directories'
107
 
                           % orig_url)
108
 
        path = path[:idx]
109
 
        url = urlparse.urlunparse((scheme, host, path, '', '', ''))
 
94
        try:
 
95
            idx = url.rindex('/')
 
96
        except ValueError:
 
97
            raise BzrError('no branch root found for URL %s' % orig_url)
 
98
 
 
99
        url = url[:idx]        
110
100
        
111
101
 
112
102
 
113
103
class RemoteBranch(Branch):
114
 
    def __init__(self, baseurl, find_root=True):
 
104
    def __init__(self, baseurl, find_root=True, lock_mode='r'):
115
105
        """Create new proxy for a remote branch."""
 
106
        if lock_mode not in ('', 'r'):
 
107
            raise BzrError('lock mode %r is not supported for remote branches'
 
108
                           % lock_mode)
 
109
 
116
110
        if find_root:
117
 
            self.base = _find_remote_root(baseurl)
 
111
            self.baseurl = _find_remote_root(baseurl)
118
112
        else:
119
 
            self.base = baseurl
 
113
            self.baseurl = baseurl
120
114
            self._check_format()
121
115
 
122
 
        self.inventory_store = RemoteStore(baseurl + '/.bzr/inventory-store/')
123
 
        self.text_store = RemoteStore(baseurl + '/.bzr/text-store/')
124
 
        self.revision_store = RemoteStore(baseurl + '/.bzr/revision-store/')
125
 
 
126
116
    def __str__(self):
127
 
        b = getattr(self, 'baseurl', 'undefined')
128
 
        return '%s(%r)' % (self.__class__.__name__, b)
 
117
        return '%s(%r)' % (self.__class__.__name__, self.baseurl)
129
118
 
130
119
    __repr__ = __str__
131
120
 
132
121
    def controlfile(self, filename, mode):
133
122
        if mode not in ('rb', 'rt', 'r'):
134
123
            raise BzrError("file mode %r not supported for remote branches" % mode)
135
 
        return get_url(self.base + '/.bzr/' + filename, False)
136
 
 
137
 
 
138
 
    def lock_read(self):
139
 
        # no locking for remote branches yet
140
 
        pass
141
 
 
142
 
    def lock_write(self):
143
 
        from errors import LockError
144
 
        raise LockError("write lock not supported for remote branch %s"
145
 
                        % self.base)
146
 
 
147
 
    def unlock(self):
148
 
        pass
149
 
    
 
124
        return get_url(self.baseurl + '/.bzr/' + filename, False)
 
125
 
 
126
    def _need_readlock(self):
 
127
        # remote branch always safe for read
 
128
        pass
 
129
 
 
130
    def _need_writelock(self):
 
131
        raise BzrError("cannot get write lock on HTTP remote branch")
150
132
 
151
133
    def relpath(self, path):
152
 
        if not path.startswith(self.base):
 
134
        if not path.startswith(self.baseurl):
153
135
            raise BzrError('path %r is not under base URL %r'
154
 
                           % (path, self.base))
155
 
        pl = len(self.base)
 
136
                           % (path, self.baseurl))
 
137
        pl = len(self.baseurl)
156
138
        return path[pl:].lstrip('/')
157
139
 
158
 
 
159
140
    def get_revision(self, revision_id):
160
 
        try:
161
 
            revf = self.revision_store[revision_id]
162
 
        except KeyError:
163
 
            raise NoSuchRevision(self, revision_id)
164
 
        r = serializer_v4.read_revision(revf)
 
141
        from revision import Revision
 
142
        revf = get_url(self.baseurl + '/.bzr/revision-store/' + revision_id,
 
143
                       True)
 
144
        r = Revision.read_xml(revf)
165
145
        if r.revision_id != revision_id:
166
146
            raise BzrCheckError('revision stored as {%s} actually contains {%s}'
167
147
                                % (revision_id, r.revision_id))
168
148
        return r
169
 
 
170
 
 
171
 
class RemoteStore(object):
172
 
    def __init__(self, baseurl):
173
 
        self._baseurl = baseurl
174
 
        
175
 
 
176
 
    def _path(self, name):
177
 
        if '/' in name:
178
 
            raise ValueError('invalid store id', name)
179
 
        return self._baseurl + '/' + name
180
 
        
181
 
    def __getitem__(self, fileid):
182
 
        p = self._path(fileid)
183
 
        try:
184
 
            return get_url(p, compressed=True)
185
 
        except urllib2.URLError:
186
 
            raise KeyError(fileid)
187
149
    
188
150
 
 
151
def simple_walk():
 
152
    from revision import Revision
 
153
    from branch import Branch
 
154
    from inventory import Inventory
 
155
 
 
156
    got_invs = Set()
 
157
    got_texts = Set()
 
158
 
 
159
    print 'read history'
 
160
    history = get_url('/.bzr/revision-history').readlines()
 
161
    num_revs = len(history)
 
162
    for i, rev_id in enumerate(history):
 
163
        rev_id = rev_id.rstrip()
 
164
        print 'read revision %d/%d' % (i, num_revs)
 
165
 
 
166
        # python gzip needs a seekable file (!!) but the HTTP response
 
167
        # isn't, so we need to buffer it
 
168
 
 
169
        rev_f = get_url('/.bzr/revision-store/%s' % rev_id,
 
170
                        compressed=True)
 
171
 
 
172
        rev = Revision.read_xml(rev_f)
 
173
        print rev.message
 
174
        inv_id = rev.inventory_id
 
175
        if inv_id not in got_invs:
 
176
            print 'get inventory %s' % inv_id
 
177
            inv_f = get_url('/.bzr/inventory-store/%s' % inv_id,
 
178
                            compressed=True)
 
179
            inv = Inventory.read_xml(inv_f)
 
180
            print '%4d inventory entries' % len(inv)
 
181
 
 
182
            for path, ie in inv.iter_entries():
 
183
                text_id = ie.text_id
 
184
                if text_id == None:
 
185
                    continue
 
186
                if text_id in got_texts:
 
187
                    continue
 
188
                print '  fetch %s text {%s}' % (path, text_id)
 
189
                text_f = get_url('/.bzr/text-store/%s' % text_id,
 
190
                                 compressed=True)
 
191
                got_texts.add(text_id)
 
192
 
 
193
            got_invs.add(inv_id)
 
194
 
 
195
        print '----'
 
196
 
 
197
 
 
198
def try_me():
 
199
    BASE_URL = 'http://bazaar-ng.org/bzr/bzr.dev/'
 
200
    b = RemoteBranch(BASE_URL)
 
201
    ## print '\n'.join(b.revision_history())
 
202
    from log import show_log
 
203
    show_log(b)
 
204
 
 
205
 
 
206
if __name__ == '__main__':
 
207
    try_me()
189
208