~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Martin Pool
  • Date: 2006-03-21 12:26:54 UTC
  • mto: This revision was merged to the branch mainline in revision 1621.
  • Revision ID: mbp@sourcefrog.net-20060321122654-514047ed65795a17
New developer commands 'weave-list' and 'weave-join'.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006, 2007 Canonical Ltd
2
 
#
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
#
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
#
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
# TODO: At some point, handle upgrades by just passing the whole request
18
 
# across to run on the server.
19
 
 
20
 
from cStringIO import StringIO
21
 
 
22
 
from bzrlib import (
23
 
    branch,
24
 
    errors,
25
 
    lockdir,
26
 
    repository,
27
 
)
28
 
from bzrlib.branch import Branch, BranchReferenceFormat
29
 
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
30
 
from bzrlib.config import BranchConfig, TreeConfig
31
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
32
 
from bzrlib.errors import NoSuchRevision
33
 
from bzrlib.lockable_files import LockableFiles
34
 
from bzrlib.revision import NULL_REVISION
35
 
from bzrlib.smart import client, vfs
36
 
from bzrlib.trace import note
37
 
 
38
 
# Note: RemoteBzrDirFormat is in bzrdir.py
39
 
 
40
 
class RemoteBzrDir(BzrDir):
41
 
    """Control directory on a remote server, accessed via bzr:// or similar."""
42
 
 
43
 
    def __init__(self, transport, _client=None):
44
 
        """Construct a RemoteBzrDir.
45
 
 
46
 
        :param _client: Private parameter for testing. Disables probing and the
47
 
            use of a real bzrdir.
48
 
        """
49
 
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
50
 
        # this object holds a delegated bzrdir that uses file-level operations
51
 
        # to talk to the other side
52
 
        self._real_bzrdir = None
53
 
 
54
 
        if _client is None:
55
 
            self._shared_medium = transport.get_shared_medium()
56
 
            self._client = client._SmartClient(self._shared_medium)
57
 
        else:
58
 
            self._client = _client
59
 
            self._shared_medium = None
60
 
            return
61
 
 
62
 
        path = self._path_for_remote_call(self._client)
63
 
        response = self._client.call('BzrDir.open', path)
64
 
        if response not in [('yes',), ('no',)]:
65
 
            raise errors.UnexpectedSmartServerResponse(response)
66
 
        if response == ('no',):
67
 
            raise errors.NotBranchError(path=transport.base)
68
 
 
69
 
    def _ensure_real(self):
70
 
        """Ensure that there is a _real_bzrdir set.
71
 
 
72
 
        Used before calls to self._real_bzrdir.
73
 
        """
74
 
        if not self._real_bzrdir:
75
 
            self._real_bzrdir = BzrDir.open_from_transport(
76
 
                self.root_transport, _server_formats=False)
77
 
 
78
 
    def create_repository(self, shared=False):
79
 
        self._ensure_real()
80
 
        self._real_bzrdir.create_repository(shared=shared)
81
 
        return self.open_repository()
82
 
 
83
 
    def create_branch(self):
84
 
        self._ensure_real()
85
 
        real_branch = self._real_bzrdir.create_branch()
86
 
        return RemoteBranch(self, self.find_repository(), real_branch)
87
 
 
88
 
    def create_workingtree(self, revision_id=None):
89
 
        raise errors.NotLocalUrl(self.transport.base)
90
 
 
91
 
    def find_branch_format(self):
92
 
        """Find the branch 'format' for this bzrdir.
93
 
 
94
 
        This might be a synthetic object for e.g. RemoteBranch and SVN.
95
 
        """
96
 
        b = self.open_branch()
97
 
        return b._format
98
 
 
99
 
    def get_branch_reference(self):
100
 
        """See BzrDir.get_branch_reference()."""
101
 
        path = self._path_for_remote_call(self._client)
102
 
        response = self._client.call('BzrDir.open_branch', path)
103
 
        if response[0] == 'ok':
104
 
            if response[1] == '':
105
 
                # branch at this location.
106
 
                return None
107
 
            else:
108
 
                # a branch reference, use the existing BranchReference logic.
109
 
                return response[1]
110
 
        elif response == ('nobranch',):
111
 
            raise errors.NotBranchError(path=self.root_transport.base)
112
 
        else:
113
 
            raise errors.UnexpectedSmartServerResponse(response)
114
 
 
115
 
    def open_branch(self, _unsupported=False):
116
 
        assert _unsupported == False, 'unsupported flag support not implemented yet.'
117
 
        reference_url = self.get_branch_reference()
118
 
        if reference_url is None:
119
 
            # branch at this location.
120
 
            return RemoteBranch(self, self.find_repository())
121
 
        else:
122
 
            # a branch reference, use the existing BranchReference logic.
123
 
            format = BranchReferenceFormat()
124
 
            return format.open(self, _found=True, location=reference_url)
125
 
                
126
 
    def open_repository(self):
127
 
        path = self._path_for_remote_call(self._client)
128
 
        response = self._client.call('BzrDir.find_repository', path)
129
 
        assert response[0] in ('ok', 'norepository'), \
130
 
            'unexpected response code %s' % (response,)
131
 
        if response[0] == 'norepository':
132
 
            raise errors.NoRepositoryPresent(self)
133
 
        assert len(response) == 4, 'incorrect response length %s' % (response,)
134
 
        if response[1] == '':
135
 
            format = RemoteRepositoryFormat()
136
 
            format.rich_root_data = (response[2] == 'yes')
137
 
            format.supports_tree_reference = (response[3] == 'yes')
138
 
            return RemoteRepository(self, format)
139
 
        else:
140
 
            raise errors.NoRepositoryPresent(self)
141
 
 
142
 
    def open_workingtree(self, recommend_upgrade=True):
143
 
        self._ensure_real()
144
 
        if self._real_bzrdir.has_workingtree():
145
 
            raise errors.NotLocalUrl(self.root_transport)
146
 
        else:
147
 
            raise errors.NoWorkingTree(self.root_transport.base)
148
 
 
149
 
    def _path_for_remote_call(self, client):
150
 
        """Return the path to be used for this bzrdir in a remote call."""
151
 
        return client.remote_path_from_transport(self.root_transport)
152
 
 
153
 
    def get_branch_transport(self, branch_format):
154
 
        self._ensure_real()
155
 
        return self._real_bzrdir.get_branch_transport(branch_format)
156
 
 
157
 
    def get_repository_transport(self, repository_format):
158
 
        self._ensure_real()
159
 
        return self._real_bzrdir.get_repository_transport(repository_format)
160
 
 
161
 
    def get_workingtree_transport(self, workingtree_format):
162
 
        self._ensure_real()
163
 
        return self._real_bzrdir.get_workingtree_transport(workingtree_format)
164
 
 
165
 
    def can_convert_format(self):
166
 
        """Upgrading of remote bzrdirs is not supported yet."""
167
 
        return False
168
 
 
169
 
    def needs_format_conversion(self, format=None):
170
 
        """Upgrading of remote bzrdirs is not supported yet."""
171
 
        return False
172
 
 
173
 
    def clone(self, url, revision_id=None, force_new_repo=False):
174
 
        self._ensure_real()
175
 
        return self._real_bzrdir.clone(url, revision_id=revision_id,
176
 
            force_new_repo=force_new_repo)
177
 
 
178
 
 
179
 
class RemoteRepositoryFormat(repository.RepositoryFormat):
180
 
    """Format for repositories accessed over a _SmartClient.
181
 
 
182
 
    Instances of this repository are represented by RemoteRepository
183
 
    instances.
184
 
 
185
 
    The RemoteRepositoryFormat is parameterised during construction
186
 
    to reflect the capabilities of the real, remote format. Specifically
187
 
    the attributes rich_root_data and supports_tree_reference are set
188
 
    on a per instance basis, and are not set (and should not be) at
189
 
    the class level.
190
 
    """
191
 
 
192
 
    _matchingbzrdir = RemoteBzrDirFormat
193
 
 
194
 
    def initialize(self, a_bzrdir, shared=False):
195
 
        assert isinstance(a_bzrdir, RemoteBzrDir), \
196
 
            '%r is not a RemoteBzrDir' % (a_bzrdir,)
197
 
        return a_bzrdir.create_repository(shared=shared)
198
 
    
199
 
    def open(self, a_bzrdir):
200
 
        assert isinstance(a_bzrdir, RemoteBzrDir)
201
 
        return a_bzrdir.open_repository()
202
 
 
203
 
    def get_format_description(self):
204
 
        return 'bzr remote repository'
205
 
 
206
 
    def __eq__(self, other):
207
 
        return self.__class__ == other.__class__
208
 
 
209
 
    def check_conversion_target(self, target_format):
210
 
        if self.rich_root_data and not target_format.rich_root_data:
211
 
            raise errors.BadConversionTarget(
212
 
                'Does not support rich root data.', target_format)
213
 
        if (self.supports_tree_reference and
214
 
            not getattr(target_format, 'supports_tree_reference', False)):
215
 
            raise errors.BadConversionTarget(
216
 
                'Does not support nested trees', target_format)
217
 
 
218
 
 
219
 
class RemoteRepository(object):
220
 
    """Repository accessed over rpc.
221
 
 
222
 
    For the moment most operations are performed using local transport-backed
223
 
    Repository objects.
224
 
    """
225
 
 
226
 
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
227
 
        """Create a RemoteRepository instance.
228
 
        
229
 
        :param remote_bzrdir: The bzrdir hosting this repository.
230
 
        :param format: The RemoteFormat object to use.
231
 
        :param real_repository: If not None, a local implementation of the
232
 
            repository logic for the repository, usually accessing the data
233
 
            via the VFS.
234
 
        :param _client: Private testing parameter - override the smart client
235
 
            to be used by the repository.
236
 
        """
237
 
        if real_repository:
238
 
            self._real_repository = real_repository
239
 
        else:
240
 
            self._real_repository = None
241
 
        self.bzrdir = remote_bzrdir
242
 
        if _client is None:
243
 
            self._client = client._SmartClient(self.bzrdir._shared_medium)
244
 
        else:
245
 
            self._client = _client
246
 
        self._format = format
247
 
        self._lock_mode = None
248
 
        self._lock_token = None
249
 
        self._lock_count = 0
250
 
        self._leave_lock = False
251
 
 
252
 
    def _ensure_real(self):
253
 
        """Ensure that there is a _real_repository set.
254
 
 
255
 
        Used before calls to self._real_repository.
256
 
        """
257
 
        if not self._real_repository:
258
 
            self.bzrdir._ensure_real()
259
 
            #self._real_repository = self.bzrdir._real_bzrdir.open_repository()
260
 
            self._set_real_repository(self.bzrdir._real_bzrdir.open_repository())
261
 
 
262
 
    def get_revision_graph(self, revision_id=None):
263
 
        """See Repository.get_revision_graph()."""
264
 
        if revision_id is None:
265
 
            revision_id = ''
266
 
        elif revision_id == NULL_REVISION:
267
 
            return {}
268
 
 
269
 
        path = self.bzrdir._path_for_remote_call(self._client)
270
 
        assert type(revision_id) is str
271
 
        response = self._client.call_expecting_body(
272
 
            'Repository.get_revision_graph', path, revision_id)
273
 
        if response[0][0] not in ['ok', 'nosuchrevision']:
274
 
            raise errors.UnexpectedSmartServerResponse(response[0])
275
 
        if response[0][0] == 'ok':
276
 
            coded = response[1].read_body_bytes()
277
 
            if coded == '':
278
 
                # no revisions in this repository!
279
 
                return {}
280
 
            lines = coded.split('\n')
281
 
            revision_graph = {}
282
 
            for line in lines:
283
 
                d = list(line.split())
284
 
                revision_graph[d[0]] = d[1:]
285
 
                
286
 
            return revision_graph
287
 
        else:
288
 
            response_body = response[1].read_body_bytes()
289
 
            assert response_body == ''
290
 
            raise NoSuchRevision(self, revision_id)
291
 
 
292
 
    def has_revision(self, revision_id):
293
 
        """See Repository.has_revision()."""
294
 
        if revision_id is None:
295
 
            # The null revision is always present.
296
 
            return True
297
 
        path = self.bzrdir._path_for_remote_call(self._client)
298
 
        response = self._client.call('Repository.has_revision', path, revision_id)
299
 
        assert response[0] in ('yes', 'no'), 'unexpected response code %s' % (response,)
300
 
        return response[0] == 'yes'
301
 
 
302
 
    def get_graph(self, other_repository=None):
303
 
        """Return the graph for this repository format"""
304
 
        return self._real_repository.get_graph(other_repository)
305
 
 
306
 
    def gather_stats(self, revid=None, committers=None):
307
 
        """See Repository.gather_stats()."""
308
 
        path = self.bzrdir._path_for_remote_call(self._client)
309
 
        if revid in (None, NULL_REVISION):
310
 
            fmt_revid = ''
311
 
        else:
312
 
            fmt_revid = revid
313
 
        if committers is None or not committers:
314
 
            fmt_committers = 'no'
315
 
        else:
316
 
            fmt_committers = 'yes'
317
 
        response = self._client.call_expecting_body(
318
 
            'Repository.gather_stats', path, fmt_revid, fmt_committers)
319
 
        assert response[0][0] == 'ok', \
320
 
            'unexpected response code %s' % (response[0],)
321
 
 
322
 
        body = response[1].read_body_bytes()
323
 
        result = {}
324
 
        for line in body.split('\n'):
325
 
            if not line:
326
 
                continue
327
 
            key, val_text = line.split(':')
328
 
            if key in ('revisions', 'size', 'committers'):
329
 
                result[key] = int(val_text)
330
 
            elif key in ('firstrev', 'latestrev'):
331
 
                values = val_text.split(' ')[1:]
332
 
                result[key] = (float(values[0]), long(values[1]))
333
 
 
334
 
        return result
335
 
 
336
 
    def get_physical_lock_status(self):
337
 
        """See Repository.get_physical_lock_status()."""
338
 
        return False
339
 
 
340
 
    def is_shared(self):
341
 
        """See Repository.is_shared()."""
342
 
        path = self.bzrdir._path_for_remote_call(self._client)
343
 
        response = self._client.call('Repository.is_shared', path)
344
 
        assert response[0] in ('yes', 'no'), 'unexpected response code %s' % (response,)
345
 
        return response[0] == 'yes'
346
 
 
347
 
    def lock_read(self):
348
 
        # wrong eventually - want a local lock cache context
349
 
        if not self._lock_mode:
350
 
            self._lock_mode = 'r'
351
 
            self._lock_count = 1
352
 
            if self._real_repository is not None:
353
 
                self._real_repository.lock_read()
354
 
        else:
355
 
            self._lock_count += 1
356
 
 
357
 
    def _remote_lock_write(self, token):
358
 
        path = self.bzrdir._path_for_remote_call(self._client)
359
 
        if token is None:
360
 
            token = ''
361
 
        response = self._client.call('Repository.lock_write', path, token)
362
 
        if response[0] == 'ok':
363
 
            ok, token = response
364
 
            return token
365
 
        elif response[0] == 'LockContention':
366
 
            raise errors.LockContention('(remote lock)')
367
 
        elif response[0] == 'UnlockableTransport':
368
 
            raise errors.UnlockableTransport(self.bzrdir.root_transport)
369
 
        else:
370
 
            raise errors.UnexpectedSmartServerResponse(response)
371
 
 
372
 
    def lock_write(self, token=None):
373
 
        if not self._lock_mode:
374
 
            self._lock_token = self._remote_lock_write(token)
375
 
            assert self._lock_token, 'Remote server did not return a token!'
376
 
            if self._real_repository is not None:
377
 
                self._real_repository.lock_write(token=self._lock_token)
378
 
            if token is not None:
379
 
                self._leave_lock = True
380
 
            else:
381
 
                self._leave_lock = False
382
 
            self._lock_mode = 'w'
383
 
            self._lock_count = 1
384
 
        elif self._lock_mode == 'r':
385
 
            raise errors.ReadOnlyError(self)
386
 
        else:
387
 
            self._lock_count += 1
388
 
        return self._lock_token
389
 
 
390
 
    def leave_lock_in_place(self):
391
 
        self._leave_lock = True
392
 
 
393
 
    def dont_leave_lock_in_place(self):
394
 
        self._leave_lock = False
395
 
 
396
 
    def _set_real_repository(self, repository):
397
 
        """Set the _real_repository for this repository.
398
 
 
399
 
        :param repository: The repository to fallback to for non-hpss
400
 
            implemented operations.
401
 
        """
402
 
        assert not isinstance(repository, RemoteRepository)
403
 
        self._real_repository = repository
404
 
        if self._lock_mode == 'w':
405
 
            # if we are already locked, the real repository must be able to
406
 
            # acquire the lock with our token.
407
 
            self._real_repository.lock_write(self._lock_token)
408
 
        elif self._lock_mode == 'r':
409
 
            self._real_repository.lock_read()
410
 
 
411
 
    def _unlock(self, token):
412
 
        path = self.bzrdir._path_for_remote_call(self._client)
413
 
        response = self._client.call('Repository.unlock', path, token)
414
 
        if response == ('ok',):
415
 
            return
416
 
        elif response[0] == 'TokenMismatch':
417
 
            raise errors.TokenMismatch(token, '(remote token)')
418
 
        else:
419
 
            raise errors.UnexpectedSmartServerResponse(response)
420
 
 
421
 
    def unlock(self):
422
 
        self._lock_count -= 1
423
 
        if not self._lock_count:
424
 
            mode = self._lock_mode
425
 
            self._lock_mode = None
426
 
            if self._real_repository is not None:
427
 
                self._real_repository.unlock()
428
 
            if mode != 'w':
429
 
                # Only write-locked repositories need to make a remote method
430
 
                # call to perfom the unlock.
431
 
                return
432
 
            assert self._lock_token, 'Locked, but no token!'
433
 
            token = self._lock_token
434
 
            self._lock_token = None
435
 
            if not self._leave_lock:
436
 
                self._unlock(token)
437
 
 
438
 
    def break_lock(self):
439
 
        # should hand off to the network
440
 
        self._ensure_real()
441
 
        return self._real_repository.break_lock()
442
 
 
443
 
    def _get_tarball(self, compression):
444
 
        """Return a TemporaryFile containing a repository tarball"""
445
 
        import tempfile
446
 
        path = self.bzrdir._path_for_remote_call(self._client)
447
 
        response, protocol = self._client.call_expecting_body(
448
 
            'Repository.tarball', path, compression)
449
 
        assert response[0] in ('ok', 'failure'), \
450
 
            'unexpected response code %s' % (response,)
451
 
        if response[0] == 'ok':
452
 
            # Extract the tarball and return it
453
 
            t = tempfile.NamedTemporaryFile()
454
 
            # TODO: rpc layer should read directly into it...
455
 
            t.write(protocol.read_body_bytes())
456
 
            t.seek(0)
457
 
            return t
458
 
        else:
459
 
            raise errors.SmartServerError(error_code=response)
460
 
 
461
 
    def sprout(self, to_bzrdir, revision_id=None):
462
 
        # TODO: Option to control what format is created?
463
 
        to_repo = to_bzrdir.create_repository()
464
 
        self._copy_repository_tarball(to_repo, revision_id)
465
 
        return to_repo
466
 
 
467
 
    ### These methods are just thin shims to the VFS object for now.
468
 
 
469
 
    def revision_tree(self, revision_id):
470
 
        self._ensure_real()
471
 
        return self._real_repository.revision_tree(revision_id)
472
 
 
473
 
    def get_commit_builder(self, branch, parents, config, timestamp=None,
474
 
                           timezone=None, committer=None, revprops=None,
475
 
                           revision_id=None):
476
 
        # FIXME: It ought to be possible to call this without immediately
477
 
        # triggering _ensure_real.  For now it's the easiest thing to do.
478
 
        self._ensure_real()
479
 
        builder = self._real_repository.get_commit_builder(branch, parents,
480
 
                config, timestamp=timestamp, timezone=timezone,
481
 
                committer=committer, revprops=revprops, revision_id=revision_id)
482
 
        # Make the builder use this RemoteRepository rather than the real one.
483
 
        builder.repository = self
484
 
        return builder
485
 
 
486
 
    @needs_write_lock
487
 
    def add_inventory(self, revid, inv, parents):
488
 
        self._ensure_real()
489
 
        return self._real_repository.add_inventory(revid, inv, parents)
490
 
 
491
 
    @needs_write_lock
492
 
    def add_revision(self, rev_id, rev, inv=None, config=None):
493
 
        self._ensure_real()
494
 
        return self._real_repository.add_revision(
495
 
            rev_id, rev, inv=inv, config=config)
496
 
 
497
 
    @needs_read_lock
498
 
    def get_inventory(self, revision_id):
499
 
        self._ensure_real()
500
 
        return self._real_repository.get_inventory(revision_id)
501
 
 
502
 
    @needs_read_lock
503
 
    def get_revision(self, revision_id):
504
 
        self._ensure_real()
505
 
        return self._real_repository.get_revision(revision_id)
506
 
 
507
 
    @property
508
 
    def weave_store(self):
509
 
        self._ensure_real()
510
 
        return self._real_repository.weave_store
511
 
 
512
 
    def get_transaction(self):
513
 
        self._ensure_real()
514
 
        return self._real_repository.get_transaction()
515
 
 
516
 
    @needs_read_lock
517
 
    def clone(self, a_bzrdir, revision_id=None):
518
 
        self._ensure_real()
519
 
        return self._real_repository.clone(a_bzrdir, revision_id=revision_id)
520
 
 
521
 
    def make_working_trees(self):
522
 
        """RemoteRepositories never create working trees by default."""
523
 
        return False
524
 
 
525
 
    def fetch(self, source, revision_id=None, pb=None):
526
 
        self._ensure_real()
527
 
        return self._real_repository.fetch(
528
 
            source, revision_id=revision_id, pb=pb)
529
 
 
530
 
    @property
531
 
    def control_weaves(self):
532
 
        self._ensure_real()
533
 
        return self._real_repository.control_weaves
534
 
 
535
 
    @needs_read_lock
536
 
    def get_ancestry(self, revision_id, topo_sorted=True):
537
 
        self._ensure_real()
538
 
        return self._real_repository.get_ancestry(revision_id, topo_sorted)
539
 
 
540
 
    @needs_read_lock
541
 
    def get_inventory_weave(self):
542
 
        self._ensure_real()
543
 
        return self._real_repository.get_inventory_weave()
544
 
 
545
 
    def fileids_altered_by_revision_ids(self, revision_ids):
546
 
        self._ensure_real()
547
 
        return self._real_repository.fileids_altered_by_revision_ids(revision_ids)
548
 
 
549
 
    @needs_read_lock
550
 
    def get_signature_text(self, revision_id):
551
 
        self._ensure_real()
552
 
        return self._real_repository.get_signature_text(revision_id)
553
 
 
554
 
    @needs_read_lock
555
 
    def get_revision_graph_with_ghosts(self, revision_ids=None):
556
 
        self._ensure_real()
557
 
        return self._real_repository.get_revision_graph_with_ghosts(
558
 
            revision_ids=revision_ids)
559
 
 
560
 
    @needs_read_lock
561
 
    def get_inventory_xml(self, revision_id):
562
 
        self._ensure_real()
563
 
        return self._real_repository.get_inventory_xml(revision_id)
564
 
 
565
 
    def deserialise_inventory(self, revision_id, xml):
566
 
        self._ensure_real()
567
 
        return self._real_repository.deserialise_inventory(revision_id, xml)
568
 
 
569
 
    def reconcile(self, other=None, thorough=False):
570
 
        self._ensure_real()
571
 
        return self._real_repository.reconcile(other=other, thorough=thorough)
572
 
        
573
 
    def all_revision_ids(self):
574
 
        self._ensure_real()
575
 
        return self._real_repository.all_revision_ids()
576
 
    
577
 
    @needs_read_lock
578
 
    def get_deltas_for_revisions(self, revisions):
579
 
        self._ensure_real()
580
 
        return self._real_repository.get_deltas_for_revisions(revisions)
581
 
 
582
 
    @needs_read_lock
583
 
    def get_revision_delta(self, revision_id):
584
 
        self._ensure_real()
585
 
        return self._real_repository.get_revision_delta(revision_id)
586
 
 
587
 
    @needs_read_lock
588
 
    def revision_trees(self, revision_ids):
589
 
        self._ensure_real()
590
 
        return self._real_repository.revision_trees(revision_ids)
591
 
 
592
 
    @needs_read_lock
593
 
    def get_revision_reconcile(self, revision_id):
594
 
        self._ensure_real()
595
 
        return self._real_repository.get_revision_reconcile(revision_id)
596
 
 
597
 
    @needs_read_lock
598
 
    def check(self, revision_ids):
599
 
        self._ensure_real()
600
 
        return self._real_repository.check(revision_ids)
601
 
 
602
 
    def copy_content_into(self, destination, revision_id=None):
603
 
        self._ensure_real()
604
 
        return self._real_repository.copy_content_into(
605
 
            destination, revision_id=revision_id)
606
 
 
607
 
    def _copy_repository_tarball(self, destination, revision_id=None):
608
 
        # get a tarball of the remote repository, and copy from that into the
609
 
        # destination
610
 
        from bzrlib import osutils
611
 
        import tarfile
612
 
        import tempfile
613
 
        from StringIO import StringIO
614
 
        # TODO: Maybe a progress bar while streaming the tarball?
615
 
        note("Copying repository content as tarball...")
616
 
        tar_file = self._get_tarball('bz2')
617
 
        try:
618
 
            tar = tarfile.open('repository', fileobj=tar_file,
619
 
                mode='r|bz2')
620
 
            tmpdir = tempfile.mkdtemp()
621
 
            try:
622
 
                _extract_tar(tar, tmpdir)
623
 
                tmp_bzrdir = BzrDir.open(tmpdir)
624
 
                tmp_repo = tmp_bzrdir.open_repository()
625
 
                tmp_repo.copy_content_into(destination, revision_id)
626
 
            finally:
627
 
                osutils.rmtree(tmpdir)
628
 
        finally:
629
 
            tar_file.close()
630
 
        # TODO: if the server doesn't support this operation, maybe do it the
631
 
        # slow way using the _real_repository?
632
 
        #
633
 
        # TODO: Suggestion from john: using external tar is much faster than
634
 
        # python's tarfile library, but it may not work on windows.
635
 
 
636
 
    @needs_write_lock
637
 
    def pack(self):
638
 
        """Compress the data within the repository.
639
 
 
640
 
        This is not currently implemented within the smart server.
641
 
        """
642
 
        self._ensure_real()
643
 
        return self._real_repository.pack()
644
 
 
645
 
    def set_make_working_trees(self, new_value):
646
 
        raise NotImplementedError(self.set_make_working_trees)
647
 
 
648
 
    @needs_write_lock
649
 
    def sign_revision(self, revision_id, gpg_strategy):
650
 
        self._ensure_real()
651
 
        return self._real_repository.sign_revision(revision_id, gpg_strategy)
652
 
 
653
 
    @needs_read_lock
654
 
    def get_revisions(self, revision_ids):
655
 
        self._ensure_real()
656
 
        return self._real_repository.get_revisions(revision_ids)
657
 
 
658
 
    def supports_rich_root(self):
659
 
        self._ensure_real()
660
 
        return self._real_repository.supports_rich_root()
661
 
 
662
 
    def iter_reverse_revision_history(self, revision_id):
663
 
        self._ensure_real()
664
 
        return self._real_repository.iter_reverse_revision_history(revision_id)
665
 
 
666
 
    @property
667
 
    def _serializer(self):
668
 
        self._ensure_real()
669
 
        return self._real_repository._serializer
670
 
 
671
 
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
672
 
        self._ensure_real()
673
 
        return self._real_repository.store_revision_signature(
674
 
            gpg_strategy, plaintext, revision_id)
675
 
 
676
 
    def has_signature_for_revision_id(self, revision_id):
677
 
        self._ensure_real()
678
 
        return self._real_repository.has_signature_for_revision_id(revision_id)
679
 
 
680
 
 
681
 
class RemoteBranchLockableFiles(LockableFiles):
682
 
    """A 'LockableFiles' implementation that talks to a smart server.
683
 
    
684
 
    This is not a public interface class.
685
 
    """
686
 
 
687
 
    def __init__(self, bzrdir, _client):
688
 
        self.bzrdir = bzrdir
689
 
        self._client = _client
690
 
        self._need_find_modes = True
691
 
        LockableFiles.__init__(
692
 
            self, bzrdir.get_branch_transport(None),
693
 
            'lock', lockdir.LockDir)
694
 
 
695
 
    def _find_modes(self):
696
 
        # RemoteBranches don't let the client set the mode of control files.
697
 
        self._dir_mode = None
698
 
        self._file_mode = None
699
 
 
700
 
    def get(self, path):
701
 
        """'get' a remote path as per the LockableFiles interface.
702
 
 
703
 
        :param path: the file to 'get'. If this is 'branch.conf', we do not
704
 
             just retrieve a file, instead we ask the smart server to generate
705
 
             a configuration for us - which is retrieved as an INI file.
706
 
        """
707
 
        if path == 'branch.conf':
708
 
            path = self.bzrdir._path_for_remote_call(self._client)
709
 
            response = self._client.call_expecting_body(
710
 
                'Branch.get_config_file', path)
711
 
            assert response[0][0] == 'ok', \
712
 
                'unexpected response code %s' % (response[0],)
713
 
            return StringIO(response[1].read_body_bytes())
714
 
        else:
715
 
            # VFS fallback.
716
 
            return LockableFiles.get(self, path)
717
 
 
718
 
 
719
 
class RemoteBranchFormat(branch.BranchFormat):
720
 
 
721
 
    def __eq__(self, other):
722
 
        return (isinstance(other, RemoteBranchFormat) and 
723
 
            self.__dict__ == other.__dict__)
724
 
 
725
 
    def get_format_description(self):
726
 
        return 'Remote BZR Branch'
727
 
 
728
 
    def get_format_string(self):
729
 
        return 'Remote BZR Branch'
730
 
 
731
 
    def open(self, a_bzrdir):
732
 
        assert isinstance(a_bzrdir, RemoteBzrDir)
733
 
        return a_bzrdir.open_branch()
734
 
 
735
 
    def initialize(self, a_bzrdir):
736
 
        assert isinstance(a_bzrdir, RemoteBzrDir)
737
 
        return a_bzrdir.create_branch()
738
 
 
739
 
 
740
 
class RemoteBranch(branch.Branch):
741
 
    """Branch stored on a server accessed by HPSS RPC.
742
 
 
743
 
    At the moment most operations are mapped down to simple file operations.
744
 
    """
745
 
 
746
 
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
747
 
        _client=None):
748
 
        """Create a RemoteBranch instance.
749
 
 
750
 
        :param real_branch: An optional local implementation of the branch
751
 
            format, usually accessing the data via the VFS.
752
 
        :param _client: Private parameter for testing.
753
 
        """
754
 
        # We intentionally don't call the parent class's __init__, because it
755
 
        # will try to assign to self.tags, which is a property in this subclass.
756
 
        # And the parent's __init__ doesn't do much anyway.
757
 
        self._revision_history_cache = None
758
 
        self.bzrdir = remote_bzrdir
759
 
        if _client is not None:
760
 
            self._client = _client
761
 
        else:
762
 
            self._client = client._SmartClient(self.bzrdir._shared_medium)
763
 
        self.repository = remote_repository
764
 
        if real_branch is not None:
765
 
            self._real_branch = real_branch
766
 
            # Give the remote repository the matching real repo.
767
 
            real_repo = self._real_branch.repository
768
 
            if isinstance(real_repo, RemoteRepository):
769
 
                real_repo._ensure_real()
770
 
                real_repo = real_repo._real_repository
771
 
            self.repository._set_real_repository(real_repo)
772
 
            # Give the branch the remote repository to let fast-pathing happen.
773
 
            self._real_branch.repository = self.repository
774
 
        else:
775
 
            self._real_branch = None
776
 
        # Fill out expected attributes of branch for bzrlib api users.
777
 
        self._format = RemoteBranchFormat()
778
 
        self.base = self.bzrdir.root_transport.base
779
 
        self._control_files = None
780
 
        self._lock_mode = None
781
 
        self._lock_token = None
782
 
        self._lock_count = 0
783
 
        self._leave_lock = False
784
 
 
785
 
    def __str__(self):
786
 
        return "%s(%s)" % (self.__class__.__name__, self.base)
787
 
 
788
 
    __repr__ = __str__
789
 
 
790
 
    def _ensure_real(self):
791
 
        """Ensure that there is a _real_branch set.
792
 
 
793
 
        Used before calls to self._real_branch.
794
 
        """
795
 
        if not self._real_branch:
796
 
            assert vfs.vfs_enabled()
797
 
            self.bzrdir._ensure_real()
798
 
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
799
 
            # Give the remote repository the matching real repo.
800
 
            real_repo = self._real_branch.repository
801
 
            if isinstance(real_repo, RemoteRepository):
802
 
                real_repo._ensure_real()
803
 
                real_repo = real_repo._real_repository
804
 
            self.repository._set_real_repository(real_repo)
805
 
            # Give the branch the remote repository to let fast-pathing happen.
806
 
            self._real_branch.repository = self.repository
807
 
            # XXX: deal with _lock_mode == 'w'
808
 
            if self._lock_mode == 'r':
809
 
                self._real_branch.lock_read()
810
 
 
811
 
    @property
812
 
    def control_files(self):
813
 
        # Defer actually creating RemoteBranchLockableFiles until its needed,
814
 
        # because it triggers an _ensure_real that we otherwise might not need.
815
 
        if self._control_files is None:
816
 
            self._control_files = RemoteBranchLockableFiles(
817
 
                self.bzrdir, self._client)
818
 
        return self._control_files
819
 
 
820
 
    def _get_checkout_format(self):
821
 
        self._ensure_real()
822
 
        return self._real_branch._get_checkout_format()
823
 
 
824
 
    def get_physical_lock_status(self):
825
 
        """See Branch.get_physical_lock_status()."""
826
 
        # should be an API call to the server, as branches must be lockable.
827
 
        self._ensure_real()
828
 
        return self._real_branch.get_physical_lock_status()
829
 
 
830
 
    def lock_read(self):
831
 
        if not self._lock_mode:
832
 
            self._lock_mode = 'r'
833
 
            self._lock_count = 1
834
 
            if self._real_branch is not None:
835
 
                self._real_branch.lock_read()
836
 
        else:
837
 
            self._lock_count += 1
838
 
 
839
 
    def _remote_lock_write(self, token):
840
 
        if token is None:
841
 
            branch_token = repo_token = ''
842
 
        else:
843
 
            branch_token = token
844
 
            repo_token = self.repository.lock_write()
845
 
            self.repository.unlock()
846
 
        path = self.bzrdir._path_for_remote_call(self._client)
847
 
        response = self._client.call('Branch.lock_write', path, branch_token,
848
 
                                     repo_token)
849
 
        if response[0] == 'ok':
850
 
            ok, branch_token, repo_token = response
851
 
            return branch_token, repo_token
852
 
        elif response[0] == 'LockContention':
853
 
            raise errors.LockContention('(remote lock)')
854
 
        elif response[0] == 'TokenMismatch':
855
 
            raise errors.TokenMismatch(token, '(remote token)')
856
 
        elif response[0] == 'UnlockableTransport':
857
 
            raise errors.UnlockableTransport(self.bzrdir.root_transport)
858
 
        elif response[0] == 'ReadOnlyError':
859
 
            raise errors.ReadOnlyError(self)
860
 
        else:
861
 
            raise errors.UnexpectedSmartServerResponse(response)
862
 
            
863
 
    def lock_write(self, token=None):
864
 
        if not self._lock_mode:
865
 
            remote_tokens = self._remote_lock_write(token)
866
 
            self._lock_token, self._repo_lock_token = remote_tokens
867
 
            assert self._lock_token, 'Remote server did not return a token!'
868
 
            # TODO: We really, really, really don't want to call _ensure_real
869
 
            # here, but it's the easiest way to ensure coherency between the
870
 
            # state of the RemoteBranch and RemoteRepository objects and the
871
 
            # physical locks.  If we don't materialise the real objects here,
872
 
            # then getting everything in the right state later is complex, so
873
 
            # for now we just do it the lazy way.
874
 
            #   -- Andrew Bennetts, 2007-02-22.
875
 
            self._ensure_real()
876
 
            if self._real_branch is not None:
877
 
                self._real_branch.repository.lock_write(
878
 
                    token=self._repo_lock_token)
879
 
                try:
880
 
                    self._real_branch.lock_write(token=self._lock_token)
881
 
                finally:
882
 
                    self._real_branch.repository.unlock()
883
 
            if token is not None:
884
 
                self._leave_lock = True
885
 
            else:
886
 
                # XXX: this case seems to be unreachable; token cannot be None.
887
 
                self._leave_lock = False
888
 
            self._lock_mode = 'w'
889
 
            self._lock_count = 1
890
 
        elif self._lock_mode == 'r':
891
 
            raise errors.ReadOnlyTransaction
892
 
        else:
893
 
            if token is not None:
894
 
                # A token was given to lock_write, and we're relocking, so check
895
 
                # that the given token actually matches the one we already have.
896
 
                if token != self._lock_token:
897
 
                    raise errors.TokenMismatch(token, self._lock_token)
898
 
            self._lock_count += 1
899
 
        return self._lock_token
900
 
 
901
 
    def _unlock(self, branch_token, repo_token):
902
 
        path = self.bzrdir._path_for_remote_call(self._client)
903
 
        response = self._client.call('Branch.unlock', path, branch_token,
904
 
                                     repo_token)
905
 
        if response == ('ok',):
906
 
            return
907
 
        elif response[0] == 'TokenMismatch':
908
 
            raise errors.TokenMismatch(
909
 
                str((branch_token, repo_token)), '(remote tokens)')
910
 
        else:
911
 
            raise errors.UnexpectedSmartServerResponse(response)
912
 
 
913
 
    def unlock(self):
914
 
        self._lock_count -= 1
915
 
        if not self._lock_count:
916
 
            self._clear_cached_state()
917
 
            mode = self._lock_mode
918
 
            self._lock_mode = None
919
 
            if self._real_branch is not None:
920
 
                if not self._leave_lock:
921
 
                    # If this RemoteBranch will remove the physical lock for the
922
 
                    # repository, make sure the _real_branch doesn't do it
923
 
                    # first.  (Because the _real_branch's repository is set to
924
 
                    # be the RemoteRepository.)
925
 
                    self._real_branch.repository.leave_lock_in_place()
926
 
                self._real_branch.unlock()
927
 
            if mode != 'w':
928
 
                # Only write-locked branched need to make a remote method call
929
 
                # to perfom the unlock.
930
 
                return
931
 
            assert self._lock_token, 'Locked, but no token!'
932
 
            branch_token = self._lock_token
933
 
            repo_token = self._repo_lock_token
934
 
            self._lock_token = None
935
 
            self._repo_lock_token = None
936
 
            if not self._leave_lock:
937
 
                self._unlock(branch_token, repo_token)
938
 
 
939
 
    def break_lock(self):
940
 
        self._ensure_real()
941
 
        return self._real_branch.break_lock()
942
 
 
943
 
    def leave_lock_in_place(self):
944
 
        self._leave_lock = True
945
 
 
946
 
    def dont_leave_lock_in_place(self):
947
 
        self._leave_lock = False
948
 
 
949
 
    def last_revision_info(self):
950
 
        """See Branch.last_revision_info()."""
951
 
        path = self.bzrdir._path_for_remote_call(self._client)
952
 
        response = self._client.call('Branch.last_revision_info', path)
953
 
        assert response[0] == 'ok', 'unexpected response code %s' % (response,)
954
 
        revno = int(response[1])
955
 
        last_revision = response[2]
956
 
        return (revno, last_revision)
957
 
 
958
 
    def _gen_revision_history(self):
959
 
        """See Branch._gen_revision_history()."""
960
 
        path = self.bzrdir._path_for_remote_call(self._client)
961
 
        response = self._client.call_expecting_body(
962
 
            'Branch.revision_history', path)
963
 
        assert response[0][0] == 'ok', ('unexpected response code %s'
964
 
                                        % (response[0],))
965
 
        result = response[1].read_body_bytes().split('\x00')
966
 
        if result == ['']:
967
 
            return []
968
 
        return result
969
 
 
970
 
    @needs_write_lock
971
 
    def set_revision_history(self, rev_history):
972
 
        # Send just the tip revision of the history; the server will generate
973
 
        # the full history from that.  If the revision doesn't exist in this
974
 
        # branch, NoSuchRevision will be raised.
975
 
        path = self.bzrdir._path_for_remote_call(self._client)
976
 
        if rev_history == []:
977
 
            rev_id = 'null:'
978
 
        else:
979
 
            rev_id = rev_history[-1]
980
 
        self._clear_cached_state()
981
 
        response = self._client.call('Branch.set_last_revision',
982
 
            path, self._lock_token, self._repo_lock_token, rev_id)
983
 
        if response[0] == 'NoSuchRevision':
984
 
            raise NoSuchRevision(self, rev_id)
985
 
        else:
986
 
            assert response == ('ok',), (
987
 
                'unexpected response code %r' % (response,))
988
 
        self._cache_revision_history(rev_history)
989
 
 
990
 
    def get_parent(self):
991
 
        self._ensure_real()
992
 
        return self._real_branch.get_parent()
993
 
        
994
 
    def set_parent(self, url):
995
 
        self._ensure_real()
996
 
        return self._real_branch.set_parent(url)
997
 
        
998
 
    def get_config(self):
999
 
        return RemoteBranchConfig(self)
1000
 
 
1001
 
    def sprout(self, to_bzrdir, revision_id=None):
1002
 
        # Like Branch.sprout, except that it sprouts a branch in the default
1003
 
        # format, because RemoteBranches can't be created at arbitrary URLs.
1004
 
        # XXX: if to_bzrdir is a RemoteBranch, this should perhaps do
1005
 
        # to_bzrdir.create_branch...
1006
 
        result = branch.BranchFormat.get_default_format().initialize(to_bzrdir)
1007
 
        self.copy_content_into(result, revision_id=revision_id)
1008
 
        result.set_parent(self.bzrdir.root_transport.base)
1009
 
        return result
1010
 
 
1011
 
    @needs_write_lock
1012
 
    def append_revision(self, *revision_ids):
1013
 
        self._ensure_real()
1014
 
        return self._real_branch.append_revision(*revision_ids)
1015
 
 
1016
 
    @needs_write_lock
1017
 
    def pull(self, source, overwrite=False, stop_revision=None,
1018
 
             **kwargs):
1019
 
        # FIXME: This asks the real branch to run the hooks, which means
1020
 
        # they're called with the wrong target branch parameter. 
1021
 
        # The test suite specifically allows this at present but it should be
1022
 
        # fixed.  It should get a _override_hook_target branch,
1023
 
        # as push does.  -- mbp 20070405
1024
 
        self._ensure_real()
1025
 
        self._real_branch.pull(
1026
 
            source, overwrite=overwrite, stop_revision=stop_revision,
1027
 
            **kwargs)
1028
 
 
1029
 
    @needs_read_lock
1030
 
    def push(self, target, overwrite=False, stop_revision=None):
1031
 
        self._ensure_real()
1032
 
        return self._real_branch.push(
1033
 
            target, overwrite=overwrite, stop_revision=stop_revision,
1034
 
            _override_hook_source_branch=self)
1035
 
 
1036
 
    def is_locked(self):
1037
 
        return self._lock_count >= 1
1038
 
 
1039
 
    def set_last_revision_info(self, revno, revision_id):
1040
 
        self._ensure_real()
1041
 
        self._clear_cached_state()
1042
 
        return self._real_branch.set_last_revision_info(revno, revision_id)
1043
 
 
1044
 
    def generate_revision_history(self, revision_id, last_rev=None,
1045
 
                                  other_branch=None):
1046
 
        self._ensure_real()
1047
 
        return self._real_branch.generate_revision_history(
1048
 
            revision_id, last_rev=last_rev, other_branch=other_branch)
1049
 
 
1050
 
    @property
1051
 
    def tags(self):
1052
 
        self._ensure_real()
1053
 
        return self._real_branch.tags
1054
 
 
1055
 
    def set_push_location(self, location):
1056
 
        self._ensure_real()
1057
 
        return self._real_branch.set_push_location(location)
1058
 
 
1059
 
    def update_revisions(self, other, stop_revision=None):
1060
 
        self._ensure_real()
1061
 
        return self._real_branch.update_revisions(
1062
 
            other, stop_revision=stop_revision)
1063
 
 
1064
 
 
1065
 
class RemoteBranchConfig(BranchConfig):
1066
 
 
1067
 
    def username(self):
1068
 
        self.branch._ensure_real()
1069
 
        return self.branch._real_branch.get_config().username()
1070
 
 
1071
 
    def _get_branch_data_config(self):
1072
 
        self.branch._ensure_real()
1073
 
        if self._branch_data_config is None:
1074
 
            self._branch_data_config = TreeConfig(self.branch._real_branch)
1075
 
        return self._branch_data_config
1076
 
 
1077
 
 
1078
 
def _extract_tar(tar, to_dir):
1079
 
    """Extract all the contents of a tarfile object.
1080
 
 
1081
 
    A replacement for extractall, which is not present in python2.4
1082
 
    """
1083
 
    for tarinfo in tar:
1084
 
        tar.extract(tarinfo, to_dir)