~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2007-08-17 10:41:28 UTC
  • mfrom: (2696.3.10 default-format)
  • Revision ID: pqm@pqm.ubuntu.com-20070817104128-30oe09d0jeoii7fx
(mbp) Set default forrmat to dirstate-tags

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
# TODO: At some point, handle upgrades by just passing the whole request
 
18
# across to run on the server.
 
19
 
 
20
from cStringIO import StringIO
 
21
 
 
22
from bzrlib import (
 
23
    branch,
 
24
    errors,
 
25
    lockdir,
 
26
    repository,
 
27
)
 
28
from bzrlib.branch import Branch, BranchReferenceFormat
 
29
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
 
30
from bzrlib.config import BranchConfig, TreeConfig
 
31
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
32
from bzrlib.errors import NoSuchRevision
 
33
from bzrlib.lockable_files import LockableFiles
 
34
from bzrlib.revision import NULL_REVISION
 
35
from bzrlib.smart import client, vfs
 
36
from bzrlib.symbol_versioning import (
 
37
    deprecated_method,
 
38
    zero_ninetyone,
 
39
    )
 
40
from bzrlib.trace import note
 
41
 
 
42
# Note: RemoteBzrDirFormat is in bzrdir.py
 
43
 
 
44
class RemoteBzrDir(BzrDir):
 
45
    """Control directory on a remote server, accessed via bzr:// or similar."""
 
46
 
 
47
    def __init__(self, transport, _client=None):
 
48
        """Construct a RemoteBzrDir.
 
49
 
 
50
        :param _client: Private parameter for testing. Disables probing and the
 
51
            use of a real bzrdir.
 
52
        """
 
53
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
 
54
        # this object holds a delegated bzrdir that uses file-level operations
 
55
        # to talk to the other side
 
56
        self._real_bzrdir = None
 
57
 
 
58
        if _client is None:
 
59
            self._shared_medium = transport.get_shared_medium()
 
60
            self._client = client._SmartClient(self._shared_medium)
 
61
        else:
 
62
            self._client = _client
 
63
            self._shared_medium = None
 
64
            return
 
65
 
 
66
        path = self._path_for_remote_call(self._client)
 
67
        response = self._client.call('BzrDir.open', path)
 
68
        if response not in [('yes',), ('no',)]:
 
69
            raise errors.UnexpectedSmartServerResponse(response)
 
70
        if response == ('no',):
 
71
            raise errors.NotBranchError(path=transport.base)
 
72
 
 
73
    def _ensure_real(self):
 
74
        """Ensure that there is a _real_bzrdir set.
 
75
 
 
76
        Used before calls to self._real_bzrdir.
 
77
        """
 
78
        if not self._real_bzrdir:
 
79
            self._real_bzrdir = BzrDir.open_from_transport(
 
80
                self.root_transport, _server_formats=False)
 
81
 
 
82
    def create_repository(self, shared=False):
 
83
        self._ensure_real()
 
84
        self._real_bzrdir.create_repository(shared=shared)
 
85
        return self.open_repository()
 
86
 
 
87
    def create_branch(self):
 
88
        self._ensure_real()
 
89
        real_branch = self._real_bzrdir.create_branch()
 
90
        return RemoteBranch(self, self.find_repository(), real_branch)
 
91
 
 
92
    def create_workingtree(self, revision_id=None):
 
93
        raise errors.NotLocalUrl(self.transport.base)
 
94
 
 
95
    def find_branch_format(self):
 
96
        """Find the branch 'format' for this bzrdir.
 
97
 
 
98
        This might be a synthetic object for e.g. RemoteBranch and SVN.
 
99
        """
 
100
        b = self.open_branch()
 
101
        return b._format
 
102
 
 
103
    def get_branch_reference(self):
 
104
        """See BzrDir.get_branch_reference()."""
 
105
        path = self._path_for_remote_call(self._client)
 
106
        response = self._client.call('BzrDir.open_branch', path)
 
107
        if response[0] == 'ok':
 
108
            if response[1] == '':
 
109
                # branch at this location.
 
110
                return None
 
111
            else:
 
112
                # a branch reference, use the existing BranchReference logic.
 
113
                return response[1]
 
114
        elif response == ('nobranch',):
 
115
            raise errors.NotBranchError(path=self.root_transport.base)
 
116
        else:
 
117
            raise errors.UnexpectedSmartServerResponse(response)
 
118
 
 
119
    def open_branch(self, _unsupported=False):
 
120
        assert _unsupported == False, 'unsupported flag support not implemented yet.'
 
121
        reference_url = self.get_branch_reference()
 
122
        if reference_url is None:
 
123
            # branch at this location.
 
124
            return RemoteBranch(self, self.find_repository())
 
125
        else:
 
126
            # a branch reference, use the existing BranchReference logic.
 
127
            format = BranchReferenceFormat()
 
128
            return format.open(self, _found=True, location=reference_url)
 
129
                
 
130
    def open_repository(self):
 
131
        path = self._path_for_remote_call(self._client)
 
132
        response = self._client.call('BzrDir.find_repository', path)
 
133
        assert response[0] in ('ok', 'norepository'), \
 
134
            'unexpected response code %s' % (response,)
 
135
        if response[0] == 'norepository':
 
136
            raise errors.NoRepositoryPresent(self)
 
137
        assert len(response) == 4, 'incorrect response length %s' % (response,)
 
138
        if response[1] == '':
 
139
            format = RemoteRepositoryFormat()
 
140
            format.rich_root_data = (response[2] == 'yes')
 
141
            format.supports_tree_reference = (response[3] == 'yes')
 
142
            return RemoteRepository(self, format)
 
143
        else:
 
144
            raise errors.NoRepositoryPresent(self)
 
145
 
 
146
    def open_workingtree(self, recommend_upgrade=True):
 
147
        self._ensure_real()
 
148
        if self._real_bzrdir.has_workingtree():
 
149
            raise errors.NotLocalUrl(self.root_transport)
 
150
        else:
 
151
            raise errors.NoWorkingTree(self.root_transport.base)
 
152
 
 
153
    def _path_for_remote_call(self, client):
 
154
        """Return the path to be used for this bzrdir in a remote call."""
 
155
        return client.remote_path_from_transport(self.root_transport)
 
156
 
 
157
    def get_branch_transport(self, branch_format):
 
158
        self._ensure_real()
 
159
        return self._real_bzrdir.get_branch_transport(branch_format)
 
160
 
 
161
    def get_repository_transport(self, repository_format):
 
162
        self._ensure_real()
 
163
        return self._real_bzrdir.get_repository_transport(repository_format)
 
164
 
 
165
    def get_workingtree_transport(self, workingtree_format):
 
166
        self._ensure_real()
 
167
        return self._real_bzrdir.get_workingtree_transport(workingtree_format)
 
168
 
 
169
    def can_convert_format(self):
 
170
        """Upgrading of remote bzrdirs is not supported yet."""
 
171
        return False
 
172
 
 
173
    def needs_format_conversion(self, format=None):
 
174
        """Upgrading of remote bzrdirs is not supported yet."""
 
175
        return False
 
176
 
 
177
    def clone(self, url, revision_id=None, force_new_repo=False):
 
178
        self._ensure_real()
 
179
        return self._real_bzrdir.clone(url, revision_id=revision_id,
 
180
            force_new_repo=force_new_repo)
 
181
 
 
182
 
 
183
class RemoteRepositoryFormat(repository.RepositoryFormat):
 
184
    """Format for repositories accessed over a _SmartClient.
 
185
 
 
186
    Instances of this repository are represented by RemoteRepository
 
187
    instances.
 
188
 
 
189
    The RemoteRepositoryFormat is parameterised during construction
 
190
    to reflect the capabilities of the real, remote format. Specifically
 
191
    the attributes rich_root_data and supports_tree_reference are set
 
192
    on a per instance basis, and are not set (and should not be) at
 
193
    the class level.
 
194
    """
 
195
 
 
196
    _matchingbzrdir = RemoteBzrDirFormat
 
197
 
 
198
    def initialize(self, a_bzrdir, shared=False):
 
199
        assert isinstance(a_bzrdir, RemoteBzrDir), \
 
200
            '%r is not a RemoteBzrDir' % (a_bzrdir,)
 
201
        return a_bzrdir.create_repository(shared=shared)
 
202
    
 
203
    def open(self, a_bzrdir):
 
204
        assert isinstance(a_bzrdir, RemoteBzrDir)
 
205
        return a_bzrdir.open_repository()
 
206
 
 
207
    def get_format_description(self):
 
208
        return 'bzr remote repository'
 
209
 
 
210
    def __eq__(self, other):
 
211
        return self.__class__ == other.__class__
 
212
 
 
213
    def check_conversion_target(self, target_format):
 
214
        if self.rich_root_data and not target_format.rich_root_data:
 
215
            raise errors.BadConversionTarget(
 
216
                'Does not support rich root data.', target_format)
 
217
        if (self.supports_tree_reference and
 
218
            not getattr(target_format, 'supports_tree_reference', False)):
 
219
            raise errors.BadConversionTarget(
 
220
                'Does not support nested trees', target_format)
 
221
 
 
222
 
 
223
class RemoteRepository(object):
 
224
    """Repository accessed over rpc.
 
225
 
 
226
    For the moment most operations are performed using local transport-backed
 
227
    Repository objects.
 
228
    """
 
229
 
 
230
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
 
231
        """Create a RemoteRepository instance.
 
232
        
 
233
        :param remote_bzrdir: The bzrdir hosting this repository.
 
234
        :param format: The RemoteFormat object to use.
 
235
        :param real_repository: If not None, a local implementation of the
 
236
            repository logic for the repository, usually accessing the data
 
237
            via the VFS.
 
238
        :param _client: Private testing parameter - override the smart client
 
239
            to be used by the repository.
 
240
        """
 
241
        if real_repository:
 
242
            self._real_repository = real_repository
 
243
        else:
 
244
            self._real_repository = None
 
245
        self.bzrdir = remote_bzrdir
 
246
        if _client is None:
 
247
            self._client = client._SmartClient(self.bzrdir._shared_medium)
 
248
        else:
 
249
            self._client = _client
 
250
        self._format = format
 
251
        self._lock_mode = None
 
252
        self._lock_token = None
 
253
        self._lock_count = 0
 
254
        self._leave_lock = False
 
255
 
 
256
    def abort_write_group(self):
 
257
        """Complete a write group on the decorated repository.
 
258
        
 
259
        Smart methods peform operations in a single step so this api
 
260
        is not really applicable except as a compatibility thunk
 
261
        for older plugins that don't use e.g. the CommitBuilder
 
262
        facility.
 
263
        """
 
264
        self._ensure_real()
 
265
        return self._real_repository.abort_write_group()
 
266
 
 
267
    def commit_write_group(self):
 
268
        """Complete a write group on the decorated repository.
 
269
        
 
270
        Smart methods peform operations in a single step so this api
 
271
        is not really applicable except as a compatibility thunk
 
272
        for older plugins that don't use e.g. the CommitBuilder
 
273
        facility.
 
274
        """
 
275
        self._ensure_real()
 
276
        return self._real_repository.commit_write_group()
 
277
 
 
278
    def _ensure_real(self):
 
279
        """Ensure that there is a _real_repository set.
 
280
 
 
281
        Used before calls to self._real_repository.
 
282
        """
 
283
        if not self._real_repository:
 
284
            self.bzrdir._ensure_real()
 
285
            #self._real_repository = self.bzrdir._real_bzrdir.open_repository()
 
286
            self._set_real_repository(self.bzrdir._real_bzrdir.open_repository())
 
287
 
 
288
    def get_revision_graph(self, revision_id=None):
 
289
        """See Repository.get_revision_graph()."""
 
290
        if revision_id is None:
 
291
            revision_id = ''
 
292
        elif revision_id == NULL_REVISION:
 
293
            return {}
 
294
 
 
295
        path = self.bzrdir._path_for_remote_call(self._client)
 
296
        assert type(revision_id) is str
 
297
        response = self._client.call_expecting_body(
 
298
            'Repository.get_revision_graph', path, revision_id)
 
299
        if response[0][0] not in ['ok', 'nosuchrevision']:
 
300
            raise errors.UnexpectedSmartServerResponse(response[0])
 
301
        if response[0][0] == 'ok':
 
302
            coded = response[1].read_body_bytes()
 
303
            if coded == '':
 
304
                # no revisions in this repository!
 
305
                return {}
 
306
            lines = coded.split('\n')
 
307
            revision_graph = {}
 
308
            for line in lines:
 
309
                d = tuple(line.split())
 
310
                revision_graph[d[0]] = d[1:]
 
311
                
 
312
            return revision_graph
 
313
        else:
 
314
            response_body = response[1].read_body_bytes()
 
315
            assert response_body == ''
 
316
            raise NoSuchRevision(self, revision_id)
 
317
 
 
318
    def has_revision(self, revision_id):
 
319
        """See Repository.has_revision()."""
 
320
        if revision_id is None:
 
321
            # The null revision is always present.
 
322
            return True
 
323
        path = self.bzrdir._path_for_remote_call(self._client)
 
324
        response = self._client.call('Repository.has_revision', path, revision_id)
 
325
        assert response[0] in ('yes', 'no'), 'unexpected response code %s' % (response,)
 
326
        return response[0] == 'yes'
 
327
 
 
328
    def has_same_location(self, other):
 
329
        return (self.__class__ == other.__class__ and
 
330
                self.bzrdir.transport.base == other.bzrdir.transport.base)
 
331
        
 
332
    def get_graph(self, other_repository=None):
 
333
        """Return the graph for this repository format"""
 
334
        return self._real_repository.get_graph(other_repository)
 
335
 
 
336
    def gather_stats(self, revid=None, committers=None):
 
337
        """See Repository.gather_stats()."""
 
338
        path = self.bzrdir._path_for_remote_call(self._client)
 
339
        if revid in (None, NULL_REVISION):
 
340
            fmt_revid = ''
 
341
        else:
 
342
            fmt_revid = revid
 
343
        if committers is None or not committers:
 
344
            fmt_committers = 'no'
 
345
        else:
 
346
            fmt_committers = 'yes'
 
347
        response = self._client.call_expecting_body(
 
348
            'Repository.gather_stats', path, fmt_revid, fmt_committers)
 
349
        assert response[0][0] == 'ok', \
 
350
            'unexpected response code %s' % (response[0],)
 
351
 
 
352
        body = response[1].read_body_bytes()
 
353
        result = {}
 
354
        for line in body.split('\n'):
 
355
            if not line:
 
356
                continue
 
357
            key, val_text = line.split(':')
 
358
            if key in ('revisions', 'size', 'committers'):
 
359
                result[key] = int(val_text)
 
360
            elif key in ('firstrev', 'latestrev'):
 
361
                values = val_text.split(' ')[1:]
 
362
                result[key] = (float(values[0]), long(values[1]))
 
363
 
 
364
        return result
 
365
 
 
366
    def get_physical_lock_status(self):
 
367
        """See Repository.get_physical_lock_status()."""
 
368
        return False
 
369
 
 
370
    def is_in_write_group(self):
 
371
        """Return True if there is an open write group.
 
372
 
 
373
        write groups are only applicable locally for the smart server..
 
374
        """
 
375
        if self._real_repository:
 
376
            return self._real_repository.is_in_write_group()
 
377
 
 
378
    def is_locked(self):
 
379
        return self._lock_count >= 1
 
380
 
 
381
    def is_shared(self):
 
382
        """See Repository.is_shared()."""
 
383
        path = self.bzrdir._path_for_remote_call(self._client)
 
384
        response = self._client.call('Repository.is_shared', path)
 
385
        assert response[0] in ('yes', 'no'), 'unexpected response code %s' % (response,)
 
386
        return response[0] == 'yes'
 
387
 
 
388
    def lock_read(self):
 
389
        # wrong eventually - want a local lock cache context
 
390
        if not self._lock_mode:
 
391
            self._lock_mode = 'r'
 
392
            self._lock_count = 1
 
393
            if self._real_repository is not None:
 
394
                self._real_repository.lock_read()
 
395
        else:
 
396
            self._lock_count += 1
 
397
 
 
398
    def _remote_lock_write(self, token):
 
399
        path = self.bzrdir._path_for_remote_call(self._client)
 
400
        if token is None:
 
401
            token = ''
 
402
        response = self._client.call('Repository.lock_write', path, token)
 
403
        if response[0] == 'ok':
 
404
            ok, token = response
 
405
            return token
 
406
        elif response[0] == 'LockContention':
 
407
            raise errors.LockContention('(remote lock)')
 
408
        elif response[0] == 'UnlockableTransport':
 
409
            raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
410
        else:
 
411
            raise errors.UnexpectedSmartServerResponse(response)
 
412
 
 
413
    def lock_write(self, token=None):
 
414
        if not self._lock_mode:
 
415
            self._lock_token = self._remote_lock_write(token)
 
416
            assert self._lock_token, 'Remote server did not return a token!'
 
417
            if self._real_repository is not None:
 
418
                self._real_repository.lock_write(token=self._lock_token)
 
419
            if token is not None:
 
420
                self._leave_lock = True
 
421
            else:
 
422
                self._leave_lock = False
 
423
            self._lock_mode = 'w'
 
424
            self._lock_count = 1
 
425
        elif self._lock_mode == 'r':
 
426
            raise errors.ReadOnlyError(self)
 
427
        else:
 
428
            self._lock_count += 1
 
429
        return self._lock_token
 
430
 
 
431
    def leave_lock_in_place(self):
 
432
        self._leave_lock = True
 
433
 
 
434
    def dont_leave_lock_in_place(self):
 
435
        self._leave_lock = False
 
436
 
 
437
    def _set_real_repository(self, repository):
 
438
        """Set the _real_repository for this repository.
 
439
 
 
440
        :param repository: The repository to fallback to for non-hpss
 
441
            implemented operations.
 
442
        """
 
443
        assert not isinstance(repository, RemoteRepository)
 
444
        self._real_repository = repository
 
445
        if self._lock_mode == 'w':
 
446
            # if we are already locked, the real repository must be able to
 
447
            # acquire the lock with our token.
 
448
            self._real_repository.lock_write(self._lock_token)
 
449
        elif self._lock_mode == 'r':
 
450
            self._real_repository.lock_read()
 
451
 
 
452
    def start_write_group(self):
 
453
        """Start a write group on the decorated repository.
 
454
        
 
455
        Smart methods peform operations in a single step so this api
 
456
        is not really applicable except as a compatibility thunk
 
457
        for older plugins that don't use e.g. the CommitBuilder
 
458
        facility.
 
459
        """
 
460
        self._ensure_real()
 
461
        return self._real_repository.start_write_group()
 
462
 
 
463
    def _unlock(self, token):
 
464
        path = self.bzrdir._path_for_remote_call(self._client)
 
465
        response = self._client.call('Repository.unlock', path, token)
 
466
        if response == ('ok',):
 
467
            return
 
468
        elif response[0] == 'TokenMismatch':
 
469
            raise errors.TokenMismatch(token, '(remote token)')
 
470
        else:
 
471
            raise errors.UnexpectedSmartServerResponse(response)
 
472
 
 
473
    def unlock(self):
 
474
        if self._lock_count == 1 and self._lock_mode == 'w':
 
475
            # don't unlock if inside a write group.
 
476
            if self.is_in_write_group():
 
477
                raise errors.BzrError(
 
478
                    'Must end write groups before releasing write locks.')
 
479
        self._lock_count -= 1
 
480
        if not self._lock_count:
 
481
            mode = self._lock_mode
 
482
            self._lock_mode = None
 
483
            if self._real_repository is not None:
 
484
                self._real_repository.unlock()
 
485
            if mode != 'w':
 
486
                # Only write-locked repositories need to make a remote method
 
487
                # call to perfom the unlock.
 
488
                return
 
489
            assert self._lock_token, 'Locked, but no token!'
 
490
            token = self._lock_token
 
491
            self._lock_token = None
 
492
            if not self._leave_lock:
 
493
                self._unlock(token)
 
494
 
 
495
    def break_lock(self):
 
496
        # should hand off to the network
 
497
        self._ensure_real()
 
498
        return self._real_repository.break_lock()
 
499
 
 
500
    def _get_tarball(self, compression):
 
501
        """Return a TemporaryFile containing a repository tarball"""
 
502
        import tempfile
 
503
        path = self.bzrdir._path_for_remote_call(self._client)
 
504
        response, protocol = self._client.call_expecting_body(
 
505
            'Repository.tarball', path, compression)
 
506
        assert response[0] in ('ok', 'failure'), \
 
507
            'unexpected response code %s' % (response,)
 
508
        if response[0] == 'ok':
 
509
            # Extract the tarball and return it
 
510
            t = tempfile.NamedTemporaryFile()
 
511
            # TODO: rpc layer should read directly into it...
 
512
            t.write(protocol.read_body_bytes())
 
513
            t.seek(0)
 
514
            return t
 
515
        else:
 
516
            raise errors.SmartServerError(error_code=response)
 
517
 
 
518
    def sprout(self, to_bzrdir, revision_id=None):
 
519
        # TODO: Option to control what format is created?
 
520
        to_repo = to_bzrdir.create_repository()
 
521
        self._copy_repository_tarball(to_repo, revision_id)
 
522
        return to_repo
 
523
 
 
524
    ### These methods are just thin shims to the VFS object for now.
 
525
 
 
526
    def revision_tree(self, revision_id):
 
527
        self._ensure_real()
 
528
        return self._real_repository.revision_tree(revision_id)
 
529
 
 
530
    def get_serializer_format(self):
 
531
        self._ensure_real()
 
532
        return self._real_repository.get_serializer_format()
 
533
 
 
534
    def get_commit_builder(self, branch, parents, config, timestamp=None,
 
535
                           timezone=None, committer=None, revprops=None,
 
536
                           revision_id=None):
 
537
        # FIXME: It ought to be possible to call this without immediately
 
538
        # triggering _ensure_real.  For now it's the easiest thing to do.
 
539
        self._ensure_real()
 
540
        builder = self._real_repository.get_commit_builder(branch, parents,
 
541
                config, timestamp=timestamp, timezone=timezone,
 
542
                committer=committer, revprops=revprops, revision_id=revision_id)
 
543
        # Make the builder use this RemoteRepository rather than the real one.
 
544
        builder.repository = self
 
545
        return builder
 
546
 
 
547
    @needs_write_lock
 
548
    def add_inventory(self, revid, inv, parents):
 
549
        self._ensure_real()
 
550
        return self._real_repository.add_inventory(revid, inv, parents)
 
551
 
 
552
    @needs_write_lock
 
553
    def add_revision(self, rev_id, rev, inv=None, config=None):
 
554
        self._ensure_real()
 
555
        return self._real_repository.add_revision(
 
556
            rev_id, rev, inv=inv, config=config)
 
557
 
 
558
    @needs_read_lock
 
559
    def get_inventory(self, revision_id):
 
560
        self._ensure_real()
 
561
        return self._real_repository.get_inventory(revision_id)
 
562
 
 
563
    @needs_read_lock
 
564
    def get_revision(self, revision_id):
 
565
        self._ensure_real()
 
566
        return self._real_repository.get_revision(revision_id)
 
567
 
 
568
    @property
 
569
    def weave_store(self):
 
570
        self._ensure_real()
 
571
        return self._real_repository.weave_store
 
572
 
 
573
    def get_transaction(self):
 
574
        self._ensure_real()
 
575
        return self._real_repository.get_transaction()
 
576
 
 
577
    @needs_read_lock
 
578
    def clone(self, a_bzrdir, revision_id=None):
 
579
        self._ensure_real()
 
580
        return self._real_repository.clone(a_bzrdir, revision_id=revision_id)
 
581
 
 
582
    def make_working_trees(self):
 
583
        """RemoteRepositories never create working trees by default."""
 
584
        return False
 
585
 
 
586
    def fetch(self, source, revision_id=None, pb=None):
 
587
        self._ensure_real()
 
588
        return self._real_repository.fetch(
 
589
            source, revision_id=revision_id, pb=pb)
 
590
 
 
591
    def create_bundle(self, target, base, fileobj, format=None):
 
592
        self._ensure_real()
 
593
        self._real_repository.create_bundle(target, base, fileobj, format)
 
594
 
 
595
    @property
 
596
    def control_weaves(self):
 
597
        self._ensure_real()
 
598
        return self._real_repository.control_weaves
 
599
 
 
600
    @needs_read_lock
 
601
    def get_ancestry(self, revision_id, topo_sorted=True):
 
602
        self._ensure_real()
 
603
        return self._real_repository.get_ancestry(revision_id, topo_sorted)
 
604
 
 
605
    @needs_read_lock
 
606
    def get_inventory_weave(self):
 
607
        self._ensure_real()
 
608
        return self._real_repository.get_inventory_weave()
 
609
 
 
610
    def fileids_altered_by_revision_ids(self, revision_ids):
 
611
        self._ensure_real()
 
612
        return self._real_repository.fileids_altered_by_revision_ids(revision_ids)
 
613
 
 
614
    @needs_read_lock
 
615
    def get_signature_text(self, revision_id):
 
616
        self._ensure_real()
 
617
        return self._real_repository.get_signature_text(revision_id)
 
618
 
 
619
    @needs_read_lock
 
620
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
621
        self._ensure_real()
 
622
        return self._real_repository.get_revision_graph_with_ghosts(
 
623
            revision_ids=revision_ids)
 
624
 
 
625
    @needs_read_lock
 
626
    def get_inventory_xml(self, revision_id):
 
627
        self._ensure_real()
 
628
        return self._real_repository.get_inventory_xml(revision_id)
 
629
 
 
630
    def deserialise_inventory(self, revision_id, xml):
 
631
        self._ensure_real()
 
632
        return self._real_repository.deserialise_inventory(revision_id, xml)
 
633
 
 
634
    def reconcile(self, other=None, thorough=False):
 
635
        self._ensure_real()
 
636
        return self._real_repository.reconcile(other=other, thorough=thorough)
 
637
        
 
638
    def all_revision_ids(self):
 
639
        self._ensure_real()
 
640
        return self._real_repository.all_revision_ids()
 
641
    
 
642
    @needs_read_lock
 
643
    def get_deltas_for_revisions(self, revisions):
 
644
        self._ensure_real()
 
645
        return self._real_repository.get_deltas_for_revisions(revisions)
 
646
 
 
647
    @needs_read_lock
 
648
    def get_revision_delta(self, revision_id):
 
649
        self._ensure_real()
 
650
        return self._real_repository.get_revision_delta(revision_id)
 
651
 
 
652
    @needs_read_lock
 
653
    def revision_trees(self, revision_ids):
 
654
        self._ensure_real()
 
655
        return self._real_repository.revision_trees(revision_ids)
 
656
 
 
657
    @needs_read_lock
 
658
    def get_revision_reconcile(self, revision_id):
 
659
        self._ensure_real()
 
660
        return self._real_repository.get_revision_reconcile(revision_id)
 
661
 
 
662
    @needs_read_lock
 
663
    def check(self, revision_ids):
 
664
        self._ensure_real()
 
665
        return self._real_repository.check(revision_ids)
 
666
 
 
667
    def copy_content_into(self, destination, revision_id=None):
 
668
        self._ensure_real()
 
669
        return self._real_repository.copy_content_into(
 
670
            destination, revision_id=revision_id)
 
671
 
 
672
    def _copy_repository_tarball(self, destination, revision_id=None):
 
673
        # get a tarball of the remote repository, and copy from that into the
 
674
        # destination
 
675
        from bzrlib import osutils
 
676
        import tarfile
 
677
        import tempfile
 
678
        from StringIO import StringIO
 
679
        # TODO: Maybe a progress bar while streaming the tarball?
 
680
        note("Copying repository content as tarball...")
 
681
        tar_file = self._get_tarball('bz2')
 
682
        try:
 
683
            tar = tarfile.open('repository', fileobj=tar_file,
 
684
                mode='r|bz2')
 
685
            tmpdir = tempfile.mkdtemp()
 
686
            try:
 
687
                _extract_tar(tar, tmpdir)
 
688
                tmp_bzrdir = BzrDir.open(tmpdir)
 
689
                tmp_repo = tmp_bzrdir.open_repository()
 
690
                tmp_repo.copy_content_into(destination, revision_id)
 
691
            finally:
 
692
                osutils.rmtree(tmpdir)
 
693
        finally:
 
694
            tar_file.close()
 
695
        # TODO: if the server doesn't support this operation, maybe do it the
 
696
        # slow way using the _real_repository?
 
697
        #
 
698
        # TODO: Suggestion from john: using external tar is much faster than
 
699
        # python's tarfile library, but it may not work on windows.
 
700
 
 
701
    @needs_write_lock
 
702
    def pack(self):
 
703
        """Compress the data within the repository.
 
704
 
 
705
        This is not currently implemented within the smart server.
 
706
        """
 
707
        self._ensure_real()
 
708
        return self._real_repository.pack()
 
709
 
 
710
    def set_make_working_trees(self, new_value):
 
711
        raise NotImplementedError(self.set_make_working_trees)
 
712
 
 
713
    @needs_write_lock
 
714
    def sign_revision(self, revision_id, gpg_strategy):
 
715
        self._ensure_real()
 
716
        return self._real_repository.sign_revision(revision_id, gpg_strategy)
 
717
 
 
718
    @needs_read_lock
 
719
    def get_revisions(self, revision_ids):
 
720
        self._ensure_real()
 
721
        return self._real_repository.get_revisions(revision_ids)
 
722
 
 
723
    def supports_rich_root(self):
 
724
        self._ensure_real()
 
725
        return self._real_repository.supports_rich_root()
 
726
 
 
727
    def iter_reverse_revision_history(self, revision_id):
 
728
        self._ensure_real()
 
729
        return self._real_repository.iter_reverse_revision_history(revision_id)
 
730
 
 
731
    @property
 
732
    def _serializer(self):
 
733
        self._ensure_real()
 
734
        return self._real_repository._serializer
 
735
 
 
736
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
 
737
        self._ensure_real()
 
738
        return self._real_repository.store_revision_signature(
 
739
            gpg_strategy, plaintext, revision_id)
 
740
 
 
741
    def has_signature_for_revision_id(self, revision_id):
 
742
        self._ensure_real()
 
743
        return self._real_repository.has_signature_for_revision_id(revision_id)
 
744
 
 
745
 
 
746
class RemoteBranchLockableFiles(LockableFiles):
 
747
    """A 'LockableFiles' implementation that talks to a smart server.
 
748
    
 
749
    This is not a public interface class.
 
750
    """
 
751
 
 
752
    def __init__(self, bzrdir, _client):
 
753
        self.bzrdir = bzrdir
 
754
        self._client = _client
 
755
        self._need_find_modes = True
 
756
        LockableFiles.__init__(
 
757
            self, bzrdir.get_branch_transport(None),
 
758
            'lock', lockdir.LockDir)
 
759
 
 
760
    def _find_modes(self):
 
761
        # RemoteBranches don't let the client set the mode of control files.
 
762
        self._dir_mode = None
 
763
        self._file_mode = None
 
764
 
 
765
    def get(self, path):
 
766
        """'get' a remote path as per the LockableFiles interface.
 
767
 
 
768
        :param path: the file to 'get'. If this is 'branch.conf', we do not
 
769
             just retrieve a file, instead we ask the smart server to generate
 
770
             a configuration for us - which is retrieved as an INI file.
 
771
        """
 
772
        if path == 'branch.conf':
 
773
            path = self.bzrdir._path_for_remote_call(self._client)
 
774
            response = self._client.call_expecting_body(
 
775
                'Branch.get_config_file', path)
 
776
            assert response[0][0] == 'ok', \
 
777
                'unexpected response code %s' % (response[0],)
 
778
            return StringIO(response[1].read_body_bytes())
 
779
        else:
 
780
            # VFS fallback.
 
781
            return LockableFiles.get(self, path)
 
782
 
 
783
 
 
784
class RemoteBranchFormat(branch.BranchFormat):
 
785
 
 
786
    def __eq__(self, other):
 
787
        return (isinstance(other, RemoteBranchFormat) and 
 
788
            self.__dict__ == other.__dict__)
 
789
 
 
790
    def get_format_description(self):
 
791
        return 'Remote BZR Branch'
 
792
 
 
793
    def get_format_string(self):
 
794
        return 'Remote BZR Branch'
 
795
 
 
796
    def open(self, a_bzrdir):
 
797
        assert isinstance(a_bzrdir, RemoteBzrDir)
 
798
        return a_bzrdir.open_branch()
 
799
 
 
800
    def initialize(self, a_bzrdir):
 
801
        assert isinstance(a_bzrdir, RemoteBzrDir)
 
802
        return a_bzrdir.create_branch()
 
803
 
 
804
    def supports_tags(self):
 
805
        # Remote branches might support tags, but we won't know until we
 
806
        # access the real remote branch.
 
807
        return True
 
808
 
 
809
 
 
810
class RemoteBranch(branch.Branch):
 
811
    """Branch stored on a server accessed by HPSS RPC.
 
812
 
 
813
    At the moment most operations are mapped down to simple file operations.
 
814
    """
 
815
 
 
816
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
 
817
        _client=None):
 
818
        """Create a RemoteBranch instance.
 
819
 
 
820
        :param real_branch: An optional local implementation of the branch
 
821
            format, usually accessing the data via the VFS.
 
822
        :param _client: Private parameter for testing.
 
823
        """
 
824
        # We intentionally don't call the parent class's __init__, because it
 
825
        # will try to assign to self.tags, which is a property in this subclass.
 
826
        # And the parent's __init__ doesn't do much anyway.
 
827
        self._revision_history_cache = None
 
828
        self.bzrdir = remote_bzrdir
 
829
        if _client is not None:
 
830
            self._client = _client
 
831
        else:
 
832
            self._client = client._SmartClient(self.bzrdir._shared_medium)
 
833
        self.repository = remote_repository
 
834
        if real_branch is not None:
 
835
            self._real_branch = real_branch
 
836
            # Give the remote repository the matching real repo.
 
837
            real_repo = self._real_branch.repository
 
838
            if isinstance(real_repo, RemoteRepository):
 
839
                real_repo._ensure_real()
 
840
                real_repo = real_repo._real_repository
 
841
            self.repository._set_real_repository(real_repo)
 
842
            # Give the branch the remote repository to let fast-pathing happen.
 
843
            self._real_branch.repository = self.repository
 
844
        else:
 
845
            self._real_branch = None
 
846
        # Fill out expected attributes of branch for bzrlib api users.
 
847
        self._format = RemoteBranchFormat()
 
848
        self.base = self.bzrdir.root_transport.base
 
849
        self._control_files = None
 
850
        self._lock_mode = None
 
851
        self._lock_token = None
 
852
        self._lock_count = 0
 
853
        self._leave_lock = False
 
854
 
 
855
    def __str__(self):
 
856
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
857
 
 
858
    __repr__ = __str__
 
859
 
 
860
    def _ensure_real(self):
 
861
        """Ensure that there is a _real_branch set.
 
862
 
 
863
        Used before calls to self._real_branch.
 
864
        """
 
865
        if not self._real_branch:
 
866
            assert vfs.vfs_enabled()
 
867
            self.bzrdir._ensure_real()
 
868
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
 
869
            # Give the remote repository the matching real repo.
 
870
            real_repo = self._real_branch.repository
 
871
            if isinstance(real_repo, RemoteRepository):
 
872
                real_repo._ensure_real()
 
873
                real_repo = real_repo._real_repository
 
874
            self.repository._set_real_repository(real_repo)
 
875
            # Give the branch the remote repository to let fast-pathing happen.
 
876
            self._real_branch.repository = self.repository
 
877
            # XXX: deal with _lock_mode == 'w'
 
878
            if self._lock_mode == 'r':
 
879
                self._real_branch.lock_read()
 
880
 
 
881
    @property
 
882
    def control_files(self):
 
883
        # Defer actually creating RemoteBranchLockableFiles until its needed,
 
884
        # because it triggers an _ensure_real that we otherwise might not need.
 
885
        if self._control_files is None:
 
886
            self._control_files = RemoteBranchLockableFiles(
 
887
                self.bzrdir, self._client)
 
888
        return self._control_files
 
889
 
 
890
    def _get_checkout_format(self):
 
891
        self._ensure_real()
 
892
        return self._real_branch._get_checkout_format()
 
893
 
 
894
    def get_physical_lock_status(self):
 
895
        """See Branch.get_physical_lock_status()."""
 
896
        # should be an API call to the server, as branches must be lockable.
 
897
        self._ensure_real()
 
898
        return self._real_branch.get_physical_lock_status()
 
899
 
 
900
    def lock_read(self):
 
901
        if not self._lock_mode:
 
902
            self._lock_mode = 'r'
 
903
            self._lock_count = 1
 
904
            if self._real_branch is not None:
 
905
                self._real_branch.lock_read()
 
906
        else:
 
907
            self._lock_count += 1
 
908
 
 
909
    def _remote_lock_write(self, token):
 
910
        if token is None:
 
911
            branch_token = repo_token = ''
 
912
        else:
 
913
            branch_token = token
 
914
            repo_token = self.repository.lock_write()
 
915
            self.repository.unlock()
 
916
        path = self.bzrdir._path_for_remote_call(self._client)
 
917
        response = self._client.call('Branch.lock_write', path, branch_token,
 
918
                                     repo_token)
 
919
        if response[0] == 'ok':
 
920
            ok, branch_token, repo_token = response
 
921
            return branch_token, repo_token
 
922
        elif response[0] == 'LockContention':
 
923
            raise errors.LockContention('(remote lock)')
 
924
        elif response[0] == 'TokenMismatch':
 
925
            raise errors.TokenMismatch(token, '(remote token)')
 
926
        elif response[0] == 'UnlockableTransport':
 
927
            raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
928
        elif response[0] == 'ReadOnlyError':
 
929
            raise errors.ReadOnlyError(self)
 
930
        else:
 
931
            raise errors.UnexpectedSmartServerResponse(response)
 
932
            
 
933
    def lock_write(self, token=None):
 
934
        if not self._lock_mode:
 
935
            remote_tokens = self._remote_lock_write(token)
 
936
            self._lock_token, self._repo_lock_token = remote_tokens
 
937
            assert self._lock_token, 'Remote server did not return a token!'
 
938
            # TODO: We really, really, really don't want to call _ensure_real
 
939
            # here, but it's the easiest way to ensure coherency between the
 
940
            # state of the RemoteBranch and RemoteRepository objects and the
 
941
            # physical locks.  If we don't materialise the real objects here,
 
942
            # then getting everything in the right state later is complex, so
 
943
            # for now we just do it the lazy way.
 
944
            #   -- Andrew Bennetts, 2007-02-22.
 
945
            self._ensure_real()
 
946
            if self._real_branch is not None:
 
947
                self._real_branch.repository.lock_write(
 
948
                    token=self._repo_lock_token)
 
949
                try:
 
950
                    self._real_branch.lock_write(token=self._lock_token)
 
951
                finally:
 
952
                    self._real_branch.repository.unlock()
 
953
            if token is not None:
 
954
                self._leave_lock = True
 
955
            else:
 
956
                # XXX: this case seems to be unreachable; token cannot be None.
 
957
                self._leave_lock = False
 
958
            self._lock_mode = 'w'
 
959
            self._lock_count = 1
 
960
        elif self._lock_mode == 'r':
 
961
            raise errors.ReadOnlyTransaction
 
962
        else:
 
963
            if token is not None:
 
964
                # A token was given to lock_write, and we're relocking, so check
 
965
                # that the given token actually matches the one we already have.
 
966
                if token != self._lock_token:
 
967
                    raise errors.TokenMismatch(token, self._lock_token)
 
968
            self._lock_count += 1
 
969
        return self._lock_token
 
970
 
 
971
    def _unlock(self, branch_token, repo_token):
 
972
        path = self.bzrdir._path_for_remote_call(self._client)
 
973
        response = self._client.call('Branch.unlock', path, branch_token,
 
974
                                     repo_token)
 
975
        if response == ('ok',):
 
976
            return
 
977
        elif response[0] == 'TokenMismatch':
 
978
            raise errors.TokenMismatch(
 
979
                str((branch_token, repo_token)), '(remote tokens)')
 
980
        else:
 
981
            raise errors.UnexpectedSmartServerResponse(response)
 
982
 
 
983
    def unlock(self):
 
984
        self._lock_count -= 1
 
985
        if not self._lock_count:
 
986
            self._clear_cached_state()
 
987
            mode = self._lock_mode
 
988
            self._lock_mode = None
 
989
            if self._real_branch is not None:
 
990
                if not self._leave_lock:
 
991
                    # If this RemoteBranch will remove the physical lock for the
 
992
                    # repository, make sure the _real_branch doesn't do it
 
993
                    # first.  (Because the _real_branch's repository is set to
 
994
                    # be the RemoteRepository.)
 
995
                    self._real_branch.repository.leave_lock_in_place()
 
996
                self._real_branch.unlock()
 
997
            if mode != 'w':
 
998
                # Only write-locked branched need to make a remote method call
 
999
                # to perfom the unlock.
 
1000
                return
 
1001
            assert self._lock_token, 'Locked, but no token!'
 
1002
            branch_token = self._lock_token
 
1003
            repo_token = self._repo_lock_token
 
1004
            self._lock_token = None
 
1005
            self._repo_lock_token = None
 
1006
            if not self._leave_lock:
 
1007
                self._unlock(branch_token, repo_token)
 
1008
 
 
1009
    def break_lock(self):
 
1010
        self._ensure_real()
 
1011
        return self._real_branch.break_lock()
 
1012
 
 
1013
    def leave_lock_in_place(self):
 
1014
        self._leave_lock = True
 
1015
 
 
1016
    def dont_leave_lock_in_place(self):
 
1017
        self._leave_lock = False
 
1018
 
 
1019
    def last_revision_info(self):
 
1020
        """See Branch.last_revision_info()."""
 
1021
        path = self.bzrdir._path_for_remote_call(self._client)
 
1022
        response = self._client.call('Branch.last_revision_info', path)
 
1023
        assert response[0] == 'ok', 'unexpected response code %s' % (response,)
 
1024
        revno = int(response[1])
 
1025
        last_revision = response[2]
 
1026
        return (revno, last_revision)
 
1027
 
 
1028
    def _gen_revision_history(self):
 
1029
        """See Branch._gen_revision_history()."""
 
1030
        path = self.bzrdir._path_for_remote_call(self._client)
 
1031
        response = self._client.call_expecting_body(
 
1032
            'Branch.revision_history', path)
 
1033
        assert response[0][0] == 'ok', ('unexpected response code %s'
 
1034
                                        % (response[0],))
 
1035
        result = response[1].read_body_bytes().split('\x00')
 
1036
        if result == ['']:
 
1037
            return []
 
1038
        return result
 
1039
 
 
1040
    @needs_write_lock
 
1041
    def set_revision_history(self, rev_history):
 
1042
        # Send just the tip revision of the history; the server will generate
 
1043
        # the full history from that.  If the revision doesn't exist in this
 
1044
        # branch, NoSuchRevision will be raised.
 
1045
        path = self.bzrdir._path_for_remote_call(self._client)
 
1046
        if rev_history == []:
 
1047
            rev_id = 'null:'
 
1048
        else:
 
1049
            rev_id = rev_history[-1]
 
1050
        self._clear_cached_state()
 
1051
        response = self._client.call('Branch.set_last_revision',
 
1052
            path, self._lock_token, self._repo_lock_token, rev_id)
 
1053
        if response[0] == 'NoSuchRevision':
 
1054
            raise NoSuchRevision(self, rev_id)
 
1055
        else:
 
1056
            assert response == ('ok',), (
 
1057
                'unexpected response code %r' % (response,))
 
1058
        self._cache_revision_history(rev_history)
 
1059
 
 
1060
    def get_parent(self):
 
1061
        self._ensure_real()
 
1062
        return self._real_branch.get_parent()
 
1063
        
 
1064
    def set_parent(self, url):
 
1065
        self._ensure_real()
 
1066
        return self._real_branch.set_parent(url)
 
1067
        
 
1068
    def get_config(self):
 
1069
        return RemoteBranchConfig(self)
 
1070
 
 
1071
    def sprout(self, to_bzrdir, revision_id=None):
 
1072
        # Like Branch.sprout, except that it sprouts a branch in the default
 
1073
        # format, because RemoteBranches can't be created at arbitrary URLs.
 
1074
        # XXX: if to_bzrdir is a RemoteBranch, this should perhaps do
 
1075
        # to_bzrdir.create_branch...
 
1076
        result = branch.BranchFormat.get_default_format().initialize(to_bzrdir)
 
1077
        self.copy_content_into(result, revision_id=revision_id)
 
1078
        result.set_parent(self.bzrdir.root_transport.base)
 
1079
        return result
 
1080
 
 
1081
    @needs_write_lock
 
1082
    def pull(self, source, overwrite=False, stop_revision=None,
 
1083
             **kwargs):
 
1084
        # FIXME: This asks the real branch to run the hooks, which means
 
1085
        # they're called with the wrong target branch parameter. 
 
1086
        # The test suite specifically allows this at present but it should be
 
1087
        # fixed.  It should get a _override_hook_target branch,
 
1088
        # as push does.  -- mbp 20070405
 
1089
        self._ensure_real()
 
1090
        self._real_branch.pull(
 
1091
            source, overwrite=overwrite, stop_revision=stop_revision,
 
1092
            **kwargs)
 
1093
 
 
1094
    @needs_read_lock
 
1095
    def push(self, target, overwrite=False, stop_revision=None):
 
1096
        self._ensure_real()
 
1097
        return self._real_branch.push(
 
1098
            target, overwrite=overwrite, stop_revision=stop_revision,
 
1099
            _override_hook_source_branch=self)
 
1100
 
 
1101
    def is_locked(self):
 
1102
        return self._lock_count >= 1
 
1103
 
 
1104
    def set_last_revision_info(self, revno, revision_id):
 
1105
        self._ensure_real()
 
1106
        self._clear_cached_state()
 
1107
        return self._real_branch.set_last_revision_info(revno, revision_id)
 
1108
 
 
1109
    def generate_revision_history(self, revision_id, last_rev=None,
 
1110
                                  other_branch=None):
 
1111
        self._ensure_real()
 
1112
        return self._real_branch.generate_revision_history(
 
1113
            revision_id, last_rev=last_rev, other_branch=other_branch)
 
1114
 
 
1115
    @property
 
1116
    def tags(self):
 
1117
        self._ensure_real()
 
1118
        return self._real_branch.tags
 
1119
 
 
1120
    def set_push_location(self, location):
 
1121
        self._ensure_real()
 
1122
        return self._real_branch.set_push_location(location)
 
1123
 
 
1124
    def update_revisions(self, other, stop_revision=None):
 
1125
        self._ensure_real()
 
1126
        return self._real_branch.update_revisions(
 
1127
            other, stop_revision=stop_revision)
 
1128
 
 
1129
 
 
1130
class RemoteBranchConfig(BranchConfig):
 
1131
 
 
1132
    def username(self):
 
1133
        self.branch._ensure_real()
 
1134
        return self.branch._real_branch.get_config().username()
 
1135
 
 
1136
    def _get_branch_data_config(self):
 
1137
        self.branch._ensure_real()
 
1138
        if self._branch_data_config is None:
 
1139
            self._branch_data_config = TreeConfig(self.branch._real_branch)
 
1140
        return self._branch_data_config
 
1141
 
 
1142
 
 
1143
def _extract_tar(tar, to_dir):
 
1144
    """Extract all the contents of a tarfile object.
 
1145
 
 
1146
    A replacement for extractall, which is not present in python2.4
 
1147
    """
 
1148
    for tarinfo in tar:
 
1149
        tar.extract(tarinfo, to_dir)