~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: mbp at sourcefrog
  • Date: 2005-03-24 00:44:18 UTC
  • Revision ID: mbp@sourcefrog.net-20050324004418-b4a050f656c07f5f
show space usage for various stores in the info command

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006, 2007 Canonical Ltd
2
 
#
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
#
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
#
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
# TODO: At some point, handle upgrades by just passing the whole request
18
 
# across to run on the server.
19
 
 
20
 
from cStringIO import StringIO
21
 
 
22
 
from bzrlib import (
23
 
    branch,
24
 
    errors,
25
 
    lockdir,
26
 
    repository,
27
 
)
28
 
from bzrlib.branch import Branch, BranchReferenceFormat
29
 
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
30
 
from bzrlib.config import BranchConfig, TreeConfig
31
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
32
 
from bzrlib.errors import NoSuchRevision
33
 
from bzrlib.lockable_files import LockableFiles
34
 
from bzrlib.revision import NULL_REVISION
35
 
from bzrlib.smart import client, vfs
36
 
from bzrlib.symbol_versioning import (
37
 
    deprecated_method,
38
 
    zero_ninetyone,
39
 
    )
40
 
from bzrlib.trace import note
41
 
 
42
 
# Note: RemoteBzrDirFormat is in bzrdir.py
43
 
 
44
 
class RemoteBzrDir(BzrDir):
45
 
    """Control directory on a remote server, accessed via bzr:// or similar."""
46
 
 
47
 
    def __init__(self, transport, _client=None):
48
 
        """Construct a RemoteBzrDir.
49
 
 
50
 
        :param _client: Private parameter for testing. Disables probing and the
51
 
            use of a real bzrdir.
52
 
        """
53
 
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
54
 
        # this object holds a delegated bzrdir that uses file-level operations
55
 
        # to talk to the other side
56
 
        self._real_bzrdir = None
57
 
 
58
 
        if _client is None:
59
 
            self._shared_medium = transport.get_shared_medium()
60
 
            self._client = client._SmartClient(self._shared_medium)
61
 
        else:
62
 
            self._client = _client
63
 
            self._shared_medium = None
64
 
            return
65
 
 
66
 
        path = self._path_for_remote_call(self._client)
67
 
        response = self._client.call('BzrDir.open', path)
68
 
        if response not in [('yes',), ('no',)]:
69
 
            raise errors.UnexpectedSmartServerResponse(response)
70
 
        if response == ('no',):
71
 
            raise errors.NotBranchError(path=transport.base)
72
 
 
73
 
    def _ensure_real(self):
74
 
        """Ensure that there is a _real_bzrdir set.
75
 
 
76
 
        Used before calls to self._real_bzrdir.
77
 
        """
78
 
        if not self._real_bzrdir:
79
 
            self._real_bzrdir = BzrDir.open_from_transport(
80
 
                self.root_transport, _server_formats=False)
81
 
 
82
 
    def create_repository(self, shared=False):
83
 
        self._ensure_real()
84
 
        self._real_bzrdir.create_repository(shared=shared)
85
 
        return self.open_repository()
86
 
 
87
 
    def create_branch(self):
88
 
        self._ensure_real()
89
 
        real_branch = self._real_bzrdir.create_branch()
90
 
        return RemoteBranch(self, self.find_repository(), real_branch)
91
 
 
92
 
    def create_workingtree(self, revision_id=None):
93
 
        raise errors.NotLocalUrl(self.transport.base)
94
 
 
95
 
    def find_branch_format(self):
96
 
        """Find the branch 'format' for this bzrdir.
97
 
 
98
 
        This might be a synthetic object for e.g. RemoteBranch and SVN.
99
 
        """
100
 
        b = self.open_branch()
101
 
        return b._format
102
 
 
103
 
    def get_branch_reference(self):
104
 
        """See BzrDir.get_branch_reference()."""
105
 
        path = self._path_for_remote_call(self._client)
106
 
        response = self._client.call('BzrDir.open_branch', path)
107
 
        if response[0] == 'ok':
108
 
            if response[1] == '':
109
 
                # branch at this location.
110
 
                return None
111
 
            else:
112
 
                # a branch reference, use the existing BranchReference logic.
113
 
                return response[1]
114
 
        elif response == ('nobranch',):
115
 
            raise errors.NotBranchError(path=self.root_transport.base)
116
 
        else:
117
 
            raise errors.UnexpectedSmartServerResponse(response)
118
 
 
119
 
    def open_branch(self, _unsupported=False):
120
 
        assert _unsupported == False, 'unsupported flag support not implemented yet.'
121
 
        reference_url = self.get_branch_reference()
122
 
        if reference_url is None:
123
 
            # branch at this location.
124
 
            return RemoteBranch(self, self.find_repository())
125
 
        else:
126
 
            # a branch reference, use the existing BranchReference logic.
127
 
            format = BranchReferenceFormat()
128
 
            return format.open(self, _found=True, location=reference_url)
129
 
                
130
 
    def open_repository(self):
131
 
        path = self._path_for_remote_call(self._client)
132
 
        response = self._client.call('BzrDir.find_repository', path)
133
 
        assert response[0] in ('ok', 'norepository'), \
134
 
            'unexpected response code %s' % (response,)
135
 
        if response[0] == 'norepository':
136
 
            raise errors.NoRepositoryPresent(self)
137
 
        assert len(response) == 4, 'incorrect response length %s' % (response,)
138
 
        if response[1] == '':
139
 
            format = RemoteRepositoryFormat()
140
 
            format.rich_root_data = (response[2] == 'yes')
141
 
            format.supports_tree_reference = (response[3] == 'yes')
142
 
            return RemoteRepository(self, format)
143
 
        else:
144
 
            raise errors.NoRepositoryPresent(self)
145
 
 
146
 
    def open_workingtree(self, recommend_upgrade=True):
147
 
        self._ensure_real()
148
 
        if self._real_bzrdir.has_workingtree():
149
 
            raise errors.NotLocalUrl(self.root_transport)
150
 
        else:
151
 
            raise errors.NoWorkingTree(self.root_transport.base)
152
 
 
153
 
    def _path_for_remote_call(self, client):
154
 
        """Return the path to be used for this bzrdir in a remote call."""
155
 
        return client.remote_path_from_transport(self.root_transport)
156
 
 
157
 
    def get_branch_transport(self, branch_format):
158
 
        self._ensure_real()
159
 
        return self._real_bzrdir.get_branch_transport(branch_format)
160
 
 
161
 
    def get_repository_transport(self, repository_format):
162
 
        self._ensure_real()
163
 
        return self._real_bzrdir.get_repository_transport(repository_format)
164
 
 
165
 
    def get_workingtree_transport(self, workingtree_format):
166
 
        self._ensure_real()
167
 
        return self._real_bzrdir.get_workingtree_transport(workingtree_format)
168
 
 
169
 
    def can_convert_format(self):
170
 
        """Upgrading of remote bzrdirs is not supported yet."""
171
 
        return False
172
 
 
173
 
    def needs_format_conversion(self, format=None):
174
 
        """Upgrading of remote bzrdirs is not supported yet."""
175
 
        return False
176
 
 
177
 
    def clone(self, url, revision_id=None, force_new_repo=False):
178
 
        self._ensure_real()
179
 
        return self._real_bzrdir.clone(url, revision_id=revision_id,
180
 
            force_new_repo=force_new_repo)
181
 
 
182
 
 
183
 
class RemoteRepositoryFormat(repository.RepositoryFormat):
184
 
    """Format for repositories accessed over a _SmartClient.
185
 
 
186
 
    Instances of this repository are represented by RemoteRepository
187
 
    instances.
188
 
 
189
 
    The RemoteRepositoryFormat is parameterised during construction
190
 
    to reflect the capabilities of the real, remote format. Specifically
191
 
    the attributes rich_root_data and supports_tree_reference are set
192
 
    on a per instance basis, and are not set (and should not be) at
193
 
    the class level.
194
 
    """
195
 
 
196
 
    _matchingbzrdir = RemoteBzrDirFormat
197
 
 
198
 
    def initialize(self, a_bzrdir, shared=False):
199
 
        assert isinstance(a_bzrdir, RemoteBzrDir), \
200
 
            '%r is not a RemoteBzrDir' % (a_bzrdir,)
201
 
        return a_bzrdir.create_repository(shared=shared)
202
 
    
203
 
    def open(self, a_bzrdir):
204
 
        assert isinstance(a_bzrdir, RemoteBzrDir)
205
 
        return a_bzrdir.open_repository()
206
 
 
207
 
    def get_format_description(self):
208
 
        return 'bzr remote repository'
209
 
 
210
 
    def __eq__(self, other):
211
 
        return self.__class__ == other.__class__
212
 
 
213
 
    def check_conversion_target(self, target_format):
214
 
        if self.rich_root_data and not target_format.rich_root_data:
215
 
            raise errors.BadConversionTarget(
216
 
                'Does not support rich root data.', target_format)
217
 
        if (self.supports_tree_reference and
218
 
            not getattr(target_format, 'supports_tree_reference', False)):
219
 
            raise errors.BadConversionTarget(
220
 
                'Does not support nested trees', target_format)
221
 
 
222
 
 
223
 
class RemoteRepository(object):
224
 
    """Repository accessed over rpc.
225
 
 
226
 
    For the moment most operations are performed using local transport-backed
227
 
    Repository objects.
228
 
    """
229
 
 
230
 
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
231
 
        """Create a RemoteRepository instance.
232
 
        
233
 
        :param remote_bzrdir: The bzrdir hosting this repository.
234
 
        :param format: The RemoteFormat object to use.
235
 
        :param real_repository: If not None, a local implementation of the
236
 
            repository logic for the repository, usually accessing the data
237
 
            via the VFS.
238
 
        :param _client: Private testing parameter - override the smart client
239
 
            to be used by the repository.
240
 
        """
241
 
        if real_repository:
242
 
            self._real_repository = real_repository
243
 
        else:
244
 
            self._real_repository = None
245
 
        self.bzrdir = remote_bzrdir
246
 
        if _client is None:
247
 
            self._client = client._SmartClient(self.bzrdir._shared_medium)
248
 
        else:
249
 
            self._client = _client
250
 
        self._format = format
251
 
        self._lock_mode = None
252
 
        self._lock_token = None
253
 
        self._lock_count = 0
254
 
        self._leave_lock = False
255
 
 
256
 
    def abort_write_group(self):
257
 
        """Complete a write group on the decorated repository.
258
 
        
259
 
        Smart methods peform operations in a single step so this api
260
 
        is not really applicable except as a compatibility thunk
261
 
        for older plugins that don't use e.g. the CommitBuilder
262
 
        facility.
263
 
        """
264
 
        self._ensure_real()
265
 
        return self._real_repository.abort_write_group()
266
 
 
267
 
    def commit_write_group(self):
268
 
        """Complete a write group on the decorated repository.
269
 
        
270
 
        Smart methods peform operations in a single step so this api
271
 
        is not really applicable except as a compatibility thunk
272
 
        for older plugins that don't use e.g. the CommitBuilder
273
 
        facility.
274
 
        """
275
 
        self._ensure_real()
276
 
        return self._real_repository.commit_write_group()
277
 
 
278
 
    def _ensure_real(self):
279
 
        """Ensure that there is a _real_repository set.
280
 
 
281
 
        Used before calls to self._real_repository.
282
 
        """
283
 
        if not self._real_repository:
284
 
            self.bzrdir._ensure_real()
285
 
            #self._real_repository = self.bzrdir._real_bzrdir.open_repository()
286
 
            self._set_real_repository(self.bzrdir._real_bzrdir.open_repository())
287
 
 
288
 
    def get_revision_graph(self, revision_id=None):
289
 
        """See Repository.get_revision_graph()."""
290
 
        if revision_id is None:
291
 
            revision_id = ''
292
 
        elif revision_id == NULL_REVISION:
293
 
            return {}
294
 
 
295
 
        path = self.bzrdir._path_for_remote_call(self._client)
296
 
        assert type(revision_id) is str
297
 
        response = self._client.call_expecting_body(
298
 
            'Repository.get_revision_graph', path, revision_id)
299
 
        if response[0][0] not in ['ok', 'nosuchrevision']:
300
 
            raise errors.UnexpectedSmartServerResponse(response[0])
301
 
        if response[0][0] == 'ok':
302
 
            coded = response[1].read_body_bytes()
303
 
            if coded == '':
304
 
                # no revisions in this repository!
305
 
                return {}
306
 
            lines = coded.split('\n')
307
 
            revision_graph = {}
308
 
            for line in lines:
309
 
                d = tuple(line.split())
310
 
                revision_graph[d[0]] = d[1:]
311
 
                
312
 
            return revision_graph
313
 
        else:
314
 
            response_body = response[1].read_body_bytes()
315
 
            assert response_body == ''
316
 
            raise NoSuchRevision(self, revision_id)
317
 
 
318
 
    def has_revision(self, revision_id):
319
 
        """See Repository.has_revision()."""
320
 
        if revision_id is None:
321
 
            # The null revision is always present.
322
 
            return True
323
 
        path = self.bzrdir._path_for_remote_call(self._client)
324
 
        response = self._client.call('Repository.has_revision', path, revision_id)
325
 
        assert response[0] in ('yes', 'no'), 'unexpected response code %s' % (response,)
326
 
        return response[0] == 'yes'
327
 
 
328
 
    def has_same_location(self, other):
329
 
        return (self.__class__ == other.__class__ and
330
 
                self.bzrdir.transport.base == other.bzrdir.transport.base)
331
 
        
332
 
    def get_graph(self, other_repository=None):
333
 
        """Return the graph for this repository format"""
334
 
        return self._real_repository.get_graph(other_repository)
335
 
 
336
 
    def gather_stats(self, revid=None, committers=None):
337
 
        """See Repository.gather_stats()."""
338
 
        path = self.bzrdir._path_for_remote_call(self._client)
339
 
        if revid in (None, NULL_REVISION):
340
 
            fmt_revid = ''
341
 
        else:
342
 
            fmt_revid = revid
343
 
        if committers is None or not committers:
344
 
            fmt_committers = 'no'
345
 
        else:
346
 
            fmt_committers = 'yes'
347
 
        response = self._client.call_expecting_body(
348
 
            'Repository.gather_stats', path, fmt_revid, fmt_committers)
349
 
        assert response[0][0] == 'ok', \
350
 
            'unexpected response code %s' % (response[0],)
351
 
 
352
 
        body = response[1].read_body_bytes()
353
 
        result = {}
354
 
        for line in body.split('\n'):
355
 
            if not line:
356
 
                continue
357
 
            key, val_text = line.split(':')
358
 
            if key in ('revisions', 'size', 'committers'):
359
 
                result[key] = int(val_text)
360
 
            elif key in ('firstrev', 'latestrev'):
361
 
                values = val_text.split(' ')[1:]
362
 
                result[key] = (float(values[0]), long(values[1]))
363
 
 
364
 
        return result
365
 
 
366
 
    def get_physical_lock_status(self):
367
 
        """See Repository.get_physical_lock_status()."""
368
 
        return False
369
 
 
370
 
    def is_in_write_group(self):
371
 
        """Return True if there is an open write group.
372
 
 
373
 
        write groups are only applicable locally for the smart server..
374
 
        """
375
 
        if self._real_repository:
376
 
            return self._real_repository.is_in_write_group()
377
 
 
378
 
    def is_locked(self):
379
 
        return self._lock_count >= 1
380
 
 
381
 
    def is_shared(self):
382
 
        """See Repository.is_shared()."""
383
 
        path = self.bzrdir._path_for_remote_call(self._client)
384
 
        response = self._client.call('Repository.is_shared', path)
385
 
        assert response[0] in ('yes', 'no'), 'unexpected response code %s' % (response,)
386
 
        return response[0] == 'yes'
387
 
 
388
 
    def lock_read(self):
389
 
        # wrong eventually - want a local lock cache context
390
 
        if not self._lock_mode:
391
 
            self._lock_mode = 'r'
392
 
            self._lock_count = 1
393
 
            if self._real_repository is not None:
394
 
                self._real_repository.lock_read()
395
 
        else:
396
 
            self._lock_count += 1
397
 
 
398
 
    def _remote_lock_write(self, token):
399
 
        path = self.bzrdir._path_for_remote_call(self._client)
400
 
        if token is None:
401
 
            token = ''
402
 
        response = self._client.call('Repository.lock_write', path, token)
403
 
        if response[0] == 'ok':
404
 
            ok, token = response
405
 
            return token
406
 
        elif response[0] == 'LockContention':
407
 
            raise errors.LockContention('(remote lock)')
408
 
        elif response[0] == 'UnlockableTransport':
409
 
            raise errors.UnlockableTransport(self.bzrdir.root_transport)
410
 
        else:
411
 
            raise errors.UnexpectedSmartServerResponse(response)
412
 
 
413
 
    def lock_write(self, token=None):
414
 
        if not self._lock_mode:
415
 
            self._lock_token = self._remote_lock_write(token)
416
 
            assert self._lock_token, 'Remote server did not return a token!'
417
 
            if self._real_repository is not None:
418
 
                self._real_repository.lock_write(token=self._lock_token)
419
 
            if token is not None:
420
 
                self._leave_lock = True
421
 
            else:
422
 
                self._leave_lock = False
423
 
            self._lock_mode = 'w'
424
 
            self._lock_count = 1
425
 
        elif self._lock_mode == 'r':
426
 
            raise errors.ReadOnlyError(self)
427
 
        else:
428
 
            self._lock_count += 1
429
 
        return self._lock_token
430
 
 
431
 
    def leave_lock_in_place(self):
432
 
        self._leave_lock = True
433
 
 
434
 
    def dont_leave_lock_in_place(self):
435
 
        self._leave_lock = False
436
 
 
437
 
    def _set_real_repository(self, repository):
438
 
        """Set the _real_repository for this repository.
439
 
 
440
 
        :param repository: The repository to fallback to for non-hpss
441
 
            implemented operations.
442
 
        """
443
 
        assert not isinstance(repository, RemoteRepository)
444
 
        self._real_repository = repository
445
 
        if self._lock_mode == 'w':
446
 
            # if we are already locked, the real repository must be able to
447
 
            # acquire the lock with our token.
448
 
            self._real_repository.lock_write(self._lock_token)
449
 
        elif self._lock_mode == 'r':
450
 
            self._real_repository.lock_read()
451
 
 
452
 
    def start_write_group(self):
453
 
        """Start a write group on the decorated repository.
454
 
        
455
 
        Smart methods peform operations in a single step so this api
456
 
        is not really applicable except as a compatibility thunk
457
 
        for older plugins that don't use e.g. the CommitBuilder
458
 
        facility.
459
 
        """
460
 
        self._ensure_real()
461
 
        return self._real_repository.start_write_group()
462
 
 
463
 
    def _unlock(self, token):
464
 
        path = self.bzrdir._path_for_remote_call(self._client)
465
 
        response = self._client.call('Repository.unlock', path, token)
466
 
        if response == ('ok',):
467
 
            return
468
 
        elif response[0] == 'TokenMismatch':
469
 
            raise errors.TokenMismatch(token, '(remote token)')
470
 
        else:
471
 
            raise errors.UnexpectedSmartServerResponse(response)
472
 
 
473
 
    def unlock(self):
474
 
        if self._lock_count == 1 and self._lock_mode == 'w':
475
 
            # don't unlock if inside a write group.
476
 
            if self.is_in_write_group():
477
 
                raise errors.BzrError(
478
 
                    'Must end write groups before releasing write locks.')
479
 
        self._lock_count -= 1
480
 
        if not self._lock_count:
481
 
            mode = self._lock_mode
482
 
            self._lock_mode = None
483
 
            if self._real_repository is not None:
484
 
                self._real_repository.unlock()
485
 
            if mode != 'w':
486
 
                # Only write-locked repositories need to make a remote method
487
 
                # call to perfom the unlock.
488
 
                return
489
 
            assert self._lock_token, 'Locked, but no token!'
490
 
            token = self._lock_token
491
 
            self._lock_token = None
492
 
            if not self._leave_lock:
493
 
                self._unlock(token)
494
 
 
495
 
    def break_lock(self):
496
 
        # should hand off to the network
497
 
        self._ensure_real()
498
 
        return self._real_repository.break_lock()
499
 
 
500
 
    def _get_tarball(self, compression):
501
 
        """Return a TemporaryFile containing a repository tarball"""
502
 
        import tempfile
503
 
        path = self.bzrdir._path_for_remote_call(self._client)
504
 
        response, protocol = self._client.call_expecting_body(
505
 
            'Repository.tarball', path, compression)
506
 
        assert response[0] in ('ok', 'failure'), \
507
 
            'unexpected response code %s' % (response,)
508
 
        if response[0] == 'ok':
509
 
            # Extract the tarball and return it
510
 
            t = tempfile.NamedTemporaryFile()
511
 
            # TODO: rpc layer should read directly into it...
512
 
            t.write(protocol.read_body_bytes())
513
 
            t.seek(0)
514
 
            return t
515
 
        else:
516
 
            raise errors.SmartServerError(error_code=response)
517
 
 
518
 
    def sprout(self, to_bzrdir, revision_id=None):
519
 
        # TODO: Option to control what format is created?
520
 
        to_repo = to_bzrdir.create_repository()
521
 
        self._copy_repository_tarball(to_repo, revision_id)
522
 
        return to_repo
523
 
 
524
 
    ### These methods are just thin shims to the VFS object for now.
525
 
 
526
 
    def revision_tree(self, revision_id):
527
 
        self._ensure_real()
528
 
        return self._real_repository.revision_tree(revision_id)
529
 
 
530
 
    def get_serializer_format(self):
531
 
        self._ensure_real()
532
 
        return self._real_repository.get_serializer_format()
533
 
 
534
 
    def get_commit_builder(self, branch, parents, config, timestamp=None,
535
 
                           timezone=None, committer=None, revprops=None,
536
 
                           revision_id=None):
537
 
        # FIXME: It ought to be possible to call this without immediately
538
 
        # triggering _ensure_real.  For now it's the easiest thing to do.
539
 
        self._ensure_real()
540
 
        builder = self._real_repository.get_commit_builder(branch, parents,
541
 
                config, timestamp=timestamp, timezone=timezone,
542
 
                committer=committer, revprops=revprops, revision_id=revision_id)
543
 
        # Make the builder use this RemoteRepository rather than the real one.
544
 
        builder.repository = self
545
 
        return builder
546
 
 
547
 
    @needs_write_lock
548
 
    def add_inventory(self, revid, inv, parents):
549
 
        self._ensure_real()
550
 
        return self._real_repository.add_inventory(revid, inv, parents)
551
 
 
552
 
    @needs_write_lock
553
 
    def add_revision(self, rev_id, rev, inv=None, config=None):
554
 
        self._ensure_real()
555
 
        return self._real_repository.add_revision(
556
 
            rev_id, rev, inv=inv, config=config)
557
 
 
558
 
    @needs_read_lock
559
 
    def get_inventory(self, revision_id):
560
 
        self._ensure_real()
561
 
        return self._real_repository.get_inventory(revision_id)
562
 
 
563
 
    @needs_read_lock
564
 
    def get_revision(self, revision_id):
565
 
        self._ensure_real()
566
 
        return self._real_repository.get_revision(revision_id)
567
 
 
568
 
    @property
569
 
    def weave_store(self):
570
 
        self._ensure_real()
571
 
        return self._real_repository.weave_store
572
 
 
573
 
    def get_transaction(self):
574
 
        self._ensure_real()
575
 
        return self._real_repository.get_transaction()
576
 
 
577
 
    @needs_read_lock
578
 
    def clone(self, a_bzrdir, revision_id=None):
579
 
        self._ensure_real()
580
 
        return self._real_repository.clone(a_bzrdir, revision_id=revision_id)
581
 
 
582
 
    def make_working_trees(self):
583
 
        """RemoteRepositories never create working trees by default."""
584
 
        return False
585
 
 
586
 
    def fetch(self, source, revision_id=None, pb=None):
587
 
        self._ensure_real()
588
 
        return self._real_repository.fetch(
589
 
            source, revision_id=revision_id, pb=pb)
590
 
 
591
 
    def create_bundle(self, target, base, fileobj, format=None):
592
 
        self._ensure_real()
593
 
        self._real_repository.create_bundle(target, base, fileobj, format)
594
 
 
595
 
    @property
596
 
    def control_weaves(self):
597
 
        self._ensure_real()
598
 
        return self._real_repository.control_weaves
599
 
 
600
 
    @needs_read_lock
601
 
    def get_ancestry(self, revision_id, topo_sorted=True):
602
 
        self._ensure_real()
603
 
        return self._real_repository.get_ancestry(revision_id, topo_sorted)
604
 
 
605
 
    @needs_read_lock
606
 
    def get_inventory_weave(self):
607
 
        self._ensure_real()
608
 
        return self._real_repository.get_inventory_weave()
609
 
 
610
 
    def fileids_altered_by_revision_ids(self, revision_ids):
611
 
        self._ensure_real()
612
 
        return self._real_repository.fileids_altered_by_revision_ids(revision_ids)
613
 
 
614
 
    @needs_read_lock
615
 
    def get_signature_text(self, revision_id):
616
 
        self._ensure_real()
617
 
        return self._real_repository.get_signature_text(revision_id)
618
 
 
619
 
    @needs_read_lock
620
 
    def get_revision_graph_with_ghosts(self, revision_ids=None):
621
 
        self._ensure_real()
622
 
        return self._real_repository.get_revision_graph_with_ghosts(
623
 
            revision_ids=revision_ids)
624
 
 
625
 
    @needs_read_lock
626
 
    def get_inventory_xml(self, revision_id):
627
 
        self._ensure_real()
628
 
        return self._real_repository.get_inventory_xml(revision_id)
629
 
 
630
 
    def deserialise_inventory(self, revision_id, xml):
631
 
        self._ensure_real()
632
 
        return self._real_repository.deserialise_inventory(revision_id, xml)
633
 
 
634
 
    def reconcile(self, other=None, thorough=False):
635
 
        self._ensure_real()
636
 
        return self._real_repository.reconcile(other=other, thorough=thorough)
637
 
        
638
 
    def all_revision_ids(self):
639
 
        self._ensure_real()
640
 
        return self._real_repository.all_revision_ids()
641
 
    
642
 
    @needs_read_lock
643
 
    def get_deltas_for_revisions(self, revisions):
644
 
        self._ensure_real()
645
 
        return self._real_repository.get_deltas_for_revisions(revisions)
646
 
 
647
 
    @needs_read_lock
648
 
    def get_revision_delta(self, revision_id):
649
 
        self._ensure_real()
650
 
        return self._real_repository.get_revision_delta(revision_id)
651
 
 
652
 
    @needs_read_lock
653
 
    def revision_trees(self, revision_ids):
654
 
        self._ensure_real()
655
 
        return self._real_repository.revision_trees(revision_ids)
656
 
 
657
 
    @needs_read_lock
658
 
    def get_revision_reconcile(self, revision_id):
659
 
        self._ensure_real()
660
 
        return self._real_repository.get_revision_reconcile(revision_id)
661
 
 
662
 
    @needs_read_lock
663
 
    def check(self, revision_ids):
664
 
        self._ensure_real()
665
 
        return self._real_repository.check(revision_ids)
666
 
 
667
 
    def copy_content_into(self, destination, revision_id=None):
668
 
        self._ensure_real()
669
 
        return self._real_repository.copy_content_into(
670
 
            destination, revision_id=revision_id)
671
 
 
672
 
    def _copy_repository_tarball(self, destination, revision_id=None):
673
 
        # get a tarball of the remote repository, and copy from that into the
674
 
        # destination
675
 
        from bzrlib import osutils
676
 
        import tarfile
677
 
        import tempfile
678
 
        from StringIO import StringIO
679
 
        # TODO: Maybe a progress bar while streaming the tarball?
680
 
        note("Copying repository content as tarball...")
681
 
        tar_file = self._get_tarball('bz2')
682
 
        try:
683
 
            tar = tarfile.open('repository', fileobj=tar_file,
684
 
                mode='r|bz2')
685
 
            tmpdir = tempfile.mkdtemp()
686
 
            try:
687
 
                _extract_tar(tar, tmpdir)
688
 
                tmp_bzrdir = BzrDir.open(tmpdir)
689
 
                tmp_repo = tmp_bzrdir.open_repository()
690
 
                tmp_repo.copy_content_into(destination, revision_id)
691
 
            finally:
692
 
                osutils.rmtree(tmpdir)
693
 
        finally:
694
 
            tar_file.close()
695
 
        # TODO: if the server doesn't support this operation, maybe do it the
696
 
        # slow way using the _real_repository?
697
 
        #
698
 
        # TODO: Suggestion from john: using external tar is much faster than
699
 
        # python's tarfile library, but it may not work on windows.
700
 
 
701
 
    @needs_write_lock
702
 
    def pack(self):
703
 
        """Compress the data within the repository.
704
 
 
705
 
        This is not currently implemented within the smart server.
706
 
        """
707
 
        self._ensure_real()
708
 
        return self._real_repository.pack()
709
 
 
710
 
    def set_make_working_trees(self, new_value):
711
 
        raise NotImplementedError(self.set_make_working_trees)
712
 
 
713
 
    @needs_write_lock
714
 
    def sign_revision(self, revision_id, gpg_strategy):
715
 
        self._ensure_real()
716
 
        return self._real_repository.sign_revision(revision_id, gpg_strategy)
717
 
 
718
 
    @needs_read_lock
719
 
    def get_revisions(self, revision_ids):
720
 
        self._ensure_real()
721
 
        return self._real_repository.get_revisions(revision_ids)
722
 
 
723
 
    def supports_rich_root(self):
724
 
        self._ensure_real()
725
 
        return self._real_repository.supports_rich_root()
726
 
 
727
 
    def iter_reverse_revision_history(self, revision_id):
728
 
        self._ensure_real()
729
 
        return self._real_repository.iter_reverse_revision_history(revision_id)
730
 
 
731
 
    @property
732
 
    def _serializer(self):
733
 
        self._ensure_real()
734
 
        return self._real_repository._serializer
735
 
 
736
 
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
737
 
        self._ensure_real()
738
 
        return self._real_repository.store_revision_signature(
739
 
            gpg_strategy, plaintext, revision_id)
740
 
 
741
 
    def has_signature_for_revision_id(self, revision_id):
742
 
        self._ensure_real()
743
 
        return self._real_repository.has_signature_for_revision_id(revision_id)
744
 
 
745
 
 
746
 
class RemoteBranchLockableFiles(LockableFiles):
747
 
    """A 'LockableFiles' implementation that talks to a smart server.
748
 
    
749
 
    This is not a public interface class.
750
 
    """
751
 
 
752
 
    def __init__(self, bzrdir, _client):
753
 
        self.bzrdir = bzrdir
754
 
        self._client = _client
755
 
        self._need_find_modes = True
756
 
        LockableFiles.__init__(
757
 
            self, bzrdir.get_branch_transport(None),
758
 
            'lock', lockdir.LockDir)
759
 
 
760
 
    def _find_modes(self):
761
 
        # RemoteBranches don't let the client set the mode of control files.
762
 
        self._dir_mode = None
763
 
        self._file_mode = None
764
 
 
765
 
    def get(self, path):
766
 
        """'get' a remote path as per the LockableFiles interface.
767
 
 
768
 
        :param path: the file to 'get'. If this is 'branch.conf', we do not
769
 
             just retrieve a file, instead we ask the smart server to generate
770
 
             a configuration for us - which is retrieved as an INI file.
771
 
        """
772
 
        if path == 'branch.conf':
773
 
            path = self.bzrdir._path_for_remote_call(self._client)
774
 
            response = self._client.call_expecting_body(
775
 
                'Branch.get_config_file', path)
776
 
            assert response[0][0] == 'ok', \
777
 
                'unexpected response code %s' % (response[0],)
778
 
            return StringIO(response[1].read_body_bytes())
779
 
        else:
780
 
            # VFS fallback.
781
 
            return LockableFiles.get(self, path)
782
 
 
783
 
 
784
 
class RemoteBranchFormat(branch.BranchFormat):
785
 
 
786
 
    def __eq__(self, other):
787
 
        return (isinstance(other, RemoteBranchFormat) and 
788
 
            self.__dict__ == other.__dict__)
789
 
 
790
 
    def get_format_description(self):
791
 
        return 'Remote BZR Branch'
792
 
 
793
 
    def get_format_string(self):
794
 
        return 'Remote BZR Branch'
795
 
 
796
 
    def open(self, a_bzrdir):
797
 
        assert isinstance(a_bzrdir, RemoteBzrDir)
798
 
        return a_bzrdir.open_branch()
799
 
 
800
 
    def initialize(self, a_bzrdir):
801
 
        assert isinstance(a_bzrdir, RemoteBzrDir)
802
 
        return a_bzrdir.create_branch()
803
 
 
804
 
    def supports_tags(self):
805
 
        # Remote branches might support tags, but we won't know until we
806
 
        # access the real remote branch.
807
 
        return True
808
 
 
809
 
 
810
 
class RemoteBranch(branch.Branch):
811
 
    """Branch stored on a server accessed by HPSS RPC.
812
 
 
813
 
    At the moment most operations are mapped down to simple file operations.
814
 
    """
815
 
 
816
 
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
817
 
        _client=None):
818
 
        """Create a RemoteBranch instance.
819
 
 
820
 
        :param real_branch: An optional local implementation of the branch
821
 
            format, usually accessing the data via the VFS.
822
 
        :param _client: Private parameter for testing.
823
 
        """
824
 
        # We intentionally don't call the parent class's __init__, because it
825
 
        # will try to assign to self.tags, which is a property in this subclass.
826
 
        # And the parent's __init__ doesn't do much anyway.
827
 
        self._revision_history_cache = None
828
 
        self.bzrdir = remote_bzrdir
829
 
        if _client is not None:
830
 
            self._client = _client
831
 
        else:
832
 
            self._client = client._SmartClient(self.bzrdir._shared_medium)
833
 
        self.repository = remote_repository
834
 
        if real_branch is not None:
835
 
            self._real_branch = real_branch
836
 
            # Give the remote repository the matching real repo.
837
 
            real_repo = self._real_branch.repository
838
 
            if isinstance(real_repo, RemoteRepository):
839
 
                real_repo._ensure_real()
840
 
                real_repo = real_repo._real_repository
841
 
            self.repository._set_real_repository(real_repo)
842
 
            # Give the branch the remote repository to let fast-pathing happen.
843
 
            self._real_branch.repository = self.repository
844
 
        else:
845
 
            self._real_branch = None
846
 
        # Fill out expected attributes of branch for bzrlib api users.
847
 
        self._format = RemoteBranchFormat()
848
 
        self.base = self.bzrdir.root_transport.base
849
 
        self._control_files = None
850
 
        self._lock_mode = None
851
 
        self._lock_token = None
852
 
        self._lock_count = 0
853
 
        self._leave_lock = False
854
 
 
855
 
    def __str__(self):
856
 
        return "%s(%s)" % (self.__class__.__name__, self.base)
857
 
 
858
 
    __repr__ = __str__
859
 
 
860
 
    def _ensure_real(self):
861
 
        """Ensure that there is a _real_branch set.
862
 
 
863
 
        Used before calls to self._real_branch.
864
 
        """
865
 
        if not self._real_branch:
866
 
            assert vfs.vfs_enabled()
867
 
            self.bzrdir._ensure_real()
868
 
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
869
 
            # Give the remote repository the matching real repo.
870
 
            real_repo = self._real_branch.repository
871
 
            if isinstance(real_repo, RemoteRepository):
872
 
                real_repo._ensure_real()
873
 
                real_repo = real_repo._real_repository
874
 
            self.repository._set_real_repository(real_repo)
875
 
            # Give the branch the remote repository to let fast-pathing happen.
876
 
            self._real_branch.repository = self.repository
877
 
            # XXX: deal with _lock_mode == 'w'
878
 
            if self._lock_mode == 'r':
879
 
                self._real_branch.lock_read()
880
 
 
881
 
    @property
882
 
    def control_files(self):
883
 
        # Defer actually creating RemoteBranchLockableFiles until its needed,
884
 
        # because it triggers an _ensure_real that we otherwise might not need.
885
 
        if self._control_files is None:
886
 
            self._control_files = RemoteBranchLockableFiles(
887
 
                self.bzrdir, self._client)
888
 
        return self._control_files
889
 
 
890
 
    def _get_checkout_format(self):
891
 
        self._ensure_real()
892
 
        return self._real_branch._get_checkout_format()
893
 
 
894
 
    def get_physical_lock_status(self):
895
 
        """See Branch.get_physical_lock_status()."""
896
 
        # should be an API call to the server, as branches must be lockable.
897
 
        self._ensure_real()
898
 
        return self._real_branch.get_physical_lock_status()
899
 
 
900
 
    def lock_read(self):
901
 
        if not self._lock_mode:
902
 
            self._lock_mode = 'r'
903
 
            self._lock_count = 1
904
 
            if self._real_branch is not None:
905
 
                self._real_branch.lock_read()
906
 
        else:
907
 
            self._lock_count += 1
908
 
 
909
 
    def _remote_lock_write(self, token):
910
 
        if token is None:
911
 
            branch_token = repo_token = ''
912
 
        else:
913
 
            branch_token = token
914
 
            repo_token = self.repository.lock_write()
915
 
            self.repository.unlock()
916
 
        path = self.bzrdir._path_for_remote_call(self._client)
917
 
        response = self._client.call('Branch.lock_write', path, branch_token,
918
 
                                     repo_token)
919
 
        if response[0] == 'ok':
920
 
            ok, branch_token, repo_token = response
921
 
            return branch_token, repo_token
922
 
        elif response[0] == 'LockContention':
923
 
            raise errors.LockContention('(remote lock)')
924
 
        elif response[0] == 'TokenMismatch':
925
 
            raise errors.TokenMismatch(token, '(remote token)')
926
 
        elif response[0] == 'UnlockableTransport':
927
 
            raise errors.UnlockableTransport(self.bzrdir.root_transport)
928
 
        elif response[0] == 'ReadOnlyError':
929
 
            raise errors.ReadOnlyError(self)
930
 
        else:
931
 
            raise errors.UnexpectedSmartServerResponse(response)
932
 
            
933
 
    def lock_write(self, token=None):
934
 
        if not self._lock_mode:
935
 
            remote_tokens = self._remote_lock_write(token)
936
 
            self._lock_token, self._repo_lock_token = remote_tokens
937
 
            assert self._lock_token, 'Remote server did not return a token!'
938
 
            # TODO: We really, really, really don't want to call _ensure_real
939
 
            # here, but it's the easiest way to ensure coherency between the
940
 
            # state of the RemoteBranch and RemoteRepository objects and the
941
 
            # physical locks.  If we don't materialise the real objects here,
942
 
            # then getting everything in the right state later is complex, so
943
 
            # for now we just do it the lazy way.
944
 
            #   -- Andrew Bennetts, 2007-02-22.
945
 
            self._ensure_real()
946
 
            if self._real_branch is not None:
947
 
                self._real_branch.repository.lock_write(
948
 
                    token=self._repo_lock_token)
949
 
                try:
950
 
                    self._real_branch.lock_write(token=self._lock_token)
951
 
                finally:
952
 
                    self._real_branch.repository.unlock()
953
 
            if token is not None:
954
 
                self._leave_lock = True
955
 
            else:
956
 
                # XXX: this case seems to be unreachable; token cannot be None.
957
 
                self._leave_lock = False
958
 
            self._lock_mode = 'w'
959
 
            self._lock_count = 1
960
 
        elif self._lock_mode == 'r':
961
 
            raise errors.ReadOnlyTransaction
962
 
        else:
963
 
            if token is not None:
964
 
                # A token was given to lock_write, and we're relocking, so check
965
 
                # that the given token actually matches the one we already have.
966
 
                if token != self._lock_token:
967
 
                    raise errors.TokenMismatch(token, self._lock_token)
968
 
            self._lock_count += 1
969
 
        return self._lock_token
970
 
 
971
 
    def _unlock(self, branch_token, repo_token):
972
 
        path = self.bzrdir._path_for_remote_call(self._client)
973
 
        response = self._client.call('Branch.unlock', path, branch_token,
974
 
                                     repo_token)
975
 
        if response == ('ok',):
976
 
            return
977
 
        elif response[0] == 'TokenMismatch':
978
 
            raise errors.TokenMismatch(
979
 
                str((branch_token, repo_token)), '(remote tokens)')
980
 
        else:
981
 
            raise errors.UnexpectedSmartServerResponse(response)
982
 
 
983
 
    def unlock(self):
984
 
        self._lock_count -= 1
985
 
        if not self._lock_count:
986
 
            self._clear_cached_state()
987
 
            mode = self._lock_mode
988
 
            self._lock_mode = None
989
 
            if self._real_branch is not None:
990
 
                if not self._leave_lock:
991
 
                    # If this RemoteBranch will remove the physical lock for the
992
 
                    # repository, make sure the _real_branch doesn't do it
993
 
                    # first.  (Because the _real_branch's repository is set to
994
 
                    # be the RemoteRepository.)
995
 
                    self._real_branch.repository.leave_lock_in_place()
996
 
                self._real_branch.unlock()
997
 
            if mode != 'w':
998
 
                # Only write-locked branched need to make a remote method call
999
 
                # to perfom the unlock.
1000
 
                return
1001
 
            assert self._lock_token, 'Locked, but no token!'
1002
 
            branch_token = self._lock_token
1003
 
            repo_token = self._repo_lock_token
1004
 
            self._lock_token = None
1005
 
            self._repo_lock_token = None
1006
 
            if not self._leave_lock:
1007
 
                self._unlock(branch_token, repo_token)
1008
 
 
1009
 
    def break_lock(self):
1010
 
        self._ensure_real()
1011
 
        return self._real_branch.break_lock()
1012
 
 
1013
 
    def leave_lock_in_place(self):
1014
 
        self._leave_lock = True
1015
 
 
1016
 
    def dont_leave_lock_in_place(self):
1017
 
        self._leave_lock = False
1018
 
 
1019
 
    def last_revision_info(self):
1020
 
        """See Branch.last_revision_info()."""
1021
 
        path = self.bzrdir._path_for_remote_call(self._client)
1022
 
        response = self._client.call('Branch.last_revision_info', path)
1023
 
        assert response[0] == 'ok', 'unexpected response code %s' % (response,)
1024
 
        revno = int(response[1])
1025
 
        last_revision = response[2]
1026
 
        return (revno, last_revision)
1027
 
 
1028
 
    def _gen_revision_history(self):
1029
 
        """See Branch._gen_revision_history()."""
1030
 
        path = self.bzrdir._path_for_remote_call(self._client)
1031
 
        response = self._client.call_expecting_body(
1032
 
            'Branch.revision_history', path)
1033
 
        assert response[0][0] == 'ok', ('unexpected response code %s'
1034
 
                                        % (response[0],))
1035
 
        result = response[1].read_body_bytes().split('\x00')
1036
 
        if result == ['']:
1037
 
            return []
1038
 
        return result
1039
 
 
1040
 
    @needs_write_lock
1041
 
    def set_revision_history(self, rev_history):
1042
 
        # Send just the tip revision of the history; the server will generate
1043
 
        # the full history from that.  If the revision doesn't exist in this
1044
 
        # branch, NoSuchRevision will be raised.
1045
 
        path = self.bzrdir._path_for_remote_call(self._client)
1046
 
        if rev_history == []:
1047
 
            rev_id = 'null:'
1048
 
        else:
1049
 
            rev_id = rev_history[-1]
1050
 
        self._clear_cached_state()
1051
 
        response = self._client.call('Branch.set_last_revision',
1052
 
            path, self._lock_token, self._repo_lock_token, rev_id)
1053
 
        if response[0] == 'NoSuchRevision':
1054
 
            raise NoSuchRevision(self, rev_id)
1055
 
        else:
1056
 
            assert response == ('ok',), (
1057
 
                'unexpected response code %r' % (response,))
1058
 
        self._cache_revision_history(rev_history)
1059
 
 
1060
 
    def get_parent(self):
1061
 
        self._ensure_real()
1062
 
        return self._real_branch.get_parent()
1063
 
        
1064
 
    def set_parent(self, url):
1065
 
        self._ensure_real()
1066
 
        return self._real_branch.set_parent(url)
1067
 
        
1068
 
    def get_config(self):
1069
 
        return RemoteBranchConfig(self)
1070
 
 
1071
 
    def sprout(self, to_bzrdir, revision_id=None):
1072
 
        # Like Branch.sprout, except that it sprouts a branch in the default
1073
 
        # format, because RemoteBranches can't be created at arbitrary URLs.
1074
 
        # XXX: if to_bzrdir is a RemoteBranch, this should perhaps do
1075
 
        # to_bzrdir.create_branch...
1076
 
        result = branch.BranchFormat.get_default_format().initialize(to_bzrdir)
1077
 
        self.copy_content_into(result, revision_id=revision_id)
1078
 
        result.set_parent(self.bzrdir.root_transport.base)
1079
 
        return result
1080
 
 
1081
 
    @needs_write_lock
1082
 
    def pull(self, source, overwrite=False, stop_revision=None,
1083
 
             **kwargs):
1084
 
        # FIXME: This asks the real branch to run the hooks, which means
1085
 
        # they're called with the wrong target branch parameter. 
1086
 
        # The test suite specifically allows this at present but it should be
1087
 
        # fixed.  It should get a _override_hook_target branch,
1088
 
        # as push does.  -- mbp 20070405
1089
 
        self._ensure_real()
1090
 
        self._real_branch.pull(
1091
 
            source, overwrite=overwrite, stop_revision=stop_revision,
1092
 
            **kwargs)
1093
 
 
1094
 
    @needs_read_lock
1095
 
    def push(self, target, overwrite=False, stop_revision=None):
1096
 
        self._ensure_real()
1097
 
        return self._real_branch.push(
1098
 
            target, overwrite=overwrite, stop_revision=stop_revision,
1099
 
            _override_hook_source_branch=self)
1100
 
 
1101
 
    def is_locked(self):
1102
 
        return self._lock_count >= 1
1103
 
 
1104
 
    def set_last_revision_info(self, revno, revision_id):
1105
 
        self._ensure_real()
1106
 
        self._clear_cached_state()
1107
 
        return self._real_branch.set_last_revision_info(revno, revision_id)
1108
 
 
1109
 
    def generate_revision_history(self, revision_id, last_rev=None,
1110
 
                                  other_branch=None):
1111
 
        self._ensure_real()
1112
 
        return self._real_branch.generate_revision_history(
1113
 
            revision_id, last_rev=last_rev, other_branch=other_branch)
1114
 
 
1115
 
    @property
1116
 
    def tags(self):
1117
 
        self._ensure_real()
1118
 
        return self._real_branch.tags
1119
 
 
1120
 
    def set_push_location(self, location):
1121
 
        self._ensure_real()
1122
 
        return self._real_branch.set_push_location(location)
1123
 
 
1124
 
    def update_revisions(self, other, stop_revision=None):
1125
 
        self._ensure_real()
1126
 
        return self._real_branch.update_revisions(
1127
 
            other, stop_revision=stop_revision)
1128
 
 
1129
 
 
1130
 
class RemoteBranchConfig(BranchConfig):
1131
 
 
1132
 
    def username(self):
1133
 
        self.branch._ensure_real()
1134
 
        return self.branch._real_branch.get_config().username()
1135
 
 
1136
 
    def _get_branch_data_config(self):
1137
 
        self.branch._ensure_real()
1138
 
        if self._branch_data_config is None:
1139
 
            self._branch_data_config = TreeConfig(self.branch._real_branch)
1140
 
        return self._branch_data_config
1141
 
 
1142
 
 
1143
 
def _extract_tar(tar, to_dir):
1144
 
    """Extract all the contents of a tarfile object.
1145
 
 
1146
 
    A replacement for extractall, which is not present in python2.4
1147
 
    """
1148
 
    for tarinfo in tar:
1149
 
        tar.extract(tarinfo, to_dir)