~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2008-06-20 01:09:18 UTC
  • mfrom: (3505.1.1 ianc-integration)
  • Revision ID: pqm@pqm.ubuntu.com-20080620010918-64z4xylh1ap5hgyf
Accept user names with @s in URLs (Neil Martinsen-Burrell)

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
# TODO: At some point, handle upgrades by just passing the whole request
 
18
# across to run on the server.
 
19
 
 
20
import bz2
 
21
from cStringIO import StringIO
 
22
 
 
23
from bzrlib import (
 
24
    branch,
 
25
    debug,
 
26
    errors,
 
27
    graph,
 
28
    lockdir,
 
29
    repository,
 
30
    revision,
 
31
    symbol_versioning,
 
32
)
 
33
from bzrlib.branch import BranchReferenceFormat
 
34
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
 
35
from bzrlib.config import BranchConfig, TreeConfig
 
36
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
37
from bzrlib.errors import (
 
38
    NoSuchRevision,
 
39
    SmartProtocolError,
 
40
    )
 
41
from bzrlib.lockable_files import LockableFiles
 
42
from bzrlib.pack import ContainerPushParser
 
43
from bzrlib.smart import client, vfs
 
44
from bzrlib.symbol_versioning import (
 
45
    deprecated_in,
 
46
    deprecated_method,
 
47
    )
 
48
from bzrlib.revision import ensure_null, NULL_REVISION
 
49
from bzrlib.trace import mutter, note, warning
 
50
 
 
51
 
 
52
# Note: RemoteBzrDirFormat is in bzrdir.py
 
53
 
 
54
class RemoteBzrDir(BzrDir):
 
55
    """Control directory on a remote server, accessed via bzr:// or similar."""
 
56
 
 
57
    def __init__(self, transport, _client=None):
 
58
        """Construct a RemoteBzrDir.
 
59
 
 
60
        :param _client: Private parameter for testing. Disables probing and the
 
61
            use of a real bzrdir.
 
62
        """
 
63
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
 
64
        # this object holds a delegated bzrdir that uses file-level operations
 
65
        # to talk to the other side
 
66
        self._real_bzrdir = None
 
67
 
 
68
        if _client is None:
 
69
            medium = transport.get_smart_medium()
 
70
            self._client = client._SmartClient(medium)
 
71
        else:
 
72
            self._client = _client
 
73
            return
 
74
 
 
75
        path = self._path_for_remote_call(self._client)
 
76
        response = self._client.call('BzrDir.open', path)
 
77
        if response not in [('yes',), ('no',)]:
 
78
            raise errors.UnexpectedSmartServerResponse(response)
 
79
        if response == ('no',):
 
80
            raise errors.NotBranchError(path=transport.base)
 
81
 
 
82
    def _ensure_real(self):
 
83
        """Ensure that there is a _real_bzrdir set.
 
84
 
 
85
        Used before calls to self._real_bzrdir.
 
86
        """
 
87
        if not self._real_bzrdir:
 
88
            self._real_bzrdir = BzrDir.open_from_transport(
 
89
                self.root_transport, _server_formats=False)
 
90
 
 
91
    def create_repository(self, shared=False):
 
92
        self._ensure_real()
 
93
        self._real_bzrdir.create_repository(shared=shared)
 
94
        return self.open_repository()
 
95
 
 
96
    def destroy_repository(self):
 
97
        """See BzrDir.destroy_repository"""
 
98
        self._ensure_real()
 
99
        self._real_bzrdir.destroy_repository()
 
100
 
 
101
    def create_branch(self):
 
102
        self._ensure_real()
 
103
        real_branch = self._real_bzrdir.create_branch()
 
104
        return RemoteBranch(self, self.find_repository(), real_branch)
 
105
 
 
106
    def destroy_branch(self):
 
107
        """See BzrDir.destroy_branch"""
 
108
        self._ensure_real()
 
109
        self._real_bzrdir.destroy_branch()
 
110
 
 
111
    def create_workingtree(self, revision_id=None, from_branch=None):
 
112
        raise errors.NotLocalUrl(self.transport.base)
 
113
 
 
114
    def find_branch_format(self):
 
115
        """Find the branch 'format' for this bzrdir.
 
116
 
 
117
        This might be a synthetic object for e.g. RemoteBranch and SVN.
 
118
        """
 
119
        b = self.open_branch()
 
120
        return b._format
 
121
 
 
122
    def get_branch_reference(self):
 
123
        """See BzrDir.get_branch_reference()."""
 
124
        path = self._path_for_remote_call(self._client)
 
125
        try:
 
126
            response = self._client.call('BzrDir.open_branch', path)
 
127
        except errors.ErrorFromSmartServer, err:
 
128
            if err.error_tuple == ('nobranch',):
 
129
                raise errors.NotBranchError(path=self.root_transport.base)
 
130
            raise
 
131
        if response[0] == 'ok':
 
132
            if response[1] == '':
 
133
                # branch at this location.
 
134
                return None
 
135
            else:
 
136
                # a branch reference, use the existing BranchReference logic.
 
137
                return response[1]
 
138
        else:
 
139
            raise errors.UnexpectedSmartServerResponse(response)
 
140
 
 
141
    def _get_tree_branch(self):
 
142
        """See BzrDir._get_tree_branch()."""
 
143
        return None, self.open_branch()
 
144
 
 
145
    def open_branch(self, _unsupported=False):
 
146
        if _unsupported:
 
147
            raise NotImplementedError('unsupported flag support not implemented yet.')
 
148
        reference_url = self.get_branch_reference()
 
149
        if reference_url is None:
 
150
            # branch at this location.
 
151
            return RemoteBranch(self, self.find_repository())
 
152
        else:
 
153
            # a branch reference, use the existing BranchReference logic.
 
154
            format = BranchReferenceFormat()
 
155
            return format.open(self, _found=True, location=reference_url)
 
156
                
 
157
    def open_repository(self):
 
158
        path = self._path_for_remote_call(self._client)
 
159
        verb = 'BzrDir.find_repositoryV2'
 
160
        try:
 
161
            try:
 
162
                response = self._client.call(verb, path)
 
163
            except errors.UnknownSmartMethod:
 
164
                verb = 'BzrDir.find_repository'
 
165
                response = self._client.call(verb, path)
 
166
        except errors.ErrorFromSmartServer, err:
 
167
            if err.error_verb == 'norepository':
 
168
                raise errors.NoRepositoryPresent(self)
 
169
            raise
 
170
        if response[0] != 'ok':
 
171
            raise errors.UnexpectedSmartServerResponse(response)
 
172
        if verb == 'BzrDir.find_repository':
 
173
            # servers that don't support the V2 method don't support external
 
174
            # references either.
 
175
            response = response + ('no', )
 
176
        if not (len(response) == 5):
 
177
            raise SmartProtocolError('incorrect response length %s' % (response,))
 
178
        if response[1] == '':
 
179
            format = RemoteRepositoryFormat()
 
180
            format.rich_root_data = (response[2] == 'yes')
 
181
            format.supports_tree_reference = (response[3] == 'yes')
 
182
            # No wire format to check this yet.
 
183
            format.supports_external_lookups = (response[4] == 'yes')
 
184
            return RemoteRepository(self, format)
 
185
        else:
 
186
            raise errors.NoRepositoryPresent(self)
 
187
 
 
188
    def open_workingtree(self, recommend_upgrade=True):
 
189
        self._ensure_real()
 
190
        if self._real_bzrdir.has_workingtree():
 
191
            raise errors.NotLocalUrl(self.root_transport)
 
192
        else:
 
193
            raise errors.NoWorkingTree(self.root_transport.base)
 
194
 
 
195
    def _path_for_remote_call(self, client):
 
196
        """Return the path to be used for this bzrdir in a remote call."""
 
197
        return client.remote_path_from_transport(self.root_transport)
 
198
 
 
199
    def get_branch_transport(self, branch_format):
 
200
        self._ensure_real()
 
201
        return self._real_bzrdir.get_branch_transport(branch_format)
 
202
 
 
203
    def get_repository_transport(self, repository_format):
 
204
        self._ensure_real()
 
205
        return self._real_bzrdir.get_repository_transport(repository_format)
 
206
 
 
207
    def get_workingtree_transport(self, workingtree_format):
 
208
        self._ensure_real()
 
209
        return self._real_bzrdir.get_workingtree_transport(workingtree_format)
 
210
 
 
211
    def can_convert_format(self):
 
212
        """Upgrading of remote bzrdirs is not supported yet."""
 
213
        return False
 
214
 
 
215
    def needs_format_conversion(self, format=None):
 
216
        """Upgrading of remote bzrdirs is not supported yet."""
 
217
        return False
 
218
 
 
219
    def clone(self, url, revision_id=None, force_new_repo=False):
 
220
        self._ensure_real()
 
221
        return self._real_bzrdir.clone(url, revision_id=revision_id,
 
222
            force_new_repo=force_new_repo)
 
223
 
 
224
 
 
225
class RemoteRepositoryFormat(repository.RepositoryFormat):
 
226
    """Format for repositories accessed over a _SmartClient.
 
227
 
 
228
    Instances of this repository are represented by RemoteRepository
 
229
    instances.
 
230
 
 
231
    The RemoteRepositoryFormat is parameterized during construction
 
232
    to reflect the capabilities of the real, remote format. Specifically
 
233
    the attributes rich_root_data and supports_tree_reference are set
 
234
    on a per instance basis, and are not set (and should not be) at
 
235
    the class level.
 
236
    """
 
237
 
 
238
    _matchingbzrdir = RemoteBzrDirFormat
 
239
 
 
240
    def initialize(self, a_bzrdir, shared=False):
 
241
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
242
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
 
243
        return a_bzrdir.create_repository(shared=shared)
 
244
    
 
245
    def open(self, a_bzrdir):
 
246
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
247
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
 
248
        return a_bzrdir.open_repository()
 
249
 
 
250
    def get_format_description(self):
 
251
        return 'bzr remote repository'
 
252
 
 
253
    def __eq__(self, other):
 
254
        return self.__class__ == other.__class__
 
255
 
 
256
    def check_conversion_target(self, target_format):
 
257
        if self.rich_root_data and not target_format.rich_root_data:
 
258
            raise errors.BadConversionTarget(
 
259
                'Does not support rich root data.', target_format)
 
260
        if (self.supports_tree_reference and
 
261
            not getattr(target_format, 'supports_tree_reference', False)):
 
262
            raise errors.BadConversionTarget(
 
263
                'Does not support nested trees', target_format)
 
264
 
 
265
 
 
266
class RemoteRepository(object):
 
267
    """Repository accessed over rpc.
 
268
 
 
269
    For the moment most operations are performed using local transport-backed
 
270
    Repository objects.
 
271
    """
 
272
 
 
273
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
 
274
        """Create a RemoteRepository instance.
 
275
        
 
276
        :param remote_bzrdir: The bzrdir hosting this repository.
 
277
        :param format: The RemoteFormat object to use.
 
278
        :param real_repository: If not None, a local implementation of the
 
279
            repository logic for the repository, usually accessing the data
 
280
            via the VFS.
 
281
        :param _client: Private testing parameter - override the smart client
 
282
            to be used by the repository.
 
283
        """
 
284
        if real_repository:
 
285
            self._real_repository = real_repository
 
286
        else:
 
287
            self._real_repository = None
 
288
        self.bzrdir = remote_bzrdir
 
289
        if _client is None:
 
290
            self._client = remote_bzrdir._client
 
291
        else:
 
292
            self._client = _client
 
293
        self._format = format
 
294
        self._lock_mode = None
 
295
        self._lock_token = None
 
296
        self._lock_count = 0
 
297
        self._leave_lock = False
 
298
        # A cache of looked up revision parent data; reset at unlock time.
 
299
        self._parents_map = None
 
300
        if 'hpss' in debug.debug_flags:
 
301
            self._requested_parents = None
 
302
        # For tests:
 
303
        # These depend on the actual remote format, so force them off for
 
304
        # maximum compatibility. XXX: In future these should depend on the
 
305
        # remote repository instance, but this is irrelevant until we perform
 
306
        # reconcile via an RPC call.
 
307
        self._reconcile_does_inventory_gc = False
 
308
        self._reconcile_fixes_text_parents = False
 
309
        self._reconcile_backsup_inventory = False
 
310
        self.base = self.bzrdir.transport.base
 
311
 
 
312
    def __str__(self):
 
313
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
314
 
 
315
    __repr__ = __str__
 
316
 
 
317
    def abort_write_group(self):
 
318
        """Complete a write group on the decorated repository.
 
319
        
 
320
        Smart methods peform operations in a single step so this api
 
321
        is not really applicable except as a compatibility thunk
 
322
        for older plugins that don't use e.g. the CommitBuilder
 
323
        facility.
 
324
        """
 
325
        self._ensure_real()
 
326
        return self._real_repository.abort_write_group()
 
327
 
 
328
    def commit_write_group(self):
 
329
        """Complete a write group on the decorated repository.
 
330
        
 
331
        Smart methods peform operations in a single step so this api
 
332
        is not really applicable except as a compatibility thunk
 
333
        for older plugins that don't use e.g. the CommitBuilder
 
334
        facility.
 
335
        """
 
336
        self._ensure_real()
 
337
        return self._real_repository.commit_write_group()
 
338
 
 
339
    def _ensure_real(self):
 
340
        """Ensure that there is a _real_repository set.
 
341
 
 
342
        Used before calls to self._real_repository.
 
343
        """
 
344
        if not self._real_repository:
 
345
            self.bzrdir._ensure_real()
 
346
            #self._real_repository = self.bzrdir._real_bzrdir.open_repository()
 
347
            self._set_real_repository(self.bzrdir._real_bzrdir.open_repository())
 
348
 
 
349
    def find_text_key_references(self):
 
350
        """Find the text key references within the repository.
 
351
 
 
352
        :return: a dictionary mapping (file_id, revision_id) tuples to altered file-ids to an iterable of
 
353
        revision_ids. Each altered file-ids has the exact revision_ids that
 
354
        altered it listed explicitly.
 
355
        :return: A dictionary mapping text keys ((fileid, revision_id) tuples)
 
356
            to whether they were referred to by the inventory of the
 
357
            revision_id that they contain. The inventory texts from all present
 
358
            revision ids are assessed to generate this report.
 
359
        """
 
360
        self._ensure_real()
 
361
        return self._real_repository.find_text_key_references()
 
362
 
 
363
    def _generate_text_key_index(self):
 
364
        """Generate a new text key index for the repository.
 
365
 
 
366
        This is an expensive function that will take considerable time to run.
 
367
 
 
368
        :return: A dict mapping (file_id, revision_id) tuples to a list of
 
369
            parents, also (file_id, revision_id) tuples.
 
370
        """
 
371
        self._ensure_real()
 
372
        return self._real_repository._generate_text_key_index()
 
373
 
 
374
    @symbol_versioning.deprecated_method(symbol_versioning.one_four)
 
375
    def get_revision_graph(self, revision_id=None):
 
376
        """See Repository.get_revision_graph()."""
 
377
        return self._get_revision_graph(revision_id)
 
378
 
 
379
    def _get_revision_graph(self, revision_id):
 
380
        """Private method for using with old (< 1.2) servers to fallback."""
 
381
        if revision_id is None:
 
382
            revision_id = ''
 
383
        elif revision.is_null(revision_id):
 
384
            return {}
 
385
 
 
386
        path = self.bzrdir._path_for_remote_call(self._client)
 
387
        try:
 
388
            response = self._client.call_expecting_body(
 
389
                'Repository.get_revision_graph', path, revision_id)
 
390
        except errors.ErrorFromSmartServer, err:
 
391
            if err.error_verb == 'nosuchrevision':
 
392
                raise NoSuchRevision(self, revision_id)
 
393
            raise
 
394
        response_tuple, response_handler = response
 
395
        if response_tuple[0] != 'ok':
 
396
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
397
        coded = response_handler.read_body_bytes()
 
398
        if coded == '':
 
399
            # no revisions in this repository!
 
400
            return {}
 
401
        lines = coded.split('\n')
 
402
        revision_graph = {}
 
403
        for line in lines:
 
404
            d = tuple(line.split())
 
405
            revision_graph[d[0]] = d[1:]
 
406
            
 
407
        return revision_graph
 
408
 
 
409
    def has_revision(self, revision_id):
 
410
        """See Repository.has_revision()."""
 
411
        if revision_id == NULL_REVISION:
 
412
            # The null revision is always present.
 
413
            return True
 
414
        path = self.bzrdir._path_for_remote_call(self._client)
 
415
        response = self._client.call(
 
416
            'Repository.has_revision', path, revision_id)
 
417
        if response[0] not in ('yes', 'no'):
 
418
            raise errors.UnexpectedSmartServerResponse(response)
 
419
        return response[0] == 'yes'
 
420
 
 
421
    def has_revisions(self, revision_ids):
 
422
        """See Repository.has_revisions()."""
 
423
        result = set()
 
424
        for revision_id in revision_ids:
 
425
            if self.has_revision(revision_id):
 
426
                result.add(revision_id)
 
427
        return result
 
428
 
 
429
    def has_same_location(self, other):
 
430
        return (self.__class__ == other.__class__ and
 
431
                self.bzrdir.transport.base == other.bzrdir.transport.base)
 
432
        
 
433
    def get_graph(self, other_repository=None):
 
434
        """Return the graph for this repository format"""
 
435
        parents_provider = self
 
436
        if (other_repository is not None and
 
437
            other_repository.bzrdir.transport.base !=
 
438
            self.bzrdir.transport.base):
 
439
            parents_provider = graph._StackedParentsProvider(
 
440
                [parents_provider, other_repository._make_parents_provider()])
 
441
        return graph.Graph(parents_provider)
 
442
 
 
443
    def gather_stats(self, revid=None, committers=None):
 
444
        """See Repository.gather_stats()."""
 
445
        path = self.bzrdir._path_for_remote_call(self._client)
 
446
        # revid can be None to indicate no revisions, not just NULL_REVISION
 
447
        if revid is None or revision.is_null(revid):
 
448
            fmt_revid = ''
 
449
        else:
 
450
            fmt_revid = revid
 
451
        if committers is None or not committers:
 
452
            fmt_committers = 'no'
 
453
        else:
 
454
            fmt_committers = 'yes'
 
455
        response_tuple, response_handler = self._client.call_expecting_body(
 
456
            'Repository.gather_stats', path, fmt_revid, fmt_committers)
 
457
        if response_tuple[0] != 'ok':
 
458
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
459
 
 
460
        body = response_handler.read_body_bytes()
 
461
        result = {}
 
462
        for line in body.split('\n'):
 
463
            if not line:
 
464
                continue
 
465
            key, val_text = line.split(':')
 
466
            if key in ('revisions', 'size', 'committers'):
 
467
                result[key] = int(val_text)
 
468
            elif key in ('firstrev', 'latestrev'):
 
469
                values = val_text.split(' ')[1:]
 
470
                result[key] = (float(values[0]), long(values[1]))
 
471
 
 
472
        return result
 
473
 
 
474
    def find_branches(self, using=False):
 
475
        """See Repository.find_branches()."""
 
476
        # should be an API call to the server.
 
477
        self._ensure_real()
 
478
        return self._real_repository.find_branches(using=using)
 
479
 
 
480
    def get_physical_lock_status(self):
 
481
        """See Repository.get_physical_lock_status()."""
 
482
        # should be an API call to the server.
 
483
        self._ensure_real()
 
484
        return self._real_repository.get_physical_lock_status()
 
485
 
 
486
    def is_in_write_group(self):
 
487
        """Return True if there is an open write group.
 
488
 
 
489
        write groups are only applicable locally for the smart server..
 
490
        """
 
491
        if self._real_repository:
 
492
            return self._real_repository.is_in_write_group()
 
493
 
 
494
    def is_locked(self):
 
495
        return self._lock_count >= 1
 
496
 
 
497
    def is_shared(self):
 
498
        """See Repository.is_shared()."""
 
499
        path = self.bzrdir._path_for_remote_call(self._client)
 
500
        response = self._client.call('Repository.is_shared', path)
 
501
        if response[0] not in ('yes', 'no'):
 
502
            raise SmartProtocolError('unexpected response code %s' % (response,))
 
503
        return response[0] == 'yes'
 
504
 
 
505
    def is_write_locked(self):
 
506
        return self._lock_mode == 'w'
 
507
 
 
508
    def lock_read(self):
 
509
        # wrong eventually - want a local lock cache context
 
510
        if not self._lock_mode:
 
511
            self._lock_mode = 'r'
 
512
            self._lock_count = 1
 
513
            self._parents_map = {}
 
514
            if 'hpss' in debug.debug_flags:
 
515
                self._requested_parents = set()
 
516
            if self._real_repository is not None:
 
517
                self._real_repository.lock_read()
 
518
        else:
 
519
            self._lock_count += 1
 
520
 
 
521
    def _remote_lock_write(self, token):
 
522
        path = self.bzrdir._path_for_remote_call(self._client)
 
523
        if token is None:
 
524
            token = ''
 
525
        try:
 
526
            response = self._client.call('Repository.lock_write', path, token)
 
527
        except errors.ErrorFromSmartServer, err:
 
528
            if err.error_verb == 'LockContention':
 
529
                raise errors.LockContention('(remote lock)')
 
530
            elif err.error_verb == 'UnlockableTransport':
 
531
                raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
532
            elif err.error_verb == 'LockFailed':
 
533
                raise errors.LockFailed(err.error_args[0], err.error_args[1])
 
534
            raise
 
535
 
 
536
        if response[0] == 'ok':
 
537
            ok, token = response
 
538
            return token
 
539
        else:
 
540
            raise errors.UnexpectedSmartServerResponse(response)
 
541
 
 
542
    def lock_write(self, token=None):
 
543
        if not self._lock_mode:
 
544
            self._lock_token = self._remote_lock_write(token)
 
545
            # if self._lock_token is None, then this is something like packs or
 
546
            # svn where we don't get to lock the repo, or a weave style repository
 
547
            # where we cannot lock it over the wire and attempts to do so will
 
548
            # fail.
 
549
            if self._real_repository is not None:
 
550
                self._real_repository.lock_write(token=self._lock_token)
 
551
            if token is not None:
 
552
                self._leave_lock = True
 
553
            else:
 
554
                self._leave_lock = False
 
555
            self._lock_mode = 'w'
 
556
            self._lock_count = 1
 
557
            self._parents_map = {}
 
558
            if 'hpss' in debug.debug_flags:
 
559
                self._requested_parents = set()
 
560
        elif self._lock_mode == 'r':
 
561
            raise errors.ReadOnlyError(self)
 
562
        else:
 
563
            self._lock_count += 1
 
564
        return self._lock_token or None
 
565
 
 
566
    def leave_lock_in_place(self):
 
567
        if not self._lock_token:
 
568
            raise NotImplementedError(self.leave_lock_in_place)
 
569
        self._leave_lock = True
 
570
 
 
571
    def dont_leave_lock_in_place(self):
 
572
        if not self._lock_token:
 
573
            raise NotImplementedError(self.dont_leave_lock_in_place)
 
574
        self._leave_lock = False
 
575
 
 
576
    def _set_real_repository(self, repository):
 
577
        """Set the _real_repository for this repository.
 
578
 
 
579
        :param repository: The repository to fallback to for non-hpss
 
580
            implemented operations.
 
581
        """
 
582
        if isinstance(repository, RemoteRepository):
 
583
            raise AssertionError()
 
584
        self._real_repository = repository
 
585
        if self._lock_mode == 'w':
 
586
            # if we are already locked, the real repository must be able to
 
587
            # acquire the lock with our token.
 
588
            self._real_repository.lock_write(self._lock_token)
 
589
        elif self._lock_mode == 'r':
 
590
            self._real_repository.lock_read()
 
591
 
 
592
    def start_write_group(self):
 
593
        """Start a write group on the decorated repository.
 
594
        
 
595
        Smart methods peform operations in a single step so this api
 
596
        is not really applicable except as a compatibility thunk
 
597
        for older plugins that don't use e.g. the CommitBuilder
 
598
        facility.
 
599
        """
 
600
        self._ensure_real()
 
601
        return self._real_repository.start_write_group()
 
602
 
 
603
    def _unlock(self, token):
 
604
        path = self.bzrdir._path_for_remote_call(self._client)
 
605
        if not token:
 
606
            # with no token the remote repository is not persistently locked.
 
607
            return
 
608
        try:
 
609
            response = self._client.call('Repository.unlock', path, token)
 
610
        except errors.ErrorFromSmartServer, err:
 
611
            if err.error_verb == 'TokenMismatch':
 
612
                raise errors.TokenMismatch(token, '(remote token)')
 
613
            raise
 
614
        if response == ('ok',):
 
615
            return
 
616
        else:
 
617
            raise errors.UnexpectedSmartServerResponse(response)
 
618
 
 
619
    def unlock(self):
 
620
        self._lock_count -= 1
 
621
        if self._lock_count > 0:
 
622
            return
 
623
        self._parents_map = None
 
624
        if 'hpss' in debug.debug_flags:
 
625
            self._requested_parents = None
 
626
        old_mode = self._lock_mode
 
627
        self._lock_mode = None
 
628
        try:
 
629
            # The real repository is responsible at present for raising an
 
630
            # exception if it's in an unfinished write group.  However, it
 
631
            # normally will *not* actually remove the lock from disk - that's
 
632
            # done by the server on receiving the Repository.unlock call.
 
633
            # This is just to let the _real_repository stay up to date.
 
634
            if self._real_repository is not None:
 
635
                self._real_repository.unlock()
 
636
        finally:
 
637
            # The rpc-level lock should be released even if there was a
 
638
            # problem releasing the vfs-based lock.
 
639
            if old_mode == 'w':
 
640
                # Only write-locked repositories need to make a remote method
 
641
                # call to perfom the unlock.
 
642
                old_token = self._lock_token
 
643
                self._lock_token = None
 
644
                if not self._leave_lock:
 
645
                    self._unlock(old_token)
 
646
 
 
647
    def break_lock(self):
 
648
        # should hand off to the network
 
649
        self._ensure_real()
 
650
        return self._real_repository.break_lock()
 
651
 
 
652
    def _get_tarball(self, compression):
 
653
        """Return a TemporaryFile containing a repository tarball.
 
654
        
 
655
        Returns None if the server does not support sending tarballs.
 
656
        """
 
657
        import tempfile
 
658
        path = self.bzrdir._path_for_remote_call(self._client)
 
659
        try:
 
660
            response, protocol = self._client.call_expecting_body(
 
661
                'Repository.tarball', path, compression)
 
662
        except errors.UnknownSmartMethod:
 
663
            protocol.cancel_read_body()
 
664
            return None
 
665
        if response[0] == 'ok':
 
666
            # Extract the tarball and return it
 
667
            t = tempfile.NamedTemporaryFile()
 
668
            # TODO: rpc layer should read directly into it...
 
669
            t.write(protocol.read_body_bytes())
 
670
            t.seek(0)
 
671
            return t
 
672
        raise errors.UnexpectedSmartServerResponse(response)
 
673
 
 
674
    def sprout(self, to_bzrdir, revision_id=None):
 
675
        # TODO: Option to control what format is created?
 
676
        self._ensure_real()
 
677
        dest_repo = self._real_repository._format.initialize(to_bzrdir,
 
678
                                                             shared=False)
 
679
        dest_repo.fetch(self, revision_id=revision_id)
 
680
        return dest_repo
 
681
 
 
682
    ### These methods are just thin shims to the VFS object for now.
 
683
 
 
684
    def revision_tree(self, revision_id):
 
685
        self._ensure_real()
 
686
        return self._real_repository.revision_tree(revision_id)
 
687
 
 
688
    def get_serializer_format(self):
 
689
        self._ensure_real()
 
690
        return self._real_repository.get_serializer_format()
 
691
 
 
692
    def get_commit_builder(self, branch, parents, config, timestamp=None,
 
693
                           timezone=None, committer=None, revprops=None,
 
694
                           revision_id=None):
 
695
        # FIXME: It ought to be possible to call this without immediately
 
696
        # triggering _ensure_real.  For now it's the easiest thing to do.
 
697
        self._ensure_real()
 
698
        builder = self._real_repository.get_commit_builder(branch, parents,
 
699
                config, timestamp=timestamp, timezone=timezone,
 
700
                committer=committer, revprops=revprops, revision_id=revision_id)
 
701
        return builder
 
702
 
 
703
    def add_inventory(self, revid, inv, parents):
 
704
        self._ensure_real()
 
705
        return self._real_repository.add_inventory(revid, inv, parents)
 
706
 
 
707
    def add_revision(self, rev_id, rev, inv=None, config=None):
 
708
        self._ensure_real()
 
709
        return self._real_repository.add_revision(
 
710
            rev_id, rev, inv=inv, config=config)
 
711
 
 
712
    @needs_read_lock
 
713
    def get_inventory(self, revision_id):
 
714
        self._ensure_real()
 
715
        return self._real_repository.get_inventory(revision_id)
 
716
 
 
717
    def iter_inventories(self, revision_ids):
 
718
        self._ensure_real()
 
719
        return self._real_repository.iter_inventories(revision_ids)
 
720
 
 
721
    @needs_read_lock
 
722
    def get_revision(self, revision_id):
 
723
        self._ensure_real()
 
724
        return self._real_repository.get_revision(revision_id)
 
725
 
 
726
    @property
 
727
    def weave_store(self):
 
728
        self._ensure_real()
 
729
        return self._real_repository.weave_store
 
730
 
 
731
    def get_transaction(self):
 
732
        self._ensure_real()
 
733
        return self._real_repository.get_transaction()
 
734
 
 
735
    @needs_read_lock
 
736
    def clone(self, a_bzrdir, revision_id=None):
 
737
        self._ensure_real()
 
738
        return self._real_repository.clone(a_bzrdir, revision_id=revision_id)
 
739
 
 
740
    def make_working_trees(self):
 
741
        """See Repository.make_working_trees"""
 
742
        self._ensure_real()
 
743
        return self._real_repository.make_working_trees()
 
744
 
 
745
    def revision_ids_to_search_result(self, result_set):
 
746
        """Convert a set of revision ids to a graph SearchResult."""
 
747
        result_parents = set()
 
748
        for parents in self.get_graph().get_parent_map(
 
749
            result_set).itervalues():
 
750
            result_parents.update(parents)
 
751
        included_keys = result_set.intersection(result_parents)
 
752
        start_keys = result_set.difference(included_keys)
 
753
        exclude_keys = result_parents.difference(result_set)
 
754
        result = graph.SearchResult(start_keys, exclude_keys,
 
755
            len(result_set), result_set)
 
756
        return result
 
757
 
 
758
    @needs_read_lock
 
759
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
 
760
        """Return the revision ids that other has that this does not.
 
761
        
 
762
        These are returned in topological order.
 
763
 
 
764
        revision_id: only return revision ids included by revision_id.
 
765
        """
 
766
        return repository.InterRepository.get(
 
767
            other, self).search_missing_revision_ids(revision_id, find_ghosts)
 
768
 
 
769
    def fetch(self, source, revision_id=None, pb=None):
 
770
        if self.has_same_location(source):
 
771
            # check that last_revision is in 'from' and then return a
 
772
            # no-operation.
 
773
            if (revision_id is not None and
 
774
                not revision.is_null(revision_id)):
 
775
                self.get_revision(revision_id)
 
776
            return 0, []
 
777
        self._ensure_real()
 
778
        return self._real_repository.fetch(
 
779
            source, revision_id=revision_id, pb=pb)
 
780
 
 
781
    def create_bundle(self, target, base, fileobj, format=None):
 
782
        self._ensure_real()
 
783
        self._real_repository.create_bundle(target, base, fileobj, format)
 
784
 
 
785
    @property
 
786
    def control_weaves(self):
 
787
        self._ensure_real()
 
788
        return self._real_repository.control_weaves
 
789
 
 
790
    @needs_read_lock
 
791
    def get_ancestry(self, revision_id, topo_sorted=True):
 
792
        self._ensure_real()
 
793
        return self._real_repository.get_ancestry(revision_id, topo_sorted)
 
794
 
 
795
    @needs_read_lock
 
796
    def get_inventory_weave(self):
 
797
        self._ensure_real()
 
798
        return self._real_repository.get_inventory_weave()
 
799
 
 
800
    def fileids_altered_by_revision_ids(self, revision_ids):
 
801
        self._ensure_real()
 
802
        return self._real_repository.fileids_altered_by_revision_ids(revision_ids)
 
803
 
 
804
    def _get_versioned_file_checker(self, revisions, revision_versions_cache):
 
805
        self._ensure_real()
 
806
        return self._real_repository._get_versioned_file_checker(
 
807
            revisions, revision_versions_cache)
 
808
        
 
809
    def iter_files_bytes(self, desired_files):
 
810
        """See Repository.iter_file_bytes.
 
811
        """
 
812
        self._ensure_real()
 
813
        return self._real_repository.iter_files_bytes(desired_files)
 
814
 
 
815
    def get_parent_map(self, keys):
 
816
        """See bzrlib.Graph.get_parent_map()."""
 
817
        # Hack to build up the caching logic.
 
818
        ancestry = self._parents_map
 
819
        if ancestry is None:
 
820
            # Repository is not locked, so there's no cache.
 
821
            missing_revisions = set(keys)
 
822
            ancestry = {}
 
823
        else:
 
824
            missing_revisions = set(key for key in keys if key not in ancestry)
 
825
        if missing_revisions:
 
826
            parent_map = self._get_parent_map(missing_revisions)
 
827
            if 'hpss' in debug.debug_flags:
 
828
                mutter('retransmitted revisions: %d of %d',
 
829
                        len(set(ancestry).intersection(parent_map)),
 
830
                        len(parent_map))
 
831
            ancestry.update(parent_map)
 
832
        present_keys = [k for k in keys if k in ancestry]
 
833
        if 'hpss' in debug.debug_flags:
 
834
            if self._requested_parents is not None and len(ancestry) != 0:
 
835
                self._requested_parents.update(present_keys)
 
836
                mutter('Current RemoteRepository graph hit rate: %d%%',
 
837
                    100.0 * len(self._requested_parents) / len(ancestry))
 
838
        return dict((k, ancestry[k]) for k in present_keys)
 
839
 
 
840
    def _get_parent_map(self, keys):
 
841
        """Helper for get_parent_map that performs the RPC."""
 
842
        medium = self._client._medium
 
843
        if medium._is_remote_before((1, 2)):
 
844
            # We already found out that the server can't understand
 
845
            # Repository.get_parent_map requests, so just fetch the whole
 
846
            # graph.
 
847
            # XXX: Note that this will issue a deprecation warning. This is ok
 
848
            # :- its because we're working with a deprecated server anyway, and
 
849
            # the user will almost certainly have seen a warning about the
 
850
            # server version already.
 
851
            rg = self.get_revision_graph()
 
852
            # There is an api discrepency between get_parent_map and
 
853
            # get_revision_graph. Specifically, a "key:()" pair in
 
854
            # get_revision_graph just means a node has no parents. For
 
855
            # "get_parent_map" it means the node is a ghost. So fix up the
 
856
            # graph to correct this.
 
857
            #   https://bugs.launchpad.net/bzr/+bug/214894
 
858
            # There is one other "bug" which is that ghosts in
 
859
            # get_revision_graph() are not returned at all. But we won't worry
 
860
            # about that for now.
 
861
            for node_id, parent_ids in rg.iteritems():
 
862
                if parent_ids == ():
 
863
                    rg[node_id] = (NULL_REVISION,)
 
864
            rg[NULL_REVISION] = ()
 
865
            return rg
 
866
 
 
867
        keys = set(keys)
 
868
        if None in keys:
 
869
            raise ValueError('get_parent_map(None) is not valid')
 
870
        if NULL_REVISION in keys:
 
871
            keys.discard(NULL_REVISION)
 
872
            found_parents = {NULL_REVISION:()}
 
873
            if not keys:
 
874
                return found_parents
 
875
        else:
 
876
            found_parents = {}
 
877
        # TODO(Needs analysis): We could assume that the keys being requested
 
878
        # from get_parent_map are in a breadth first search, so typically they
 
879
        # will all be depth N from some common parent, and we don't have to
 
880
        # have the server iterate from the root parent, but rather from the
 
881
        # keys we're searching; and just tell the server the keyspace we
 
882
        # already have; but this may be more traffic again.
 
883
 
 
884
        # Transform self._parents_map into a search request recipe.
 
885
        # TODO: Manage this incrementally to avoid covering the same path
 
886
        # repeatedly. (The server will have to on each request, but the less
 
887
        # work done the better).
 
888
        parents_map = self._parents_map
 
889
        if parents_map is None:
 
890
            # Repository is not locked, so there's no cache.
 
891
            parents_map = {}
 
892
        start_set = set(parents_map)
 
893
        result_parents = set()
 
894
        for parents in parents_map.itervalues():
 
895
            result_parents.update(parents)
 
896
        stop_keys = result_parents.difference(start_set)
 
897
        included_keys = start_set.intersection(result_parents)
 
898
        start_set.difference_update(included_keys)
 
899
        recipe = (start_set, stop_keys, len(parents_map))
 
900
        body = self._serialise_search_recipe(recipe)
 
901
        path = self.bzrdir._path_for_remote_call(self._client)
 
902
        for key in keys:
 
903
            if type(key) is not str:
 
904
                raise ValueError(
 
905
                    "key %r not a plain string" % (key,))
 
906
        verb = 'Repository.get_parent_map'
 
907
        args = (path,) + tuple(keys)
 
908
        try:
 
909
            response = self._client.call_with_body_bytes_expecting_body(
 
910
                verb, args, self._serialise_search_recipe(recipe))
 
911
        except errors.UnknownSmartMethod:
 
912
            # Server does not support this method, so get the whole graph.
 
913
            # Worse, we have to force a disconnection, because the server now
 
914
            # doesn't realise it has a body on the wire to consume, so the
 
915
            # only way to recover is to abandon the connection.
 
916
            warning(
 
917
                'Server is too old for fast get_parent_map, reconnecting.  '
 
918
                '(Upgrade the server to Bazaar 1.2 to avoid this)')
 
919
            medium.disconnect()
 
920
            # To avoid having to disconnect repeatedly, we keep track of the
 
921
            # fact the server doesn't understand remote methods added in 1.2.
 
922
            medium._remember_remote_is_before((1, 2))
 
923
            return self.get_revision_graph(None)
 
924
        response_tuple, response_handler = response
 
925
        if response_tuple[0] not in ['ok']:
 
926
            response_handler.cancel_read_body()
 
927
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
928
        if response_tuple[0] == 'ok':
 
929
            coded = bz2.decompress(response_handler.read_body_bytes())
 
930
            if coded == '':
 
931
                # no revisions found
 
932
                return {}
 
933
            lines = coded.split('\n')
 
934
            revision_graph = {}
 
935
            for line in lines:
 
936
                d = tuple(line.split())
 
937
                if len(d) > 1:
 
938
                    revision_graph[d[0]] = d[1:]
 
939
                else:
 
940
                    # No parents - so give the Graph result (NULL_REVISION,).
 
941
                    revision_graph[d[0]] = (NULL_REVISION,)
 
942
            return revision_graph
 
943
 
 
944
    @needs_read_lock
 
945
    def get_signature_text(self, revision_id):
 
946
        self._ensure_real()
 
947
        return self._real_repository.get_signature_text(revision_id)
 
948
 
 
949
    @needs_read_lock
 
950
    @symbol_versioning.deprecated_method(symbol_versioning.one_three)
 
951
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
952
        self._ensure_real()
 
953
        return self._real_repository.get_revision_graph_with_ghosts(
 
954
            revision_ids=revision_ids)
 
955
 
 
956
    @needs_read_lock
 
957
    def get_inventory_xml(self, revision_id):
 
958
        self._ensure_real()
 
959
        return self._real_repository.get_inventory_xml(revision_id)
 
960
 
 
961
    def deserialise_inventory(self, revision_id, xml):
 
962
        self._ensure_real()
 
963
        return self._real_repository.deserialise_inventory(revision_id, xml)
 
964
 
 
965
    def reconcile(self, other=None, thorough=False):
 
966
        self._ensure_real()
 
967
        return self._real_repository.reconcile(other=other, thorough=thorough)
 
968
        
 
969
    def all_revision_ids(self):
 
970
        self._ensure_real()
 
971
        return self._real_repository.all_revision_ids()
 
972
    
 
973
    @needs_read_lock
 
974
    def get_deltas_for_revisions(self, revisions):
 
975
        self._ensure_real()
 
976
        return self._real_repository.get_deltas_for_revisions(revisions)
 
977
 
 
978
    @needs_read_lock
 
979
    def get_revision_delta(self, revision_id):
 
980
        self._ensure_real()
 
981
        return self._real_repository.get_revision_delta(revision_id)
 
982
 
 
983
    @needs_read_lock
 
984
    def revision_trees(self, revision_ids):
 
985
        self._ensure_real()
 
986
        return self._real_repository.revision_trees(revision_ids)
 
987
 
 
988
    @needs_read_lock
 
989
    def get_revision_reconcile(self, revision_id):
 
990
        self._ensure_real()
 
991
        return self._real_repository.get_revision_reconcile(revision_id)
 
992
 
 
993
    @needs_read_lock
 
994
    def check(self, revision_ids=None):
 
995
        self._ensure_real()
 
996
        return self._real_repository.check(revision_ids=revision_ids)
 
997
 
 
998
    def copy_content_into(self, destination, revision_id=None):
 
999
        self._ensure_real()
 
1000
        return self._real_repository.copy_content_into(
 
1001
            destination, revision_id=revision_id)
 
1002
 
 
1003
    def _copy_repository_tarball(self, to_bzrdir, revision_id=None):
 
1004
        # get a tarball of the remote repository, and copy from that into the
 
1005
        # destination
 
1006
        from bzrlib import osutils
 
1007
        import tarfile
 
1008
        import tempfile
 
1009
        # TODO: Maybe a progress bar while streaming the tarball?
 
1010
        note("Copying repository content as tarball...")
 
1011
        tar_file = self._get_tarball('bz2')
 
1012
        if tar_file is None:
 
1013
            return None
 
1014
        destination = to_bzrdir.create_repository()
 
1015
        try:
 
1016
            tar = tarfile.open('repository', fileobj=tar_file,
 
1017
                mode='r|bz2')
 
1018
            tmpdir = tempfile.mkdtemp()
 
1019
            try:
 
1020
                _extract_tar(tar, tmpdir)
 
1021
                tmp_bzrdir = BzrDir.open(tmpdir)
 
1022
                tmp_repo = tmp_bzrdir.open_repository()
 
1023
                tmp_repo.copy_content_into(destination, revision_id)
 
1024
            finally:
 
1025
                osutils.rmtree(tmpdir)
 
1026
        finally:
 
1027
            tar_file.close()
 
1028
        return destination
 
1029
        # TODO: Suggestion from john: using external tar is much faster than
 
1030
        # python's tarfile library, but it may not work on windows.
 
1031
 
 
1032
    @needs_write_lock
 
1033
    def pack(self):
 
1034
        """Compress the data within the repository.
 
1035
 
 
1036
        This is not currently implemented within the smart server.
 
1037
        """
 
1038
        self._ensure_real()
 
1039
        return self._real_repository.pack()
 
1040
 
 
1041
    def set_make_working_trees(self, new_value):
 
1042
        self._ensure_real()
 
1043
        self._real_repository.set_make_working_trees(new_value)
 
1044
 
 
1045
    @needs_write_lock
 
1046
    def sign_revision(self, revision_id, gpg_strategy):
 
1047
        self._ensure_real()
 
1048
        return self._real_repository.sign_revision(revision_id, gpg_strategy)
 
1049
 
 
1050
    @needs_read_lock
 
1051
    def get_revisions(self, revision_ids):
 
1052
        self._ensure_real()
 
1053
        return self._real_repository.get_revisions(revision_ids)
 
1054
 
 
1055
    def supports_rich_root(self):
 
1056
        self._ensure_real()
 
1057
        return self._real_repository.supports_rich_root()
 
1058
 
 
1059
    def iter_reverse_revision_history(self, revision_id):
 
1060
        self._ensure_real()
 
1061
        return self._real_repository.iter_reverse_revision_history(revision_id)
 
1062
 
 
1063
    @property
 
1064
    def _serializer(self):
 
1065
        self._ensure_real()
 
1066
        return self._real_repository._serializer
 
1067
 
 
1068
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
 
1069
        self._ensure_real()
 
1070
        return self._real_repository.store_revision_signature(
 
1071
            gpg_strategy, plaintext, revision_id)
 
1072
 
 
1073
    def add_signature_text(self, revision_id, signature):
 
1074
        self._ensure_real()
 
1075
        return self._real_repository.add_signature_text(revision_id, signature)
 
1076
 
 
1077
    def has_signature_for_revision_id(self, revision_id):
 
1078
        self._ensure_real()
 
1079
        return self._real_repository.has_signature_for_revision_id(revision_id)
 
1080
 
 
1081
    def get_data_stream_for_search(self, search):
 
1082
        medium = self._client._medium
 
1083
        if medium._is_remote_before((1, 2)):
 
1084
            self._ensure_real()
 
1085
            return self._real_repository.get_data_stream_for_search(search)
 
1086
        REQUEST_NAME = 'Repository.stream_revisions_chunked'
 
1087
        path = self.bzrdir._path_for_remote_call(self._client)
 
1088
        body = self._serialise_search_recipe(search.get_recipe())
 
1089
        try:
 
1090
            result = self._client.call_with_body_bytes_expecting_body(
 
1091
                REQUEST_NAME, (path,), body)
 
1092
            response, protocol = result
 
1093
        except errors.UnknownSmartMethod:
 
1094
            # Server does not support this method, so fall back to VFS.
 
1095
            # Worse, we have to force a disconnection, because the server now
 
1096
            # doesn't realise it has a body on the wire to consume, so the
 
1097
            # only way to recover is to abandon the connection.
 
1098
            warning(
 
1099
                'Server is too old for streaming pull, reconnecting.  '
 
1100
                '(Upgrade the server to Bazaar 1.2 to avoid this)')
 
1101
            medium.disconnect()
 
1102
            # To avoid having to disconnect repeatedly, we keep track of the
 
1103
            # fact the server doesn't understand this remote method.
 
1104
            medium._remember_remote_is_before((1, 2))
 
1105
            self._ensure_real()
 
1106
            return self._real_repository.get_data_stream_for_search(search)
 
1107
 
 
1108
        if response == ('ok',):
 
1109
            return self._deserialise_stream(protocol)
 
1110
        if response == ('NoSuchRevision', ):
 
1111
            # We cannot easily identify the revision that is missing in this
 
1112
            # situation without doing much more network IO. For now, bail.
 
1113
            raise NoSuchRevision(self, "unknown")
 
1114
        else:
 
1115
            raise errors.UnexpectedSmartServerResponse(response)
 
1116
 
 
1117
    def _deserialise_stream(self, protocol):
 
1118
        stream = protocol.read_streamed_body()
 
1119
        container_parser = ContainerPushParser()
 
1120
        for bytes in stream:
 
1121
            container_parser.accept_bytes(bytes)
 
1122
            records = container_parser.read_pending_records()
 
1123
            for record_names, record_bytes in records:
 
1124
                if len(record_names) != 1:
 
1125
                    # These records should have only one name, and that name
 
1126
                    # should be a one-element tuple.
 
1127
                    raise errors.SmartProtocolError(
 
1128
                        'Repository data stream had invalid record name %r'
 
1129
                        % (record_names,))
 
1130
                name_tuple = record_names[0]
 
1131
                yield name_tuple, record_bytes
 
1132
 
 
1133
    def insert_data_stream(self, stream):
 
1134
        self._ensure_real()
 
1135
        self._real_repository.insert_data_stream(stream)
 
1136
 
 
1137
    def item_keys_introduced_by(self, revision_ids, _files_pb=None):
 
1138
        self._ensure_real()
 
1139
        return self._real_repository.item_keys_introduced_by(revision_ids,
 
1140
            _files_pb=_files_pb)
 
1141
 
 
1142
    def revision_graph_can_have_wrong_parents(self):
 
1143
        # The answer depends on the remote repo format.
 
1144
        self._ensure_real()
 
1145
        return self._real_repository.revision_graph_can_have_wrong_parents()
 
1146
 
 
1147
    def _find_inconsistent_revision_parents(self):
 
1148
        self._ensure_real()
 
1149
        return self._real_repository._find_inconsistent_revision_parents()
 
1150
 
 
1151
    def _check_for_inconsistent_revision_parents(self):
 
1152
        self._ensure_real()
 
1153
        return self._real_repository._check_for_inconsistent_revision_parents()
 
1154
 
 
1155
    def _make_parents_provider(self):
 
1156
        return self
 
1157
 
 
1158
    def _serialise_search_recipe(self, recipe):
 
1159
        """Serialise a graph search recipe.
 
1160
 
 
1161
        :param recipe: A search recipe (start, stop, count).
 
1162
        :return: Serialised bytes.
 
1163
        """
 
1164
        start_keys = ' '.join(recipe[0])
 
1165
        stop_keys = ' '.join(recipe[1])
 
1166
        count = str(recipe[2])
 
1167
        return '\n'.join((start_keys, stop_keys, count))
 
1168
 
 
1169
 
 
1170
class RemoteBranchLockableFiles(LockableFiles):
 
1171
    """A 'LockableFiles' implementation that talks to a smart server.
 
1172
    
 
1173
    This is not a public interface class.
 
1174
    """
 
1175
 
 
1176
    def __init__(self, bzrdir, _client):
 
1177
        self.bzrdir = bzrdir
 
1178
        self._client = _client
 
1179
        self._need_find_modes = True
 
1180
        LockableFiles.__init__(
 
1181
            self, bzrdir.get_branch_transport(None),
 
1182
            'lock', lockdir.LockDir)
 
1183
 
 
1184
    def _find_modes(self):
 
1185
        # RemoteBranches don't let the client set the mode of control files.
 
1186
        self._dir_mode = None
 
1187
        self._file_mode = None
 
1188
 
 
1189
 
 
1190
class RemoteBranchFormat(branch.BranchFormat):
 
1191
 
 
1192
    def __eq__(self, other):
 
1193
        return (isinstance(other, RemoteBranchFormat) and 
 
1194
            self.__dict__ == other.__dict__)
 
1195
 
 
1196
    def get_format_description(self):
 
1197
        return 'Remote BZR Branch'
 
1198
 
 
1199
    def get_format_string(self):
 
1200
        return 'Remote BZR Branch'
 
1201
 
 
1202
    def open(self, a_bzrdir):
 
1203
        return a_bzrdir.open_branch()
 
1204
 
 
1205
    def initialize(self, a_bzrdir):
 
1206
        return a_bzrdir.create_branch()
 
1207
 
 
1208
    def supports_tags(self):
 
1209
        # Remote branches might support tags, but we won't know until we
 
1210
        # access the real remote branch.
 
1211
        return True
 
1212
 
 
1213
 
 
1214
class RemoteBranch(branch.Branch):
 
1215
    """Branch stored on a server accessed by HPSS RPC.
 
1216
 
 
1217
    At the moment most operations are mapped down to simple file operations.
 
1218
    """
 
1219
 
 
1220
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
 
1221
        _client=None):
 
1222
        """Create a RemoteBranch instance.
 
1223
 
 
1224
        :param real_branch: An optional local implementation of the branch
 
1225
            format, usually accessing the data via the VFS.
 
1226
        :param _client: Private parameter for testing.
 
1227
        """
 
1228
        # We intentionally don't call the parent class's __init__, because it
 
1229
        # will try to assign to self.tags, which is a property in this subclass.
 
1230
        # And the parent's __init__ doesn't do much anyway.
 
1231
        self._revision_id_to_revno_cache = None
 
1232
        self._revision_history_cache = None
 
1233
        self.bzrdir = remote_bzrdir
 
1234
        if _client is not None:
 
1235
            self._client = _client
 
1236
        else:
 
1237
            self._client = remote_bzrdir._client
 
1238
        self.repository = remote_repository
 
1239
        if real_branch is not None:
 
1240
            self._real_branch = real_branch
 
1241
            # Give the remote repository the matching real repo.
 
1242
            real_repo = self._real_branch.repository
 
1243
            if isinstance(real_repo, RemoteRepository):
 
1244
                real_repo._ensure_real()
 
1245
                real_repo = real_repo._real_repository
 
1246
            self.repository._set_real_repository(real_repo)
 
1247
            # Give the branch the remote repository to let fast-pathing happen.
 
1248
            self._real_branch.repository = self.repository
 
1249
        else:
 
1250
            self._real_branch = None
 
1251
        # Fill out expected attributes of branch for bzrlib api users.
 
1252
        self._format = RemoteBranchFormat()
 
1253
        self.base = self.bzrdir.root_transport.base
 
1254
        self._control_files = None
 
1255
        self._lock_mode = None
 
1256
        self._lock_token = None
 
1257
        self._repo_lock_token = None
 
1258
        self._lock_count = 0
 
1259
        self._leave_lock = False
 
1260
 
 
1261
    def _get_real_transport(self):
 
1262
        # if we try vfs access, return the real branch's vfs transport
 
1263
        self._ensure_real()
 
1264
        return self._real_branch._transport
 
1265
 
 
1266
    _transport = property(_get_real_transport)
 
1267
 
 
1268
    def __str__(self):
 
1269
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
1270
 
 
1271
    __repr__ = __str__
 
1272
 
 
1273
    def _ensure_real(self):
 
1274
        """Ensure that there is a _real_branch set.
 
1275
 
 
1276
        Used before calls to self._real_branch.
 
1277
        """
 
1278
        if self._real_branch is None:
 
1279
            if not vfs.vfs_enabled():
 
1280
                raise AssertionError('smart server vfs must be enabled '
 
1281
                    'to use vfs implementation')
 
1282
            self.bzrdir._ensure_real()
 
1283
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
 
1284
            # Give the remote repository the matching real repo.
 
1285
            real_repo = self._real_branch.repository
 
1286
            if isinstance(real_repo, RemoteRepository):
 
1287
                real_repo._ensure_real()
 
1288
                real_repo = real_repo._real_repository
 
1289
            self.repository._set_real_repository(real_repo)
 
1290
            # Give the branch the remote repository to let fast-pathing happen.
 
1291
            self._real_branch.repository = self.repository
 
1292
            # XXX: deal with _lock_mode == 'w'
 
1293
            if self._lock_mode == 'r':
 
1294
                self._real_branch.lock_read()
 
1295
 
 
1296
    @property
 
1297
    def control_files(self):
 
1298
        # Defer actually creating RemoteBranchLockableFiles until its needed,
 
1299
        # because it triggers an _ensure_real that we otherwise might not need.
 
1300
        if self._control_files is None:
 
1301
            self._control_files = RemoteBranchLockableFiles(
 
1302
                self.bzrdir, self._client)
 
1303
        return self._control_files
 
1304
 
 
1305
    def _get_checkout_format(self):
 
1306
        self._ensure_real()
 
1307
        return self._real_branch._get_checkout_format()
 
1308
 
 
1309
    def get_physical_lock_status(self):
 
1310
        """See Branch.get_physical_lock_status()."""
 
1311
        # should be an API call to the server, as branches must be lockable.
 
1312
        self._ensure_real()
 
1313
        return self._real_branch.get_physical_lock_status()
 
1314
 
 
1315
    def lock_read(self):
 
1316
        if not self._lock_mode:
 
1317
            self._lock_mode = 'r'
 
1318
            self._lock_count = 1
 
1319
            if self._real_branch is not None:
 
1320
                self._real_branch.lock_read()
 
1321
        else:
 
1322
            self._lock_count += 1
 
1323
 
 
1324
    def _remote_lock_write(self, token):
 
1325
        if token is None:
 
1326
            branch_token = repo_token = ''
 
1327
        else:
 
1328
            branch_token = token
 
1329
            repo_token = self.repository.lock_write()
 
1330
            self.repository.unlock()
 
1331
        path = self.bzrdir._path_for_remote_call(self._client)
 
1332
        try:
 
1333
            response = self._client.call(
 
1334
                'Branch.lock_write', path, branch_token, repo_token or '')
 
1335
        except errors.ErrorFromSmartServer, err:
 
1336
            if err.error_verb == 'LockContention':
 
1337
                raise errors.LockContention('(remote lock)')
 
1338
            elif err.error_verb == 'TokenMismatch':
 
1339
                raise errors.TokenMismatch(token, '(remote token)')
 
1340
            elif err.error_verb == 'UnlockableTransport':
 
1341
                raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
1342
            elif err.error_verb == 'ReadOnlyError':
 
1343
                raise errors.ReadOnlyError(self)
 
1344
            elif err.error_verb == 'LockFailed':
 
1345
                raise errors.LockFailed(err.error_args[0], err.error_args[1])
 
1346
            raise
 
1347
        if response[0] != 'ok':
 
1348
            raise errors.UnexpectedSmartServerResponse(response)
 
1349
        ok, branch_token, repo_token = response
 
1350
        return branch_token, repo_token
 
1351
            
 
1352
    def lock_write(self, token=None):
 
1353
        if not self._lock_mode:
 
1354
            remote_tokens = self._remote_lock_write(token)
 
1355
            self._lock_token, self._repo_lock_token = remote_tokens
 
1356
            if not self._lock_token:
 
1357
                raise SmartProtocolError('Remote server did not return a token!')
 
1358
            # TODO: We really, really, really don't want to call _ensure_real
 
1359
            # here, but it's the easiest way to ensure coherency between the
 
1360
            # state of the RemoteBranch and RemoteRepository objects and the
 
1361
            # physical locks.  If we don't materialise the real objects here,
 
1362
            # then getting everything in the right state later is complex, so
 
1363
            # for now we just do it the lazy way.
 
1364
            #   -- Andrew Bennetts, 2007-02-22.
 
1365
            self._ensure_real()
 
1366
            if self._real_branch is not None:
 
1367
                self._real_branch.repository.lock_write(
 
1368
                    token=self._repo_lock_token)
 
1369
                try:
 
1370
                    self._real_branch.lock_write(token=self._lock_token)
 
1371
                finally:
 
1372
                    self._real_branch.repository.unlock()
 
1373
            if token is not None:
 
1374
                self._leave_lock = True
 
1375
            else:
 
1376
                # XXX: this case seems to be unreachable; token cannot be None.
 
1377
                self._leave_lock = False
 
1378
            self._lock_mode = 'w'
 
1379
            self._lock_count = 1
 
1380
        elif self._lock_mode == 'r':
 
1381
            raise errors.ReadOnlyTransaction
 
1382
        else:
 
1383
            if token is not None:
 
1384
                # A token was given to lock_write, and we're relocking, so check
 
1385
                # that the given token actually matches the one we already have.
 
1386
                if token != self._lock_token:
 
1387
                    raise errors.TokenMismatch(token, self._lock_token)
 
1388
            self._lock_count += 1
 
1389
        return self._lock_token or None
 
1390
 
 
1391
    def _unlock(self, branch_token, repo_token):
 
1392
        path = self.bzrdir._path_for_remote_call(self._client)
 
1393
        try:
 
1394
            response = self._client.call('Branch.unlock', path, branch_token,
 
1395
                                         repo_token or '')
 
1396
        except errors.ErrorFromSmartServer, err:
 
1397
            if err.error_verb == 'TokenMismatch':
 
1398
                raise errors.TokenMismatch(
 
1399
                    str((branch_token, repo_token)), '(remote tokens)')
 
1400
            raise
 
1401
        if response == ('ok',):
 
1402
            return
 
1403
        raise errors.UnexpectedSmartServerResponse(response)
 
1404
 
 
1405
    def unlock(self):
 
1406
        self._lock_count -= 1
 
1407
        if not self._lock_count:
 
1408
            self._clear_cached_state()
 
1409
            mode = self._lock_mode
 
1410
            self._lock_mode = None
 
1411
            if self._real_branch is not None:
 
1412
                if (not self._leave_lock and mode == 'w' and
 
1413
                    self._repo_lock_token):
 
1414
                    # If this RemoteBranch will remove the physical lock for the
 
1415
                    # repository, make sure the _real_branch doesn't do it
 
1416
                    # first.  (Because the _real_branch's repository is set to
 
1417
                    # be the RemoteRepository.)
 
1418
                    self._real_branch.repository.leave_lock_in_place()
 
1419
                self._real_branch.unlock()
 
1420
            if mode != 'w':
 
1421
                # Only write-locked branched need to make a remote method call
 
1422
                # to perfom the unlock.
 
1423
                return
 
1424
            if not self._lock_token:
 
1425
                raise AssertionError('Locked, but no token!')
 
1426
            branch_token = self._lock_token
 
1427
            repo_token = self._repo_lock_token
 
1428
            self._lock_token = None
 
1429
            self._repo_lock_token = None
 
1430
            if not self._leave_lock:
 
1431
                self._unlock(branch_token, repo_token)
 
1432
 
 
1433
    def break_lock(self):
 
1434
        self._ensure_real()
 
1435
        return self._real_branch.break_lock()
 
1436
 
 
1437
    def leave_lock_in_place(self):
 
1438
        if not self._lock_token:
 
1439
            raise NotImplementedError(self.leave_lock_in_place)
 
1440
        self._leave_lock = True
 
1441
 
 
1442
    def dont_leave_lock_in_place(self):
 
1443
        if not self._lock_token:
 
1444
            raise NotImplementedError(self.dont_leave_lock_in_place)
 
1445
        self._leave_lock = False
 
1446
 
 
1447
    def last_revision_info(self):
 
1448
        """See Branch.last_revision_info()."""
 
1449
        path = self.bzrdir._path_for_remote_call(self._client)
 
1450
        response = self._client.call('Branch.last_revision_info', path)
 
1451
        if response[0] != 'ok':
 
1452
            raise SmartProtocolError('unexpected response code %s' % (response,))
 
1453
        revno = int(response[1])
 
1454
        last_revision = response[2]
 
1455
        return (revno, last_revision)
 
1456
 
 
1457
    def _gen_revision_history(self):
 
1458
        """See Branch._gen_revision_history()."""
 
1459
        path = self.bzrdir._path_for_remote_call(self._client)
 
1460
        response_tuple, response_handler = self._client.call_expecting_body(
 
1461
            'Branch.revision_history', path)
 
1462
        if response_tuple[0] != 'ok':
 
1463
            raise UnexpectedSmartServerResponse(response_tuple)
 
1464
        result = response_handler.read_body_bytes().split('\x00')
 
1465
        if result == ['']:
 
1466
            return []
 
1467
        return result
 
1468
 
 
1469
    @needs_write_lock
 
1470
    def set_revision_history(self, rev_history):
 
1471
        # Send just the tip revision of the history; the server will generate
 
1472
        # the full history from that.  If the revision doesn't exist in this
 
1473
        # branch, NoSuchRevision will be raised.
 
1474
        path = self.bzrdir._path_for_remote_call(self._client)
 
1475
        if rev_history == []:
 
1476
            rev_id = 'null:'
 
1477
        else:
 
1478
            rev_id = rev_history[-1]
 
1479
        self._clear_cached_state()
 
1480
        try:
 
1481
            response = self._client.call('Branch.set_last_revision',
 
1482
                path, self._lock_token, self._repo_lock_token, rev_id)
 
1483
        except errors.ErrorFromSmartServer, err:
 
1484
            if err.error_verb == 'NoSuchRevision':
 
1485
                raise NoSuchRevision(self, rev_id)
 
1486
            raise
 
1487
        if response != ('ok',):
 
1488
            raise errors.UnexpectedSmartServerResponse(response)
 
1489
        self._cache_revision_history(rev_history)
 
1490
 
 
1491
    def get_parent(self):
 
1492
        self._ensure_real()
 
1493
        return self._real_branch.get_parent()
 
1494
        
 
1495
    def set_parent(self, url):
 
1496
        self._ensure_real()
 
1497
        return self._real_branch.set_parent(url)
 
1498
        
 
1499
    def sprout(self, to_bzrdir, revision_id=None):
 
1500
        # Like Branch.sprout, except that it sprouts a branch in the default
 
1501
        # format, because RemoteBranches can't be created at arbitrary URLs.
 
1502
        # XXX: if to_bzrdir is a RemoteBranch, this should perhaps do
 
1503
        # to_bzrdir.create_branch...
 
1504
        self._ensure_real()
 
1505
        result = self._real_branch._format.initialize(to_bzrdir)
 
1506
        self.copy_content_into(result, revision_id=revision_id)
 
1507
        result.set_parent(self.bzrdir.root_transport.base)
 
1508
        return result
 
1509
 
 
1510
    @needs_write_lock
 
1511
    def pull(self, source, overwrite=False, stop_revision=None,
 
1512
             **kwargs):
 
1513
        self._ensure_real()
 
1514
        return self._real_branch.pull(
 
1515
            source, overwrite=overwrite, stop_revision=stop_revision,
 
1516
            _override_hook_target=self, **kwargs)
 
1517
 
 
1518
    @needs_read_lock
 
1519
    def push(self, target, overwrite=False, stop_revision=None):
 
1520
        self._ensure_real()
 
1521
        return self._real_branch.push(
 
1522
            target, overwrite=overwrite, stop_revision=stop_revision,
 
1523
            _override_hook_source_branch=self)
 
1524
 
 
1525
    def is_locked(self):
 
1526
        return self._lock_count >= 1
 
1527
 
 
1528
    @needs_write_lock
 
1529
    def set_last_revision_info(self, revno, revision_id):
 
1530
        revision_id = ensure_null(revision_id)
 
1531
        path = self.bzrdir._path_for_remote_call(self._client)
 
1532
        try:
 
1533
            response = self._client.call('Branch.set_last_revision_info',
 
1534
                path, self._lock_token, self._repo_lock_token, str(revno), revision_id)
 
1535
        except errors.UnknownSmartMethod:
 
1536
            self._ensure_real()
 
1537
            self._clear_cached_state()
 
1538
            return self._real_branch.set_last_revision_info(revno, revision_id)
 
1539
        except errors.ErrorFromSmartServer, err:
 
1540
            if err.error_verb == 'NoSuchRevision':
 
1541
                raise NoSuchRevision(self, err.error_args[0])
 
1542
            raise
 
1543
        if response == ('ok',):
 
1544
            self._clear_cached_state()
 
1545
        else:
 
1546
            raise errors.UnexpectedSmartServerResponse(response)
 
1547
 
 
1548
    def generate_revision_history(self, revision_id, last_rev=None,
 
1549
                                  other_branch=None):
 
1550
        self._ensure_real()
 
1551
        return self._real_branch.generate_revision_history(
 
1552
            revision_id, last_rev=last_rev, other_branch=other_branch)
 
1553
 
 
1554
    @property
 
1555
    def tags(self):
 
1556
        self._ensure_real()
 
1557
        return self._real_branch.tags
 
1558
 
 
1559
    def set_push_location(self, location):
 
1560
        self._ensure_real()
 
1561
        return self._real_branch.set_push_location(location)
 
1562
 
 
1563
    def update_revisions(self, other, stop_revision=None, overwrite=False,
 
1564
                         graph=None):
 
1565
        self._ensure_real()
 
1566
        return self._real_branch.update_revisions(
 
1567
            other, stop_revision=stop_revision, overwrite=overwrite,
 
1568
            graph=graph)
 
1569
 
 
1570
 
 
1571
def _extract_tar(tar, to_dir):
 
1572
    """Extract all the contents of a tarfile object.
 
1573
 
 
1574
    A replacement for extractall, which is not present in python2.4
 
1575
    """
 
1576
    for tarinfo in tar:
 
1577
        tar.extract(tarinfo, to_dir)