~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2008-05-29 15:57:16 UTC
  • mfrom: (3427.5.9 dep_warnings)
  • Revision ID: pqm@pqm.ubuntu.com-20080529155716-0w3kic8lioa63231
(jam) Enable Deprecation Warnings when running -Werror and when
        running selftest

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
# TODO: At some point, handle upgrades by just passing the whole request
 
18
# across to run on the server.
 
19
 
 
20
import bz2
 
21
from cStringIO import StringIO
 
22
 
 
23
from bzrlib import (
 
24
    branch,
 
25
    debug,
 
26
    errors,
 
27
    graph,
 
28
    lockdir,
 
29
    repository,
 
30
    revision,
 
31
    symbol_versioning,
 
32
)
 
33
from bzrlib.branch import BranchReferenceFormat
 
34
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
 
35
from bzrlib.config import BranchConfig, TreeConfig
 
36
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
37
from bzrlib.errors import (
 
38
    NoSuchRevision,
 
39
    SmartProtocolError,
 
40
    )
 
41
from bzrlib.lockable_files import LockableFiles
 
42
from bzrlib.pack import ContainerPushParser
 
43
from bzrlib.smart import client, vfs
 
44
from bzrlib.symbol_versioning import (
 
45
    deprecated_in,
 
46
    deprecated_method,
 
47
    )
 
48
from bzrlib.revision import ensure_null, NULL_REVISION
 
49
from bzrlib.trace import mutter, note, warning
 
50
 
 
51
# Note: RemoteBzrDirFormat is in bzrdir.py
 
52
 
 
53
class RemoteBzrDir(BzrDir):
 
54
    """Control directory on a remote server, accessed via bzr:// or similar."""
 
55
 
 
56
    def __init__(self, transport, _client=None):
 
57
        """Construct a RemoteBzrDir.
 
58
 
 
59
        :param _client: Private parameter for testing. Disables probing and the
 
60
            use of a real bzrdir.
 
61
        """
 
62
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
 
63
        # this object holds a delegated bzrdir that uses file-level operations
 
64
        # to talk to the other side
 
65
        self._real_bzrdir = None
 
66
 
 
67
        if _client is None:
 
68
            medium = transport.get_smart_medium()
 
69
            self._client = client._SmartClient(medium)
 
70
        else:
 
71
            self._client = _client
 
72
            return
 
73
 
 
74
        path = self._path_for_remote_call(self._client)
 
75
        response = self._client.call('BzrDir.open', path)
 
76
        if response not in [('yes',), ('no',)]:
 
77
            raise errors.UnexpectedSmartServerResponse(response)
 
78
        if response == ('no',):
 
79
            raise errors.NotBranchError(path=transport.base)
 
80
 
 
81
    def _ensure_real(self):
 
82
        """Ensure that there is a _real_bzrdir set.
 
83
 
 
84
        Used before calls to self._real_bzrdir.
 
85
        """
 
86
        if not self._real_bzrdir:
 
87
            self._real_bzrdir = BzrDir.open_from_transport(
 
88
                self.root_transport, _server_formats=False)
 
89
 
 
90
    def create_repository(self, shared=False):
 
91
        self._ensure_real()
 
92
        self._real_bzrdir.create_repository(shared=shared)
 
93
        return self.open_repository()
 
94
 
 
95
    def destroy_repository(self):
 
96
        """See BzrDir.destroy_repository"""
 
97
        self._ensure_real()
 
98
        self._real_bzrdir.destroy_repository()
 
99
 
 
100
    def create_branch(self):
 
101
        self._ensure_real()
 
102
        real_branch = self._real_bzrdir.create_branch()
 
103
        return RemoteBranch(self, self.find_repository(), real_branch)
 
104
 
 
105
    def destroy_branch(self):
 
106
        """See BzrDir.destroy_branch"""
 
107
        self._ensure_real()
 
108
        self._real_bzrdir.destroy_branch()
 
109
 
 
110
    def create_workingtree(self, revision_id=None, from_branch=None):
 
111
        raise errors.NotLocalUrl(self.transport.base)
 
112
 
 
113
    def find_branch_format(self):
 
114
        """Find the branch 'format' for this bzrdir.
 
115
 
 
116
        This might be a synthetic object for e.g. RemoteBranch and SVN.
 
117
        """
 
118
        b = self.open_branch()
 
119
        return b._format
 
120
 
 
121
    def get_branch_reference(self):
 
122
        """See BzrDir.get_branch_reference()."""
 
123
        path = self._path_for_remote_call(self._client)
 
124
        try:
 
125
            response = self._client.call('BzrDir.open_branch', path)
 
126
        except errors.ErrorFromSmartServer, err:
 
127
            if err.error_tuple == ('nobranch',):
 
128
                raise errors.NotBranchError(path=self.root_transport.base)
 
129
            raise
 
130
        if response[0] == 'ok':
 
131
            if response[1] == '':
 
132
                # branch at this location.
 
133
                return None
 
134
            else:
 
135
                # a branch reference, use the existing BranchReference logic.
 
136
                return response[1]
 
137
        else:
 
138
            raise errors.UnexpectedSmartServerResponse(response)
 
139
 
 
140
    def _get_tree_branch(self):
 
141
        """See BzrDir._get_tree_branch()."""
 
142
        return None, self.open_branch()
 
143
 
 
144
    def open_branch(self, _unsupported=False):
 
145
        if _unsupported:
 
146
            raise NotImplementedError('unsupported flag support not implemented yet.')
 
147
        reference_url = self.get_branch_reference()
 
148
        if reference_url is None:
 
149
            # branch at this location.
 
150
            return RemoteBranch(self, self.find_repository())
 
151
        else:
 
152
            # a branch reference, use the existing BranchReference logic.
 
153
            format = BranchReferenceFormat()
 
154
            return format.open(self, _found=True, location=reference_url)
 
155
                
 
156
    def open_repository(self):
 
157
        path = self._path_for_remote_call(self._client)
 
158
        verb = 'BzrDir.find_repositoryV2'
 
159
        try:
 
160
            try:
 
161
                response = self._client.call(verb, path)
 
162
            except errors.UnknownSmartMethod:
 
163
                verb = 'BzrDir.find_repository'
 
164
                response = self._client.call(verb, path)
 
165
        except errors.ErrorFromSmartServer, err:
 
166
            if err.error_verb == 'norepository':
 
167
                raise errors.NoRepositoryPresent(self)
 
168
            raise
 
169
        if response[0] != 'ok':
 
170
            raise errors.UnexpectedSmartServerResponse(response)
 
171
        if verb == 'BzrDir.find_repository':
 
172
            # servers that don't support the V2 method don't support external
 
173
            # references either.
 
174
            response = response + ('no', )
 
175
        if not (len(response) == 5):
 
176
            raise SmartProtocolError('incorrect response length %s' % (response,))
 
177
        if response[1] == '':
 
178
            format = RemoteRepositoryFormat()
 
179
            format.rich_root_data = (response[2] == 'yes')
 
180
            format.supports_tree_reference = (response[3] == 'yes')
 
181
            # No wire format to check this yet.
 
182
            format.supports_external_lookups = (response[4] == 'yes')
 
183
            return RemoteRepository(self, format)
 
184
        else:
 
185
            raise errors.NoRepositoryPresent(self)
 
186
 
 
187
    def open_workingtree(self, recommend_upgrade=True):
 
188
        self._ensure_real()
 
189
        if self._real_bzrdir.has_workingtree():
 
190
            raise errors.NotLocalUrl(self.root_transport)
 
191
        else:
 
192
            raise errors.NoWorkingTree(self.root_transport.base)
 
193
 
 
194
    def _path_for_remote_call(self, client):
 
195
        """Return the path to be used for this bzrdir in a remote call."""
 
196
        return client.remote_path_from_transport(self.root_transport)
 
197
 
 
198
    def get_branch_transport(self, branch_format):
 
199
        self._ensure_real()
 
200
        return self._real_bzrdir.get_branch_transport(branch_format)
 
201
 
 
202
    def get_repository_transport(self, repository_format):
 
203
        self._ensure_real()
 
204
        return self._real_bzrdir.get_repository_transport(repository_format)
 
205
 
 
206
    def get_workingtree_transport(self, workingtree_format):
 
207
        self._ensure_real()
 
208
        return self._real_bzrdir.get_workingtree_transport(workingtree_format)
 
209
 
 
210
    def can_convert_format(self):
 
211
        """Upgrading of remote bzrdirs is not supported yet."""
 
212
        return False
 
213
 
 
214
    def needs_format_conversion(self, format=None):
 
215
        """Upgrading of remote bzrdirs is not supported yet."""
 
216
        return False
 
217
 
 
218
    def clone(self, url, revision_id=None, force_new_repo=False):
 
219
        self._ensure_real()
 
220
        return self._real_bzrdir.clone(url, revision_id=revision_id,
 
221
            force_new_repo=force_new_repo)
 
222
 
 
223
 
 
224
class RemoteRepositoryFormat(repository.RepositoryFormat):
 
225
    """Format for repositories accessed over a _SmartClient.
 
226
 
 
227
    Instances of this repository are represented by RemoteRepository
 
228
    instances.
 
229
 
 
230
    The RemoteRepositoryFormat is parameterized during construction
 
231
    to reflect the capabilities of the real, remote format. Specifically
 
232
    the attributes rich_root_data and supports_tree_reference are set
 
233
    on a per instance basis, and are not set (and should not be) at
 
234
    the class level.
 
235
    """
 
236
 
 
237
    _matchingbzrdir = RemoteBzrDirFormat
 
238
 
 
239
    def initialize(self, a_bzrdir, shared=False):
 
240
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
241
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
 
242
        return a_bzrdir.create_repository(shared=shared)
 
243
    
 
244
    def open(self, a_bzrdir):
 
245
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
246
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
 
247
        return a_bzrdir.open_repository()
 
248
 
 
249
    def get_format_description(self):
 
250
        return 'bzr remote repository'
 
251
 
 
252
    def __eq__(self, other):
 
253
        return self.__class__ == other.__class__
 
254
 
 
255
    def check_conversion_target(self, target_format):
 
256
        if self.rich_root_data and not target_format.rich_root_data:
 
257
            raise errors.BadConversionTarget(
 
258
                'Does not support rich root data.', target_format)
 
259
        if (self.supports_tree_reference and
 
260
            not getattr(target_format, 'supports_tree_reference', False)):
 
261
            raise errors.BadConversionTarget(
 
262
                'Does not support nested trees', target_format)
 
263
 
 
264
 
 
265
class RemoteRepository(object):
 
266
    """Repository accessed over rpc.
 
267
 
 
268
    For the moment most operations are performed using local transport-backed
 
269
    Repository objects.
 
270
    """
 
271
 
 
272
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
 
273
        """Create a RemoteRepository instance.
 
274
        
 
275
        :param remote_bzrdir: The bzrdir hosting this repository.
 
276
        :param format: The RemoteFormat object to use.
 
277
        :param real_repository: If not None, a local implementation of the
 
278
            repository logic for the repository, usually accessing the data
 
279
            via the VFS.
 
280
        :param _client: Private testing parameter - override the smart client
 
281
            to be used by the repository.
 
282
        """
 
283
        if real_repository:
 
284
            self._real_repository = real_repository
 
285
        else:
 
286
            self._real_repository = None
 
287
        self.bzrdir = remote_bzrdir
 
288
        if _client is None:
 
289
            self._client = remote_bzrdir._client
 
290
        else:
 
291
            self._client = _client
 
292
        self._format = format
 
293
        self._lock_mode = None
 
294
        self._lock_token = None
 
295
        self._lock_count = 0
 
296
        self._leave_lock = False
 
297
        # A cache of looked up revision parent data; reset at unlock time.
 
298
        self._parents_map = None
 
299
        if 'hpss' in debug.debug_flags:
 
300
            self._requested_parents = None
 
301
        # For tests:
 
302
        # These depend on the actual remote format, so force them off for
 
303
        # maximum compatibility. XXX: In future these should depend on the
 
304
        # remote repository instance, but this is irrelevant until we perform
 
305
        # reconcile via an RPC call.
 
306
        self._reconcile_does_inventory_gc = False
 
307
        self._reconcile_fixes_text_parents = False
 
308
        self._reconcile_backsup_inventory = False
 
309
        self.base = self.bzrdir.transport.base
 
310
 
 
311
    def __str__(self):
 
312
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
313
 
 
314
    __repr__ = __str__
 
315
 
 
316
    def abort_write_group(self):
 
317
        """Complete a write group on the decorated repository.
 
318
        
 
319
        Smart methods peform operations in a single step so this api
 
320
        is not really applicable except as a compatibility thunk
 
321
        for older plugins that don't use e.g. the CommitBuilder
 
322
        facility.
 
323
        """
 
324
        self._ensure_real()
 
325
        return self._real_repository.abort_write_group()
 
326
 
 
327
    def commit_write_group(self):
 
328
        """Complete a write group on the decorated repository.
 
329
        
 
330
        Smart methods peform operations in a single step so this api
 
331
        is not really applicable except as a compatibility thunk
 
332
        for older plugins that don't use e.g. the CommitBuilder
 
333
        facility.
 
334
        """
 
335
        self._ensure_real()
 
336
        return self._real_repository.commit_write_group()
 
337
 
 
338
    def _ensure_real(self):
 
339
        """Ensure that there is a _real_repository set.
 
340
 
 
341
        Used before calls to self._real_repository.
 
342
        """
 
343
        if not self._real_repository:
 
344
            self.bzrdir._ensure_real()
 
345
            #self._real_repository = self.bzrdir._real_bzrdir.open_repository()
 
346
            self._set_real_repository(self.bzrdir._real_bzrdir.open_repository())
 
347
 
 
348
    def find_text_key_references(self):
 
349
        """Find the text key references within the repository.
 
350
 
 
351
        :return: a dictionary mapping (file_id, revision_id) tuples to altered file-ids to an iterable of
 
352
        revision_ids. Each altered file-ids has the exact revision_ids that
 
353
        altered it listed explicitly.
 
354
        :return: A dictionary mapping text keys ((fileid, revision_id) tuples)
 
355
            to whether they were referred to by the inventory of the
 
356
            revision_id that they contain. The inventory texts from all present
 
357
            revision ids are assessed to generate this report.
 
358
        """
 
359
        self._ensure_real()
 
360
        return self._real_repository.find_text_key_references()
 
361
 
 
362
    def _generate_text_key_index(self):
 
363
        """Generate a new text key index for the repository.
 
364
 
 
365
        This is an expensive function that will take considerable time to run.
 
366
 
 
367
        :return: A dict mapping (file_id, revision_id) tuples to a list of
 
368
            parents, also (file_id, revision_id) tuples.
 
369
        """
 
370
        self._ensure_real()
 
371
        return self._real_repository._generate_text_key_index()
 
372
 
 
373
    @symbol_versioning.deprecated_method(symbol_versioning.one_four)
 
374
    def get_revision_graph(self, revision_id=None):
 
375
        """See Repository.get_revision_graph()."""
 
376
        return self._get_revision_graph(revision_id)
 
377
 
 
378
    def _get_revision_graph(self, revision_id):
 
379
        """Private method for using with old (< 1.2) servers to fallback."""
 
380
        if revision_id is None:
 
381
            revision_id = ''
 
382
        elif revision.is_null(revision_id):
 
383
            return {}
 
384
 
 
385
        path = self.bzrdir._path_for_remote_call(self._client)
 
386
        try:
 
387
            response = self._client.call_expecting_body(
 
388
                'Repository.get_revision_graph', path, revision_id)
 
389
        except errors.ErrorFromSmartServer, err:
 
390
            if err.error_verb == 'nosuchrevision':
 
391
                raise NoSuchRevision(self, revision_id)
 
392
            raise
 
393
        response_tuple, response_handler = response
 
394
        if response_tuple[0] != 'ok':
 
395
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
396
        coded = response_handler.read_body_bytes()
 
397
        if coded == '':
 
398
            # no revisions in this repository!
 
399
            return {}
 
400
        lines = coded.split('\n')
 
401
        revision_graph = {}
 
402
        for line in lines:
 
403
            d = tuple(line.split())
 
404
            revision_graph[d[0]] = d[1:]
 
405
            
 
406
        return revision_graph
 
407
 
 
408
    def has_revision(self, revision_id):
 
409
        """See Repository.has_revision()."""
 
410
        if revision_id == NULL_REVISION:
 
411
            # The null revision is always present.
 
412
            return True
 
413
        path = self.bzrdir._path_for_remote_call(self._client)
 
414
        response = self._client.call(
 
415
            'Repository.has_revision', path, revision_id)
 
416
        if response[0] not in ('yes', 'no'):
 
417
            raise errors.UnexpectedSmartServerResponse(response)
 
418
        return response[0] == 'yes'
 
419
 
 
420
    def has_revisions(self, revision_ids):
 
421
        """See Repository.has_revisions()."""
 
422
        result = set()
 
423
        for revision_id in revision_ids:
 
424
            if self.has_revision(revision_id):
 
425
                result.add(revision_id)
 
426
        return result
 
427
 
 
428
    def has_same_location(self, other):
 
429
        return (self.__class__ == other.__class__ and
 
430
                self.bzrdir.transport.base == other.bzrdir.transport.base)
 
431
        
 
432
    def get_graph(self, other_repository=None):
 
433
        """Return the graph for this repository format"""
 
434
        parents_provider = self
 
435
        if (other_repository is not None and
 
436
            other_repository.bzrdir.transport.base !=
 
437
            self.bzrdir.transport.base):
 
438
            parents_provider = graph._StackedParentsProvider(
 
439
                [parents_provider, other_repository._make_parents_provider()])
 
440
        return graph.Graph(parents_provider)
 
441
 
 
442
    def gather_stats(self, revid=None, committers=None):
 
443
        """See Repository.gather_stats()."""
 
444
        path = self.bzrdir._path_for_remote_call(self._client)
 
445
        # revid can be None to indicate no revisions, not just NULL_REVISION
 
446
        if revid is None or revision.is_null(revid):
 
447
            fmt_revid = ''
 
448
        else:
 
449
            fmt_revid = revid
 
450
        if committers is None or not committers:
 
451
            fmt_committers = 'no'
 
452
        else:
 
453
            fmt_committers = 'yes'
 
454
        response_tuple, response_handler = self._client.call_expecting_body(
 
455
            'Repository.gather_stats', path, fmt_revid, fmt_committers)
 
456
        if response_tuple[0] != 'ok':
 
457
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
458
 
 
459
        body = response_handler.read_body_bytes()
 
460
        result = {}
 
461
        for line in body.split('\n'):
 
462
            if not line:
 
463
                continue
 
464
            key, val_text = line.split(':')
 
465
            if key in ('revisions', 'size', 'committers'):
 
466
                result[key] = int(val_text)
 
467
            elif key in ('firstrev', 'latestrev'):
 
468
                values = val_text.split(' ')[1:]
 
469
                result[key] = (float(values[0]), long(values[1]))
 
470
 
 
471
        return result
 
472
 
 
473
    def find_branches(self, using=False):
 
474
        """See Repository.find_branches()."""
 
475
        # should be an API call to the server.
 
476
        self._ensure_real()
 
477
        return self._real_repository.find_branches(using=using)
 
478
 
 
479
    def get_physical_lock_status(self):
 
480
        """See Repository.get_physical_lock_status()."""
 
481
        # should be an API call to the server.
 
482
        self._ensure_real()
 
483
        return self._real_repository.get_physical_lock_status()
 
484
 
 
485
    def is_in_write_group(self):
 
486
        """Return True if there is an open write group.
 
487
 
 
488
        write groups are only applicable locally for the smart server..
 
489
        """
 
490
        if self._real_repository:
 
491
            return self._real_repository.is_in_write_group()
 
492
 
 
493
    def is_locked(self):
 
494
        return self._lock_count >= 1
 
495
 
 
496
    def is_shared(self):
 
497
        """See Repository.is_shared()."""
 
498
        path = self.bzrdir._path_for_remote_call(self._client)
 
499
        response = self._client.call('Repository.is_shared', path)
 
500
        if response[0] not in ('yes', 'no'):
 
501
            raise SmartProtocolError('unexpected response code %s' % (response,))
 
502
        return response[0] == 'yes'
 
503
 
 
504
    def is_write_locked(self):
 
505
        return self._lock_mode == 'w'
 
506
 
 
507
    def lock_read(self):
 
508
        # wrong eventually - want a local lock cache context
 
509
        if not self._lock_mode:
 
510
            self._lock_mode = 'r'
 
511
            self._lock_count = 1
 
512
            self._parents_map = {}
 
513
            if 'hpss' in debug.debug_flags:
 
514
                self._requested_parents = set()
 
515
            if self._real_repository is not None:
 
516
                self._real_repository.lock_read()
 
517
        else:
 
518
            self._lock_count += 1
 
519
 
 
520
    def _remote_lock_write(self, token):
 
521
        path = self.bzrdir._path_for_remote_call(self._client)
 
522
        if token is None:
 
523
            token = ''
 
524
        try:
 
525
            response = self._client.call('Repository.lock_write', path, token)
 
526
        except errors.ErrorFromSmartServer, err:
 
527
            if err.error_verb == 'LockContention':
 
528
                raise errors.LockContention('(remote lock)')
 
529
            elif err.error_verb == 'UnlockableTransport':
 
530
                raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
531
            elif err.error_verb == 'LockFailed':
 
532
                raise errors.LockFailed(err.error_args[0], err.error_args[1])
 
533
            raise
 
534
 
 
535
        if response[0] == 'ok':
 
536
            ok, token = response
 
537
            return token
 
538
        else:
 
539
            raise errors.UnexpectedSmartServerResponse(response)
 
540
 
 
541
    def lock_write(self, token=None):
 
542
        if not self._lock_mode:
 
543
            self._lock_token = self._remote_lock_write(token)
 
544
            # if self._lock_token is None, then this is something like packs or
 
545
            # svn where we don't get to lock the repo, or a weave style repository
 
546
            # where we cannot lock it over the wire and attempts to do so will
 
547
            # fail.
 
548
            if self._real_repository is not None:
 
549
                self._real_repository.lock_write(token=self._lock_token)
 
550
            if token is not None:
 
551
                self._leave_lock = True
 
552
            else:
 
553
                self._leave_lock = False
 
554
            self._lock_mode = 'w'
 
555
            self._lock_count = 1
 
556
            self._parents_map = {}
 
557
            if 'hpss' in debug.debug_flags:
 
558
                self._requested_parents = set()
 
559
        elif self._lock_mode == 'r':
 
560
            raise errors.ReadOnlyError(self)
 
561
        else:
 
562
            self._lock_count += 1
 
563
        return self._lock_token or None
 
564
 
 
565
    def leave_lock_in_place(self):
 
566
        if not self._lock_token:
 
567
            raise NotImplementedError(self.leave_lock_in_place)
 
568
        self._leave_lock = True
 
569
 
 
570
    def dont_leave_lock_in_place(self):
 
571
        if not self._lock_token:
 
572
            raise NotImplementedError(self.dont_leave_lock_in_place)
 
573
        self._leave_lock = False
 
574
 
 
575
    def _set_real_repository(self, repository):
 
576
        """Set the _real_repository for this repository.
 
577
 
 
578
        :param repository: The repository to fallback to for non-hpss
 
579
            implemented operations.
 
580
        """
 
581
        if isinstance(repository, RemoteRepository):
 
582
            raise AssertionError()
 
583
        self._real_repository = repository
 
584
        if self._lock_mode == 'w':
 
585
            # if we are already locked, the real repository must be able to
 
586
            # acquire the lock with our token.
 
587
            self._real_repository.lock_write(self._lock_token)
 
588
        elif self._lock_mode == 'r':
 
589
            self._real_repository.lock_read()
 
590
 
 
591
    def start_write_group(self):
 
592
        """Start a write group on the decorated repository.
 
593
        
 
594
        Smart methods peform operations in a single step so this api
 
595
        is not really applicable except as a compatibility thunk
 
596
        for older plugins that don't use e.g. the CommitBuilder
 
597
        facility.
 
598
        """
 
599
        self._ensure_real()
 
600
        return self._real_repository.start_write_group()
 
601
 
 
602
    def _unlock(self, token):
 
603
        path = self.bzrdir._path_for_remote_call(self._client)
 
604
        if not token:
 
605
            # with no token the remote repository is not persistently locked.
 
606
            return
 
607
        try:
 
608
            response = self._client.call('Repository.unlock', path, token)
 
609
        except errors.ErrorFromSmartServer, err:
 
610
            if err.error_verb == 'TokenMismatch':
 
611
                raise errors.TokenMismatch(token, '(remote token)')
 
612
            raise
 
613
        if response == ('ok',):
 
614
            return
 
615
        else:
 
616
            raise errors.UnexpectedSmartServerResponse(response)
 
617
 
 
618
    def unlock(self):
 
619
        self._lock_count -= 1
 
620
        if self._lock_count > 0:
 
621
            return
 
622
        self._parents_map = None
 
623
        if 'hpss' in debug.debug_flags:
 
624
            self._requested_parents = None
 
625
        old_mode = self._lock_mode
 
626
        self._lock_mode = None
 
627
        try:
 
628
            # The real repository is responsible at present for raising an
 
629
            # exception if it's in an unfinished write group.  However, it
 
630
            # normally will *not* actually remove the lock from disk - that's
 
631
            # done by the server on receiving the Repository.unlock call.
 
632
            # This is just to let the _real_repository stay up to date.
 
633
            if self._real_repository is not None:
 
634
                self._real_repository.unlock()
 
635
        finally:
 
636
            # The rpc-level lock should be released even if there was a
 
637
            # problem releasing the vfs-based lock.
 
638
            if old_mode == 'w':
 
639
                # Only write-locked repositories need to make a remote method
 
640
                # call to perfom the unlock.
 
641
                old_token = self._lock_token
 
642
                self._lock_token = None
 
643
                if not self._leave_lock:
 
644
                    self._unlock(old_token)
 
645
 
 
646
    def break_lock(self):
 
647
        # should hand off to the network
 
648
        self._ensure_real()
 
649
        return self._real_repository.break_lock()
 
650
 
 
651
    def _get_tarball(self, compression):
 
652
        """Return a TemporaryFile containing a repository tarball.
 
653
        
 
654
        Returns None if the server does not support sending tarballs.
 
655
        """
 
656
        import tempfile
 
657
        path = self.bzrdir._path_for_remote_call(self._client)
 
658
        try:
 
659
            response, protocol = self._client.call_expecting_body(
 
660
                'Repository.tarball', path, compression)
 
661
        except errors.UnknownSmartMethod:
 
662
            protocol.cancel_read_body()
 
663
            return None
 
664
        if response[0] == 'ok':
 
665
            # Extract the tarball and return it
 
666
            t = tempfile.NamedTemporaryFile()
 
667
            # TODO: rpc layer should read directly into it...
 
668
            t.write(protocol.read_body_bytes())
 
669
            t.seek(0)
 
670
            return t
 
671
        raise errors.UnexpectedSmartServerResponse(response)
 
672
 
 
673
    def sprout(self, to_bzrdir, revision_id=None):
 
674
        # TODO: Option to control what format is created?
 
675
        self._ensure_real()
 
676
        dest_repo = self._real_repository._format.initialize(to_bzrdir,
 
677
                                                             shared=False)
 
678
        dest_repo.fetch(self, revision_id=revision_id)
 
679
        return dest_repo
 
680
 
 
681
    ### These methods are just thin shims to the VFS object for now.
 
682
 
 
683
    def revision_tree(self, revision_id):
 
684
        self._ensure_real()
 
685
        return self._real_repository.revision_tree(revision_id)
 
686
 
 
687
    def get_serializer_format(self):
 
688
        self._ensure_real()
 
689
        return self._real_repository.get_serializer_format()
 
690
 
 
691
    def get_commit_builder(self, branch, parents, config, timestamp=None,
 
692
                           timezone=None, committer=None, revprops=None,
 
693
                           revision_id=None):
 
694
        # FIXME: It ought to be possible to call this without immediately
 
695
        # triggering _ensure_real.  For now it's the easiest thing to do.
 
696
        self._ensure_real()
 
697
        builder = self._real_repository.get_commit_builder(branch, parents,
 
698
                config, timestamp=timestamp, timezone=timezone,
 
699
                committer=committer, revprops=revprops, revision_id=revision_id)
 
700
        return builder
 
701
 
 
702
    def add_inventory(self, revid, inv, parents):
 
703
        self._ensure_real()
 
704
        return self._real_repository.add_inventory(revid, inv, parents)
 
705
 
 
706
    def add_revision(self, rev_id, rev, inv=None, config=None):
 
707
        self._ensure_real()
 
708
        return self._real_repository.add_revision(
 
709
            rev_id, rev, inv=inv, config=config)
 
710
 
 
711
    @needs_read_lock
 
712
    def get_inventory(self, revision_id):
 
713
        self._ensure_real()
 
714
        return self._real_repository.get_inventory(revision_id)
 
715
 
 
716
    def iter_inventories(self, revision_ids):
 
717
        self._ensure_real()
 
718
        return self._real_repository.iter_inventories(revision_ids)
 
719
 
 
720
    @needs_read_lock
 
721
    def get_revision(self, revision_id):
 
722
        self._ensure_real()
 
723
        return self._real_repository.get_revision(revision_id)
 
724
 
 
725
    @property
 
726
    def weave_store(self):
 
727
        self._ensure_real()
 
728
        return self._real_repository.weave_store
 
729
 
 
730
    def get_transaction(self):
 
731
        self._ensure_real()
 
732
        return self._real_repository.get_transaction()
 
733
 
 
734
    @needs_read_lock
 
735
    def clone(self, a_bzrdir, revision_id=None):
 
736
        self._ensure_real()
 
737
        return self._real_repository.clone(a_bzrdir, revision_id=revision_id)
 
738
 
 
739
    def make_working_trees(self):
 
740
        """See Repository.make_working_trees"""
 
741
        self._ensure_real()
 
742
        return self._real_repository.make_working_trees()
 
743
 
 
744
    def revision_ids_to_search_result(self, result_set):
 
745
        """Convert a set of revision ids to a graph SearchResult."""
 
746
        result_parents = set()
 
747
        for parents in self.get_graph().get_parent_map(
 
748
            result_set).itervalues():
 
749
            result_parents.update(parents)
 
750
        included_keys = result_set.intersection(result_parents)
 
751
        start_keys = result_set.difference(included_keys)
 
752
        exclude_keys = result_parents.difference(result_set)
 
753
        result = graph.SearchResult(start_keys, exclude_keys,
 
754
            len(result_set), result_set)
 
755
        return result
 
756
 
 
757
    @needs_read_lock
 
758
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
 
759
        """Return the revision ids that other has that this does not.
 
760
        
 
761
        These are returned in topological order.
 
762
 
 
763
        revision_id: only return revision ids included by revision_id.
 
764
        """
 
765
        return repository.InterRepository.get(
 
766
            other, self).search_missing_revision_ids(revision_id, find_ghosts)
 
767
 
 
768
    def fetch(self, source, revision_id=None, pb=None):
 
769
        if self.has_same_location(source):
 
770
            # check that last_revision is in 'from' and then return a
 
771
            # no-operation.
 
772
            if (revision_id is not None and
 
773
                not revision.is_null(revision_id)):
 
774
                self.get_revision(revision_id)
 
775
            return 0, []
 
776
        self._ensure_real()
 
777
        return self._real_repository.fetch(
 
778
            source, revision_id=revision_id, pb=pb)
 
779
 
 
780
    def create_bundle(self, target, base, fileobj, format=None):
 
781
        self._ensure_real()
 
782
        self._real_repository.create_bundle(target, base, fileobj, format)
 
783
 
 
784
    @property
 
785
    def control_weaves(self):
 
786
        self._ensure_real()
 
787
        return self._real_repository.control_weaves
 
788
 
 
789
    @needs_read_lock
 
790
    def get_ancestry(self, revision_id, topo_sorted=True):
 
791
        self._ensure_real()
 
792
        return self._real_repository.get_ancestry(revision_id, topo_sorted)
 
793
 
 
794
    @needs_read_lock
 
795
    def get_inventory_weave(self):
 
796
        self._ensure_real()
 
797
        return self._real_repository.get_inventory_weave()
 
798
 
 
799
    def fileids_altered_by_revision_ids(self, revision_ids):
 
800
        self._ensure_real()
 
801
        return self._real_repository.fileids_altered_by_revision_ids(revision_ids)
 
802
 
 
803
    def _get_versioned_file_checker(self, revisions, revision_versions_cache):
 
804
        self._ensure_real()
 
805
        return self._real_repository._get_versioned_file_checker(
 
806
            revisions, revision_versions_cache)
 
807
        
 
808
    def iter_files_bytes(self, desired_files):
 
809
        """See Repository.iter_file_bytes.
 
810
        """
 
811
        self._ensure_real()
 
812
        return self._real_repository.iter_files_bytes(desired_files)
 
813
 
 
814
    def get_parent_map(self, keys):
 
815
        """See bzrlib.Graph.get_parent_map()."""
 
816
        # Hack to build up the caching logic.
 
817
        ancestry = self._parents_map
 
818
        if ancestry is None:
 
819
            # Repository is not locked, so there's no cache.
 
820
            missing_revisions = set(keys)
 
821
            ancestry = {}
 
822
        else:
 
823
            missing_revisions = set(key for key in keys if key not in ancestry)
 
824
        if missing_revisions:
 
825
            parent_map = self._get_parent_map(missing_revisions)
 
826
            if 'hpss' in debug.debug_flags:
 
827
                mutter('retransmitted revisions: %d of %d',
 
828
                        len(set(ancestry).intersection(parent_map)),
 
829
                        len(parent_map))
 
830
            ancestry.update(parent_map)
 
831
        present_keys = [k for k in keys if k in ancestry]
 
832
        if 'hpss' in debug.debug_flags:
 
833
            if self._requested_parents is not None and len(ancestry) != 0:
 
834
                self._requested_parents.update(present_keys)
 
835
                mutter('Current RemoteRepository graph hit rate: %d%%',
 
836
                    100.0 * len(self._requested_parents) / len(ancestry))
 
837
        return dict((k, ancestry[k]) for k in present_keys)
 
838
 
 
839
    def _get_parent_map(self, keys):
 
840
        """Helper for get_parent_map that performs the RPC."""
 
841
        medium = self._client._medium
 
842
        if not medium._remote_is_at_least_1_2:
 
843
            # We already found out that the server can't understand
 
844
            # Repository.get_parent_map requests, so just fetch the whole
 
845
            # graph.
 
846
            # XXX: Note that this will issue a deprecation warning. This is ok
 
847
            # :- its because we're working with a deprecated server anyway, and
 
848
            # the user will almost certainly have seen a warning about the
 
849
            # server version already.
 
850
            rg = self.get_revision_graph()
 
851
            # There is an api discrepency between get_parent_map and
 
852
            # get_revision_graph. Specifically, a "key:()" pair in
 
853
            # get_revision_graph just means a node has no parents. For
 
854
            # "get_parent_map" it means the node is a ghost. So fix up the
 
855
            # graph to correct this.
 
856
            #   https://bugs.launchpad.net/bzr/+bug/214894
 
857
            # There is one other "bug" which is that ghosts in
 
858
            # get_revision_graph() are not returned at all. But we won't worry
 
859
            # about that for now.
 
860
            for node_id, parent_ids in rg.iteritems():
 
861
                if parent_ids == ():
 
862
                    rg[node_id] = (NULL_REVISION,)
 
863
            rg[NULL_REVISION] = ()
 
864
            return rg
 
865
 
 
866
        keys = set(keys)
 
867
        if None in keys:
 
868
            raise ValueError('get_parent_map(None) is not valid')
 
869
        if NULL_REVISION in keys:
 
870
            keys.discard(NULL_REVISION)
 
871
            found_parents = {NULL_REVISION:()}
 
872
            if not keys:
 
873
                return found_parents
 
874
        else:
 
875
            found_parents = {}
 
876
        # TODO(Needs analysis): We could assume that the keys being requested
 
877
        # from get_parent_map are in a breadth first search, so typically they
 
878
        # will all be depth N from some common parent, and we don't have to
 
879
        # have the server iterate from the root parent, but rather from the
 
880
        # keys we're searching; and just tell the server the keyspace we
 
881
        # already have; but this may be more traffic again.
 
882
 
 
883
        # Transform self._parents_map into a search request recipe.
 
884
        # TODO: Manage this incrementally to avoid covering the same path
 
885
        # repeatedly. (The server will have to on each request, but the less
 
886
        # work done the better).
 
887
        parents_map = self._parents_map
 
888
        if parents_map is None:
 
889
            # Repository is not locked, so there's no cache.
 
890
            parents_map = {}
 
891
        start_set = set(parents_map)
 
892
        result_parents = set()
 
893
        for parents in parents_map.itervalues():
 
894
            result_parents.update(parents)
 
895
        stop_keys = result_parents.difference(start_set)
 
896
        included_keys = start_set.intersection(result_parents)
 
897
        start_set.difference_update(included_keys)
 
898
        recipe = (start_set, stop_keys, len(parents_map))
 
899
        body = self._serialise_search_recipe(recipe)
 
900
        path = self.bzrdir._path_for_remote_call(self._client)
 
901
        for key in keys:
 
902
            if type(key) is not str:
 
903
                raise ValueError(
 
904
                    "key %r not a plain string" % (key,))
 
905
        verb = 'Repository.get_parent_map'
 
906
        args = (path,) + tuple(keys)
 
907
        try:
 
908
            response = self._client.call_with_body_bytes_expecting_body(
 
909
                verb, args, self._serialise_search_recipe(recipe))
 
910
        except errors.UnknownSmartMethod:
 
911
            # Server does not support this method, so get the whole graph.
 
912
            # Worse, we have to force a disconnection, because the server now
 
913
            # doesn't realise it has a body on the wire to consume, so the
 
914
            # only way to recover is to abandon the connection.
 
915
            warning(
 
916
                'Server is too old for fast get_parent_map, reconnecting.  '
 
917
                '(Upgrade the server to Bazaar 1.2 to avoid this)')
 
918
            medium.disconnect()
 
919
            # To avoid having to disconnect repeatedly, we keep track of the
 
920
            # fact the server doesn't understand remote methods added in 1.2.
 
921
            medium._remote_is_at_least_1_2 = False
 
922
            return self.get_revision_graph(None)
 
923
        response_tuple, response_handler = response
 
924
        if response_tuple[0] not in ['ok']:
 
925
            response_handler.cancel_read_body()
 
926
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
927
        if response_tuple[0] == 'ok':
 
928
            coded = bz2.decompress(response_handler.read_body_bytes())
 
929
            if coded == '':
 
930
                # no revisions found
 
931
                return {}
 
932
            lines = coded.split('\n')
 
933
            revision_graph = {}
 
934
            for line in lines:
 
935
                d = tuple(line.split())
 
936
                if len(d) > 1:
 
937
                    revision_graph[d[0]] = d[1:]
 
938
                else:
 
939
                    # No parents - so give the Graph result (NULL_REVISION,).
 
940
                    revision_graph[d[0]] = (NULL_REVISION,)
 
941
            return revision_graph
 
942
 
 
943
    @needs_read_lock
 
944
    def get_signature_text(self, revision_id):
 
945
        self._ensure_real()
 
946
        return self._real_repository.get_signature_text(revision_id)
 
947
 
 
948
    @needs_read_lock
 
949
    @symbol_versioning.deprecated_method(symbol_versioning.one_three)
 
950
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
951
        self._ensure_real()
 
952
        return self._real_repository.get_revision_graph_with_ghosts(
 
953
            revision_ids=revision_ids)
 
954
 
 
955
    @needs_read_lock
 
956
    def get_inventory_xml(self, revision_id):
 
957
        self._ensure_real()
 
958
        return self._real_repository.get_inventory_xml(revision_id)
 
959
 
 
960
    def deserialise_inventory(self, revision_id, xml):
 
961
        self._ensure_real()
 
962
        return self._real_repository.deserialise_inventory(revision_id, xml)
 
963
 
 
964
    def reconcile(self, other=None, thorough=False):
 
965
        self._ensure_real()
 
966
        return self._real_repository.reconcile(other=other, thorough=thorough)
 
967
        
 
968
    def all_revision_ids(self):
 
969
        self._ensure_real()
 
970
        return self._real_repository.all_revision_ids()
 
971
    
 
972
    @needs_read_lock
 
973
    def get_deltas_for_revisions(self, revisions):
 
974
        self._ensure_real()
 
975
        return self._real_repository.get_deltas_for_revisions(revisions)
 
976
 
 
977
    @needs_read_lock
 
978
    def get_revision_delta(self, revision_id):
 
979
        self._ensure_real()
 
980
        return self._real_repository.get_revision_delta(revision_id)
 
981
 
 
982
    @needs_read_lock
 
983
    def revision_trees(self, revision_ids):
 
984
        self._ensure_real()
 
985
        return self._real_repository.revision_trees(revision_ids)
 
986
 
 
987
    @needs_read_lock
 
988
    def get_revision_reconcile(self, revision_id):
 
989
        self._ensure_real()
 
990
        return self._real_repository.get_revision_reconcile(revision_id)
 
991
 
 
992
    @needs_read_lock
 
993
    def check(self, revision_ids=None):
 
994
        self._ensure_real()
 
995
        return self._real_repository.check(revision_ids=revision_ids)
 
996
 
 
997
    def copy_content_into(self, destination, revision_id=None):
 
998
        self._ensure_real()
 
999
        return self._real_repository.copy_content_into(
 
1000
            destination, revision_id=revision_id)
 
1001
 
 
1002
    def _copy_repository_tarball(self, to_bzrdir, revision_id=None):
 
1003
        # get a tarball of the remote repository, and copy from that into the
 
1004
        # destination
 
1005
        from bzrlib import osutils
 
1006
        import tarfile
 
1007
        import tempfile
 
1008
        # TODO: Maybe a progress bar while streaming the tarball?
 
1009
        note("Copying repository content as tarball...")
 
1010
        tar_file = self._get_tarball('bz2')
 
1011
        if tar_file is None:
 
1012
            return None
 
1013
        destination = to_bzrdir.create_repository()
 
1014
        try:
 
1015
            tar = tarfile.open('repository', fileobj=tar_file,
 
1016
                mode='r|bz2')
 
1017
            tmpdir = tempfile.mkdtemp()
 
1018
            try:
 
1019
                _extract_tar(tar, tmpdir)
 
1020
                tmp_bzrdir = BzrDir.open(tmpdir)
 
1021
                tmp_repo = tmp_bzrdir.open_repository()
 
1022
                tmp_repo.copy_content_into(destination, revision_id)
 
1023
            finally:
 
1024
                osutils.rmtree(tmpdir)
 
1025
        finally:
 
1026
            tar_file.close()
 
1027
        return destination
 
1028
        # TODO: Suggestion from john: using external tar is much faster than
 
1029
        # python's tarfile library, but it may not work on windows.
 
1030
 
 
1031
    @needs_write_lock
 
1032
    def pack(self):
 
1033
        """Compress the data within the repository.
 
1034
 
 
1035
        This is not currently implemented within the smart server.
 
1036
        """
 
1037
        self._ensure_real()
 
1038
        return self._real_repository.pack()
 
1039
 
 
1040
    def set_make_working_trees(self, new_value):
 
1041
        self._ensure_real()
 
1042
        self._real_repository.set_make_working_trees(new_value)
 
1043
 
 
1044
    @needs_write_lock
 
1045
    def sign_revision(self, revision_id, gpg_strategy):
 
1046
        self._ensure_real()
 
1047
        return self._real_repository.sign_revision(revision_id, gpg_strategy)
 
1048
 
 
1049
    @needs_read_lock
 
1050
    def get_revisions(self, revision_ids):
 
1051
        self._ensure_real()
 
1052
        return self._real_repository.get_revisions(revision_ids)
 
1053
 
 
1054
    def supports_rich_root(self):
 
1055
        self._ensure_real()
 
1056
        return self._real_repository.supports_rich_root()
 
1057
 
 
1058
    def iter_reverse_revision_history(self, revision_id):
 
1059
        self._ensure_real()
 
1060
        return self._real_repository.iter_reverse_revision_history(revision_id)
 
1061
 
 
1062
    @property
 
1063
    def _serializer(self):
 
1064
        self._ensure_real()
 
1065
        return self._real_repository._serializer
 
1066
 
 
1067
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
 
1068
        self._ensure_real()
 
1069
        return self._real_repository.store_revision_signature(
 
1070
            gpg_strategy, plaintext, revision_id)
 
1071
 
 
1072
    def add_signature_text(self, revision_id, signature):
 
1073
        self._ensure_real()
 
1074
        return self._real_repository.add_signature_text(revision_id, signature)
 
1075
 
 
1076
    def has_signature_for_revision_id(self, revision_id):
 
1077
        self._ensure_real()
 
1078
        return self._real_repository.has_signature_for_revision_id(revision_id)
 
1079
 
 
1080
    def get_data_stream_for_search(self, search):
 
1081
        medium = self._client._medium
 
1082
        if not medium._remote_is_at_least_1_2:
 
1083
            self._ensure_real()
 
1084
            return self._real_repository.get_data_stream_for_search(search)
 
1085
        REQUEST_NAME = 'Repository.stream_revisions_chunked'
 
1086
        path = self.bzrdir._path_for_remote_call(self._client)
 
1087
        body = self._serialise_search_recipe(search.get_recipe())
 
1088
        try:
 
1089
            result = self._client.call_with_body_bytes_expecting_body(
 
1090
                REQUEST_NAME, (path,), body)
 
1091
            response, protocol = result
 
1092
        except errors.UnknownSmartMethod:
 
1093
            # Server does not support this method, so fall back to VFS.
 
1094
            # Worse, we have to force a disconnection, because the server now
 
1095
            # doesn't realise it has a body on the wire to consume, so the
 
1096
            # only way to recover is to abandon the connection.
 
1097
            warning(
 
1098
                'Server is too old for streaming pull, reconnecting.  '
 
1099
                '(Upgrade the server to Bazaar 1.2 to avoid this)')
 
1100
            medium.disconnect()
 
1101
            # To avoid having to disconnect repeatedly, we keep track of the
 
1102
            # fact the server doesn't understand this remote method.
 
1103
            medium._remote_is_at_least_1_2 = False
 
1104
            self._ensure_real()
 
1105
            return self._real_repository.get_data_stream_for_search(search)
 
1106
 
 
1107
        if response == ('ok',):
 
1108
            return self._deserialise_stream(protocol)
 
1109
        if response == ('NoSuchRevision', ):
 
1110
            # We cannot easily identify the revision that is missing in this
 
1111
            # situation without doing much more network IO. For now, bail.
 
1112
            raise NoSuchRevision(self, "unknown")
 
1113
        else:
 
1114
            raise errors.UnexpectedSmartServerResponse(response)
 
1115
 
 
1116
    def _deserialise_stream(self, protocol):
 
1117
        stream = protocol.read_streamed_body()
 
1118
        container_parser = ContainerPushParser()
 
1119
        for bytes in stream:
 
1120
            container_parser.accept_bytes(bytes)
 
1121
            records = container_parser.read_pending_records()
 
1122
            for record_names, record_bytes in records:
 
1123
                if len(record_names) != 1:
 
1124
                    # These records should have only one name, and that name
 
1125
                    # should be a one-element tuple.
 
1126
                    raise errors.SmartProtocolError(
 
1127
                        'Repository data stream had invalid record name %r'
 
1128
                        % (record_names,))
 
1129
                name_tuple = record_names[0]
 
1130
                yield name_tuple, record_bytes
 
1131
 
 
1132
    def insert_data_stream(self, stream):
 
1133
        self._ensure_real()
 
1134
        self._real_repository.insert_data_stream(stream)
 
1135
 
 
1136
    def item_keys_introduced_by(self, revision_ids, _files_pb=None):
 
1137
        self._ensure_real()
 
1138
        return self._real_repository.item_keys_introduced_by(revision_ids,
 
1139
            _files_pb=_files_pb)
 
1140
 
 
1141
    def revision_graph_can_have_wrong_parents(self):
 
1142
        # The answer depends on the remote repo format.
 
1143
        self._ensure_real()
 
1144
        return self._real_repository.revision_graph_can_have_wrong_parents()
 
1145
 
 
1146
    def _find_inconsistent_revision_parents(self):
 
1147
        self._ensure_real()
 
1148
        return self._real_repository._find_inconsistent_revision_parents()
 
1149
 
 
1150
    def _check_for_inconsistent_revision_parents(self):
 
1151
        self._ensure_real()
 
1152
        return self._real_repository._check_for_inconsistent_revision_parents()
 
1153
 
 
1154
    def _make_parents_provider(self):
 
1155
        return self
 
1156
 
 
1157
    def _serialise_search_recipe(self, recipe):
 
1158
        """Serialise a graph search recipe.
 
1159
 
 
1160
        :param recipe: A search recipe (start, stop, count).
 
1161
        :return: Serialised bytes.
 
1162
        """
 
1163
        start_keys = ' '.join(recipe[0])
 
1164
        stop_keys = ' '.join(recipe[1])
 
1165
        count = str(recipe[2])
 
1166
        return '\n'.join((start_keys, stop_keys, count))
 
1167
 
 
1168
 
 
1169
class RemoteBranchLockableFiles(LockableFiles):
 
1170
    """A 'LockableFiles' implementation that talks to a smart server.
 
1171
    
 
1172
    This is not a public interface class.
 
1173
    """
 
1174
 
 
1175
    def __init__(self, bzrdir, _client):
 
1176
        self.bzrdir = bzrdir
 
1177
        self._client = _client
 
1178
        self._need_find_modes = True
 
1179
        LockableFiles.__init__(
 
1180
            self, bzrdir.get_branch_transport(None),
 
1181
            'lock', lockdir.LockDir)
 
1182
 
 
1183
    def _find_modes(self):
 
1184
        # RemoteBranches don't let the client set the mode of control files.
 
1185
        self._dir_mode = None
 
1186
        self._file_mode = None
 
1187
 
 
1188
 
 
1189
class RemoteBranchFormat(branch.BranchFormat):
 
1190
 
 
1191
    def __eq__(self, other):
 
1192
        return (isinstance(other, RemoteBranchFormat) and 
 
1193
            self.__dict__ == other.__dict__)
 
1194
 
 
1195
    def get_format_description(self):
 
1196
        return 'Remote BZR Branch'
 
1197
 
 
1198
    def get_format_string(self):
 
1199
        return 'Remote BZR Branch'
 
1200
 
 
1201
    def open(self, a_bzrdir):
 
1202
        return a_bzrdir.open_branch()
 
1203
 
 
1204
    def initialize(self, a_bzrdir):
 
1205
        return a_bzrdir.create_branch()
 
1206
 
 
1207
    def supports_tags(self):
 
1208
        # Remote branches might support tags, but we won't know until we
 
1209
        # access the real remote branch.
 
1210
        return True
 
1211
 
 
1212
 
 
1213
class RemoteBranch(branch.Branch):
 
1214
    """Branch stored on a server accessed by HPSS RPC.
 
1215
 
 
1216
    At the moment most operations are mapped down to simple file operations.
 
1217
    """
 
1218
 
 
1219
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
 
1220
        _client=None):
 
1221
        """Create a RemoteBranch instance.
 
1222
 
 
1223
        :param real_branch: An optional local implementation of the branch
 
1224
            format, usually accessing the data via the VFS.
 
1225
        :param _client: Private parameter for testing.
 
1226
        """
 
1227
        # We intentionally don't call the parent class's __init__, because it
 
1228
        # will try to assign to self.tags, which is a property in this subclass.
 
1229
        # And the parent's __init__ doesn't do much anyway.
 
1230
        self._revision_id_to_revno_cache = None
 
1231
        self._revision_history_cache = None
 
1232
        self.bzrdir = remote_bzrdir
 
1233
        if _client is not None:
 
1234
            self._client = _client
 
1235
        else:
 
1236
            self._client = remote_bzrdir._client
 
1237
        self.repository = remote_repository
 
1238
        if real_branch is not None:
 
1239
            self._real_branch = real_branch
 
1240
            # Give the remote repository the matching real repo.
 
1241
            real_repo = self._real_branch.repository
 
1242
            if isinstance(real_repo, RemoteRepository):
 
1243
                real_repo._ensure_real()
 
1244
                real_repo = real_repo._real_repository
 
1245
            self.repository._set_real_repository(real_repo)
 
1246
            # Give the branch the remote repository to let fast-pathing happen.
 
1247
            self._real_branch.repository = self.repository
 
1248
        else:
 
1249
            self._real_branch = None
 
1250
        # Fill out expected attributes of branch for bzrlib api users.
 
1251
        self._format = RemoteBranchFormat()
 
1252
        self.base = self.bzrdir.root_transport.base
 
1253
        self._control_files = None
 
1254
        self._lock_mode = None
 
1255
        self._lock_token = None
 
1256
        self._repo_lock_token = None
 
1257
        self._lock_count = 0
 
1258
        self._leave_lock = False
 
1259
 
 
1260
    def _ensure_real_transport(self):
 
1261
        # if we try vfs access, return the real branch's vfs transport
 
1262
        self._ensure_real()
 
1263
        return self._real_branch._transport
 
1264
 
 
1265
    _transport = property(_ensure_real_transport)
 
1266
 
 
1267
    def __str__(self):
 
1268
        return "%s(%s)" % (self.__class__.__name__, self.base)
 
1269
 
 
1270
    __repr__ = __str__
 
1271
 
 
1272
    def _ensure_real(self):
 
1273
        """Ensure that there is a _real_branch set.
 
1274
 
 
1275
        Used before calls to self._real_branch.
 
1276
        """
 
1277
        if self._real_branch is None:
 
1278
            if not vfs.vfs_enabled():
 
1279
                raise AssertionError('smart server vfs must be enabled '
 
1280
                    'to use vfs implementation')
 
1281
            self.bzrdir._ensure_real()
 
1282
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
 
1283
            # Give the remote repository the matching real repo.
 
1284
            real_repo = self._real_branch.repository
 
1285
            if isinstance(real_repo, RemoteRepository):
 
1286
                real_repo._ensure_real()
 
1287
                real_repo = real_repo._real_repository
 
1288
            self.repository._set_real_repository(real_repo)
 
1289
            # Give the branch the remote repository to let fast-pathing happen.
 
1290
            self._real_branch.repository = self.repository
 
1291
            # XXX: deal with _lock_mode == 'w'
 
1292
            if self._lock_mode == 'r':
 
1293
                self._real_branch.lock_read()
 
1294
 
 
1295
    @property
 
1296
    def control_files(self):
 
1297
        # Defer actually creating RemoteBranchLockableFiles until its needed,
 
1298
        # because it triggers an _ensure_real that we otherwise might not need.
 
1299
        if self._control_files is None:
 
1300
            self._control_files = RemoteBranchLockableFiles(
 
1301
                self.bzrdir, self._client)
 
1302
        return self._control_files
 
1303
 
 
1304
    def _get_checkout_format(self):
 
1305
        self._ensure_real()
 
1306
        return self._real_branch._get_checkout_format()
 
1307
 
 
1308
    def get_physical_lock_status(self):
 
1309
        """See Branch.get_physical_lock_status()."""
 
1310
        # should be an API call to the server, as branches must be lockable.
 
1311
        self._ensure_real()
 
1312
        return self._real_branch.get_physical_lock_status()
 
1313
 
 
1314
    def lock_read(self):
 
1315
        if not self._lock_mode:
 
1316
            self._lock_mode = 'r'
 
1317
            self._lock_count = 1
 
1318
            if self._real_branch is not None:
 
1319
                self._real_branch.lock_read()
 
1320
        else:
 
1321
            self._lock_count += 1
 
1322
 
 
1323
    def _remote_lock_write(self, token):
 
1324
        if token is None:
 
1325
            branch_token = repo_token = ''
 
1326
        else:
 
1327
            branch_token = token
 
1328
            repo_token = self.repository.lock_write()
 
1329
            self.repository.unlock()
 
1330
        path = self.bzrdir._path_for_remote_call(self._client)
 
1331
        try:
 
1332
            response = self._client.call(
 
1333
                'Branch.lock_write', path, branch_token, repo_token or '')
 
1334
        except errors.ErrorFromSmartServer, err:
 
1335
            if err.error_verb == 'LockContention':
 
1336
                raise errors.LockContention('(remote lock)')
 
1337
            elif err.error_verb == 'TokenMismatch':
 
1338
                raise errors.TokenMismatch(token, '(remote token)')
 
1339
            elif err.error_verb == 'UnlockableTransport':
 
1340
                raise errors.UnlockableTransport(self.bzrdir.root_transport)
 
1341
            elif err.error_verb == 'ReadOnlyError':
 
1342
                raise errors.ReadOnlyError(self)
 
1343
            elif err.error_verb == 'LockFailed':
 
1344
                raise errors.LockFailed(err.error_args[0], err.error_args[1])
 
1345
            raise
 
1346
        if response[0] != 'ok':
 
1347
            raise errors.UnexpectedSmartServerResponse(response)
 
1348
        ok, branch_token, repo_token = response
 
1349
        return branch_token, repo_token
 
1350
            
 
1351
    def lock_write(self, token=None):
 
1352
        if not self._lock_mode:
 
1353
            remote_tokens = self._remote_lock_write(token)
 
1354
            self._lock_token, self._repo_lock_token = remote_tokens
 
1355
            if not self._lock_token:
 
1356
                raise SmartProtocolError('Remote server did not return a token!')
 
1357
            # TODO: We really, really, really don't want to call _ensure_real
 
1358
            # here, but it's the easiest way to ensure coherency between the
 
1359
            # state of the RemoteBranch and RemoteRepository objects and the
 
1360
            # physical locks.  If we don't materialise the real objects here,
 
1361
            # then getting everything in the right state later is complex, so
 
1362
            # for now we just do it the lazy way.
 
1363
            #   -- Andrew Bennetts, 2007-02-22.
 
1364
            self._ensure_real()
 
1365
            if self._real_branch is not None:
 
1366
                self._real_branch.repository.lock_write(
 
1367
                    token=self._repo_lock_token)
 
1368
                try:
 
1369
                    self._real_branch.lock_write(token=self._lock_token)
 
1370
                finally:
 
1371
                    self._real_branch.repository.unlock()
 
1372
            if token is not None:
 
1373
                self._leave_lock = True
 
1374
            else:
 
1375
                # XXX: this case seems to be unreachable; token cannot be None.
 
1376
                self._leave_lock = False
 
1377
            self._lock_mode = 'w'
 
1378
            self._lock_count = 1
 
1379
        elif self._lock_mode == 'r':
 
1380
            raise errors.ReadOnlyTransaction
 
1381
        else:
 
1382
            if token is not None:
 
1383
                # A token was given to lock_write, and we're relocking, so check
 
1384
                # that the given token actually matches the one we already have.
 
1385
                if token != self._lock_token:
 
1386
                    raise errors.TokenMismatch(token, self._lock_token)
 
1387
            self._lock_count += 1
 
1388
        return self._lock_token or None
 
1389
 
 
1390
    def _unlock(self, branch_token, repo_token):
 
1391
        path = self.bzrdir._path_for_remote_call(self._client)
 
1392
        try:
 
1393
            response = self._client.call('Branch.unlock', path, branch_token,
 
1394
                                         repo_token or '')
 
1395
        except errors.ErrorFromSmartServer, err:
 
1396
            if err.error_verb == 'TokenMismatch':
 
1397
                raise errors.TokenMismatch(
 
1398
                    str((branch_token, repo_token)), '(remote tokens)')
 
1399
            raise
 
1400
        if response == ('ok',):
 
1401
            return
 
1402
        raise errors.UnexpectedSmartServerResponse(response)
 
1403
 
 
1404
    def unlock(self):
 
1405
        self._lock_count -= 1
 
1406
        if not self._lock_count:
 
1407
            self._clear_cached_state()
 
1408
            mode = self._lock_mode
 
1409
            self._lock_mode = None
 
1410
            if self._real_branch is not None:
 
1411
                if (not self._leave_lock and mode == 'w' and
 
1412
                    self._repo_lock_token):
 
1413
                    # If this RemoteBranch will remove the physical lock for the
 
1414
                    # repository, make sure the _real_branch doesn't do it
 
1415
                    # first.  (Because the _real_branch's repository is set to
 
1416
                    # be the RemoteRepository.)
 
1417
                    self._real_branch.repository.leave_lock_in_place()
 
1418
                self._real_branch.unlock()
 
1419
            if mode != 'w':
 
1420
                # Only write-locked branched need to make a remote method call
 
1421
                # to perfom the unlock.
 
1422
                return
 
1423
            if not self._lock_token:
 
1424
                raise AssertionError('Locked, but no token!')
 
1425
            branch_token = self._lock_token
 
1426
            repo_token = self._repo_lock_token
 
1427
            self._lock_token = None
 
1428
            self._repo_lock_token = None
 
1429
            if not self._leave_lock:
 
1430
                self._unlock(branch_token, repo_token)
 
1431
 
 
1432
    def break_lock(self):
 
1433
        self._ensure_real()
 
1434
        return self._real_branch.break_lock()
 
1435
 
 
1436
    def leave_lock_in_place(self):
 
1437
        if not self._lock_token:
 
1438
            raise NotImplementedError(self.leave_lock_in_place)
 
1439
        self._leave_lock = True
 
1440
 
 
1441
    def dont_leave_lock_in_place(self):
 
1442
        if not self._lock_token:
 
1443
            raise NotImplementedError(self.dont_leave_lock_in_place)
 
1444
        self._leave_lock = False
 
1445
 
 
1446
    def last_revision_info(self):
 
1447
        """See Branch.last_revision_info()."""
 
1448
        path = self.bzrdir._path_for_remote_call(self._client)
 
1449
        response = self._client.call('Branch.last_revision_info', path)
 
1450
        if response[0] != 'ok':
 
1451
            raise SmartProtocolError('unexpected response code %s' % (response,))
 
1452
        revno = int(response[1])
 
1453
        last_revision = response[2]
 
1454
        return (revno, last_revision)
 
1455
 
 
1456
    def _gen_revision_history(self):
 
1457
        """See Branch._gen_revision_history()."""
 
1458
        path = self.bzrdir._path_for_remote_call(self._client)
 
1459
        response_tuple, response_handler = self._client.call_expecting_body(
 
1460
            'Branch.revision_history', path)
 
1461
        if response_tuple[0] != 'ok':
 
1462
            raise UnexpectedSmartServerResponse(response_tuple)
 
1463
        result = response_handler.read_body_bytes().split('\x00')
 
1464
        if result == ['']:
 
1465
            return []
 
1466
        return result
 
1467
 
 
1468
    @needs_write_lock
 
1469
    def set_revision_history(self, rev_history):
 
1470
        # Send just the tip revision of the history; the server will generate
 
1471
        # the full history from that.  If the revision doesn't exist in this
 
1472
        # branch, NoSuchRevision will be raised.
 
1473
        path = self.bzrdir._path_for_remote_call(self._client)
 
1474
        if rev_history == []:
 
1475
            rev_id = 'null:'
 
1476
        else:
 
1477
            rev_id = rev_history[-1]
 
1478
        self._clear_cached_state()
 
1479
        try:
 
1480
            response = self._client.call('Branch.set_last_revision',
 
1481
                path, self._lock_token, self._repo_lock_token, rev_id)
 
1482
        except errors.ErrorFromSmartServer, err:
 
1483
            if err.error_verb == 'NoSuchRevision':
 
1484
                raise NoSuchRevision(self, rev_id)
 
1485
            raise
 
1486
        if response != ('ok',):
 
1487
            raise errors.UnexpectedSmartServerResponse(response)
 
1488
        self._cache_revision_history(rev_history)
 
1489
 
 
1490
    def get_parent(self):
 
1491
        self._ensure_real()
 
1492
        return self._real_branch.get_parent()
 
1493
        
 
1494
    def set_parent(self, url):
 
1495
        self._ensure_real()
 
1496
        return self._real_branch.set_parent(url)
 
1497
        
 
1498
    def sprout(self, to_bzrdir, revision_id=None):
 
1499
        # Like Branch.sprout, except that it sprouts a branch in the default
 
1500
        # format, because RemoteBranches can't be created at arbitrary URLs.
 
1501
        # XXX: if to_bzrdir is a RemoteBranch, this should perhaps do
 
1502
        # to_bzrdir.create_branch...
 
1503
        self._ensure_real()
 
1504
        result = self._real_branch._format.initialize(to_bzrdir)
 
1505
        self.copy_content_into(result, revision_id=revision_id)
 
1506
        result.set_parent(self.bzrdir.root_transport.base)
 
1507
        return result
 
1508
 
 
1509
    @needs_write_lock
 
1510
    def pull(self, source, overwrite=False, stop_revision=None,
 
1511
             **kwargs):
 
1512
        # FIXME: This asks the real branch to run the hooks, which means
 
1513
        # they're called with the wrong target branch parameter. 
 
1514
        # The test suite specifically allows this at present but it should be
 
1515
        # fixed.  It should get a _override_hook_target branch,
 
1516
        # as push does.  -- mbp 20070405
 
1517
        self._ensure_real()
 
1518
        self._real_branch.pull(
 
1519
            source, overwrite=overwrite, stop_revision=stop_revision,
 
1520
            **kwargs)
 
1521
 
 
1522
    @needs_read_lock
 
1523
    def push(self, target, overwrite=False, stop_revision=None):
 
1524
        self._ensure_real()
 
1525
        return self._real_branch.push(
 
1526
            target, overwrite=overwrite, stop_revision=stop_revision,
 
1527
            _override_hook_source_branch=self)
 
1528
 
 
1529
    def is_locked(self):
 
1530
        return self._lock_count >= 1
 
1531
 
 
1532
    @needs_write_lock
 
1533
    def set_last_revision_info(self, revno, revision_id):
 
1534
        revision_id = ensure_null(revision_id)
 
1535
        path = self.bzrdir._path_for_remote_call(self._client)
 
1536
        try:
 
1537
            response = self._client.call('Branch.set_last_revision_info',
 
1538
                path, self._lock_token, self._repo_lock_token, str(revno), revision_id)
 
1539
        except errors.UnknownSmartMethod:
 
1540
            self._ensure_real()
 
1541
            self._clear_cached_state()
 
1542
            return self._real_branch.set_last_revision_info(revno, revision_id)
 
1543
        except errors.ErrorFromSmartServer, err:
 
1544
            if err.error_verb == 'NoSuchRevision':
 
1545
                raise NoSuchRevision(self, err.error_args[0])
 
1546
            raise
 
1547
        if response == ('ok',):
 
1548
            self._clear_cached_state()
 
1549
        else:
 
1550
            raise errors.UnexpectedSmartServerResponse(response)
 
1551
 
 
1552
    def generate_revision_history(self, revision_id, last_rev=None,
 
1553
                                  other_branch=None):
 
1554
        self._ensure_real()
 
1555
        return self._real_branch.generate_revision_history(
 
1556
            revision_id, last_rev=last_rev, other_branch=other_branch)
 
1557
 
 
1558
    @property
 
1559
    def tags(self):
 
1560
        self._ensure_real()
 
1561
        return self._real_branch.tags
 
1562
 
 
1563
    def set_push_location(self, location):
 
1564
        self._ensure_real()
 
1565
        return self._real_branch.set_push_location(location)
 
1566
 
 
1567
    def update_revisions(self, other, stop_revision=None, overwrite=False):
 
1568
        self._ensure_real()
 
1569
        return self._real_branch.update_revisions(
 
1570
            other, stop_revision=stop_revision, overwrite=overwrite)
 
1571
 
 
1572
 
 
1573
def _extract_tar(tar, to_dir):
 
1574
    """Extract all the contents of a tarfile object.
 
1575
 
 
1576
    A replacement for extractall, which is not present in python2.4
 
1577
    """
 
1578
    for tarinfo in tar:
 
1579
        tar.extract(tarinfo, to_dir)