~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Robert Collins
  • Date: 2007-04-19 02:27:44 UTC
  • mto: This revision was merged to the branch mainline in revision 2426.
  • Revision ID: robertc@robertcollins.net-20070419022744-pfdqz42kp1wizh43
``make docs`` now creates a man page at ``man1/bzr.1`` fixing bug 107388.
(Robert Collins)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2011 Canonical Ltd
2
 
#
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
#
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
#
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
 
 
17
 
import bz2
18
 
 
19
 
from bzrlib import (
20
 
    bencode,
21
 
    branch,
22
 
    bzrdir,
23
 
    config,
24
 
    controldir,
25
 
    debug,
26
 
    errors,
27
 
    graph,
28
 
    lock,
29
 
    lockdir,
30
 
    repository,
31
 
    repository as _mod_repository,
32
 
    revision,
33
 
    revision as _mod_revision,
34
 
    static_tuple,
35
 
    symbol_versioning,
36
 
    urlutils,
37
 
)
38
 
from bzrlib.branch import BranchReferenceFormat, BranchWriteLockResult
39
 
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
40
 
from bzrlib.decorators import needs_read_lock, needs_write_lock, only_raises
41
 
from bzrlib.errors import (
42
 
    NoSuchRevision,
43
 
    SmartProtocolError,
44
 
    )
45
 
from bzrlib.lockable_files import LockableFiles
46
 
from bzrlib.smart import client, vfs, repository as smart_repo
47
 
from bzrlib.revision import ensure_null, NULL_REVISION
48
 
from bzrlib.repository import RepositoryWriteLockResult
49
 
from bzrlib.trace import mutter, note, warning
50
 
 
51
 
 
52
 
class _RpcHelper(object):
53
 
    """Mixin class that helps with issuing RPCs."""
54
 
 
55
 
    def _call(self, method, *args, **err_context):
56
 
        try:
57
 
            return self._client.call(method, *args)
58
 
        except errors.ErrorFromSmartServer, err:
59
 
            self._translate_error(err, **err_context)
60
 
 
61
 
    def _call_expecting_body(self, method, *args, **err_context):
62
 
        try:
63
 
            return self._client.call_expecting_body(method, *args)
64
 
        except errors.ErrorFromSmartServer, err:
65
 
            self._translate_error(err, **err_context)
66
 
 
67
 
    def _call_with_body_bytes(self, method, args, body_bytes, **err_context):
68
 
        try:
69
 
            return self._client.call_with_body_bytes(method, args, body_bytes)
70
 
        except errors.ErrorFromSmartServer, err:
71
 
            self._translate_error(err, **err_context)
72
 
 
73
 
    def _call_with_body_bytes_expecting_body(self, method, args, body_bytes,
74
 
                                             **err_context):
75
 
        try:
76
 
            return self._client.call_with_body_bytes_expecting_body(
77
 
                method, args, body_bytes)
78
 
        except errors.ErrorFromSmartServer, err:
79
 
            self._translate_error(err, **err_context)
80
 
 
81
 
 
82
 
def response_tuple_to_repo_format(response):
83
 
    """Convert a response tuple describing a repository format to a format."""
84
 
    format = RemoteRepositoryFormat()
85
 
    format._rich_root_data = (response[0] == 'yes')
86
 
    format._supports_tree_reference = (response[1] == 'yes')
87
 
    format._supports_external_lookups = (response[2] == 'yes')
88
 
    format._network_name = response[3]
89
 
    return format
90
 
 
91
 
 
92
 
# Note: RemoteBzrDirFormat is in bzrdir.py
93
 
 
94
 
class RemoteBzrDir(BzrDir, _RpcHelper):
95
 
    """Control directory on a remote server, accessed via bzr:// or similar."""
96
 
 
97
 
    def __init__(self, transport, format, _client=None, _force_probe=False):
98
 
        """Construct a RemoteBzrDir.
99
 
 
100
 
        :param _client: Private parameter for testing. Disables probing and the
101
 
            use of a real bzrdir.
102
 
        """
103
 
        BzrDir.__init__(self, transport, format)
104
 
        # this object holds a delegated bzrdir that uses file-level operations
105
 
        # to talk to the other side
106
 
        self._real_bzrdir = None
107
 
        self._has_working_tree = None
108
 
        # 1-shot cache for the call pattern 'create_branch; open_branch' - see
109
 
        # create_branch for details.
110
 
        self._next_open_branch_result = None
111
 
 
112
 
        if _client is None:
113
 
            medium = transport.get_smart_medium()
114
 
            self._client = client._SmartClient(medium)
115
 
        else:
116
 
            self._client = _client
117
 
            if not _force_probe:
118
 
                return
119
 
 
120
 
        self._probe_bzrdir()
121
 
 
122
 
    def __repr__(self):
123
 
        return '%s(%r)' % (self.__class__.__name__, self._client)
124
 
 
125
 
    def _probe_bzrdir(self):
126
 
        medium = self._client._medium
127
 
        path = self._path_for_remote_call(self._client)
128
 
        if medium._is_remote_before((2, 1)):
129
 
            self._rpc_open(path)
130
 
            return
131
 
        try:
132
 
            self._rpc_open_2_1(path)
133
 
            return
134
 
        except errors.UnknownSmartMethod:
135
 
            medium._remember_remote_is_before((2, 1))
136
 
            self._rpc_open(path)
137
 
 
138
 
    def _rpc_open_2_1(self, path):
139
 
        response = self._call('BzrDir.open_2.1', path)
140
 
        if response == ('no',):
141
 
            raise errors.NotBranchError(path=self.root_transport.base)
142
 
        elif response[0] == 'yes':
143
 
            if response[1] == 'yes':
144
 
                self._has_working_tree = True
145
 
            elif response[1] == 'no':
146
 
                self._has_working_tree = False
147
 
            else:
148
 
                raise errors.UnexpectedSmartServerResponse(response)
149
 
        else:
150
 
            raise errors.UnexpectedSmartServerResponse(response)
151
 
 
152
 
    def _rpc_open(self, path):
153
 
        response = self._call('BzrDir.open', path)
154
 
        if response not in [('yes',), ('no',)]:
155
 
            raise errors.UnexpectedSmartServerResponse(response)
156
 
        if response == ('no',):
157
 
            raise errors.NotBranchError(path=self.root_transport.base)
158
 
 
159
 
    def _ensure_real(self):
160
 
        """Ensure that there is a _real_bzrdir set.
161
 
 
162
 
        Used before calls to self._real_bzrdir.
163
 
        """
164
 
        if not self._real_bzrdir:
165
 
            if 'hpssvfs' in debug.debug_flags:
166
 
                import traceback
167
 
                warning('VFS BzrDir access triggered\n%s',
168
 
                    ''.join(traceback.format_stack()))
169
 
            self._real_bzrdir = BzrDir.open_from_transport(
170
 
                self.root_transport, _server_formats=False)
171
 
            self._format._network_name = \
172
 
                self._real_bzrdir._format.network_name()
173
 
 
174
 
    def _translate_error(self, err, **context):
175
 
        _translate_error(err, bzrdir=self, **context)
176
 
 
177
 
    def break_lock(self):
178
 
        # Prevent aliasing problems in the next_open_branch_result cache.
179
 
        # See create_branch for rationale.
180
 
        self._next_open_branch_result = None
181
 
        return BzrDir.break_lock(self)
182
 
 
183
 
    def _vfs_cloning_metadir(self, require_stacking=False):
184
 
        self._ensure_real()
185
 
        return self._real_bzrdir.cloning_metadir(
186
 
            require_stacking=require_stacking)
187
 
 
188
 
    def cloning_metadir(self, require_stacking=False):
189
 
        medium = self._client._medium
190
 
        if medium._is_remote_before((1, 13)):
191
 
            return self._vfs_cloning_metadir(require_stacking=require_stacking)
192
 
        verb = 'BzrDir.cloning_metadir'
193
 
        if require_stacking:
194
 
            stacking = 'True'
195
 
        else:
196
 
            stacking = 'False'
197
 
        path = self._path_for_remote_call(self._client)
198
 
        try:
199
 
            response = self._call(verb, path, stacking)
200
 
        except errors.UnknownSmartMethod:
201
 
            medium._remember_remote_is_before((1, 13))
202
 
            return self._vfs_cloning_metadir(require_stacking=require_stacking)
203
 
        except errors.UnknownErrorFromSmartServer, err:
204
 
            if err.error_tuple != ('BranchReference',):
205
 
                raise
206
 
            # We need to resolve the branch reference to determine the
207
 
            # cloning_metadir.  This causes unnecessary RPCs to open the
208
 
            # referenced branch (and bzrdir, etc) but only when the caller
209
 
            # didn't already resolve the branch reference.
210
 
            referenced_branch = self.open_branch()
211
 
            return referenced_branch.bzrdir.cloning_metadir()
212
 
        if len(response) != 3:
213
 
            raise errors.UnexpectedSmartServerResponse(response)
214
 
        control_name, repo_name, branch_info = response
215
 
        if len(branch_info) != 2:
216
 
            raise errors.UnexpectedSmartServerResponse(response)
217
 
        branch_ref, branch_name = branch_info
218
 
        format = controldir.network_format_registry.get(control_name)
219
 
        if repo_name:
220
 
            format.repository_format = repository.network_format_registry.get(
221
 
                repo_name)
222
 
        if branch_ref == 'ref':
223
 
            # XXX: we need possible_transports here to avoid reopening the
224
 
            # connection to the referenced location
225
 
            ref_bzrdir = BzrDir.open(branch_name)
226
 
            branch_format = ref_bzrdir.cloning_metadir().get_branch_format()
227
 
            format.set_branch_format(branch_format)
228
 
        elif branch_ref == 'branch':
229
 
            if branch_name:
230
 
                format.set_branch_format(
231
 
                    branch.network_format_registry.get(branch_name))
232
 
        else:
233
 
            raise errors.UnexpectedSmartServerResponse(response)
234
 
        return format
235
 
 
236
 
    def create_repository(self, shared=False):
237
 
        # as per meta1 formats - just delegate to the format object which may
238
 
        # be parameterised.
239
 
        result = self._format.repository_format.initialize(self, shared)
240
 
        if not isinstance(result, RemoteRepository):
241
 
            return self.open_repository()
242
 
        else:
243
 
            return result
244
 
 
245
 
    def destroy_repository(self):
246
 
        """See BzrDir.destroy_repository"""
247
 
        self._ensure_real()
248
 
        self._real_bzrdir.destroy_repository()
249
 
 
250
 
    def create_branch(self, name=None, repository=None):
251
 
        # as per meta1 formats - just delegate to the format object which may
252
 
        # be parameterised.
253
 
        real_branch = self._format.get_branch_format().initialize(self,
254
 
            name=name, repository=repository)
255
 
        if not isinstance(real_branch, RemoteBranch):
256
 
            if not isinstance(repository, RemoteRepository):
257
 
                raise AssertionError(
258
 
                    'need a RemoteRepository to use with RemoteBranch, got %r'
259
 
                    % (repository,))
260
 
            result = RemoteBranch(self, repository, real_branch, name=name)
261
 
        else:
262
 
            result = real_branch
263
 
        # BzrDir.clone_on_transport() uses the result of create_branch but does
264
 
        # not return it to its callers; we save approximately 8% of our round
265
 
        # trips by handing the branch we created back to the first caller to
266
 
        # open_branch rather than probing anew. Long term we need a API in
267
 
        # bzrdir that doesn't discard result objects (like result_branch).
268
 
        # RBC 20090225
269
 
        self._next_open_branch_result = result
270
 
        return result
271
 
 
272
 
    def destroy_branch(self, name=None):
273
 
        """See BzrDir.destroy_branch"""
274
 
        self._ensure_real()
275
 
        self._real_bzrdir.destroy_branch(name=name)
276
 
        self._next_open_branch_result = None
277
 
 
278
 
    def create_workingtree(self, revision_id=None, from_branch=None,
279
 
        accelerator_tree=None, hardlink=False):
280
 
        raise errors.NotLocalUrl(self.transport.base)
281
 
 
282
 
    def find_branch_format(self, name=None):
283
 
        """Find the branch 'format' for this bzrdir.
284
 
 
285
 
        This might be a synthetic object for e.g. RemoteBranch and SVN.
286
 
        """
287
 
        b = self.open_branch(name=name)
288
 
        return b._format
289
 
 
290
 
    def get_branch_reference(self, name=None):
291
 
        """See BzrDir.get_branch_reference()."""
292
 
        if name is not None:
293
 
            # XXX JRV20100304: Support opening colocated branches
294
 
            raise errors.NoColocatedBranchSupport(self)
295
 
        response = self._get_branch_reference()
296
 
        if response[0] == 'ref':
297
 
            return response[1]
298
 
        else:
299
 
            return None
300
 
 
301
 
    def _get_branch_reference(self):
302
 
        path = self._path_for_remote_call(self._client)
303
 
        medium = self._client._medium
304
 
        candidate_calls = [
305
 
            ('BzrDir.open_branchV3', (2, 1)),
306
 
            ('BzrDir.open_branchV2', (1, 13)),
307
 
            ('BzrDir.open_branch', None),
308
 
            ]
309
 
        for verb, required_version in candidate_calls:
310
 
            if required_version and medium._is_remote_before(required_version):
311
 
                continue
312
 
            try:
313
 
                response = self._call(verb, path)
314
 
            except errors.UnknownSmartMethod:
315
 
                if required_version is None:
316
 
                    raise
317
 
                medium._remember_remote_is_before(required_version)
318
 
            else:
319
 
                break
320
 
        if verb == 'BzrDir.open_branch':
321
 
            if response[0] != 'ok':
322
 
                raise errors.UnexpectedSmartServerResponse(response)
323
 
            if response[1] != '':
324
 
                return ('ref', response[1])
325
 
            else:
326
 
                return ('branch', '')
327
 
        if response[0] not in ('ref', 'branch'):
328
 
            raise errors.UnexpectedSmartServerResponse(response)
329
 
        return response
330
 
 
331
 
    def _get_tree_branch(self, name=None):
332
 
        """See BzrDir._get_tree_branch()."""
333
 
        return None, self.open_branch(name=name)
334
 
 
335
 
    def open_branch(self, name=None, unsupported=False,
336
 
                    ignore_fallbacks=False):
337
 
        if unsupported:
338
 
            raise NotImplementedError('unsupported flag support not implemented yet.')
339
 
        if self._next_open_branch_result is not None:
340
 
            # See create_branch for details.
341
 
            result = self._next_open_branch_result
342
 
            self._next_open_branch_result = None
343
 
            return result
344
 
        response = self._get_branch_reference()
345
 
        if response[0] == 'ref':
346
 
            # a branch reference, use the existing BranchReference logic.
347
 
            format = BranchReferenceFormat()
348
 
            return format.open(self, name=name, _found=True,
349
 
                location=response[1], ignore_fallbacks=ignore_fallbacks)
350
 
        branch_format_name = response[1]
351
 
        if not branch_format_name:
352
 
            branch_format_name = None
353
 
        format = RemoteBranchFormat(network_name=branch_format_name)
354
 
        return RemoteBranch(self, self.find_repository(), format=format,
355
 
            setup_stacking=not ignore_fallbacks, name=name)
356
 
 
357
 
    def _open_repo_v1(self, path):
358
 
        verb = 'BzrDir.find_repository'
359
 
        response = self._call(verb, path)
360
 
        if response[0] != 'ok':
361
 
            raise errors.UnexpectedSmartServerResponse(response)
362
 
        # servers that only support the v1 method don't support external
363
 
        # references either.
364
 
        self._ensure_real()
365
 
        repo = self._real_bzrdir.open_repository()
366
 
        response = response + ('no', repo._format.network_name())
367
 
        return response, repo
368
 
 
369
 
    def _open_repo_v2(self, path):
370
 
        verb = 'BzrDir.find_repositoryV2'
371
 
        response = self._call(verb, path)
372
 
        if response[0] != 'ok':
373
 
            raise errors.UnexpectedSmartServerResponse(response)
374
 
        self._ensure_real()
375
 
        repo = self._real_bzrdir.open_repository()
376
 
        response = response + (repo._format.network_name(),)
377
 
        return response, repo
378
 
 
379
 
    def _open_repo_v3(self, path):
380
 
        verb = 'BzrDir.find_repositoryV3'
381
 
        medium = self._client._medium
382
 
        if medium._is_remote_before((1, 13)):
383
 
            raise errors.UnknownSmartMethod(verb)
384
 
        try:
385
 
            response = self._call(verb, path)
386
 
        except errors.UnknownSmartMethod:
387
 
            medium._remember_remote_is_before((1, 13))
388
 
            raise
389
 
        if response[0] != 'ok':
390
 
            raise errors.UnexpectedSmartServerResponse(response)
391
 
        return response, None
392
 
 
393
 
    def open_repository(self):
394
 
        path = self._path_for_remote_call(self._client)
395
 
        response = None
396
 
        for probe in [self._open_repo_v3, self._open_repo_v2,
397
 
            self._open_repo_v1]:
398
 
            try:
399
 
                response, real_repo = probe(path)
400
 
                break
401
 
            except errors.UnknownSmartMethod:
402
 
                pass
403
 
        if response is None:
404
 
            raise errors.UnknownSmartMethod('BzrDir.find_repository{3,2,}')
405
 
        if response[0] != 'ok':
406
 
            raise errors.UnexpectedSmartServerResponse(response)
407
 
        if len(response) != 6:
408
 
            raise SmartProtocolError('incorrect response length %s' % (response,))
409
 
        if response[1] == '':
410
 
            # repo is at this dir.
411
 
            format = response_tuple_to_repo_format(response[2:])
412
 
            # Used to support creating a real format instance when needed.
413
 
            format._creating_bzrdir = self
414
 
            remote_repo = RemoteRepository(self, format)
415
 
            format._creating_repo = remote_repo
416
 
            if real_repo is not None:
417
 
                remote_repo._set_real_repository(real_repo)
418
 
            return remote_repo
419
 
        else:
420
 
            raise errors.NoRepositoryPresent(self)
421
 
 
422
 
    def has_workingtree(self):
423
 
        if self._has_working_tree is None:
424
 
            self._ensure_real()
425
 
            self._has_working_tree = self._real_bzrdir.has_workingtree()
426
 
        return self._has_working_tree
427
 
 
428
 
    def open_workingtree(self, recommend_upgrade=True):
429
 
        if self.has_workingtree():
430
 
            raise errors.NotLocalUrl(self.root_transport)
431
 
        else:
432
 
            raise errors.NoWorkingTree(self.root_transport.base)
433
 
 
434
 
    def _path_for_remote_call(self, client):
435
 
        """Return the path to be used for this bzrdir in a remote call."""
436
 
        return client.remote_path_from_transport(self.root_transport)
437
 
 
438
 
    def get_branch_transport(self, branch_format, name=None):
439
 
        self._ensure_real()
440
 
        return self._real_bzrdir.get_branch_transport(branch_format, name=name)
441
 
 
442
 
    def get_repository_transport(self, repository_format):
443
 
        self._ensure_real()
444
 
        return self._real_bzrdir.get_repository_transport(repository_format)
445
 
 
446
 
    def get_workingtree_transport(self, workingtree_format):
447
 
        self._ensure_real()
448
 
        return self._real_bzrdir.get_workingtree_transport(workingtree_format)
449
 
 
450
 
    def can_convert_format(self):
451
 
        """Upgrading of remote bzrdirs is not supported yet."""
452
 
        return False
453
 
 
454
 
    def needs_format_conversion(self, format=None):
455
 
        """Upgrading of remote bzrdirs is not supported yet."""
456
 
        if format is None:
457
 
            symbol_versioning.warn(symbol_versioning.deprecated_in((1, 13, 0))
458
 
                % 'needs_format_conversion(format=None)')
459
 
        return False
460
 
 
461
 
    def clone(self, url, revision_id=None, force_new_repo=False,
462
 
              preserve_stacking=False):
463
 
        self._ensure_real()
464
 
        return self._real_bzrdir.clone(url, revision_id=revision_id,
465
 
            force_new_repo=force_new_repo, preserve_stacking=preserve_stacking)
466
 
 
467
 
    def _get_config(self):
468
 
        return RemoteBzrDirConfig(self)
469
 
 
470
 
 
471
 
class RemoteRepositoryFormat(repository.RepositoryFormat):
472
 
    """Format for repositories accessed over a _SmartClient.
473
 
 
474
 
    Instances of this repository are represented by RemoteRepository
475
 
    instances.
476
 
 
477
 
    The RemoteRepositoryFormat is parameterized during construction
478
 
    to reflect the capabilities of the real, remote format. Specifically
479
 
    the attributes rich_root_data and supports_tree_reference are set
480
 
    on a per instance basis, and are not set (and should not be) at
481
 
    the class level.
482
 
 
483
 
    :ivar _custom_format: If set, a specific concrete repository format that
484
 
        will be used when initializing a repository with this
485
 
        RemoteRepositoryFormat.
486
 
    :ivar _creating_repo: If set, the repository object that this
487
 
        RemoteRepositoryFormat was created for: it can be called into
488
 
        to obtain data like the network name.
489
 
    """
490
 
 
491
 
    _matchingbzrdir = RemoteBzrDirFormat()
492
 
 
493
 
    def __init__(self):
494
 
        repository.RepositoryFormat.__init__(self)
495
 
        self._custom_format = None
496
 
        self._network_name = None
497
 
        self._creating_bzrdir = None
498
 
        self._supports_chks = None
499
 
        self._supports_external_lookups = None
500
 
        self._supports_tree_reference = None
501
 
        self._rich_root_data = None
502
 
 
503
 
    def __repr__(self):
504
 
        return "%s(_network_name=%r)" % (self.__class__.__name__,
505
 
            self._network_name)
506
 
 
507
 
    @property
508
 
    def fast_deltas(self):
509
 
        self._ensure_real()
510
 
        return self._custom_format.fast_deltas
511
 
 
512
 
    @property
513
 
    def rich_root_data(self):
514
 
        if self._rich_root_data is None:
515
 
            self._ensure_real()
516
 
            self._rich_root_data = self._custom_format.rich_root_data
517
 
        return self._rich_root_data
518
 
 
519
 
    @property
520
 
    def supports_chks(self):
521
 
        if self._supports_chks is None:
522
 
            self._ensure_real()
523
 
            self._supports_chks = self._custom_format.supports_chks
524
 
        return self._supports_chks
525
 
 
526
 
    @property
527
 
    def supports_external_lookups(self):
528
 
        if self._supports_external_lookups is None:
529
 
            self._ensure_real()
530
 
            self._supports_external_lookups = \
531
 
                self._custom_format.supports_external_lookups
532
 
        return self._supports_external_lookups
533
 
 
534
 
    @property
535
 
    def supports_tree_reference(self):
536
 
        if self._supports_tree_reference is None:
537
 
            self._ensure_real()
538
 
            self._supports_tree_reference = \
539
 
                self._custom_format.supports_tree_reference
540
 
        return self._supports_tree_reference
541
 
 
542
 
    def _vfs_initialize(self, a_bzrdir, shared):
543
 
        """Helper for common code in initialize."""
544
 
        if self._custom_format:
545
 
            # Custom format requested
546
 
            result = self._custom_format.initialize(a_bzrdir, shared=shared)
547
 
        elif self._creating_bzrdir is not None:
548
 
            # Use the format that the repository we were created to back
549
 
            # has.
550
 
            prior_repo = self._creating_bzrdir.open_repository()
551
 
            prior_repo._ensure_real()
552
 
            result = prior_repo._real_repository._format.initialize(
553
 
                a_bzrdir, shared=shared)
554
 
        else:
555
 
            # assume that a_bzr is a RemoteBzrDir but the smart server didn't
556
 
            # support remote initialization.
557
 
            # We delegate to a real object at this point (as RemoteBzrDir
558
 
            # delegate to the repository format which would lead to infinite
559
 
            # recursion if we just called a_bzrdir.create_repository.
560
 
            a_bzrdir._ensure_real()
561
 
            result = a_bzrdir._real_bzrdir.create_repository(shared=shared)
562
 
        if not isinstance(result, RemoteRepository):
563
 
            return self.open(a_bzrdir)
564
 
        else:
565
 
            return result
566
 
 
567
 
    def initialize(self, a_bzrdir, shared=False):
568
 
        # Being asked to create on a non RemoteBzrDir:
569
 
        if not isinstance(a_bzrdir, RemoteBzrDir):
570
 
            return self._vfs_initialize(a_bzrdir, shared)
571
 
        medium = a_bzrdir._client._medium
572
 
        if medium._is_remote_before((1, 13)):
573
 
            return self._vfs_initialize(a_bzrdir, shared)
574
 
        # Creating on a remote bzr dir.
575
 
        # 1) get the network name to use.
576
 
        if self._custom_format:
577
 
            network_name = self._custom_format.network_name()
578
 
        elif self._network_name:
579
 
            network_name = self._network_name
580
 
        else:
581
 
            # Select the current bzrlib default and ask for that.
582
 
            reference_bzrdir_format = bzrdir.format_registry.get('default')()
583
 
            reference_format = reference_bzrdir_format.repository_format
584
 
            network_name = reference_format.network_name()
585
 
        # 2) try direct creation via RPC
586
 
        path = a_bzrdir._path_for_remote_call(a_bzrdir._client)
587
 
        verb = 'BzrDir.create_repository'
588
 
        if shared:
589
 
            shared_str = 'True'
590
 
        else:
591
 
            shared_str = 'False'
592
 
        try:
593
 
            response = a_bzrdir._call(verb, path, network_name, shared_str)
594
 
        except errors.UnknownSmartMethod:
595
 
            # Fallback - use vfs methods
596
 
            medium._remember_remote_is_before((1, 13))
597
 
            return self._vfs_initialize(a_bzrdir, shared)
598
 
        else:
599
 
            # Turn the response into a RemoteRepository object.
600
 
            format = response_tuple_to_repo_format(response[1:])
601
 
            # Used to support creating a real format instance when needed.
602
 
            format._creating_bzrdir = a_bzrdir
603
 
            remote_repo = RemoteRepository(a_bzrdir, format)
604
 
            format._creating_repo = remote_repo
605
 
            return remote_repo
606
 
 
607
 
    def open(self, a_bzrdir):
608
 
        if not isinstance(a_bzrdir, RemoteBzrDir):
609
 
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
610
 
        return a_bzrdir.open_repository()
611
 
 
612
 
    def _ensure_real(self):
613
 
        if self._custom_format is None:
614
 
            self._custom_format = repository.network_format_registry.get(
615
 
                self._network_name)
616
 
 
617
 
    @property
618
 
    def _fetch_order(self):
619
 
        self._ensure_real()
620
 
        return self._custom_format._fetch_order
621
 
 
622
 
    @property
623
 
    def _fetch_uses_deltas(self):
624
 
        self._ensure_real()
625
 
        return self._custom_format._fetch_uses_deltas
626
 
 
627
 
    @property
628
 
    def _fetch_reconcile(self):
629
 
        self._ensure_real()
630
 
        return self._custom_format._fetch_reconcile
631
 
 
632
 
    def get_format_description(self):
633
 
        self._ensure_real()
634
 
        return 'Remote: ' + self._custom_format.get_format_description()
635
 
 
636
 
    def __eq__(self, other):
637
 
        return self.__class__ is other.__class__
638
 
 
639
 
    def network_name(self):
640
 
        if self._network_name:
641
 
            return self._network_name
642
 
        self._creating_repo._ensure_real()
643
 
        return self._creating_repo._real_repository._format.network_name()
644
 
 
645
 
    @property
646
 
    def pack_compresses(self):
647
 
        self._ensure_real()
648
 
        return self._custom_format.pack_compresses
649
 
 
650
 
    @property
651
 
    def _serializer(self):
652
 
        self._ensure_real()
653
 
        return self._custom_format._serializer
654
 
 
655
 
 
656
 
class RemoteRepository(_RpcHelper, lock._RelockDebugMixin,
657
 
    controldir.ControlComponent):
658
 
    """Repository accessed over rpc.
659
 
 
660
 
    For the moment most operations are performed using local transport-backed
661
 
    Repository objects.
662
 
    """
663
 
 
664
 
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
665
 
        """Create a RemoteRepository instance.
666
 
 
667
 
        :param remote_bzrdir: The bzrdir hosting this repository.
668
 
        :param format: The RemoteFormat object to use.
669
 
        :param real_repository: If not None, a local implementation of the
670
 
            repository logic for the repository, usually accessing the data
671
 
            via the VFS.
672
 
        :param _client: Private testing parameter - override the smart client
673
 
            to be used by the repository.
674
 
        """
675
 
        if real_repository:
676
 
            self._real_repository = real_repository
677
 
        else:
678
 
            self._real_repository = None
679
 
        self.bzrdir = remote_bzrdir
680
 
        if _client is None:
681
 
            self._client = remote_bzrdir._client
682
 
        else:
683
 
            self._client = _client
684
 
        self._format = format
685
 
        self._lock_mode = None
686
 
        self._lock_token = None
687
 
        self._lock_count = 0
688
 
        self._leave_lock = False
689
 
        # Cache of revision parents; misses are cached during read locks, and
690
 
        # write locks when no _real_repository has been set.
691
 
        self._unstacked_provider = graph.CachingParentsProvider(
692
 
            get_parent_map=self._get_parent_map_rpc)
693
 
        self._unstacked_provider.disable_cache()
694
 
        # For tests:
695
 
        # These depend on the actual remote format, so force them off for
696
 
        # maximum compatibility. XXX: In future these should depend on the
697
 
        # remote repository instance, but this is irrelevant until we perform
698
 
        # reconcile via an RPC call.
699
 
        self._reconcile_does_inventory_gc = False
700
 
        self._reconcile_fixes_text_parents = False
701
 
        self._reconcile_backsup_inventory = False
702
 
        self.base = self.bzrdir.transport.base
703
 
        # Additional places to query for data.
704
 
        self._fallback_repositories = []
705
 
 
706
 
    @property
707
 
    def user_transport(self):
708
 
        return self.bzrdir.user_transport
709
 
 
710
 
    @property
711
 
    def control_transport(self):
712
 
        # XXX: Normally you shouldn't directly get at the remote repository
713
 
        # transport, but I'm not sure it's worth making this method
714
 
        # optional -- mbp 2010-04-21
715
 
        return self.bzrdir.get_repository_transport(None)
716
 
        
717
 
    def __str__(self):
718
 
        return "%s(%s)" % (self.__class__.__name__, self.base)
719
 
 
720
 
    __repr__ = __str__
721
 
 
722
 
    def abort_write_group(self, suppress_errors=False):
723
 
        """Complete a write group on the decorated repository.
724
 
 
725
 
        Smart methods perform operations in a single step so this API
726
 
        is not really applicable except as a compatibility thunk
727
 
        for older plugins that don't use e.g. the CommitBuilder
728
 
        facility.
729
 
 
730
 
        :param suppress_errors: see Repository.abort_write_group.
731
 
        """
732
 
        self._ensure_real()
733
 
        return self._real_repository.abort_write_group(
734
 
            suppress_errors=suppress_errors)
735
 
 
736
 
    @property
737
 
    def chk_bytes(self):
738
 
        """Decorate the real repository for now.
739
 
 
740
 
        In the long term a full blown network facility is needed to avoid
741
 
        creating a real repository object locally.
742
 
        """
743
 
        self._ensure_real()
744
 
        return self._real_repository.chk_bytes
745
 
 
746
 
    def commit_write_group(self):
747
 
        """Complete a write group on the decorated repository.
748
 
 
749
 
        Smart methods perform operations in a single step so this API
750
 
        is not really applicable except as a compatibility thunk
751
 
        for older plugins that don't use e.g. the CommitBuilder
752
 
        facility.
753
 
        """
754
 
        self._ensure_real()
755
 
        return self._real_repository.commit_write_group()
756
 
 
757
 
    def resume_write_group(self, tokens):
758
 
        self._ensure_real()
759
 
        return self._real_repository.resume_write_group(tokens)
760
 
 
761
 
    def suspend_write_group(self):
762
 
        self._ensure_real()
763
 
        return self._real_repository.suspend_write_group()
764
 
 
765
 
    def get_missing_parent_inventories(self, check_for_missing_texts=True):
766
 
        self._ensure_real()
767
 
        return self._real_repository.get_missing_parent_inventories(
768
 
            check_for_missing_texts=check_for_missing_texts)
769
 
 
770
 
    def _get_rev_id_for_revno_vfs(self, revno, known_pair):
771
 
        self._ensure_real()
772
 
        return self._real_repository.get_rev_id_for_revno(
773
 
            revno, known_pair)
774
 
 
775
 
    def get_rev_id_for_revno(self, revno, known_pair):
776
 
        """See Repository.get_rev_id_for_revno."""
777
 
        path = self.bzrdir._path_for_remote_call(self._client)
778
 
        try:
779
 
            if self._client._medium._is_remote_before((1, 17)):
780
 
                return self._get_rev_id_for_revno_vfs(revno, known_pair)
781
 
            response = self._call(
782
 
                'Repository.get_rev_id_for_revno', path, revno, known_pair)
783
 
        except errors.UnknownSmartMethod:
784
 
            self._client._medium._remember_remote_is_before((1, 17))
785
 
            return self._get_rev_id_for_revno_vfs(revno, known_pair)
786
 
        if response[0] == 'ok':
787
 
            return True, response[1]
788
 
        elif response[0] == 'history-incomplete':
789
 
            known_pair = response[1:3]
790
 
            for fallback in self._fallback_repositories:
791
 
                found, result = fallback.get_rev_id_for_revno(revno, known_pair)
792
 
                if found:
793
 
                    return True, result
794
 
                else:
795
 
                    known_pair = result
796
 
            # Not found in any fallbacks
797
 
            return False, known_pair
798
 
        else:
799
 
            raise errors.UnexpectedSmartServerResponse(response)
800
 
 
801
 
    def _ensure_real(self):
802
 
        """Ensure that there is a _real_repository set.
803
 
 
804
 
        Used before calls to self._real_repository.
805
 
 
806
 
        Note that _ensure_real causes many roundtrips to the server which are
807
 
        not desirable, and prevents the use of smart one-roundtrip RPC's to
808
 
        perform complex operations (such as accessing parent data, streaming
809
 
        revisions etc). Adding calls to _ensure_real should only be done when
810
 
        bringing up new functionality, adding fallbacks for smart methods that
811
 
        require a fallback path, and never to replace an existing smart method
812
 
        invocation. If in doubt chat to the bzr network team.
813
 
        """
814
 
        if self._real_repository is None:
815
 
            if 'hpssvfs' in debug.debug_flags:
816
 
                import traceback
817
 
                warning('VFS Repository access triggered\n%s',
818
 
                    ''.join(traceback.format_stack()))
819
 
            self._unstacked_provider.missing_keys.clear()
820
 
            self.bzrdir._ensure_real()
821
 
            self._set_real_repository(
822
 
                self.bzrdir._real_bzrdir.open_repository())
823
 
 
824
 
    def _translate_error(self, err, **context):
825
 
        self.bzrdir._translate_error(err, repository=self, **context)
826
 
 
827
 
    def find_text_key_references(self):
828
 
        """Find the text key references within the repository.
829
 
 
830
 
        :return: a dictionary mapping (file_id, revision_id) tuples to altered file-ids to an iterable of
831
 
        revision_ids. Each altered file-ids has the exact revision_ids that
832
 
        altered it listed explicitly.
833
 
        :return: A dictionary mapping text keys ((fileid, revision_id) tuples)
834
 
            to whether they were referred to by the inventory of the
835
 
            revision_id that they contain. The inventory texts from all present
836
 
            revision ids are assessed to generate this report.
837
 
        """
838
 
        self._ensure_real()
839
 
        return self._real_repository.find_text_key_references()
840
 
 
841
 
    def _generate_text_key_index(self):
842
 
        """Generate a new text key index for the repository.
843
 
 
844
 
        This is an expensive function that will take considerable time to run.
845
 
 
846
 
        :return: A dict mapping (file_id, revision_id) tuples to a list of
847
 
            parents, also (file_id, revision_id) tuples.
848
 
        """
849
 
        self._ensure_real()
850
 
        return self._real_repository._generate_text_key_index()
851
 
 
852
 
    def _get_revision_graph(self, revision_id):
853
 
        """Private method for using with old (< 1.2) servers to fallback."""
854
 
        if revision_id is None:
855
 
            revision_id = ''
856
 
        elif revision.is_null(revision_id):
857
 
            return {}
858
 
 
859
 
        path = self.bzrdir._path_for_remote_call(self._client)
860
 
        response = self._call_expecting_body(
861
 
            'Repository.get_revision_graph', path, revision_id)
862
 
        response_tuple, response_handler = response
863
 
        if response_tuple[0] != 'ok':
864
 
            raise errors.UnexpectedSmartServerResponse(response_tuple)
865
 
        coded = response_handler.read_body_bytes()
866
 
        if coded == '':
867
 
            # no revisions in this repository!
868
 
            return {}
869
 
        lines = coded.split('\n')
870
 
        revision_graph = {}
871
 
        for line in lines:
872
 
            d = tuple(line.split())
873
 
            revision_graph[d[0]] = d[1:]
874
 
 
875
 
        return revision_graph
876
 
 
877
 
    def _get_sink(self):
878
 
        """See Repository._get_sink()."""
879
 
        return RemoteStreamSink(self)
880
 
 
881
 
    def _get_source(self, to_format):
882
 
        """Return a source for streaming from this repository."""
883
 
        return RemoteStreamSource(self, to_format)
884
 
 
885
 
    @needs_read_lock
886
 
    def has_revision(self, revision_id):
887
 
        """True if this repository has a copy of the revision."""
888
 
        # Copy of bzrlib.repository.Repository.has_revision
889
 
        return revision_id in self.has_revisions((revision_id,))
890
 
 
891
 
    @needs_read_lock
892
 
    def has_revisions(self, revision_ids):
893
 
        """Probe to find out the presence of multiple revisions.
894
 
 
895
 
        :param revision_ids: An iterable of revision_ids.
896
 
        :return: A set of the revision_ids that were present.
897
 
        """
898
 
        # Copy of bzrlib.repository.Repository.has_revisions
899
 
        parent_map = self.get_parent_map(revision_ids)
900
 
        result = set(parent_map)
901
 
        if _mod_revision.NULL_REVISION in revision_ids:
902
 
            result.add(_mod_revision.NULL_REVISION)
903
 
        return result
904
 
 
905
 
    def _has_same_fallbacks(self, other_repo):
906
 
        """Returns true if the repositories have the same fallbacks."""
907
 
        # XXX: copied from Repository; it should be unified into a base class
908
 
        # <https://bugs.launchpad.net/bzr/+bug/401622>
909
 
        my_fb = self._fallback_repositories
910
 
        other_fb = other_repo._fallback_repositories
911
 
        if len(my_fb) != len(other_fb):
912
 
            return False
913
 
        for f, g in zip(my_fb, other_fb):
914
 
            if not f.has_same_location(g):
915
 
                return False
916
 
        return True
917
 
 
918
 
    def has_same_location(self, other):
919
 
        # TODO: Move to RepositoryBase and unify with the regular Repository
920
 
        # one; unfortunately the tests rely on slightly different behaviour at
921
 
        # present -- mbp 20090710
922
 
        return (self.__class__ is other.__class__ and
923
 
                self.bzrdir.transport.base == other.bzrdir.transport.base)
924
 
 
925
 
    def get_graph(self, other_repository=None):
926
 
        """Return the graph for this repository format"""
927
 
        parents_provider = self._make_parents_provider(other_repository)
928
 
        return graph.Graph(parents_provider)
929
 
 
930
 
    @needs_read_lock
931
 
    def get_known_graph_ancestry(self, revision_ids):
932
 
        """Return the known graph for a set of revision ids and their ancestors.
933
 
        """
934
 
        st = static_tuple.StaticTuple
935
 
        revision_keys = [st(r_id).intern() for r_id in revision_ids]
936
 
        known_graph = self.revisions.get_known_graph_ancestry(revision_keys)
937
 
        return graph.GraphThunkIdsToKeys(known_graph)
938
 
 
939
 
    def gather_stats(self, revid=None, committers=None):
940
 
        """See Repository.gather_stats()."""
941
 
        path = self.bzrdir._path_for_remote_call(self._client)
942
 
        # revid can be None to indicate no revisions, not just NULL_REVISION
943
 
        if revid is None or revision.is_null(revid):
944
 
            fmt_revid = ''
945
 
        else:
946
 
            fmt_revid = revid
947
 
        if committers is None or not committers:
948
 
            fmt_committers = 'no'
949
 
        else:
950
 
            fmt_committers = 'yes'
951
 
        response_tuple, response_handler = self._call_expecting_body(
952
 
            'Repository.gather_stats', path, fmt_revid, fmt_committers)
953
 
        if response_tuple[0] != 'ok':
954
 
            raise errors.UnexpectedSmartServerResponse(response_tuple)
955
 
 
956
 
        body = response_handler.read_body_bytes()
957
 
        result = {}
958
 
        for line in body.split('\n'):
959
 
            if not line:
960
 
                continue
961
 
            key, val_text = line.split(':')
962
 
            if key in ('revisions', 'size', 'committers'):
963
 
                result[key] = int(val_text)
964
 
            elif key in ('firstrev', 'latestrev'):
965
 
                values = val_text.split(' ')[1:]
966
 
                result[key] = (float(values[0]), long(values[1]))
967
 
 
968
 
        return result
969
 
 
970
 
    def find_branches(self, using=False):
971
 
        """See Repository.find_branches()."""
972
 
        # should be an API call to the server.
973
 
        self._ensure_real()
974
 
        return self._real_repository.find_branches(using=using)
975
 
 
976
 
    def get_physical_lock_status(self):
977
 
        """See Repository.get_physical_lock_status()."""
978
 
        # should be an API call to the server.
979
 
        self._ensure_real()
980
 
        return self._real_repository.get_physical_lock_status()
981
 
 
982
 
    def is_in_write_group(self):
983
 
        """Return True if there is an open write group.
984
 
 
985
 
        write groups are only applicable locally for the smart server..
986
 
        """
987
 
        if self._real_repository:
988
 
            return self._real_repository.is_in_write_group()
989
 
 
990
 
    def is_locked(self):
991
 
        return self._lock_count >= 1
992
 
 
993
 
    def is_shared(self):
994
 
        """See Repository.is_shared()."""
995
 
        path = self.bzrdir._path_for_remote_call(self._client)
996
 
        response = self._call('Repository.is_shared', path)
997
 
        if response[0] not in ('yes', 'no'):
998
 
            raise SmartProtocolError('unexpected response code %s' % (response,))
999
 
        return response[0] == 'yes'
1000
 
 
1001
 
    def is_write_locked(self):
1002
 
        return self._lock_mode == 'w'
1003
 
 
1004
 
    def _warn_if_deprecated(self, branch=None):
1005
 
        # If we have a real repository, the check will be done there, if we
1006
 
        # don't the check will be done remotely.
1007
 
        pass
1008
 
 
1009
 
    def lock_read(self):
1010
 
        """Lock the repository for read operations.
1011
 
 
1012
 
        :return: A bzrlib.lock.LogicalLockResult.
1013
 
        """
1014
 
        # wrong eventually - want a local lock cache context
1015
 
        if not self._lock_mode:
1016
 
            self._note_lock('r')
1017
 
            self._lock_mode = 'r'
1018
 
            self._lock_count = 1
1019
 
            self._unstacked_provider.enable_cache(cache_misses=True)
1020
 
            if self._real_repository is not None:
1021
 
                self._real_repository.lock_read()
1022
 
            for repo in self._fallback_repositories:
1023
 
                repo.lock_read()
1024
 
        else:
1025
 
            self._lock_count += 1
1026
 
        return lock.LogicalLockResult(self.unlock)
1027
 
 
1028
 
    def _remote_lock_write(self, token):
1029
 
        path = self.bzrdir._path_for_remote_call(self._client)
1030
 
        if token is None:
1031
 
            token = ''
1032
 
        err_context = {'token': token}
1033
 
        response = self._call('Repository.lock_write', path, token,
1034
 
                              **err_context)
1035
 
        if response[0] == 'ok':
1036
 
            ok, token = response
1037
 
            return token
1038
 
        else:
1039
 
            raise errors.UnexpectedSmartServerResponse(response)
1040
 
 
1041
 
    def lock_write(self, token=None, _skip_rpc=False):
1042
 
        if not self._lock_mode:
1043
 
            self._note_lock('w')
1044
 
            if _skip_rpc:
1045
 
                if self._lock_token is not None:
1046
 
                    if token != self._lock_token:
1047
 
                        raise errors.TokenMismatch(token, self._lock_token)
1048
 
                self._lock_token = token
1049
 
            else:
1050
 
                self._lock_token = self._remote_lock_write(token)
1051
 
            # if self._lock_token is None, then this is something like packs or
1052
 
            # svn where we don't get to lock the repo, or a weave style repository
1053
 
            # where we cannot lock it over the wire and attempts to do so will
1054
 
            # fail.
1055
 
            if self._real_repository is not None:
1056
 
                self._real_repository.lock_write(token=self._lock_token)
1057
 
            if token is not None:
1058
 
                self._leave_lock = True
1059
 
            else:
1060
 
                self._leave_lock = False
1061
 
            self._lock_mode = 'w'
1062
 
            self._lock_count = 1
1063
 
            cache_misses = self._real_repository is None
1064
 
            self._unstacked_provider.enable_cache(cache_misses=cache_misses)
1065
 
            for repo in self._fallback_repositories:
1066
 
                # Writes don't affect fallback repos
1067
 
                repo.lock_read()
1068
 
        elif self._lock_mode == 'r':
1069
 
            raise errors.ReadOnlyError(self)
1070
 
        else:
1071
 
            self._lock_count += 1
1072
 
        return RepositoryWriteLockResult(self.unlock, self._lock_token or None)
1073
 
 
1074
 
    def leave_lock_in_place(self):
1075
 
        if not self._lock_token:
1076
 
            raise NotImplementedError(self.leave_lock_in_place)
1077
 
        self._leave_lock = True
1078
 
 
1079
 
    def dont_leave_lock_in_place(self):
1080
 
        if not self._lock_token:
1081
 
            raise NotImplementedError(self.dont_leave_lock_in_place)
1082
 
        self._leave_lock = False
1083
 
 
1084
 
    def _set_real_repository(self, repository):
1085
 
        """Set the _real_repository for this repository.
1086
 
 
1087
 
        :param repository: The repository to fallback to for non-hpss
1088
 
            implemented operations.
1089
 
        """
1090
 
        if self._real_repository is not None:
1091
 
            # Replacing an already set real repository.
1092
 
            # We cannot do this [currently] if the repository is locked -
1093
 
            # synchronised state might be lost.
1094
 
            if self.is_locked():
1095
 
                raise AssertionError('_real_repository is already set')
1096
 
        if isinstance(repository, RemoteRepository):
1097
 
            raise AssertionError()
1098
 
        self._real_repository = repository
1099
 
        # three code paths happen here:
1100
 
        # 1) old servers, RemoteBranch.open() calls _ensure_real before setting
1101
 
        # up stacking. In this case self._fallback_repositories is [], and the
1102
 
        # real repo is already setup. Preserve the real repo and
1103
 
        # RemoteRepository.add_fallback_repository will avoid adding
1104
 
        # duplicates.
1105
 
        # 2) new servers, RemoteBranch.open() sets up stacking, and when
1106
 
        # ensure_real is triggered from a branch, the real repository to
1107
 
        # set already has a matching list with separate instances, but
1108
 
        # as they are also RemoteRepositories we don't worry about making the
1109
 
        # lists be identical.
1110
 
        # 3) new servers, RemoteRepository.ensure_real is triggered before
1111
 
        # RemoteBranch.ensure real, in this case we get a repo with no fallbacks
1112
 
        # and need to populate it.
1113
 
        if (self._fallback_repositories and
1114
 
            len(self._real_repository._fallback_repositories) !=
1115
 
            len(self._fallback_repositories)):
1116
 
            if len(self._real_repository._fallback_repositories):
1117
 
                raise AssertionError(
1118
 
                    "cannot cleanly remove existing _fallback_repositories")
1119
 
        for fb in self._fallback_repositories:
1120
 
            self._real_repository.add_fallback_repository(fb)
1121
 
        if self._lock_mode == 'w':
1122
 
            # if we are already locked, the real repository must be able to
1123
 
            # acquire the lock with our token.
1124
 
            self._real_repository.lock_write(self._lock_token)
1125
 
        elif self._lock_mode == 'r':
1126
 
            self._real_repository.lock_read()
1127
 
 
1128
 
    def start_write_group(self):
1129
 
        """Start a write group on the decorated repository.
1130
 
 
1131
 
        Smart methods perform operations in a single step so this API
1132
 
        is not really applicable except as a compatibility thunk
1133
 
        for older plugins that don't use e.g. the CommitBuilder
1134
 
        facility.
1135
 
        """
1136
 
        self._ensure_real()
1137
 
        return self._real_repository.start_write_group()
1138
 
 
1139
 
    def _unlock(self, token):
1140
 
        path = self.bzrdir._path_for_remote_call(self._client)
1141
 
        if not token:
1142
 
            # with no token the remote repository is not persistently locked.
1143
 
            return
1144
 
        err_context = {'token': token}
1145
 
        response = self._call('Repository.unlock', path, token,
1146
 
                              **err_context)
1147
 
        if response == ('ok',):
1148
 
            return
1149
 
        else:
1150
 
            raise errors.UnexpectedSmartServerResponse(response)
1151
 
 
1152
 
    @only_raises(errors.LockNotHeld, errors.LockBroken)
1153
 
    def unlock(self):
1154
 
        if not self._lock_count:
1155
 
            return lock.cant_unlock_not_held(self)
1156
 
        self._lock_count -= 1
1157
 
        if self._lock_count > 0:
1158
 
            return
1159
 
        self._unstacked_provider.disable_cache()
1160
 
        old_mode = self._lock_mode
1161
 
        self._lock_mode = None
1162
 
        try:
1163
 
            # The real repository is responsible at present for raising an
1164
 
            # exception if it's in an unfinished write group.  However, it
1165
 
            # normally will *not* actually remove the lock from disk - that's
1166
 
            # done by the server on receiving the Repository.unlock call.
1167
 
            # This is just to let the _real_repository stay up to date.
1168
 
            if self._real_repository is not None:
1169
 
                self._real_repository.unlock()
1170
 
        finally:
1171
 
            # The rpc-level lock should be released even if there was a
1172
 
            # problem releasing the vfs-based lock.
1173
 
            if old_mode == 'w':
1174
 
                # Only write-locked repositories need to make a remote method
1175
 
                # call to perform the unlock.
1176
 
                old_token = self._lock_token
1177
 
                self._lock_token = None
1178
 
                if not self._leave_lock:
1179
 
                    self._unlock(old_token)
1180
 
        # Fallbacks are always 'lock_read()' so we don't pay attention to
1181
 
        # self._leave_lock
1182
 
        for repo in self._fallback_repositories:
1183
 
            repo.unlock()
1184
 
 
1185
 
    def break_lock(self):
1186
 
        # should hand off to the network
1187
 
        self._ensure_real()
1188
 
        return self._real_repository.break_lock()
1189
 
 
1190
 
    def _get_tarball(self, compression):
1191
 
        """Return a TemporaryFile containing a repository tarball.
1192
 
 
1193
 
        Returns None if the server does not support sending tarballs.
1194
 
        """
1195
 
        import tempfile
1196
 
        path = self.bzrdir._path_for_remote_call(self._client)
1197
 
        try:
1198
 
            response, protocol = self._call_expecting_body(
1199
 
                'Repository.tarball', path, compression)
1200
 
        except errors.UnknownSmartMethod:
1201
 
            protocol.cancel_read_body()
1202
 
            return None
1203
 
        if response[0] == 'ok':
1204
 
            # Extract the tarball and return it
1205
 
            t = tempfile.NamedTemporaryFile()
1206
 
            # TODO: rpc layer should read directly into it...
1207
 
            t.write(protocol.read_body_bytes())
1208
 
            t.seek(0)
1209
 
            return t
1210
 
        raise errors.UnexpectedSmartServerResponse(response)
1211
 
 
1212
 
    def sprout(self, to_bzrdir, revision_id=None):
1213
 
        # TODO: Option to control what format is created?
1214
 
        self._ensure_real()
1215
 
        dest_repo = self._real_repository._format.initialize(to_bzrdir,
1216
 
                                                             shared=False)
1217
 
        dest_repo.fetch(self, revision_id=revision_id)
1218
 
        return dest_repo
1219
 
 
1220
 
    ### These methods are just thin shims to the VFS object for now.
1221
 
 
1222
 
    def revision_tree(self, revision_id):
1223
 
        self._ensure_real()
1224
 
        return self._real_repository.revision_tree(revision_id)
1225
 
 
1226
 
    def get_serializer_format(self):
1227
 
        self._ensure_real()
1228
 
        return self._real_repository.get_serializer_format()
1229
 
 
1230
 
    def get_commit_builder(self, branch, parents, config, timestamp=None,
1231
 
                           timezone=None, committer=None, revprops=None,
1232
 
                           revision_id=None):
1233
 
        # FIXME: It ought to be possible to call this without immediately
1234
 
        # triggering _ensure_real.  For now it's the easiest thing to do.
1235
 
        self._ensure_real()
1236
 
        real_repo = self._real_repository
1237
 
        builder = real_repo.get_commit_builder(branch, parents,
1238
 
                config, timestamp=timestamp, timezone=timezone,
1239
 
                committer=committer, revprops=revprops, revision_id=revision_id)
1240
 
        return builder
1241
 
 
1242
 
    def add_fallback_repository(self, repository):
1243
 
        """Add a repository to use for looking up data not held locally.
1244
 
 
1245
 
        :param repository: A repository.
1246
 
        """
1247
 
        if not self._format.supports_external_lookups:
1248
 
            raise errors.UnstackableRepositoryFormat(
1249
 
                self._format.network_name(), self.base)
1250
 
        # We need to accumulate additional repositories here, to pass them in
1251
 
        # on various RPC's.
1252
 
        #
1253
 
        if self.is_locked():
1254
 
            # We will call fallback.unlock() when we transition to the unlocked
1255
 
            # state, so always add a lock here. If a caller passes us a locked
1256
 
            # repository, they are responsible for unlocking it later.
1257
 
            repository.lock_read()
1258
 
        self._check_fallback_repository(repository)
1259
 
        self._fallback_repositories.append(repository)
1260
 
        # If self._real_repository was parameterised already (e.g. because a
1261
 
        # _real_branch had its get_stacked_on_url method called), then the
1262
 
        # repository to be added may already be in the _real_repositories list.
1263
 
        if self._real_repository is not None:
1264
 
            fallback_locations = [repo.user_url for repo in
1265
 
                self._real_repository._fallback_repositories]
1266
 
            if repository.user_url not in fallback_locations:
1267
 
                self._real_repository.add_fallback_repository(repository)
1268
 
 
1269
 
    def _check_fallback_repository(self, repository):
1270
 
        """Check that this repository can fallback to repository safely.
1271
 
 
1272
 
        Raise an error if not.
1273
 
 
1274
 
        :param repository: A repository to fallback to.
1275
 
        """
1276
 
        return _mod_repository.InterRepository._assert_same_model(
1277
 
            self, repository)
1278
 
 
1279
 
    def add_inventory(self, revid, inv, parents):
1280
 
        self._ensure_real()
1281
 
        return self._real_repository.add_inventory(revid, inv, parents)
1282
 
 
1283
 
    def add_inventory_by_delta(self, basis_revision_id, delta, new_revision_id,
1284
 
            parents, basis_inv=None, propagate_caches=False):
1285
 
        self._ensure_real()
1286
 
        return self._real_repository.add_inventory_by_delta(basis_revision_id,
1287
 
            delta, new_revision_id, parents, basis_inv=basis_inv,
1288
 
            propagate_caches=propagate_caches)
1289
 
 
1290
 
    def add_revision(self, rev_id, rev, inv=None, config=None):
1291
 
        self._ensure_real()
1292
 
        return self._real_repository.add_revision(
1293
 
            rev_id, rev, inv=inv, config=config)
1294
 
 
1295
 
    @needs_read_lock
1296
 
    def get_inventory(self, revision_id):
1297
 
        self._ensure_real()
1298
 
        return self._real_repository.get_inventory(revision_id)
1299
 
 
1300
 
    def iter_inventories(self, revision_ids, ordering=None):
1301
 
        self._ensure_real()
1302
 
        return self._real_repository.iter_inventories(revision_ids, ordering)
1303
 
 
1304
 
    @needs_read_lock
1305
 
    def get_revision(self, revision_id):
1306
 
        self._ensure_real()
1307
 
        return self._real_repository.get_revision(revision_id)
1308
 
 
1309
 
    def get_transaction(self):
1310
 
        self._ensure_real()
1311
 
        return self._real_repository.get_transaction()
1312
 
 
1313
 
    @needs_read_lock
1314
 
    def clone(self, a_bzrdir, revision_id=None):
1315
 
        self._ensure_real()
1316
 
        return self._real_repository.clone(a_bzrdir, revision_id=revision_id)
1317
 
 
1318
 
    def make_working_trees(self):
1319
 
        """See Repository.make_working_trees"""
1320
 
        self._ensure_real()
1321
 
        return self._real_repository.make_working_trees()
1322
 
 
1323
 
    def refresh_data(self):
1324
 
        """Re-read any data needed to synchronise with disk.
1325
 
 
1326
 
        This method is intended to be called after another repository instance
1327
 
        (such as one used by a smart server) has inserted data into the
1328
 
        repository. On all repositories this will work outside of write groups.
1329
 
        Some repository formats (pack and newer for bzrlib native formats)
1330
 
        support refresh_data inside write groups. If called inside a write
1331
 
        group on a repository that does not support refreshing in a write group
1332
 
        IsInWriteGroupError will be raised.
1333
 
        """
1334
 
        if self._real_repository is not None:
1335
 
            self._real_repository.refresh_data()
1336
 
 
1337
 
    def revision_ids_to_search_result(self, result_set):
1338
 
        """Convert a set of revision ids to a graph SearchResult."""
1339
 
        result_parents = set()
1340
 
        for parents in self.get_graph().get_parent_map(
1341
 
            result_set).itervalues():
1342
 
            result_parents.update(parents)
1343
 
        included_keys = result_set.intersection(result_parents)
1344
 
        start_keys = result_set.difference(included_keys)
1345
 
        exclude_keys = result_parents.difference(result_set)
1346
 
        result = graph.SearchResult(start_keys, exclude_keys,
1347
 
            len(result_set), result_set)
1348
 
        return result
1349
 
 
1350
 
    @needs_read_lock
1351
 
    def search_missing_revision_ids(self, other,
1352
 
            revision_id=symbol_versioning.DEPRECATED_PARAMETER,
1353
 
            find_ghosts=True, revision_ids=None, if_present_ids=None):
1354
 
        """Return the revision ids that other has that this does not.
1355
 
 
1356
 
        These are returned in topological order.
1357
 
 
1358
 
        revision_id: only return revision ids included by revision_id.
1359
 
        """
1360
 
        if symbol_versioning.deprecated_passed(revision_id):
1361
 
            symbol_versioning.warn(
1362
 
                'search_missing_revision_ids(revision_id=...) was '
1363
 
                'deprecated in 2.4.  Use revision_ids=[...] instead.',
1364
 
                DeprecationWarning, stacklevel=2)
1365
 
            if revision_ids is not None:
1366
 
                raise AssertionError(
1367
 
                    'revision_ids is mutually exclusive with revision_id')
1368
 
            if revision_id is not None:
1369
 
                revision_ids = [revision_id]
1370
 
        inter_repo = repository.InterRepository.get(other, self)
1371
 
        return inter_repo.search_missing_revision_ids(
1372
 
            find_ghosts=find_ghosts, revision_ids=revision_ids,
1373
 
            if_present_ids=if_present_ids)
1374
 
 
1375
 
    def fetch(self, source, revision_id=None, pb=None, find_ghosts=False,
1376
 
            fetch_spec=None):
1377
 
        # No base implementation to use as RemoteRepository is not a subclass
1378
 
        # of Repository; so this is a copy of Repository.fetch().
1379
 
        if fetch_spec is not None and revision_id is not None:
1380
 
            raise AssertionError(
1381
 
                "fetch_spec and revision_id are mutually exclusive.")
1382
 
        if self.is_in_write_group():
1383
 
            raise errors.InternalBzrError(
1384
 
                "May not fetch while in a write group.")
1385
 
        # fast path same-url fetch operations
1386
 
        if (self.has_same_location(source)
1387
 
            and fetch_spec is None
1388
 
            and self._has_same_fallbacks(source)):
1389
 
            # check that last_revision is in 'from' and then return a
1390
 
            # no-operation.
1391
 
            if (revision_id is not None and
1392
 
                not revision.is_null(revision_id)):
1393
 
                self.get_revision(revision_id)
1394
 
            return 0, []
1395
 
        # if there is no specific appropriate InterRepository, this will get
1396
 
        # the InterRepository base class, which raises an
1397
 
        # IncompatibleRepositories when asked to fetch.
1398
 
        inter = repository.InterRepository.get(source, self)
1399
 
        return inter.fetch(revision_id=revision_id, pb=pb,
1400
 
            find_ghosts=find_ghosts, fetch_spec=fetch_spec)
1401
 
 
1402
 
    def create_bundle(self, target, base, fileobj, format=None):
1403
 
        self._ensure_real()
1404
 
        self._real_repository.create_bundle(target, base, fileobj, format)
1405
 
 
1406
 
    @needs_read_lock
1407
 
    def get_ancestry(self, revision_id, topo_sorted=True):
1408
 
        self._ensure_real()
1409
 
        return self._real_repository.get_ancestry(revision_id, topo_sorted)
1410
 
 
1411
 
    def fileids_altered_by_revision_ids(self, revision_ids):
1412
 
        self._ensure_real()
1413
 
        return self._real_repository.fileids_altered_by_revision_ids(revision_ids)
1414
 
 
1415
 
    def _get_versioned_file_checker(self, revisions, revision_versions_cache):
1416
 
        self._ensure_real()
1417
 
        return self._real_repository._get_versioned_file_checker(
1418
 
            revisions, revision_versions_cache)
1419
 
 
1420
 
    def iter_files_bytes(self, desired_files):
1421
 
        """See Repository.iter_file_bytes.
1422
 
        """
1423
 
        self._ensure_real()
1424
 
        return self._real_repository.iter_files_bytes(desired_files)
1425
 
 
1426
 
    def get_parent_map(self, revision_ids):
1427
 
        """See bzrlib.Graph.get_parent_map()."""
1428
 
        return self._make_parents_provider().get_parent_map(revision_ids)
1429
 
 
1430
 
    def _get_parent_map_rpc(self, keys):
1431
 
        """Helper for get_parent_map that performs the RPC."""
1432
 
        medium = self._client._medium
1433
 
        if medium._is_remote_before((1, 2)):
1434
 
            # We already found out that the server can't understand
1435
 
            # Repository.get_parent_map requests, so just fetch the whole
1436
 
            # graph.
1437
 
            #
1438
 
            # Note that this reads the whole graph, when only some keys are
1439
 
            # wanted.  On this old server there's no way (?) to get them all
1440
 
            # in one go, and the user probably will have seen a warning about
1441
 
            # the server being old anyhow.
1442
 
            rg = self._get_revision_graph(None)
1443
 
            # There is an API discrepancy between get_parent_map and
1444
 
            # get_revision_graph. Specifically, a "key:()" pair in
1445
 
            # get_revision_graph just means a node has no parents. For
1446
 
            # "get_parent_map" it means the node is a ghost. So fix up the
1447
 
            # graph to correct this.
1448
 
            #   https://bugs.launchpad.net/bzr/+bug/214894
1449
 
            # There is one other "bug" which is that ghosts in
1450
 
            # get_revision_graph() are not returned at all. But we won't worry
1451
 
            # about that for now.
1452
 
            for node_id, parent_ids in rg.iteritems():
1453
 
                if parent_ids == ():
1454
 
                    rg[node_id] = (NULL_REVISION,)
1455
 
            rg[NULL_REVISION] = ()
1456
 
            return rg
1457
 
 
1458
 
        keys = set(keys)
1459
 
        if None in keys:
1460
 
            raise ValueError('get_parent_map(None) is not valid')
1461
 
        if NULL_REVISION in keys:
1462
 
            keys.discard(NULL_REVISION)
1463
 
            found_parents = {NULL_REVISION:()}
1464
 
            if not keys:
1465
 
                return found_parents
1466
 
        else:
1467
 
            found_parents = {}
1468
 
        # TODO(Needs analysis): We could assume that the keys being requested
1469
 
        # from get_parent_map are in a breadth first search, so typically they
1470
 
        # will all be depth N from some common parent, and we don't have to
1471
 
        # have the server iterate from the root parent, but rather from the
1472
 
        # keys we're searching; and just tell the server the keyspace we
1473
 
        # already have; but this may be more traffic again.
1474
 
 
1475
 
        # Transform self._parents_map into a search request recipe.
1476
 
        # TODO: Manage this incrementally to avoid covering the same path
1477
 
        # repeatedly. (The server will have to on each request, but the less
1478
 
        # work done the better).
1479
 
        #
1480
 
        # Negative caching notes:
1481
 
        # new server sends missing when a request including the revid
1482
 
        # 'include-missing:' is present in the request.
1483
 
        # missing keys are serialised as missing:X, and we then call
1484
 
        # provider.note_missing(X) for-all X
1485
 
        parents_map = self._unstacked_provider.get_cached_map()
1486
 
        if parents_map is None:
1487
 
            # Repository is not locked, so there's no cache.
1488
 
            parents_map = {}
1489
 
        # start_set is all the keys in the cache
1490
 
        start_set = set(parents_map)
1491
 
        # result set is all the references to keys in the cache
1492
 
        result_parents = set()
1493
 
        for parents in parents_map.itervalues():
1494
 
            result_parents.update(parents)
1495
 
        stop_keys = result_parents.difference(start_set)
1496
 
        # We don't need to send ghosts back to the server as a position to
1497
 
        # stop either.
1498
 
        stop_keys.difference_update(self._unstacked_provider.missing_keys)
1499
 
        key_count = len(parents_map)
1500
 
        if (NULL_REVISION in result_parents
1501
 
            and NULL_REVISION in self._unstacked_provider.missing_keys):
1502
 
            # If we pruned NULL_REVISION from the stop_keys because it's also
1503
 
            # in our cache of "missing" keys we need to increment our key count
1504
 
            # by 1, because the reconsitituted SearchResult on the server will
1505
 
            # still consider NULL_REVISION to be an included key.
1506
 
            key_count += 1
1507
 
        included_keys = start_set.intersection(result_parents)
1508
 
        start_set.difference_update(included_keys)
1509
 
        recipe = ('manual', start_set, stop_keys, key_count)
1510
 
        body = self._serialise_search_recipe(recipe)
1511
 
        path = self.bzrdir._path_for_remote_call(self._client)
1512
 
        for key in keys:
1513
 
            if type(key) is not str:
1514
 
                raise ValueError(
1515
 
                    "key %r not a plain string" % (key,))
1516
 
        verb = 'Repository.get_parent_map'
1517
 
        args = (path, 'include-missing:') + tuple(keys)
1518
 
        try:
1519
 
            response = self._call_with_body_bytes_expecting_body(
1520
 
                verb, args, body)
1521
 
        except errors.UnknownSmartMethod:
1522
 
            # Server does not support this method, so get the whole graph.
1523
 
            # Worse, we have to force a disconnection, because the server now
1524
 
            # doesn't realise it has a body on the wire to consume, so the
1525
 
            # only way to recover is to abandon the connection.
1526
 
            warning(
1527
 
                'Server is too old for fast get_parent_map, reconnecting.  '
1528
 
                '(Upgrade the server to Bazaar 1.2 to avoid this)')
1529
 
            medium.disconnect()
1530
 
            # To avoid having to disconnect repeatedly, we keep track of the
1531
 
            # fact the server doesn't understand remote methods added in 1.2.
1532
 
            medium._remember_remote_is_before((1, 2))
1533
 
            # Recurse just once and we should use the fallback code.
1534
 
            return self._get_parent_map_rpc(keys)
1535
 
        response_tuple, response_handler = response
1536
 
        if response_tuple[0] not in ['ok']:
1537
 
            response_handler.cancel_read_body()
1538
 
            raise errors.UnexpectedSmartServerResponse(response_tuple)
1539
 
        if response_tuple[0] == 'ok':
1540
 
            coded = bz2.decompress(response_handler.read_body_bytes())
1541
 
            if coded == '':
1542
 
                # no revisions found
1543
 
                return {}
1544
 
            lines = coded.split('\n')
1545
 
            revision_graph = {}
1546
 
            for line in lines:
1547
 
                d = tuple(line.split())
1548
 
                if len(d) > 1:
1549
 
                    revision_graph[d[0]] = d[1:]
1550
 
                else:
1551
 
                    # No parents:
1552
 
                    if d[0].startswith('missing:'):
1553
 
                        revid = d[0][8:]
1554
 
                        self._unstacked_provider.note_missing_key(revid)
1555
 
                    else:
1556
 
                        # no parents - so give the Graph result
1557
 
                        # (NULL_REVISION,).
1558
 
                        revision_graph[d[0]] = (NULL_REVISION,)
1559
 
            return revision_graph
1560
 
 
1561
 
    @needs_read_lock
1562
 
    def get_signature_text(self, revision_id):
1563
 
        self._ensure_real()
1564
 
        return self._real_repository.get_signature_text(revision_id)
1565
 
 
1566
 
    @needs_read_lock
1567
 
    def _get_inventory_xml(self, revision_id):
1568
 
        self._ensure_real()
1569
 
        return self._real_repository._get_inventory_xml(revision_id)
1570
 
 
1571
 
    def reconcile(self, other=None, thorough=False):
1572
 
        self._ensure_real()
1573
 
        return self._real_repository.reconcile(other=other, thorough=thorough)
1574
 
 
1575
 
    def all_revision_ids(self):
1576
 
        self._ensure_real()
1577
 
        return self._real_repository.all_revision_ids()
1578
 
 
1579
 
    @needs_read_lock
1580
 
    def get_deltas_for_revisions(self, revisions, specific_fileids=None):
1581
 
        self._ensure_real()
1582
 
        return self._real_repository.get_deltas_for_revisions(revisions,
1583
 
            specific_fileids=specific_fileids)
1584
 
 
1585
 
    @needs_read_lock
1586
 
    def get_revision_delta(self, revision_id, specific_fileids=None):
1587
 
        self._ensure_real()
1588
 
        return self._real_repository.get_revision_delta(revision_id,
1589
 
            specific_fileids=specific_fileids)
1590
 
 
1591
 
    @needs_read_lock
1592
 
    def revision_trees(self, revision_ids):
1593
 
        self._ensure_real()
1594
 
        return self._real_repository.revision_trees(revision_ids)
1595
 
 
1596
 
    @needs_read_lock
1597
 
    def get_revision_reconcile(self, revision_id):
1598
 
        self._ensure_real()
1599
 
        return self._real_repository.get_revision_reconcile(revision_id)
1600
 
 
1601
 
    @needs_read_lock
1602
 
    def check(self, revision_ids=None, callback_refs=None, check_repo=True):
1603
 
        self._ensure_real()
1604
 
        return self._real_repository.check(revision_ids=revision_ids,
1605
 
            callback_refs=callback_refs, check_repo=check_repo)
1606
 
 
1607
 
    def copy_content_into(self, destination, revision_id=None):
1608
 
        self._ensure_real()
1609
 
        return self._real_repository.copy_content_into(
1610
 
            destination, revision_id=revision_id)
1611
 
 
1612
 
    def _copy_repository_tarball(self, to_bzrdir, revision_id=None):
1613
 
        # get a tarball of the remote repository, and copy from that into the
1614
 
        # destination
1615
 
        from bzrlib import osutils
1616
 
        import tarfile
1617
 
        # TODO: Maybe a progress bar while streaming the tarball?
1618
 
        note("Copying repository content as tarball...")
1619
 
        tar_file = self._get_tarball('bz2')
1620
 
        if tar_file is None:
1621
 
            return None
1622
 
        destination = to_bzrdir.create_repository()
1623
 
        try:
1624
 
            tar = tarfile.open('repository', fileobj=tar_file,
1625
 
                mode='r|bz2')
1626
 
            tmpdir = osutils.mkdtemp()
1627
 
            try:
1628
 
                _extract_tar(tar, tmpdir)
1629
 
                tmp_bzrdir = BzrDir.open(tmpdir)
1630
 
                tmp_repo = tmp_bzrdir.open_repository()
1631
 
                tmp_repo.copy_content_into(destination, revision_id)
1632
 
            finally:
1633
 
                osutils.rmtree(tmpdir)
1634
 
        finally:
1635
 
            tar_file.close()
1636
 
        return destination
1637
 
        # TODO: Suggestion from john: using external tar is much faster than
1638
 
        # python's tarfile library, but it may not work on windows.
1639
 
 
1640
 
    @property
1641
 
    def inventories(self):
1642
 
        """Decorate the real repository for now.
1643
 
 
1644
 
        In the long term a full blown network facility is needed to
1645
 
        avoid creating a real repository object locally.
1646
 
        """
1647
 
        self._ensure_real()
1648
 
        return self._real_repository.inventories
1649
 
 
1650
 
    @needs_write_lock
1651
 
    def pack(self, hint=None, clean_obsolete_packs=False):
1652
 
        """Compress the data within the repository.
1653
 
 
1654
 
        This is not currently implemented within the smart server.
1655
 
        """
1656
 
        self._ensure_real()
1657
 
        return self._real_repository.pack(hint=hint, clean_obsolete_packs=clean_obsolete_packs)
1658
 
 
1659
 
    @property
1660
 
    def revisions(self):
1661
 
        """Decorate the real repository for now.
1662
 
 
1663
 
        In the short term this should become a real object to intercept graph
1664
 
        lookups.
1665
 
 
1666
 
        In the long term a full blown network facility is needed.
1667
 
        """
1668
 
        self._ensure_real()
1669
 
        return self._real_repository.revisions
1670
 
 
1671
 
    def set_make_working_trees(self, new_value):
1672
 
        if new_value:
1673
 
            new_value_str = "True"
1674
 
        else:
1675
 
            new_value_str = "False"
1676
 
        path = self.bzrdir._path_for_remote_call(self._client)
1677
 
        try:
1678
 
            response = self._call(
1679
 
                'Repository.set_make_working_trees', path, new_value_str)
1680
 
        except errors.UnknownSmartMethod:
1681
 
            self._ensure_real()
1682
 
            self._real_repository.set_make_working_trees(new_value)
1683
 
        else:
1684
 
            if response[0] != 'ok':
1685
 
                raise errors.UnexpectedSmartServerResponse(response)
1686
 
 
1687
 
    @property
1688
 
    def signatures(self):
1689
 
        """Decorate the real repository for now.
1690
 
 
1691
 
        In the long term a full blown network facility is needed to avoid
1692
 
        creating a real repository object locally.
1693
 
        """
1694
 
        self._ensure_real()
1695
 
        return self._real_repository.signatures
1696
 
 
1697
 
    @needs_write_lock
1698
 
    def sign_revision(self, revision_id, gpg_strategy):
1699
 
        self._ensure_real()
1700
 
        return self._real_repository.sign_revision(revision_id, gpg_strategy)
1701
 
 
1702
 
    @property
1703
 
    def texts(self):
1704
 
        """Decorate the real repository for now.
1705
 
 
1706
 
        In the long term a full blown network facility is needed to avoid
1707
 
        creating a real repository object locally.
1708
 
        """
1709
 
        self._ensure_real()
1710
 
        return self._real_repository.texts
1711
 
 
1712
 
    @needs_read_lock
1713
 
    def get_revisions(self, revision_ids):
1714
 
        self._ensure_real()
1715
 
        return self._real_repository.get_revisions(revision_ids)
1716
 
 
1717
 
    def supports_rich_root(self):
1718
 
        return self._format.rich_root_data
1719
 
 
1720
 
    def iter_reverse_revision_history(self, revision_id):
1721
 
        self._ensure_real()
1722
 
        return self._real_repository.iter_reverse_revision_history(revision_id)
1723
 
 
1724
 
    @property
1725
 
    def _serializer(self):
1726
 
        return self._format._serializer
1727
 
 
1728
 
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
1729
 
        self._ensure_real()
1730
 
        return self._real_repository.store_revision_signature(
1731
 
            gpg_strategy, plaintext, revision_id)
1732
 
 
1733
 
    def add_signature_text(self, revision_id, signature):
1734
 
        self._ensure_real()
1735
 
        return self._real_repository.add_signature_text(revision_id, signature)
1736
 
 
1737
 
    def has_signature_for_revision_id(self, revision_id):
1738
 
        self._ensure_real()
1739
 
        return self._real_repository.has_signature_for_revision_id(revision_id)
1740
 
 
1741
 
    def item_keys_introduced_by(self, revision_ids, _files_pb=None):
1742
 
        self._ensure_real()
1743
 
        return self._real_repository.item_keys_introduced_by(revision_ids,
1744
 
            _files_pb=_files_pb)
1745
 
 
1746
 
    def revision_graph_can_have_wrong_parents(self):
1747
 
        # The answer depends on the remote repo format.
1748
 
        self._ensure_real()
1749
 
        return self._real_repository.revision_graph_can_have_wrong_parents()
1750
 
 
1751
 
    def _find_inconsistent_revision_parents(self, revisions_iterator=None):
1752
 
        self._ensure_real()
1753
 
        return self._real_repository._find_inconsistent_revision_parents(
1754
 
            revisions_iterator)
1755
 
 
1756
 
    def _check_for_inconsistent_revision_parents(self):
1757
 
        self._ensure_real()
1758
 
        return self._real_repository._check_for_inconsistent_revision_parents()
1759
 
 
1760
 
    def _make_parents_provider(self, other=None):
1761
 
        providers = [self._unstacked_provider]
1762
 
        if other is not None:
1763
 
            providers.insert(0, other)
1764
 
        providers.extend(r._make_parents_provider() for r in
1765
 
                         self._fallback_repositories)
1766
 
        return graph.StackedParentsProvider(providers)
1767
 
 
1768
 
    def _serialise_search_recipe(self, recipe):
1769
 
        """Serialise a graph search recipe.
1770
 
 
1771
 
        :param recipe: A search recipe (start, stop, count).
1772
 
        :return: Serialised bytes.
1773
 
        """
1774
 
        start_keys = ' '.join(recipe[1])
1775
 
        stop_keys = ' '.join(recipe[2])
1776
 
        count = str(recipe[3])
1777
 
        return '\n'.join((start_keys, stop_keys, count))
1778
 
 
1779
 
    def _serialise_search_result(self, search_result):
1780
 
        parts = search_result.get_network_struct()
1781
 
        return '\n'.join(parts)
1782
 
 
1783
 
    def autopack(self):
1784
 
        path = self.bzrdir._path_for_remote_call(self._client)
1785
 
        try:
1786
 
            response = self._call('PackRepository.autopack', path)
1787
 
        except errors.UnknownSmartMethod:
1788
 
            self._ensure_real()
1789
 
            self._real_repository._pack_collection.autopack()
1790
 
            return
1791
 
        self.refresh_data()
1792
 
        if response[0] != 'ok':
1793
 
            raise errors.UnexpectedSmartServerResponse(response)
1794
 
 
1795
 
 
1796
 
class RemoteStreamSink(repository.StreamSink):
1797
 
 
1798
 
    def _insert_real(self, stream, src_format, resume_tokens):
1799
 
        self.target_repo._ensure_real()
1800
 
        sink = self.target_repo._real_repository._get_sink()
1801
 
        result = sink.insert_stream(stream, src_format, resume_tokens)
1802
 
        if not result:
1803
 
            self.target_repo.autopack()
1804
 
        return result
1805
 
 
1806
 
    def insert_stream(self, stream, src_format, resume_tokens):
1807
 
        target = self.target_repo
1808
 
        target._unstacked_provider.missing_keys.clear()
1809
 
        candidate_calls = [('Repository.insert_stream_1.19', (1, 19))]
1810
 
        if target._lock_token:
1811
 
            candidate_calls.append(('Repository.insert_stream_locked', (1, 14)))
1812
 
            lock_args = (target._lock_token or '',)
1813
 
        else:
1814
 
            candidate_calls.append(('Repository.insert_stream', (1, 13)))
1815
 
            lock_args = ()
1816
 
        client = target._client
1817
 
        medium = client._medium
1818
 
        path = target.bzrdir._path_for_remote_call(client)
1819
 
        # Probe for the verb to use with an empty stream before sending the
1820
 
        # real stream to it.  We do this both to avoid the risk of sending a
1821
 
        # large request that is then rejected, and because we don't want to
1822
 
        # implement a way to buffer, rewind, or restart the stream.
1823
 
        found_verb = False
1824
 
        for verb, required_version in candidate_calls:
1825
 
            if medium._is_remote_before(required_version):
1826
 
                continue
1827
 
            if resume_tokens:
1828
 
                # We've already done the probing (and set _is_remote_before) on
1829
 
                # a previous insert.
1830
 
                found_verb = True
1831
 
                break
1832
 
            byte_stream = smart_repo._stream_to_byte_stream([], src_format)
1833
 
            try:
1834
 
                response = client.call_with_body_stream(
1835
 
                    (verb, path, '') + lock_args, byte_stream)
1836
 
            except errors.UnknownSmartMethod:
1837
 
                medium._remember_remote_is_before(required_version)
1838
 
            else:
1839
 
                found_verb = True
1840
 
                break
1841
 
        if not found_verb:
1842
 
            # Have to use VFS.
1843
 
            return self._insert_real(stream, src_format, resume_tokens)
1844
 
        self._last_inv_record = None
1845
 
        self._last_substream = None
1846
 
        if required_version < (1, 19):
1847
 
            # Remote side doesn't support inventory deltas.  Wrap the stream to
1848
 
            # make sure we don't send any.  If the stream contains inventory
1849
 
            # deltas we'll interrupt the smart insert_stream request and
1850
 
            # fallback to VFS.
1851
 
            stream = self._stop_stream_if_inventory_delta(stream)
1852
 
        byte_stream = smart_repo._stream_to_byte_stream(
1853
 
            stream, src_format)
1854
 
        resume_tokens = ' '.join(resume_tokens)
1855
 
        response = client.call_with_body_stream(
1856
 
            (verb, path, resume_tokens) + lock_args, byte_stream)
1857
 
        if response[0][0] not in ('ok', 'missing-basis'):
1858
 
            raise errors.UnexpectedSmartServerResponse(response)
1859
 
        if self._last_substream is not None:
1860
 
            # The stream included an inventory-delta record, but the remote
1861
 
            # side isn't new enough to support them.  So we need to send the
1862
 
            # rest of the stream via VFS.
1863
 
            self.target_repo.refresh_data()
1864
 
            return self._resume_stream_with_vfs(response, src_format)
1865
 
        if response[0][0] == 'missing-basis':
1866
 
            tokens, missing_keys = bencode.bdecode_as_tuple(response[0][1])
1867
 
            resume_tokens = tokens
1868
 
            return resume_tokens, set(missing_keys)
1869
 
        else:
1870
 
            self.target_repo.refresh_data()
1871
 
            return [], set()
1872
 
 
1873
 
    def _resume_stream_with_vfs(self, response, src_format):
1874
 
        """Resume sending a stream via VFS, first resending the record and
1875
 
        substream that couldn't be sent via an insert_stream verb.
1876
 
        """
1877
 
        if response[0][0] == 'missing-basis':
1878
 
            tokens, missing_keys = bencode.bdecode_as_tuple(response[0][1])
1879
 
            # Ignore missing_keys, we haven't finished inserting yet
1880
 
        else:
1881
 
            tokens = []
1882
 
        def resume_substream():
1883
 
            # Yield the substream that was interrupted.
1884
 
            for record in self._last_substream:
1885
 
                yield record
1886
 
            self._last_substream = None
1887
 
        def resume_stream():
1888
 
            # Finish sending the interrupted substream
1889
 
            yield ('inventory-deltas', resume_substream())
1890
 
            # Then simply continue sending the rest of the stream.
1891
 
            for substream_kind, substream in self._last_stream:
1892
 
                yield substream_kind, substream
1893
 
        return self._insert_real(resume_stream(), src_format, tokens)
1894
 
 
1895
 
    def _stop_stream_if_inventory_delta(self, stream):
1896
 
        """Normally this just lets the original stream pass-through unchanged.
1897
 
 
1898
 
        However if any 'inventory-deltas' substream occurs it will stop
1899
 
        streaming, and store the interrupted substream and stream in
1900
 
        self._last_substream and self._last_stream so that the stream can be
1901
 
        resumed by _resume_stream_with_vfs.
1902
 
        """
1903
 
                    
1904
 
        stream_iter = iter(stream)
1905
 
        for substream_kind, substream in stream_iter:
1906
 
            if substream_kind == 'inventory-deltas':
1907
 
                self._last_substream = substream
1908
 
                self._last_stream = stream_iter
1909
 
                return
1910
 
            else:
1911
 
                yield substream_kind, substream
1912
 
            
1913
 
 
1914
 
class RemoteStreamSource(repository.StreamSource):
1915
 
    """Stream data from a remote server."""
1916
 
 
1917
 
    def get_stream(self, search):
1918
 
        if (self.from_repository._fallback_repositories and
1919
 
            self.to_format._fetch_order == 'topological'):
1920
 
            return self._real_stream(self.from_repository, search)
1921
 
        sources = []
1922
 
        seen = set()
1923
 
        repos = [self.from_repository]
1924
 
        while repos:
1925
 
            repo = repos.pop(0)
1926
 
            if repo in seen:
1927
 
                continue
1928
 
            seen.add(repo)
1929
 
            repos.extend(repo._fallback_repositories)
1930
 
            sources.append(repo)
1931
 
        return self.missing_parents_chain(search, sources)
1932
 
 
1933
 
    def get_stream_for_missing_keys(self, missing_keys):
1934
 
        self.from_repository._ensure_real()
1935
 
        real_repo = self.from_repository._real_repository
1936
 
        real_source = real_repo._get_source(self.to_format)
1937
 
        return real_source.get_stream_for_missing_keys(missing_keys)
1938
 
 
1939
 
    def _real_stream(self, repo, search):
1940
 
        """Get a stream for search from repo.
1941
 
        
1942
 
        This never called RemoteStreamSource.get_stream, and is a heler
1943
 
        for RemoteStreamSource._get_stream to allow getting a stream 
1944
 
        reliably whether fallback back because of old servers or trying
1945
 
        to stream from a non-RemoteRepository (which the stacked support
1946
 
        code will do).
1947
 
        """
1948
 
        source = repo._get_source(self.to_format)
1949
 
        if isinstance(source, RemoteStreamSource):
1950
 
            repo._ensure_real()
1951
 
            source = repo._real_repository._get_source(self.to_format)
1952
 
        return source.get_stream(search)
1953
 
 
1954
 
    def _get_stream(self, repo, search):
1955
 
        """Core worker to get a stream from repo for search.
1956
 
 
1957
 
        This is used by both get_stream and the stacking support logic. It
1958
 
        deliberately gets a stream for repo which does not need to be
1959
 
        self.from_repository. In the event that repo is not Remote, or
1960
 
        cannot do a smart stream, a fallback is made to the generic
1961
 
        repository._get_stream() interface, via self._real_stream.
1962
 
 
1963
 
        In the event of stacking, streams from _get_stream will not
1964
 
        contain all the data for search - this is normal (see get_stream).
1965
 
 
1966
 
        :param repo: A repository.
1967
 
        :param search: A search.
1968
 
        """
1969
 
        # Fallbacks may be non-smart
1970
 
        if not isinstance(repo, RemoteRepository):
1971
 
            return self._real_stream(repo, search)
1972
 
        client = repo._client
1973
 
        medium = client._medium
1974
 
        path = repo.bzrdir._path_for_remote_call(client)
1975
 
        search_bytes = repo._serialise_search_result(search)
1976
 
        args = (path, self.to_format.network_name())
1977
 
        candidate_verbs = [
1978
 
            ('Repository.get_stream_1.19', (1, 19)),
1979
 
            ('Repository.get_stream', (1, 13))]
1980
 
 
1981
 
        found_verb = False
1982
 
        for verb, version in candidate_verbs:
1983
 
            if medium._is_remote_before(version):
1984
 
                continue
1985
 
            try:
1986
 
                response = repo._call_with_body_bytes_expecting_body(
1987
 
                    verb, args, search_bytes)
1988
 
            except errors.UnknownSmartMethod:
1989
 
                medium._remember_remote_is_before(version)
1990
 
            except errors.UnknownErrorFromSmartServer, e:
1991
 
                if isinstance(search, graph.EverythingResult):
1992
 
                    error_verb = e.error_from_smart_server.error_verb
1993
 
                    if error_verb == 'BadSearch':
1994
 
                        # Pre-2.4 servers don't support this sort of search.
1995
 
                        # XXX: perhaps falling back to VFS on BadSearch is a
1996
 
                        # good idea in general?  It might provide a little bit
1997
 
                        # of protection against client-side bugs.
1998
 
                        medium._remember_remote_is_before((2, 4))
1999
 
                        break
2000
 
                raise
2001
 
            else:
2002
 
                response_tuple, response_handler = response
2003
 
                found_verb = True
2004
 
                break
2005
 
        if not found_verb:
2006
 
            return self._real_stream(repo, search)
2007
 
        if response_tuple[0] != 'ok':
2008
 
            raise errors.UnexpectedSmartServerResponse(response_tuple)
2009
 
        byte_stream = response_handler.read_streamed_body()
2010
 
        src_format, stream = smart_repo._byte_stream_to_stream(byte_stream,
2011
 
            self._record_counter)
2012
 
        if src_format.network_name() != repo._format.network_name():
2013
 
            raise AssertionError(
2014
 
                "Mismatched RemoteRepository and stream src %r, %r" % (
2015
 
                src_format.network_name(), repo._format.network_name()))
2016
 
        return stream
2017
 
 
2018
 
    def missing_parents_chain(self, search, sources):
2019
 
        """Chain multiple streams together to handle stacking.
2020
 
 
2021
 
        :param search: The overall search to satisfy with streams.
2022
 
        :param sources: A list of Repository objects to query.
2023
 
        """
2024
 
        self.from_serialiser = self.from_repository._format._serializer
2025
 
        self.seen_revs = set()
2026
 
        self.referenced_revs = set()
2027
 
        # If there are heads in the search, or the key count is > 0, we are not
2028
 
        # done.
2029
 
        while not search.is_empty() and len(sources) > 1:
2030
 
            source = sources.pop(0)
2031
 
            stream = self._get_stream(source, search)
2032
 
            for kind, substream in stream:
2033
 
                if kind != 'revisions':
2034
 
                    yield kind, substream
2035
 
                else:
2036
 
                    yield kind, self.missing_parents_rev_handler(substream)
2037
 
            search = search.refine(self.seen_revs, self.referenced_revs)
2038
 
            self.seen_revs = set()
2039
 
            self.referenced_revs = set()
2040
 
        if not search.is_empty():
2041
 
            for kind, stream in self._get_stream(sources[0], search):
2042
 
                yield kind, stream
2043
 
 
2044
 
    def missing_parents_rev_handler(self, substream):
2045
 
        for content in substream:
2046
 
            revision_bytes = content.get_bytes_as('fulltext')
2047
 
            revision = self.from_serialiser.read_revision_from_string(
2048
 
                revision_bytes)
2049
 
            self.seen_revs.add(content.key[-1])
2050
 
            self.referenced_revs.update(revision.parent_ids)
2051
 
            yield content
2052
 
 
2053
 
 
2054
 
class RemoteBranchLockableFiles(LockableFiles):
2055
 
    """A 'LockableFiles' implementation that talks to a smart server.
2056
 
 
2057
 
    This is not a public interface class.
2058
 
    """
2059
 
 
2060
 
    def __init__(self, bzrdir, _client):
2061
 
        self.bzrdir = bzrdir
2062
 
        self._client = _client
2063
 
        self._need_find_modes = True
2064
 
        LockableFiles.__init__(
2065
 
            self, bzrdir.get_branch_transport(None),
2066
 
            'lock', lockdir.LockDir)
2067
 
 
2068
 
    def _find_modes(self):
2069
 
        # RemoteBranches don't let the client set the mode of control files.
2070
 
        self._dir_mode = None
2071
 
        self._file_mode = None
2072
 
 
2073
 
 
2074
 
class RemoteBranchFormat(branch.BranchFormat):
2075
 
 
2076
 
    def __init__(self, network_name=None):
2077
 
        super(RemoteBranchFormat, self).__init__()
2078
 
        self._matchingbzrdir = RemoteBzrDirFormat()
2079
 
        self._matchingbzrdir.set_branch_format(self)
2080
 
        self._custom_format = None
2081
 
        self._network_name = network_name
2082
 
 
2083
 
    def __eq__(self, other):
2084
 
        return (isinstance(other, RemoteBranchFormat) and
2085
 
            self.__dict__ == other.__dict__)
2086
 
 
2087
 
    def _ensure_real(self):
2088
 
        if self._custom_format is None:
2089
 
            self._custom_format = branch.network_format_registry.get(
2090
 
                self._network_name)
2091
 
 
2092
 
    def get_format_description(self):
2093
 
        self._ensure_real()
2094
 
        return 'Remote: ' + self._custom_format.get_format_description()
2095
 
 
2096
 
    def network_name(self):
2097
 
        return self._network_name
2098
 
 
2099
 
    def open(self, a_bzrdir, name=None, ignore_fallbacks=False):
2100
 
        return a_bzrdir.open_branch(name=name, 
2101
 
            ignore_fallbacks=ignore_fallbacks)
2102
 
 
2103
 
    def _vfs_initialize(self, a_bzrdir, name):
2104
 
        # Initialisation when using a local bzrdir object, or a non-vfs init
2105
 
        # method is not available on the server.
2106
 
        # self._custom_format is always set - the start of initialize ensures
2107
 
        # that.
2108
 
        if isinstance(a_bzrdir, RemoteBzrDir):
2109
 
            a_bzrdir._ensure_real()
2110
 
            result = self._custom_format.initialize(a_bzrdir._real_bzrdir,
2111
 
                name)
2112
 
        else:
2113
 
            # We assume the bzrdir is parameterised; it may not be.
2114
 
            result = self._custom_format.initialize(a_bzrdir, name)
2115
 
        if (isinstance(a_bzrdir, RemoteBzrDir) and
2116
 
            not isinstance(result, RemoteBranch)):
2117
 
            result = RemoteBranch(a_bzrdir, a_bzrdir.find_repository(), result,
2118
 
                                  name=name)
2119
 
        return result
2120
 
 
2121
 
    def initialize(self, a_bzrdir, name=None, repository=None):
2122
 
        # 1) get the network name to use.
2123
 
        if self._custom_format:
2124
 
            network_name = self._custom_format.network_name()
2125
 
        else:
2126
 
            # Select the current bzrlib default and ask for that.
2127
 
            reference_bzrdir_format = bzrdir.format_registry.get('default')()
2128
 
            reference_format = reference_bzrdir_format.get_branch_format()
2129
 
            self._custom_format = reference_format
2130
 
            network_name = reference_format.network_name()
2131
 
        # Being asked to create on a non RemoteBzrDir:
2132
 
        if not isinstance(a_bzrdir, RemoteBzrDir):
2133
 
            return self._vfs_initialize(a_bzrdir, name=name)
2134
 
        medium = a_bzrdir._client._medium
2135
 
        if medium._is_remote_before((1, 13)):
2136
 
            return self._vfs_initialize(a_bzrdir, name=name)
2137
 
        # Creating on a remote bzr dir.
2138
 
        # 2) try direct creation via RPC
2139
 
        path = a_bzrdir._path_for_remote_call(a_bzrdir._client)
2140
 
        if name is not None:
2141
 
            # XXX JRV20100304: Support creating colocated branches
2142
 
            raise errors.NoColocatedBranchSupport(self)
2143
 
        verb = 'BzrDir.create_branch'
2144
 
        try:
2145
 
            response = a_bzrdir._call(verb, path, network_name)
2146
 
        except errors.UnknownSmartMethod:
2147
 
            # Fallback - use vfs methods
2148
 
            medium._remember_remote_is_before((1, 13))
2149
 
            return self._vfs_initialize(a_bzrdir, name=name)
2150
 
        if response[0] != 'ok':
2151
 
            raise errors.UnexpectedSmartServerResponse(response)
2152
 
        # Turn the response into a RemoteRepository object.
2153
 
        format = RemoteBranchFormat(network_name=response[1])
2154
 
        repo_format = response_tuple_to_repo_format(response[3:])
2155
 
        repo_path = response[2]
2156
 
        if repository is not None:
2157
 
            remote_repo_url = urlutils.join(medium.base, repo_path)
2158
 
            url_diff = urlutils.relative_url(repository.user_url,
2159
 
                    remote_repo_url)
2160
 
            if url_diff != '.':
2161
 
                raise AssertionError(
2162
 
                    'repository.user_url %r does not match URL from server '
2163
 
                    'response (%r + %r)'
2164
 
                    % (repository.user_url, medium.base, repo_path))
2165
 
            remote_repo = repository
2166
 
        else:
2167
 
            if repo_path == '':
2168
 
                repo_bzrdir = a_bzrdir
2169
 
            else:
2170
 
                repo_bzrdir = RemoteBzrDir(
2171
 
                    a_bzrdir.root_transport.clone(repo_path), a_bzrdir._format,
2172
 
                    a_bzrdir._client)
2173
 
            remote_repo = RemoteRepository(repo_bzrdir, repo_format)
2174
 
        remote_branch = RemoteBranch(a_bzrdir, remote_repo,
2175
 
            format=format, setup_stacking=False, name=name)
2176
 
        # XXX: We know this is a new branch, so it must have revno 0, revid
2177
 
        # NULL_REVISION. Creating the branch locked would make this be unable
2178
 
        # to be wrong; here its simply very unlikely to be wrong. RBC 20090225
2179
 
        remote_branch._last_revision_info_cache = 0, NULL_REVISION
2180
 
        return remote_branch
2181
 
 
2182
 
    def make_tags(self, branch):
2183
 
        self._ensure_real()
2184
 
        return self._custom_format.make_tags(branch)
2185
 
 
2186
 
    def supports_tags(self):
2187
 
        # Remote branches might support tags, but we won't know until we
2188
 
        # access the real remote branch.
2189
 
        self._ensure_real()
2190
 
        return self._custom_format.supports_tags()
2191
 
 
2192
 
    def supports_stacking(self):
2193
 
        self._ensure_real()
2194
 
        return self._custom_format.supports_stacking()
2195
 
 
2196
 
    def supports_set_append_revisions_only(self):
2197
 
        self._ensure_real()
2198
 
        return self._custom_format.supports_set_append_revisions_only()
2199
 
 
2200
 
 
2201
 
class RemoteBranch(branch.Branch, _RpcHelper, lock._RelockDebugMixin):
2202
 
    """Branch stored on a server accessed by HPSS RPC.
2203
 
 
2204
 
    At the moment most operations are mapped down to simple file operations.
2205
 
    """
2206
 
 
2207
 
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
2208
 
        _client=None, format=None, setup_stacking=True, name=None):
2209
 
        """Create a RemoteBranch instance.
2210
 
 
2211
 
        :param real_branch: An optional local implementation of the branch
2212
 
            format, usually accessing the data via the VFS.
2213
 
        :param _client: Private parameter for testing.
2214
 
        :param format: A RemoteBranchFormat object, None to create one
2215
 
            automatically. If supplied it should have a network_name already
2216
 
            supplied.
2217
 
        :param setup_stacking: If True make an RPC call to determine the
2218
 
            stacked (or not) status of the branch. If False assume the branch
2219
 
            is not stacked.
2220
 
        :param name: Colocated branch name
2221
 
        """
2222
 
        # We intentionally don't call the parent class's __init__, because it
2223
 
        # will try to assign to self.tags, which is a property in this subclass.
2224
 
        # And the parent's __init__ doesn't do much anyway.
2225
 
        self.bzrdir = remote_bzrdir
2226
 
        if _client is not None:
2227
 
            self._client = _client
2228
 
        else:
2229
 
            self._client = remote_bzrdir._client
2230
 
        self.repository = remote_repository
2231
 
        if real_branch is not None:
2232
 
            self._real_branch = real_branch
2233
 
            # Give the remote repository the matching real repo.
2234
 
            real_repo = self._real_branch.repository
2235
 
            if isinstance(real_repo, RemoteRepository):
2236
 
                real_repo._ensure_real()
2237
 
                real_repo = real_repo._real_repository
2238
 
            self.repository._set_real_repository(real_repo)
2239
 
            # Give the branch the remote repository to let fast-pathing happen.
2240
 
            self._real_branch.repository = self.repository
2241
 
        else:
2242
 
            self._real_branch = None
2243
 
        # Fill out expected attributes of branch for bzrlib API users.
2244
 
        self._clear_cached_state()
2245
 
        # TODO: deprecate self.base in favor of user_url
2246
 
        self.base = self.bzrdir.user_url
2247
 
        self._name = name
2248
 
        self._control_files = None
2249
 
        self._lock_mode = None
2250
 
        self._lock_token = None
2251
 
        self._repo_lock_token = None
2252
 
        self._lock_count = 0
2253
 
        self._leave_lock = False
2254
 
        # Setup a format: note that we cannot call _ensure_real until all the
2255
 
        # attributes above are set: This code cannot be moved higher up in this
2256
 
        # function.
2257
 
        if format is None:
2258
 
            self._format = RemoteBranchFormat()
2259
 
            if real_branch is not None:
2260
 
                self._format._network_name = \
2261
 
                    self._real_branch._format.network_name()
2262
 
        else:
2263
 
            self._format = format
2264
 
        # when we do _ensure_real we may need to pass ignore_fallbacks to the
2265
 
        # branch.open_branch method.
2266
 
        self._real_ignore_fallbacks = not setup_stacking
2267
 
        if not self._format._network_name:
2268
 
            # Did not get from open_branchV2 - old server.
2269
 
            self._ensure_real()
2270
 
            self._format._network_name = \
2271
 
                self._real_branch._format.network_name()
2272
 
        self.tags = self._format.make_tags(self)
2273
 
        # The base class init is not called, so we duplicate this:
2274
 
        hooks = branch.Branch.hooks['open']
2275
 
        for hook in hooks:
2276
 
            hook(self)
2277
 
        self._is_stacked = False
2278
 
        if setup_stacking:
2279
 
            self._setup_stacking()
2280
 
 
2281
 
    def _setup_stacking(self):
2282
 
        # configure stacking into the remote repository, by reading it from
2283
 
        # the vfs branch.
2284
 
        try:
2285
 
            fallback_url = self.get_stacked_on_url()
2286
 
        except (errors.NotStacked, errors.UnstackableBranchFormat,
2287
 
            errors.UnstackableRepositoryFormat), e:
2288
 
            return
2289
 
        self._is_stacked = True
2290
 
        self._activate_fallback_location(fallback_url)
2291
 
 
2292
 
    def _get_config(self):
2293
 
        return RemoteBranchConfig(self)
2294
 
 
2295
 
    def _get_real_transport(self):
2296
 
        # if we try vfs access, return the real branch's vfs transport
2297
 
        self._ensure_real()
2298
 
        return self._real_branch._transport
2299
 
 
2300
 
    _transport = property(_get_real_transport)
2301
 
 
2302
 
    def __str__(self):
2303
 
        return "%s(%s)" % (self.__class__.__name__, self.base)
2304
 
 
2305
 
    __repr__ = __str__
2306
 
 
2307
 
    def _ensure_real(self):
2308
 
        """Ensure that there is a _real_branch set.
2309
 
 
2310
 
        Used before calls to self._real_branch.
2311
 
        """
2312
 
        if self._real_branch is None:
2313
 
            if not vfs.vfs_enabled():
2314
 
                raise AssertionError('smart server vfs must be enabled '
2315
 
                    'to use vfs implementation')
2316
 
            self.bzrdir._ensure_real()
2317
 
            self._real_branch = self.bzrdir._real_bzrdir.open_branch(
2318
 
                ignore_fallbacks=self._real_ignore_fallbacks, name=self._name)
2319
 
            if self.repository._real_repository is None:
2320
 
                # Give the remote repository the matching real repo.
2321
 
                real_repo = self._real_branch.repository
2322
 
                if isinstance(real_repo, RemoteRepository):
2323
 
                    real_repo._ensure_real()
2324
 
                    real_repo = real_repo._real_repository
2325
 
                self.repository._set_real_repository(real_repo)
2326
 
            # Give the real branch the remote repository to let fast-pathing
2327
 
            # happen.
2328
 
            self._real_branch.repository = self.repository
2329
 
            if self._lock_mode == 'r':
2330
 
                self._real_branch.lock_read()
2331
 
            elif self._lock_mode == 'w':
2332
 
                self._real_branch.lock_write(token=self._lock_token)
2333
 
 
2334
 
    def _translate_error(self, err, **context):
2335
 
        self.repository._translate_error(err, branch=self, **context)
2336
 
 
2337
 
    def _clear_cached_state(self):
2338
 
        super(RemoteBranch, self)._clear_cached_state()
2339
 
        if self._real_branch is not None:
2340
 
            self._real_branch._clear_cached_state()
2341
 
 
2342
 
    def _clear_cached_state_of_remote_branch_only(self):
2343
 
        """Like _clear_cached_state, but doesn't clear the cache of
2344
 
        self._real_branch.
2345
 
 
2346
 
        This is useful when falling back to calling a method of
2347
 
        self._real_branch that changes state.  In that case the underlying
2348
 
        branch changes, so we need to invalidate this RemoteBranch's cache of
2349
 
        it.  However, there's no need to invalidate the _real_branch's cache
2350
 
        too, in fact doing so might harm performance.
2351
 
        """
2352
 
        super(RemoteBranch, self)._clear_cached_state()
2353
 
 
2354
 
    @property
2355
 
    def control_files(self):
2356
 
        # Defer actually creating RemoteBranchLockableFiles until its needed,
2357
 
        # because it triggers an _ensure_real that we otherwise might not need.
2358
 
        if self._control_files is None:
2359
 
            self._control_files = RemoteBranchLockableFiles(
2360
 
                self.bzrdir, self._client)
2361
 
        return self._control_files
2362
 
 
2363
 
    def _get_checkout_format(self):
2364
 
        self._ensure_real()
2365
 
        return self._real_branch._get_checkout_format()
2366
 
 
2367
 
    def get_physical_lock_status(self):
2368
 
        """See Branch.get_physical_lock_status()."""
2369
 
        # should be an API call to the server, as branches must be lockable.
2370
 
        self._ensure_real()
2371
 
        return self._real_branch.get_physical_lock_status()
2372
 
 
2373
 
    def get_stacked_on_url(self):
2374
 
        """Get the URL this branch is stacked against.
2375
 
 
2376
 
        :raises NotStacked: If the branch is not stacked.
2377
 
        :raises UnstackableBranchFormat: If the branch does not support
2378
 
            stacking.
2379
 
        :raises UnstackableRepositoryFormat: If the repository does not support
2380
 
            stacking.
2381
 
        """
2382
 
        try:
2383
 
            # there may not be a repository yet, so we can't use
2384
 
            # self._translate_error, so we can't use self._call either.
2385
 
            response = self._client.call('Branch.get_stacked_on_url',
2386
 
                self._remote_path())
2387
 
        except errors.ErrorFromSmartServer, err:
2388
 
            # there may not be a repository yet, so we can't call through
2389
 
            # its _translate_error
2390
 
            _translate_error(err, branch=self)
2391
 
        except errors.UnknownSmartMethod, err:
2392
 
            self._ensure_real()
2393
 
            return self._real_branch.get_stacked_on_url()
2394
 
        if response[0] != 'ok':
2395
 
            raise errors.UnexpectedSmartServerResponse(response)
2396
 
        return response[1]
2397
 
 
2398
 
    def set_stacked_on_url(self, url):
2399
 
        branch.Branch.set_stacked_on_url(self, url)
2400
 
        if not url:
2401
 
            self._is_stacked = False
2402
 
        else:
2403
 
            self._is_stacked = True
2404
 
        
2405
 
    def _vfs_get_tags_bytes(self):
2406
 
        self._ensure_real()
2407
 
        return self._real_branch._get_tags_bytes()
2408
 
 
2409
 
    @needs_read_lock
2410
 
    def _get_tags_bytes(self):
2411
 
        if self._tags_bytes is None:
2412
 
            self._tags_bytes = self._get_tags_bytes_via_hpss()
2413
 
        return self._tags_bytes
2414
 
 
2415
 
    def _get_tags_bytes_via_hpss(self):
2416
 
        medium = self._client._medium
2417
 
        if medium._is_remote_before((1, 13)):
2418
 
            return self._vfs_get_tags_bytes()
2419
 
        try:
2420
 
            response = self._call('Branch.get_tags_bytes', self._remote_path())
2421
 
        except errors.UnknownSmartMethod:
2422
 
            medium._remember_remote_is_before((1, 13))
2423
 
            return self._vfs_get_tags_bytes()
2424
 
        return response[0]
2425
 
 
2426
 
    def _vfs_set_tags_bytes(self, bytes):
2427
 
        self._ensure_real()
2428
 
        return self._real_branch._set_tags_bytes(bytes)
2429
 
 
2430
 
    def _set_tags_bytes(self, bytes):
2431
 
        if self.is_locked():
2432
 
            self._tags_bytes = bytes
2433
 
        medium = self._client._medium
2434
 
        if medium._is_remote_before((1, 18)):
2435
 
            self._vfs_set_tags_bytes(bytes)
2436
 
            return
2437
 
        try:
2438
 
            args = (
2439
 
                self._remote_path(), self._lock_token, self._repo_lock_token)
2440
 
            response = self._call_with_body_bytes(
2441
 
                'Branch.set_tags_bytes', args, bytes)
2442
 
        except errors.UnknownSmartMethod:
2443
 
            medium._remember_remote_is_before((1, 18))
2444
 
            self._vfs_set_tags_bytes(bytes)
2445
 
 
2446
 
    def lock_read(self):
2447
 
        """Lock the branch for read operations.
2448
 
 
2449
 
        :return: A bzrlib.lock.LogicalLockResult.
2450
 
        """
2451
 
        self.repository.lock_read()
2452
 
        if not self._lock_mode:
2453
 
            self._note_lock('r')
2454
 
            self._lock_mode = 'r'
2455
 
            self._lock_count = 1
2456
 
            if self._real_branch is not None:
2457
 
                self._real_branch.lock_read()
2458
 
        else:
2459
 
            self._lock_count += 1
2460
 
        return lock.LogicalLockResult(self.unlock)
2461
 
 
2462
 
    def _remote_lock_write(self, token):
2463
 
        if token is None:
2464
 
            branch_token = repo_token = ''
2465
 
        else:
2466
 
            branch_token = token
2467
 
            repo_token = self.repository.lock_write().repository_token
2468
 
            self.repository.unlock()
2469
 
        err_context = {'token': token}
2470
 
        try:
2471
 
            response = self._call(
2472
 
                'Branch.lock_write', self._remote_path(), branch_token,
2473
 
                repo_token or '', **err_context)
2474
 
        except errors.LockContention, e:
2475
 
            # The LockContention from the server doesn't have any
2476
 
            # information about the lock_url. We re-raise LockContention
2477
 
            # with valid lock_url.
2478
 
            raise errors.LockContention('(remote lock)',
2479
 
                self.repository.base.split('.bzr/')[0])
2480
 
        if response[0] != 'ok':
2481
 
            raise errors.UnexpectedSmartServerResponse(response)
2482
 
        ok, branch_token, repo_token = response
2483
 
        return branch_token, repo_token
2484
 
 
2485
 
    def lock_write(self, token=None):
2486
 
        if not self._lock_mode:
2487
 
            self._note_lock('w')
2488
 
            # Lock the branch and repo in one remote call.
2489
 
            remote_tokens = self._remote_lock_write(token)
2490
 
            self._lock_token, self._repo_lock_token = remote_tokens
2491
 
            if not self._lock_token:
2492
 
                raise SmartProtocolError('Remote server did not return a token!')
2493
 
            # Tell the self.repository object that it is locked.
2494
 
            self.repository.lock_write(
2495
 
                self._repo_lock_token, _skip_rpc=True)
2496
 
 
2497
 
            if self._real_branch is not None:
2498
 
                self._real_branch.lock_write(token=self._lock_token)
2499
 
            if token is not None:
2500
 
                self._leave_lock = True
2501
 
            else:
2502
 
                self._leave_lock = False
2503
 
            self._lock_mode = 'w'
2504
 
            self._lock_count = 1
2505
 
        elif self._lock_mode == 'r':
2506
 
            raise errors.ReadOnlyError(self)
2507
 
        else:
2508
 
            if token is not None:
2509
 
                # A token was given to lock_write, and we're relocking, so
2510
 
                # check that the given token actually matches the one we
2511
 
                # already have.
2512
 
                if token != self._lock_token:
2513
 
                    raise errors.TokenMismatch(token, self._lock_token)
2514
 
            self._lock_count += 1
2515
 
            # Re-lock the repository too.
2516
 
            self.repository.lock_write(self._repo_lock_token)
2517
 
        return BranchWriteLockResult(self.unlock, self._lock_token or None)
2518
 
 
2519
 
    def _unlock(self, branch_token, repo_token):
2520
 
        err_context = {'token': str((branch_token, repo_token))}
2521
 
        response = self._call(
2522
 
            'Branch.unlock', self._remote_path(), branch_token,
2523
 
            repo_token or '', **err_context)
2524
 
        if response == ('ok',):
2525
 
            return
2526
 
        raise errors.UnexpectedSmartServerResponse(response)
2527
 
 
2528
 
    @only_raises(errors.LockNotHeld, errors.LockBroken)
2529
 
    def unlock(self):
2530
 
        try:
2531
 
            self._lock_count -= 1
2532
 
            if not self._lock_count:
2533
 
                self._clear_cached_state()
2534
 
                mode = self._lock_mode
2535
 
                self._lock_mode = None
2536
 
                if self._real_branch is not None:
2537
 
                    if (not self._leave_lock and mode == 'w' and
2538
 
                        self._repo_lock_token):
2539
 
                        # If this RemoteBranch will remove the physical lock
2540
 
                        # for the repository, make sure the _real_branch
2541
 
                        # doesn't do it first.  (Because the _real_branch's
2542
 
                        # repository is set to be the RemoteRepository.)
2543
 
                        self._real_branch.repository.leave_lock_in_place()
2544
 
                    self._real_branch.unlock()
2545
 
                if mode != 'w':
2546
 
                    # Only write-locked branched need to make a remote method
2547
 
                    # call to perform the unlock.
2548
 
                    return
2549
 
                if not self._lock_token:
2550
 
                    raise AssertionError('Locked, but no token!')
2551
 
                branch_token = self._lock_token
2552
 
                repo_token = self._repo_lock_token
2553
 
                self._lock_token = None
2554
 
                self._repo_lock_token = None
2555
 
                if not self._leave_lock:
2556
 
                    self._unlock(branch_token, repo_token)
2557
 
        finally:
2558
 
            self.repository.unlock()
2559
 
 
2560
 
    def break_lock(self):
2561
 
        self._ensure_real()
2562
 
        return self._real_branch.break_lock()
2563
 
 
2564
 
    def leave_lock_in_place(self):
2565
 
        if not self._lock_token:
2566
 
            raise NotImplementedError(self.leave_lock_in_place)
2567
 
        self._leave_lock = True
2568
 
 
2569
 
    def dont_leave_lock_in_place(self):
2570
 
        if not self._lock_token:
2571
 
            raise NotImplementedError(self.dont_leave_lock_in_place)
2572
 
        self._leave_lock = False
2573
 
 
2574
 
    @needs_read_lock
2575
 
    def get_rev_id(self, revno, history=None):
2576
 
        if revno == 0:
2577
 
            return _mod_revision.NULL_REVISION
2578
 
        last_revision_info = self.last_revision_info()
2579
 
        ok, result = self.repository.get_rev_id_for_revno(
2580
 
            revno, last_revision_info)
2581
 
        if ok:
2582
 
            return result
2583
 
        missing_parent = result[1]
2584
 
        # Either the revision named by the server is missing, or its parent
2585
 
        # is.  Call get_parent_map to determine which, so that we report a
2586
 
        # useful error.
2587
 
        parent_map = self.repository.get_parent_map([missing_parent])
2588
 
        if missing_parent in parent_map:
2589
 
            missing_parent = parent_map[missing_parent]
2590
 
        raise errors.RevisionNotPresent(missing_parent, self.repository)
2591
 
 
2592
 
    def _last_revision_info(self):
2593
 
        response = self._call('Branch.last_revision_info', self._remote_path())
2594
 
        if response[0] != 'ok':
2595
 
            raise SmartProtocolError('unexpected response code %s' % (response,))
2596
 
        revno = int(response[1])
2597
 
        last_revision = response[2]
2598
 
        return (revno, last_revision)
2599
 
 
2600
 
    def _gen_revision_history(self):
2601
 
        """See Branch._gen_revision_history()."""
2602
 
        if self._is_stacked:
2603
 
            self._ensure_real()
2604
 
            return self._real_branch._gen_revision_history()
2605
 
        response_tuple, response_handler = self._call_expecting_body(
2606
 
            'Branch.revision_history', self._remote_path())
2607
 
        if response_tuple[0] != 'ok':
2608
 
            raise errors.UnexpectedSmartServerResponse(response_tuple)
2609
 
        result = response_handler.read_body_bytes().split('\x00')
2610
 
        if result == ['']:
2611
 
            return []
2612
 
        return result
2613
 
 
2614
 
    def _remote_path(self):
2615
 
        return self.bzrdir._path_for_remote_call(self._client)
2616
 
 
2617
 
    def _set_last_revision_descendant(self, revision_id, other_branch,
2618
 
            allow_diverged=False, allow_overwrite_descendant=False):
2619
 
        # This performs additional work to meet the hook contract; while its
2620
 
        # undesirable, we have to synthesise the revno to call the hook, and
2621
 
        # not calling the hook is worse as it means changes can't be prevented.
2622
 
        # Having calculated this though, we can't just call into
2623
 
        # set_last_revision_info as a simple call, because there is a set_rh
2624
 
        # hook that some folk may still be using.
2625
 
        old_revno, old_revid = self.last_revision_info()
2626
 
        history = self._lefthand_history(revision_id)
2627
 
        self._run_pre_change_branch_tip_hooks(len(history), revision_id)
2628
 
        err_context = {'other_branch': other_branch}
2629
 
        response = self._call('Branch.set_last_revision_ex',
2630
 
            self._remote_path(), self._lock_token, self._repo_lock_token,
2631
 
            revision_id, int(allow_diverged), int(allow_overwrite_descendant),
2632
 
            **err_context)
2633
 
        self._clear_cached_state()
2634
 
        if len(response) != 3 and response[0] != 'ok':
2635
 
            raise errors.UnexpectedSmartServerResponse(response)
2636
 
        new_revno, new_revision_id = response[1:]
2637
 
        self._last_revision_info_cache = new_revno, new_revision_id
2638
 
        self._run_post_change_branch_tip_hooks(old_revno, old_revid)
2639
 
        if self._real_branch is not None:
2640
 
            cache = new_revno, new_revision_id
2641
 
            self._real_branch._last_revision_info_cache = cache
2642
 
 
2643
 
    def _set_last_revision(self, revision_id):
2644
 
        old_revno, old_revid = self.last_revision_info()
2645
 
        # This performs additional work to meet the hook contract; while its
2646
 
        # undesirable, we have to synthesise the revno to call the hook, and
2647
 
        # not calling the hook is worse as it means changes can't be prevented.
2648
 
        # Having calculated this though, we can't just call into
2649
 
        # set_last_revision_info as a simple call, because there is a set_rh
2650
 
        # hook that some folk may still be using.
2651
 
        history = self._lefthand_history(revision_id)
2652
 
        self._run_pre_change_branch_tip_hooks(len(history), revision_id)
2653
 
        self._clear_cached_state()
2654
 
        response = self._call('Branch.set_last_revision',
2655
 
            self._remote_path(), self._lock_token, self._repo_lock_token,
2656
 
            revision_id)
2657
 
        if response != ('ok',):
2658
 
            raise errors.UnexpectedSmartServerResponse(response)
2659
 
        self._run_post_change_branch_tip_hooks(old_revno, old_revid)
2660
 
 
2661
 
    @needs_write_lock
2662
 
    def set_revision_history(self, rev_history):
2663
 
        # Send just the tip revision of the history; the server will generate
2664
 
        # the full history from that.  If the revision doesn't exist in this
2665
 
        # branch, NoSuchRevision will be raised.
2666
 
        if rev_history == []:
2667
 
            rev_id = 'null:'
2668
 
        else:
2669
 
            rev_id = rev_history[-1]
2670
 
        self._set_last_revision(rev_id)
2671
 
        for hook in branch.Branch.hooks['set_rh']:
2672
 
            hook(self, rev_history)
2673
 
        self._cache_revision_history(rev_history)
2674
 
 
2675
 
    def _get_parent_location(self):
2676
 
        medium = self._client._medium
2677
 
        if medium._is_remote_before((1, 13)):
2678
 
            return self._vfs_get_parent_location()
2679
 
        try:
2680
 
            response = self._call('Branch.get_parent', self._remote_path())
2681
 
        except errors.UnknownSmartMethod:
2682
 
            medium._remember_remote_is_before((1, 13))
2683
 
            return self._vfs_get_parent_location()
2684
 
        if len(response) != 1:
2685
 
            raise errors.UnexpectedSmartServerResponse(response)
2686
 
        parent_location = response[0]
2687
 
        if parent_location == '':
2688
 
            return None
2689
 
        return parent_location
2690
 
 
2691
 
    def _vfs_get_parent_location(self):
2692
 
        self._ensure_real()
2693
 
        return self._real_branch._get_parent_location()
2694
 
 
2695
 
    def _set_parent_location(self, url):
2696
 
        medium = self._client._medium
2697
 
        if medium._is_remote_before((1, 15)):
2698
 
            return self._vfs_set_parent_location(url)
2699
 
        try:
2700
 
            call_url = url or ''
2701
 
            if type(call_url) is not str:
2702
 
                raise AssertionError('url must be a str or None (%s)' % url)
2703
 
            response = self._call('Branch.set_parent_location',
2704
 
                self._remote_path(), self._lock_token, self._repo_lock_token,
2705
 
                call_url)
2706
 
        except errors.UnknownSmartMethod:
2707
 
            medium._remember_remote_is_before((1, 15))
2708
 
            return self._vfs_set_parent_location(url)
2709
 
        if response != ():
2710
 
            raise errors.UnexpectedSmartServerResponse(response)
2711
 
 
2712
 
    def _vfs_set_parent_location(self, url):
2713
 
        self._ensure_real()
2714
 
        return self._real_branch._set_parent_location(url)
2715
 
 
2716
 
    @needs_write_lock
2717
 
    def pull(self, source, overwrite=False, stop_revision=None,
2718
 
             **kwargs):
2719
 
        self._clear_cached_state_of_remote_branch_only()
2720
 
        self._ensure_real()
2721
 
        return self._real_branch.pull(
2722
 
            source, overwrite=overwrite, stop_revision=stop_revision,
2723
 
            _override_hook_target=self, **kwargs)
2724
 
 
2725
 
    @needs_read_lock
2726
 
    def push(self, target, overwrite=False, stop_revision=None):
2727
 
        self._ensure_real()
2728
 
        return self._real_branch.push(
2729
 
            target, overwrite=overwrite, stop_revision=stop_revision,
2730
 
            _override_hook_source_branch=self)
2731
 
 
2732
 
    def is_locked(self):
2733
 
        return self._lock_count >= 1
2734
 
 
2735
 
    @needs_read_lock
2736
 
    def revision_id_to_revno(self, revision_id):
2737
 
        self._ensure_real()
2738
 
        return self._real_branch.revision_id_to_revno(revision_id)
2739
 
 
2740
 
    @needs_write_lock
2741
 
    def set_last_revision_info(self, revno, revision_id):
2742
 
        # XXX: These should be returned by the set_last_revision_info verb
2743
 
        old_revno, old_revid = self.last_revision_info()
2744
 
        self._run_pre_change_branch_tip_hooks(revno, revision_id)
2745
 
        revision_id = ensure_null(revision_id)
2746
 
        try:
2747
 
            response = self._call('Branch.set_last_revision_info',
2748
 
                self._remote_path(), self._lock_token, self._repo_lock_token,
2749
 
                str(revno), revision_id)
2750
 
        except errors.UnknownSmartMethod:
2751
 
            self._ensure_real()
2752
 
            self._clear_cached_state_of_remote_branch_only()
2753
 
            self._real_branch.set_last_revision_info(revno, revision_id)
2754
 
            self._last_revision_info_cache = revno, revision_id
2755
 
            return
2756
 
        if response == ('ok',):
2757
 
            self._clear_cached_state()
2758
 
            self._last_revision_info_cache = revno, revision_id
2759
 
            self._run_post_change_branch_tip_hooks(old_revno, old_revid)
2760
 
            # Update the _real_branch's cache too.
2761
 
            if self._real_branch is not None:
2762
 
                cache = self._last_revision_info_cache
2763
 
                self._real_branch._last_revision_info_cache = cache
2764
 
        else:
2765
 
            raise errors.UnexpectedSmartServerResponse(response)
2766
 
 
2767
 
    @needs_write_lock
2768
 
    def generate_revision_history(self, revision_id, last_rev=None,
2769
 
                                  other_branch=None):
2770
 
        medium = self._client._medium
2771
 
        if not medium._is_remote_before((1, 6)):
2772
 
            # Use a smart method for 1.6 and above servers
2773
 
            try:
2774
 
                self._set_last_revision_descendant(revision_id, other_branch,
2775
 
                    allow_diverged=True, allow_overwrite_descendant=True)
2776
 
                return
2777
 
            except errors.UnknownSmartMethod:
2778
 
                medium._remember_remote_is_before((1, 6))
2779
 
        self._clear_cached_state_of_remote_branch_only()
2780
 
        self.set_revision_history(self._lefthand_history(revision_id,
2781
 
            last_rev=last_rev,other_branch=other_branch))
2782
 
 
2783
 
    def set_push_location(self, location):
2784
 
        self._ensure_real()
2785
 
        return self._real_branch.set_push_location(location)
2786
 
 
2787
 
 
2788
 
class RemoteConfig(object):
2789
 
    """A Config that reads and writes from smart verbs.
2790
 
 
2791
 
    It is a low-level object that considers config data to be name/value pairs
2792
 
    that may be associated with a section. Assigning meaning to the these
2793
 
    values is done at higher levels like bzrlib.config.TreeConfig.
2794
 
    """
2795
 
 
2796
 
    def get_option(self, name, section=None, default=None):
2797
 
        """Return the value associated with a named option.
2798
 
 
2799
 
        :param name: The name of the value
2800
 
        :param section: The section the option is in (if any)
2801
 
        :param default: The value to return if the value is not set
2802
 
        :return: The value or default value
2803
 
        """
2804
 
        try:
2805
 
            configobj = self._get_configobj()
2806
 
            if section is None:
2807
 
                section_obj = configobj
2808
 
            else:
2809
 
                try:
2810
 
                    section_obj = configobj[section]
2811
 
                except KeyError:
2812
 
                    return default
2813
 
            return section_obj.get(name, default)
2814
 
        except errors.UnknownSmartMethod:
2815
 
            return self._vfs_get_option(name, section, default)
2816
 
 
2817
 
    def _response_to_configobj(self, response):
2818
 
        if len(response[0]) and response[0][0] != 'ok':
2819
 
            raise errors.UnexpectedSmartServerResponse(response)
2820
 
        lines = response[1].read_body_bytes().splitlines()
2821
 
        return config.ConfigObj(lines, encoding='utf-8')
2822
 
 
2823
 
 
2824
 
class RemoteBranchConfig(RemoteConfig):
2825
 
    """A RemoteConfig for Branches."""
2826
 
 
2827
 
    def __init__(self, branch):
2828
 
        self._branch = branch
2829
 
 
2830
 
    def _get_configobj(self):
2831
 
        path = self._branch._remote_path()
2832
 
        response = self._branch._client.call_expecting_body(
2833
 
            'Branch.get_config_file', path)
2834
 
        return self._response_to_configobj(response)
2835
 
 
2836
 
    def set_option(self, value, name, section=None):
2837
 
        """Set the value associated with a named option.
2838
 
 
2839
 
        :param value: The value to set
2840
 
        :param name: The name of the value to set
2841
 
        :param section: The section the option is in (if any)
2842
 
        """
2843
 
        medium = self._branch._client._medium
2844
 
        if medium._is_remote_before((1, 14)):
2845
 
            return self._vfs_set_option(value, name, section)
2846
 
        if isinstance(value, dict):
2847
 
            if medium._is_remote_before((2, 2)):
2848
 
                return self._vfs_set_option(value, name, section)
2849
 
            return self._set_config_option_dict(value, name, section)
2850
 
        else:
2851
 
            return self._set_config_option(value, name, section)
2852
 
 
2853
 
    def _set_config_option(self, value, name, section):
2854
 
        try:
2855
 
            path = self._branch._remote_path()
2856
 
            response = self._branch._client.call('Branch.set_config_option',
2857
 
                path, self._branch._lock_token, self._branch._repo_lock_token,
2858
 
                value.encode('utf8'), name, section or '')
2859
 
        except errors.UnknownSmartMethod:
2860
 
            medium = self._branch._client._medium
2861
 
            medium._remember_remote_is_before((1, 14))
2862
 
            return self._vfs_set_option(value, name, section)
2863
 
        if response != ():
2864
 
            raise errors.UnexpectedSmartServerResponse(response)
2865
 
 
2866
 
    def _serialize_option_dict(self, option_dict):
2867
 
        utf8_dict = {}
2868
 
        for key, value in option_dict.items():
2869
 
            if isinstance(key, unicode):
2870
 
                key = key.encode('utf8')
2871
 
            if isinstance(value, unicode):
2872
 
                value = value.encode('utf8')
2873
 
            utf8_dict[key] = value
2874
 
        return bencode.bencode(utf8_dict)
2875
 
 
2876
 
    def _set_config_option_dict(self, value, name, section):
2877
 
        try:
2878
 
            path = self._branch._remote_path()
2879
 
            serialised_dict = self._serialize_option_dict(value)
2880
 
            response = self._branch._client.call(
2881
 
                'Branch.set_config_option_dict',
2882
 
                path, self._branch._lock_token, self._branch._repo_lock_token,
2883
 
                serialised_dict, name, section or '')
2884
 
        except errors.UnknownSmartMethod:
2885
 
            medium = self._branch._client._medium
2886
 
            medium._remember_remote_is_before((2, 2))
2887
 
            return self._vfs_set_option(value, name, section)
2888
 
        if response != ():
2889
 
            raise errors.UnexpectedSmartServerResponse(response)
2890
 
 
2891
 
    def _real_object(self):
2892
 
        self._branch._ensure_real()
2893
 
        return self._branch._real_branch
2894
 
 
2895
 
    def _vfs_set_option(self, value, name, section=None):
2896
 
        return self._real_object()._get_config().set_option(
2897
 
            value, name, section)
2898
 
 
2899
 
 
2900
 
class RemoteBzrDirConfig(RemoteConfig):
2901
 
    """A RemoteConfig for BzrDirs."""
2902
 
 
2903
 
    def __init__(self, bzrdir):
2904
 
        self._bzrdir = bzrdir
2905
 
 
2906
 
    def _get_configobj(self):
2907
 
        medium = self._bzrdir._client._medium
2908
 
        verb = 'BzrDir.get_config_file'
2909
 
        if medium._is_remote_before((1, 15)):
2910
 
            raise errors.UnknownSmartMethod(verb)
2911
 
        path = self._bzrdir._path_for_remote_call(self._bzrdir._client)
2912
 
        response = self._bzrdir._call_expecting_body(
2913
 
            verb, path)
2914
 
        return self._response_to_configobj(response)
2915
 
 
2916
 
    def _vfs_get_option(self, name, section, default):
2917
 
        return self._real_object()._get_config().get_option(
2918
 
            name, section, default)
2919
 
 
2920
 
    def set_option(self, value, name, section=None):
2921
 
        """Set the value associated with a named option.
2922
 
 
2923
 
        :param value: The value to set
2924
 
        :param name: The name of the value to set
2925
 
        :param section: The section the option is in (if any)
2926
 
        """
2927
 
        return self._real_object()._get_config().set_option(
2928
 
            value, name, section)
2929
 
 
2930
 
    def _real_object(self):
2931
 
        self._bzrdir._ensure_real()
2932
 
        return self._bzrdir._real_bzrdir
2933
 
 
2934
 
 
2935
 
 
2936
 
def _extract_tar(tar, to_dir):
2937
 
    """Extract all the contents of a tarfile object.
2938
 
 
2939
 
    A replacement for extractall, which is not present in python2.4
2940
 
    """
2941
 
    for tarinfo in tar:
2942
 
        tar.extract(tarinfo, to_dir)
2943
 
 
2944
 
 
2945
 
def _translate_error(err, **context):
2946
 
    """Translate an ErrorFromSmartServer into a more useful error.
2947
 
 
2948
 
    Possible context keys:
2949
 
      - branch
2950
 
      - repository
2951
 
      - bzrdir
2952
 
      - token
2953
 
      - other_branch
2954
 
      - path
2955
 
 
2956
 
    If the error from the server doesn't match a known pattern, then
2957
 
    UnknownErrorFromSmartServer is raised.
2958
 
    """
2959
 
    def find(name):
2960
 
        try:
2961
 
            return context[name]
2962
 
        except KeyError, key_err:
2963
 
            mutter('Missing key %r in context %r', key_err.args[0], context)
2964
 
            raise err
2965
 
    def get_path():
2966
 
        """Get the path from the context if present, otherwise use first error
2967
 
        arg.
2968
 
        """
2969
 
        try:
2970
 
            return context['path']
2971
 
        except KeyError, key_err:
2972
 
            try:
2973
 
                return err.error_args[0]
2974
 
            except IndexError, idx_err:
2975
 
                mutter(
2976
 
                    'Missing key %r in context %r', key_err.args[0], context)
2977
 
                raise err
2978
 
 
2979
 
    if err.error_verb == 'IncompatibleRepositories':
2980
 
        raise errors.IncompatibleRepositories(err.error_args[0],
2981
 
            err.error_args[1], err.error_args[2])
2982
 
    elif err.error_verb == 'NoSuchRevision':
2983
 
        raise NoSuchRevision(find('branch'), err.error_args[0])
2984
 
    elif err.error_verb == 'nosuchrevision':
2985
 
        raise NoSuchRevision(find('repository'), err.error_args[0])
2986
 
    elif err.error_verb == 'nobranch':
2987
 
        if len(err.error_args) >= 1:
2988
 
            extra = err.error_args[0]
2989
 
        else:
2990
 
            extra = None
2991
 
        raise errors.NotBranchError(path=find('bzrdir').root_transport.base,
2992
 
            detail=extra)
2993
 
    elif err.error_verb == 'norepository':
2994
 
        raise errors.NoRepositoryPresent(find('bzrdir'))
2995
 
    elif err.error_verb == 'LockContention':
2996
 
        raise errors.LockContention('(remote lock)')
2997
 
    elif err.error_verb == 'UnlockableTransport':
2998
 
        raise errors.UnlockableTransport(find('bzrdir').root_transport)
2999
 
    elif err.error_verb == 'LockFailed':
3000
 
        raise errors.LockFailed(err.error_args[0], err.error_args[1])
3001
 
    elif err.error_verb == 'TokenMismatch':
3002
 
        raise errors.TokenMismatch(find('token'), '(remote token)')
3003
 
    elif err.error_verb == 'Diverged':
3004
 
        raise errors.DivergedBranches(find('branch'), find('other_branch'))
3005
 
    elif err.error_verb == 'TipChangeRejected':
3006
 
        raise errors.TipChangeRejected(err.error_args[0].decode('utf8'))
3007
 
    elif err.error_verb == 'UnstackableBranchFormat':
3008
 
        raise errors.UnstackableBranchFormat(*err.error_args)
3009
 
    elif err.error_verb == 'UnstackableRepositoryFormat':
3010
 
        raise errors.UnstackableRepositoryFormat(*err.error_args)
3011
 
    elif err.error_verb == 'NotStacked':
3012
 
        raise errors.NotStacked(branch=find('branch'))
3013
 
    elif err.error_verb == 'PermissionDenied':
3014
 
        path = get_path()
3015
 
        if len(err.error_args) >= 2:
3016
 
            extra = err.error_args[1]
3017
 
        else:
3018
 
            extra = None
3019
 
        raise errors.PermissionDenied(path, extra=extra)
3020
 
    elif err.error_verb == 'ReadError':
3021
 
        path = get_path()
3022
 
        raise errors.ReadError(path)
3023
 
    elif err.error_verb == 'NoSuchFile':
3024
 
        path = get_path()
3025
 
        raise errors.NoSuchFile(path)
3026
 
    elif err.error_verb == 'FileExists':
3027
 
        raise errors.FileExists(err.error_args[0])
3028
 
    elif err.error_verb == 'DirectoryNotEmpty':
3029
 
        raise errors.DirectoryNotEmpty(err.error_args[0])
3030
 
    elif err.error_verb == 'ShortReadvError':
3031
 
        args = err.error_args
3032
 
        raise errors.ShortReadvError(
3033
 
            args[0], int(args[1]), int(args[2]), int(args[3]))
3034
 
    elif err.error_verb in ('UnicodeEncodeError', 'UnicodeDecodeError'):
3035
 
        encoding = str(err.error_args[0]) # encoding must always be a string
3036
 
        val = err.error_args[1]
3037
 
        start = int(err.error_args[2])
3038
 
        end = int(err.error_args[3])
3039
 
        reason = str(err.error_args[4]) # reason must always be a string
3040
 
        if val.startswith('u:'):
3041
 
            val = val[2:].decode('utf-8')
3042
 
        elif val.startswith('s:'):
3043
 
            val = val[2:].decode('base64')
3044
 
        if err.error_verb == 'UnicodeDecodeError':
3045
 
            raise UnicodeDecodeError(encoding, val, start, end, reason)
3046
 
        elif err.error_verb == 'UnicodeEncodeError':
3047
 
            raise UnicodeEncodeError(encoding, val, start, end, reason)
3048
 
    elif err.error_verb == 'ReadOnlyError':
3049
 
        raise errors.TransportNotPossible('readonly transport')
3050
 
    raise errors.UnknownErrorFromSmartServer(err)