~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Frank Aspell
  • Date: 2009-02-17 11:40:05 UTC
  • mto: (4054.1.1 doc)
  • mto: This revision was merged to the branch mainline in revision 4056.
  • Revision ID: frankaspell@googlemail.com-20090217114005-ojufrp6rqht664um
Fixed typos.

Fixed some typos in bzr doc's using "aspell -l en -c FILENAME".

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
# TODO: At some point, handle upgrades by just passing the whole request
 
18
# across to run on the server.
16
19
 
17
20
import bz2
18
21
 
19
22
from bzrlib import (
20
 
    bencode,
21
23
    branch,
22
 
    bzrdir,
23
 
    config,
24
 
    controldir,
25
24
    debug,
26
25
    errors,
27
26
    graph,
28
 
    lock,
29
27
    lockdir,
30
28
    repository,
31
 
    repository as _mod_repository,
32
29
    revision,
33
 
    revision as _mod_revision,
34
 
    static_tuple,
35
30
    symbol_versioning,
 
31
    urlutils,
36
32
)
37
 
from bzrlib.branch import BranchReferenceFormat, BranchWriteLockResult
 
33
from bzrlib.branch import BranchReferenceFormat
38
34
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
39
 
from bzrlib.decorators import needs_read_lock, needs_write_lock, only_raises
 
35
from bzrlib.decorators import needs_read_lock, needs_write_lock
40
36
from bzrlib.errors import (
41
37
    NoSuchRevision,
42
38
    SmartProtocolError,
43
39
    )
44
40
from bzrlib.lockable_files import LockableFiles
45
 
from bzrlib.smart import client, vfs, repository as smart_repo
 
41
from bzrlib.smart import client, vfs
46
42
from bzrlib.revision import ensure_null, NULL_REVISION
47
 
from bzrlib.repository import RepositoryWriteLockResult
48
43
from bzrlib.trace import mutter, note, warning
49
44
 
50
45
 
56
51
            return self._client.call(method, *args)
57
52
        except errors.ErrorFromSmartServer, err:
58
53
            self._translate_error(err, **err_context)
59
 
 
 
54
        
60
55
    def _call_expecting_body(self, method, *args, **err_context):
61
56
        try:
62
57
            return self._client.call_expecting_body(method, *args)
63
58
        except errors.ErrorFromSmartServer, err:
64
59
            self._translate_error(err, **err_context)
65
 
 
66
 
    def _call_with_body_bytes(self, method, args, body_bytes, **err_context):
67
 
        try:
68
 
            return self._client.call_with_body_bytes(method, args, body_bytes)
69
 
        except errors.ErrorFromSmartServer, err:
70
 
            self._translate_error(err, **err_context)
71
 
 
 
60
        
72
61
    def _call_with_body_bytes_expecting_body(self, method, args, body_bytes,
73
62
                                             **err_context):
74
63
        try:
76
65
                method, args, body_bytes)
77
66
        except errors.ErrorFromSmartServer, err:
78
67
            self._translate_error(err, **err_context)
79
 
 
80
 
 
81
 
def response_tuple_to_repo_format(response):
82
 
    """Convert a response tuple describing a repository format to a format."""
83
 
    format = RemoteRepositoryFormat()
84
 
    format._rich_root_data = (response[0] == 'yes')
85
 
    format._supports_tree_reference = (response[1] == 'yes')
86
 
    format._supports_external_lookups = (response[2] == 'yes')
87
 
    format._network_name = response[3]
88
 
    return format
89
 
 
90
 
 
 
68
        
91
69
# Note: RemoteBzrDirFormat is in bzrdir.py
92
70
 
93
71
class RemoteBzrDir(BzrDir, _RpcHelper):
94
72
    """Control directory on a remote server, accessed via bzr:// or similar."""
95
73
 
96
 
    def __init__(self, transport, format, _client=None, _force_probe=False):
 
74
    def __init__(self, transport, _client=None):
97
75
        """Construct a RemoteBzrDir.
98
76
 
99
77
        :param _client: Private parameter for testing. Disables probing and the
100
78
            use of a real bzrdir.
101
79
        """
102
 
        BzrDir.__init__(self, transport, format)
 
80
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
103
81
        # this object holds a delegated bzrdir that uses file-level operations
104
82
        # to talk to the other side
105
83
        self._real_bzrdir = None
106
 
        self._has_working_tree = None
107
 
        # 1-shot cache for the call pattern 'create_branch; open_branch' - see
108
 
        # create_branch for details.
109
 
        self._next_open_branch_result = None
110
84
 
111
85
        if _client is None:
112
86
            medium = transport.get_smart_medium()
113
87
            self._client = client._SmartClient(medium)
114
88
        else:
115
89
            self._client = _client
116
 
            if not _force_probe:
117
 
                return
118
 
 
119
 
        self._probe_bzrdir()
120
 
 
121
 
    def __repr__(self):
122
 
        return '%s(%r)' % (self.__class__.__name__, self._client)
123
 
 
124
 
    def _probe_bzrdir(self):
125
 
        medium = self._client._medium
 
90
            return
 
91
 
126
92
        path = self._path_for_remote_call(self._client)
127
 
        if medium._is_remote_before((2, 1)):
128
 
            self._rpc_open(path)
129
 
            return
130
 
        try:
131
 
            self._rpc_open_2_1(path)
132
 
            return
133
 
        except errors.UnknownSmartMethod:
134
 
            medium._remember_remote_is_before((2, 1))
135
 
            self._rpc_open(path)
136
 
 
137
 
    def _rpc_open_2_1(self, path):
138
 
        response = self._call('BzrDir.open_2.1', path)
139
 
        if response == ('no',):
140
 
            raise errors.NotBranchError(path=self.root_transport.base)
141
 
        elif response[0] == 'yes':
142
 
            if response[1] == 'yes':
143
 
                self._has_working_tree = True
144
 
            elif response[1] == 'no':
145
 
                self._has_working_tree = False
146
 
            else:
147
 
                raise errors.UnexpectedSmartServerResponse(response)
148
 
        else:
149
 
            raise errors.UnexpectedSmartServerResponse(response)
150
 
 
151
 
    def _rpc_open(self, path):
152
93
        response = self._call('BzrDir.open', path)
153
94
        if response not in [('yes',), ('no',)]:
154
95
            raise errors.UnexpectedSmartServerResponse(response)
155
96
        if response == ('no',):
156
 
            raise errors.NotBranchError(path=self.root_transport.base)
 
97
            raise errors.NotBranchError(path=transport.base)
157
98
 
158
99
    def _ensure_real(self):
159
100
        """Ensure that there is a _real_bzrdir set.
161
102
        Used before calls to self._real_bzrdir.
162
103
        """
163
104
        if not self._real_bzrdir:
164
 
            if 'hpssvfs' in debug.debug_flags:
165
 
                import traceback
166
 
                warning('VFS BzrDir access triggered\n%s',
167
 
                    ''.join(traceback.format_stack()))
168
105
            self._real_bzrdir = BzrDir.open_from_transport(
169
106
                self.root_transport, _server_formats=False)
170
 
            self._format._network_name = \
171
 
                self._real_bzrdir._format.network_name()
172
107
 
173
108
    def _translate_error(self, err, **context):
174
109
        _translate_error(err, bzrdir=self, **context)
175
110
 
176
 
    def break_lock(self):
177
 
        # Prevent aliasing problems in the next_open_branch_result cache.
178
 
        # See create_branch for rationale.
179
 
        self._next_open_branch_result = None
180
 
        return BzrDir.break_lock(self)
181
 
 
182
 
    def _vfs_cloning_metadir(self, require_stacking=False):
 
111
    def cloning_metadir(self, stacked=False):
183
112
        self._ensure_real()
184
 
        return self._real_bzrdir.cloning_metadir(
185
 
            require_stacking=require_stacking)
186
 
 
187
 
    def cloning_metadir(self, require_stacking=False):
188
 
        medium = self._client._medium
189
 
        if medium._is_remote_before((1, 13)):
190
 
            return self._vfs_cloning_metadir(require_stacking=require_stacking)
191
 
        verb = 'BzrDir.cloning_metadir'
192
 
        if require_stacking:
193
 
            stacking = 'True'
194
 
        else:
195
 
            stacking = 'False'
196
 
        path = self._path_for_remote_call(self._client)
197
 
        try:
198
 
            response = self._call(verb, path, stacking)
199
 
        except errors.UnknownSmartMethod:
200
 
            medium._remember_remote_is_before((1, 13))
201
 
            return self._vfs_cloning_metadir(require_stacking=require_stacking)
202
 
        except errors.UnknownErrorFromSmartServer, err:
203
 
            if err.error_tuple != ('BranchReference',):
204
 
                raise
205
 
            # We need to resolve the branch reference to determine the
206
 
            # cloning_metadir.  This causes unnecessary RPCs to open the
207
 
            # referenced branch (and bzrdir, etc) but only when the caller
208
 
            # didn't already resolve the branch reference.
209
 
            referenced_branch = self.open_branch()
210
 
            return referenced_branch.bzrdir.cloning_metadir()
211
 
        if len(response) != 3:
212
 
            raise errors.UnexpectedSmartServerResponse(response)
213
 
        control_name, repo_name, branch_info = response
214
 
        if len(branch_info) != 2:
215
 
            raise errors.UnexpectedSmartServerResponse(response)
216
 
        branch_ref, branch_name = branch_info
217
 
        format = bzrdir.network_format_registry.get(control_name)
218
 
        if repo_name:
219
 
            format.repository_format = repository.network_format_registry.get(
220
 
                repo_name)
221
 
        if branch_ref == 'ref':
222
 
            # XXX: we need possible_transports here to avoid reopening the
223
 
            # connection to the referenced location
224
 
            ref_bzrdir = BzrDir.open(branch_name)
225
 
            branch_format = ref_bzrdir.cloning_metadir().get_branch_format()
226
 
            format.set_branch_format(branch_format)
227
 
        elif branch_ref == 'branch':
228
 
            if branch_name:
229
 
                format.set_branch_format(
230
 
                    branch.network_format_registry.get(branch_name))
231
 
        else:
232
 
            raise errors.UnexpectedSmartServerResponse(response)
233
 
        return format
 
113
        return self._real_bzrdir.cloning_metadir(stacked)
234
114
 
235
115
    def create_repository(self, shared=False):
236
 
        # as per meta1 formats - just delegate to the format object which may
237
 
        # be parameterised.
238
 
        result = self._format.repository_format.initialize(self, shared)
239
 
        if not isinstance(result, RemoteRepository):
240
 
            return self.open_repository()
241
 
        else:
242
 
            return result
 
116
        self._ensure_real()
 
117
        self._real_bzrdir.create_repository(shared=shared)
 
118
        return self.open_repository()
243
119
 
244
120
    def destroy_repository(self):
245
121
        """See BzrDir.destroy_repository"""
246
122
        self._ensure_real()
247
123
        self._real_bzrdir.destroy_repository()
248
124
 
249
 
    def create_branch(self, name=None):
250
 
        # as per meta1 formats - just delegate to the format object which may
251
 
        # be parameterised.
252
 
        real_branch = self._format.get_branch_format().initialize(self,
253
 
            name=name)
254
 
        if not isinstance(real_branch, RemoteBranch):
255
 
            result = RemoteBranch(self, self.find_repository(), real_branch,
256
 
                                  name=name)
257
 
        else:
258
 
            result = real_branch
259
 
        # BzrDir.clone_on_transport() uses the result of create_branch but does
260
 
        # not return it to its callers; we save approximately 8% of our round
261
 
        # trips by handing the branch we created back to the first caller to
262
 
        # open_branch rather than probing anew. Long term we need a API in
263
 
        # bzrdir that doesn't discard result objects (like result_branch).
264
 
        # RBC 20090225
265
 
        self._next_open_branch_result = result
266
 
        return result
 
125
    def create_branch(self):
 
126
        self._ensure_real()
 
127
        real_branch = self._real_bzrdir.create_branch()
 
128
        return RemoteBranch(self, self.find_repository(), real_branch)
267
129
 
268
 
    def destroy_branch(self, name=None):
 
130
    def destroy_branch(self):
269
131
        """See BzrDir.destroy_branch"""
270
132
        self._ensure_real()
271
 
        self._real_bzrdir.destroy_branch(name=name)
272
 
        self._next_open_branch_result = None
 
133
        self._real_bzrdir.destroy_branch()
273
134
 
274
135
    def create_workingtree(self, revision_id=None, from_branch=None):
275
136
        raise errors.NotLocalUrl(self.transport.base)
276
137
 
277
 
    def find_branch_format(self, name=None):
 
138
    def find_branch_format(self):
278
139
        """Find the branch 'format' for this bzrdir.
279
140
 
280
141
        This might be a synthetic object for e.g. RemoteBranch and SVN.
281
142
        """
282
 
        b = self.open_branch(name=name)
 
143
        b = self.open_branch()
283
144
        return b._format
284
145
 
285
 
    def get_branch_reference(self, name=None):
 
146
    def get_branch_reference(self):
286
147
        """See BzrDir.get_branch_reference()."""
287
 
        if name is not None:
288
 
            # XXX JRV20100304: Support opening colocated branches
289
 
            raise errors.NoColocatedBranchSupport(self)
290
 
        response = self._get_branch_reference()
291
 
        if response[0] == 'ref':
292
 
            return response[1]
 
148
        path = self._path_for_remote_call(self._client)
 
149
        response = self._call('BzrDir.open_branch', path)
 
150
        if response[0] == 'ok':
 
151
            if response[1] == '':
 
152
                # branch at this location.
 
153
                return None
 
154
            else:
 
155
                # a branch reference, use the existing BranchReference logic.
 
156
                return response[1]
293
157
        else:
294
 
            return None
295
 
 
296
 
    def _get_branch_reference(self):
297
 
        path = self._path_for_remote_call(self._client)
298
 
        medium = self._client._medium
299
 
        candidate_calls = [
300
 
            ('BzrDir.open_branchV3', (2, 1)),
301
 
            ('BzrDir.open_branchV2', (1, 13)),
302
 
            ('BzrDir.open_branch', None),
303
 
            ]
304
 
        for verb, required_version in candidate_calls:
305
 
            if required_version and medium._is_remote_before(required_version):
306
 
                continue
307
 
            try:
308
 
                response = self._call(verb, path)
309
 
            except errors.UnknownSmartMethod:
310
 
                if required_version is None:
311
 
                    raise
312
 
                medium._remember_remote_is_before(required_version)
313
 
            else:
314
 
                break
315
 
        if verb == 'BzrDir.open_branch':
316
 
            if response[0] != 'ok':
317
 
                raise errors.UnexpectedSmartServerResponse(response)
318
 
            if response[1] != '':
319
 
                return ('ref', response[1])
320
 
            else:
321
 
                return ('branch', '')
322
 
        if response[0] not in ('ref', 'branch'):
323
158
            raise errors.UnexpectedSmartServerResponse(response)
324
 
        return response
325
159
 
326
 
    def _get_tree_branch(self, name=None):
 
160
    def _get_tree_branch(self):
327
161
        """See BzrDir._get_tree_branch()."""
328
 
        return None, self.open_branch(name=name)
 
162
        return None, self.open_branch()
329
163
 
330
 
    def open_branch(self, name=None, unsupported=False,
331
 
                    ignore_fallbacks=False):
332
 
        if unsupported:
 
164
    def open_branch(self, _unsupported=False):
 
165
        if _unsupported:
333
166
            raise NotImplementedError('unsupported flag support not implemented yet.')
334
 
        if self._next_open_branch_result is not None:
335
 
            # See create_branch for details.
336
 
            result = self._next_open_branch_result
337
 
            self._next_open_branch_result = None
338
 
            return result
339
 
        response = self._get_branch_reference()
340
 
        if response[0] == 'ref':
 
167
        reference_url = self.get_branch_reference()
 
168
        if reference_url is None:
 
169
            # branch at this location.
 
170
            return RemoteBranch(self, self.find_repository())
 
171
        else:
341
172
            # a branch reference, use the existing BranchReference logic.
342
173
            format = BranchReferenceFormat()
343
 
            return format.open(self, name=name, _found=True,
344
 
                location=response[1], ignore_fallbacks=ignore_fallbacks)
345
 
        branch_format_name = response[1]
346
 
        if not branch_format_name:
347
 
            branch_format_name = None
348
 
        format = RemoteBranchFormat(network_name=branch_format_name)
349
 
        return RemoteBranch(self, self.find_repository(), format=format,
350
 
            setup_stacking=not ignore_fallbacks, name=name)
351
 
 
352
 
    def _open_repo_v1(self, path):
353
 
        verb = 'BzrDir.find_repository'
354
 
        response = self._call(verb, path)
355
 
        if response[0] != 'ok':
356
 
            raise errors.UnexpectedSmartServerResponse(response)
357
 
        # servers that only support the v1 method don't support external
358
 
        # references either.
359
 
        self._ensure_real()
360
 
        repo = self._real_bzrdir.open_repository()
361
 
        response = response + ('no', repo._format.network_name())
362
 
        return response, repo
363
 
 
364
 
    def _open_repo_v2(self, path):
 
174
            return format.open(self, _found=True, location=reference_url)
 
175
                
 
176
    def open_repository(self):
 
177
        path = self._path_for_remote_call(self._client)
365
178
        verb = 'BzrDir.find_repositoryV2'
366
 
        response = self._call(verb, path)
367
 
        if response[0] != 'ok':
368
 
            raise errors.UnexpectedSmartServerResponse(response)
369
 
        self._ensure_real()
370
 
        repo = self._real_bzrdir.open_repository()
371
 
        response = response + (repo._format.network_name(),)
372
 
        return response, repo
373
 
 
374
 
    def _open_repo_v3(self, path):
375
 
        verb = 'BzrDir.find_repositoryV3'
376
 
        medium = self._client._medium
377
 
        if medium._is_remote_before((1, 13)):
378
 
            raise errors.UnknownSmartMethod(verb)
379
179
        try:
380
180
            response = self._call(verb, path)
381
181
        except errors.UnknownSmartMethod:
382
 
            medium._remember_remote_is_before((1, 13))
383
 
            raise
384
 
        if response[0] != 'ok':
385
 
            raise errors.UnexpectedSmartServerResponse(response)
386
 
        return response, None
387
 
 
388
 
    def open_repository(self):
389
 
        path = self._path_for_remote_call(self._client)
390
 
        response = None
391
 
        for probe in [self._open_repo_v3, self._open_repo_v2,
392
 
            self._open_repo_v1]:
393
 
            try:
394
 
                response, real_repo = probe(path)
395
 
                break
396
 
            except errors.UnknownSmartMethod:
397
 
                pass
398
 
        if response is None:
399
 
            raise errors.UnknownSmartMethod('BzrDir.find_repository{3,2,}')
400
 
        if response[0] != 'ok':
401
 
            raise errors.UnexpectedSmartServerResponse(response)
402
 
        if len(response) != 6:
 
182
            verb = 'BzrDir.find_repository'
 
183
            response = self._call(verb, path)
 
184
        if response[0] != 'ok':
 
185
            raise errors.UnexpectedSmartServerResponse(response)
 
186
        if verb == 'BzrDir.find_repository':
 
187
            # servers that don't support the V2 method don't support external
 
188
            # references either.
 
189
            response = response + ('no', )
 
190
        if not (len(response) == 5):
403
191
            raise SmartProtocolError('incorrect response length %s' % (response,))
404
192
        if response[1] == '':
405
 
            # repo is at this dir.
406
 
            format = response_tuple_to_repo_format(response[2:])
 
193
            format = RemoteRepositoryFormat()
 
194
            format.rich_root_data = (response[2] == 'yes')
 
195
            format.supports_tree_reference = (response[3] == 'yes')
 
196
            # No wire format to check this yet.
 
197
            format.supports_external_lookups = (response[4] == 'yes')
407
198
            # Used to support creating a real format instance when needed.
408
199
            format._creating_bzrdir = self
409
 
            remote_repo = RemoteRepository(self, format)
410
 
            format._creating_repo = remote_repo
411
 
            if real_repo is not None:
412
 
                remote_repo._set_real_repository(real_repo)
413
 
            return remote_repo
 
200
            return RemoteRepository(self, format)
414
201
        else:
415
202
            raise errors.NoRepositoryPresent(self)
416
203
 
417
 
    def has_workingtree(self):
418
 
        if self._has_working_tree is None:
419
 
            self._ensure_real()
420
 
            self._has_working_tree = self._real_bzrdir.has_workingtree()
421
 
        return self._has_working_tree
422
 
 
423
204
    def open_workingtree(self, recommend_upgrade=True):
424
 
        if self.has_workingtree():
 
205
        self._ensure_real()
 
206
        if self._real_bzrdir.has_workingtree():
425
207
            raise errors.NotLocalUrl(self.root_transport)
426
208
        else:
427
209
            raise errors.NoWorkingTree(self.root_transport.base)
430
212
        """Return the path to be used for this bzrdir in a remote call."""
431
213
        return client.remote_path_from_transport(self.root_transport)
432
214
 
433
 
    def get_branch_transport(self, branch_format, name=None):
 
215
    def get_branch_transport(self, branch_format):
434
216
        self._ensure_real()
435
 
        return self._real_bzrdir.get_branch_transport(branch_format, name=name)
 
217
        return self._real_bzrdir.get_branch_transport(branch_format)
436
218
 
437
219
    def get_repository_transport(self, repository_format):
438
220
        self._ensure_real()
459
241
        return self._real_bzrdir.clone(url, revision_id=revision_id,
460
242
            force_new_repo=force_new_repo, preserve_stacking=preserve_stacking)
461
243
 
462
 
    def _get_config(self):
463
 
        return RemoteBzrDirConfig(self)
 
244
    def get_config(self):
 
245
        self._ensure_real()
 
246
        return self._real_bzrdir.get_config()
464
247
 
465
248
 
466
249
class RemoteRepositoryFormat(repository.RepositoryFormat):
474
257
    the attributes rich_root_data and supports_tree_reference are set
475
258
    on a per instance basis, and are not set (and should not be) at
476
259
    the class level.
477
 
 
478
 
    :ivar _custom_format: If set, a specific concrete repository format that
479
 
        will be used when initializing a repository with this
480
 
        RemoteRepositoryFormat.
481
 
    :ivar _creating_repo: If set, the repository object that this
482
 
        RemoteRepositoryFormat was created for: it can be called into
483
 
        to obtain data like the network name.
484
260
    """
485
261
 
486
262
    _matchingbzrdir = RemoteBzrDirFormat()
487
263
 
488
 
    def __init__(self):
489
 
        repository.RepositoryFormat.__init__(self)
490
 
        self._custom_format = None
491
 
        self._network_name = None
492
 
        self._creating_bzrdir = None
493
 
        self._supports_chks = None
494
 
        self._supports_external_lookups = None
495
 
        self._supports_tree_reference = None
496
 
        self._rich_root_data = None
497
 
 
498
 
    def __repr__(self):
499
 
        return "%s(_network_name=%r)" % (self.__class__.__name__,
500
 
            self._network_name)
501
 
 
502
 
    @property
503
 
    def fast_deltas(self):
504
 
        self._ensure_real()
505
 
        return self._custom_format.fast_deltas
506
 
 
507
 
    @property
508
 
    def rich_root_data(self):
509
 
        if self._rich_root_data is None:
510
 
            self._ensure_real()
511
 
            self._rich_root_data = self._custom_format.rich_root_data
512
 
        return self._rich_root_data
513
 
 
514
 
    @property
515
 
    def supports_chks(self):
516
 
        if self._supports_chks is None:
517
 
            self._ensure_real()
518
 
            self._supports_chks = self._custom_format.supports_chks
519
 
        return self._supports_chks
520
 
 
521
 
    @property
522
 
    def supports_external_lookups(self):
523
 
        if self._supports_external_lookups is None:
524
 
            self._ensure_real()
525
 
            self._supports_external_lookups = \
526
 
                self._custom_format.supports_external_lookups
527
 
        return self._supports_external_lookups
528
 
 
529
 
    @property
530
 
    def supports_tree_reference(self):
531
 
        if self._supports_tree_reference is None:
532
 
            self._ensure_real()
533
 
            self._supports_tree_reference = \
534
 
                self._custom_format.supports_tree_reference
535
 
        return self._supports_tree_reference
536
 
 
537
 
    def _vfs_initialize(self, a_bzrdir, shared):
538
 
        """Helper for common code in initialize."""
539
 
        if self._custom_format:
540
 
            # Custom format requested
541
 
            result = self._custom_format.initialize(a_bzrdir, shared=shared)
542
 
        elif self._creating_bzrdir is not None:
543
 
            # Use the format that the repository we were created to back
544
 
            # has.
 
264
    def initialize(self, a_bzrdir, shared=False):
 
265
        if not isinstance(a_bzrdir, RemoteBzrDir):
545
266
            prior_repo = self._creating_bzrdir.open_repository()
546
267
            prior_repo._ensure_real()
547
 
            result = prior_repo._real_repository._format.initialize(
 
268
            return prior_repo._real_repository._format.initialize(
548
269
                a_bzrdir, shared=shared)
549
 
        else:
550
 
            # assume that a_bzr is a RemoteBzrDir but the smart server didn't
551
 
            # support remote initialization.
552
 
            # We delegate to a real object at this point (as RemoteBzrDir
553
 
            # delegate to the repository format which would lead to infinite
554
 
            # recursion if we just called a_bzrdir.create_repository.
555
 
            a_bzrdir._ensure_real()
556
 
            result = a_bzrdir._real_bzrdir.create_repository(shared=shared)
557
 
        if not isinstance(result, RemoteRepository):
558
 
            return self.open(a_bzrdir)
559
 
        else:
560
 
            return result
561
 
 
562
 
    def initialize(self, a_bzrdir, shared=False):
563
 
        # Being asked to create on a non RemoteBzrDir:
564
 
        if not isinstance(a_bzrdir, RemoteBzrDir):
565
 
            return self._vfs_initialize(a_bzrdir, shared)
566
 
        medium = a_bzrdir._client._medium
567
 
        if medium._is_remote_before((1, 13)):
568
 
            return self._vfs_initialize(a_bzrdir, shared)
569
 
        # Creating on a remote bzr dir.
570
 
        # 1) get the network name to use.
571
 
        if self._custom_format:
572
 
            network_name = self._custom_format.network_name()
573
 
        elif self._network_name:
574
 
            network_name = self._network_name
575
 
        else:
576
 
            # Select the current bzrlib default and ask for that.
577
 
            reference_bzrdir_format = bzrdir.format_registry.get('default')()
578
 
            reference_format = reference_bzrdir_format.repository_format
579
 
            network_name = reference_format.network_name()
580
 
        # 2) try direct creation via RPC
581
 
        path = a_bzrdir._path_for_remote_call(a_bzrdir._client)
582
 
        verb = 'BzrDir.create_repository'
583
 
        if shared:
584
 
            shared_str = 'True'
585
 
        else:
586
 
            shared_str = 'False'
587
 
        try:
588
 
            response = a_bzrdir._call(verb, path, network_name, shared_str)
589
 
        except errors.UnknownSmartMethod:
590
 
            # Fallback - use vfs methods
591
 
            medium._remember_remote_is_before((1, 13))
592
 
            return self._vfs_initialize(a_bzrdir, shared)
593
 
        else:
594
 
            # Turn the response into a RemoteRepository object.
595
 
            format = response_tuple_to_repo_format(response[1:])
596
 
            # Used to support creating a real format instance when needed.
597
 
            format._creating_bzrdir = a_bzrdir
598
 
            remote_repo = RemoteRepository(a_bzrdir, format)
599
 
            format._creating_repo = remote_repo
600
 
            return remote_repo
601
 
 
 
270
        return a_bzrdir.create_repository(shared=shared)
 
271
    
602
272
    def open(self, a_bzrdir):
603
273
        if not isinstance(a_bzrdir, RemoteBzrDir):
604
274
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
605
275
        return a_bzrdir.open_repository()
606
276
 
607
 
    def _ensure_real(self):
608
 
        if self._custom_format is None:
609
 
            self._custom_format = repository.network_format_registry.get(
610
 
                self._network_name)
611
 
 
612
 
    @property
613
 
    def _fetch_order(self):
614
 
        self._ensure_real()
615
 
        return self._custom_format._fetch_order
616
 
 
617
 
    @property
618
 
    def _fetch_uses_deltas(self):
619
 
        self._ensure_real()
620
 
        return self._custom_format._fetch_uses_deltas
621
 
 
622
 
    @property
623
 
    def _fetch_reconcile(self):
624
 
        self._ensure_real()
625
 
        return self._custom_format._fetch_reconcile
626
 
 
627
277
    def get_format_description(self):
628
 
        self._ensure_real()
629
 
        return 'Remote: ' + self._custom_format.get_format_description()
 
278
        return 'bzr remote repository'
630
279
 
631
280
    def __eq__(self, other):
632
 
        return self.__class__ is other.__class__
633
 
 
634
 
    def network_name(self):
635
 
        if self._network_name:
636
 
            return self._network_name
637
 
        self._creating_repo._ensure_real()
638
 
        return self._creating_repo._real_repository._format.network_name()
639
 
 
640
 
    @property
641
 
    def pack_compresses(self):
642
 
        self._ensure_real()
643
 
        return self._custom_format.pack_compresses
644
 
 
645
 
    @property
646
 
    def _serializer(self):
647
 
        self._ensure_real()
648
 
        return self._custom_format._serializer
649
 
 
650
 
 
651
 
class RemoteRepository(_RpcHelper, lock._RelockDebugMixin,
652
 
    controldir.ControlComponent):
 
281
        return self.__class__ == other.__class__
 
282
 
 
283
    def check_conversion_target(self, target_format):
 
284
        if self.rich_root_data and not target_format.rich_root_data:
 
285
            raise errors.BadConversionTarget(
 
286
                'Does not support rich root data.', target_format)
 
287
        if (self.supports_tree_reference and
 
288
            not getattr(target_format, 'supports_tree_reference', False)):
 
289
            raise errors.BadConversionTarget(
 
290
                'Does not support nested trees', target_format)
 
291
 
 
292
 
 
293
class RemoteRepository(_RpcHelper):
653
294
    """Repository accessed over rpc.
654
295
 
655
296
    For the moment most operations are performed using local transport-backed
658
299
 
659
300
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
660
301
        """Create a RemoteRepository instance.
661
 
 
 
302
        
662
303
        :param remote_bzrdir: The bzrdir hosting this repository.
663
304
        :param format: The RemoteFormat object to use.
664
305
        :param real_repository: If not None, a local implementation of the
681
322
        self._lock_token = None
682
323
        self._lock_count = 0
683
324
        self._leave_lock = False
684
 
        # Cache of revision parents; misses are cached during read locks, and
685
 
        # write locks when no _real_repository has been set.
686
325
        self._unstacked_provider = graph.CachingParentsProvider(
687
326
            get_parent_map=self._get_parent_map_rpc)
688
327
        self._unstacked_provider.disable_cache()
698
337
        # Additional places to query for data.
699
338
        self._fallback_repositories = []
700
339
 
701
 
    @property
702
 
    def user_transport(self):
703
 
        return self.bzrdir.user_transport
704
 
 
705
 
    @property
706
 
    def control_transport(self):
707
 
        # XXX: Normally you shouldn't directly get at the remote repository
708
 
        # transport, but I'm not sure it's worth making this method
709
 
        # optional -- mbp 2010-04-21
710
 
        return self.bzrdir.get_repository_transport(None)
711
 
        
712
340
    def __str__(self):
713
341
        return "%s(%s)" % (self.__class__.__name__, self.base)
714
342
 
716
344
 
717
345
    def abort_write_group(self, suppress_errors=False):
718
346
        """Complete a write group on the decorated repository.
719
 
 
720
 
        Smart methods perform operations in a single step so this API
 
347
        
 
348
        Smart methods peform operations in a single step so this api
721
349
        is not really applicable except as a compatibility thunk
722
350
        for older plugins that don't use e.g. the CommitBuilder
723
351
        facility.
728
356
        return self._real_repository.abort_write_group(
729
357
            suppress_errors=suppress_errors)
730
358
 
731
 
    @property
732
 
    def chk_bytes(self):
733
 
        """Decorate the real repository for now.
734
 
 
735
 
        In the long term a full blown network facility is needed to avoid
736
 
        creating a real repository object locally.
737
 
        """
738
 
        self._ensure_real()
739
 
        return self._real_repository.chk_bytes
740
 
 
741
359
    def commit_write_group(self):
742
360
        """Complete a write group on the decorated repository.
743
 
 
744
 
        Smart methods perform operations in a single step so this API
 
361
        
 
362
        Smart methods peform operations in a single step so this api
745
363
        is not really applicable except as a compatibility thunk
746
364
        for older plugins that don't use e.g. the CommitBuilder
747
365
        facility.
749
367
        self._ensure_real()
750
368
        return self._real_repository.commit_write_group()
751
369
 
752
 
    def resume_write_group(self, tokens):
753
 
        self._ensure_real()
754
 
        return self._real_repository.resume_write_group(tokens)
755
 
 
756
 
    def suspend_write_group(self):
757
 
        self._ensure_real()
758
 
        return self._real_repository.suspend_write_group()
759
 
 
760
 
    def get_missing_parent_inventories(self, check_for_missing_texts=True):
761
 
        self._ensure_real()
762
 
        return self._real_repository.get_missing_parent_inventories(
763
 
            check_for_missing_texts=check_for_missing_texts)
764
 
 
765
 
    def _get_rev_id_for_revno_vfs(self, revno, known_pair):
766
 
        self._ensure_real()
767
 
        return self._real_repository.get_rev_id_for_revno(
768
 
            revno, known_pair)
769
 
 
770
 
    def get_rev_id_for_revno(self, revno, known_pair):
771
 
        """See Repository.get_rev_id_for_revno."""
772
 
        path = self.bzrdir._path_for_remote_call(self._client)
773
 
        try:
774
 
            if self._client._medium._is_remote_before((1, 17)):
775
 
                return self._get_rev_id_for_revno_vfs(revno, known_pair)
776
 
            response = self._call(
777
 
                'Repository.get_rev_id_for_revno', path, revno, known_pair)
778
 
        except errors.UnknownSmartMethod:
779
 
            self._client._medium._remember_remote_is_before((1, 17))
780
 
            return self._get_rev_id_for_revno_vfs(revno, known_pair)
781
 
        if response[0] == 'ok':
782
 
            return True, response[1]
783
 
        elif response[0] == 'history-incomplete':
784
 
            known_pair = response[1:3]
785
 
            for fallback in self._fallback_repositories:
786
 
                found, result = fallback.get_rev_id_for_revno(revno, known_pair)
787
 
                if found:
788
 
                    return True, result
789
 
                else:
790
 
                    known_pair = result
791
 
            # Not found in any fallbacks
792
 
            return False, known_pair
793
 
        else:
794
 
            raise errors.UnexpectedSmartServerResponse(response)
795
 
 
796
370
    def _ensure_real(self):
797
371
        """Ensure that there is a _real_repository set.
798
372
 
799
373
        Used before calls to self._real_repository.
800
 
 
801
 
        Note that _ensure_real causes many roundtrips to the server which are
802
 
        not desirable, and prevents the use of smart one-roundtrip RPC's to
803
 
        perform complex operations (such as accessing parent data, streaming
804
 
        revisions etc). Adding calls to _ensure_real should only be done when
805
 
        bringing up new functionality, adding fallbacks for smart methods that
806
 
        require a fallback path, and never to replace an existing smart method
807
 
        invocation. If in doubt chat to the bzr network team.
808
374
        """
809
375
        if self._real_repository is None:
810
 
            if 'hpssvfs' in debug.debug_flags:
811
 
                import traceback
812
 
                warning('VFS Repository access triggered\n%s',
813
 
                    ''.join(traceback.format_stack()))
814
 
            self._unstacked_provider.missing_keys.clear()
815
376
            self.bzrdir._ensure_real()
816
377
            self._set_real_repository(
817
378
                self.bzrdir._real_bzrdir.open_repository())
844
405
        self._ensure_real()
845
406
        return self._real_repository._generate_text_key_index()
846
407
 
 
408
    @symbol_versioning.deprecated_method(symbol_versioning.one_four)
 
409
    def get_revision_graph(self, revision_id=None):
 
410
        """See Repository.get_revision_graph()."""
 
411
        return self._get_revision_graph(revision_id)
 
412
 
847
413
    def _get_revision_graph(self, revision_id):
848
414
        """Private method for using with old (< 1.2) servers to fallback."""
849
415
        if revision_id is None:
866
432
        for line in lines:
867
433
            d = tuple(line.split())
868
434
            revision_graph[d[0]] = d[1:]
869
 
 
 
435
            
870
436
        return revision_graph
871
437
 
872
 
    def _get_sink(self):
873
 
        """See Repository._get_sink()."""
874
 
        return RemoteStreamSink(self)
875
 
 
876
 
    def _get_source(self, to_format):
877
 
        """Return a source for streaming from this repository."""
878
 
        return RemoteStreamSource(self, to_format)
879
 
 
880
 
    @needs_read_lock
881
438
    def has_revision(self, revision_id):
882
 
        """True if this repository has a copy of the revision."""
883
 
        # Copy of bzrlib.repository.Repository.has_revision
884
 
        return revision_id in self.has_revisions((revision_id,))
 
439
        """See Repository.has_revision()."""
 
440
        if revision_id == NULL_REVISION:
 
441
            # The null revision is always present.
 
442
            return True
 
443
        path = self.bzrdir._path_for_remote_call(self._client)
 
444
        response = self._call('Repository.has_revision', path, revision_id)
 
445
        if response[0] not in ('yes', 'no'):
 
446
            raise errors.UnexpectedSmartServerResponse(response)
 
447
        if response[0] == 'yes':
 
448
            return True
 
449
        for fallback_repo in self._fallback_repositories:
 
450
            if fallback_repo.has_revision(revision_id):
 
451
                return True
 
452
        return False
885
453
 
886
 
    @needs_read_lock
887
454
    def has_revisions(self, revision_ids):
888
 
        """Probe to find out the presence of multiple revisions.
889
 
 
890
 
        :param revision_ids: An iterable of revision_ids.
891
 
        :return: A set of the revision_ids that were present.
892
 
        """
893
 
        # Copy of bzrlib.repository.Repository.has_revisions
894
 
        parent_map = self.get_parent_map(revision_ids)
895
 
        result = set(parent_map)
896
 
        if _mod_revision.NULL_REVISION in revision_ids:
897
 
            result.add(_mod_revision.NULL_REVISION)
 
455
        """See Repository.has_revisions()."""
 
456
        # FIXME: This does many roundtrips, particularly when there are
 
457
        # fallback repositories.  -- mbp 20080905
 
458
        result = set()
 
459
        for revision_id in revision_ids:
 
460
            if self.has_revision(revision_id):
 
461
                result.add(revision_id)
898
462
        return result
899
463
 
900
 
    def _has_same_fallbacks(self, other_repo):
901
 
        """Returns true if the repositories have the same fallbacks."""
902
 
        # XXX: copied from Repository; it should be unified into a base class
903
 
        # <https://bugs.launchpad.net/bzr/+bug/401622>
904
 
        my_fb = self._fallback_repositories
905
 
        other_fb = other_repo._fallback_repositories
906
 
        if len(my_fb) != len(other_fb):
907
 
            return False
908
 
        for f, g in zip(my_fb, other_fb):
909
 
            if not f.has_same_location(g):
910
 
                return False
911
 
        return True
912
 
 
913
464
    def has_same_location(self, other):
914
 
        # TODO: Move to RepositoryBase and unify with the regular Repository
915
 
        # one; unfortunately the tests rely on slightly different behaviour at
916
 
        # present -- mbp 20090710
917
 
        return (self.__class__ is other.__class__ and
 
465
        return (self.__class__ == other.__class__ and
918
466
                self.bzrdir.transport.base == other.bzrdir.transport.base)
919
467
 
920
468
    def get_graph(self, other_repository=None):
922
470
        parents_provider = self._make_parents_provider(other_repository)
923
471
        return graph.Graph(parents_provider)
924
472
 
925
 
    @needs_read_lock
926
 
    def get_known_graph_ancestry(self, revision_ids):
927
 
        """Return the known graph for a set of revision ids and their ancestors.
928
 
        """
929
 
        st = static_tuple.StaticTuple
930
 
        revision_keys = [st(r_id).intern() for r_id in revision_ids]
931
 
        known_graph = self.revisions.get_known_graph_ancestry(revision_keys)
932
 
        return graph.GraphThunkIdsToKeys(known_graph)
933
 
 
934
473
    def gather_stats(self, revid=None, committers=None):
935
474
        """See Repository.gather_stats()."""
936
475
        path = self.bzrdir._path_for_remote_call(self._client)
996
535
    def is_write_locked(self):
997
536
        return self._lock_mode == 'w'
998
537
 
999
 
    def _warn_if_deprecated(self, branch=None):
1000
 
        # If we have a real repository, the check will be done there, if we
1001
 
        # don't the check will be done remotely.
1002
 
        pass
1003
 
 
1004
538
    def lock_read(self):
1005
 
        """Lock the repository for read operations.
1006
 
 
1007
 
        :return: A bzrlib.lock.LogicalLockResult.
1008
 
        """
1009
539
        # wrong eventually - want a local lock cache context
1010
540
        if not self._lock_mode:
1011
 
            self._note_lock('r')
1012
541
            self._lock_mode = 'r'
1013
542
            self._lock_count = 1
1014
 
            self._unstacked_provider.enable_cache(cache_misses=True)
 
543
            self._unstacked_provider.enable_cache(cache_misses=False)
1015
544
            if self._real_repository is not None:
1016
545
                self._real_repository.lock_read()
1017
 
            for repo in self._fallback_repositories:
1018
 
                repo.lock_read()
1019
546
        else:
1020
547
            self._lock_count += 1
1021
 
        return lock.LogicalLockResult(self.unlock)
1022
548
 
1023
549
    def _remote_lock_write(self, token):
1024
550
        path = self.bzrdir._path_for_remote_call(self._client)
1035
561
 
1036
562
    def lock_write(self, token=None, _skip_rpc=False):
1037
563
        if not self._lock_mode:
1038
 
            self._note_lock('w')
1039
564
            if _skip_rpc:
1040
565
                if self._lock_token is not None:
1041
566
                    if token != self._lock_token:
1055
580
                self._leave_lock = False
1056
581
            self._lock_mode = 'w'
1057
582
            self._lock_count = 1
1058
 
            cache_misses = self._real_repository is None
1059
 
            self._unstacked_provider.enable_cache(cache_misses=cache_misses)
1060
 
            for repo in self._fallback_repositories:
1061
 
                # Writes don't affect fallback repos
1062
 
                repo.lock_read()
 
583
            self._unstacked_provider.enable_cache(cache_misses=False)
1063
584
        elif self._lock_mode == 'r':
1064
585
            raise errors.ReadOnlyError(self)
1065
586
        else:
1066
587
            self._lock_count += 1
1067
 
        return RepositoryWriteLockResult(self.unlock, self._lock_token or None)
 
588
        return self._lock_token or None
1068
589
 
1069
590
    def leave_lock_in_place(self):
1070
591
        if not self._lock_token:
1083
604
            implemented operations.
1084
605
        """
1085
606
        if self._real_repository is not None:
1086
 
            # Replacing an already set real repository.
1087
 
            # We cannot do this [currently] if the repository is locked -
1088
 
            # synchronised state might be lost.
1089
 
            if self.is_locked():
1090
 
                raise AssertionError('_real_repository is already set')
 
607
            raise AssertionError('_real_repository is already set')
1091
608
        if isinstance(repository, RemoteRepository):
1092
609
            raise AssertionError()
1093
610
        self._real_repository = repository
1094
 
        # three code paths happen here:
1095
 
        # 1) old servers, RemoteBranch.open() calls _ensure_real before setting
1096
 
        # up stacking. In this case self._fallback_repositories is [], and the
1097
 
        # real repo is already setup. Preserve the real repo and
1098
 
        # RemoteRepository.add_fallback_repository will avoid adding
1099
 
        # duplicates.
1100
 
        # 2) new servers, RemoteBranch.open() sets up stacking, and when
1101
 
        # ensure_real is triggered from a branch, the real repository to
1102
 
        # set already has a matching list with separate instances, but
1103
 
        # as they are also RemoteRepositories we don't worry about making the
1104
 
        # lists be identical.
1105
 
        # 3) new servers, RemoteRepository.ensure_real is triggered before
1106
 
        # RemoteBranch.ensure real, in this case we get a repo with no fallbacks
1107
 
        # and need to populate it.
1108
 
        if (self._fallback_repositories and
1109
 
            len(self._real_repository._fallback_repositories) !=
1110
 
            len(self._fallback_repositories)):
1111
 
            if len(self._real_repository._fallback_repositories):
1112
 
                raise AssertionError(
1113
 
                    "cannot cleanly remove existing _fallback_repositories")
1114
611
        for fb in self._fallback_repositories:
1115
612
            self._real_repository.add_fallback_repository(fb)
1116
613
        if self._lock_mode == 'w':
1122
619
 
1123
620
    def start_write_group(self):
1124
621
        """Start a write group on the decorated repository.
1125
 
 
1126
 
        Smart methods perform operations in a single step so this API
 
622
        
 
623
        Smart methods peform operations in a single step so this api
1127
624
        is not really applicable except as a compatibility thunk
1128
625
        for older plugins that don't use e.g. the CommitBuilder
1129
626
        facility.
1144
641
        else:
1145
642
            raise errors.UnexpectedSmartServerResponse(response)
1146
643
 
1147
 
    @only_raises(errors.LockNotHeld, errors.LockBroken)
1148
644
    def unlock(self):
1149
 
        if not self._lock_count:
1150
 
            return lock.cant_unlock_not_held(self)
1151
645
        self._lock_count -= 1
1152
646
        if self._lock_count > 0:
1153
647
            return
1167
661
            # problem releasing the vfs-based lock.
1168
662
            if old_mode == 'w':
1169
663
                # Only write-locked repositories need to make a remote method
1170
 
                # call to perform the unlock.
 
664
                # call to perfom the unlock.
1171
665
                old_token = self._lock_token
1172
666
                self._lock_token = None
1173
667
                if not self._leave_lock:
1174
668
                    self._unlock(old_token)
1175
 
        # Fallbacks are always 'lock_read()' so we don't pay attention to
1176
 
        # self._leave_lock
1177
 
        for repo in self._fallback_repositories:
1178
 
            repo.unlock()
1179
669
 
1180
670
    def break_lock(self):
1181
671
        # should hand off to the network
1184
674
 
1185
675
    def _get_tarball(self, compression):
1186
676
        """Return a TemporaryFile containing a repository tarball.
1187
 
 
 
677
        
1188
678
        Returns None if the server does not support sending tarballs.
1189
679
        """
1190
680
        import tempfile
1236
726
 
1237
727
    def add_fallback_repository(self, repository):
1238
728
        """Add a repository to use for looking up data not held locally.
1239
 
 
 
729
        
1240
730
        :param repository: A repository.
1241
731
        """
1242
 
        if not self._format.supports_external_lookups:
1243
 
            raise errors.UnstackableRepositoryFormat(
1244
 
                self._format.network_name(), self.base)
 
732
        # XXX: At the moment the RemoteRepository will allow fallbacks
 
733
        # unconditionally - however, a _real_repository will usually exist,
 
734
        # and may raise an error if it's not accommodated by the underlying
 
735
        # format.  Eventually we should check when opening the repository
 
736
        # whether it's willing to allow them or not.
 
737
        #
1245
738
        # We need to accumulate additional repositories here, to pass them in
1246
739
        # on various RPC's.
1247
 
        #
1248
 
        if self.is_locked():
1249
 
            # We will call fallback.unlock() when we transition to the unlocked
1250
 
            # state, so always add a lock here. If a caller passes us a locked
1251
 
            # repository, they are responsible for unlocking it later.
1252
 
            repository.lock_read()
1253
 
        self._check_fallback_repository(repository)
1254
740
        self._fallback_repositories.append(repository)
1255
 
        # If self._real_repository was parameterised already (e.g. because a
1256
 
        # _real_branch had its get_stacked_on_url method called), then the
1257
 
        # repository to be added may already be in the _real_repositories list.
1258
 
        if self._real_repository is not None:
1259
 
            fallback_locations = [repo.user_url for repo in
1260
 
                self._real_repository._fallback_repositories]
1261
 
            if repository.user_url not in fallback_locations:
1262
 
                self._real_repository.add_fallback_repository(repository)
1263
 
 
1264
 
    def _check_fallback_repository(self, repository):
1265
 
        """Check that this repository can fallback to repository safely.
1266
 
 
1267
 
        Raise an error if not.
1268
 
 
1269
 
        :param repository: A repository to fallback to.
1270
 
        """
1271
 
        return _mod_repository.InterRepository._assert_same_model(
1272
 
            self, repository)
 
741
        # They are also seen by the fallback repository.  If it doesn't exist
 
742
        # yet they'll be added then.  This implicitly copies them.
 
743
        self._ensure_real()
1273
744
 
1274
745
    def add_inventory(self, revid, inv, parents):
1275
746
        self._ensure_real()
1276
747
        return self._real_repository.add_inventory(revid, inv, parents)
1277
748
 
1278
749
    def add_inventory_by_delta(self, basis_revision_id, delta, new_revision_id,
1279
 
            parents, basis_inv=None, propagate_caches=False):
 
750
                               parents):
1280
751
        self._ensure_real()
1281
752
        return self._real_repository.add_inventory_by_delta(basis_revision_id,
1282
 
            delta, new_revision_id, parents, basis_inv=basis_inv,
1283
 
            propagate_caches=propagate_caches)
 
753
            delta, new_revision_id, parents)
1284
754
 
1285
755
    def add_revision(self, rev_id, rev, inv=None, config=None):
1286
756
        self._ensure_real()
1292
762
        self._ensure_real()
1293
763
        return self._real_repository.get_inventory(revision_id)
1294
764
 
1295
 
    def iter_inventories(self, revision_ids, ordering=None):
 
765
    def iter_inventories(self, revision_ids):
1296
766
        self._ensure_real()
1297
 
        return self._real_repository.iter_inventories(revision_ids, ordering)
 
767
        return self._real_repository.iter_inventories(revision_ids)
1298
768
 
1299
769
    @needs_read_lock
1300
770
    def get_revision(self, revision_id):
1315
785
        self._ensure_real()
1316
786
        return self._real_repository.make_working_trees()
1317
787
 
1318
 
    def refresh_data(self):
1319
 
        """Re-read any data needed to synchronise with disk.
1320
 
 
1321
 
        This method is intended to be called after another repository instance
1322
 
        (such as one used by a smart server) has inserted data into the
1323
 
        repository. On all repositories this will work outside of write groups.
1324
 
        Some repository formats (pack and newer for bzrlib native formats)
1325
 
        support refresh_data inside write groups. If called inside a write
1326
 
        group on a repository that does not support refreshing in a write group
1327
 
        IsInWriteGroupError will be raised.
1328
 
        """
1329
 
        if self._real_repository is not None:
1330
 
            self._real_repository.refresh_data()
1331
 
 
1332
788
    def revision_ids_to_search_result(self, result_set):
1333
789
        """Convert a set of revision ids to a graph SearchResult."""
1334
790
        result_parents = set()
1345
801
    @needs_read_lock
1346
802
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
1347
803
        """Return the revision ids that other has that this does not.
1348
 
 
 
804
        
1349
805
        These are returned in topological order.
1350
806
 
1351
807
        revision_id: only return revision ids included by revision_id.
1353
809
        return repository.InterRepository.get(
1354
810
            other, self).search_missing_revision_ids(revision_id, find_ghosts)
1355
811
 
1356
 
    def fetch(self, source, revision_id=None, pb=None, find_ghosts=False,
1357
 
            fetch_spec=None):
1358
 
        # No base implementation to use as RemoteRepository is not a subclass
1359
 
        # of Repository; so this is a copy of Repository.fetch().
1360
 
        if fetch_spec is not None and revision_id is not None:
1361
 
            raise AssertionError(
1362
 
                "fetch_spec and revision_id are mutually exclusive.")
1363
 
        if self.is_in_write_group():
1364
 
            raise errors.InternalBzrError(
1365
 
                "May not fetch while in a write group.")
1366
 
        # fast path same-url fetch operations
1367
 
        if (self.has_same_location(source)
1368
 
            and fetch_spec is None
1369
 
            and self._has_same_fallbacks(source)):
 
812
    def fetch(self, source, revision_id=None, pb=None, find_ghosts=False):
 
813
        # Not delegated to _real_repository so that InterRepository.get has a
 
814
        # chance to find an InterRepository specialised for RemoteRepository.
 
815
        if self.has_same_location(source):
1370
816
            # check that last_revision is in 'from' and then return a
1371
817
            # no-operation.
1372
818
            if (revision_id is not None and
1373
819
                not revision.is_null(revision_id)):
1374
820
                self.get_revision(revision_id)
1375
821
            return 0, []
1376
 
        # if there is no specific appropriate InterRepository, this will get
1377
 
        # the InterRepository base class, which raises an
1378
 
        # IncompatibleRepositories when asked to fetch.
1379
822
        inter = repository.InterRepository.get(source, self)
1380
 
        return inter.fetch(revision_id=revision_id, pb=pb,
1381
 
            find_ghosts=find_ghosts, fetch_spec=fetch_spec)
 
823
        try:
 
824
            return inter.fetch(revision_id=revision_id, pb=pb, find_ghosts=find_ghosts)
 
825
        except NotImplementedError:
 
826
            raise errors.IncompatibleRepositories(source, self)
1382
827
 
1383
828
    def create_bundle(self, target, base, fileobj, format=None):
1384
829
        self._ensure_real()
1397
842
        self._ensure_real()
1398
843
        return self._real_repository._get_versioned_file_checker(
1399
844
            revisions, revision_versions_cache)
1400
 
 
 
845
        
1401
846
    def iter_files_bytes(self, desired_files):
1402
847
        """See Repository.iter_file_bytes.
1403
848
        """
1404
849
        self._ensure_real()
1405
850
        return self._real_repository.iter_files_bytes(desired_files)
1406
851
 
 
852
    @property
 
853
    def _fetch_order(self):
 
854
        """Decorate the real repository for now.
 
855
 
 
856
        In the long term getting this back from the remote repository as part
 
857
        of open would be more efficient.
 
858
        """
 
859
        self._ensure_real()
 
860
        return self._real_repository._fetch_order
 
861
 
 
862
    @property
 
863
    def _fetch_uses_deltas(self):
 
864
        """Decorate the real repository for now.
 
865
 
 
866
        In the long term getting this back from the remote repository as part
 
867
        of open would be more efficient.
 
868
        """
 
869
        self._ensure_real()
 
870
        return self._real_repository._fetch_uses_deltas
 
871
 
 
872
    @property
 
873
    def _fetch_reconcile(self):
 
874
        """Decorate the real repository for now.
 
875
 
 
876
        In the long term getting this back from the remote repository as part
 
877
        of open would be more efficient.
 
878
        """
 
879
        self._ensure_real()
 
880
        return self._real_repository._fetch_reconcile
 
881
 
1407
882
    def get_parent_map(self, revision_ids):
1408
883
        """See bzrlib.Graph.get_parent_map()."""
1409
884
        return self._make_parents_provider().get_parent_map(revision_ids)
1415
890
            # We already found out that the server can't understand
1416
891
            # Repository.get_parent_map requests, so just fetch the whole
1417
892
            # graph.
1418
 
            #
1419
 
            # Note that this reads the whole graph, when only some keys are
1420
 
            # wanted.  On this old server there's no way (?) to get them all
1421
 
            # in one go, and the user probably will have seen a warning about
1422
 
            # the server being old anyhow.
1423
 
            rg = self._get_revision_graph(None)
1424
 
            # There is an API discrepancy between get_parent_map and
 
893
            # XXX: Note that this will issue a deprecation warning. This is ok
 
894
            # :- its because we're working with a deprecated server anyway, and
 
895
            # the user will almost certainly have seen a warning about the
 
896
            # server version already.
 
897
            rg = self.get_revision_graph()
 
898
            # There is an api discrepency between get_parent_map and
1425
899
            # get_revision_graph. Specifically, a "key:()" pair in
1426
900
            # get_revision_graph just means a node has no parents. For
1427
901
            # "get_parent_map" it means the node is a ghost. So fix up the
1457
931
        # TODO: Manage this incrementally to avoid covering the same path
1458
932
        # repeatedly. (The server will have to on each request, but the less
1459
933
        # work done the better).
1460
 
        #
1461
 
        # Negative caching notes:
1462
 
        # new server sends missing when a request including the revid
1463
 
        # 'include-missing:' is present in the request.
1464
 
        # missing keys are serialised as missing:X, and we then call
1465
 
        # provider.note_missing(X) for-all X
1466
934
        parents_map = self._unstacked_provider.get_cached_map()
1467
935
        if parents_map is None:
1468
936
            # Repository is not locked, so there's no cache.
1469
937
            parents_map = {}
1470
 
        # start_set is all the keys in the cache
1471
938
        start_set = set(parents_map)
1472
 
        # result set is all the references to keys in the cache
1473
939
        result_parents = set()
1474
940
        for parents in parents_map.itervalues():
1475
941
            result_parents.update(parents)
1476
942
        stop_keys = result_parents.difference(start_set)
1477
 
        # We don't need to send ghosts back to the server as a position to
1478
 
        # stop either.
1479
 
        stop_keys.difference_update(self._unstacked_provider.missing_keys)
1480
 
        key_count = len(parents_map)
1481
 
        if (NULL_REVISION in result_parents
1482
 
            and NULL_REVISION in self._unstacked_provider.missing_keys):
1483
 
            # If we pruned NULL_REVISION from the stop_keys because it's also
1484
 
            # in our cache of "missing" keys we need to increment our key count
1485
 
            # by 1, because the reconsitituted SearchResult on the server will
1486
 
            # still consider NULL_REVISION to be an included key.
1487
 
            key_count += 1
1488
943
        included_keys = start_set.intersection(result_parents)
1489
944
        start_set.difference_update(included_keys)
1490
 
        recipe = ('manual', start_set, stop_keys, key_count)
 
945
        recipe = (start_set, stop_keys, len(parents_map))
1491
946
        body = self._serialise_search_recipe(recipe)
1492
947
        path = self.bzrdir._path_for_remote_call(self._client)
1493
948
        for key in keys:
1495
950
                raise ValueError(
1496
951
                    "key %r not a plain string" % (key,))
1497
952
        verb = 'Repository.get_parent_map'
1498
 
        args = (path, 'include-missing:') + tuple(keys)
 
953
        args = (path,) + tuple(keys)
1499
954
        try:
1500
955
            response = self._call_with_body_bytes_expecting_body(
1501
956
                verb, args, body)
1511
966
            # To avoid having to disconnect repeatedly, we keep track of the
1512
967
            # fact the server doesn't understand remote methods added in 1.2.
1513
968
            medium._remember_remote_is_before((1, 2))
1514
 
            # Recurse just once and we should use the fallback code.
1515
 
            return self._get_parent_map_rpc(keys)
 
969
            return self.get_revision_graph(None)
1516
970
        response_tuple, response_handler = response
1517
971
        if response_tuple[0] not in ['ok']:
1518
972
            response_handler.cancel_read_body()
1529
983
                if len(d) > 1:
1530
984
                    revision_graph[d[0]] = d[1:]
1531
985
                else:
1532
 
                    # No parents:
1533
 
                    if d[0].startswith('missing:'):
1534
 
                        revid = d[0][8:]
1535
 
                        self._unstacked_provider.note_missing_key(revid)
1536
 
                    else:
1537
 
                        # no parents - so give the Graph result
1538
 
                        # (NULL_REVISION,).
1539
 
                        revision_graph[d[0]] = (NULL_REVISION,)
 
986
                    # No parents - so give the Graph result (NULL_REVISION,).
 
987
                    revision_graph[d[0]] = (NULL_REVISION,)
1540
988
            return revision_graph
1541
989
 
1542
990
    @needs_read_lock
1545
993
        return self._real_repository.get_signature_text(revision_id)
1546
994
 
1547
995
    @needs_read_lock
1548
 
    def _get_inventory_xml(self, revision_id):
1549
 
        self._ensure_real()
1550
 
        return self._real_repository._get_inventory_xml(revision_id)
 
996
    @symbol_versioning.deprecated_method(symbol_versioning.one_three)
 
997
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
998
        self._ensure_real()
 
999
        return self._real_repository.get_revision_graph_with_ghosts(
 
1000
            revision_ids=revision_ids)
 
1001
 
 
1002
    @needs_read_lock
 
1003
    def get_inventory_xml(self, revision_id):
 
1004
        self._ensure_real()
 
1005
        return self._real_repository.get_inventory_xml(revision_id)
 
1006
 
 
1007
    def deserialise_inventory(self, revision_id, xml):
 
1008
        self._ensure_real()
 
1009
        return self._real_repository.deserialise_inventory(revision_id, xml)
1551
1010
 
1552
1011
    def reconcile(self, other=None, thorough=False):
1553
1012
        self._ensure_real()
1554
1013
        return self._real_repository.reconcile(other=other, thorough=thorough)
1555
 
 
 
1014
        
1556
1015
    def all_revision_ids(self):
1557
1016
        self._ensure_real()
1558
1017
        return self._real_repository.all_revision_ids()
1559
 
 
1560
 
    @needs_read_lock
1561
 
    def get_deltas_for_revisions(self, revisions, specific_fileids=None):
1562
 
        self._ensure_real()
1563
 
        return self._real_repository.get_deltas_for_revisions(revisions,
1564
 
            specific_fileids=specific_fileids)
1565
 
 
1566
 
    @needs_read_lock
1567
 
    def get_revision_delta(self, revision_id, specific_fileids=None):
1568
 
        self._ensure_real()
1569
 
        return self._real_repository.get_revision_delta(revision_id,
1570
 
            specific_fileids=specific_fileids)
 
1018
    
 
1019
    @needs_read_lock
 
1020
    def get_deltas_for_revisions(self, revisions):
 
1021
        self._ensure_real()
 
1022
        return self._real_repository.get_deltas_for_revisions(revisions)
 
1023
 
 
1024
    @needs_read_lock
 
1025
    def get_revision_delta(self, revision_id):
 
1026
        self._ensure_real()
 
1027
        return self._real_repository.get_revision_delta(revision_id)
1571
1028
 
1572
1029
    @needs_read_lock
1573
1030
    def revision_trees(self, revision_ids):
1580
1037
        return self._real_repository.get_revision_reconcile(revision_id)
1581
1038
 
1582
1039
    @needs_read_lock
1583
 
    def check(self, revision_ids=None, callback_refs=None, check_repo=True):
 
1040
    def check(self, revision_ids=None):
1584
1041
        self._ensure_real()
1585
 
        return self._real_repository.check(revision_ids=revision_ids,
1586
 
            callback_refs=callback_refs, check_repo=check_repo)
 
1042
        return self._real_repository.check(revision_ids=revision_ids)
1587
1043
 
1588
1044
    def copy_content_into(self, destination, revision_id=None):
1589
1045
        self._ensure_real()
1629
1085
        return self._real_repository.inventories
1630
1086
 
1631
1087
    @needs_write_lock
1632
 
    def pack(self, hint=None, clean_obsolete_packs=False):
 
1088
    def pack(self):
1633
1089
        """Compress the data within the repository.
1634
1090
 
1635
1091
        This is not currently implemented within the smart server.
1636
1092
        """
1637
1093
        self._ensure_real()
1638
 
        return self._real_repository.pack(hint=hint, clean_obsolete_packs=clean_obsolete_packs)
 
1094
        return self._real_repository.pack()
1639
1095
 
1640
1096
    @property
1641
1097
    def revisions(self):
1650
1106
        return self._real_repository.revisions
1651
1107
 
1652
1108
    def set_make_working_trees(self, new_value):
1653
 
        if new_value:
1654
 
            new_value_str = "True"
1655
 
        else:
1656
 
            new_value_str = "False"
1657
 
        path = self.bzrdir._path_for_remote_call(self._client)
1658
 
        try:
1659
 
            response = self._call(
1660
 
                'Repository.set_make_working_trees', path, new_value_str)
1661
 
        except errors.UnknownSmartMethod:
1662
 
            self._ensure_real()
1663
 
            self._real_repository.set_make_working_trees(new_value)
1664
 
        else:
1665
 
            if response[0] != 'ok':
1666
 
                raise errors.UnexpectedSmartServerResponse(response)
 
1109
        self._ensure_real()
 
1110
        self._real_repository.set_make_working_trees(new_value)
1667
1111
 
1668
1112
    @property
1669
1113
    def signatures(self):
1696
1140
        return self._real_repository.get_revisions(revision_ids)
1697
1141
 
1698
1142
    def supports_rich_root(self):
1699
 
        return self._format.rich_root_data
 
1143
        self._ensure_real()
 
1144
        return self._real_repository.supports_rich_root()
1700
1145
 
1701
1146
    def iter_reverse_revision_history(self, revision_id):
1702
1147
        self._ensure_real()
1704
1149
 
1705
1150
    @property
1706
1151
    def _serializer(self):
1707
 
        return self._format._serializer
 
1152
        self._ensure_real()
 
1153
        return self._real_repository._serializer
1708
1154
 
1709
1155
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
1710
1156
        self._ensure_real()
1729
1175
        self._ensure_real()
1730
1176
        return self._real_repository.revision_graph_can_have_wrong_parents()
1731
1177
 
1732
 
    def _find_inconsistent_revision_parents(self, revisions_iterator=None):
 
1178
    def _find_inconsistent_revision_parents(self):
1733
1179
        self._ensure_real()
1734
 
        return self._real_repository._find_inconsistent_revision_parents(
1735
 
            revisions_iterator)
 
1180
        return self._real_repository._find_inconsistent_revision_parents()
1736
1181
 
1737
1182
    def _check_for_inconsistent_revision_parents(self):
1738
1183
        self._ensure_real()
1744
1189
            providers.insert(0, other)
1745
1190
        providers.extend(r._make_parents_provider() for r in
1746
1191
                         self._fallback_repositories)
1747
 
        return graph.StackedParentsProvider(providers)
 
1192
        return graph._StackedParentsProvider(providers)
1748
1193
 
1749
1194
    def _serialise_search_recipe(self, recipe):
1750
1195
        """Serialise a graph search recipe.
1752
1197
        :param recipe: A search recipe (start, stop, count).
1753
1198
        :return: Serialised bytes.
1754
1199
        """
1755
 
        start_keys = ' '.join(recipe[1])
1756
 
        stop_keys = ' '.join(recipe[2])
1757
 
        count = str(recipe[3])
 
1200
        start_keys = ' '.join(recipe[0])
 
1201
        stop_keys = ' '.join(recipe[1])
 
1202
        count = str(recipe[2])
1758
1203
        return '\n'.join((start_keys, stop_keys, count))
1759
1204
 
1760
 
    def _serialise_search_result(self, search_result):
1761
 
        if isinstance(search_result, graph.PendingAncestryResult):
1762
 
            parts = ['ancestry-of']
1763
 
            parts.extend(search_result.heads)
1764
 
        else:
1765
 
            recipe = search_result.get_recipe()
1766
 
            parts = [recipe[0], self._serialise_search_recipe(recipe)]
1767
 
        return '\n'.join(parts)
1768
 
 
1769
1205
    def autopack(self):
1770
1206
        path = self.bzrdir._path_for_remote_call(self._client)
1771
1207
        try:
1774
1210
            self._ensure_real()
1775
1211
            self._real_repository._pack_collection.autopack()
1776
1212
            return
1777
 
        self.refresh_data()
 
1213
        if self._real_repository is not None:
 
1214
            # Reset the real repository's cache of pack names.
 
1215
            # XXX: At some point we may be able to skip this and just rely on
 
1216
            # the automatic retry logic to do the right thing, but for now we
 
1217
            # err on the side of being correct rather than being optimal.
 
1218
            self._real_repository._pack_collection.reload_pack_names()
1778
1219
        if response[0] != 'ok':
1779
1220
            raise errors.UnexpectedSmartServerResponse(response)
1780
1221
 
1781
1222
 
1782
 
class RemoteStreamSink(repository.StreamSink):
1783
 
 
1784
 
    def _insert_real(self, stream, src_format, resume_tokens):
1785
 
        self.target_repo._ensure_real()
1786
 
        sink = self.target_repo._real_repository._get_sink()
1787
 
        result = sink.insert_stream(stream, src_format, resume_tokens)
1788
 
        if not result:
1789
 
            self.target_repo.autopack()
1790
 
        return result
1791
 
 
1792
 
    def insert_stream(self, stream, src_format, resume_tokens):
1793
 
        target = self.target_repo
1794
 
        target._unstacked_provider.missing_keys.clear()
1795
 
        candidate_calls = [('Repository.insert_stream_1.19', (1, 19))]
1796
 
        if target._lock_token:
1797
 
            candidate_calls.append(('Repository.insert_stream_locked', (1, 14)))
1798
 
            lock_args = (target._lock_token or '',)
1799
 
        else:
1800
 
            candidate_calls.append(('Repository.insert_stream', (1, 13)))
1801
 
            lock_args = ()
1802
 
        client = target._client
1803
 
        medium = client._medium
1804
 
        path = target.bzrdir._path_for_remote_call(client)
1805
 
        # Probe for the verb to use with an empty stream before sending the
1806
 
        # real stream to it.  We do this both to avoid the risk of sending a
1807
 
        # large request that is then rejected, and because we don't want to
1808
 
        # implement a way to buffer, rewind, or restart the stream.
1809
 
        found_verb = False
1810
 
        for verb, required_version in candidate_calls:
1811
 
            if medium._is_remote_before(required_version):
1812
 
                continue
1813
 
            if resume_tokens:
1814
 
                # We've already done the probing (and set _is_remote_before) on
1815
 
                # a previous insert.
1816
 
                found_verb = True
1817
 
                break
1818
 
            byte_stream = smart_repo._stream_to_byte_stream([], src_format)
1819
 
            try:
1820
 
                response = client.call_with_body_stream(
1821
 
                    (verb, path, '') + lock_args, byte_stream)
1822
 
            except errors.UnknownSmartMethod:
1823
 
                medium._remember_remote_is_before(required_version)
1824
 
            else:
1825
 
                found_verb = True
1826
 
                break
1827
 
        if not found_verb:
1828
 
            # Have to use VFS.
1829
 
            return self._insert_real(stream, src_format, resume_tokens)
1830
 
        self._last_inv_record = None
1831
 
        self._last_substream = None
1832
 
        if required_version < (1, 19):
1833
 
            # Remote side doesn't support inventory deltas.  Wrap the stream to
1834
 
            # make sure we don't send any.  If the stream contains inventory
1835
 
            # deltas we'll interrupt the smart insert_stream request and
1836
 
            # fallback to VFS.
1837
 
            stream = self._stop_stream_if_inventory_delta(stream)
1838
 
        byte_stream = smart_repo._stream_to_byte_stream(
1839
 
            stream, src_format)
1840
 
        resume_tokens = ' '.join(resume_tokens)
1841
 
        response = client.call_with_body_stream(
1842
 
            (verb, path, resume_tokens) + lock_args, byte_stream)
1843
 
        if response[0][0] not in ('ok', 'missing-basis'):
1844
 
            raise errors.UnexpectedSmartServerResponse(response)
1845
 
        if self._last_substream is not None:
1846
 
            # The stream included an inventory-delta record, but the remote
1847
 
            # side isn't new enough to support them.  So we need to send the
1848
 
            # rest of the stream via VFS.
1849
 
            self.target_repo.refresh_data()
1850
 
            return self._resume_stream_with_vfs(response, src_format)
1851
 
        if response[0][0] == 'missing-basis':
1852
 
            tokens, missing_keys = bencode.bdecode_as_tuple(response[0][1])
1853
 
            resume_tokens = tokens
1854
 
            return resume_tokens, set(missing_keys)
1855
 
        else:
1856
 
            self.target_repo.refresh_data()
1857
 
            return [], set()
1858
 
 
1859
 
    def _resume_stream_with_vfs(self, response, src_format):
1860
 
        """Resume sending a stream via VFS, first resending the record and
1861
 
        substream that couldn't be sent via an insert_stream verb.
1862
 
        """
1863
 
        if response[0][0] == 'missing-basis':
1864
 
            tokens, missing_keys = bencode.bdecode_as_tuple(response[0][1])
1865
 
            # Ignore missing_keys, we haven't finished inserting yet
1866
 
        else:
1867
 
            tokens = []
1868
 
        def resume_substream():
1869
 
            # Yield the substream that was interrupted.
1870
 
            for record in self._last_substream:
1871
 
                yield record
1872
 
            self._last_substream = None
1873
 
        def resume_stream():
1874
 
            # Finish sending the interrupted substream
1875
 
            yield ('inventory-deltas', resume_substream())
1876
 
            # Then simply continue sending the rest of the stream.
1877
 
            for substream_kind, substream in self._last_stream:
1878
 
                yield substream_kind, substream
1879
 
        return self._insert_real(resume_stream(), src_format, tokens)
1880
 
 
1881
 
    def _stop_stream_if_inventory_delta(self, stream):
1882
 
        """Normally this just lets the original stream pass-through unchanged.
1883
 
 
1884
 
        However if any 'inventory-deltas' substream occurs it will stop
1885
 
        streaming, and store the interrupted substream and stream in
1886
 
        self._last_substream and self._last_stream so that the stream can be
1887
 
        resumed by _resume_stream_with_vfs.
1888
 
        """
1889
 
                    
1890
 
        stream_iter = iter(stream)
1891
 
        for substream_kind, substream in stream_iter:
1892
 
            if substream_kind == 'inventory-deltas':
1893
 
                self._last_substream = substream
1894
 
                self._last_stream = stream_iter
1895
 
                return
1896
 
            else:
1897
 
                yield substream_kind, substream
1898
 
            
1899
 
 
1900
 
class RemoteStreamSource(repository.StreamSource):
1901
 
    """Stream data from a remote server."""
1902
 
 
1903
 
    def get_stream(self, search):
1904
 
        if (self.from_repository._fallback_repositories and
1905
 
            self.to_format._fetch_order == 'topological'):
1906
 
            return self._real_stream(self.from_repository, search)
1907
 
        sources = []
1908
 
        seen = set()
1909
 
        repos = [self.from_repository]
1910
 
        while repos:
1911
 
            repo = repos.pop(0)
1912
 
            if repo in seen:
1913
 
                continue
1914
 
            seen.add(repo)
1915
 
            repos.extend(repo._fallback_repositories)
1916
 
            sources.append(repo)
1917
 
        return self.missing_parents_chain(search, sources)
1918
 
 
1919
 
    def get_stream_for_missing_keys(self, missing_keys):
1920
 
        self.from_repository._ensure_real()
1921
 
        real_repo = self.from_repository._real_repository
1922
 
        real_source = real_repo._get_source(self.to_format)
1923
 
        return real_source.get_stream_for_missing_keys(missing_keys)
1924
 
 
1925
 
    def _real_stream(self, repo, search):
1926
 
        """Get a stream for search from repo.
1927
 
        
1928
 
        This never called RemoteStreamSource.get_stream, and is a heler
1929
 
        for RemoteStreamSource._get_stream to allow getting a stream 
1930
 
        reliably whether fallback back because of old servers or trying
1931
 
        to stream from a non-RemoteRepository (which the stacked support
1932
 
        code will do).
1933
 
        """
1934
 
        source = repo._get_source(self.to_format)
1935
 
        if isinstance(source, RemoteStreamSource):
1936
 
            repo._ensure_real()
1937
 
            source = repo._real_repository._get_source(self.to_format)
1938
 
        return source.get_stream(search)
1939
 
 
1940
 
    def _get_stream(self, repo, search):
1941
 
        """Core worker to get a stream from repo for search.
1942
 
 
1943
 
        This is used by both get_stream and the stacking support logic. It
1944
 
        deliberately gets a stream for repo which does not need to be
1945
 
        self.from_repository. In the event that repo is not Remote, or
1946
 
        cannot do a smart stream, a fallback is made to the generic
1947
 
        repository._get_stream() interface, via self._real_stream.
1948
 
 
1949
 
        In the event of stacking, streams from _get_stream will not
1950
 
        contain all the data for search - this is normal (see get_stream).
1951
 
 
1952
 
        :param repo: A repository.
1953
 
        :param search: A search.
1954
 
        """
1955
 
        # Fallbacks may be non-smart
1956
 
        if not isinstance(repo, RemoteRepository):
1957
 
            return self._real_stream(repo, search)
1958
 
        client = repo._client
1959
 
        medium = client._medium
1960
 
        path = repo.bzrdir._path_for_remote_call(client)
1961
 
        search_bytes = repo._serialise_search_result(search)
1962
 
        args = (path, self.to_format.network_name())
1963
 
        candidate_verbs = [
1964
 
            ('Repository.get_stream_1.19', (1, 19)),
1965
 
            ('Repository.get_stream', (1, 13))]
1966
 
        found_verb = False
1967
 
        for verb, version in candidate_verbs:
1968
 
            if medium._is_remote_before(version):
1969
 
                continue
1970
 
            try:
1971
 
                response = repo._call_with_body_bytes_expecting_body(
1972
 
                    verb, args, search_bytes)
1973
 
            except errors.UnknownSmartMethod:
1974
 
                medium._remember_remote_is_before(version)
1975
 
            else:
1976
 
                response_tuple, response_handler = response
1977
 
                found_verb = True
1978
 
                break
1979
 
        if not found_verb:
1980
 
            return self._real_stream(repo, search)
1981
 
        if response_tuple[0] != 'ok':
1982
 
            raise errors.UnexpectedSmartServerResponse(response_tuple)
1983
 
        byte_stream = response_handler.read_streamed_body()
1984
 
        src_format, stream = smart_repo._byte_stream_to_stream(byte_stream,
1985
 
            self._record_counter)
1986
 
        if src_format.network_name() != repo._format.network_name():
1987
 
            raise AssertionError(
1988
 
                "Mismatched RemoteRepository and stream src %r, %r" % (
1989
 
                src_format.network_name(), repo._format.network_name()))
1990
 
        return stream
1991
 
 
1992
 
    def missing_parents_chain(self, search, sources):
1993
 
        """Chain multiple streams together to handle stacking.
1994
 
 
1995
 
        :param search: The overall search to satisfy with streams.
1996
 
        :param sources: A list of Repository objects to query.
1997
 
        """
1998
 
        self.from_serialiser = self.from_repository._format._serializer
1999
 
        self.seen_revs = set()
2000
 
        self.referenced_revs = set()
2001
 
        # If there are heads in the search, or the key count is > 0, we are not
2002
 
        # done.
2003
 
        while not search.is_empty() and len(sources) > 1:
2004
 
            source = sources.pop(0)
2005
 
            stream = self._get_stream(source, search)
2006
 
            for kind, substream in stream:
2007
 
                if kind != 'revisions':
2008
 
                    yield kind, substream
2009
 
                else:
2010
 
                    yield kind, self.missing_parents_rev_handler(substream)
2011
 
            search = search.refine(self.seen_revs, self.referenced_revs)
2012
 
            self.seen_revs = set()
2013
 
            self.referenced_revs = set()
2014
 
        if not search.is_empty():
2015
 
            for kind, stream in self._get_stream(sources[0], search):
2016
 
                yield kind, stream
2017
 
 
2018
 
    def missing_parents_rev_handler(self, substream):
2019
 
        for content in substream:
2020
 
            revision_bytes = content.get_bytes_as('fulltext')
2021
 
            revision = self.from_serialiser.read_revision_from_string(
2022
 
                revision_bytes)
2023
 
            self.seen_revs.add(content.key[-1])
2024
 
            self.referenced_revs.update(revision.parent_ids)
2025
 
            yield content
2026
 
 
2027
 
 
2028
1223
class RemoteBranchLockableFiles(LockableFiles):
2029
1224
    """A 'LockableFiles' implementation that talks to a smart server.
2030
 
 
 
1225
    
2031
1226
    This is not a public interface class.
2032
1227
    """
2033
1228
 
2047
1242
 
2048
1243
class RemoteBranchFormat(branch.BranchFormat):
2049
1244
 
2050
 
    def __init__(self, network_name=None):
 
1245
    def __init__(self):
2051
1246
        super(RemoteBranchFormat, self).__init__()
2052
1247
        self._matchingbzrdir = RemoteBzrDirFormat()
2053
1248
        self._matchingbzrdir.set_branch_format(self)
2054
 
        self._custom_format = None
2055
 
        self._network_name = network_name
2056
1249
 
2057
1250
    def __eq__(self, other):
2058
 
        return (isinstance(other, RemoteBranchFormat) and
 
1251
        return (isinstance(other, RemoteBranchFormat) and 
2059
1252
            self.__dict__ == other.__dict__)
2060
1253
 
2061
 
    def _ensure_real(self):
2062
 
        if self._custom_format is None:
2063
 
            self._custom_format = branch.network_format_registry.get(
2064
 
                self._network_name)
2065
 
 
2066
1254
    def get_format_description(self):
2067
 
        self._ensure_real()
2068
 
        return 'Remote: ' + self._custom_format.get_format_description()
2069
 
 
2070
 
    def network_name(self):
2071
 
        return self._network_name
2072
 
 
2073
 
    def open(self, a_bzrdir, name=None, ignore_fallbacks=False):
2074
 
        return a_bzrdir.open_branch(name=name, 
2075
 
            ignore_fallbacks=ignore_fallbacks)
2076
 
 
2077
 
    def _vfs_initialize(self, a_bzrdir, name):
2078
 
        # Initialisation when using a local bzrdir object, or a non-vfs init
2079
 
        # method is not available on the server.
2080
 
        # self._custom_format is always set - the start of initialize ensures
2081
 
        # that.
2082
 
        if isinstance(a_bzrdir, RemoteBzrDir):
2083
 
            a_bzrdir._ensure_real()
2084
 
            result = self._custom_format.initialize(a_bzrdir._real_bzrdir,
2085
 
                name)
2086
 
        else:
2087
 
            # We assume the bzrdir is parameterised; it may not be.
2088
 
            result = self._custom_format.initialize(a_bzrdir, name)
2089
 
        if (isinstance(a_bzrdir, RemoteBzrDir) and
2090
 
            not isinstance(result, RemoteBranch)):
2091
 
            result = RemoteBranch(a_bzrdir, a_bzrdir.find_repository(), result,
2092
 
                                  name=name)
2093
 
        return result
2094
 
 
2095
 
    def initialize(self, a_bzrdir, name=None):
2096
 
        # 1) get the network name to use.
2097
 
        if self._custom_format:
2098
 
            network_name = self._custom_format.network_name()
2099
 
        else:
2100
 
            # Select the current bzrlib default and ask for that.
2101
 
            reference_bzrdir_format = bzrdir.format_registry.get('default')()
2102
 
            reference_format = reference_bzrdir_format.get_branch_format()
2103
 
            self._custom_format = reference_format
2104
 
            network_name = reference_format.network_name()
2105
 
        # Being asked to create on a non RemoteBzrDir:
2106
 
        if not isinstance(a_bzrdir, RemoteBzrDir):
2107
 
            return self._vfs_initialize(a_bzrdir, name=name)
2108
 
        medium = a_bzrdir._client._medium
2109
 
        if medium._is_remote_before((1, 13)):
2110
 
            return self._vfs_initialize(a_bzrdir, name=name)
2111
 
        # Creating on a remote bzr dir.
2112
 
        # 2) try direct creation via RPC
2113
 
        path = a_bzrdir._path_for_remote_call(a_bzrdir._client)
2114
 
        if name is not None:
2115
 
            # XXX JRV20100304: Support creating colocated branches
2116
 
            raise errors.NoColocatedBranchSupport(self)
2117
 
        verb = 'BzrDir.create_branch'
2118
 
        try:
2119
 
            response = a_bzrdir._call(verb, path, network_name)
2120
 
        except errors.UnknownSmartMethod:
2121
 
            # Fallback - use vfs methods
2122
 
            medium._remember_remote_is_before((1, 13))
2123
 
            return self._vfs_initialize(a_bzrdir, name=name)
2124
 
        if response[0] != 'ok':
2125
 
            raise errors.UnexpectedSmartServerResponse(response)
2126
 
        # Turn the response into a RemoteRepository object.
2127
 
        format = RemoteBranchFormat(network_name=response[1])
2128
 
        repo_format = response_tuple_to_repo_format(response[3:])
2129
 
        if response[2] == '':
2130
 
            repo_bzrdir = a_bzrdir
2131
 
        else:
2132
 
            repo_bzrdir = RemoteBzrDir(
2133
 
                a_bzrdir.root_transport.clone(response[2]), a_bzrdir._format,
2134
 
                a_bzrdir._client)
2135
 
        remote_repo = RemoteRepository(repo_bzrdir, repo_format)
2136
 
        remote_branch = RemoteBranch(a_bzrdir, remote_repo,
2137
 
            format=format, setup_stacking=False, name=name)
2138
 
        # XXX: We know this is a new branch, so it must have revno 0, revid
2139
 
        # NULL_REVISION. Creating the branch locked would make this be unable
2140
 
        # to be wrong; here its simply very unlikely to be wrong. RBC 20090225
2141
 
        remote_branch._last_revision_info_cache = 0, NULL_REVISION
2142
 
        return remote_branch
2143
 
 
2144
 
    def make_tags(self, branch):
2145
 
        self._ensure_real()
2146
 
        return self._custom_format.make_tags(branch)
 
1255
        return 'Remote BZR Branch'
 
1256
 
 
1257
    def get_format_string(self):
 
1258
        return 'Remote BZR Branch'
 
1259
 
 
1260
    def open(self, a_bzrdir):
 
1261
        return a_bzrdir.open_branch()
 
1262
 
 
1263
    def initialize(self, a_bzrdir):
 
1264
        return a_bzrdir.create_branch()
2147
1265
 
2148
1266
    def supports_tags(self):
2149
1267
        # Remote branches might support tags, but we won't know until we
2150
1268
        # access the real remote branch.
2151
 
        self._ensure_real()
2152
 
        return self._custom_format.supports_tags()
2153
 
 
2154
 
    def supports_stacking(self):
2155
 
        self._ensure_real()
2156
 
        return self._custom_format.supports_stacking()
2157
 
 
2158
 
    def supports_set_append_revisions_only(self):
2159
 
        self._ensure_real()
2160
 
        return self._custom_format.supports_set_append_revisions_only()
2161
 
 
2162
 
 
2163
 
class RemoteBranch(branch.Branch, _RpcHelper, lock._RelockDebugMixin):
 
1269
        return True
 
1270
 
 
1271
 
 
1272
class RemoteBranch(branch.Branch, _RpcHelper):
2164
1273
    """Branch stored on a server accessed by HPSS RPC.
2165
1274
 
2166
1275
    At the moment most operations are mapped down to simple file operations.
2167
1276
    """
2168
1277
 
2169
1278
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
2170
 
        _client=None, format=None, setup_stacking=True, name=None):
 
1279
        _client=None):
2171
1280
        """Create a RemoteBranch instance.
2172
1281
 
2173
1282
        :param real_branch: An optional local implementation of the branch
2174
1283
            format, usually accessing the data via the VFS.
2175
1284
        :param _client: Private parameter for testing.
2176
 
        :param format: A RemoteBranchFormat object, None to create one
2177
 
            automatically. If supplied it should have a network_name already
2178
 
            supplied.
2179
 
        :param setup_stacking: If True make an RPC call to determine the
2180
 
            stacked (or not) status of the branch. If False assume the branch
2181
 
            is not stacked.
2182
 
        :param name: Colocated branch name
2183
1285
        """
2184
1286
        # We intentionally don't call the parent class's __init__, because it
2185
1287
        # will try to assign to self.tags, which is a property in this subclass.
2186
1288
        # And the parent's __init__ doesn't do much anyway.
 
1289
        self._revision_id_to_revno_cache = None
 
1290
        self._partial_revision_id_to_revno_cache = {}
 
1291
        self._revision_history_cache = None
 
1292
        self._last_revision_info_cache = None
 
1293
        self._merge_sorted_revisions_cache = None
2187
1294
        self.bzrdir = remote_bzrdir
2188
1295
        if _client is not None:
2189
1296
            self._client = _client
2202
1309
            self._real_branch.repository = self.repository
2203
1310
        else:
2204
1311
            self._real_branch = None
2205
 
        # Fill out expected attributes of branch for bzrlib API users.
2206
 
        self._clear_cached_state()
2207
 
        # TODO: deprecate self.base in favor of user_url
2208
 
        self.base = self.bzrdir.user_url
2209
 
        self._name = name
 
1312
        # Fill out expected attributes of branch for bzrlib api users.
 
1313
        self._format = RemoteBranchFormat()
 
1314
        self.base = self.bzrdir.root_transport.base
2210
1315
        self._control_files = None
2211
1316
        self._lock_mode = None
2212
1317
        self._lock_token = None
2213
1318
        self._repo_lock_token = None
2214
1319
        self._lock_count = 0
2215
1320
        self._leave_lock = False
2216
 
        # Setup a format: note that we cannot call _ensure_real until all the
2217
 
        # attributes above are set: This code cannot be moved higher up in this
2218
 
        # function.
2219
 
        if format is None:
2220
 
            self._format = RemoteBranchFormat()
2221
 
            if real_branch is not None:
2222
 
                self._format._network_name = \
2223
 
                    self._real_branch._format.network_name()
2224
 
        else:
2225
 
            self._format = format
2226
 
        # when we do _ensure_real we may need to pass ignore_fallbacks to the
2227
 
        # branch.open_branch method.
2228
 
        self._real_ignore_fallbacks = not setup_stacking
2229
 
        if not self._format._network_name:
2230
 
            # Did not get from open_branchV2 - old server.
2231
 
            self._ensure_real()
2232
 
            self._format._network_name = \
2233
 
                self._real_branch._format.network_name()
2234
 
        self.tags = self._format.make_tags(self)
2235
1321
        # The base class init is not called, so we duplicate this:
2236
1322
        hooks = branch.Branch.hooks['open']
2237
1323
        for hook in hooks:
2238
1324
            hook(self)
2239
 
        self._is_stacked = False
2240
 
        if setup_stacking:
2241
 
            self._setup_stacking()
 
1325
        self._setup_stacking()
2242
1326
 
2243
1327
    def _setup_stacking(self):
2244
1328
        # configure stacking into the remote repository, by reading it from
2248
1332
        except (errors.NotStacked, errors.UnstackableBranchFormat,
2249
1333
            errors.UnstackableRepositoryFormat), e:
2250
1334
            return
2251
 
        self._is_stacked = True
2252
 
        self._activate_fallback_location(fallback_url)
2253
 
 
2254
 
    def _get_config(self):
2255
 
        return RemoteBranchConfig(self)
 
1335
        # it's relative to this branch...
 
1336
        fallback_url = urlutils.join(self.base, fallback_url)
 
1337
        transports = [self.bzrdir.root_transport]
 
1338
        if self._real_branch is not None:
 
1339
            transports.append(self._real_branch._transport)
 
1340
        stacked_on = branch.Branch.open(fallback_url,
 
1341
                                        possible_transports=transports)
 
1342
        self.repository.add_fallback_repository(stacked_on.repository)
2256
1343
 
2257
1344
    def _get_real_transport(self):
2258
1345
        # if we try vfs access, return the real branch's vfs transport
2276
1363
                raise AssertionError('smart server vfs must be enabled '
2277
1364
                    'to use vfs implementation')
2278
1365
            self.bzrdir._ensure_real()
2279
 
            self._real_branch = self.bzrdir._real_bzrdir.open_branch(
2280
 
                ignore_fallbacks=self._real_ignore_fallbacks, name=self._name)
 
1366
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
2281
1367
            if self.repository._real_repository is None:
2282
1368
                # Give the remote repository the matching real repo.
2283
1369
                real_repo = self._real_branch.repository
2312
1398
        too, in fact doing so might harm performance.
2313
1399
        """
2314
1400
        super(RemoteBranch, self)._clear_cached_state()
2315
 
 
 
1401
        
2316
1402
    @property
2317
1403
    def control_files(self):
2318
1404
        # Defer actually creating RemoteBranchLockableFiles until its needed,
2357
1443
            raise errors.UnexpectedSmartServerResponse(response)
2358
1444
        return response[1]
2359
1445
 
2360
 
    def set_stacked_on_url(self, url):
2361
 
        branch.Branch.set_stacked_on_url(self, url)
2362
 
        if not url:
2363
 
            self._is_stacked = False
2364
 
        else:
2365
 
            self._is_stacked = True
2366
 
        
2367
 
    def _vfs_get_tags_bytes(self):
2368
 
        self._ensure_real()
2369
 
        return self._real_branch._get_tags_bytes()
2370
 
 
2371
 
    def _get_tags_bytes(self):
2372
 
        medium = self._client._medium
2373
 
        if medium._is_remote_before((1, 13)):
2374
 
            return self._vfs_get_tags_bytes()
2375
 
        try:
2376
 
            response = self._call('Branch.get_tags_bytes', self._remote_path())
2377
 
        except errors.UnknownSmartMethod:
2378
 
            medium._remember_remote_is_before((1, 13))
2379
 
            return self._vfs_get_tags_bytes()
2380
 
        return response[0]
2381
 
 
2382
 
    def _vfs_set_tags_bytes(self, bytes):
2383
 
        self._ensure_real()
2384
 
        return self._real_branch._set_tags_bytes(bytes)
2385
 
 
2386
 
    def _set_tags_bytes(self, bytes):
2387
 
        medium = self._client._medium
2388
 
        if medium._is_remote_before((1, 18)):
2389
 
            self._vfs_set_tags_bytes(bytes)
2390
 
            return
2391
 
        try:
2392
 
            args = (
2393
 
                self._remote_path(), self._lock_token, self._repo_lock_token)
2394
 
            response = self._call_with_body_bytes(
2395
 
                'Branch.set_tags_bytes', args, bytes)
2396
 
        except errors.UnknownSmartMethod:
2397
 
            medium._remember_remote_is_before((1, 18))
2398
 
            self._vfs_set_tags_bytes(bytes)
2399
 
 
2400
1446
    def lock_read(self):
2401
 
        """Lock the branch for read operations.
2402
 
 
2403
 
        :return: A bzrlib.lock.LogicalLockResult.
2404
 
        """
2405
1447
        self.repository.lock_read()
2406
1448
        if not self._lock_mode:
2407
 
            self._note_lock('r')
2408
1449
            self._lock_mode = 'r'
2409
1450
            self._lock_count = 1
2410
1451
            if self._real_branch is not None:
2411
1452
                self._real_branch.lock_read()
2412
1453
        else:
2413
1454
            self._lock_count += 1
2414
 
        return lock.LogicalLockResult(self.unlock)
2415
1455
 
2416
1456
    def _remote_lock_write(self, token):
2417
1457
        if token is None:
2418
1458
            branch_token = repo_token = ''
2419
1459
        else:
2420
1460
            branch_token = token
2421
 
            repo_token = self.repository.lock_write().repository_token
 
1461
            repo_token = self.repository.lock_write()
2422
1462
            self.repository.unlock()
2423
1463
        err_context = {'token': token}
2424
 
        try:
2425
 
            response = self._call(
2426
 
                'Branch.lock_write', self._remote_path(), branch_token,
2427
 
                repo_token or '', **err_context)
2428
 
        except errors.LockContention, e:
2429
 
            # The LockContention from the server doesn't have any
2430
 
            # information about the lock_url. We re-raise LockContention
2431
 
            # with valid lock_url.
2432
 
            raise errors.LockContention('(remote lock)',
2433
 
                self.repository.base.split('.bzr/')[0])
 
1464
        response = self._call(
 
1465
            'Branch.lock_write', self._remote_path(), branch_token,
 
1466
            repo_token or '', **err_context)
2434
1467
        if response[0] != 'ok':
2435
1468
            raise errors.UnexpectedSmartServerResponse(response)
2436
1469
        ok, branch_token, repo_token = response
2437
1470
        return branch_token, repo_token
2438
 
 
 
1471
            
2439
1472
    def lock_write(self, token=None):
2440
1473
        if not self._lock_mode:
2441
 
            self._note_lock('w')
2442
1474
            # Lock the branch and repo in one remote call.
2443
1475
            remote_tokens = self._remote_lock_write(token)
2444
1476
            self._lock_token, self._repo_lock_token = remote_tokens
2457
1489
            self._lock_mode = 'w'
2458
1490
            self._lock_count = 1
2459
1491
        elif self._lock_mode == 'r':
2460
 
            raise errors.ReadOnlyError(self)
 
1492
            raise errors.ReadOnlyTransaction
2461
1493
        else:
2462
1494
            if token is not None:
2463
1495
                # A token was given to lock_write, and we're relocking, so
2468
1500
            self._lock_count += 1
2469
1501
            # Re-lock the repository too.
2470
1502
            self.repository.lock_write(self._repo_lock_token)
2471
 
        return BranchWriteLockResult(self.unlock, self._lock_token or None)
 
1503
        return self._lock_token or None
2472
1504
 
2473
1505
    def _unlock(self, branch_token, repo_token):
2474
1506
        err_context = {'token': str((branch_token, repo_token))}
2479
1511
            return
2480
1512
        raise errors.UnexpectedSmartServerResponse(response)
2481
1513
 
2482
 
    @only_raises(errors.LockNotHeld, errors.LockBroken)
2483
1514
    def unlock(self):
2484
1515
        try:
2485
1516
            self._lock_count -= 1
2498
1529
                    self._real_branch.unlock()
2499
1530
                if mode != 'w':
2500
1531
                    # Only write-locked branched need to make a remote method
2501
 
                    # call to perform the unlock.
 
1532
                    # call to perfom the unlock.
2502
1533
                    return
2503
1534
                if not self._lock_token:
2504
1535
                    raise AssertionError('Locked, but no token!')
2525
1556
            raise NotImplementedError(self.dont_leave_lock_in_place)
2526
1557
        self._leave_lock = False
2527
1558
 
2528
 
    @needs_read_lock
2529
 
    def get_rev_id(self, revno, history=None):
2530
 
        if revno == 0:
2531
 
            return _mod_revision.NULL_REVISION
2532
 
        last_revision_info = self.last_revision_info()
2533
 
        ok, result = self.repository.get_rev_id_for_revno(
2534
 
            revno, last_revision_info)
2535
 
        if ok:
2536
 
            return result
2537
 
        missing_parent = result[1]
2538
 
        # Either the revision named by the server is missing, or its parent
2539
 
        # is.  Call get_parent_map to determine which, so that we report a
2540
 
        # useful error.
2541
 
        parent_map = self.repository.get_parent_map([missing_parent])
2542
 
        if missing_parent in parent_map:
2543
 
            missing_parent = parent_map[missing_parent]
2544
 
        raise errors.RevisionNotPresent(missing_parent, self.repository)
2545
 
 
2546
1559
    def _last_revision_info(self):
2547
1560
        response = self._call('Branch.last_revision_info', self._remote_path())
2548
1561
        if response[0] != 'ok':
2553
1566
 
2554
1567
    def _gen_revision_history(self):
2555
1568
        """See Branch._gen_revision_history()."""
2556
 
        if self._is_stacked:
2557
 
            self._ensure_real()
2558
 
            return self._real_branch._gen_revision_history()
2559
1569
        response_tuple, response_handler = self._call_expecting_body(
2560
1570
            'Branch.revision_history', self._remote_path())
2561
1571
        if response_tuple[0] != 'ok':
2570
1580
 
2571
1581
    def _set_last_revision_descendant(self, revision_id, other_branch,
2572
1582
            allow_diverged=False, allow_overwrite_descendant=False):
2573
 
        # This performs additional work to meet the hook contract; while its
2574
 
        # undesirable, we have to synthesise the revno to call the hook, and
2575
 
        # not calling the hook is worse as it means changes can't be prevented.
2576
 
        # Having calculated this though, we can't just call into
2577
 
        # set_last_revision_info as a simple call, because there is a set_rh
2578
 
        # hook that some folk may still be using.
2579
 
        old_revno, old_revid = self.last_revision_info()
2580
 
        history = self._lefthand_history(revision_id)
2581
 
        self._run_pre_change_branch_tip_hooks(len(history), revision_id)
2582
1583
        err_context = {'other_branch': other_branch}
2583
1584
        response = self._call('Branch.set_last_revision_ex',
2584
1585
            self._remote_path(), self._lock_token, self._repo_lock_token,
2589
1590
            raise errors.UnexpectedSmartServerResponse(response)
2590
1591
        new_revno, new_revision_id = response[1:]
2591
1592
        self._last_revision_info_cache = new_revno, new_revision_id
2592
 
        self._run_post_change_branch_tip_hooks(old_revno, old_revid)
2593
1593
        if self._real_branch is not None:
2594
1594
            cache = new_revno, new_revision_id
2595
1595
            self._real_branch._last_revision_info_cache = cache
2596
1596
 
2597
1597
    def _set_last_revision(self, revision_id):
2598
 
        old_revno, old_revid = self.last_revision_info()
2599
 
        # This performs additional work to meet the hook contract; while its
2600
 
        # undesirable, we have to synthesise the revno to call the hook, and
2601
 
        # not calling the hook is worse as it means changes can't be prevented.
2602
 
        # Having calculated this though, we can't just call into
2603
 
        # set_last_revision_info as a simple call, because there is a set_rh
2604
 
        # hook that some folk may still be using.
2605
 
        history = self._lefthand_history(revision_id)
2606
 
        self._run_pre_change_branch_tip_hooks(len(history), revision_id)
2607
1598
        self._clear_cached_state()
2608
1599
        response = self._call('Branch.set_last_revision',
2609
1600
            self._remote_path(), self._lock_token, self._repo_lock_token,
2610
1601
            revision_id)
2611
1602
        if response != ('ok',):
2612
1603
            raise errors.UnexpectedSmartServerResponse(response)
2613
 
        self._run_post_change_branch_tip_hooks(old_revno, old_revid)
2614
1604
 
2615
1605
    @needs_write_lock
2616
1606
    def set_revision_history(self, rev_history):
2622
1612
        else:
2623
1613
            rev_id = rev_history[-1]
2624
1614
        self._set_last_revision(rev_id)
2625
 
        for hook in branch.Branch.hooks['set_rh']:
2626
 
            hook(self, rev_history)
2627
1615
        self._cache_revision_history(rev_history)
2628
1616
 
2629
 
    def _get_parent_location(self):
2630
 
        medium = self._client._medium
2631
 
        if medium._is_remote_before((1, 13)):
2632
 
            return self._vfs_get_parent_location()
2633
 
        try:
2634
 
            response = self._call('Branch.get_parent', self._remote_path())
2635
 
        except errors.UnknownSmartMethod:
2636
 
            medium._remember_remote_is_before((1, 13))
2637
 
            return self._vfs_get_parent_location()
2638
 
        if len(response) != 1:
2639
 
            raise errors.UnexpectedSmartServerResponse(response)
2640
 
        parent_location = response[0]
2641
 
        if parent_location == '':
2642
 
            return None
2643
 
        return parent_location
2644
 
 
2645
 
    def _vfs_get_parent_location(self):
2646
 
        self._ensure_real()
2647
 
        return self._real_branch._get_parent_location()
2648
 
 
2649
 
    def _set_parent_location(self, url):
2650
 
        medium = self._client._medium
2651
 
        if medium._is_remote_before((1, 15)):
2652
 
            return self._vfs_set_parent_location(url)
2653
 
        try:
2654
 
            call_url = url or ''
2655
 
            if type(call_url) is not str:
2656
 
                raise AssertionError('url must be a str or None (%s)' % url)
2657
 
            response = self._call('Branch.set_parent_location',
2658
 
                self._remote_path(), self._lock_token, self._repo_lock_token,
2659
 
                call_url)
2660
 
        except errors.UnknownSmartMethod:
2661
 
            medium._remember_remote_is_before((1, 15))
2662
 
            return self._vfs_set_parent_location(url)
2663
 
        if response != ():
2664
 
            raise errors.UnexpectedSmartServerResponse(response)
2665
 
 
2666
 
    def _vfs_set_parent_location(self, url):
2667
 
        self._ensure_real()
2668
 
        return self._real_branch._set_parent_location(url)
 
1617
    def get_parent(self):
 
1618
        self._ensure_real()
 
1619
        return self._real_branch.get_parent()
 
1620
        
 
1621
    def set_parent(self, url):
 
1622
        self._ensure_real()
 
1623
        return self._real_branch.set_parent(url)
 
1624
        
 
1625
    def set_stacked_on_url(self, stacked_location):
 
1626
        """Set the URL this branch is stacked against.
 
1627
 
 
1628
        :raises UnstackableBranchFormat: If the branch does not support
 
1629
            stacking.
 
1630
        :raises UnstackableRepositoryFormat: If the repository does not support
 
1631
            stacking.
 
1632
        """
 
1633
        self._ensure_real()
 
1634
        return self._real_branch.set_stacked_on_url(stacked_location)
 
1635
 
 
1636
    def sprout(self, to_bzrdir, revision_id=None):
 
1637
        branch_format = to_bzrdir._format._branch_format
 
1638
        if (branch_format is None or
 
1639
            isinstance(branch_format, RemoteBranchFormat)):
 
1640
            # The to_bzrdir specifies RemoteBranchFormat (or no format, which
 
1641
            # implies the same thing), but RemoteBranches can't be created at
 
1642
            # arbitrary URLs.  So create a branch in the same format as
 
1643
            # _real_branch instead.
 
1644
            # XXX: if to_bzrdir is a RemoteBzrDir, this should perhaps do
 
1645
            # to_bzrdir.create_branch to create a RemoteBranch after all...
 
1646
            self._ensure_real()
 
1647
            result = self._real_branch._format.initialize(to_bzrdir)
 
1648
            self.copy_content_into(result, revision_id=revision_id)
 
1649
            result.set_parent(self.bzrdir.root_transport.base)
 
1650
        else:
 
1651
            result = branch.Branch.sprout(
 
1652
                self, to_bzrdir, revision_id=revision_id)
 
1653
        return result
2669
1654
 
2670
1655
    @needs_write_lock
2671
1656
    def pull(self, source, overwrite=False, stop_revision=None,
2693
1678
 
2694
1679
    @needs_write_lock
2695
1680
    def set_last_revision_info(self, revno, revision_id):
2696
 
        # XXX: These should be returned by the set_last_revision_info verb
2697
 
        old_revno, old_revid = self.last_revision_info()
2698
 
        self._run_pre_change_branch_tip_hooks(revno, revision_id)
2699
1681
        revision_id = ensure_null(revision_id)
2700
1682
        try:
2701
1683
            response = self._call('Branch.set_last_revision_info',
2710
1692
        if response == ('ok',):
2711
1693
            self._clear_cached_state()
2712
1694
            self._last_revision_info_cache = revno, revision_id
2713
 
            self._run_post_change_branch_tip_hooks(old_revno, old_revid)
2714
1695
            # Update the _real_branch's cache too.
2715
1696
            if self._real_branch is not None:
2716
1697
                cache = self._last_revision_info_cache
2723
1704
                                  other_branch=None):
2724
1705
        medium = self._client._medium
2725
1706
        if not medium._is_remote_before((1, 6)):
2726
 
            # Use a smart method for 1.6 and above servers
2727
1707
            try:
2728
1708
                self._set_last_revision_descendant(revision_id, other_branch,
2729
1709
                    allow_diverged=True, allow_overwrite_descendant=True)
2731
1711
            except errors.UnknownSmartMethod:
2732
1712
                medium._remember_remote_is_before((1, 6))
2733
1713
        self._clear_cached_state_of_remote_branch_only()
2734
 
        self.set_revision_history(self._lefthand_history(revision_id,
2735
 
            last_rev=last_rev,other_branch=other_branch))
 
1714
        self._ensure_real()
 
1715
        self._real_branch.generate_revision_history(
 
1716
            revision_id, last_rev=last_rev, other_branch=other_branch)
 
1717
 
 
1718
    @property
 
1719
    def tags(self):
 
1720
        self._ensure_real()
 
1721
        return self._real_branch.tags
2736
1722
 
2737
1723
    def set_push_location(self, location):
2738
1724
        self._ensure_real()
2739
1725
        return self._real_branch.set_push_location(location)
2740
1726
 
2741
 
 
2742
 
class RemoteConfig(object):
2743
 
    """A Config that reads and writes from smart verbs.
2744
 
 
2745
 
    It is a low-level object that considers config data to be name/value pairs
2746
 
    that may be associated with a section. Assigning meaning to the these
2747
 
    values is done at higher levels like bzrlib.config.TreeConfig.
2748
 
    """
2749
 
 
2750
 
    def get_option(self, name, section=None, default=None):
2751
 
        """Return the value associated with a named option.
2752
 
 
2753
 
        :param name: The name of the value
2754
 
        :param section: The section the option is in (if any)
2755
 
        :param default: The value to return if the value is not set
2756
 
        :return: The value or default value
2757
 
        """
 
1727
    @needs_write_lock
 
1728
    def update_revisions(self, other, stop_revision=None, overwrite=False,
 
1729
                         graph=None):
 
1730
        """See Branch.update_revisions."""
 
1731
        other.lock_read()
2758
1732
        try:
2759
 
            configobj = self._get_configobj()
2760
 
            if section is None:
2761
 
                section_obj = configobj
 
1733
            if stop_revision is None:
 
1734
                stop_revision = other.last_revision()
 
1735
                if revision.is_null(stop_revision):
 
1736
                    # if there are no commits, we're done.
 
1737
                    return
 
1738
            self.fetch(other, stop_revision)
 
1739
 
 
1740
            if overwrite:
 
1741
                # Just unconditionally set the new revision.  We don't care if
 
1742
                # the branches have diverged.
 
1743
                self._set_last_revision(stop_revision)
2762
1744
            else:
2763
 
                try:
2764
 
                    section_obj = configobj[section]
2765
 
                except KeyError:
2766
 
                    return default
2767
 
            return section_obj.get(name, default)
2768
 
        except errors.UnknownSmartMethod:
2769
 
            return self._vfs_get_option(name, section, default)
2770
 
 
2771
 
    def _response_to_configobj(self, response):
2772
 
        if len(response[0]) and response[0][0] != 'ok':
2773
 
            raise errors.UnexpectedSmartServerResponse(response)
2774
 
        lines = response[1].read_body_bytes().splitlines()
2775
 
        return config.ConfigObj(lines, encoding='utf-8')
2776
 
 
2777
 
 
2778
 
class RemoteBranchConfig(RemoteConfig):
2779
 
    """A RemoteConfig for Branches."""
2780
 
 
2781
 
    def __init__(self, branch):
2782
 
        self._branch = branch
2783
 
 
2784
 
    def _get_configobj(self):
2785
 
        path = self._branch._remote_path()
2786
 
        response = self._branch._client.call_expecting_body(
2787
 
            'Branch.get_config_file', path)
2788
 
        return self._response_to_configobj(response)
2789
 
 
2790
 
    def set_option(self, value, name, section=None):
2791
 
        """Set the value associated with a named option.
2792
 
 
2793
 
        :param value: The value to set
2794
 
        :param name: The name of the value to set
2795
 
        :param section: The section the option is in (if any)
2796
 
        """
2797
 
        medium = self._branch._client._medium
2798
 
        if medium._is_remote_before((1, 14)):
2799
 
            return self._vfs_set_option(value, name, section)
2800
 
        if isinstance(value, dict):
2801
 
            if medium._is_remote_before((2, 2)):
2802
 
                return self._vfs_set_option(value, name, section)
2803
 
            return self._set_config_option_dict(value, name, section)
2804
 
        else:
2805
 
            return self._set_config_option(value, name, section)
2806
 
 
2807
 
    def _set_config_option(self, value, name, section):
2808
 
        try:
2809
 
            path = self._branch._remote_path()
2810
 
            response = self._branch._client.call('Branch.set_config_option',
2811
 
                path, self._branch._lock_token, self._branch._repo_lock_token,
2812
 
                value.encode('utf8'), name, section or '')
2813
 
        except errors.UnknownSmartMethod:
2814
 
            medium = self._branch._client._medium
2815
 
            medium._remember_remote_is_before((1, 14))
2816
 
            return self._vfs_set_option(value, name, section)
2817
 
        if response != ():
2818
 
            raise errors.UnexpectedSmartServerResponse(response)
2819
 
 
2820
 
    def _serialize_option_dict(self, option_dict):
2821
 
        utf8_dict = {}
2822
 
        for key, value in option_dict.items():
2823
 
            if isinstance(key, unicode):
2824
 
                key = key.encode('utf8')
2825
 
            if isinstance(value, unicode):
2826
 
                value = value.encode('utf8')
2827
 
            utf8_dict[key] = value
2828
 
        return bencode.bencode(utf8_dict)
2829
 
 
2830
 
    def _set_config_option_dict(self, value, name, section):
2831
 
        try:
2832
 
            path = self._branch._remote_path()
2833
 
            serialised_dict = self._serialize_option_dict(value)
2834
 
            response = self._branch._client.call(
2835
 
                'Branch.set_config_option_dict',
2836
 
                path, self._branch._lock_token, self._branch._repo_lock_token,
2837
 
                serialised_dict, name, section or '')
2838
 
        except errors.UnknownSmartMethod:
2839
 
            medium = self._branch._client._medium
2840
 
            medium._remember_remote_is_before((2, 2))
2841
 
            return self._vfs_set_option(value, name, section)
2842
 
        if response != ():
2843
 
            raise errors.UnexpectedSmartServerResponse(response)
2844
 
 
2845
 
    def _real_object(self):
2846
 
        self._branch._ensure_real()
2847
 
        return self._branch._real_branch
2848
 
 
2849
 
    def _vfs_set_option(self, value, name, section=None):
2850
 
        return self._real_object()._get_config().set_option(
2851
 
            value, name, section)
2852
 
 
2853
 
 
2854
 
class RemoteBzrDirConfig(RemoteConfig):
2855
 
    """A RemoteConfig for BzrDirs."""
2856
 
 
2857
 
    def __init__(self, bzrdir):
2858
 
        self._bzrdir = bzrdir
2859
 
 
2860
 
    def _get_configobj(self):
2861
 
        medium = self._bzrdir._client._medium
2862
 
        verb = 'BzrDir.get_config_file'
2863
 
        if medium._is_remote_before((1, 15)):
2864
 
            raise errors.UnknownSmartMethod(verb)
2865
 
        path = self._bzrdir._path_for_remote_call(self._bzrdir._client)
2866
 
        response = self._bzrdir._call_expecting_body(
2867
 
            verb, path)
2868
 
        return self._response_to_configobj(response)
2869
 
 
2870
 
    def _vfs_get_option(self, name, section, default):
2871
 
        return self._real_object()._get_config().get_option(
2872
 
            name, section, default)
2873
 
 
2874
 
    def set_option(self, value, name, section=None):
2875
 
        """Set the value associated with a named option.
2876
 
 
2877
 
        :param value: The value to set
2878
 
        :param name: The name of the value to set
2879
 
        :param section: The section the option is in (if any)
2880
 
        """
2881
 
        return self._real_object()._get_config().set_option(
2882
 
            value, name, section)
2883
 
 
2884
 
    def _real_object(self):
2885
 
        self._bzrdir._ensure_real()
2886
 
        return self._bzrdir._real_bzrdir
2887
 
 
 
1745
                medium = self._client._medium
 
1746
                if not medium._is_remote_before((1, 6)):
 
1747
                    try:
 
1748
                        self._set_last_revision_descendant(stop_revision, other)
 
1749
                        return
 
1750
                    except errors.UnknownSmartMethod:
 
1751
                        medium._remember_remote_is_before((1, 6))
 
1752
                # Fallback for pre-1.6 servers: check for divergence
 
1753
                # client-side, then do _set_last_revision.
 
1754
                last_rev = revision.ensure_null(self.last_revision())
 
1755
                if graph is None:
 
1756
                    graph = self.repository.get_graph()
 
1757
                if self._check_if_descendant_or_diverged(
 
1758
                        stop_revision, last_rev, graph, other):
 
1759
                    # stop_revision is a descendant of last_rev, but we aren't
 
1760
                    # overwriting, so we're done.
 
1761
                    return
 
1762
                self._set_last_revision(stop_revision)
 
1763
        finally:
 
1764
            other.unlock()
2888
1765
 
2889
1766
 
2890
1767
def _extract_tar(tar, to_dir):
2930
1807
                    'Missing key %r in context %r', key_err.args[0], context)
2931
1808
                raise err
2932
1809
 
2933
 
    if err.error_verb == 'IncompatibleRepositories':
2934
 
        raise errors.IncompatibleRepositories(err.error_args[0],
2935
 
            err.error_args[1], err.error_args[2])
2936
 
    elif err.error_verb == 'NoSuchRevision':
 
1810
    if err.error_verb == 'NoSuchRevision':
2937
1811
        raise NoSuchRevision(find('branch'), err.error_args[0])
2938
1812
    elif err.error_verb == 'nosuchrevision':
2939
1813
        raise NoSuchRevision(find('repository'), err.error_args[0])
2940
 
    elif err.error_verb == 'nobranch':
2941
 
        if len(err.error_args) >= 1:
2942
 
            extra = err.error_args[0]
2943
 
        else:
2944
 
            extra = None
2945
 
        raise errors.NotBranchError(path=find('bzrdir').root_transport.base,
2946
 
            detail=extra)
 
1814
    elif err.error_tuple == ('nobranch',):
 
1815
        raise errors.NotBranchError(path=find('bzrdir').root_transport.base)
2947
1816
    elif err.error_verb == 'norepository':
2948
1817
        raise errors.NoRepositoryPresent(find('bzrdir'))
2949
1818
    elif err.error_verb == 'LockContention':