~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2010-07-07 04:03:32 UTC
  • mfrom: (5335.2.3 doc)
  • Revision ID: pqm@pqm.ubuntu.com-20100707040332-we60v2hsd39rumlr
(mbp) developer docs about testing (Martin Pool)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2006-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
# TODO: At some point, handle upgrades by just passing the whole request
18
 
# across to run on the server.
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19
16
 
20
17
import bz2
21
18
 
22
19
from bzrlib import (
 
20
    bencode,
23
21
    branch,
 
22
    bzrdir,
 
23
    config,
24
24
    debug,
25
25
    errors,
26
26
    graph,
 
27
    lock,
27
28
    lockdir,
28
29
    repository,
 
30
    repository as _mod_repository,
29
31
    revision,
 
32
    revision as _mod_revision,
 
33
    static_tuple,
30
34
    symbol_versioning,
31
 
    urlutils,
32
35
)
33
 
from bzrlib.branch import BranchReferenceFormat
 
36
from bzrlib.branch import BranchReferenceFormat, BranchWriteLockResult
34
37
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
35
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
38
from bzrlib.decorators import needs_read_lock, needs_write_lock, only_raises
36
39
from bzrlib.errors import (
37
40
    NoSuchRevision,
38
41
    SmartProtocolError,
39
42
    )
40
43
from bzrlib.lockable_files import LockableFiles
41
 
from bzrlib.smart import client, vfs
 
44
from bzrlib.smart import client, vfs, repository as smart_repo
42
45
from bzrlib.revision import ensure_null, NULL_REVISION
 
46
from bzrlib.repository import RepositoryWriteLockResult
43
47
from bzrlib.trace import mutter, note, warning
44
48
 
45
49
 
51
55
            return self._client.call(method, *args)
52
56
        except errors.ErrorFromSmartServer, err:
53
57
            self._translate_error(err, **err_context)
54
 
        
 
58
 
55
59
    def _call_expecting_body(self, method, *args, **err_context):
56
60
        try:
57
61
            return self._client.call_expecting_body(method, *args)
58
62
        except errors.ErrorFromSmartServer, err:
59
63
            self._translate_error(err, **err_context)
60
 
        
 
64
 
 
65
    def _call_with_body_bytes(self, method, args, body_bytes, **err_context):
 
66
        try:
 
67
            return self._client.call_with_body_bytes(method, args, body_bytes)
 
68
        except errors.ErrorFromSmartServer, err:
 
69
            self._translate_error(err, **err_context)
 
70
 
61
71
    def _call_with_body_bytes_expecting_body(self, method, args, body_bytes,
62
72
                                             **err_context):
63
73
        try:
65
75
                method, args, body_bytes)
66
76
        except errors.ErrorFromSmartServer, err:
67
77
            self._translate_error(err, **err_context)
68
 
        
 
78
 
 
79
 
 
80
def response_tuple_to_repo_format(response):
 
81
    """Convert a response tuple describing a repository format to a format."""
 
82
    format = RemoteRepositoryFormat()
 
83
    format._rich_root_data = (response[0] == 'yes')
 
84
    format._supports_tree_reference = (response[1] == 'yes')
 
85
    format._supports_external_lookups = (response[2] == 'yes')
 
86
    format._network_name = response[3]
 
87
    return format
 
88
 
 
89
 
69
90
# Note: RemoteBzrDirFormat is in bzrdir.py
70
91
 
71
92
class RemoteBzrDir(BzrDir, _RpcHelper):
72
93
    """Control directory on a remote server, accessed via bzr:// or similar."""
73
94
 
74
 
    def __init__(self, transport, _client=None):
 
95
    def __init__(self, transport, format, _client=None, _force_probe=False):
75
96
        """Construct a RemoteBzrDir.
76
97
 
77
98
        :param _client: Private parameter for testing. Disables probing and the
78
99
            use of a real bzrdir.
79
100
        """
80
 
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
 
101
        BzrDir.__init__(self, transport, format)
81
102
        # this object holds a delegated bzrdir that uses file-level operations
82
103
        # to talk to the other side
83
104
        self._real_bzrdir = None
 
105
        self._has_working_tree = None
 
106
        # 1-shot cache for the call pattern 'create_branch; open_branch' - see
 
107
        # create_branch for details.
 
108
        self._next_open_branch_result = None
84
109
 
85
110
        if _client is None:
86
111
            medium = transport.get_smart_medium()
87
112
            self._client = client._SmartClient(medium)
88
113
        else:
89
114
            self._client = _client
90
 
            return
91
 
 
 
115
            if not _force_probe:
 
116
                return
 
117
 
 
118
        self._probe_bzrdir()
 
119
 
 
120
    def __repr__(self):
 
121
        return '%s(%r)' % (self.__class__.__name__, self._client)
 
122
 
 
123
    def _probe_bzrdir(self):
 
124
        medium = self._client._medium
92
125
        path = self._path_for_remote_call(self._client)
 
126
        if medium._is_remote_before((2, 1)):
 
127
            self._rpc_open(path)
 
128
            return
 
129
        try:
 
130
            self._rpc_open_2_1(path)
 
131
            return
 
132
        except errors.UnknownSmartMethod:
 
133
            medium._remember_remote_is_before((2, 1))
 
134
            self._rpc_open(path)
 
135
 
 
136
    def _rpc_open_2_1(self, path):
 
137
        response = self._call('BzrDir.open_2.1', path)
 
138
        if response == ('no',):
 
139
            raise errors.NotBranchError(path=self.root_transport.base)
 
140
        elif response[0] == 'yes':
 
141
            if response[1] == 'yes':
 
142
                self._has_working_tree = True
 
143
            elif response[1] == 'no':
 
144
                self._has_working_tree = False
 
145
            else:
 
146
                raise errors.UnexpectedSmartServerResponse(response)
 
147
        else:
 
148
            raise errors.UnexpectedSmartServerResponse(response)
 
149
 
 
150
    def _rpc_open(self, path):
93
151
        response = self._call('BzrDir.open', path)
94
152
        if response not in [('yes',), ('no',)]:
95
153
            raise errors.UnexpectedSmartServerResponse(response)
96
154
        if response == ('no',):
97
 
            raise errors.NotBranchError(path=transport.base)
 
155
            raise errors.NotBranchError(path=self.root_transport.base)
98
156
 
99
157
    def _ensure_real(self):
100
158
        """Ensure that there is a _real_bzrdir set.
102
160
        Used before calls to self._real_bzrdir.
103
161
        """
104
162
        if not self._real_bzrdir:
 
163
            if 'hpssvfs' in debug.debug_flags:
 
164
                import traceback
 
165
                warning('VFS BzrDir access triggered\n%s',
 
166
                    ''.join(traceback.format_stack()))
105
167
            self._real_bzrdir = BzrDir.open_from_transport(
106
168
                self.root_transport, _server_formats=False)
 
169
            self._format._network_name = \
 
170
                self._real_bzrdir._format.network_name()
107
171
 
108
172
    def _translate_error(self, err, **context):
109
173
        _translate_error(err, bzrdir=self, **context)
110
174
 
111
 
    def cloning_metadir(self, stacked=False):
 
175
    def break_lock(self):
 
176
        # Prevent aliasing problems in the next_open_branch_result cache.
 
177
        # See create_branch for rationale.
 
178
        self._next_open_branch_result = None
 
179
        return BzrDir.break_lock(self)
 
180
 
 
181
    def _vfs_cloning_metadir(self, require_stacking=False):
112
182
        self._ensure_real()
113
 
        return self._real_bzrdir.cloning_metadir(stacked)
 
183
        return self._real_bzrdir.cloning_metadir(
 
184
            require_stacking=require_stacking)
 
185
 
 
186
    def cloning_metadir(self, require_stacking=False):
 
187
        medium = self._client._medium
 
188
        if medium._is_remote_before((1, 13)):
 
189
            return self._vfs_cloning_metadir(require_stacking=require_stacking)
 
190
        verb = 'BzrDir.cloning_metadir'
 
191
        if require_stacking:
 
192
            stacking = 'True'
 
193
        else:
 
194
            stacking = 'False'
 
195
        path = self._path_for_remote_call(self._client)
 
196
        try:
 
197
            response = self._call(verb, path, stacking)
 
198
        except errors.UnknownSmartMethod:
 
199
            medium._remember_remote_is_before((1, 13))
 
200
            return self._vfs_cloning_metadir(require_stacking=require_stacking)
 
201
        except errors.UnknownErrorFromSmartServer, err:
 
202
            if err.error_tuple != ('BranchReference',):
 
203
                raise
 
204
            # We need to resolve the branch reference to determine the
 
205
            # cloning_metadir.  This causes unnecessary RPCs to open the
 
206
            # referenced branch (and bzrdir, etc) but only when the caller
 
207
            # didn't already resolve the branch reference.
 
208
            referenced_branch = self.open_branch()
 
209
            return referenced_branch.bzrdir.cloning_metadir()
 
210
        if len(response) != 3:
 
211
            raise errors.UnexpectedSmartServerResponse(response)
 
212
        control_name, repo_name, branch_info = response
 
213
        if len(branch_info) != 2:
 
214
            raise errors.UnexpectedSmartServerResponse(response)
 
215
        branch_ref, branch_name = branch_info
 
216
        format = bzrdir.network_format_registry.get(control_name)
 
217
        if repo_name:
 
218
            format.repository_format = repository.network_format_registry.get(
 
219
                repo_name)
 
220
        if branch_ref == 'ref':
 
221
            # XXX: we need possible_transports here to avoid reopening the
 
222
            # connection to the referenced location
 
223
            ref_bzrdir = BzrDir.open(branch_name)
 
224
            branch_format = ref_bzrdir.cloning_metadir().get_branch_format()
 
225
            format.set_branch_format(branch_format)
 
226
        elif branch_ref == 'branch':
 
227
            if branch_name:
 
228
                format.set_branch_format(
 
229
                    branch.network_format_registry.get(branch_name))
 
230
        else:
 
231
            raise errors.UnexpectedSmartServerResponse(response)
 
232
        return format
114
233
 
115
234
    def create_repository(self, shared=False):
116
 
        self._ensure_real()
117
 
        self._real_bzrdir.create_repository(shared=shared)
118
 
        return self.open_repository()
 
235
        # as per meta1 formats - just delegate to the format object which may
 
236
        # be parameterised.
 
237
        result = self._format.repository_format.initialize(self, shared)
 
238
        if not isinstance(result, RemoteRepository):
 
239
            return self.open_repository()
 
240
        else:
 
241
            return result
119
242
 
120
243
    def destroy_repository(self):
121
244
        """See BzrDir.destroy_repository"""
122
245
        self._ensure_real()
123
246
        self._real_bzrdir.destroy_repository()
124
247
 
125
 
    def create_branch(self):
126
 
        self._ensure_real()
127
 
        real_branch = self._real_bzrdir.create_branch()
128
 
        return RemoteBranch(self, self.find_repository(), real_branch)
 
248
    def create_branch(self, name=None):
 
249
        # as per meta1 formats - just delegate to the format object which may
 
250
        # be parameterised.
 
251
        real_branch = self._format.get_branch_format().initialize(self,
 
252
            name=name)
 
253
        if not isinstance(real_branch, RemoteBranch):
 
254
            result = RemoteBranch(self, self.find_repository(), real_branch,
 
255
                                  name=name)
 
256
        else:
 
257
            result = real_branch
 
258
        # BzrDir.clone_on_transport() uses the result of create_branch but does
 
259
        # not return it to its callers; we save approximately 8% of our round
 
260
        # trips by handing the branch we created back to the first caller to
 
261
        # open_branch rather than probing anew. Long term we need a API in
 
262
        # bzrdir that doesn't discard result objects (like result_branch).
 
263
        # RBC 20090225
 
264
        self._next_open_branch_result = result
 
265
        return result
129
266
 
130
 
    def destroy_branch(self):
 
267
    def destroy_branch(self, name=None):
131
268
        """See BzrDir.destroy_branch"""
132
269
        self._ensure_real()
133
 
        self._real_bzrdir.destroy_branch()
 
270
        self._real_bzrdir.destroy_branch(name=name)
 
271
        self._next_open_branch_result = None
134
272
 
135
273
    def create_workingtree(self, revision_id=None, from_branch=None):
136
274
        raise errors.NotLocalUrl(self.transport.base)
137
275
 
138
 
    def find_branch_format(self):
 
276
    def find_branch_format(self, name=None):
139
277
        """Find the branch 'format' for this bzrdir.
140
278
 
141
279
        This might be a synthetic object for e.g. RemoteBranch and SVN.
142
280
        """
143
 
        b = self.open_branch()
 
281
        b = self.open_branch(name=name)
144
282
        return b._format
145
283
 
146
 
    def get_branch_reference(self):
 
284
    def get_branch_reference(self, name=None):
147
285
        """See BzrDir.get_branch_reference()."""
 
286
        if name is not None:
 
287
            # XXX JRV20100304: Support opening colocated branches
 
288
            raise errors.NoColocatedBranchSupport(self)
 
289
        response = self._get_branch_reference()
 
290
        if response[0] == 'ref':
 
291
            return response[1]
 
292
        else:
 
293
            return None
 
294
 
 
295
    def _get_branch_reference(self):
148
296
        path = self._path_for_remote_call(self._client)
149
 
        response = self._call('BzrDir.open_branch', path)
150
 
        if response[0] == 'ok':
151
 
            if response[1] == '':
152
 
                # branch at this location.
153
 
                return None
154
 
            else:
155
 
                # a branch reference, use the existing BranchReference logic.
156
 
                return response[1]
157
 
        else:
 
297
        medium = self._client._medium
 
298
        candidate_calls = [
 
299
            ('BzrDir.open_branchV3', (2, 1)),
 
300
            ('BzrDir.open_branchV2', (1, 13)),
 
301
            ('BzrDir.open_branch', None),
 
302
            ]
 
303
        for verb, required_version in candidate_calls:
 
304
            if required_version and medium._is_remote_before(required_version):
 
305
                continue
 
306
            try:
 
307
                response = self._call(verb, path)
 
308
            except errors.UnknownSmartMethod:
 
309
                if required_version is None:
 
310
                    raise
 
311
                medium._remember_remote_is_before(required_version)
 
312
            else:
 
313
                break
 
314
        if verb == 'BzrDir.open_branch':
 
315
            if response[0] != 'ok':
 
316
                raise errors.UnexpectedSmartServerResponse(response)
 
317
            if response[1] != '':
 
318
                return ('ref', response[1])
 
319
            else:
 
320
                return ('branch', '')
 
321
        if response[0] not in ('ref', 'branch'):
158
322
            raise errors.UnexpectedSmartServerResponse(response)
 
323
        return response
159
324
 
160
 
    def _get_tree_branch(self):
 
325
    def _get_tree_branch(self, name=None):
161
326
        """See BzrDir._get_tree_branch()."""
162
 
        return None, self.open_branch()
 
327
        return None, self.open_branch(name=name)
163
328
 
164
 
    def open_branch(self, _unsupported=False):
165
 
        if _unsupported:
 
329
    def open_branch(self, name=None, unsupported=False,
 
330
                    ignore_fallbacks=False):
 
331
        if unsupported:
166
332
            raise NotImplementedError('unsupported flag support not implemented yet.')
167
 
        reference_url = self.get_branch_reference()
168
 
        if reference_url is None:
169
 
            # branch at this location.
170
 
            return RemoteBranch(self, self.find_repository())
171
 
        else:
 
333
        if self._next_open_branch_result is not None:
 
334
            # See create_branch for details.
 
335
            result = self._next_open_branch_result
 
336
            self._next_open_branch_result = None
 
337
            return result
 
338
        response = self._get_branch_reference()
 
339
        if response[0] == 'ref':
172
340
            # a branch reference, use the existing BranchReference logic.
173
341
            format = BranchReferenceFormat()
174
 
            return format.open(self, _found=True, location=reference_url)
175
 
                
 
342
            return format.open(self, name=name, _found=True,
 
343
                location=response[1], ignore_fallbacks=ignore_fallbacks)
 
344
        branch_format_name = response[1]
 
345
        if not branch_format_name:
 
346
            branch_format_name = None
 
347
        format = RemoteBranchFormat(network_name=branch_format_name)
 
348
        return RemoteBranch(self, self.find_repository(), format=format,
 
349
            setup_stacking=not ignore_fallbacks, name=name)
 
350
 
 
351
    def _open_repo_v1(self, path):
 
352
        verb = 'BzrDir.find_repository'
 
353
        response = self._call(verb, path)
 
354
        if response[0] != 'ok':
 
355
            raise errors.UnexpectedSmartServerResponse(response)
 
356
        # servers that only support the v1 method don't support external
 
357
        # references either.
 
358
        self._ensure_real()
 
359
        repo = self._real_bzrdir.open_repository()
 
360
        response = response + ('no', repo._format.network_name())
 
361
        return response, repo
 
362
 
 
363
    def _open_repo_v2(self, path):
 
364
        verb = 'BzrDir.find_repositoryV2'
 
365
        response = self._call(verb, path)
 
366
        if response[0] != 'ok':
 
367
            raise errors.UnexpectedSmartServerResponse(response)
 
368
        self._ensure_real()
 
369
        repo = self._real_bzrdir.open_repository()
 
370
        response = response + (repo._format.network_name(),)
 
371
        return response, repo
 
372
 
 
373
    def _open_repo_v3(self, path):
 
374
        verb = 'BzrDir.find_repositoryV3'
 
375
        medium = self._client._medium
 
376
        if medium._is_remote_before((1, 13)):
 
377
            raise errors.UnknownSmartMethod(verb)
 
378
        try:
 
379
            response = self._call(verb, path)
 
380
        except errors.UnknownSmartMethod:
 
381
            medium._remember_remote_is_before((1, 13))
 
382
            raise
 
383
        if response[0] != 'ok':
 
384
            raise errors.UnexpectedSmartServerResponse(response)
 
385
        return response, None
 
386
 
176
387
    def open_repository(self):
177
388
        path = self._path_for_remote_call(self._client)
178
 
        verb = 'BzrDir.find_repositoryV2'
179
 
        try:
180
 
            response = self._call(verb, path)
181
 
        except errors.UnknownSmartMethod:
182
 
            verb = 'BzrDir.find_repository'
183
 
            response = self._call(verb, path)
 
389
        response = None
 
390
        for probe in [self._open_repo_v3, self._open_repo_v2,
 
391
            self._open_repo_v1]:
 
392
            try:
 
393
                response, real_repo = probe(path)
 
394
                break
 
395
            except errors.UnknownSmartMethod:
 
396
                pass
 
397
        if response is None:
 
398
            raise errors.UnknownSmartMethod('BzrDir.find_repository{3,2,}')
184
399
        if response[0] != 'ok':
185
400
            raise errors.UnexpectedSmartServerResponse(response)
186
 
        if verb == 'BzrDir.find_repository':
187
 
            # servers that don't support the V2 method don't support external
188
 
            # references either.
189
 
            response = response + ('no', )
190
 
        if not (len(response) == 5):
 
401
        if len(response) != 6:
191
402
            raise SmartProtocolError('incorrect response length %s' % (response,))
192
403
        if response[1] == '':
193
 
            format = RemoteRepositoryFormat()
194
 
            format.rich_root_data = (response[2] == 'yes')
195
 
            format.supports_tree_reference = (response[3] == 'yes')
196
 
            # No wire format to check this yet.
197
 
            format.supports_external_lookups = (response[4] == 'yes')
 
404
            # repo is at this dir.
 
405
            format = response_tuple_to_repo_format(response[2:])
198
406
            # Used to support creating a real format instance when needed.
199
407
            format._creating_bzrdir = self
200
 
            return RemoteRepository(self, format)
 
408
            remote_repo = RemoteRepository(self, format)
 
409
            format._creating_repo = remote_repo
 
410
            if real_repo is not None:
 
411
                remote_repo._set_real_repository(real_repo)
 
412
            return remote_repo
201
413
        else:
202
414
            raise errors.NoRepositoryPresent(self)
203
415
 
 
416
    def has_workingtree(self):
 
417
        if self._has_working_tree is None:
 
418
            self._ensure_real()
 
419
            self._has_working_tree = self._real_bzrdir.has_workingtree()
 
420
        return self._has_working_tree
 
421
 
204
422
    def open_workingtree(self, recommend_upgrade=True):
205
 
        self._ensure_real()
206
 
        if self._real_bzrdir.has_workingtree():
 
423
        if self.has_workingtree():
207
424
            raise errors.NotLocalUrl(self.root_transport)
208
425
        else:
209
426
            raise errors.NoWorkingTree(self.root_transport.base)
212
429
        """Return the path to be used for this bzrdir in a remote call."""
213
430
        return client.remote_path_from_transport(self.root_transport)
214
431
 
215
 
    def get_branch_transport(self, branch_format):
 
432
    def get_branch_transport(self, branch_format, name=None):
216
433
        self._ensure_real()
217
 
        return self._real_bzrdir.get_branch_transport(branch_format)
 
434
        return self._real_bzrdir.get_branch_transport(branch_format, name=name)
218
435
 
219
436
    def get_repository_transport(self, repository_format):
220
437
        self._ensure_real()
241
458
        return self._real_bzrdir.clone(url, revision_id=revision_id,
242
459
            force_new_repo=force_new_repo, preserve_stacking=preserve_stacking)
243
460
 
244
 
    def get_config(self):
245
 
        self._ensure_real()
246
 
        return self._real_bzrdir.get_config()
 
461
    def _get_config(self):
 
462
        return RemoteBzrDirConfig(self)
247
463
 
248
464
 
249
465
class RemoteRepositoryFormat(repository.RepositoryFormat):
257
473
    the attributes rich_root_data and supports_tree_reference are set
258
474
    on a per instance basis, and are not set (and should not be) at
259
475
    the class level.
 
476
 
 
477
    :ivar _custom_format: If set, a specific concrete repository format that
 
478
        will be used when initializing a repository with this
 
479
        RemoteRepositoryFormat.
 
480
    :ivar _creating_repo: If set, the repository object that this
 
481
        RemoteRepositoryFormat was created for: it can be called into
 
482
        to obtain data like the network name.
260
483
    """
261
484
 
262
485
    _matchingbzrdir = RemoteBzrDirFormat()
263
486
 
264
 
    def initialize(self, a_bzrdir, shared=False):
265
 
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
487
    def __init__(self):
 
488
        repository.RepositoryFormat.__init__(self)
 
489
        self._custom_format = None
 
490
        self._network_name = None
 
491
        self._creating_bzrdir = None
 
492
        self._supports_chks = None
 
493
        self._supports_external_lookups = None
 
494
        self._supports_tree_reference = None
 
495
        self._rich_root_data = None
 
496
 
 
497
    def __repr__(self):
 
498
        return "%s(_network_name=%r)" % (self.__class__.__name__,
 
499
            self._network_name)
 
500
 
 
501
    @property
 
502
    def fast_deltas(self):
 
503
        self._ensure_real()
 
504
        return self._custom_format.fast_deltas
 
505
 
 
506
    @property
 
507
    def rich_root_data(self):
 
508
        if self._rich_root_data is None:
 
509
            self._ensure_real()
 
510
            self._rich_root_data = self._custom_format.rich_root_data
 
511
        return self._rich_root_data
 
512
 
 
513
    @property
 
514
    def supports_chks(self):
 
515
        if self._supports_chks is None:
 
516
            self._ensure_real()
 
517
            self._supports_chks = self._custom_format.supports_chks
 
518
        return self._supports_chks
 
519
 
 
520
    @property
 
521
    def supports_external_lookups(self):
 
522
        if self._supports_external_lookups is None:
 
523
            self._ensure_real()
 
524
            self._supports_external_lookups = \
 
525
                self._custom_format.supports_external_lookups
 
526
        return self._supports_external_lookups
 
527
 
 
528
    @property
 
529
    def supports_tree_reference(self):
 
530
        if self._supports_tree_reference is None:
 
531
            self._ensure_real()
 
532
            self._supports_tree_reference = \
 
533
                self._custom_format.supports_tree_reference
 
534
        return self._supports_tree_reference
 
535
 
 
536
    def _vfs_initialize(self, a_bzrdir, shared):
 
537
        """Helper for common code in initialize."""
 
538
        if self._custom_format:
 
539
            # Custom format requested
 
540
            result = self._custom_format.initialize(a_bzrdir, shared=shared)
 
541
        elif self._creating_bzrdir is not None:
 
542
            # Use the format that the repository we were created to back
 
543
            # has.
266
544
            prior_repo = self._creating_bzrdir.open_repository()
267
545
            prior_repo._ensure_real()
268
 
            return prior_repo._real_repository._format.initialize(
 
546
            result = prior_repo._real_repository._format.initialize(
269
547
                a_bzrdir, shared=shared)
270
 
        return a_bzrdir.create_repository(shared=shared)
271
 
    
 
548
        else:
 
549
            # assume that a_bzr is a RemoteBzrDir but the smart server didn't
 
550
            # support remote initialization.
 
551
            # We delegate to a real object at this point (as RemoteBzrDir
 
552
            # delegate to the repository format which would lead to infinite
 
553
            # recursion if we just called a_bzrdir.create_repository.
 
554
            a_bzrdir._ensure_real()
 
555
            result = a_bzrdir._real_bzrdir.create_repository(shared=shared)
 
556
        if not isinstance(result, RemoteRepository):
 
557
            return self.open(a_bzrdir)
 
558
        else:
 
559
            return result
 
560
 
 
561
    def initialize(self, a_bzrdir, shared=False):
 
562
        # Being asked to create on a non RemoteBzrDir:
 
563
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
564
            return self._vfs_initialize(a_bzrdir, shared)
 
565
        medium = a_bzrdir._client._medium
 
566
        if medium._is_remote_before((1, 13)):
 
567
            return self._vfs_initialize(a_bzrdir, shared)
 
568
        # Creating on a remote bzr dir.
 
569
        # 1) get the network name to use.
 
570
        if self._custom_format:
 
571
            network_name = self._custom_format.network_name()
 
572
        elif self._network_name:
 
573
            network_name = self._network_name
 
574
        else:
 
575
            # Select the current bzrlib default and ask for that.
 
576
            reference_bzrdir_format = bzrdir.format_registry.get('default')()
 
577
            reference_format = reference_bzrdir_format.repository_format
 
578
            network_name = reference_format.network_name()
 
579
        # 2) try direct creation via RPC
 
580
        path = a_bzrdir._path_for_remote_call(a_bzrdir._client)
 
581
        verb = 'BzrDir.create_repository'
 
582
        if shared:
 
583
            shared_str = 'True'
 
584
        else:
 
585
            shared_str = 'False'
 
586
        try:
 
587
            response = a_bzrdir._call(verb, path, network_name, shared_str)
 
588
        except errors.UnknownSmartMethod:
 
589
            # Fallback - use vfs methods
 
590
            medium._remember_remote_is_before((1, 13))
 
591
            return self._vfs_initialize(a_bzrdir, shared)
 
592
        else:
 
593
            # Turn the response into a RemoteRepository object.
 
594
            format = response_tuple_to_repo_format(response[1:])
 
595
            # Used to support creating a real format instance when needed.
 
596
            format._creating_bzrdir = a_bzrdir
 
597
            remote_repo = RemoteRepository(a_bzrdir, format)
 
598
            format._creating_repo = remote_repo
 
599
            return remote_repo
 
600
 
272
601
    def open(self, a_bzrdir):
273
602
        if not isinstance(a_bzrdir, RemoteBzrDir):
274
603
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
275
604
        return a_bzrdir.open_repository()
276
605
 
 
606
    def _ensure_real(self):
 
607
        if self._custom_format is None:
 
608
            self._custom_format = repository.network_format_registry.get(
 
609
                self._network_name)
 
610
 
 
611
    @property
 
612
    def _fetch_order(self):
 
613
        self._ensure_real()
 
614
        return self._custom_format._fetch_order
 
615
 
 
616
    @property
 
617
    def _fetch_uses_deltas(self):
 
618
        self._ensure_real()
 
619
        return self._custom_format._fetch_uses_deltas
 
620
 
 
621
    @property
 
622
    def _fetch_reconcile(self):
 
623
        self._ensure_real()
 
624
        return self._custom_format._fetch_reconcile
 
625
 
277
626
    def get_format_description(self):
278
 
        return 'bzr remote repository'
 
627
        self._ensure_real()
 
628
        return 'Remote: ' + self._custom_format.get_format_description()
279
629
 
280
630
    def __eq__(self, other):
281
 
        return self.__class__ == other.__class__
282
 
 
283
 
    def check_conversion_target(self, target_format):
284
 
        if self.rich_root_data and not target_format.rich_root_data:
285
 
            raise errors.BadConversionTarget(
286
 
                'Does not support rich root data.', target_format)
287
 
        if (self.supports_tree_reference and
288
 
            not getattr(target_format, 'supports_tree_reference', False)):
289
 
            raise errors.BadConversionTarget(
290
 
                'Does not support nested trees', target_format)
291
 
 
292
 
 
293
 
class RemoteRepository(_RpcHelper):
 
631
        return self.__class__ is other.__class__
 
632
 
 
633
    def network_name(self):
 
634
        if self._network_name:
 
635
            return self._network_name
 
636
        self._creating_repo._ensure_real()
 
637
        return self._creating_repo._real_repository._format.network_name()
 
638
 
 
639
    @property
 
640
    def pack_compresses(self):
 
641
        self._ensure_real()
 
642
        return self._custom_format.pack_compresses
 
643
 
 
644
    @property
 
645
    def _serializer(self):
 
646
        self._ensure_real()
 
647
        return self._custom_format._serializer
 
648
 
 
649
 
 
650
class RemoteRepository(_RpcHelper, lock._RelockDebugMixin,
 
651
    bzrdir.ControlComponent):
294
652
    """Repository accessed over rpc.
295
653
 
296
654
    For the moment most operations are performed using local transport-backed
299
657
 
300
658
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
301
659
        """Create a RemoteRepository instance.
302
 
        
 
660
 
303
661
        :param remote_bzrdir: The bzrdir hosting this repository.
304
662
        :param format: The RemoteFormat object to use.
305
663
        :param real_repository: If not None, a local implementation of the
322
680
        self._lock_token = None
323
681
        self._lock_count = 0
324
682
        self._leave_lock = False
 
683
        # Cache of revision parents; misses are cached during read locks, and
 
684
        # write locks when no _real_repository has been set.
325
685
        self._unstacked_provider = graph.CachingParentsProvider(
326
686
            get_parent_map=self._get_parent_map_rpc)
327
687
        self._unstacked_provider.disable_cache()
337
697
        # Additional places to query for data.
338
698
        self._fallback_repositories = []
339
699
 
 
700
    @property
 
701
    def user_transport(self):
 
702
        return self.bzrdir.user_transport
 
703
 
 
704
    @property
 
705
    def control_transport(self):
 
706
        # XXX: Normally you shouldn't directly get at the remote repository
 
707
        # transport, but I'm not sure it's worth making this method
 
708
        # optional -- mbp 2010-04-21
 
709
        return self.bzrdir.get_repository_transport(None)
 
710
        
340
711
    def __str__(self):
341
712
        return "%s(%s)" % (self.__class__.__name__, self.base)
342
713
 
344
715
 
345
716
    def abort_write_group(self, suppress_errors=False):
346
717
        """Complete a write group on the decorated repository.
347
 
        
348
 
        Smart methods peform operations in a single step so this api
 
718
 
 
719
        Smart methods perform operations in a single step so this API
349
720
        is not really applicable except as a compatibility thunk
350
721
        for older plugins that don't use e.g. the CommitBuilder
351
722
        facility.
356
727
        return self._real_repository.abort_write_group(
357
728
            suppress_errors=suppress_errors)
358
729
 
 
730
    @property
 
731
    def chk_bytes(self):
 
732
        """Decorate the real repository for now.
 
733
 
 
734
        In the long term a full blown network facility is needed to avoid
 
735
        creating a real repository object locally.
 
736
        """
 
737
        self._ensure_real()
 
738
        return self._real_repository.chk_bytes
 
739
 
359
740
    def commit_write_group(self):
360
741
        """Complete a write group on the decorated repository.
361
 
        
362
 
        Smart methods peform operations in a single step so this api
 
742
 
 
743
        Smart methods perform operations in a single step so this API
363
744
        is not really applicable except as a compatibility thunk
364
745
        for older plugins that don't use e.g. the CommitBuilder
365
746
        facility.
367
748
        self._ensure_real()
368
749
        return self._real_repository.commit_write_group()
369
750
 
 
751
    def resume_write_group(self, tokens):
 
752
        self._ensure_real()
 
753
        return self._real_repository.resume_write_group(tokens)
 
754
 
 
755
    def suspend_write_group(self):
 
756
        self._ensure_real()
 
757
        return self._real_repository.suspend_write_group()
 
758
 
 
759
    def get_missing_parent_inventories(self, check_for_missing_texts=True):
 
760
        self._ensure_real()
 
761
        return self._real_repository.get_missing_parent_inventories(
 
762
            check_for_missing_texts=check_for_missing_texts)
 
763
 
 
764
    def _get_rev_id_for_revno_vfs(self, revno, known_pair):
 
765
        self._ensure_real()
 
766
        return self._real_repository.get_rev_id_for_revno(
 
767
            revno, known_pair)
 
768
 
 
769
    def get_rev_id_for_revno(self, revno, known_pair):
 
770
        """See Repository.get_rev_id_for_revno."""
 
771
        path = self.bzrdir._path_for_remote_call(self._client)
 
772
        try:
 
773
            if self._client._medium._is_remote_before((1, 17)):
 
774
                return self._get_rev_id_for_revno_vfs(revno, known_pair)
 
775
            response = self._call(
 
776
                'Repository.get_rev_id_for_revno', path, revno, known_pair)
 
777
        except errors.UnknownSmartMethod:
 
778
            self._client._medium._remember_remote_is_before((1, 17))
 
779
            return self._get_rev_id_for_revno_vfs(revno, known_pair)
 
780
        if response[0] == 'ok':
 
781
            return True, response[1]
 
782
        elif response[0] == 'history-incomplete':
 
783
            known_pair = response[1:3]
 
784
            for fallback in self._fallback_repositories:
 
785
                found, result = fallback.get_rev_id_for_revno(revno, known_pair)
 
786
                if found:
 
787
                    return True, result
 
788
                else:
 
789
                    known_pair = result
 
790
            # Not found in any fallbacks
 
791
            return False, known_pair
 
792
        else:
 
793
            raise errors.UnexpectedSmartServerResponse(response)
 
794
 
370
795
    def _ensure_real(self):
371
796
        """Ensure that there is a _real_repository set.
372
797
 
373
798
        Used before calls to self._real_repository.
 
799
 
 
800
        Note that _ensure_real causes many roundtrips to the server which are
 
801
        not desirable, and prevents the use of smart one-roundtrip RPC's to
 
802
        perform complex operations (such as accessing parent data, streaming
 
803
        revisions etc). Adding calls to _ensure_real should only be done when
 
804
        bringing up new functionality, adding fallbacks for smart methods that
 
805
        require a fallback path, and never to replace an existing smart method
 
806
        invocation. If in doubt chat to the bzr network team.
374
807
        """
375
808
        if self._real_repository is None:
 
809
            if 'hpssvfs' in debug.debug_flags:
 
810
                import traceback
 
811
                warning('VFS Repository access triggered\n%s',
 
812
                    ''.join(traceback.format_stack()))
 
813
            self._unstacked_provider.missing_keys.clear()
376
814
            self.bzrdir._ensure_real()
377
815
            self._set_real_repository(
378
816
                self.bzrdir._real_bzrdir.open_repository())
405
843
        self._ensure_real()
406
844
        return self._real_repository._generate_text_key_index()
407
845
 
408
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_four)
409
 
    def get_revision_graph(self, revision_id=None):
410
 
        """See Repository.get_revision_graph()."""
411
 
        return self._get_revision_graph(revision_id)
412
 
 
413
846
    def _get_revision_graph(self, revision_id):
414
847
        """Private method for using with old (< 1.2) servers to fallback."""
415
848
        if revision_id is None:
432
865
        for line in lines:
433
866
            d = tuple(line.split())
434
867
            revision_graph[d[0]] = d[1:]
435
 
            
 
868
 
436
869
        return revision_graph
437
870
 
 
871
    def _get_sink(self):
 
872
        """See Repository._get_sink()."""
 
873
        return RemoteStreamSink(self)
 
874
 
 
875
    def _get_source(self, to_format):
 
876
        """Return a source for streaming from this repository."""
 
877
        return RemoteStreamSource(self, to_format)
 
878
 
 
879
    @needs_read_lock
438
880
    def has_revision(self, revision_id):
439
 
        """See Repository.has_revision()."""
440
 
        if revision_id == NULL_REVISION:
441
 
            # The null revision is always present.
442
 
            return True
443
 
        path = self.bzrdir._path_for_remote_call(self._client)
444
 
        response = self._call('Repository.has_revision', path, revision_id)
445
 
        if response[0] not in ('yes', 'no'):
446
 
            raise errors.UnexpectedSmartServerResponse(response)
447
 
        if response[0] == 'yes':
448
 
            return True
449
 
        for fallback_repo in self._fallback_repositories:
450
 
            if fallback_repo.has_revision(revision_id):
451
 
                return True
452
 
        return False
 
881
        """True if this repository has a copy of the revision."""
 
882
        # Copy of bzrlib.repository.Repository.has_revision
 
883
        return revision_id in self.has_revisions((revision_id,))
453
884
 
 
885
    @needs_read_lock
454
886
    def has_revisions(self, revision_ids):
455
 
        """See Repository.has_revisions()."""
456
 
        # FIXME: This does many roundtrips, particularly when there are
457
 
        # fallback repositories.  -- mbp 20080905
458
 
        result = set()
459
 
        for revision_id in revision_ids:
460
 
            if self.has_revision(revision_id):
461
 
                result.add(revision_id)
 
887
        """Probe to find out the presence of multiple revisions.
 
888
 
 
889
        :param revision_ids: An iterable of revision_ids.
 
890
        :return: A set of the revision_ids that were present.
 
891
        """
 
892
        # Copy of bzrlib.repository.Repository.has_revisions
 
893
        parent_map = self.get_parent_map(revision_ids)
 
894
        result = set(parent_map)
 
895
        if _mod_revision.NULL_REVISION in revision_ids:
 
896
            result.add(_mod_revision.NULL_REVISION)
462
897
        return result
463
898
 
 
899
    def _has_same_fallbacks(self, other_repo):
 
900
        """Returns true if the repositories have the same fallbacks."""
 
901
        # XXX: copied from Repository; it should be unified into a base class
 
902
        # <https://bugs.launchpad.net/bzr/+bug/401622>
 
903
        my_fb = self._fallback_repositories
 
904
        other_fb = other_repo._fallback_repositories
 
905
        if len(my_fb) != len(other_fb):
 
906
            return False
 
907
        for f, g in zip(my_fb, other_fb):
 
908
            if not f.has_same_location(g):
 
909
                return False
 
910
        return True
 
911
 
464
912
    def has_same_location(self, other):
465
 
        return (self.__class__ == other.__class__ and
 
913
        # TODO: Move to RepositoryBase and unify with the regular Repository
 
914
        # one; unfortunately the tests rely on slightly different behaviour at
 
915
        # present -- mbp 20090710
 
916
        return (self.__class__ is other.__class__ and
466
917
                self.bzrdir.transport.base == other.bzrdir.transport.base)
467
918
 
468
919
    def get_graph(self, other_repository=None):
470
921
        parents_provider = self._make_parents_provider(other_repository)
471
922
        return graph.Graph(parents_provider)
472
923
 
 
924
    @needs_read_lock
 
925
    def get_known_graph_ancestry(self, revision_ids):
 
926
        """Return the known graph for a set of revision ids and their ancestors.
 
927
        """
 
928
        st = static_tuple.StaticTuple
 
929
        revision_keys = [st(r_id).intern() for r_id in revision_ids]
 
930
        known_graph = self.revisions.get_known_graph_ancestry(revision_keys)
 
931
        return graph.GraphThunkIdsToKeys(known_graph)
 
932
 
473
933
    def gather_stats(self, revid=None, committers=None):
474
934
        """See Repository.gather_stats()."""
475
935
        path = self.bzrdir._path_for_remote_call(self._client)
535
995
    def is_write_locked(self):
536
996
        return self._lock_mode == 'w'
537
997
 
 
998
    def _warn_if_deprecated(self, branch=None):
 
999
        # If we have a real repository, the check will be done there, if we
 
1000
        # don't the check will be done remotely.
 
1001
        pass
 
1002
 
538
1003
    def lock_read(self):
 
1004
        """Lock the repository for read operations.
 
1005
 
 
1006
        :return: A bzrlib.lock.LogicalLockResult.
 
1007
        """
539
1008
        # wrong eventually - want a local lock cache context
540
1009
        if not self._lock_mode:
 
1010
            self._note_lock('r')
541
1011
            self._lock_mode = 'r'
542
1012
            self._lock_count = 1
543
 
            self._unstacked_provider.enable_cache(cache_misses=False)
 
1013
            self._unstacked_provider.enable_cache(cache_misses=True)
544
1014
            if self._real_repository is not None:
545
1015
                self._real_repository.lock_read()
 
1016
            for repo in self._fallback_repositories:
 
1017
                repo.lock_read()
546
1018
        else:
547
1019
            self._lock_count += 1
 
1020
        return lock.LogicalLockResult(self.unlock)
548
1021
 
549
1022
    def _remote_lock_write(self, token):
550
1023
        path = self.bzrdir._path_for_remote_call(self._client)
561
1034
 
562
1035
    def lock_write(self, token=None, _skip_rpc=False):
563
1036
        if not self._lock_mode:
 
1037
            self._note_lock('w')
564
1038
            if _skip_rpc:
565
1039
                if self._lock_token is not None:
566
1040
                    if token != self._lock_token:
580
1054
                self._leave_lock = False
581
1055
            self._lock_mode = 'w'
582
1056
            self._lock_count = 1
583
 
            self._unstacked_provider.enable_cache(cache_misses=False)
 
1057
            cache_misses = self._real_repository is None
 
1058
            self._unstacked_provider.enable_cache(cache_misses=cache_misses)
 
1059
            for repo in self._fallback_repositories:
 
1060
                # Writes don't affect fallback repos
 
1061
                repo.lock_read()
584
1062
        elif self._lock_mode == 'r':
585
1063
            raise errors.ReadOnlyError(self)
586
1064
        else:
587
1065
            self._lock_count += 1
588
 
        return self._lock_token or None
 
1066
        return RepositoryWriteLockResult(self.unlock, self._lock_token or None)
589
1067
 
590
1068
    def leave_lock_in_place(self):
591
1069
        if not self._lock_token:
604
1082
            implemented operations.
605
1083
        """
606
1084
        if self._real_repository is not None:
607
 
            raise AssertionError('_real_repository is already set')
 
1085
            # Replacing an already set real repository.
 
1086
            # We cannot do this [currently] if the repository is locked -
 
1087
            # synchronised state might be lost.
 
1088
            if self.is_locked():
 
1089
                raise AssertionError('_real_repository is already set')
608
1090
        if isinstance(repository, RemoteRepository):
609
1091
            raise AssertionError()
610
1092
        self._real_repository = repository
 
1093
        # three code paths happen here:
 
1094
        # 1) old servers, RemoteBranch.open() calls _ensure_real before setting
 
1095
        # up stacking. In this case self._fallback_repositories is [], and the
 
1096
        # real repo is already setup. Preserve the real repo and
 
1097
        # RemoteRepository.add_fallback_repository will avoid adding
 
1098
        # duplicates.
 
1099
        # 2) new servers, RemoteBranch.open() sets up stacking, and when
 
1100
        # ensure_real is triggered from a branch, the real repository to
 
1101
        # set already has a matching list with separate instances, but
 
1102
        # as they are also RemoteRepositories we don't worry about making the
 
1103
        # lists be identical.
 
1104
        # 3) new servers, RemoteRepository.ensure_real is triggered before
 
1105
        # RemoteBranch.ensure real, in this case we get a repo with no fallbacks
 
1106
        # and need to populate it.
 
1107
        if (self._fallback_repositories and
 
1108
            len(self._real_repository._fallback_repositories) !=
 
1109
            len(self._fallback_repositories)):
 
1110
            if len(self._real_repository._fallback_repositories):
 
1111
                raise AssertionError(
 
1112
                    "cannot cleanly remove existing _fallback_repositories")
611
1113
        for fb in self._fallback_repositories:
612
1114
            self._real_repository.add_fallback_repository(fb)
613
1115
        if self._lock_mode == 'w':
619
1121
 
620
1122
    def start_write_group(self):
621
1123
        """Start a write group on the decorated repository.
622
 
        
623
 
        Smart methods peform operations in a single step so this api
 
1124
 
 
1125
        Smart methods perform operations in a single step so this API
624
1126
        is not really applicable except as a compatibility thunk
625
1127
        for older plugins that don't use e.g. the CommitBuilder
626
1128
        facility.
641
1143
        else:
642
1144
            raise errors.UnexpectedSmartServerResponse(response)
643
1145
 
 
1146
    @only_raises(errors.LockNotHeld, errors.LockBroken)
644
1147
    def unlock(self):
 
1148
        if not self._lock_count:
 
1149
            return lock.cant_unlock_not_held(self)
645
1150
        self._lock_count -= 1
646
1151
        if self._lock_count > 0:
647
1152
            return
661
1166
            # problem releasing the vfs-based lock.
662
1167
            if old_mode == 'w':
663
1168
                # Only write-locked repositories need to make a remote method
664
 
                # call to perfom the unlock.
 
1169
                # call to perform the unlock.
665
1170
                old_token = self._lock_token
666
1171
                self._lock_token = None
667
1172
                if not self._leave_lock:
668
1173
                    self._unlock(old_token)
 
1174
        # Fallbacks are always 'lock_read()' so we don't pay attention to
 
1175
        # self._leave_lock
 
1176
        for repo in self._fallback_repositories:
 
1177
            repo.unlock()
669
1178
 
670
1179
    def break_lock(self):
671
1180
        # should hand off to the network
674
1183
 
675
1184
    def _get_tarball(self, compression):
676
1185
        """Return a TemporaryFile containing a repository tarball.
677
 
        
 
1186
 
678
1187
        Returns None if the server does not support sending tarballs.
679
1188
        """
680
1189
        import tempfile
726
1235
 
727
1236
    def add_fallback_repository(self, repository):
728
1237
        """Add a repository to use for looking up data not held locally.
729
 
        
 
1238
 
730
1239
        :param repository: A repository.
731
1240
        """
732
 
        # XXX: At the moment the RemoteRepository will allow fallbacks
733
 
        # unconditionally - however, a _real_repository will usually exist,
734
 
        # and may raise an error if it's not accommodated by the underlying
735
 
        # format.  Eventually we should check when opening the repository
736
 
        # whether it's willing to allow them or not.
737
 
        #
 
1241
        if not self._format.supports_external_lookups:
 
1242
            raise errors.UnstackableRepositoryFormat(
 
1243
                self._format.network_name(), self.base)
738
1244
        # We need to accumulate additional repositories here, to pass them in
739
1245
        # on various RPC's.
 
1246
        #
 
1247
        if self.is_locked():
 
1248
            # We will call fallback.unlock() when we transition to the unlocked
 
1249
            # state, so always add a lock here. If a caller passes us a locked
 
1250
            # repository, they are responsible for unlocking it later.
 
1251
            repository.lock_read()
 
1252
        self._check_fallback_repository(repository)
740
1253
        self._fallback_repositories.append(repository)
741
 
        # They are also seen by the fallback repository.  If it doesn't exist
742
 
        # yet they'll be added then.  This implicitly copies them.
743
 
        self._ensure_real()
 
1254
        # If self._real_repository was parameterised already (e.g. because a
 
1255
        # _real_branch had its get_stacked_on_url method called), then the
 
1256
        # repository to be added may already be in the _real_repositories list.
 
1257
        if self._real_repository is not None:
 
1258
            fallback_locations = [repo.user_url for repo in
 
1259
                self._real_repository._fallback_repositories]
 
1260
            if repository.user_url not in fallback_locations:
 
1261
                self._real_repository.add_fallback_repository(repository)
 
1262
 
 
1263
    def _check_fallback_repository(self, repository):
 
1264
        """Check that this repository can fallback to repository safely.
 
1265
 
 
1266
        Raise an error if not.
 
1267
 
 
1268
        :param repository: A repository to fallback to.
 
1269
        """
 
1270
        return _mod_repository.InterRepository._assert_same_model(
 
1271
            self, repository)
744
1272
 
745
1273
    def add_inventory(self, revid, inv, parents):
746
1274
        self._ensure_real()
747
1275
        return self._real_repository.add_inventory(revid, inv, parents)
748
1276
 
749
1277
    def add_inventory_by_delta(self, basis_revision_id, delta, new_revision_id,
750
 
                               parents):
 
1278
            parents, basis_inv=None, propagate_caches=False):
751
1279
        self._ensure_real()
752
1280
        return self._real_repository.add_inventory_by_delta(basis_revision_id,
753
 
            delta, new_revision_id, parents)
 
1281
            delta, new_revision_id, parents, basis_inv=basis_inv,
 
1282
            propagate_caches=propagate_caches)
754
1283
 
755
1284
    def add_revision(self, rev_id, rev, inv=None, config=None):
756
1285
        self._ensure_real()
762
1291
        self._ensure_real()
763
1292
        return self._real_repository.get_inventory(revision_id)
764
1293
 
765
 
    def iter_inventories(self, revision_ids):
 
1294
    def iter_inventories(self, revision_ids, ordering=None):
766
1295
        self._ensure_real()
767
 
        return self._real_repository.iter_inventories(revision_ids)
 
1296
        return self._real_repository.iter_inventories(revision_ids, ordering)
768
1297
 
769
1298
    @needs_read_lock
770
1299
    def get_revision(self, revision_id):
785
1314
        self._ensure_real()
786
1315
        return self._real_repository.make_working_trees()
787
1316
 
 
1317
    def refresh_data(self):
 
1318
        """Re-read any data needed to synchronise with disk.
 
1319
 
 
1320
        This method is intended to be called after another repository instance
 
1321
        (such as one used by a smart server) has inserted data into the
 
1322
        repository. On all repositories this will work outside of write groups.
 
1323
        Some repository formats (pack and newer for bzrlib native formats)
 
1324
        support refresh_data inside write groups. If called inside a write
 
1325
        group on a repository that does not support refreshing in a write group
 
1326
        IsInWriteGroupError will be raised.
 
1327
        """
 
1328
        if self._real_repository is not None:
 
1329
            self._real_repository.refresh_data()
 
1330
 
788
1331
    def revision_ids_to_search_result(self, result_set):
789
1332
        """Convert a set of revision ids to a graph SearchResult."""
790
1333
        result_parents = set()
801
1344
    @needs_read_lock
802
1345
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
803
1346
        """Return the revision ids that other has that this does not.
804
 
        
 
1347
 
805
1348
        These are returned in topological order.
806
1349
 
807
1350
        revision_id: only return revision ids included by revision_id.
809
1352
        return repository.InterRepository.get(
810
1353
            other, self).search_missing_revision_ids(revision_id, find_ghosts)
811
1354
 
812
 
    def fetch(self, source, revision_id=None, pb=None, find_ghosts=False):
813
 
        # Not delegated to _real_repository so that InterRepository.get has a
814
 
        # chance to find an InterRepository specialised for RemoteRepository.
815
 
        if self.has_same_location(source):
 
1355
    def fetch(self, source, revision_id=None, pb=None, find_ghosts=False,
 
1356
            fetch_spec=None):
 
1357
        # No base implementation to use as RemoteRepository is not a subclass
 
1358
        # of Repository; so this is a copy of Repository.fetch().
 
1359
        if fetch_spec is not None and revision_id is not None:
 
1360
            raise AssertionError(
 
1361
                "fetch_spec and revision_id are mutually exclusive.")
 
1362
        if self.is_in_write_group():
 
1363
            raise errors.InternalBzrError(
 
1364
                "May not fetch while in a write group.")
 
1365
        # fast path same-url fetch operations
 
1366
        if (self.has_same_location(source)
 
1367
            and fetch_spec is None
 
1368
            and self._has_same_fallbacks(source)):
816
1369
            # check that last_revision is in 'from' and then return a
817
1370
            # no-operation.
818
1371
            if (revision_id is not None and
819
1372
                not revision.is_null(revision_id)):
820
1373
                self.get_revision(revision_id)
821
1374
            return 0, []
 
1375
        # if there is no specific appropriate InterRepository, this will get
 
1376
        # the InterRepository base class, which raises an
 
1377
        # IncompatibleRepositories when asked to fetch.
822
1378
        inter = repository.InterRepository.get(source, self)
823
 
        try:
824
 
            return inter.fetch(revision_id=revision_id, pb=pb, find_ghosts=find_ghosts)
825
 
        except NotImplementedError:
826
 
            raise errors.IncompatibleRepositories(source, self)
 
1379
        return inter.fetch(revision_id=revision_id, pb=pb,
 
1380
            find_ghosts=find_ghosts, fetch_spec=fetch_spec)
827
1381
 
828
1382
    def create_bundle(self, target, base, fileobj, format=None):
829
1383
        self._ensure_real()
842
1396
        self._ensure_real()
843
1397
        return self._real_repository._get_versioned_file_checker(
844
1398
            revisions, revision_versions_cache)
845
 
        
 
1399
 
846
1400
    def iter_files_bytes(self, desired_files):
847
1401
        """See Repository.iter_file_bytes.
848
1402
        """
849
1403
        self._ensure_real()
850
1404
        return self._real_repository.iter_files_bytes(desired_files)
851
1405
 
852
 
    @property
853
 
    def _fetch_order(self):
854
 
        """Decorate the real repository for now.
855
 
 
856
 
        In the long term getting this back from the remote repository as part
857
 
        of open would be more efficient.
858
 
        """
859
 
        self._ensure_real()
860
 
        return self._real_repository._fetch_order
861
 
 
862
 
    @property
863
 
    def _fetch_uses_deltas(self):
864
 
        """Decorate the real repository for now.
865
 
 
866
 
        In the long term getting this back from the remote repository as part
867
 
        of open would be more efficient.
868
 
        """
869
 
        self._ensure_real()
870
 
        return self._real_repository._fetch_uses_deltas
871
 
 
872
 
    @property
873
 
    def _fetch_reconcile(self):
874
 
        """Decorate the real repository for now.
875
 
 
876
 
        In the long term getting this back from the remote repository as part
877
 
        of open would be more efficient.
878
 
        """
879
 
        self._ensure_real()
880
 
        return self._real_repository._fetch_reconcile
881
 
 
882
1406
    def get_parent_map(self, revision_ids):
883
1407
        """See bzrlib.Graph.get_parent_map()."""
884
1408
        return self._make_parents_provider().get_parent_map(revision_ids)
890
1414
            # We already found out that the server can't understand
891
1415
            # Repository.get_parent_map requests, so just fetch the whole
892
1416
            # graph.
893
 
            # XXX: Note that this will issue a deprecation warning. This is ok
894
 
            # :- its because we're working with a deprecated server anyway, and
895
 
            # the user will almost certainly have seen a warning about the
896
 
            # server version already.
897
 
            rg = self.get_revision_graph()
898
 
            # There is an api discrepency between get_parent_map and
 
1417
            #
 
1418
            # Note that this reads the whole graph, when only some keys are
 
1419
            # wanted.  On this old server there's no way (?) to get them all
 
1420
            # in one go, and the user probably will have seen a warning about
 
1421
            # the server being old anyhow.
 
1422
            rg = self._get_revision_graph(None)
 
1423
            # There is an API discrepancy between get_parent_map and
899
1424
            # get_revision_graph. Specifically, a "key:()" pair in
900
1425
            # get_revision_graph just means a node has no parents. For
901
1426
            # "get_parent_map" it means the node is a ghost. So fix up the
931
1456
        # TODO: Manage this incrementally to avoid covering the same path
932
1457
        # repeatedly. (The server will have to on each request, but the less
933
1458
        # work done the better).
 
1459
        #
 
1460
        # Negative caching notes:
 
1461
        # new server sends missing when a request including the revid
 
1462
        # 'include-missing:' is present in the request.
 
1463
        # missing keys are serialised as missing:X, and we then call
 
1464
        # provider.note_missing(X) for-all X
934
1465
        parents_map = self._unstacked_provider.get_cached_map()
935
1466
        if parents_map is None:
936
1467
            # Repository is not locked, so there's no cache.
937
1468
            parents_map = {}
 
1469
        # start_set is all the keys in the cache
938
1470
        start_set = set(parents_map)
 
1471
        # result set is all the references to keys in the cache
939
1472
        result_parents = set()
940
1473
        for parents in parents_map.itervalues():
941
1474
            result_parents.update(parents)
942
1475
        stop_keys = result_parents.difference(start_set)
 
1476
        # We don't need to send ghosts back to the server as a position to
 
1477
        # stop either.
 
1478
        stop_keys.difference_update(self._unstacked_provider.missing_keys)
 
1479
        key_count = len(parents_map)
 
1480
        if (NULL_REVISION in result_parents
 
1481
            and NULL_REVISION in self._unstacked_provider.missing_keys):
 
1482
            # If we pruned NULL_REVISION from the stop_keys because it's also
 
1483
            # in our cache of "missing" keys we need to increment our key count
 
1484
            # by 1, because the reconsitituted SearchResult on the server will
 
1485
            # still consider NULL_REVISION to be an included key.
 
1486
            key_count += 1
943
1487
        included_keys = start_set.intersection(result_parents)
944
1488
        start_set.difference_update(included_keys)
945
 
        recipe = (start_set, stop_keys, len(parents_map))
 
1489
        recipe = ('manual', start_set, stop_keys, key_count)
946
1490
        body = self._serialise_search_recipe(recipe)
947
1491
        path = self.bzrdir._path_for_remote_call(self._client)
948
1492
        for key in keys:
950
1494
                raise ValueError(
951
1495
                    "key %r not a plain string" % (key,))
952
1496
        verb = 'Repository.get_parent_map'
953
 
        args = (path,) + tuple(keys)
 
1497
        args = (path, 'include-missing:') + tuple(keys)
954
1498
        try:
955
1499
            response = self._call_with_body_bytes_expecting_body(
956
1500
                verb, args, body)
966
1510
            # To avoid having to disconnect repeatedly, we keep track of the
967
1511
            # fact the server doesn't understand remote methods added in 1.2.
968
1512
            medium._remember_remote_is_before((1, 2))
969
 
            return self.get_revision_graph(None)
 
1513
            # Recurse just once and we should use the fallback code.
 
1514
            return self._get_parent_map_rpc(keys)
970
1515
        response_tuple, response_handler = response
971
1516
        if response_tuple[0] not in ['ok']:
972
1517
            response_handler.cancel_read_body()
983
1528
                if len(d) > 1:
984
1529
                    revision_graph[d[0]] = d[1:]
985
1530
                else:
986
 
                    # No parents - so give the Graph result (NULL_REVISION,).
987
 
                    revision_graph[d[0]] = (NULL_REVISION,)
 
1531
                    # No parents:
 
1532
                    if d[0].startswith('missing:'):
 
1533
                        revid = d[0][8:]
 
1534
                        self._unstacked_provider.note_missing_key(revid)
 
1535
                    else:
 
1536
                        # no parents - so give the Graph result
 
1537
                        # (NULL_REVISION,).
 
1538
                        revision_graph[d[0]] = (NULL_REVISION,)
988
1539
            return revision_graph
989
1540
 
990
1541
    @needs_read_lock
993
1544
        return self._real_repository.get_signature_text(revision_id)
994
1545
 
995
1546
    @needs_read_lock
996
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_three)
997
 
    def get_revision_graph_with_ghosts(self, revision_ids=None):
998
 
        self._ensure_real()
999
 
        return self._real_repository.get_revision_graph_with_ghosts(
1000
 
            revision_ids=revision_ids)
1001
 
 
1002
 
    @needs_read_lock
1003
 
    def get_inventory_xml(self, revision_id):
1004
 
        self._ensure_real()
1005
 
        return self._real_repository.get_inventory_xml(revision_id)
1006
 
 
1007
 
    def deserialise_inventory(self, revision_id, xml):
1008
 
        self._ensure_real()
1009
 
        return self._real_repository.deserialise_inventory(revision_id, xml)
 
1547
    def _get_inventory_xml(self, revision_id):
 
1548
        self._ensure_real()
 
1549
        return self._real_repository._get_inventory_xml(revision_id)
1010
1550
 
1011
1551
    def reconcile(self, other=None, thorough=False):
1012
1552
        self._ensure_real()
1013
1553
        return self._real_repository.reconcile(other=other, thorough=thorough)
1014
 
        
 
1554
 
1015
1555
    def all_revision_ids(self):
1016
1556
        self._ensure_real()
1017
1557
        return self._real_repository.all_revision_ids()
1018
 
    
1019
 
    @needs_read_lock
1020
 
    def get_deltas_for_revisions(self, revisions):
1021
 
        self._ensure_real()
1022
 
        return self._real_repository.get_deltas_for_revisions(revisions)
1023
 
 
1024
 
    @needs_read_lock
1025
 
    def get_revision_delta(self, revision_id):
1026
 
        self._ensure_real()
1027
 
        return self._real_repository.get_revision_delta(revision_id)
 
1558
 
 
1559
    @needs_read_lock
 
1560
    def get_deltas_for_revisions(self, revisions, specific_fileids=None):
 
1561
        self._ensure_real()
 
1562
        return self._real_repository.get_deltas_for_revisions(revisions,
 
1563
            specific_fileids=specific_fileids)
 
1564
 
 
1565
    @needs_read_lock
 
1566
    def get_revision_delta(self, revision_id, specific_fileids=None):
 
1567
        self._ensure_real()
 
1568
        return self._real_repository.get_revision_delta(revision_id,
 
1569
            specific_fileids=specific_fileids)
1028
1570
 
1029
1571
    @needs_read_lock
1030
1572
    def revision_trees(self, revision_ids):
1037
1579
        return self._real_repository.get_revision_reconcile(revision_id)
1038
1580
 
1039
1581
    @needs_read_lock
1040
 
    def check(self, revision_ids=None):
 
1582
    def check(self, revision_ids=None, callback_refs=None, check_repo=True):
1041
1583
        self._ensure_real()
1042
 
        return self._real_repository.check(revision_ids=revision_ids)
 
1584
        return self._real_repository.check(revision_ids=revision_ids,
 
1585
            callback_refs=callback_refs, check_repo=check_repo)
1043
1586
 
1044
1587
    def copy_content_into(self, destination, revision_id=None):
1045
1588
        self._ensure_real()
1085
1628
        return self._real_repository.inventories
1086
1629
 
1087
1630
    @needs_write_lock
1088
 
    def pack(self):
 
1631
    def pack(self, hint=None, clean_obsolete_packs=False):
1089
1632
        """Compress the data within the repository.
1090
1633
 
1091
1634
        This is not currently implemented within the smart server.
1092
1635
        """
1093
1636
        self._ensure_real()
1094
 
        return self._real_repository.pack()
 
1637
        return self._real_repository.pack(hint=hint, clean_obsolete_packs=clean_obsolete_packs)
1095
1638
 
1096
1639
    @property
1097
1640
    def revisions(self):
1106
1649
        return self._real_repository.revisions
1107
1650
 
1108
1651
    def set_make_working_trees(self, new_value):
1109
 
        self._ensure_real()
1110
 
        self._real_repository.set_make_working_trees(new_value)
 
1652
        if new_value:
 
1653
            new_value_str = "True"
 
1654
        else:
 
1655
            new_value_str = "False"
 
1656
        path = self.bzrdir._path_for_remote_call(self._client)
 
1657
        try:
 
1658
            response = self._call(
 
1659
                'Repository.set_make_working_trees', path, new_value_str)
 
1660
        except errors.UnknownSmartMethod:
 
1661
            self._ensure_real()
 
1662
            self._real_repository.set_make_working_trees(new_value)
 
1663
        else:
 
1664
            if response[0] != 'ok':
 
1665
                raise errors.UnexpectedSmartServerResponse(response)
1111
1666
 
1112
1667
    @property
1113
1668
    def signatures(self):
1140
1695
        return self._real_repository.get_revisions(revision_ids)
1141
1696
 
1142
1697
    def supports_rich_root(self):
1143
 
        self._ensure_real()
1144
 
        return self._real_repository.supports_rich_root()
 
1698
        return self._format.rich_root_data
1145
1699
 
1146
1700
    def iter_reverse_revision_history(self, revision_id):
1147
1701
        self._ensure_real()
1149
1703
 
1150
1704
    @property
1151
1705
    def _serializer(self):
1152
 
        self._ensure_real()
1153
 
        return self._real_repository._serializer
 
1706
        return self._format._serializer
1154
1707
 
1155
1708
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
1156
1709
        self._ensure_real()
1175
1728
        self._ensure_real()
1176
1729
        return self._real_repository.revision_graph_can_have_wrong_parents()
1177
1730
 
1178
 
    def _find_inconsistent_revision_parents(self):
 
1731
    def _find_inconsistent_revision_parents(self, revisions_iterator=None):
1179
1732
        self._ensure_real()
1180
 
        return self._real_repository._find_inconsistent_revision_parents()
 
1733
        return self._real_repository._find_inconsistent_revision_parents(
 
1734
            revisions_iterator)
1181
1735
 
1182
1736
    def _check_for_inconsistent_revision_parents(self):
1183
1737
        self._ensure_real()
1189
1743
            providers.insert(0, other)
1190
1744
        providers.extend(r._make_parents_provider() for r in
1191
1745
                         self._fallback_repositories)
1192
 
        return graph._StackedParentsProvider(providers)
 
1746
        return graph.StackedParentsProvider(providers)
1193
1747
 
1194
1748
    def _serialise_search_recipe(self, recipe):
1195
1749
        """Serialise a graph search recipe.
1197
1751
        :param recipe: A search recipe (start, stop, count).
1198
1752
        :return: Serialised bytes.
1199
1753
        """
1200
 
        start_keys = ' '.join(recipe[0])
1201
 
        stop_keys = ' '.join(recipe[1])
1202
 
        count = str(recipe[2])
 
1754
        start_keys = ' '.join(recipe[1])
 
1755
        stop_keys = ' '.join(recipe[2])
 
1756
        count = str(recipe[3])
1203
1757
        return '\n'.join((start_keys, stop_keys, count))
1204
1758
 
 
1759
    def _serialise_search_result(self, search_result):
 
1760
        if isinstance(search_result, graph.PendingAncestryResult):
 
1761
            parts = ['ancestry-of']
 
1762
            parts.extend(search_result.heads)
 
1763
        else:
 
1764
            recipe = search_result.get_recipe()
 
1765
            parts = [recipe[0], self._serialise_search_recipe(recipe)]
 
1766
        return '\n'.join(parts)
 
1767
 
1205
1768
    def autopack(self):
1206
1769
        path = self.bzrdir._path_for_remote_call(self._client)
1207
1770
        try:
1210
1773
            self._ensure_real()
1211
1774
            self._real_repository._pack_collection.autopack()
1212
1775
            return
1213
 
        if self._real_repository is not None:
1214
 
            # Reset the real repository's cache of pack names.
1215
 
            # XXX: At some point we may be able to skip this and just rely on
1216
 
            # the automatic retry logic to do the right thing, but for now we
1217
 
            # err on the side of being correct rather than being optimal.
1218
 
            self._real_repository._pack_collection.reload_pack_names()
 
1776
        self.refresh_data()
1219
1777
        if response[0] != 'ok':
1220
1778
            raise errors.UnexpectedSmartServerResponse(response)
1221
1779
 
1222
1780
 
 
1781
class RemoteStreamSink(repository.StreamSink):
 
1782
 
 
1783
    def _insert_real(self, stream, src_format, resume_tokens):
 
1784
        self.target_repo._ensure_real()
 
1785
        sink = self.target_repo._real_repository._get_sink()
 
1786
        result = sink.insert_stream(stream, src_format, resume_tokens)
 
1787
        if not result:
 
1788
            self.target_repo.autopack()
 
1789
        return result
 
1790
 
 
1791
    def insert_stream(self, stream, src_format, resume_tokens):
 
1792
        target = self.target_repo
 
1793
        target._unstacked_provider.missing_keys.clear()
 
1794
        candidate_calls = [('Repository.insert_stream_1.19', (1, 19))]
 
1795
        if target._lock_token:
 
1796
            candidate_calls.append(('Repository.insert_stream_locked', (1, 14)))
 
1797
            lock_args = (target._lock_token or '',)
 
1798
        else:
 
1799
            candidate_calls.append(('Repository.insert_stream', (1, 13)))
 
1800
            lock_args = ()
 
1801
        client = target._client
 
1802
        medium = client._medium
 
1803
        path = target.bzrdir._path_for_remote_call(client)
 
1804
        # Probe for the verb to use with an empty stream before sending the
 
1805
        # real stream to it.  We do this both to avoid the risk of sending a
 
1806
        # large request that is then rejected, and because we don't want to
 
1807
        # implement a way to buffer, rewind, or restart the stream.
 
1808
        found_verb = False
 
1809
        for verb, required_version in candidate_calls:
 
1810
            if medium._is_remote_before(required_version):
 
1811
                continue
 
1812
            if resume_tokens:
 
1813
                # We've already done the probing (and set _is_remote_before) on
 
1814
                # a previous insert.
 
1815
                found_verb = True
 
1816
                break
 
1817
            byte_stream = smart_repo._stream_to_byte_stream([], src_format)
 
1818
            try:
 
1819
                response = client.call_with_body_stream(
 
1820
                    (verb, path, '') + lock_args, byte_stream)
 
1821
            except errors.UnknownSmartMethod:
 
1822
                medium._remember_remote_is_before(required_version)
 
1823
            else:
 
1824
                found_verb = True
 
1825
                break
 
1826
        if not found_verb:
 
1827
            # Have to use VFS.
 
1828
            return self._insert_real(stream, src_format, resume_tokens)
 
1829
        self._last_inv_record = None
 
1830
        self._last_substream = None
 
1831
        if required_version < (1, 19):
 
1832
            # Remote side doesn't support inventory deltas.  Wrap the stream to
 
1833
            # make sure we don't send any.  If the stream contains inventory
 
1834
            # deltas we'll interrupt the smart insert_stream request and
 
1835
            # fallback to VFS.
 
1836
            stream = self._stop_stream_if_inventory_delta(stream)
 
1837
        byte_stream = smart_repo._stream_to_byte_stream(
 
1838
            stream, src_format)
 
1839
        resume_tokens = ' '.join(resume_tokens)
 
1840
        response = client.call_with_body_stream(
 
1841
            (verb, path, resume_tokens) + lock_args, byte_stream)
 
1842
        if response[0][0] not in ('ok', 'missing-basis'):
 
1843
            raise errors.UnexpectedSmartServerResponse(response)
 
1844
        if self._last_substream is not None:
 
1845
            # The stream included an inventory-delta record, but the remote
 
1846
            # side isn't new enough to support them.  So we need to send the
 
1847
            # rest of the stream via VFS.
 
1848
            self.target_repo.refresh_data()
 
1849
            return self._resume_stream_with_vfs(response, src_format)
 
1850
        if response[0][0] == 'missing-basis':
 
1851
            tokens, missing_keys = bencode.bdecode_as_tuple(response[0][1])
 
1852
            resume_tokens = tokens
 
1853
            return resume_tokens, set(missing_keys)
 
1854
        else:
 
1855
            self.target_repo.refresh_data()
 
1856
            return [], set()
 
1857
 
 
1858
    def _resume_stream_with_vfs(self, response, src_format):
 
1859
        """Resume sending a stream via VFS, first resending the record and
 
1860
        substream that couldn't be sent via an insert_stream verb.
 
1861
        """
 
1862
        if response[0][0] == 'missing-basis':
 
1863
            tokens, missing_keys = bencode.bdecode_as_tuple(response[0][1])
 
1864
            # Ignore missing_keys, we haven't finished inserting yet
 
1865
        else:
 
1866
            tokens = []
 
1867
        def resume_substream():
 
1868
            # Yield the substream that was interrupted.
 
1869
            for record in self._last_substream:
 
1870
                yield record
 
1871
            self._last_substream = None
 
1872
        def resume_stream():
 
1873
            # Finish sending the interrupted substream
 
1874
            yield ('inventory-deltas', resume_substream())
 
1875
            # Then simply continue sending the rest of the stream.
 
1876
            for substream_kind, substream in self._last_stream:
 
1877
                yield substream_kind, substream
 
1878
        return self._insert_real(resume_stream(), src_format, tokens)
 
1879
 
 
1880
    def _stop_stream_if_inventory_delta(self, stream):
 
1881
        """Normally this just lets the original stream pass-through unchanged.
 
1882
 
 
1883
        However if any 'inventory-deltas' substream occurs it will stop
 
1884
        streaming, and store the interrupted substream and stream in
 
1885
        self._last_substream and self._last_stream so that the stream can be
 
1886
        resumed by _resume_stream_with_vfs.
 
1887
        """
 
1888
                    
 
1889
        stream_iter = iter(stream)
 
1890
        for substream_kind, substream in stream_iter:
 
1891
            if substream_kind == 'inventory-deltas':
 
1892
                self._last_substream = substream
 
1893
                self._last_stream = stream_iter
 
1894
                return
 
1895
            else:
 
1896
                yield substream_kind, substream
 
1897
            
 
1898
 
 
1899
class RemoteStreamSource(repository.StreamSource):
 
1900
    """Stream data from a remote server."""
 
1901
 
 
1902
    def get_stream(self, search):
 
1903
        if (self.from_repository._fallback_repositories and
 
1904
            self.to_format._fetch_order == 'topological'):
 
1905
            return self._real_stream(self.from_repository, search)
 
1906
        sources = []
 
1907
        seen = set()
 
1908
        repos = [self.from_repository]
 
1909
        while repos:
 
1910
            repo = repos.pop(0)
 
1911
            if repo in seen:
 
1912
                continue
 
1913
            seen.add(repo)
 
1914
            repos.extend(repo._fallback_repositories)
 
1915
            sources.append(repo)
 
1916
        return self.missing_parents_chain(search, sources)
 
1917
 
 
1918
    def get_stream_for_missing_keys(self, missing_keys):
 
1919
        self.from_repository._ensure_real()
 
1920
        real_repo = self.from_repository._real_repository
 
1921
        real_source = real_repo._get_source(self.to_format)
 
1922
        return real_source.get_stream_for_missing_keys(missing_keys)
 
1923
 
 
1924
    def _real_stream(self, repo, search):
 
1925
        """Get a stream for search from repo.
 
1926
        
 
1927
        This never called RemoteStreamSource.get_stream, and is a heler
 
1928
        for RemoteStreamSource._get_stream to allow getting a stream 
 
1929
        reliably whether fallback back because of old servers or trying
 
1930
        to stream from a non-RemoteRepository (which the stacked support
 
1931
        code will do).
 
1932
        """
 
1933
        source = repo._get_source(self.to_format)
 
1934
        if isinstance(source, RemoteStreamSource):
 
1935
            repo._ensure_real()
 
1936
            source = repo._real_repository._get_source(self.to_format)
 
1937
        return source.get_stream(search)
 
1938
 
 
1939
    def _get_stream(self, repo, search):
 
1940
        """Core worker to get a stream from repo for search.
 
1941
 
 
1942
        This is used by both get_stream and the stacking support logic. It
 
1943
        deliberately gets a stream for repo which does not need to be
 
1944
        self.from_repository. In the event that repo is not Remote, or
 
1945
        cannot do a smart stream, a fallback is made to the generic
 
1946
        repository._get_stream() interface, via self._real_stream.
 
1947
 
 
1948
        In the event of stacking, streams from _get_stream will not
 
1949
        contain all the data for search - this is normal (see get_stream).
 
1950
 
 
1951
        :param repo: A repository.
 
1952
        :param search: A search.
 
1953
        """
 
1954
        # Fallbacks may be non-smart
 
1955
        if not isinstance(repo, RemoteRepository):
 
1956
            return self._real_stream(repo, search)
 
1957
        client = repo._client
 
1958
        medium = client._medium
 
1959
        path = repo.bzrdir._path_for_remote_call(client)
 
1960
        search_bytes = repo._serialise_search_result(search)
 
1961
        args = (path, self.to_format.network_name())
 
1962
        candidate_verbs = [
 
1963
            ('Repository.get_stream_1.19', (1, 19)),
 
1964
            ('Repository.get_stream', (1, 13))]
 
1965
        found_verb = False
 
1966
        for verb, version in candidate_verbs:
 
1967
            if medium._is_remote_before(version):
 
1968
                continue
 
1969
            try:
 
1970
                response = repo._call_with_body_bytes_expecting_body(
 
1971
                    verb, args, search_bytes)
 
1972
            except errors.UnknownSmartMethod:
 
1973
                medium._remember_remote_is_before(version)
 
1974
            else:
 
1975
                response_tuple, response_handler = response
 
1976
                found_verb = True
 
1977
                break
 
1978
        if not found_verb:
 
1979
            return self._real_stream(repo, search)
 
1980
        if response_tuple[0] != 'ok':
 
1981
            raise errors.UnexpectedSmartServerResponse(response_tuple)
 
1982
        byte_stream = response_handler.read_streamed_body()
 
1983
        src_format, stream = smart_repo._byte_stream_to_stream(byte_stream,
 
1984
            self._record_counter)
 
1985
        if src_format.network_name() != repo._format.network_name():
 
1986
            raise AssertionError(
 
1987
                "Mismatched RemoteRepository and stream src %r, %r" % (
 
1988
                src_format.network_name(), repo._format.network_name()))
 
1989
        return stream
 
1990
 
 
1991
    def missing_parents_chain(self, search, sources):
 
1992
        """Chain multiple streams together to handle stacking.
 
1993
 
 
1994
        :param search: The overall search to satisfy with streams.
 
1995
        :param sources: A list of Repository objects to query.
 
1996
        """
 
1997
        self.from_serialiser = self.from_repository._format._serializer
 
1998
        self.seen_revs = set()
 
1999
        self.referenced_revs = set()
 
2000
        # If there are heads in the search, or the key count is > 0, we are not
 
2001
        # done.
 
2002
        while not search.is_empty() and len(sources) > 1:
 
2003
            source = sources.pop(0)
 
2004
            stream = self._get_stream(source, search)
 
2005
            for kind, substream in stream:
 
2006
                if kind != 'revisions':
 
2007
                    yield kind, substream
 
2008
                else:
 
2009
                    yield kind, self.missing_parents_rev_handler(substream)
 
2010
            search = search.refine(self.seen_revs, self.referenced_revs)
 
2011
            self.seen_revs = set()
 
2012
            self.referenced_revs = set()
 
2013
        if not search.is_empty():
 
2014
            for kind, stream in self._get_stream(sources[0], search):
 
2015
                yield kind, stream
 
2016
 
 
2017
    def missing_parents_rev_handler(self, substream):
 
2018
        for content in substream:
 
2019
            revision_bytes = content.get_bytes_as('fulltext')
 
2020
            revision = self.from_serialiser.read_revision_from_string(
 
2021
                revision_bytes)
 
2022
            self.seen_revs.add(content.key[-1])
 
2023
            self.referenced_revs.update(revision.parent_ids)
 
2024
            yield content
 
2025
 
 
2026
 
1223
2027
class RemoteBranchLockableFiles(LockableFiles):
1224
2028
    """A 'LockableFiles' implementation that talks to a smart server.
1225
 
    
 
2029
 
1226
2030
    This is not a public interface class.
1227
2031
    """
1228
2032
 
1242
2046
 
1243
2047
class RemoteBranchFormat(branch.BranchFormat):
1244
2048
 
1245
 
    def __init__(self):
 
2049
    def __init__(self, network_name=None):
1246
2050
        super(RemoteBranchFormat, self).__init__()
1247
2051
        self._matchingbzrdir = RemoteBzrDirFormat()
1248
2052
        self._matchingbzrdir.set_branch_format(self)
 
2053
        self._custom_format = None
 
2054
        self._network_name = network_name
1249
2055
 
1250
2056
    def __eq__(self, other):
1251
 
        return (isinstance(other, RemoteBranchFormat) and 
 
2057
        return (isinstance(other, RemoteBranchFormat) and
1252
2058
            self.__dict__ == other.__dict__)
1253
2059
 
 
2060
    def _ensure_real(self):
 
2061
        if self._custom_format is None:
 
2062
            self._custom_format = branch.network_format_registry.get(
 
2063
                self._network_name)
 
2064
 
1254
2065
    def get_format_description(self):
1255
 
        return 'Remote BZR Branch'
1256
 
 
1257
 
    def get_format_string(self):
1258
 
        return 'Remote BZR Branch'
1259
 
 
1260
 
    def open(self, a_bzrdir):
1261
 
        return a_bzrdir.open_branch()
1262
 
 
1263
 
    def initialize(self, a_bzrdir):
1264
 
        return a_bzrdir.create_branch()
 
2066
        self._ensure_real()
 
2067
        return 'Remote: ' + self._custom_format.get_format_description()
 
2068
 
 
2069
    def network_name(self):
 
2070
        return self._network_name
 
2071
 
 
2072
    def open(self, a_bzrdir, name=None, ignore_fallbacks=False):
 
2073
        return a_bzrdir.open_branch(name=name, 
 
2074
            ignore_fallbacks=ignore_fallbacks)
 
2075
 
 
2076
    def _vfs_initialize(self, a_bzrdir, name):
 
2077
        # Initialisation when using a local bzrdir object, or a non-vfs init
 
2078
        # method is not available on the server.
 
2079
        # self._custom_format is always set - the start of initialize ensures
 
2080
        # that.
 
2081
        if isinstance(a_bzrdir, RemoteBzrDir):
 
2082
            a_bzrdir._ensure_real()
 
2083
            result = self._custom_format.initialize(a_bzrdir._real_bzrdir,
 
2084
                name)
 
2085
        else:
 
2086
            # We assume the bzrdir is parameterised; it may not be.
 
2087
            result = self._custom_format.initialize(a_bzrdir, name)
 
2088
        if (isinstance(a_bzrdir, RemoteBzrDir) and
 
2089
            not isinstance(result, RemoteBranch)):
 
2090
            result = RemoteBranch(a_bzrdir, a_bzrdir.find_repository(), result,
 
2091
                                  name=name)
 
2092
        return result
 
2093
 
 
2094
    def initialize(self, a_bzrdir, name=None):
 
2095
        # 1) get the network name to use.
 
2096
        if self._custom_format:
 
2097
            network_name = self._custom_format.network_name()
 
2098
        else:
 
2099
            # Select the current bzrlib default and ask for that.
 
2100
            reference_bzrdir_format = bzrdir.format_registry.get('default')()
 
2101
            reference_format = reference_bzrdir_format.get_branch_format()
 
2102
            self._custom_format = reference_format
 
2103
            network_name = reference_format.network_name()
 
2104
        # Being asked to create on a non RemoteBzrDir:
 
2105
        if not isinstance(a_bzrdir, RemoteBzrDir):
 
2106
            return self._vfs_initialize(a_bzrdir, name=name)
 
2107
        medium = a_bzrdir._client._medium
 
2108
        if medium._is_remote_before((1, 13)):
 
2109
            return self._vfs_initialize(a_bzrdir, name=name)
 
2110
        # Creating on a remote bzr dir.
 
2111
        # 2) try direct creation via RPC
 
2112
        path = a_bzrdir._path_for_remote_call(a_bzrdir._client)
 
2113
        if name is not None:
 
2114
            # XXX JRV20100304: Support creating colocated branches
 
2115
            raise errors.NoColocatedBranchSupport(self)
 
2116
        verb = 'BzrDir.create_branch'
 
2117
        try:
 
2118
            response = a_bzrdir._call(verb, path, network_name)
 
2119
        except errors.UnknownSmartMethod:
 
2120
            # Fallback - use vfs methods
 
2121
            medium._remember_remote_is_before((1, 13))
 
2122
            return self._vfs_initialize(a_bzrdir, name=name)
 
2123
        if response[0] != 'ok':
 
2124
            raise errors.UnexpectedSmartServerResponse(response)
 
2125
        # Turn the response into a RemoteRepository object.
 
2126
        format = RemoteBranchFormat(network_name=response[1])
 
2127
        repo_format = response_tuple_to_repo_format(response[3:])
 
2128
        if response[2] == '':
 
2129
            repo_bzrdir = a_bzrdir
 
2130
        else:
 
2131
            repo_bzrdir = RemoteBzrDir(
 
2132
                a_bzrdir.root_transport.clone(response[2]), a_bzrdir._format,
 
2133
                a_bzrdir._client)
 
2134
        remote_repo = RemoteRepository(repo_bzrdir, repo_format)
 
2135
        remote_branch = RemoteBranch(a_bzrdir, remote_repo,
 
2136
            format=format, setup_stacking=False, name=name)
 
2137
        # XXX: We know this is a new branch, so it must have revno 0, revid
 
2138
        # NULL_REVISION. Creating the branch locked would make this be unable
 
2139
        # to be wrong; here its simply very unlikely to be wrong. RBC 20090225
 
2140
        remote_branch._last_revision_info_cache = 0, NULL_REVISION
 
2141
        return remote_branch
 
2142
 
 
2143
    def make_tags(self, branch):
 
2144
        self._ensure_real()
 
2145
        return self._custom_format.make_tags(branch)
1265
2146
 
1266
2147
    def supports_tags(self):
1267
2148
        # Remote branches might support tags, but we won't know until we
1268
2149
        # access the real remote branch.
1269
 
        return True
1270
 
 
1271
 
 
1272
 
class RemoteBranch(branch.Branch, _RpcHelper):
 
2150
        self._ensure_real()
 
2151
        return self._custom_format.supports_tags()
 
2152
 
 
2153
    def supports_stacking(self):
 
2154
        self._ensure_real()
 
2155
        return self._custom_format.supports_stacking()
 
2156
 
 
2157
    def supports_set_append_revisions_only(self):
 
2158
        self._ensure_real()
 
2159
        return self._custom_format.supports_set_append_revisions_only()
 
2160
 
 
2161
 
 
2162
class RemoteBranch(branch.Branch, _RpcHelper, lock._RelockDebugMixin):
1273
2163
    """Branch stored on a server accessed by HPSS RPC.
1274
2164
 
1275
2165
    At the moment most operations are mapped down to simple file operations.
1276
2166
    """
1277
2167
 
1278
2168
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
1279
 
        _client=None):
 
2169
        _client=None, format=None, setup_stacking=True, name=None):
1280
2170
        """Create a RemoteBranch instance.
1281
2171
 
1282
2172
        :param real_branch: An optional local implementation of the branch
1283
2173
            format, usually accessing the data via the VFS.
1284
2174
        :param _client: Private parameter for testing.
 
2175
        :param format: A RemoteBranchFormat object, None to create one
 
2176
            automatically. If supplied it should have a network_name already
 
2177
            supplied.
 
2178
        :param setup_stacking: If True make an RPC call to determine the
 
2179
            stacked (or not) status of the branch. If False assume the branch
 
2180
            is not stacked.
 
2181
        :param name: Colocated branch name
1285
2182
        """
1286
2183
        # We intentionally don't call the parent class's __init__, because it
1287
2184
        # will try to assign to self.tags, which is a property in this subclass.
1288
2185
        # And the parent's __init__ doesn't do much anyway.
1289
 
        self._revision_id_to_revno_cache = None
1290
 
        self._partial_revision_id_to_revno_cache = {}
1291
 
        self._revision_history_cache = None
1292
 
        self._last_revision_info_cache = None
1293
 
        self._merge_sorted_revisions_cache = None
1294
2186
        self.bzrdir = remote_bzrdir
1295
2187
        if _client is not None:
1296
2188
            self._client = _client
1309
2201
            self._real_branch.repository = self.repository
1310
2202
        else:
1311
2203
            self._real_branch = None
1312
 
        # Fill out expected attributes of branch for bzrlib api users.
1313
 
        self._format = RemoteBranchFormat()
1314
 
        self.base = self.bzrdir.root_transport.base
 
2204
        # Fill out expected attributes of branch for bzrlib API users.
 
2205
        self._clear_cached_state()
 
2206
        # TODO: deprecate self.base in favor of user_url
 
2207
        self.base = self.bzrdir.user_url
 
2208
        self._name = name
1315
2209
        self._control_files = None
1316
2210
        self._lock_mode = None
1317
2211
        self._lock_token = None
1318
2212
        self._repo_lock_token = None
1319
2213
        self._lock_count = 0
1320
2214
        self._leave_lock = False
 
2215
        # Setup a format: note that we cannot call _ensure_real until all the
 
2216
        # attributes above are set: This code cannot be moved higher up in this
 
2217
        # function.
 
2218
        if format is None:
 
2219
            self._format = RemoteBranchFormat()
 
2220
            if real_branch is not None:
 
2221
                self._format._network_name = \
 
2222
                    self._real_branch._format.network_name()
 
2223
        else:
 
2224
            self._format = format
 
2225
        # when we do _ensure_real we may need to pass ignore_fallbacks to the
 
2226
        # branch.open_branch method.
 
2227
        self._real_ignore_fallbacks = not setup_stacking
 
2228
        if not self._format._network_name:
 
2229
            # Did not get from open_branchV2 - old server.
 
2230
            self._ensure_real()
 
2231
            self._format._network_name = \
 
2232
                self._real_branch._format.network_name()
 
2233
        self.tags = self._format.make_tags(self)
1321
2234
        # The base class init is not called, so we duplicate this:
1322
2235
        hooks = branch.Branch.hooks['open']
1323
2236
        for hook in hooks:
1324
2237
            hook(self)
1325
 
        self._setup_stacking()
 
2238
        self._is_stacked = False
 
2239
        if setup_stacking:
 
2240
            self._setup_stacking()
1326
2241
 
1327
2242
    def _setup_stacking(self):
1328
2243
        # configure stacking into the remote repository, by reading it from
1332
2247
        except (errors.NotStacked, errors.UnstackableBranchFormat,
1333
2248
            errors.UnstackableRepositoryFormat), e:
1334
2249
            return
1335
 
        # it's relative to this branch...
1336
 
        fallback_url = urlutils.join(self.base, fallback_url)
1337
 
        transports = [self.bzrdir.root_transport]
1338
 
        if self._real_branch is not None:
1339
 
            transports.append(self._real_branch._transport)
1340
 
        stacked_on = branch.Branch.open(fallback_url,
1341
 
                                        possible_transports=transports)
1342
 
        self.repository.add_fallback_repository(stacked_on.repository)
 
2250
        self._is_stacked = True
 
2251
        self._activate_fallback_location(fallback_url)
 
2252
 
 
2253
    def _get_config(self):
 
2254
        return RemoteBranchConfig(self)
1343
2255
 
1344
2256
    def _get_real_transport(self):
1345
2257
        # if we try vfs access, return the real branch's vfs transport
1363
2275
                raise AssertionError('smart server vfs must be enabled '
1364
2276
                    'to use vfs implementation')
1365
2277
            self.bzrdir._ensure_real()
1366
 
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
 
2278
            self._real_branch = self.bzrdir._real_bzrdir.open_branch(
 
2279
                ignore_fallbacks=self._real_ignore_fallbacks, name=self._name)
1367
2280
            if self.repository._real_repository is None:
1368
2281
                # Give the remote repository the matching real repo.
1369
2282
                real_repo = self._real_branch.repository
1398
2311
        too, in fact doing so might harm performance.
1399
2312
        """
1400
2313
        super(RemoteBranch, self)._clear_cached_state()
1401
 
        
 
2314
 
1402
2315
    @property
1403
2316
    def control_files(self):
1404
2317
        # Defer actually creating RemoteBranchLockableFiles until its needed,
1443
2356
            raise errors.UnexpectedSmartServerResponse(response)
1444
2357
        return response[1]
1445
2358
 
 
2359
    def set_stacked_on_url(self, url):
 
2360
        branch.Branch.set_stacked_on_url(self, url)
 
2361
        if not url:
 
2362
            self._is_stacked = False
 
2363
        else:
 
2364
            self._is_stacked = True
 
2365
        
 
2366
    def _vfs_get_tags_bytes(self):
 
2367
        self._ensure_real()
 
2368
        return self._real_branch._get_tags_bytes()
 
2369
 
 
2370
    def _get_tags_bytes(self):
 
2371
        medium = self._client._medium
 
2372
        if medium._is_remote_before((1, 13)):
 
2373
            return self._vfs_get_tags_bytes()
 
2374
        try:
 
2375
            response = self._call('Branch.get_tags_bytes', self._remote_path())
 
2376
        except errors.UnknownSmartMethod:
 
2377
            medium._remember_remote_is_before((1, 13))
 
2378
            return self._vfs_get_tags_bytes()
 
2379
        return response[0]
 
2380
 
 
2381
    def _vfs_set_tags_bytes(self, bytes):
 
2382
        self._ensure_real()
 
2383
        return self._real_branch._set_tags_bytes(bytes)
 
2384
 
 
2385
    def _set_tags_bytes(self, bytes):
 
2386
        medium = self._client._medium
 
2387
        if medium._is_remote_before((1, 18)):
 
2388
            self._vfs_set_tags_bytes(bytes)
 
2389
            return
 
2390
        try:
 
2391
            args = (
 
2392
                self._remote_path(), self._lock_token, self._repo_lock_token)
 
2393
            response = self._call_with_body_bytes(
 
2394
                'Branch.set_tags_bytes', args, bytes)
 
2395
        except errors.UnknownSmartMethod:
 
2396
            medium._remember_remote_is_before((1, 18))
 
2397
            self._vfs_set_tags_bytes(bytes)
 
2398
 
1446
2399
    def lock_read(self):
 
2400
        """Lock the branch for read operations.
 
2401
 
 
2402
        :return: A bzrlib.lock.LogicalLockResult.
 
2403
        """
1447
2404
        self.repository.lock_read()
1448
2405
        if not self._lock_mode:
 
2406
            self._note_lock('r')
1449
2407
            self._lock_mode = 'r'
1450
2408
            self._lock_count = 1
1451
2409
            if self._real_branch is not None:
1452
2410
                self._real_branch.lock_read()
1453
2411
        else:
1454
2412
            self._lock_count += 1
 
2413
        return lock.LogicalLockResult(self.unlock)
1455
2414
 
1456
2415
    def _remote_lock_write(self, token):
1457
2416
        if token is None:
1458
2417
            branch_token = repo_token = ''
1459
2418
        else:
1460
2419
            branch_token = token
1461
 
            repo_token = self.repository.lock_write()
 
2420
            repo_token = self.repository.lock_write().repository_token
1462
2421
            self.repository.unlock()
1463
2422
        err_context = {'token': token}
1464
 
        response = self._call(
1465
 
            'Branch.lock_write', self._remote_path(), branch_token,
1466
 
            repo_token or '', **err_context)
 
2423
        try:
 
2424
            response = self._call(
 
2425
                'Branch.lock_write', self._remote_path(), branch_token,
 
2426
                repo_token or '', **err_context)
 
2427
        except errors.LockContention, e:
 
2428
            # The LockContention from the server doesn't have any
 
2429
            # information about the lock_url. We re-raise LockContention
 
2430
            # with valid lock_url.
 
2431
            raise errors.LockContention('(remote lock)',
 
2432
                self.repository.base.split('.bzr/')[0])
1467
2433
        if response[0] != 'ok':
1468
2434
            raise errors.UnexpectedSmartServerResponse(response)
1469
2435
        ok, branch_token, repo_token = response
1470
2436
        return branch_token, repo_token
1471
 
            
 
2437
 
1472
2438
    def lock_write(self, token=None):
1473
2439
        if not self._lock_mode:
 
2440
            self._note_lock('w')
1474
2441
            # Lock the branch and repo in one remote call.
1475
2442
            remote_tokens = self._remote_lock_write(token)
1476
2443
            self._lock_token, self._repo_lock_token = remote_tokens
1489
2456
            self._lock_mode = 'w'
1490
2457
            self._lock_count = 1
1491
2458
        elif self._lock_mode == 'r':
1492
 
            raise errors.ReadOnlyTransaction
 
2459
            raise errors.ReadOnlyError(self)
1493
2460
        else:
1494
2461
            if token is not None:
1495
2462
                # A token was given to lock_write, and we're relocking, so
1500
2467
            self._lock_count += 1
1501
2468
            # Re-lock the repository too.
1502
2469
            self.repository.lock_write(self._repo_lock_token)
1503
 
        return self._lock_token or None
 
2470
        return BranchWriteLockResult(self.unlock, self._lock_token or None)
1504
2471
 
1505
2472
    def _unlock(self, branch_token, repo_token):
1506
2473
        err_context = {'token': str((branch_token, repo_token))}
1511
2478
            return
1512
2479
        raise errors.UnexpectedSmartServerResponse(response)
1513
2480
 
 
2481
    @only_raises(errors.LockNotHeld, errors.LockBroken)
1514
2482
    def unlock(self):
1515
2483
        try:
1516
2484
            self._lock_count -= 1
1529
2497
                    self._real_branch.unlock()
1530
2498
                if mode != 'w':
1531
2499
                    # Only write-locked branched need to make a remote method
1532
 
                    # call to perfom the unlock.
 
2500
                    # call to perform the unlock.
1533
2501
                    return
1534
2502
                if not self._lock_token:
1535
2503
                    raise AssertionError('Locked, but no token!')
1556
2524
            raise NotImplementedError(self.dont_leave_lock_in_place)
1557
2525
        self._leave_lock = False
1558
2526
 
 
2527
    @needs_read_lock
 
2528
    def get_rev_id(self, revno, history=None):
 
2529
        if revno == 0:
 
2530
            return _mod_revision.NULL_REVISION
 
2531
        last_revision_info = self.last_revision_info()
 
2532
        ok, result = self.repository.get_rev_id_for_revno(
 
2533
            revno, last_revision_info)
 
2534
        if ok:
 
2535
            return result
 
2536
        missing_parent = result[1]
 
2537
        # Either the revision named by the server is missing, or its parent
 
2538
        # is.  Call get_parent_map to determine which, so that we report a
 
2539
        # useful error.
 
2540
        parent_map = self.repository.get_parent_map([missing_parent])
 
2541
        if missing_parent in parent_map:
 
2542
            missing_parent = parent_map[missing_parent]
 
2543
        raise errors.RevisionNotPresent(missing_parent, self.repository)
 
2544
 
1559
2545
    def _last_revision_info(self):
1560
2546
        response = self._call('Branch.last_revision_info', self._remote_path())
1561
2547
        if response[0] != 'ok':
1566
2552
 
1567
2553
    def _gen_revision_history(self):
1568
2554
        """See Branch._gen_revision_history()."""
 
2555
        if self._is_stacked:
 
2556
            self._ensure_real()
 
2557
            return self._real_branch._gen_revision_history()
1569
2558
        response_tuple, response_handler = self._call_expecting_body(
1570
2559
            'Branch.revision_history', self._remote_path())
1571
2560
        if response_tuple[0] != 'ok':
1580
2569
 
1581
2570
    def _set_last_revision_descendant(self, revision_id, other_branch,
1582
2571
            allow_diverged=False, allow_overwrite_descendant=False):
 
2572
        # This performs additional work to meet the hook contract; while its
 
2573
        # undesirable, we have to synthesise the revno to call the hook, and
 
2574
        # not calling the hook is worse as it means changes can't be prevented.
 
2575
        # Having calculated this though, we can't just call into
 
2576
        # set_last_revision_info as a simple call, because there is a set_rh
 
2577
        # hook that some folk may still be using.
 
2578
        old_revno, old_revid = self.last_revision_info()
 
2579
        history = self._lefthand_history(revision_id)
 
2580
        self._run_pre_change_branch_tip_hooks(len(history), revision_id)
1583
2581
        err_context = {'other_branch': other_branch}
1584
2582
        response = self._call('Branch.set_last_revision_ex',
1585
2583
            self._remote_path(), self._lock_token, self._repo_lock_token,
1590
2588
            raise errors.UnexpectedSmartServerResponse(response)
1591
2589
        new_revno, new_revision_id = response[1:]
1592
2590
        self._last_revision_info_cache = new_revno, new_revision_id
 
2591
        self._run_post_change_branch_tip_hooks(old_revno, old_revid)
1593
2592
        if self._real_branch is not None:
1594
2593
            cache = new_revno, new_revision_id
1595
2594
            self._real_branch._last_revision_info_cache = cache
1596
2595
 
1597
2596
    def _set_last_revision(self, revision_id):
 
2597
        old_revno, old_revid = self.last_revision_info()
 
2598
        # This performs additional work to meet the hook contract; while its
 
2599
        # undesirable, we have to synthesise the revno to call the hook, and
 
2600
        # not calling the hook is worse as it means changes can't be prevented.
 
2601
        # Having calculated this though, we can't just call into
 
2602
        # set_last_revision_info as a simple call, because there is a set_rh
 
2603
        # hook that some folk may still be using.
 
2604
        history = self._lefthand_history(revision_id)
 
2605
        self._run_pre_change_branch_tip_hooks(len(history), revision_id)
1598
2606
        self._clear_cached_state()
1599
2607
        response = self._call('Branch.set_last_revision',
1600
2608
            self._remote_path(), self._lock_token, self._repo_lock_token,
1601
2609
            revision_id)
1602
2610
        if response != ('ok',):
1603
2611
            raise errors.UnexpectedSmartServerResponse(response)
 
2612
        self._run_post_change_branch_tip_hooks(old_revno, old_revid)
1604
2613
 
1605
2614
    @needs_write_lock
1606
2615
    def set_revision_history(self, rev_history):
1612
2621
        else:
1613
2622
            rev_id = rev_history[-1]
1614
2623
        self._set_last_revision(rev_id)
 
2624
        for hook in branch.Branch.hooks['set_rh']:
 
2625
            hook(self, rev_history)
1615
2626
        self._cache_revision_history(rev_history)
1616
2627
 
1617
 
    def get_parent(self):
1618
 
        self._ensure_real()
1619
 
        return self._real_branch.get_parent()
1620
 
        
1621
 
    def set_parent(self, url):
1622
 
        self._ensure_real()
1623
 
        return self._real_branch.set_parent(url)
1624
 
        
1625
 
    def set_stacked_on_url(self, stacked_location):
1626
 
        """Set the URL this branch is stacked against.
1627
 
 
1628
 
        :raises UnstackableBranchFormat: If the branch does not support
1629
 
            stacking.
1630
 
        :raises UnstackableRepositoryFormat: If the repository does not support
1631
 
            stacking.
1632
 
        """
1633
 
        self._ensure_real()
1634
 
        return self._real_branch.set_stacked_on_url(stacked_location)
1635
 
 
1636
 
    def sprout(self, to_bzrdir, revision_id=None):
1637
 
        branch_format = to_bzrdir._format._branch_format
1638
 
        if (branch_format is None or
1639
 
            isinstance(branch_format, RemoteBranchFormat)):
1640
 
            # The to_bzrdir specifies RemoteBranchFormat (or no format, which
1641
 
            # implies the same thing), but RemoteBranches can't be created at
1642
 
            # arbitrary URLs.  So create a branch in the same format as
1643
 
            # _real_branch instead.
1644
 
            # XXX: if to_bzrdir is a RemoteBzrDir, this should perhaps do
1645
 
            # to_bzrdir.create_branch to create a RemoteBranch after all...
1646
 
            self._ensure_real()
1647
 
            result = self._real_branch._format.initialize(to_bzrdir)
1648
 
            self.copy_content_into(result, revision_id=revision_id)
1649
 
            result.set_parent(self.bzrdir.root_transport.base)
1650
 
        else:
1651
 
            result = branch.Branch.sprout(
1652
 
                self, to_bzrdir, revision_id=revision_id)
1653
 
        return result
 
2628
    def _get_parent_location(self):
 
2629
        medium = self._client._medium
 
2630
        if medium._is_remote_before((1, 13)):
 
2631
            return self._vfs_get_parent_location()
 
2632
        try:
 
2633
            response = self._call('Branch.get_parent', self._remote_path())
 
2634
        except errors.UnknownSmartMethod:
 
2635
            medium._remember_remote_is_before((1, 13))
 
2636
            return self._vfs_get_parent_location()
 
2637
        if len(response) != 1:
 
2638
            raise errors.UnexpectedSmartServerResponse(response)
 
2639
        parent_location = response[0]
 
2640
        if parent_location == '':
 
2641
            return None
 
2642
        return parent_location
 
2643
 
 
2644
    def _vfs_get_parent_location(self):
 
2645
        self._ensure_real()
 
2646
        return self._real_branch._get_parent_location()
 
2647
 
 
2648
    def _set_parent_location(self, url):
 
2649
        medium = self._client._medium
 
2650
        if medium._is_remote_before((1, 15)):
 
2651
            return self._vfs_set_parent_location(url)
 
2652
        try:
 
2653
            call_url = url or ''
 
2654
            if type(call_url) is not str:
 
2655
                raise AssertionError('url must be a str or None (%s)' % url)
 
2656
            response = self._call('Branch.set_parent_location',
 
2657
                self._remote_path(), self._lock_token, self._repo_lock_token,
 
2658
                call_url)
 
2659
        except errors.UnknownSmartMethod:
 
2660
            medium._remember_remote_is_before((1, 15))
 
2661
            return self._vfs_set_parent_location(url)
 
2662
        if response != ():
 
2663
            raise errors.UnexpectedSmartServerResponse(response)
 
2664
 
 
2665
    def _vfs_set_parent_location(self, url):
 
2666
        self._ensure_real()
 
2667
        return self._real_branch._set_parent_location(url)
1654
2668
 
1655
2669
    @needs_write_lock
1656
2670
    def pull(self, source, overwrite=False, stop_revision=None,
1678
2692
 
1679
2693
    @needs_write_lock
1680
2694
    def set_last_revision_info(self, revno, revision_id):
 
2695
        # XXX: These should be returned by the set_last_revision_info verb
 
2696
        old_revno, old_revid = self.last_revision_info()
 
2697
        self._run_pre_change_branch_tip_hooks(revno, revision_id)
1681
2698
        revision_id = ensure_null(revision_id)
1682
2699
        try:
1683
2700
            response = self._call('Branch.set_last_revision_info',
1692
2709
        if response == ('ok',):
1693
2710
            self._clear_cached_state()
1694
2711
            self._last_revision_info_cache = revno, revision_id
 
2712
            self._run_post_change_branch_tip_hooks(old_revno, old_revid)
1695
2713
            # Update the _real_branch's cache too.
1696
2714
            if self._real_branch is not None:
1697
2715
                cache = self._last_revision_info_cache
1704
2722
                                  other_branch=None):
1705
2723
        medium = self._client._medium
1706
2724
        if not medium._is_remote_before((1, 6)):
 
2725
            # Use a smart method for 1.6 and above servers
1707
2726
            try:
1708
2727
                self._set_last_revision_descendant(revision_id, other_branch,
1709
2728
                    allow_diverged=True, allow_overwrite_descendant=True)
1711
2730
            except errors.UnknownSmartMethod:
1712
2731
                medium._remember_remote_is_before((1, 6))
1713
2732
        self._clear_cached_state_of_remote_branch_only()
1714
 
        self._ensure_real()
1715
 
        self._real_branch.generate_revision_history(
1716
 
            revision_id, last_rev=last_rev, other_branch=other_branch)
1717
 
 
1718
 
    @property
1719
 
    def tags(self):
1720
 
        self._ensure_real()
1721
 
        return self._real_branch.tags
 
2733
        self.set_revision_history(self._lefthand_history(revision_id,
 
2734
            last_rev=last_rev,other_branch=other_branch))
1722
2735
 
1723
2736
    def set_push_location(self, location):
1724
2737
        self._ensure_real()
1725
2738
        return self._real_branch.set_push_location(location)
1726
2739
 
1727
 
    @needs_write_lock
1728
 
    def update_revisions(self, other, stop_revision=None, overwrite=False,
1729
 
                         graph=None):
1730
 
        """See Branch.update_revisions."""
1731
 
        other.lock_read()
 
2740
 
 
2741
class RemoteConfig(object):
 
2742
    """A Config that reads and writes from smart verbs.
 
2743
 
 
2744
    It is a low-level object that considers config data to be name/value pairs
 
2745
    that may be associated with a section. Assigning meaning to the these
 
2746
    values is done at higher levels like bzrlib.config.TreeConfig.
 
2747
    """
 
2748
 
 
2749
    def get_option(self, name, section=None, default=None):
 
2750
        """Return the value associated with a named option.
 
2751
 
 
2752
        :param name: The name of the value
 
2753
        :param section: The section the option is in (if any)
 
2754
        :param default: The value to return if the value is not set
 
2755
        :return: The value or default value
 
2756
        """
1732
2757
        try:
1733
 
            if stop_revision is None:
1734
 
                stop_revision = other.last_revision()
1735
 
                if revision.is_null(stop_revision):
1736
 
                    # if there are no commits, we're done.
1737
 
                    return
1738
 
            self.fetch(other, stop_revision)
1739
 
 
1740
 
            if overwrite:
1741
 
                # Just unconditionally set the new revision.  We don't care if
1742
 
                # the branches have diverged.
1743
 
                self._set_last_revision(stop_revision)
 
2758
            configobj = self._get_configobj()
 
2759
            if section is None:
 
2760
                section_obj = configobj
1744
2761
            else:
1745
 
                medium = self._client._medium
1746
 
                if not medium._is_remote_before((1, 6)):
1747
 
                    try:
1748
 
                        self._set_last_revision_descendant(stop_revision, other)
1749
 
                        return
1750
 
                    except errors.UnknownSmartMethod:
1751
 
                        medium._remember_remote_is_before((1, 6))
1752
 
                # Fallback for pre-1.6 servers: check for divergence
1753
 
                # client-side, then do _set_last_revision.
1754
 
                last_rev = revision.ensure_null(self.last_revision())
1755
 
                if graph is None:
1756
 
                    graph = self.repository.get_graph()
1757
 
                if self._check_if_descendant_or_diverged(
1758
 
                        stop_revision, last_rev, graph, other):
1759
 
                    # stop_revision is a descendant of last_rev, but we aren't
1760
 
                    # overwriting, so we're done.
1761
 
                    return
1762
 
                self._set_last_revision(stop_revision)
1763
 
        finally:
1764
 
            other.unlock()
 
2762
                try:
 
2763
                    section_obj = configobj[section]
 
2764
                except KeyError:
 
2765
                    return default
 
2766
            return section_obj.get(name, default)
 
2767
        except errors.UnknownSmartMethod:
 
2768
            return self._vfs_get_option(name, section, default)
 
2769
 
 
2770
    def _response_to_configobj(self, response):
 
2771
        if len(response[0]) and response[0][0] != 'ok':
 
2772
            raise errors.UnexpectedSmartServerResponse(response)
 
2773
        lines = response[1].read_body_bytes().splitlines()
 
2774
        return config.ConfigObj(lines, encoding='utf-8')
 
2775
 
 
2776
 
 
2777
class RemoteBranchConfig(RemoteConfig):
 
2778
    """A RemoteConfig for Branches."""
 
2779
 
 
2780
    def __init__(self, branch):
 
2781
        self._branch = branch
 
2782
 
 
2783
    def _get_configobj(self):
 
2784
        path = self._branch._remote_path()
 
2785
        response = self._branch._client.call_expecting_body(
 
2786
            'Branch.get_config_file', path)
 
2787
        return self._response_to_configobj(response)
 
2788
 
 
2789
    def set_option(self, value, name, section=None):
 
2790
        """Set the value associated with a named option.
 
2791
 
 
2792
        :param value: The value to set
 
2793
        :param name: The name of the value to set
 
2794
        :param section: The section the option is in (if any)
 
2795
        """
 
2796
        medium = self._branch._client._medium
 
2797
        if medium._is_remote_before((1, 14)):
 
2798
            return self._vfs_set_option(value, name, section)
 
2799
        if isinstance(value, dict):
 
2800
            if medium._is_remote_before((2, 2)):
 
2801
                return self._vfs_set_option(value, name, section)
 
2802
            return self._set_config_option_dict(value, name, section)
 
2803
        else:
 
2804
            return self._set_config_option(value, name, section)
 
2805
 
 
2806
    def _set_config_option(self, value, name, section):
 
2807
        try:
 
2808
            path = self._branch._remote_path()
 
2809
            response = self._branch._client.call('Branch.set_config_option',
 
2810
                path, self._branch._lock_token, self._branch._repo_lock_token,
 
2811
                value.encode('utf8'), name, section or '')
 
2812
        except errors.UnknownSmartMethod:
 
2813
            medium = self._branch._client._medium
 
2814
            medium._remember_remote_is_before((1, 14))
 
2815
            return self._vfs_set_option(value, name, section)
 
2816
        if response != ():
 
2817
            raise errors.UnexpectedSmartServerResponse(response)
 
2818
 
 
2819
    def _serialize_option_dict(self, option_dict):
 
2820
        utf8_dict = {}
 
2821
        for key, value in option_dict.items():
 
2822
            if isinstance(key, unicode):
 
2823
                key = key.encode('utf8')
 
2824
            if isinstance(value, unicode):
 
2825
                value = value.encode('utf8')
 
2826
            utf8_dict[key] = value
 
2827
        return bencode.bencode(utf8_dict)
 
2828
 
 
2829
    def _set_config_option_dict(self, value, name, section):
 
2830
        try:
 
2831
            path = self._branch._remote_path()
 
2832
            serialised_dict = self._serialize_option_dict(value)
 
2833
            response = self._branch._client.call(
 
2834
                'Branch.set_config_option_dict',
 
2835
                path, self._branch._lock_token, self._branch._repo_lock_token,
 
2836
                serialised_dict, name, section or '')
 
2837
        except errors.UnknownSmartMethod:
 
2838
            medium = self._branch._client._medium
 
2839
            medium._remember_remote_is_before((2, 2))
 
2840
            return self._vfs_set_option(value, name, section)
 
2841
        if response != ():
 
2842
            raise errors.UnexpectedSmartServerResponse(response)
 
2843
 
 
2844
    def _real_object(self):
 
2845
        self._branch._ensure_real()
 
2846
        return self._branch._real_branch
 
2847
 
 
2848
    def _vfs_set_option(self, value, name, section=None):
 
2849
        return self._real_object()._get_config().set_option(
 
2850
            value, name, section)
 
2851
 
 
2852
 
 
2853
class RemoteBzrDirConfig(RemoteConfig):
 
2854
    """A RemoteConfig for BzrDirs."""
 
2855
 
 
2856
    def __init__(self, bzrdir):
 
2857
        self._bzrdir = bzrdir
 
2858
 
 
2859
    def _get_configobj(self):
 
2860
        medium = self._bzrdir._client._medium
 
2861
        verb = 'BzrDir.get_config_file'
 
2862
        if medium._is_remote_before((1, 15)):
 
2863
            raise errors.UnknownSmartMethod(verb)
 
2864
        path = self._bzrdir._path_for_remote_call(self._bzrdir._client)
 
2865
        response = self._bzrdir._call_expecting_body(
 
2866
            verb, path)
 
2867
        return self._response_to_configobj(response)
 
2868
 
 
2869
    def _vfs_get_option(self, name, section, default):
 
2870
        return self._real_object()._get_config().get_option(
 
2871
            name, section, default)
 
2872
 
 
2873
    def set_option(self, value, name, section=None):
 
2874
        """Set the value associated with a named option.
 
2875
 
 
2876
        :param value: The value to set
 
2877
        :param name: The name of the value to set
 
2878
        :param section: The section the option is in (if any)
 
2879
        """
 
2880
        return self._real_object()._get_config().set_option(
 
2881
            value, name, section)
 
2882
 
 
2883
    def _real_object(self):
 
2884
        self._bzrdir._ensure_real()
 
2885
        return self._bzrdir._real_bzrdir
 
2886
 
1765
2887
 
1766
2888
 
1767
2889
def _extract_tar(tar, to_dir):
1807
2929
                    'Missing key %r in context %r', key_err.args[0], context)
1808
2930
                raise err
1809
2931
 
1810
 
    if err.error_verb == 'NoSuchRevision':
 
2932
    if err.error_verb == 'IncompatibleRepositories':
 
2933
        raise errors.IncompatibleRepositories(err.error_args[0],
 
2934
            err.error_args[1], err.error_args[2])
 
2935
    elif err.error_verb == 'NoSuchRevision':
1811
2936
        raise NoSuchRevision(find('branch'), err.error_args[0])
1812
2937
    elif err.error_verb == 'nosuchrevision':
1813
2938
        raise NoSuchRevision(find('repository'), err.error_args[0])
1814
 
    elif err.error_tuple == ('nobranch',):
1815
 
        raise errors.NotBranchError(path=find('bzrdir').root_transport.base)
 
2939
    elif err.error_verb == 'nobranch':
 
2940
        if len(err.error_args) >= 1:
 
2941
            extra = err.error_args[0]
 
2942
        else:
 
2943
            extra = None
 
2944
        raise errors.NotBranchError(path=find('bzrdir').root_transport.base,
 
2945
            detail=extra)
1816
2946
    elif err.error_verb == 'norepository':
1817
2947
        raise errors.NoRepositoryPresent(find('bzrdir'))
1818
2948
    elif err.error_verb == 'LockContention':