← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Martin Pool
  • Date: 2010-04-23 00:44:15 UTC
  • mto: This revision was merged to the branch mainline in revision 5189.
  • Revision ID: mbp@canonical.com-20100423004415-py8ozrtkjo6tphj2
Update more code to use user_transport when it should

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/remote.py
1
 
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2006-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
 
# TODO: At some point, handle upgrades by just passing the whole request
18
 
# across to run on the server.
19
 
 
20
17
import bz2
21
18
 
22
19
from bzrlib import (
 
20
    bencode,
23
21
    branch,
24
22
    bzrdir,
 
23
    config,
25
24
    debug,
26
25
    errors,
27
26
    graph,
 
27
    lock,
28
28
    lockdir,
29
 
    pack,
30
29
    repository,
31
30
    revision,
 
31
    revision as _mod_revision,
 
32
    static_tuple,
32
33
    symbol_versioning,
33
 
    urlutils,
34
34
)
35
35
from bzrlib.branch import BranchReferenceFormat
36
36
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
37
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
37
from bzrlib.decorators import needs_read_lock, needs_write_lock, only_raises
38
38
from bzrlib.errors import (
39
39
    NoSuchRevision,
40
40
    SmartProtocolError,
43
43
from bzrlib.smart import client, vfs, repository as smart_repo
44
44
from bzrlib.revision import ensure_null, NULL_REVISION
45
45
from bzrlib.trace import mutter, note, warning
46
 
from bzrlib.util import bencode
47
46
 
48
47
 
49
48
class _RpcHelper(object):
61
60
        except errors.ErrorFromSmartServer, err:
62
61
            self._translate_error(err, **err_context)
63
62
 
 
63
    def _call_with_body_bytes(self, method, args, body_bytes, **err_context):
 
64
        try:
 
65
            return self._client.call_with_body_bytes(method, args, body_bytes)
 
66
        except errors.ErrorFromSmartServer, err:
 
67
            self._translate_error(err, **err_context)
 
68
 
64
69
    def _call_with_body_bytes_expecting_body(self, method, args, body_bytes,
65
70
                                             **err_context):
66
71
        try:
85
90
class RemoteBzrDir(BzrDir, _RpcHelper):
86
91
    """Control directory on a remote server, accessed via bzr:// or similar."""
87
92
 
88
 
    def __init__(self, transport, format, _client=None):
 
93
    def __init__(self, transport, format, _client=None, _force_probe=False):
89
94
        """Construct a RemoteBzrDir.
90
95
 
91
96
        :param _client: Private parameter for testing. Disables probing and the
95
100
        # this object holds a delegated bzrdir that uses file-level operations
96
101
        # to talk to the other side
97
102
        self._real_bzrdir = None
 
103
        self._has_working_tree = None
98
104
        # 1-shot cache for the call pattern 'create_branch; open_branch' - see
99
105
        # create_branch for details.
100
106
        self._next_open_branch_result = None
104
110
            self._client = client._SmartClient(medium)
105
111
        else:
106
112
            self._client = _client
107
 
            return
108
 
 
 
113
            if not _force_probe:
 
114
                return
 
115
 
 
116
        self._probe_bzrdir()
 
117
 
 
118
    def __repr__(self):
 
119
        return '%s(%r)' % (self.__class__.__name__, self._client)
 
120
 
 
121
    def _probe_bzrdir(self):
 
122
        medium = self._client._medium
109
123
        path = self._path_for_remote_call(self._client)
 
124
        if medium._is_remote_before((2, 1)):
 
125
            self._rpc_open(path)
 
126
            return
 
127
        try:
 
128
            self._rpc_open_2_1(path)
 
129
            return
 
130
        except errors.UnknownSmartMethod:
 
131
            medium._remember_remote_is_before((2, 1))
 
132
            self._rpc_open(path)
 
133
 
 
134
    def _rpc_open_2_1(self, path):
 
135
        response = self._call('BzrDir.open_2.1', path)
 
136
        if response == ('no',):
 
137
            raise errors.NotBranchError(path=self.root_transport.base)
 
138
        elif response[0] == 'yes':
 
139
            if response[1] == 'yes':
 
140
                self._has_working_tree = True
 
141
            elif response[1] == 'no':
 
142
                self._has_working_tree = False
 
143
            else:
 
144
                raise errors.UnexpectedSmartServerResponse(response)
 
145
        else:
 
146
            raise errors.UnexpectedSmartServerResponse(response)
 
147
 
 
148
    def _rpc_open(self, path):
110
149
        response = self._call('BzrDir.open', path)
111
150
        if response not in [('yes',), ('no',)]:
112
151
            raise errors.UnexpectedSmartServerResponse(response)
113
152
        if response == ('no',):
114
 
            raise errors.NotBranchError(path=transport.base)
 
153
            raise errors.NotBranchError(path=self.root_transport.base)
115
154
 
116
155
    def _ensure_real(self):
117
156
        """Ensure that there is a _real_bzrdir set.
119
158
        Used before calls to self._real_bzrdir.
120
159
        """
121
160
        if not self._real_bzrdir:
 
161
            if 'hpssvfs' in debug.debug_flags:
 
162
                import traceback
 
163
                warning('VFS BzrDir access triggered\n%s',
 
164
                    ''.join(traceback.format_stack()))
122
165
            self._real_bzrdir = BzrDir.open_from_transport(
123
166
                self.root_transport, _server_formats=False)
124
167
            self._format._network_name = \
200
243
        self._ensure_real()
201
244
        self._real_bzrdir.destroy_repository()
202
245
 
203
 
    def create_branch(self):
 
246
    def create_branch(self, name=None):
204
247
        # as per meta1 formats - just delegate to the format object which may
205
248
        # be parameterised.
206
 
        real_branch = self._format.get_branch_format().initialize(self)
 
249
        real_branch = self._format.get_branch_format().initialize(self,
 
250
            name=name)
207
251
        if not isinstance(real_branch, RemoteBranch):
208
 
            result = RemoteBranch(self, self.find_repository(), real_branch)
 
252
            result = RemoteBranch(self, self.find_repository(), real_branch,
 
253
                                  name=name)
209
254
        else:
210
255
            result = real_branch
211
256
        # BzrDir.clone_on_transport() uses the result of create_branch but does
217
262
        self._next_open_branch_result = result
218
263
        return result
219
264
 
220
 
    def destroy_branch(self):
 
265
    def destroy_branch(self, name=None):
221
266
        """See BzrDir.destroy_branch"""
222
267
        self._ensure_real()
223
 
        self._real_bzrdir.destroy_branch()
 
268
        self._real_bzrdir.destroy_branch(name=name)
224
269
        self._next_open_branch_result = None
225
270
 
226
271
    def create_workingtree(self, revision_id=None, from_branch=None):
245
290
    def _get_branch_reference(self):
246
291
        path = self._path_for_remote_call(self._client)
247
292
        medium = self._client._medium
248
 
        if not medium._is_remote_before((1, 13)):
 
293
        candidate_calls = [
 
294
            ('BzrDir.open_branchV3', (2, 1)),
 
295
            ('BzrDir.open_branchV2', (1, 13)),
 
296
            ('BzrDir.open_branch', None),
 
297
            ]
 
298
        for verb, required_version in candidate_calls:
 
299
            if required_version and medium._is_remote_before(required_version):
 
300
                continue
249
301
            try:
250
 
                response = self._call('BzrDir.open_branchV2', path)
251
 
                if response[0] not in ('ref', 'branch'):
252
 
                    raise errors.UnexpectedSmartServerResponse(response)
253
 
                return response
 
302
                response = self._call(verb, path)
254
303
            except errors.UnknownSmartMethod:
255
 
                medium._remember_remote_is_before((1, 13))
256
 
        response = self._call('BzrDir.open_branch', path)
257
 
        if response[0] != 'ok':
 
304
                if required_version is None:
 
305
                    raise
 
306
                medium._remember_remote_is_before(required_version)
 
307
            else:
 
308
                break
 
309
        if verb == 'BzrDir.open_branch':
 
310
            if response[0] != 'ok':
 
311
                raise errors.UnexpectedSmartServerResponse(response)
 
312
            if response[1] != '':
 
313
                return ('ref', response[1])
 
314
            else:
 
315
                return ('branch', '')
 
316
        if response[0] not in ('ref', 'branch'):
258
317
            raise errors.UnexpectedSmartServerResponse(response)
259
 
        if response[1] != '':
260
 
            return ('ref', response[1])
261
 
        else:
262
 
            return ('branch', '')
 
318
        return response
263
319
 
264
320
    def _get_tree_branch(self):
265
321
        """See BzrDir._get_tree_branch()."""
266
322
        return None, self.open_branch()
267
323
 
268
 
    def open_branch(self, _unsupported=False, ignore_fallbacks=False):
269
 
        if _unsupported:
 
324
    def open_branch(self, name=None, unsupported=False,
 
325
                    ignore_fallbacks=False):
 
326
        if unsupported:
270
327
            raise NotImplementedError('unsupported flag support not implemented yet.')
271
328
        if self._next_open_branch_result is not None:
272
329
            # See create_branch for details.
277
334
        if response[0] == 'ref':
278
335
            # a branch reference, use the existing BranchReference logic.
279
336
            format = BranchReferenceFormat()
280
 
            return format.open(self, _found=True, location=response[1],
281
 
                ignore_fallbacks=ignore_fallbacks)
 
337
            return format.open(self, name=name, _found=True,
 
338
                location=response[1], ignore_fallbacks=ignore_fallbacks)
282
339
        branch_format_name = response[1]
283
340
        if not branch_format_name:
284
341
            branch_format_name = None
285
342
        format = RemoteBranchFormat(network_name=branch_format_name)
286
343
        return RemoteBranch(self, self.find_repository(), format=format,
287
 
            setup_stacking=not ignore_fallbacks)
 
344
            setup_stacking=not ignore_fallbacks, name=name)
288
345
 
289
346
    def _open_repo_v1(self, path):
290
347
        verb = 'BzrDir.find_repository'
351
408
        else:
352
409
            raise errors.NoRepositoryPresent(self)
353
410
 
 
411
    def has_workingtree(self):
 
412
        if self._has_working_tree is None:
 
413
            self._ensure_real()
 
414
            self._has_working_tree = self._real_bzrdir.has_workingtree()
 
415
        return self._has_working_tree
 
416
 
354
417
    def open_workingtree(self, recommend_upgrade=True):
355
 
        self._ensure_real()
356
 
        if self._real_bzrdir.has_workingtree():
 
418
        if self.has_workingtree():
357
419
            raise errors.NotLocalUrl(self.root_transport)
358
420
        else:
359
421
            raise errors.NoWorkingTree(self.root_transport.base)
362
424
        """Return the path to be used for this bzrdir in a remote call."""
363
425
        return client.remote_path_from_transport(self.root_transport)
364
426
 
365
 
    def get_branch_transport(self, branch_format):
 
427
    def get_branch_transport(self, branch_format, name=None):
366
428
        self._ensure_real()
367
 
        return self._real_bzrdir.get_branch_transport(branch_format)
 
429
        return self._real_bzrdir.get_branch_transport(branch_format, name=name)
368
430
 
369
431
    def get_repository_transport(self, repository_format):
370
432
        self._ensure_real()
391
453
        return self._real_bzrdir.clone(url, revision_id=revision_id,
392
454
            force_new_repo=force_new_repo, preserve_stacking=preserve_stacking)
393
455
 
394
 
    def get_config(self):
395
 
        self._ensure_real()
396
 
        return self._real_bzrdir.get_config()
 
456
    def _get_config(self):
 
457
        return RemoteBzrDirConfig(self)
397
458
 
398
459
 
399
460
class RemoteRepositoryFormat(repository.RepositoryFormat):
423
484
        self._custom_format = None
424
485
        self._network_name = None
425
486
        self._creating_bzrdir = None
 
487
        self._supports_chks = None
426
488
        self._supports_external_lookups = None
427
489
        self._supports_tree_reference = None
428
490
        self._rich_root_data = None
429
491
 
 
492
    def __repr__(self):
 
493
        return "%s(_network_name=%r)" % (self.__class__.__name__,
 
494
            self._network_name)
 
495
 
430
496
    @property
431
497
    def fast_deltas(self):
432
498
        self._ensure_real()
440
506
        return self._rich_root_data
441
507
 
442
508
    @property
 
509
    def supports_chks(self):
 
510
        if self._supports_chks is None:
 
511
            self._ensure_real()
 
512
            self._supports_chks = self._custom_format.supports_chks
 
513
        return self._supports_chks
 
514
 
 
515
    @property
443
516
    def supports_external_lookups(self):
444
517
        if self._supports_external_lookups is None:
445
518
            self._ensure_real()
491
564
        # 1) get the network name to use.
492
565
        if self._custom_format:
493
566
            network_name = self._custom_format.network_name()
 
567
        elif self._network_name:
 
568
            network_name = self._network_name
494
569
        else:
495
570
            # Select the current bzrlib default and ask for that.
496
571
            reference_bzrdir_format = bzrdir.format_registry.get('default')()
544
619
        return self._custom_format._fetch_reconcile
545
620
 
546
621
    def get_format_description(self):
547
 
        return 'bzr remote repository'
 
622
        self._ensure_real()
 
623
        return 'Remote: ' + self._custom_format.get_format_description()
548
624
 
549
625
    def __eq__(self, other):
550
626
        return self.__class__ is other.__class__
551
627
 
552
 
    def check_conversion_target(self, target_format):
553
 
        if self.rich_root_data and not target_format.rich_root_data:
554
 
            raise errors.BadConversionTarget(
555
 
                'Does not support rich root data.', target_format)
556
 
        if (self.supports_tree_reference and
557
 
            not getattr(target_format, 'supports_tree_reference', False)):
558
 
            raise errors.BadConversionTarget(
559
 
                'Does not support nested trees', target_format)
560
 
 
561
628
    def network_name(self):
562
629
        if self._network_name:
563
630
            return self._network_name
565
632
        return self._creating_repo._real_repository._format.network_name()
566
633
 
567
634
    @property
 
635
    def pack_compresses(self):
 
636
        self._ensure_real()
 
637
        return self._custom_format.pack_compresses
 
638
 
 
639
    @property
568
640
    def _serializer(self):
569
641
        self._ensure_real()
570
642
        return self._custom_format._serializer
571
643
 
572
644
 
573
 
class RemoteRepository(_RpcHelper):
 
645
class RemoteRepository(_RpcHelper, lock._RelockDebugMixin,
 
646
    bzrdir.ControlComponent):
574
647
    """Repository accessed over rpc.
575
648
 
576
649
    For the moment most operations are performed using local transport-backed
602
675
        self._lock_token = None
603
676
        self._lock_count = 0
604
677
        self._leave_lock = False
 
678
        # Cache of revision parents; misses are cached during read locks, and
 
679
        # write locks when no _real_repository has been set.
605
680
        self._unstacked_provider = graph.CachingParentsProvider(
606
681
            get_parent_map=self._get_parent_map_rpc)
607
682
        self._unstacked_provider.disable_cache()
617
692
        # Additional places to query for data.
618
693
        self._fallback_repositories = []
619
694
 
 
695
    @property
 
696
    def user_transport(self):
 
697
        return self.bzrdir.user_transport
 
698
 
 
699
    @property
 
700
    def control_transport(self):
 
701
        # XXX: Normally you shouldn't directly get at the remote repository
 
702
        # transport, but I'm not sure it's worth making this method
 
703
        # optional -- mbp 2010-04-21
 
704
        return self.bzrdir.get_repository_transport(None)
 
705
        
620
706
    def __str__(self):
621
707
        return "%s(%s)" % (self.__class__.__name__, self.base)
622
708
 
625
711
    def abort_write_group(self, suppress_errors=False):
626
712
        """Complete a write group on the decorated repository.
627
713
 
628
 
        Smart methods peform operations in a single step so this api
 
714
        Smart methods perform operations in a single step so this API
629
715
        is not really applicable except as a compatibility thunk
630
716
        for older plugins that don't use e.g. the CommitBuilder
631
717
        facility.
649
735
    def commit_write_group(self):
650
736
        """Complete a write group on the decorated repository.
651
737
 
652
 
        Smart methods peform operations in a single step so this api
 
738
        Smart methods perform operations in a single step so this API
653
739
        is not really applicable except as a compatibility thunk
654
740
        for older plugins that don't use e.g. the CommitBuilder
655
741
        facility.
665
751
        self._ensure_real()
666
752
        return self._real_repository.suspend_write_group()
667
753
 
 
754
    def get_missing_parent_inventories(self, check_for_missing_texts=True):
 
755
        self._ensure_real()
 
756
        return self._real_repository.get_missing_parent_inventories(
 
757
            check_for_missing_texts=check_for_missing_texts)
 
758
 
 
759
    def _get_rev_id_for_revno_vfs(self, revno, known_pair):
 
760
        self._ensure_real()
 
761
        return self._real_repository.get_rev_id_for_revno(
 
762
            revno, known_pair)
 
763
 
 
764
    def get_rev_id_for_revno(self, revno, known_pair):
 
765
        """See Repository.get_rev_id_for_revno."""
 
766
        path = self.bzrdir._path_for_remote_call(self._client)
 
767
        try:
 
768
            if self._client._medium._is_remote_before((1, 17)):
 
769
                return self._get_rev_id_for_revno_vfs(revno, known_pair)
 
770
            response = self._call(
 
771
                'Repository.get_rev_id_for_revno', path, revno, known_pair)
 
772
        except errors.UnknownSmartMethod:
 
773
            self._client._medium._remember_remote_is_before((1, 17))
 
774
            return self._get_rev_id_for_revno_vfs(revno, known_pair)
 
775
        if response[0] == 'ok':
 
776
            return True, response[1]
 
777
        elif response[0] == 'history-incomplete':
 
778
            known_pair = response[1:3]
 
779
            for fallback in self._fallback_repositories:
 
780
                found, result = fallback.get_rev_id_for_revno(revno, known_pair)
 
781
                if found:
 
782
                    return True, result
 
783
                else:
 
784
                    known_pair = result
 
785
            # Not found in any fallbacks
 
786
            return False, known_pair
 
787
        else:
 
788
            raise errors.UnexpectedSmartServerResponse(response)
 
789
 
668
790
    def _ensure_real(self):
669
791
        """Ensure that there is a _real_repository set.
670
792
 
679
801
        invocation. If in doubt chat to the bzr network team.
680
802
        """
681
803
        if self._real_repository is None:
 
804
            if 'hpssvfs' in debug.debug_flags:
 
805
                import traceback
 
806
                warning('VFS Repository access triggered\n%s',
 
807
                    ''.join(traceback.format_stack()))
 
808
            self._unstacked_provider.missing_keys.clear()
682
809
            self.bzrdir._ensure_real()
683
810
            self._set_real_repository(
684
811
                self.bzrdir._real_bzrdir.open_repository())
744
871
        """Return a source for streaming from this repository."""
745
872
        return RemoteStreamSource(self, to_format)
746
873
 
 
874
    @needs_read_lock
747
875
    def has_revision(self, revision_id):
748
 
        """See Repository.has_revision()."""
749
 
        if revision_id == NULL_REVISION:
750
 
            # The null revision is always present.
751
 
            return True
752
 
        path = self.bzrdir._path_for_remote_call(self._client)
753
 
        response = self._call('Repository.has_revision', path, revision_id)
754
 
        if response[0] not in ('yes', 'no'):
755
 
            raise errors.UnexpectedSmartServerResponse(response)
756
 
        if response[0] == 'yes':
757
 
            return True
758
 
        for fallback_repo in self._fallback_repositories:
759
 
            if fallback_repo.has_revision(revision_id):
760
 
                return True
761
 
        return False
 
876
        """True if this repository has a copy of the revision."""
 
877
        # Copy of bzrlib.repository.Repository.has_revision
 
878
        return revision_id in self.has_revisions((revision_id,))
762
879
 
 
880
    @needs_read_lock
763
881
    def has_revisions(self, revision_ids):
764
 
        """See Repository.has_revisions()."""
765
 
        # FIXME: This does many roundtrips, particularly when there are
766
 
        # fallback repositories.  -- mbp 20080905
767
 
        result = set()
768
 
        for revision_id in revision_ids:
769
 
            if self.has_revision(revision_id):
770
 
                result.add(revision_id)
 
882
        """Probe to find out the presence of multiple revisions.
 
883
 
 
884
        :param revision_ids: An iterable of revision_ids.
 
885
        :return: A set of the revision_ids that were present.
 
886
        """
 
887
        # Copy of bzrlib.repository.Repository.has_revisions
 
888
        parent_map = self.get_parent_map(revision_ids)
 
889
        result = set(parent_map)
 
890
        if _mod_revision.NULL_REVISION in revision_ids:
 
891
            result.add(_mod_revision.NULL_REVISION)
771
892
        return result
772
893
 
 
894
    def _has_same_fallbacks(self, other_repo):
 
895
        """Returns true if the repositories have the same fallbacks."""
 
896
        # XXX: copied from Repository; it should be unified into a base class
 
897
        # <https://bugs.edge.launchpad.net/bzr/+bug/401622>
 
898
        my_fb = self._fallback_repositories
 
899
        other_fb = other_repo._fallback_repositories
 
900
        if len(my_fb) != len(other_fb):
 
901
            return False
 
902
        for f, g in zip(my_fb, other_fb):
 
903
            if not f.has_same_location(g):
 
904
                return False
 
905
        return True
 
906
 
773
907
    def has_same_location(self, other):
 
908
        # TODO: Move to RepositoryBase and unify with the regular Repository
 
909
        # one; unfortunately the tests rely on slightly different behaviour at
 
910
        # present -- mbp 20090710
774
911
        return (self.__class__ is other.__class__ and
775
912
                self.bzrdir.transport.base == other.bzrdir.transport.base)
776
913
 
779
916
        parents_provider = self._make_parents_provider(other_repository)
780
917
        return graph.Graph(parents_provider)
781
918
 
 
919
    @needs_read_lock
 
920
    def get_known_graph_ancestry(self, revision_ids):
 
921
        """Return the known graph for a set of revision ids and their ancestors.
 
922
        """
 
923
        st = static_tuple.StaticTuple
 
924
        revision_keys = [st(r_id).intern() for r_id in revision_ids]
 
925
        known_graph = self.revisions.get_known_graph_ancestry(revision_keys)
 
926
        return graph.GraphThunkIdsToKeys(known_graph)
 
927
 
782
928
    def gather_stats(self, revid=None, committers=None):
783
929
        """See Repository.gather_stats()."""
784
930
        path = self.bzrdir._path_for_remote_call(self._client)
844
990
    def is_write_locked(self):
845
991
        return self._lock_mode == 'w'
846
992
 
 
993
    def _warn_if_deprecated(self, branch=None):
 
994
        # If we have a real repository, the check will be done there, if we
 
995
        # don't the check will be done remotely.
 
996
        pass
 
997
 
847
998
    def lock_read(self):
848
999
        # wrong eventually - want a local lock cache context
849
1000
        if not self._lock_mode:
 
1001
            self._note_lock('r')
850
1002
            self._lock_mode = 'r'
851
1003
            self._lock_count = 1
852
1004
            self._unstacked_provider.enable_cache(cache_misses=True)
853
1005
            if self._real_repository is not None:
854
1006
                self._real_repository.lock_read()
 
1007
            for repo in self._fallback_repositories:
 
1008
                repo.lock_read()
855
1009
        else:
856
1010
            self._lock_count += 1
857
1011
 
870
1024
 
871
1025
    def lock_write(self, token=None, _skip_rpc=False):
872
1026
        if not self._lock_mode:
 
1027
            self._note_lock('w')
873
1028
            if _skip_rpc:
874
1029
                if self._lock_token is not None:
875
1030
                    if token != self._lock_token:
889
1044
                self._leave_lock = False
890
1045
            self._lock_mode = 'w'
891
1046
            self._lock_count = 1
892
 
            self._unstacked_provider.enable_cache(cache_misses=False)
 
1047
            cache_misses = self._real_repository is None
 
1048
            self._unstacked_provider.enable_cache(cache_misses=cache_misses)
 
1049
            for repo in self._fallback_repositories:
 
1050
                # Writes don't affect fallback repos
 
1051
                repo.lock_read()
893
1052
        elif self._lock_mode == 'r':
894
1053
            raise errors.ReadOnlyError(self)
895
1054
        else:
921
1080
        if isinstance(repository, RemoteRepository):
922
1081
            raise AssertionError()
923
1082
        self._real_repository = repository
924
 
        # If the _real_repository has _fallback_repositories, clear them out,
925
 
        # because we want it to have the same set as this repository.  This is
926
 
        # reasonable to do because the fallbacks we clear here are from a
927
 
        # "real" branch, and we're about to replace them with the equivalents
928
 
        # from a RemoteBranch.
929
 
        self._real_repository._fallback_repositories = []
 
1083
        # three code paths happen here:
 
1084
        # 1) old servers, RemoteBranch.open() calls _ensure_real before setting
 
1085
        # up stacking. In this case self._fallback_repositories is [], and the
 
1086
        # real repo is already setup. Preserve the real repo and
 
1087
        # RemoteRepository.add_fallback_repository will avoid adding
 
1088
        # duplicates.
 
1089
        # 2) new servers, RemoteBranch.open() sets up stacking, and when
 
1090
        # ensure_real is triggered from a branch, the real repository to
 
1091
        # set already has a matching list with separate instances, but
 
1092
        # as they are also RemoteRepositories we don't worry about making the
 
1093
        # lists be identical.
 
1094
        # 3) new servers, RemoteRepository.ensure_real is triggered before
 
1095
        # RemoteBranch.ensure real, in this case we get a repo with no fallbacks
 
1096
        # and need to populate it.
 
1097
        if (self._fallback_repositories and
 
1098
            len(self._real_repository._fallback_repositories) !=
 
1099
            len(self._fallback_repositories)):
 
1100
            if len(self._real_repository._fallback_repositories):
 
1101
                raise AssertionError(
 
1102
                    "cannot cleanly remove existing _fallback_repositories")
930
1103
        for fb in self._fallback_repositories:
931
1104
            self._real_repository.add_fallback_repository(fb)
932
1105
        if self._lock_mode == 'w':
939
1112
    def start_write_group(self):
940
1113
        """Start a write group on the decorated repository.
941
1114
 
942
 
        Smart methods peform operations in a single step so this api
 
1115
        Smart methods perform operations in a single step so this API
943
1116
        is not really applicable except as a compatibility thunk
944
1117
        for older plugins that don't use e.g. the CommitBuilder
945
1118
        facility.
960
1133
        else:
961
1134
            raise errors.UnexpectedSmartServerResponse(response)
962
1135
 
 
1136
    @only_raises(errors.LockNotHeld, errors.LockBroken)
963
1137
    def unlock(self):
964
1138
        if not self._lock_count:
965
 
            raise errors.LockNotHeld(self)
 
1139
            return lock.cant_unlock_not_held(self)
966
1140
        self._lock_count -= 1
967
1141
        if self._lock_count > 0:
968
1142
            return
982
1156
            # problem releasing the vfs-based lock.
983
1157
            if old_mode == 'w':
984
1158
                # Only write-locked repositories need to make a remote method
985
 
                # call to perfom the unlock.
 
1159
                # call to perform the unlock.
986
1160
                old_token = self._lock_token
987
1161
                self._lock_token = None
988
1162
                if not self._leave_lock:
989
1163
                    self._unlock(old_token)
 
1164
        # Fallbacks are always 'lock_read()' so we don't pay attention to
 
1165
        # self._leave_lock
 
1166
        for repo in self._fallback_repositories:
 
1167
            repo.unlock()
990
1168
 
991
1169
    def break_lock(self):
992
1170
        # should hand off to the network
1056
1234
        # We need to accumulate additional repositories here, to pass them in
1057
1235
        # on various RPC's.
1058
1236
        #
 
1237
        if self.is_locked():
 
1238
            # We will call fallback.unlock() when we transition to the unlocked
 
1239
            # state, so always add a lock here. If a caller passes us a locked
 
1240
            # repository, they are responsible for unlocking it later.
 
1241
            repository.lock_read()
1059
1242
        self._fallback_repositories.append(repository)
1060
1243
        # If self._real_repository was parameterised already (e.g. because a
1061
1244
        # _real_branch had its get_stacked_on_url method called), then the
1062
1245
        # repository to be added may already be in the _real_repositories list.
1063
1246
        if self._real_repository is not None:
1064
 
            if repository not in self._real_repository._fallback_repositories:
 
1247
            fallback_locations = [repo.user_url for repo in
 
1248
                self._real_repository._fallback_repositories]
 
1249
            if repository.user_url not in fallback_locations:
1065
1250
                self._real_repository.add_fallback_repository(repository)
1066
 
        else:
1067
 
            # They are also seen by the fallback repository.  If it doesn't
1068
 
            # exist yet they'll be added then.  This implicitly copies them.
1069
 
            self._ensure_real()
1070
1251
 
1071
1252
    def add_inventory(self, revid, inv, parents):
1072
1253
        self._ensure_real()
1073
1254
        return self._real_repository.add_inventory(revid, inv, parents)
1074
1255
 
1075
1256
    def add_inventory_by_delta(self, basis_revision_id, delta, new_revision_id,
1076
 
                               parents):
 
1257
            parents, basis_inv=None, propagate_caches=False):
1077
1258
        self._ensure_real()
1078
1259
        return self._real_repository.add_inventory_by_delta(basis_revision_id,
1079
 
            delta, new_revision_id, parents)
 
1260
            delta, new_revision_id, parents, basis_inv=basis_inv,
 
1261
            propagate_caches=propagate_caches)
1080
1262
 
1081
1263
    def add_revision(self, rev_id, rev, inv=None, config=None):
1082
1264
        self._ensure_real()
1088
1270
        self._ensure_real()
1089
1271
        return self._real_repository.get_inventory(revision_id)
1090
1272
 
1091
 
    def iter_inventories(self, revision_ids):
 
1273
    def iter_inventories(self, revision_ids, ordering=None):
1092
1274
        self._ensure_real()
1093
 
        return self._real_repository.iter_inventories(revision_ids)
 
1275
        return self._real_repository.iter_inventories(revision_ids, ordering)
1094
1276
 
1095
1277
    @needs_read_lock
1096
1278
    def get_revision(self, revision_id):
1160
1342
            raise errors.InternalBzrError(
1161
1343
                "May not fetch while in a write group.")
1162
1344
        # fast path same-url fetch operations
1163
 
        if self.has_same_location(source) and fetch_spec is None:
 
1345
        if (self.has_same_location(source)
 
1346
            and fetch_spec is None
 
1347
            and self._has_same_fallbacks(source)):
1164
1348
            # check that last_revision is in 'from' and then return a
1165
1349
            # no-operation.
1166
1350
            if (revision_id is not None and
1215
1399
            # in one go, and the user probably will have seen a warning about
1216
1400
            # the server being old anyhow.
1217
1401
            rg = self._get_revision_graph(None)
1218
 
            # There is an api discrepency between get_parent_map and
 
1402
            # There is an API discrepancy between get_parent_map and
1219
1403
            # get_revision_graph. Specifically, a "key:()" pair in
1220
1404
            # get_revision_graph just means a node has no parents. For
1221
1405
            # "get_parent_map" it means the node is a ghost. So fix up the
1271
1455
        # We don't need to send ghosts back to the server as a position to
1272
1456
        # stop either.
1273
1457
        stop_keys.difference_update(self._unstacked_provider.missing_keys)
 
1458
        key_count = len(parents_map)
 
1459
        if (NULL_REVISION in result_parents
 
1460
            and NULL_REVISION in self._unstacked_provider.missing_keys):
 
1461
            # If we pruned NULL_REVISION from the stop_keys because it's also
 
1462
            # in our cache of "missing" keys we need to increment our key count
 
1463
            # by 1, because the reconsitituted SearchResult on the server will
 
1464
            # still consider NULL_REVISION to be an included key.
 
1465
            key_count += 1
1274
1466
        included_keys = start_set.intersection(result_parents)
1275
1467
        start_set.difference_update(included_keys)
1276
 
        recipe = ('manual', start_set, stop_keys, len(parents_map))
 
1468
        recipe = ('manual', start_set, stop_keys, key_count)
1277
1469
        body = self._serialise_search_recipe(recipe)
1278
1470
        path = self.bzrdir._path_for_remote_call(self._client)
1279
1471
        for key in keys:
1331
1523
        return self._real_repository.get_signature_text(revision_id)
1332
1524
 
1333
1525
    @needs_read_lock
1334
 
    def get_inventory_xml(self, revision_id):
1335
 
        self._ensure_real()
1336
 
        return self._real_repository.get_inventory_xml(revision_id)
1337
 
 
1338
 
    def deserialise_inventory(self, revision_id, xml):
1339
 
        self._ensure_real()
1340
 
        return self._real_repository.deserialise_inventory(revision_id, xml)
 
1526
    def _get_inventory_xml(self, revision_id):
 
1527
        self._ensure_real()
 
1528
        return self._real_repository._get_inventory_xml(revision_id)
1341
1529
 
1342
1530
    def reconcile(self, other=None, thorough=False):
1343
1531
        self._ensure_real()
1370
1558
        return self._real_repository.get_revision_reconcile(revision_id)
1371
1559
 
1372
1560
    @needs_read_lock
1373
 
    def check(self, revision_ids=None):
 
1561
    def check(self, revision_ids=None, callback_refs=None, check_repo=True):
1374
1562
        self._ensure_real()
1375
 
        return self._real_repository.check(revision_ids=revision_ids)
 
1563
        return self._real_repository.check(revision_ids=revision_ids,
 
1564
            callback_refs=callback_refs, check_repo=check_repo)
1376
1565
 
1377
1566
    def copy_content_into(self, destination, revision_id=None):
1378
1567
        self._ensure_real()
1418
1607
        return self._real_repository.inventories
1419
1608
 
1420
1609
    @needs_write_lock
1421
 
    def pack(self):
 
1610
    def pack(self, hint=None):
1422
1611
        """Compress the data within the repository.
1423
1612
 
1424
1613
        This is not currently implemented within the smart server.
1425
1614
        """
1426
1615
        self._ensure_real()
1427
 
        return self._real_repository.pack()
 
1616
        return self._real_repository.pack(hint=hint)
1428
1617
 
1429
1618
    @property
1430
1619
    def revisions(self):
1518
1707
        self._ensure_real()
1519
1708
        return self._real_repository.revision_graph_can_have_wrong_parents()
1520
1709
 
1521
 
    def _find_inconsistent_revision_parents(self):
 
1710
    def _find_inconsistent_revision_parents(self, revisions_iterator=None):
1522
1711
        self._ensure_real()
1523
 
        return self._real_repository._find_inconsistent_revision_parents()
 
1712
        return self._real_repository._find_inconsistent_revision_parents(
 
1713
            revisions_iterator)
1524
1714
 
1525
1715
    def _check_for_inconsistent_revision_parents(self):
1526
1716
        self._ensure_real()
1532
1722
            providers.insert(0, other)
1533
1723
        providers.extend(r._make_parents_provider() for r in
1534
1724
                         self._fallback_repositories)
1535
 
        return graph._StackedParentsProvider(providers)
 
1725
        return graph.StackedParentsProvider(providers)
1536
1726
 
1537
1727
    def _serialise_search_recipe(self, recipe):
1538
1728
        """Serialise a graph search recipe.
1579
1769
 
1580
1770
    def insert_stream(self, stream, src_format, resume_tokens):
1581
1771
        target = self.target_repo
 
1772
        target._unstacked_provider.missing_keys.clear()
 
1773
        candidate_calls = [('Repository.insert_stream_1.19', (1, 19))]
1582
1774
        if target._lock_token:
1583
 
            verb = 'Repository.insert_stream_locked'
1584
 
            extra_args = (target._lock_token or '',)
1585
 
            required_version = (1, 14)
 
1775
            candidate_calls.append(('Repository.insert_stream_locked', (1, 14)))
 
1776
            lock_args = (target._lock_token or '',)
1586
1777
        else:
1587
 
            verb = 'Repository.insert_stream'
1588
 
            extra_args = ()
1589
 
            required_version = (1, 13)
 
1778
            candidate_calls.append(('Repository.insert_stream', (1, 13)))
 
1779
            lock_args = ()
1590
1780
        client = target._client
1591
1781
        medium = client._medium
1592
 
        if medium._is_remote_before(required_version):
1593
 
            # No possible way this can work.
1594
 
            return self._insert_real(stream, src_format, resume_tokens)
1595
1782
        path = target.bzrdir._path_for_remote_call(client)
1596
 
        if not resume_tokens:
1597
 
            # XXX: Ugly but important for correctness, *will* be fixed during
1598
 
            # 1.13 cycle. Pushing a stream that is interrupted results in a
1599
 
            # fallback to the _real_repositories sink *with a partial stream*.
1600
 
            # Thats bad because we insert less data than bzr expected. To avoid
1601
 
            # this we do a trial push to make sure the verb is accessible, and
1602
 
            # do not fallback when actually pushing the stream. A cleanup patch
1603
 
            # is going to look at rewinding/restarting the stream/partial
1604
 
            # buffering etc.
 
1783
        # Probe for the verb to use with an empty stream before sending the
 
1784
        # real stream to it.  We do this both to avoid the risk of sending a
 
1785
        # large request that is then rejected, and because we don't want to
 
1786
        # implement a way to buffer, rewind, or restart the stream.
 
1787
        found_verb = False
 
1788
        for verb, required_version in candidate_calls:
 
1789
            if medium._is_remote_before(required_version):
 
1790
                continue
 
1791
            if resume_tokens:
 
1792
                # We've already done the probing (and set _is_remote_before) on
 
1793
                # a previous insert.
 
1794
                found_verb = True
 
1795
                break
1605
1796
            byte_stream = smart_repo._stream_to_byte_stream([], src_format)
1606
1797
            try:
1607
1798
                response = client.call_with_body_stream(
1608
 
                    (verb, path, '') + extra_args, byte_stream)
 
1799
                    (verb, path, '') + lock_args, byte_stream)
1609
1800
            except errors.UnknownSmartMethod:
1610
1801
                medium._remember_remote_is_before(required_version)
1611
 
                return self._insert_real(stream, src_format, resume_tokens)
 
1802
            else:
 
1803
                found_verb = True
 
1804
                break
 
1805
        if not found_verb:
 
1806
            # Have to use VFS.
 
1807
            return self._insert_real(stream, src_format, resume_tokens)
 
1808
        self._last_inv_record = None
 
1809
        self._last_substream = None
 
1810
        if required_version < (1, 19):
 
1811
            # Remote side doesn't support inventory deltas.  Wrap the stream to
 
1812
            # make sure we don't send any.  If the stream contains inventory
 
1813
            # deltas we'll interrupt the smart insert_stream request and
 
1814
            # fallback to VFS.
 
1815
            stream = self._stop_stream_if_inventory_delta(stream)
1612
1816
        byte_stream = smart_repo._stream_to_byte_stream(
1613
1817
            stream, src_format)
1614
1818
        resume_tokens = ' '.join(resume_tokens)
1615
1819
        response = client.call_with_body_stream(
1616
 
            (verb, path, resume_tokens) + extra_args, byte_stream)
 
1820
            (verb, path, resume_tokens) + lock_args, byte_stream)
1617
1821
        if response[0][0] not in ('ok', 'missing-basis'):
1618
1822
            raise errors.UnexpectedSmartServerResponse(response)
 
1823
        if self._last_substream is not None:
 
1824
            # The stream included an inventory-delta record, but the remote
 
1825
            # side isn't new enough to support them.  So we need to send the
 
1826
            # rest of the stream via VFS.
 
1827
            self.target_repo.refresh_data()
 
1828
            return self._resume_stream_with_vfs(response, src_format)
1619
1829
        if response[0][0] == 'missing-basis':
1620
1830
            tokens, missing_keys = bencode.bdecode_as_tuple(response[0][1])
1621
1831
            resume_tokens = tokens
1622
 
            return resume_tokens, missing_keys
 
1832
            return resume_tokens, set(missing_keys)
1623
1833
        else:
1624
1834
            self.target_repo.refresh_data()
1625
1835
            return [], set()
1626
1836
 
 
1837
    def _resume_stream_with_vfs(self, response, src_format):
 
1838
        """Resume sending a stream via VFS, first resending the record and
 
1839
        substream that couldn't be sent via an insert_stream verb.
 
1840
        """
 
1841
        if response[0][0] == 'missing-basis':
 
1842
            tokens, missing_keys = bencode.bdecode_as_tuple(response[0][1])
 
1843
            # Ignore missing_keys, we haven't finished inserting yet
 
1844
        else:
 
1845
            tokens = []
 
1846
        def resume_substream():
 
1847
            # Yield the substream that was interrupted.
 
1848
            for record in self._last_substream:
 
1849
                yield record
 
1850
            self._last_substream = None
 
1851
        def resume_stream():
 
1852
            # Finish sending the interrupted substream
 
1853
            yield ('inventory-deltas', resume_substream())
 
1854
            # Then simply continue sending the rest of the stream.
 
1855
            for substream_kind, substream in self._last_stream:
 
1856
                yield substream_kind, substream
 
1857
        return self._insert_real(resume_stream(), src_format, tokens)
 
1858
 
 
1859
    def _stop_stream_if_inventory_delta(self, stream):
 
1860
        """Normally this just lets the original stream pass-through unchanged.
 
1861
 
 
1862
        However if any 'inventory-deltas' substream occurs it will stop
 
1863
        streaming, and store the interrupted substream and stream in
 
1864
        self._last_substream and self._last_stream so that the stream can be
 
1865
        resumed by _resume_stream_with_vfs.
 
1866
        """
 
1867
                    
 
1868
        stream_iter = iter(stream)
 
1869
        for substream_kind, substream in stream_iter:
 
1870
            if substream_kind == 'inventory-deltas':
 
1871
                self._last_substream = substream
 
1872
                self._last_stream = stream_iter
 
1873
                return
 
1874
            else:
 
1875
                yield substream_kind, substream
 
1876
            
1627
1877
 
1628
1878
class RemoteStreamSource(repository.StreamSource):
1629
1879
    """Stream data from a remote server."""
1632
1882
        if (self.from_repository._fallback_repositories and
1633
1883
            self.to_format._fetch_order == 'topological'):
1634
1884
            return self._real_stream(self.from_repository, search)
1635
 
        return self.missing_parents_chain(search, [self.from_repository] +
1636
 
            self.from_repository._fallback_repositories)
 
1885
        sources = []
 
1886
        seen = set()
 
1887
        repos = [self.from_repository]
 
1888
        while repos:
 
1889
            repo = repos.pop(0)
 
1890
            if repo in seen:
 
1891
                continue
 
1892
            seen.add(repo)
 
1893
            repos.extend(repo._fallback_repositories)
 
1894
            sources.append(repo)
 
1895
        return self.missing_parents_chain(search, sources)
 
1896
 
 
1897
    def get_stream_for_missing_keys(self, missing_keys):
 
1898
        self.from_repository._ensure_real()
 
1899
        real_repo = self.from_repository._real_repository
 
1900
        real_source = real_repo._get_source(self.to_format)
 
1901
        return real_source.get_stream_for_missing_keys(missing_keys)
1637
1902
 
1638
1903
    def _real_stream(self, repo, search):
1639
1904
        """Get a stream for search from repo.
1646
1911
        """
1647
1912
        source = repo._get_source(self.to_format)
1648
1913
        if isinstance(source, RemoteStreamSource):
1649
 
            return repository.StreamSource.get_stream(source, search)
 
1914
            repo._ensure_real()
 
1915
            source = repo._real_repository._get_source(self.to_format)
1650
1916
        return source.get_stream(search)
1651
1917
 
1652
1918
    def _get_stream(self, repo, search):
1669
1935
            return self._real_stream(repo, search)
1670
1936
        client = repo._client
1671
1937
        medium = client._medium
1672
 
        if medium._is_remote_before((1, 13)):
1673
 
            # streaming was added in 1.13
1674
 
            return self._real_stream(repo, search)
1675
1938
        path = repo.bzrdir._path_for_remote_call(client)
1676
 
        try:
1677
 
            search_bytes = repo._serialise_search_result(search)
1678
 
            response = repo._call_with_body_bytes_expecting_body(
1679
 
                'Repository.get_stream',
1680
 
                (path, self.to_format.network_name()), search_bytes)
1681
 
            response_tuple, response_handler = response
1682
 
        except errors.UnknownSmartMethod:
1683
 
            medium._remember_remote_is_before((1,13))
 
1939
        search_bytes = repo._serialise_search_result(search)
 
1940
        args = (path, self.to_format.network_name())
 
1941
        candidate_verbs = [
 
1942
            ('Repository.get_stream_1.19', (1, 19)),
 
1943
            ('Repository.get_stream', (1, 13))]
 
1944
        found_verb = False
 
1945
        for verb, version in candidate_verbs:
 
1946
            if medium._is_remote_before(version):
 
1947
                continue
 
1948
            try:
 
1949
                response = repo._call_with_body_bytes_expecting_body(
 
1950
                    verb, args, search_bytes)
 
1951
            except errors.UnknownSmartMethod:
 
1952
                medium._remember_remote_is_before(version)
 
1953
            else:
 
1954
                response_tuple, response_handler = response
 
1955
                found_verb = True
 
1956
                break
 
1957
        if not found_verb:
1684
1958
            return self._real_stream(repo, search)
1685
1959
        if response_tuple[0] != 'ok':
1686
1960
            raise errors.UnexpectedSmartServerResponse(response_tuple)
1698
1972
        :param search: The overall search to satisfy with streams.
1699
1973
        :param sources: A list of Repository objects to query.
1700
1974
        """
1701
 
        self.serialiser = self.to_format._serializer
 
1975
        self.from_serialiser = self.from_repository._format._serializer
1702
1976
        self.seen_revs = set()
1703
1977
        self.referenced_revs = set()
1704
1978
        # If there are heads in the search, or the key count is > 0, we are not
1721
1995
    def missing_parents_rev_handler(self, substream):
1722
1996
        for content in substream:
1723
1997
            revision_bytes = content.get_bytes_as('fulltext')
1724
 
            revision = self.serialiser.read_revision_from_string(revision_bytes)
 
1998
            revision = self.from_serialiser.read_revision_from_string(
 
1999
                revision_bytes)
1725
2000
            self.seen_revs.add(content.key[-1])
1726
2001
            self.referenced_revs.update(revision.parent_ids)
1727
2002
            yield content
1766
2041
                self._network_name)
1767
2042
 
1768
2043
    def get_format_description(self):
1769
 
        return 'Remote BZR Branch'
 
2044
        self._ensure_real()
 
2045
        return 'Remote: ' + self._custom_format.get_format_description()
1770
2046
 
1771
2047
    def network_name(self):
1772
2048
        return self._network_name
1773
2049
 
1774
 
    def open(self, a_bzrdir, ignore_fallbacks=False):
1775
 
        return a_bzrdir.open_branch(ignore_fallbacks=ignore_fallbacks)
 
2050
    def open(self, a_bzrdir, name=None, ignore_fallbacks=False):
 
2051
        return a_bzrdir.open_branch(name=name, 
 
2052
            ignore_fallbacks=ignore_fallbacks)
1776
2053
 
1777
 
    def _vfs_initialize(self, a_bzrdir):
 
2054
    def _vfs_initialize(self, a_bzrdir, name):
1778
2055
        # Initialisation when using a local bzrdir object, or a non-vfs init
1779
2056
        # method is not available on the server.
1780
2057
        # self._custom_format is always set - the start of initialize ensures
1781
2058
        # that.
1782
2059
        if isinstance(a_bzrdir, RemoteBzrDir):
1783
2060
            a_bzrdir._ensure_real()
1784
 
            result = self._custom_format.initialize(a_bzrdir._real_bzrdir)
 
2061
            result = self._custom_format.initialize(a_bzrdir._real_bzrdir,
 
2062
                name)
1785
2063
        else:
1786
2064
            # We assume the bzrdir is parameterised; it may not be.
1787
 
            result = self._custom_format.initialize(a_bzrdir)
 
2065
            result = self._custom_format.initialize(a_bzrdir, name)
1788
2066
        if (isinstance(a_bzrdir, RemoteBzrDir) and
1789
2067
            not isinstance(result, RemoteBranch)):
1790
 
            result = RemoteBranch(a_bzrdir, a_bzrdir.find_repository(), result)
 
2068
            result = RemoteBranch(a_bzrdir, a_bzrdir.find_repository(), result,
 
2069
                                  name=name)
1791
2070
        return result
1792
2071
 
1793
 
    def initialize(self, a_bzrdir):
 
2072
    def initialize(self, a_bzrdir, name=None):
1794
2073
        # 1) get the network name to use.
1795
2074
        if self._custom_format:
1796
2075
            network_name = self._custom_format.network_name()
1802
2081
            network_name = reference_format.network_name()
1803
2082
        # Being asked to create on a non RemoteBzrDir:
1804
2083
        if not isinstance(a_bzrdir, RemoteBzrDir):
1805
 
            return self._vfs_initialize(a_bzrdir)
 
2084
            return self._vfs_initialize(a_bzrdir, name=name)
1806
2085
        medium = a_bzrdir._client._medium
1807
2086
        if medium._is_remote_before((1, 13)):
1808
 
            return self._vfs_initialize(a_bzrdir)
 
2087
            return self._vfs_initialize(a_bzrdir, name=name)
1809
2088
        # Creating on a remote bzr dir.
1810
2089
        # 2) try direct creation via RPC
1811
2090
        path = a_bzrdir._path_for_remote_call(a_bzrdir._client)
 
2091
        if name is not None:
 
2092
            # XXX JRV20100304: Support creating colocated branches
 
2093
            raise errors.NoColocatedBranchSupport(self)
1812
2094
        verb = 'BzrDir.create_branch'
1813
2095
        try:
1814
2096
            response = a_bzrdir._call(verb, path, network_name)
1815
2097
        except errors.UnknownSmartMethod:
1816
2098
            # Fallback - use vfs methods
1817
2099
            medium._remember_remote_is_before((1, 13))
1818
 
            return self._vfs_initialize(a_bzrdir)
 
2100
            return self._vfs_initialize(a_bzrdir, name=name)
1819
2101
        if response[0] != 'ok':
1820
2102
            raise errors.UnexpectedSmartServerResponse(response)
1821
2103
        # Turn the response into a RemoteRepository object.
1829
2111
                a_bzrdir._client)
1830
2112
        remote_repo = RemoteRepository(repo_bzrdir, repo_format)
1831
2113
        remote_branch = RemoteBranch(a_bzrdir, remote_repo,
1832
 
            format=format, setup_stacking=False)
 
2114
            format=format, setup_stacking=False, name=name)
1833
2115
        # XXX: We know this is a new branch, so it must have revno 0, revid
1834
2116
        # NULL_REVISION. Creating the branch locked would make this be unable
1835
2117
        # to be wrong; here its simply very unlikely to be wrong. RBC 20090225
1850
2132
        self._ensure_real()
1851
2133
        return self._custom_format.supports_stacking()
1852
2134
 
1853
 
 
1854
 
class RemoteBranch(branch.Branch, _RpcHelper):
 
2135
    def supports_set_append_revisions_only(self):
 
2136
        self._ensure_real()
 
2137
        return self._custom_format.supports_set_append_revisions_only()
 
2138
 
 
2139
 
 
2140
class RemoteBranch(branch.Branch, _RpcHelper, lock._RelockDebugMixin):
1855
2141
    """Branch stored on a server accessed by HPSS RPC.
1856
2142
 
1857
2143
    At the moment most operations are mapped down to simple file operations.
1858
2144
    """
1859
2145
 
1860
2146
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
1861
 
        _client=None, format=None, setup_stacking=True):
 
2147
        _client=None, format=None, setup_stacking=True, name=None):
1862
2148
        """Create a RemoteBranch instance.
1863
2149
 
1864
2150
        :param real_branch: An optional local implementation of the branch
1870
2156
        :param setup_stacking: If True make an RPC call to determine the
1871
2157
            stacked (or not) status of the branch. If False assume the branch
1872
2158
            is not stacked.
 
2159
        :param name: Colocated branch name
1873
2160
        """
1874
2161
        # We intentionally don't call the parent class's __init__, because it
1875
2162
        # will try to assign to self.tags, which is a property in this subclass.
1876
2163
        # And the parent's __init__ doesn't do much anyway.
1877
 
        self._revision_id_to_revno_cache = None
1878
 
        self._partial_revision_id_to_revno_cache = {}
1879
 
        self._revision_history_cache = None
1880
 
        self._last_revision_info_cache = None
1881
 
        self._merge_sorted_revisions_cache = None
1882
2164
        self.bzrdir = remote_bzrdir
1883
2165
        if _client is not None:
1884
2166
            self._client = _client
1897
2179
            self._real_branch.repository = self.repository
1898
2180
        else:
1899
2181
            self._real_branch = None
1900
 
        # Fill out expected attributes of branch for bzrlib api users.
1901
 
        self.base = self.bzrdir.root_transport.base
 
2182
        # Fill out expected attributes of branch for bzrlib API users.
 
2183
        self._clear_cached_state()
 
2184
        # TODO: deprecate self.base in favor of user_url
 
2185
        self.base = self.bzrdir.user_url
 
2186
        self._name = name
1902
2187
        self._control_files = None
1903
2188
        self._lock_mode = None
1904
2189
        self._lock_token = None
1915
2200
                    self._real_branch._format.network_name()
1916
2201
        else:
1917
2202
            self._format = format
 
2203
        # when we do _ensure_real we may need to pass ignore_fallbacks to the
 
2204
        # branch.open_branch method.
 
2205
        self._real_ignore_fallbacks = not setup_stacking
1918
2206
        if not self._format._network_name:
1919
2207
            # Did not get from open_branchV2 - old server.
1920
2208
            self._ensure_real()
1925
2213
        hooks = branch.Branch.hooks['open']
1926
2214
        for hook in hooks:
1927
2215
            hook(self)
 
2216
        self._is_stacked = False
1928
2217
        if setup_stacking:
1929
2218
            self._setup_stacking()
1930
2219
 
1936
2225
        except (errors.NotStacked, errors.UnstackableBranchFormat,
1937
2226
            errors.UnstackableRepositoryFormat), e:
1938
2227
            return
1939
 
        # it's relative to this branch...
1940
 
        fallback_url = urlutils.join(self.base, fallback_url)
1941
 
        transports = [self.bzrdir.root_transport]
1942
 
        stacked_on = branch.Branch.open(fallback_url,
1943
 
                                        possible_transports=transports)
1944
 
        self.repository.add_fallback_repository(stacked_on.repository)
 
2228
        self._is_stacked = True
 
2229
        self._activate_fallback_location(fallback_url)
 
2230
 
 
2231
    def _get_config(self):
 
2232
        return RemoteBranchConfig(self)
1945
2233
 
1946
2234
    def _get_real_transport(self):
1947
2235
        # if we try vfs access, return the real branch's vfs transport
1965
2253
                raise AssertionError('smart server vfs must be enabled '
1966
2254
                    'to use vfs implementation')
1967
2255
            self.bzrdir._ensure_real()
1968
 
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
 
2256
            self._real_branch = self.bzrdir._real_bzrdir.open_branch(
 
2257
                ignore_fallbacks=self._real_ignore_fallbacks, name=self._name)
1969
2258
            if self.repository._real_repository is None:
1970
2259
                # Give the remote repository the matching real repo.
1971
2260
                real_repo = self._real_branch.repository
2045
2334
            raise errors.UnexpectedSmartServerResponse(response)
2046
2335
        return response[1]
2047
2336
 
 
2337
    def set_stacked_on_url(self, url):
 
2338
        branch.Branch.set_stacked_on_url(self, url)
 
2339
        if not url:
 
2340
            self._is_stacked = False
 
2341
        else:
 
2342
            self._is_stacked = True
 
2343
        
2048
2344
    def _vfs_get_tags_bytes(self):
2049
2345
        self._ensure_real()
2050
2346
        return self._real_branch._get_tags_bytes()
2060
2356
            return self._vfs_get_tags_bytes()
2061
2357
        return response[0]
2062
2358
 
 
2359
    def _vfs_set_tags_bytes(self, bytes):
 
2360
        self._ensure_real()
 
2361
        return self._real_branch._set_tags_bytes(bytes)
 
2362
 
 
2363
    def _set_tags_bytes(self, bytes):
 
2364
        medium = self._client._medium
 
2365
        if medium._is_remote_before((1, 18)):
 
2366
            self._vfs_set_tags_bytes(bytes)
 
2367
            return
 
2368
        try:
 
2369
            args = (
 
2370
                self._remote_path(), self._lock_token, self._repo_lock_token)
 
2371
            response = self._call_with_body_bytes(
 
2372
                'Branch.set_tags_bytes', args, bytes)
 
2373
        except errors.UnknownSmartMethod:
 
2374
            medium._remember_remote_is_before((1, 18))
 
2375
            self._vfs_set_tags_bytes(bytes)
 
2376
 
2063
2377
    def lock_read(self):
2064
2378
        self.repository.lock_read()
2065
2379
        if not self._lock_mode:
 
2380
            self._note_lock('r')
2066
2381
            self._lock_mode = 'r'
2067
2382
            self._lock_count = 1
2068
2383
            if self._real_branch is not None:
2088
2403
 
2089
2404
    def lock_write(self, token=None):
2090
2405
        if not self._lock_mode:
 
2406
            self._note_lock('w')
2091
2407
            # Lock the branch and repo in one remote call.
2092
2408
            remote_tokens = self._remote_lock_write(token)
2093
2409
            self._lock_token, self._repo_lock_token = remote_tokens
2119
2435
            self.repository.lock_write(self._repo_lock_token)
2120
2436
        return self._lock_token or None
2121
2437
 
2122
 
    def _set_tags_bytes(self, bytes):
2123
 
        self._ensure_real()
2124
 
        return self._real_branch._set_tags_bytes(bytes)
2125
 
 
2126
2438
    def _unlock(self, branch_token, repo_token):
2127
2439
        err_context = {'token': str((branch_token, repo_token))}
2128
2440
        response = self._call(
2132
2444
            return
2133
2445
        raise errors.UnexpectedSmartServerResponse(response)
2134
2446
 
 
2447
    @only_raises(errors.LockNotHeld, errors.LockBroken)
2135
2448
    def unlock(self):
2136
2449
        try:
2137
2450
            self._lock_count -= 1
2150
2463
                    self._real_branch.unlock()
2151
2464
                if mode != 'w':
2152
2465
                    # Only write-locked branched need to make a remote method
2153
 
                    # call to perfom the unlock.
 
2466
                    # call to perform the unlock.
2154
2467
                    return
2155
2468
                if not self._lock_token:
2156
2469
                    raise AssertionError('Locked, but no token!')
2177
2490
            raise NotImplementedError(self.dont_leave_lock_in_place)
2178
2491
        self._leave_lock = False
2179
2492
 
 
2493
    @needs_read_lock
 
2494
    def get_rev_id(self, revno, history=None):
 
2495
        if revno == 0:
 
2496
            return _mod_revision.NULL_REVISION
 
2497
        last_revision_info = self.last_revision_info()
 
2498
        ok, result = self.repository.get_rev_id_for_revno(
 
2499
            revno, last_revision_info)
 
2500
        if ok:
 
2501
            return result
 
2502
        missing_parent = result[1]
 
2503
        # Either the revision named by the server is missing, or its parent
 
2504
        # is.  Call get_parent_map to determine which, so that we report a
 
2505
        # useful error.
 
2506
        parent_map = self.repository.get_parent_map([missing_parent])
 
2507
        if missing_parent in parent_map:
 
2508
            missing_parent = parent_map[missing_parent]
 
2509
        raise errors.RevisionNotPresent(missing_parent, self.repository)
 
2510
 
2180
2511
    def _last_revision_info(self):
2181
2512
        response = self._call('Branch.last_revision_info', self._remote_path())
2182
2513
        if response[0] != 'ok':
2187
2518
 
2188
2519
    def _gen_revision_history(self):
2189
2520
        """See Branch._gen_revision_history()."""
 
2521
        if self._is_stacked:
 
2522
            self._ensure_real()
 
2523
            return self._real_branch._gen_revision_history()
2190
2524
        response_tuple, response_handler = self._call_expecting_body(
2191
2525
            'Branch.revision_history', self._remote_path())
2192
2526
        if response_tuple[0] != 'ok':
2277
2611
        self._ensure_real()
2278
2612
        return self._real_branch._get_parent_location()
2279
2613
 
2280
 
    def set_parent(self, url):
2281
 
        self._ensure_real()
2282
 
        return self._real_branch.set_parent(url)
2283
 
 
2284
2614
    def _set_parent_location(self, url):
2285
 
        # Used by tests, to poke bad urls into branch configurations
2286
 
        if url is None:
2287
 
            self.set_parent(url)
2288
 
        else:
2289
 
            self._ensure_real()
2290
 
            return self._real_branch._set_parent_location(url)
2291
 
 
2292
 
    def set_stacked_on_url(self, stacked_location):
2293
 
        """Set the URL this branch is stacked against.
2294
 
 
2295
 
        :raises UnstackableBranchFormat: If the branch does not support
2296
 
            stacking.
2297
 
        :raises UnstackableRepositoryFormat: If the repository does not support
2298
 
            stacking.
2299
 
        """
 
2615
        medium = self._client._medium
 
2616
        if medium._is_remote_before((1, 15)):
 
2617
            return self._vfs_set_parent_location(url)
 
2618
        try:
 
2619
            call_url = url or ''
 
2620
            if type(call_url) is not str:
 
2621
                raise AssertionError('url must be a str or None (%s)' % url)
 
2622
            response = self._call('Branch.set_parent_location',
 
2623
                self._remote_path(), self._lock_token, self._repo_lock_token,
 
2624
                call_url)
 
2625
        except errors.UnknownSmartMethod:
 
2626
            medium._remember_remote_is_before((1, 15))
 
2627
            return self._vfs_set_parent_location(url)
 
2628
        if response != ():
 
2629
            raise errors.UnexpectedSmartServerResponse(response)
 
2630
 
 
2631
    def _vfs_set_parent_location(self, url):
2300
2632
        self._ensure_real()
2301
 
        return self._real_branch.set_stacked_on_url(stacked_location)
 
2633
        return self._real_branch._set_parent_location(url)
2302
2634
 
2303
2635
    @needs_write_lock
2304
2636
    def pull(self, source, overwrite=False, stop_revision=None,
2372
2704
        return self._real_branch.set_push_location(location)
2373
2705
 
2374
2706
 
 
2707
class RemoteConfig(object):
 
2708
    """A Config that reads and writes from smart verbs.
 
2709
 
 
2710
    It is a low-level object that considers config data to be name/value pairs
 
2711
    that may be associated with a section. Assigning meaning to the these
 
2712
    values is done at higher levels like bzrlib.config.TreeConfig.
 
2713
    """
 
2714
 
 
2715
    def get_option(self, name, section=None, default=None):
 
2716
        """Return the value associated with a named option.
 
2717
 
 
2718
        :param name: The name of the value
 
2719
        :param section: The section the option is in (if any)
 
2720
        :param default: The value to return if the value is not set
 
2721
        :return: The value or default value
 
2722
        """
 
2723
        try:
 
2724
            configobj = self._get_configobj()
 
2725
            if section is None:
 
2726
                section_obj = configobj
 
2727
            else:
 
2728
                try:
 
2729
                    section_obj = configobj[section]
 
2730
                except KeyError:
 
2731
                    return default
 
2732
            return section_obj.get(name, default)
 
2733
        except errors.UnknownSmartMethod:
 
2734
            return self._vfs_get_option(name, section, default)
 
2735
 
 
2736
    def _response_to_configobj(self, response):
 
2737
        if len(response[0]) and response[0][0] != 'ok':
 
2738
            raise errors.UnexpectedSmartServerResponse(response)
 
2739
        lines = response[1].read_body_bytes().splitlines()
 
2740
        return config.ConfigObj(lines, encoding='utf-8')
 
2741
 
 
2742
 
 
2743
class RemoteBranchConfig(RemoteConfig):
 
2744
    """A RemoteConfig for Branches."""
 
2745
 
 
2746
    def __init__(self, branch):
 
2747
        self._branch = branch
 
2748
 
 
2749
    def _get_configobj(self):
 
2750
        path = self._branch._remote_path()
 
2751
        response = self._branch._client.call_expecting_body(
 
2752
            'Branch.get_config_file', path)
 
2753
        return self._response_to_configobj(response)
 
2754
 
 
2755
    def set_option(self, value, name, section=None):
 
2756
        """Set the value associated with a named option.
 
2757
 
 
2758
        :param value: The value to set
 
2759
        :param name: The name of the value to set
 
2760
        :param section: The section the option is in (if any)
 
2761
        """
 
2762
        medium = self._branch._client._medium
 
2763
        if medium._is_remote_before((1, 14)):
 
2764
            return self._vfs_set_option(value, name, section)
 
2765
        try:
 
2766
            path = self._branch._remote_path()
 
2767
            response = self._branch._client.call('Branch.set_config_option',
 
2768
                path, self._branch._lock_token, self._branch._repo_lock_token,
 
2769
                value.encode('utf8'), name, section or '')
 
2770
        except errors.UnknownSmartMethod:
 
2771
            medium._remember_remote_is_before((1, 14))
 
2772
            return self._vfs_set_option(value, name, section)
 
2773
        if response != ():
 
2774
            raise errors.UnexpectedSmartServerResponse(response)
 
2775
 
 
2776
    def _real_object(self):
 
2777
        self._branch._ensure_real()
 
2778
        return self._branch._real_branch
 
2779
 
 
2780
    def _vfs_set_option(self, value, name, section=None):
 
2781
        return self._real_object()._get_config().set_option(
 
2782
            value, name, section)
 
2783
 
 
2784
 
 
2785
class RemoteBzrDirConfig(RemoteConfig):
 
2786
    """A RemoteConfig for BzrDirs."""
 
2787
 
 
2788
    def __init__(self, bzrdir):
 
2789
        self._bzrdir = bzrdir
 
2790
 
 
2791
    def _get_configobj(self):
 
2792
        medium = self._bzrdir._client._medium
 
2793
        verb = 'BzrDir.get_config_file'
 
2794
        if medium._is_remote_before((1, 15)):
 
2795
            raise errors.UnknownSmartMethod(verb)
 
2796
        path = self._bzrdir._path_for_remote_call(self._bzrdir._client)
 
2797
        response = self._bzrdir._call_expecting_body(
 
2798
            verb, path)
 
2799
        return self._response_to_configobj(response)
 
2800
 
 
2801
    def _vfs_get_option(self, name, section, default):
 
2802
        return self._real_object()._get_config().get_option(
 
2803
            name, section, default)
 
2804
 
 
2805
    def set_option(self, value, name, section=None):
 
2806
        """Set the value associated with a named option.
 
2807
 
 
2808
        :param value: The value to set
 
2809
        :param name: The name of the value to set
 
2810
        :param section: The section the option is in (if any)
 
2811
        """
 
2812
        return self._real_object()._get_config().set_option(
 
2813
            value, name, section)
 
2814
 
 
2815
    def _real_object(self):
 
2816
        self._bzrdir._ensure_real()
 
2817
        return self._bzrdir._real_bzrdir
 
2818
 
 
2819
 
 
2820
 
2375
2821
def _extract_tar(tar, to_dir):
2376
2822
    """Extract all the contents of a tarfile object.
2377
2823
 
2415
2861
                    'Missing key %r in context %r', key_err.args[0], context)
2416
2862
                raise err
2417
2863
 
2418
 
    if err.error_verb == 'NoSuchRevision':
 
2864
    if err.error_verb == 'IncompatibleRepositories':
 
2865
        raise errors.IncompatibleRepositories(err.error_args[0],
 
2866
            err.error_args[1], err.error_args[2])
 
2867
    elif err.error_verb == 'NoSuchRevision':
2419
2868
        raise NoSuchRevision(find('branch'), err.error_args[0])
2420
2869
    elif err.error_verb == 'nosuchrevision':
2421
2870
        raise NoSuchRevision(find('repository'), err.error_args[0])
2422
 
    elif err.error_tuple == ('nobranch',):
2423
 
        raise errors.NotBranchError(path=find('bzrdir').root_transport.base)
 
2871
    elif err.error_verb == 'nobranch':
 
2872
        if len(err.error_args) >= 1:
 
2873
            extra = err.error_args[0]
 
2874
        else:
 
2875
            extra = None
 
2876
        raise errors.NotBranchError(path=find('bzrdir').root_transport.base,
 
2877
            detail=extra)
2424
2878
    elif err.error_verb == 'norepository':
2425
2879
        raise errors.NoRepositoryPresent(find('bzrdir'))
2426
2880
    elif err.error_verb == 'LockContention':