~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/remote.py

  • Committer: Martin Pool
  • Date: 2006-04-20 02:37:21 UTC
  • mto: This revision was merged to the branch mainline in revision 1675.
  • Revision ID: mbp@sourcefrog.net-20060420023721-04d8a3b015987240
Add .hg to default ignore list

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
2
 
#
3
 
# This program is free software; you can redistribute it and/or modify
4
 
# it under the terms of the GNU General Public License as published by
5
 
# the Free Software Foundation; either version 2 of the License, or
6
 
# (at your option) any later version.
7
 
#
8
 
# This program is distributed in the hope that it will be useful,
9
 
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
 
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
 
# GNU General Public License for more details.
12
 
#
13
 
# You should have received a copy of the GNU General Public License
14
 
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
 
 
17
 
# TODO: At some point, handle upgrades by just passing the whole request
18
 
# across to run on the server.
19
 
 
20
 
import bz2
21
 
from cStringIO import StringIO
22
 
 
23
 
from bzrlib import (
24
 
    branch,
25
 
    debug,
26
 
    errors,
27
 
    graph,
28
 
    lockdir,
29
 
    repository,
30
 
    revision,
31
 
    symbol_versioning,
32
 
)
33
 
from bzrlib.branch import BranchReferenceFormat
34
 
from bzrlib.bzrdir import BzrDir, RemoteBzrDirFormat
35
 
from bzrlib.config import BranchConfig, TreeConfig
36
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
37
 
from bzrlib.errors import (
38
 
    NoSuchRevision,
39
 
    SmartProtocolError,
40
 
    )
41
 
from bzrlib.lockable_files import LockableFiles
42
 
from bzrlib.pack import ContainerPushParser
43
 
from bzrlib.smart import client, vfs
44
 
from bzrlib.symbol_versioning import (
45
 
    deprecated_in,
46
 
    deprecated_method,
47
 
    )
48
 
from bzrlib.revision import ensure_null, NULL_REVISION
49
 
from bzrlib.trace import mutter, note, warning
50
 
 
51
 
# Note: RemoteBzrDirFormat is in bzrdir.py
52
 
 
53
 
class RemoteBzrDir(BzrDir):
54
 
    """Control directory on a remote server, accessed via bzr:// or similar."""
55
 
 
56
 
    def __init__(self, transport, _client=None):
57
 
        """Construct a RemoteBzrDir.
58
 
 
59
 
        :param _client: Private parameter for testing. Disables probing and the
60
 
            use of a real bzrdir.
61
 
        """
62
 
        BzrDir.__init__(self, transport, RemoteBzrDirFormat())
63
 
        # this object holds a delegated bzrdir that uses file-level operations
64
 
        # to talk to the other side
65
 
        self._real_bzrdir = None
66
 
 
67
 
        if _client is None:
68
 
            medium = transport.get_smart_medium()
69
 
            self._client = client._SmartClient(medium)
70
 
        else:
71
 
            self._client = _client
72
 
            return
73
 
 
74
 
        path = self._path_for_remote_call(self._client)
75
 
        response = self._client.call('BzrDir.open', path)
76
 
        if response not in [('yes',), ('no',)]:
77
 
            raise errors.UnexpectedSmartServerResponse(response)
78
 
        if response == ('no',):
79
 
            raise errors.NotBranchError(path=transport.base)
80
 
 
81
 
    def _ensure_real(self):
82
 
        """Ensure that there is a _real_bzrdir set.
83
 
 
84
 
        Used before calls to self._real_bzrdir.
85
 
        """
86
 
        if not self._real_bzrdir:
87
 
            self._real_bzrdir = BzrDir.open_from_transport(
88
 
                self.root_transport, _server_formats=False)
89
 
 
90
 
    def create_repository(self, shared=False):
91
 
        self._ensure_real()
92
 
        self._real_bzrdir.create_repository(shared=shared)
93
 
        return self.open_repository()
94
 
 
95
 
    def destroy_repository(self):
96
 
        """See BzrDir.destroy_repository"""
97
 
        self._ensure_real()
98
 
        self._real_bzrdir.destroy_repository()
99
 
 
100
 
    def create_branch(self):
101
 
        self._ensure_real()
102
 
        real_branch = self._real_bzrdir.create_branch()
103
 
        return RemoteBranch(self, self.find_repository(), real_branch)
104
 
 
105
 
    def destroy_branch(self):
106
 
        """See BzrDir.destroy_branch"""
107
 
        self._ensure_real()
108
 
        self._real_bzrdir.destroy_branch()
109
 
 
110
 
    def create_workingtree(self, revision_id=None, from_branch=None):
111
 
        raise errors.NotLocalUrl(self.transport.base)
112
 
 
113
 
    def find_branch_format(self):
114
 
        """Find the branch 'format' for this bzrdir.
115
 
 
116
 
        This might be a synthetic object for e.g. RemoteBranch and SVN.
117
 
        """
118
 
        b = self.open_branch()
119
 
        return b._format
120
 
 
121
 
    def get_branch_reference(self):
122
 
        """See BzrDir.get_branch_reference()."""
123
 
        path = self._path_for_remote_call(self._client)
124
 
        try:
125
 
            response = self._client.call('BzrDir.open_branch', path)
126
 
        except errors.ErrorFromSmartServer, err:
127
 
            if err.error_tuple == ('nobranch',):
128
 
                raise errors.NotBranchError(path=self.root_transport.base)
129
 
            raise
130
 
        if response[0] == 'ok':
131
 
            if response[1] == '':
132
 
                # branch at this location.
133
 
                return None
134
 
            else:
135
 
                # a branch reference, use the existing BranchReference logic.
136
 
                return response[1]
137
 
        else:
138
 
            raise errors.UnexpectedSmartServerResponse(response)
139
 
 
140
 
    def _get_tree_branch(self):
141
 
        """See BzrDir._get_tree_branch()."""
142
 
        return None, self.open_branch()
143
 
 
144
 
    def open_branch(self, _unsupported=False):
145
 
        if _unsupported:
146
 
            raise NotImplementedError('unsupported flag support not implemented yet.')
147
 
        reference_url = self.get_branch_reference()
148
 
        if reference_url is None:
149
 
            # branch at this location.
150
 
            return RemoteBranch(self, self.find_repository())
151
 
        else:
152
 
            # a branch reference, use the existing BranchReference logic.
153
 
            format = BranchReferenceFormat()
154
 
            return format.open(self, _found=True, location=reference_url)
155
 
                
156
 
    def open_repository(self):
157
 
        path = self._path_for_remote_call(self._client)
158
 
        verb = 'BzrDir.find_repositoryV2'
159
 
        try:
160
 
            try:
161
 
                response = self._client.call(verb, path)
162
 
            except errors.UnknownSmartMethod:
163
 
                verb = 'BzrDir.find_repository'
164
 
                response = self._client.call(verb, path)
165
 
        except errors.ErrorFromSmartServer, err:
166
 
            if err.error_verb == 'norepository':
167
 
                raise errors.NoRepositoryPresent(self)
168
 
            raise
169
 
        if response[0] != 'ok':
170
 
            raise errors.UnexpectedSmartServerResponse(response)
171
 
        if verb == 'BzrDir.find_repository':
172
 
            # servers that don't support the V2 method don't support external
173
 
            # references either.
174
 
            response = response + ('no', )
175
 
        if not (len(response) == 5):
176
 
            raise SmartProtocolError('incorrect response length %s' % (response,))
177
 
        if response[1] == '':
178
 
            format = RemoteRepositoryFormat()
179
 
            format.rich_root_data = (response[2] == 'yes')
180
 
            format.supports_tree_reference = (response[3] == 'yes')
181
 
            # No wire format to check this yet.
182
 
            format.supports_external_lookups = (response[4] == 'yes')
183
 
            return RemoteRepository(self, format)
184
 
        else:
185
 
            raise errors.NoRepositoryPresent(self)
186
 
 
187
 
    def open_workingtree(self, recommend_upgrade=True):
188
 
        self._ensure_real()
189
 
        if self._real_bzrdir.has_workingtree():
190
 
            raise errors.NotLocalUrl(self.root_transport)
191
 
        else:
192
 
            raise errors.NoWorkingTree(self.root_transport.base)
193
 
 
194
 
    def _path_for_remote_call(self, client):
195
 
        """Return the path to be used for this bzrdir in a remote call."""
196
 
        return client.remote_path_from_transport(self.root_transport)
197
 
 
198
 
    def get_branch_transport(self, branch_format):
199
 
        self._ensure_real()
200
 
        return self._real_bzrdir.get_branch_transport(branch_format)
201
 
 
202
 
    def get_repository_transport(self, repository_format):
203
 
        self._ensure_real()
204
 
        return self._real_bzrdir.get_repository_transport(repository_format)
205
 
 
206
 
    def get_workingtree_transport(self, workingtree_format):
207
 
        self._ensure_real()
208
 
        return self._real_bzrdir.get_workingtree_transport(workingtree_format)
209
 
 
210
 
    def can_convert_format(self):
211
 
        """Upgrading of remote bzrdirs is not supported yet."""
212
 
        return False
213
 
 
214
 
    def needs_format_conversion(self, format=None):
215
 
        """Upgrading of remote bzrdirs is not supported yet."""
216
 
        return False
217
 
 
218
 
    def clone(self, url, revision_id=None, force_new_repo=False):
219
 
        self._ensure_real()
220
 
        return self._real_bzrdir.clone(url, revision_id=revision_id,
221
 
            force_new_repo=force_new_repo)
222
 
 
223
 
 
224
 
class RemoteRepositoryFormat(repository.RepositoryFormat):
225
 
    """Format for repositories accessed over a _SmartClient.
226
 
 
227
 
    Instances of this repository are represented by RemoteRepository
228
 
    instances.
229
 
 
230
 
    The RemoteRepositoryFormat is parameterized during construction
231
 
    to reflect the capabilities of the real, remote format. Specifically
232
 
    the attributes rich_root_data and supports_tree_reference are set
233
 
    on a per instance basis, and are not set (and should not be) at
234
 
    the class level.
235
 
    """
236
 
 
237
 
    _matchingbzrdir = RemoteBzrDirFormat
238
 
 
239
 
    def initialize(self, a_bzrdir, shared=False):
240
 
        if not isinstance(a_bzrdir, RemoteBzrDir):
241
 
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
242
 
        return a_bzrdir.create_repository(shared=shared)
243
 
    
244
 
    def open(self, a_bzrdir):
245
 
        if not isinstance(a_bzrdir, RemoteBzrDir):
246
 
            raise AssertionError('%r is not a RemoteBzrDir' % (a_bzrdir,))
247
 
        return a_bzrdir.open_repository()
248
 
 
249
 
    def get_format_description(self):
250
 
        return 'bzr remote repository'
251
 
 
252
 
    def __eq__(self, other):
253
 
        return self.__class__ == other.__class__
254
 
 
255
 
    def check_conversion_target(self, target_format):
256
 
        if self.rich_root_data and not target_format.rich_root_data:
257
 
            raise errors.BadConversionTarget(
258
 
                'Does not support rich root data.', target_format)
259
 
        if (self.supports_tree_reference and
260
 
            not getattr(target_format, 'supports_tree_reference', False)):
261
 
            raise errors.BadConversionTarget(
262
 
                'Does not support nested trees', target_format)
263
 
 
264
 
 
265
 
class RemoteRepository(object):
266
 
    """Repository accessed over rpc.
267
 
 
268
 
    For the moment most operations are performed using local transport-backed
269
 
    Repository objects.
270
 
    """
271
 
 
272
 
    def __init__(self, remote_bzrdir, format, real_repository=None, _client=None):
273
 
        """Create a RemoteRepository instance.
274
 
        
275
 
        :param remote_bzrdir: The bzrdir hosting this repository.
276
 
        :param format: The RemoteFormat object to use.
277
 
        :param real_repository: If not None, a local implementation of the
278
 
            repository logic for the repository, usually accessing the data
279
 
            via the VFS.
280
 
        :param _client: Private testing parameter - override the smart client
281
 
            to be used by the repository.
282
 
        """
283
 
        if real_repository:
284
 
            self._real_repository = real_repository
285
 
        else:
286
 
            self._real_repository = None
287
 
        self.bzrdir = remote_bzrdir
288
 
        if _client is None:
289
 
            self._client = remote_bzrdir._client
290
 
        else:
291
 
            self._client = _client
292
 
        self._format = format
293
 
        self._lock_mode = None
294
 
        self._lock_token = None
295
 
        self._lock_count = 0
296
 
        self._leave_lock = False
297
 
        # A cache of looked up revision parent data; reset at unlock time.
298
 
        self._parents_map = None
299
 
        if 'hpss' in debug.debug_flags:
300
 
            self._requested_parents = None
301
 
        # For tests:
302
 
        # These depend on the actual remote format, so force them off for
303
 
        # maximum compatibility. XXX: In future these should depend on the
304
 
        # remote repository instance, but this is irrelevant until we perform
305
 
        # reconcile via an RPC call.
306
 
        self._reconcile_does_inventory_gc = False
307
 
        self._reconcile_fixes_text_parents = False
308
 
        self._reconcile_backsup_inventory = False
309
 
        self.base = self.bzrdir.transport.base
310
 
 
311
 
    def __str__(self):
312
 
        return "%s(%s)" % (self.__class__.__name__, self.base)
313
 
 
314
 
    __repr__ = __str__
315
 
 
316
 
    def abort_write_group(self):
317
 
        """Complete a write group on the decorated repository.
318
 
        
319
 
        Smart methods peform operations in a single step so this api
320
 
        is not really applicable except as a compatibility thunk
321
 
        for older plugins that don't use e.g. the CommitBuilder
322
 
        facility.
323
 
        """
324
 
        self._ensure_real()
325
 
        return self._real_repository.abort_write_group()
326
 
 
327
 
    def commit_write_group(self):
328
 
        """Complete a write group on the decorated repository.
329
 
        
330
 
        Smart methods peform operations in a single step so this api
331
 
        is not really applicable except as a compatibility thunk
332
 
        for older plugins that don't use e.g. the CommitBuilder
333
 
        facility.
334
 
        """
335
 
        self._ensure_real()
336
 
        return self._real_repository.commit_write_group()
337
 
 
338
 
    def _ensure_real(self):
339
 
        """Ensure that there is a _real_repository set.
340
 
 
341
 
        Used before calls to self._real_repository.
342
 
        """
343
 
        if not self._real_repository:
344
 
            self.bzrdir._ensure_real()
345
 
            #self._real_repository = self.bzrdir._real_bzrdir.open_repository()
346
 
            self._set_real_repository(self.bzrdir._real_bzrdir.open_repository())
347
 
 
348
 
    def find_text_key_references(self):
349
 
        """Find the text key references within the repository.
350
 
 
351
 
        :return: a dictionary mapping (file_id, revision_id) tuples to altered file-ids to an iterable of
352
 
        revision_ids. Each altered file-ids has the exact revision_ids that
353
 
        altered it listed explicitly.
354
 
        :return: A dictionary mapping text keys ((fileid, revision_id) tuples)
355
 
            to whether they were referred to by the inventory of the
356
 
            revision_id that they contain. The inventory texts from all present
357
 
            revision ids are assessed to generate this report.
358
 
        """
359
 
        self._ensure_real()
360
 
        return self._real_repository.find_text_key_references()
361
 
 
362
 
    def _generate_text_key_index(self):
363
 
        """Generate a new text key index for the repository.
364
 
 
365
 
        This is an expensive function that will take considerable time to run.
366
 
 
367
 
        :return: A dict mapping (file_id, revision_id) tuples to a list of
368
 
            parents, also (file_id, revision_id) tuples.
369
 
        """
370
 
        self._ensure_real()
371
 
        return self._real_repository._generate_text_key_index()
372
 
 
373
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_four)
374
 
    def get_revision_graph(self, revision_id=None):
375
 
        """See Repository.get_revision_graph()."""
376
 
        return self._get_revision_graph(revision_id)
377
 
 
378
 
    def _get_revision_graph(self, revision_id):
379
 
        """Private method for using with old (< 1.2) servers to fallback."""
380
 
        if revision_id is None:
381
 
            revision_id = ''
382
 
        elif revision.is_null(revision_id):
383
 
            return {}
384
 
 
385
 
        path = self.bzrdir._path_for_remote_call(self._client)
386
 
        try:
387
 
            response = self._client.call_expecting_body(
388
 
                'Repository.get_revision_graph', path, revision_id)
389
 
        except errors.ErrorFromSmartServer, err:
390
 
            if err.error_verb == 'nosuchrevision':
391
 
                raise NoSuchRevision(self, revision_id)
392
 
            raise
393
 
        response_tuple, response_handler = response
394
 
        if response_tuple[0] != 'ok':
395
 
            raise errors.UnexpectedSmartServerResponse(response_tuple)
396
 
        coded = response_handler.read_body_bytes()
397
 
        if coded == '':
398
 
            # no revisions in this repository!
399
 
            return {}
400
 
        lines = coded.split('\n')
401
 
        revision_graph = {}
402
 
        for line in lines:
403
 
            d = tuple(line.split())
404
 
            revision_graph[d[0]] = d[1:]
405
 
            
406
 
        return revision_graph
407
 
 
408
 
    def has_revision(self, revision_id):
409
 
        """See Repository.has_revision()."""
410
 
        if revision_id == NULL_REVISION:
411
 
            # The null revision is always present.
412
 
            return True
413
 
        path = self.bzrdir._path_for_remote_call(self._client)
414
 
        response = self._client.call(
415
 
            'Repository.has_revision', path, revision_id)
416
 
        if response[0] not in ('yes', 'no'):
417
 
            raise errors.UnexpectedSmartServerResponse(response)
418
 
        return response[0] == 'yes'
419
 
 
420
 
    def has_revisions(self, revision_ids):
421
 
        """See Repository.has_revisions()."""
422
 
        result = set()
423
 
        for revision_id in revision_ids:
424
 
            if self.has_revision(revision_id):
425
 
                result.add(revision_id)
426
 
        return result
427
 
 
428
 
    def has_same_location(self, other):
429
 
        return (self.__class__ == other.__class__ and
430
 
                self.bzrdir.transport.base == other.bzrdir.transport.base)
431
 
        
432
 
    def get_graph(self, other_repository=None):
433
 
        """Return the graph for this repository format"""
434
 
        parents_provider = self
435
 
        if (other_repository is not None and
436
 
            other_repository.bzrdir.transport.base !=
437
 
            self.bzrdir.transport.base):
438
 
            parents_provider = graph._StackedParentsProvider(
439
 
                [parents_provider, other_repository._make_parents_provider()])
440
 
        return graph.Graph(parents_provider)
441
 
 
442
 
    def gather_stats(self, revid=None, committers=None):
443
 
        """See Repository.gather_stats()."""
444
 
        path = self.bzrdir._path_for_remote_call(self._client)
445
 
        # revid can be None to indicate no revisions, not just NULL_REVISION
446
 
        if revid is None or revision.is_null(revid):
447
 
            fmt_revid = ''
448
 
        else:
449
 
            fmt_revid = revid
450
 
        if committers is None or not committers:
451
 
            fmt_committers = 'no'
452
 
        else:
453
 
            fmt_committers = 'yes'
454
 
        response_tuple, response_handler = self._client.call_expecting_body(
455
 
            'Repository.gather_stats', path, fmt_revid, fmt_committers)
456
 
        if response_tuple[0] != 'ok':
457
 
            raise errors.UnexpectedSmartServerResponse(response_tuple)
458
 
 
459
 
        body = response_handler.read_body_bytes()
460
 
        result = {}
461
 
        for line in body.split('\n'):
462
 
            if not line:
463
 
                continue
464
 
            key, val_text = line.split(':')
465
 
            if key in ('revisions', 'size', 'committers'):
466
 
                result[key] = int(val_text)
467
 
            elif key in ('firstrev', 'latestrev'):
468
 
                values = val_text.split(' ')[1:]
469
 
                result[key] = (float(values[0]), long(values[1]))
470
 
 
471
 
        return result
472
 
 
473
 
    def find_branches(self, using=False):
474
 
        """See Repository.find_branches()."""
475
 
        # should be an API call to the server.
476
 
        self._ensure_real()
477
 
        return self._real_repository.find_branches(using=using)
478
 
 
479
 
    def get_physical_lock_status(self):
480
 
        """See Repository.get_physical_lock_status()."""
481
 
        # should be an API call to the server.
482
 
        self._ensure_real()
483
 
        return self._real_repository.get_physical_lock_status()
484
 
 
485
 
    def is_in_write_group(self):
486
 
        """Return True if there is an open write group.
487
 
 
488
 
        write groups are only applicable locally for the smart server..
489
 
        """
490
 
        if self._real_repository:
491
 
            return self._real_repository.is_in_write_group()
492
 
 
493
 
    def is_locked(self):
494
 
        return self._lock_count >= 1
495
 
 
496
 
    def is_shared(self):
497
 
        """See Repository.is_shared()."""
498
 
        path = self.bzrdir._path_for_remote_call(self._client)
499
 
        response = self._client.call('Repository.is_shared', path)
500
 
        if response[0] not in ('yes', 'no'):
501
 
            raise SmartProtocolError('unexpected response code %s' % (response,))
502
 
        return response[0] == 'yes'
503
 
 
504
 
    def is_write_locked(self):
505
 
        return self._lock_mode == 'w'
506
 
 
507
 
    def lock_read(self):
508
 
        # wrong eventually - want a local lock cache context
509
 
        if not self._lock_mode:
510
 
            self._lock_mode = 'r'
511
 
            self._lock_count = 1
512
 
            self._parents_map = {}
513
 
            if 'hpss' in debug.debug_flags:
514
 
                self._requested_parents = set()
515
 
            if self._real_repository is not None:
516
 
                self._real_repository.lock_read()
517
 
        else:
518
 
            self._lock_count += 1
519
 
 
520
 
    def _remote_lock_write(self, token):
521
 
        path = self.bzrdir._path_for_remote_call(self._client)
522
 
        if token is None:
523
 
            token = ''
524
 
        try:
525
 
            response = self._client.call('Repository.lock_write', path, token)
526
 
        except errors.ErrorFromSmartServer, err:
527
 
            if err.error_verb == 'LockContention':
528
 
                raise errors.LockContention('(remote lock)')
529
 
            elif err.error_verb == 'UnlockableTransport':
530
 
                raise errors.UnlockableTransport(self.bzrdir.root_transport)
531
 
            elif err.error_verb == 'LockFailed':
532
 
                raise errors.LockFailed(err.error_args[0], err.error_args[1])
533
 
            raise
534
 
 
535
 
        if response[0] == 'ok':
536
 
            ok, token = response
537
 
            return token
538
 
        else:
539
 
            raise errors.UnexpectedSmartServerResponse(response)
540
 
 
541
 
    def lock_write(self, token=None):
542
 
        if not self._lock_mode:
543
 
            self._lock_token = self._remote_lock_write(token)
544
 
            # if self._lock_token is None, then this is something like packs or
545
 
            # svn where we don't get to lock the repo, or a weave style repository
546
 
            # where we cannot lock it over the wire and attempts to do so will
547
 
            # fail.
548
 
            if self._real_repository is not None:
549
 
                self._real_repository.lock_write(token=self._lock_token)
550
 
            if token is not None:
551
 
                self._leave_lock = True
552
 
            else:
553
 
                self._leave_lock = False
554
 
            self._lock_mode = 'w'
555
 
            self._lock_count = 1
556
 
            self._parents_map = {}
557
 
            if 'hpss' in debug.debug_flags:
558
 
                self._requested_parents = set()
559
 
        elif self._lock_mode == 'r':
560
 
            raise errors.ReadOnlyError(self)
561
 
        else:
562
 
            self._lock_count += 1
563
 
        return self._lock_token or None
564
 
 
565
 
    def leave_lock_in_place(self):
566
 
        if not self._lock_token:
567
 
            raise NotImplementedError(self.leave_lock_in_place)
568
 
        self._leave_lock = True
569
 
 
570
 
    def dont_leave_lock_in_place(self):
571
 
        if not self._lock_token:
572
 
            raise NotImplementedError(self.dont_leave_lock_in_place)
573
 
        self._leave_lock = False
574
 
 
575
 
    def _set_real_repository(self, repository):
576
 
        """Set the _real_repository for this repository.
577
 
 
578
 
        :param repository: The repository to fallback to for non-hpss
579
 
            implemented operations.
580
 
        """
581
 
        if isinstance(repository, RemoteRepository):
582
 
            raise AssertionError()
583
 
        self._real_repository = repository
584
 
        if self._lock_mode == 'w':
585
 
            # if we are already locked, the real repository must be able to
586
 
            # acquire the lock with our token.
587
 
            self._real_repository.lock_write(self._lock_token)
588
 
        elif self._lock_mode == 'r':
589
 
            self._real_repository.lock_read()
590
 
 
591
 
    def start_write_group(self):
592
 
        """Start a write group on the decorated repository.
593
 
        
594
 
        Smart methods peform operations in a single step so this api
595
 
        is not really applicable except as a compatibility thunk
596
 
        for older plugins that don't use e.g. the CommitBuilder
597
 
        facility.
598
 
        """
599
 
        self._ensure_real()
600
 
        return self._real_repository.start_write_group()
601
 
 
602
 
    def _unlock(self, token):
603
 
        path = self.bzrdir._path_for_remote_call(self._client)
604
 
        if not token:
605
 
            # with no token the remote repository is not persistently locked.
606
 
            return
607
 
        try:
608
 
            response = self._client.call('Repository.unlock', path, token)
609
 
        except errors.ErrorFromSmartServer, err:
610
 
            if err.error_verb == 'TokenMismatch':
611
 
                raise errors.TokenMismatch(token, '(remote token)')
612
 
            raise
613
 
        if response == ('ok',):
614
 
            return
615
 
        else:
616
 
            raise errors.UnexpectedSmartServerResponse(response)
617
 
 
618
 
    def unlock(self):
619
 
        self._lock_count -= 1
620
 
        if self._lock_count > 0:
621
 
            return
622
 
        self._parents_map = None
623
 
        if 'hpss' in debug.debug_flags:
624
 
            self._requested_parents = None
625
 
        old_mode = self._lock_mode
626
 
        self._lock_mode = None
627
 
        try:
628
 
            # The real repository is responsible at present for raising an
629
 
            # exception if it's in an unfinished write group.  However, it
630
 
            # normally will *not* actually remove the lock from disk - that's
631
 
            # done by the server on receiving the Repository.unlock call.
632
 
            # This is just to let the _real_repository stay up to date.
633
 
            if self._real_repository is not None:
634
 
                self._real_repository.unlock()
635
 
        finally:
636
 
            # The rpc-level lock should be released even if there was a
637
 
            # problem releasing the vfs-based lock.
638
 
            if old_mode == 'w':
639
 
                # Only write-locked repositories need to make a remote method
640
 
                # call to perfom the unlock.
641
 
                old_token = self._lock_token
642
 
                self._lock_token = None
643
 
                if not self._leave_lock:
644
 
                    self._unlock(old_token)
645
 
 
646
 
    def break_lock(self):
647
 
        # should hand off to the network
648
 
        self._ensure_real()
649
 
        return self._real_repository.break_lock()
650
 
 
651
 
    def _get_tarball(self, compression):
652
 
        """Return a TemporaryFile containing a repository tarball.
653
 
        
654
 
        Returns None if the server does not support sending tarballs.
655
 
        """
656
 
        import tempfile
657
 
        path = self.bzrdir._path_for_remote_call(self._client)
658
 
        try:
659
 
            response, protocol = self._client.call_expecting_body(
660
 
                'Repository.tarball', path, compression)
661
 
        except errors.UnknownSmartMethod:
662
 
            protocol.cancel_read_body()
663
 
            return None
664
 
        if response[0] == 'ok':
665
 
            # Extract the tarball and return it
666
 
            t = tempfile.NamedTemporaryFile()
667
 
            # TODO: rpc layer should read directly into it...
668
 
            t.write(protocol.read_body_bytes())
669
 
            t.seek(0)
670
 
            return t
671
 
        raise errors.UnexpectedSmartServerResponse(response)
672
 
 
673
 
    def sprout(self, to_bzrdir, revision_id=None):
674
 
        # TODO: Option to control what format is created?
675
 
        self._ensure_real()
676
 
        dest_repo = self._real_repository._format.initialize(to_bzrdir,
677
 
                                                             shared=False)
678
 
        dest_repo.fetch(self, revision_id=revision_id)
679
 
        return dest_repo
680
 
 
681
 
    ### These methods are just thin shims to the VFS object for now.
682
 
 
683
 
    def revision_tree(self, revision_id):
684
 
        self._ensure_real()
685
 
        return self._real_repository.revision_tree(revision_id)
686
 
 
687
 
    def get_serializer_format(self):
688
 
        self._ensure_real()
689
 
        return self._real_repository.get_serializer_format()
690
 
 
691
 
    def get_commit_builder(self, branch, parents, config, timestamp=None,
692
 
                           timezone=None, committer=None, revprops=None,
693
 
                           revision_id=None):
694
 
        # FIXME: It ought to be possible to call this without immediately
695
 
        # triggering _ensure_real.  For now it's the easiest thing to do.
696
 
        self._ensure_real()
697
 
        builder = self._real_repository.get_commit_builder(branch, parents,
698
 
                config, timestamp=timestamp, timezone=timezone,
699
 
                committer=committer, revprops=revprops, revision_id=revision_id)
700
 
        return builder
701
 
 
702
 
    def add_inventory(self, revid, inv, parents):
703
 
        self._ensure_real()
704
 
        return self._real_repository.add_inventory(revid, inv, parents)
705
 
 
706
 
    def add_revision(self, rev_id, rev, inv=None, config=None):
707
 
        self._ensure_real()
708
 
        return self._real_repository.add_revision(
709
 
            rev_id, rev, inv=inv, config=config)
710
 
 
711
 
    @needs_read_lock
712
 
    def get_inventory(self, revision_id):
713
 
        self._ensure_real()
714
 
        return self._real_repository.get_inventory(revision_id)
715
 
 
716
 
    def iter_inventories(self, revision_ids):
717
 
        self._ensure_real()
718
 
        return self._real_repository.iter_inventories(revision_ids)
719
 
 
720
 
    @needs_read_lock
721
 
    def get_revision(self, revision_id):
722
 
        self._ensure_real()
723
 
        return self._real_repository.get_revision(revision_id)
724
 
 
725
 
    @property
726
 
    def weave_store(self):
727
 
        self._ensure_real()
728
 
        return self._real_repository.weave_store
729
 
 
730
 
    def get_transaction(self):
731
 
        self._ensure_real()
732
 
        return self._real_repository.get_transaction()
733
 
 
734
 
    @needs_read_lock
735
 
    def clone(self, a_bzrdir, revision_id=None):
736
 
        self._ensure_real()
737
 
        return self._real_repository.clone(a_bzrdir, revision_id=revision_id)
738
 
 
739
 
    def make_working_trees(self):
740
 
        """See Repository.make_working_trees"""
741
 
        self._ensure_real()
742
 
        return self._real_repository.make_working_trees()
743
 
 
744
 
    def revision_ids_to_search_result(self, result_set):
745
 
        """Convert a set of revision ids to a graph SearchResult."""
746
 
        result_parents = set()
747
 
        for parents in self.get_graph().get_parent_map(
748
 
            result_set).itervalues():
749
 
            result_parents.update(parents)
750
 
        included_keys = result_set.intersection(result_parents)
751
 
        start_keys = result_set.difference(included_keys)
752
 
        exclude_keys = result_parents.difference(result_set)
753
 
        result = graph.SearchResult(start_keys, exclude_keys,
754
 
            len(result_set), result_set)
755
 
        return result
756
 
 
757
 
    @needs_read_lock
758
 
    def search_missing_revision_ids(self, other, revision_id=None, find_ghosts=True):
759
 
        """Return the revision ids that other has that this does not.
760
 
        
761
 
        These are returned in topological order.
762
 
 
763
 
        revision_id: only return revision ids included by revision_id.
764
 
        """
765
 
        return repository.InterRepository.get(
766
 
            other, self).search_missing_revision_ids(revision_id, find_ghosts)
767
 
 
768
 
    def fetch(self, source, revision_id=None, pb=None):
769
 
        if self.has_same_location(source):
770
 
            # check that last_revision is in 'from' and then return a
771
 
            # no-operation.
772
 
            if (revision_id is not None and
773
 
                not revision.is_null(revision_id)):
774
 
                self.get_revision(revision_id)
775
 
            return 0, []
776
 
        self._ensure_real()
777
 
        return self._real_repository.fetch(
778
 
            source, revision_id=revision_id, pb=pb)
779
 
 
780
 
    def create_bundle(self, target, base, fileobj, format=None):
781
 
        self._ensure_real()
782
 
        self._real_repository.create_bundle(target, base, fileobj, format)
783
 
 
784
 
    @property
785
 
    def control_weaves(self):
786
 
        self._ensure_real()
787
 
        return self._real_repository.control_weaves
788
 
 
789
 
    @needs_read_lock
790
 
    def get_ancestry(self, revision_id, topo_sorted=True):
791
 
        self._ensure_real()
792
 
        return self._real_repository.get_ancestry(revision_id, topo_sorted)
793
 
 
794
 
    @needs_read_lock
795
 
    def get_inventory_weave(self):
796
 
        self._ensure_real()
797
 
        return self._real_repository.get_inventory_weave()
798
 
 
799
 
    def fileids_altered_by_revision_ids(self, revision_ids):
800
 
        self._ensure_real()
801
 
        return self._real_repository.fileids_altered_by_revision_ids(revision_ids)
802
 
 
803
 
    def _get_versioned_file_checker(self, revisions, revision_versions_cache):
804
 
        self._ensure_real()
805
 
        return self._real_repository._get_versioned_file_checker(
806
 
            revisions, revision_versions_cache)
807
 
        
808
 
    def iter_files_bytes(self, desired_files):
809
 
        """See Repository.iter_file_bytes.
810
 
        """
811
 
        self._ensure_real()
812
 
        return self._real_repository.iter_files_bytes(desired_files)
813
 
 
814
 
    def get_parent_map(self, keys):
815
 
        """See bzrlib.Graph.get_parent_map()."""
816
 
        # Hack to build up the caching logic.
817
 
        ancestry = self._parents_map
818
 
        if ancestry is None:
819
 
            # Repository is not locked, so there's no cache.
820
 
            missing_revisions = set(keys)
821
 
            ancestry = {}
822
 
        else:
823
 
            missing_revisions = set(key for key in keys if key not in ancestry)
824
 
        if missing_revisions:
825
 
            parent_map = self._get_parent_map(missing_revisions)
826
 
            if 'hpss' in debug.debug_flags:
827
 
                mutter('retransmitted revisions: %d of %d',
828
 
                        len(set(ancestry).intersection(parent_map)),
829
 
                        len(parent_map))
830
 
            ancestry.update(parent_map)
831
 
        present_keys = [k for k in keys if k in ancestry]
832
 
        if 'hpss' in debug.debug_flags:
833
 
            if self._requested_parents is not None and len(ancestry) != 0:
834
 
                self._requested_parents.update(present_keys)
835
 
                mutter('Current RemoteRepository graph hit rate: %d%%',
836
 
                    100.0 * len(self._requested_parents) / len(ancestry))
837
 
        return dict((k, ancestry[k]) for k in present_keys)
838
 
 
839
 
    def _get_parent_map(self, keys):
840
 
        """Helper for get_parent_map that performs the RPC."""
841
 
        medium = self._client._medium
842
 
        if not medium._remote_is_at_least_1_2:
843
 
            # We already found out that the server can't understand
844
 
            # Repository.get_parent_map requests, so just fetch the whole
845
 
            # graph.
846
 
            # XXX: Note that this will issue a deprecation warning. This is ok
847
 
            # :- its because we're working with a deprecated server anyway, and
848
 
            # the user will almost certainly have seen a warning about the
849
 
            # server version already.
850
 
            rg = self.get_revision_graph()
851
 
            # There is an api discrepency between get_parent_map and
852
 
            # get_revision_graph. Specifically, a "key:()" pair in
853
 
            # get_revision_graph just means a node has no parents. For
854
 
            # "get_parent_map" it means the node is a ghost. So fix up the
855
 
            # graph to correct this.
856
 
            #   https://bugs.launchpad.net/bzr/+bug/214894
857
 
            # There is one other "bug" which is that ghosts in
858
 
            # get_revision_graph() are not returned at all. But we won't worry
859
 
            # about that for now.
860
 
            for node_id, parent_ids in rg.iteritems():
861
 
                if parent_ids == ():
862
 
                    rg[node_id] = (NULL_REVISION,)
863
 
            rg[NULL_REVISION] = ()
864
 
            return rg
865
 
 
866
 
        keys = set(keys)
867
 
        if None in keys:
868
 
            raise ValueError('get_parent_map(None) is not valid')
869
 
        if NULL_REVISION in keys:
870
 
            keys.discard(NULL_REVISION)
871
 
            found_parents = {NULL_REVISION:()}
872
 
            if not keys:
873
 
                return found_parents
874
 
        else:
875
 
            found_parents = {}
876
 
        # TODO(Needs analysis): We could assume that the keys being requested
877
 
        # from get_parent_map are in a breadth first search, so typically they
878
 
        # will all be depth N from some common parent, and we don't have to
879
 
        # have the server iterate from the root parent, but rather from the
880
 
        # keys we're searching; and just tell the server the keyspace we
881
 
        # already have; but this may be more traffic again.
882
 
 
883
 
        # Transform self._parents_map into a search request recipe.
884
 
        # TODO: Manage this incrementally to avoid covering the same path
885
 
        # repeatedly. (The server will have to on each request, but the less
886
 
        # work done the better).
887
 
        parents_map = self._parents_map
888
 
        if parents_map is None:
889
 
            # Repository is not locked, so there's no cache.
890
 
            parents_map = {}
891
 
        start_set = set(parents_map)
892
 
        result_parents = set()
893
 
        for parents in parents_map.itervalues():
894
 
            result_parents.update(parents)
895
 
        stop_keys = result_parents.difference(start_set)
896
 
        included_keys = start_set.intersection(result_parents)
897
 
        start_set.difference_update(included_keys)
898
 
        recipe = (start_set, stop_keys, len(parents_map))
899
 
        body = self._serialise_search_recipe(recipe)
900
 
        path = self.bzrdir._path_for_remote_call(self._client)
901
 
        for key in keys:
902
 
            if type(key) is not str:
903
 
                raise ValueError(
904
 
                    "key %r not a plain string" % (key,))
905
 
        verb = 'Repository.get_parent_map'
906
 
        args = (path,) + tuple(keys)
907
 
        try:
908
 
            response = self._client.call_with_body_bytes_expecting_body(
909
 
                verb, args, self._serialise_search_recipe(recipe))
910
 
        except errors.UnknownSmartMethod:
911
 
            # Server does not support this method, so get the whole graph.
912
 
            # Worse, we have to force a disconnection, because the server now
913
 
            # doesn't realise it has a body on the wire to consume, so the
914
 
            # only way to recover is to abandon the connection.
915
 
            warning(
916
 
                'Server is too old for fast get_parent_map, reconnecting.  '
917
 
                '(Upgrade the server to Bazaar 1.2 to avoid this)')
918
 
            medium.disconnect()
919
 
            # To avoid having to disconnect repeatedly, we keep track of the
920
 
            # fact the server doesn't understand remote methods added in 1.2.
921
 
            medium._remote_is_at_least_1_2 = False
922
 
            return self.get_revision_graph(None)
923
 
        response_tuple, response_handler = response
924
 
        if response_tuple[0] not in ['ok']:
925
 
            response_handler.cancel_read_body()
926
 
            raise errors.UnexpectedSmartServerResponse(response_tuple)
927
 
        if response_tuple[0] == 'ok':
928
 
            coded = bz2.decompress(response_handler.read_body_bytes())
929
 
            if coded == '':
930
 
                # no revisions found
931
 
                return {}
932
 
            lines = coded.split('\n')
933
 
            revision_graph = {}
934
 
            for line in lines:
935
 
                d = tuple(line.split())
936
 
                if len(d) > 1:
937
 
                    revision_graph[d[0]] = d[1:]
938
 
                else:
939
 
                    # No parents - so give the Graph result (NULL_REVISION,).
940
 
                    revision_graph[d[0]] = (NULL_REVISION,)
941
 
            return revision_graph
942
 
 
943
 
    @needs_read_lock
944
 
    def get_signature_text(self, revision_id):
945
 
        self._ensure_real()
946
 
        return self._real_repository.get_signature_text(revision_id)
947
 
 
948
 
    @needs_read_lock
949
 
    @symbol_versioning.deprecated_method(symbol_versioning.one_three)
950
 
    def get_revision_graph_with_ghosts(self, revision_ids=None):
951
 
        self._ensure_real()
952
 
        return self._real_repository.get_revision_graph_with_ghosts(
953
 
            revision_ids=revision_ids)
954
 
 
955
 
    @needs_read_lock
956
 
    def get_inventory_xml(self, revision_id):
957
 
        self._ensure_real()
958
 
        return self._real_repository.get_inventory_xml(revision_id)
959
 
 
960
 
    def deserialise_inventory(self, revision_id, xml):
961
 
        self._ensure_real()
962
 
        return self._real_repository.deserialise_inventory(revision_id, xml)
963
 
 
964
 
    def reconcile(self, other=None, thorough=False):
965
 
        self._ensure_real()
966
 
        return self._real_repository.reconcile(other=other, thorough=thorough)
967
 
        
968
 
    def all_revision_ids(self):
969
 
        self._ensure_real()
970
 
        return self._real_repository.all_revision_ids()
971
 
    
972
 
    @needs_read_lock
973
 
    def get_deltas_for_revisions(self, revisions):
974
 
        self._ensure_real()
975
 
        return self._real_repository.get_deltas_for_revisions(revisions)
976
 
 
977
 
    @needs_read_lock
978
 
    def get_revision_delta(self, revision_id):
979
 
        self._ensure_real()
980
 
        return self._real_repository.get_revision_delta(revision_id)
981
 
 
982
 
    @needs_read_lock
983
 
    def revision_trees(self, revision_ids):
984
 
        self._ensure_real()
985
 
        return self._real_repository.revision_trees(revision_ids)
986
 
 
987
 
    @needs_read_lock
988
 
    def get_revision_reconcile(self, revision_id):
989
 
        self._ensure_real()
990
 
        return self._real_repository.get_revision_reconcile(revision_id)
991
 
 
992
 
    @needs_read_lock
993
 
    def check(self, revision_ids=None):
994
 
        self._ensure_real()
995
 
        return self._real_repository.check(revision_ids=revision_ids)
996
 
 
997
 
    def copy_content_into(self, destination, revision_id=None):
998
 
        self._ensure_real()
999
 
        return self._real_repository.copy_content_into(
1000
 
            destination, revision_id=revision_id)
1001
 
 
1002
 
    def _copy_repository_tarball(self, to_bzrdir, revision_id=None):
1003
 
        # get a tarball of the remote repository, and copy from that into the
1004
 
        # destination
1005
 
        from bzrlib import osutils
1006
 
        import tarfile
1007
 
        import tempfile
1008
 
        # TODO: Maybe a progress bar while streaming the tarball?
1009
 
        note("Copying repository content as tarball...")
1010
 
        tar_file = self._get_tarball('bz2')
1011
 
        if tar_file is None:
1012
 
            return None
1013
 
        destination = to_bzrdir.create_repository()
1014
 
        try:
1015
 
            tar = tarfile.open('repository', fileobj=tar_file,
1016
 
                mode='r|bz2')
1017
 
            tmpdir = tempfile.mkdtemp()
1018
 
            try:
1019
 
                _extract_tar(tar, tmpdir)
1020
 
                tmp_bzrdir = BzrDir.open(tmpdir)
1021
 
                tmp_repo = tmp_bzrdir.open_repository()
1022
 
                tmp_repo.copy_content_into(destination, revision_id)
1023
 
            finally:
1024
 
                osutils.rmtree(tmpdir)
1025
 
        finally:
1026
 
            tar_file.close()
1027
 
        return destination
1028
 
        # TODO: Suggestion from john: using external tar is much faster than
1029
 
        # python's tarfile library, but it may not work on windows.
1030
 
 
1031
 
    @needs_write_lock
1032
 
    def pack(self):
1033
 
        """Compress the data within the repository.
1034
 
 
1035
 
        This is not currently implemented within the smart server.
1036
 
        """
1037
 
        self._ensure_real()
1038
 
        return self._real_repository.pack()
1039
 
 
1040
 
    def set_make_working_trees(self, new_value):
1041
 
        self._ensure_real()
1042
 
        self._real_repository.set_make_working_trees(new_value)
1043
 
 
1044
 
    @needs_write_lock
1045
 
    def sign_revision(self, revision_id, gpg_strategy):
1046
 
        self._ensure_real()
1047
 
        return self._real_repository.sign_revision(revision_id, gpg_strategy)
1048
 
 
1049
 
    @needs_read_lock
1050
 
    def get_revisions(self, revision_ids):
1051
 
        self._ensure_real()
1052
 
        return self._real_repository.get_revisions(revision_ids)
1053
 
 
1054
 
    def supports_rich_root(self):
1055
 
        self._ensure_real()
1056
 
        return self._real_repository.supports_rich_root()
1057
 
 
1058
 
    def iter_reverse_revision_history(self, revision_id):
1059
 
        self._ensure_real()
1060
 
        return self._real_repository.iter_reverse_revision_history(revision_id)
1061
 
 
1062
 
    @property
1063
 
    def _serializer(self):
1064
 
        self._ensure_real()
1065
 
        return self._real_repository._serializer
1066
 
 
1067
 
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
1068
 
        self._ensure_real()
1069
 
        return self._real_repository.store_revision_signature(
1070
 
            gpg_strategy, plaintext, revision_id)
1071
 
 
1072
 
    def add_signature_text(self, revision_id, signature):
1073
 
        self._ensure_real()
1074
 
        return self._real_repository.add_signature_text(revision_id, signature)
1075
 
 
1076
 
    def has_signature_for_revision_id(self, revision_id):
1077
 
        self._ensure_real()
1078
 
        return self._real_repository.has_signature_for_revision_id(revision_id)
1079
 
 
1080
 
    def get_data_stream_for_search(self, search):
1081
 
        medium = self._client._medium
1082
 
        if not medium._remote_is_at_least_1_2:
1083
 
            self._ensure_real()
1084
 
            return self._real_repository.get_data_stream_for_search(search)
1085
 
        REQUEST_NAME = 'Repository.stream_revisions_chunked'
1086
 
        path = self.bzrdir._path_for_remote_call(self._client)
1087
 
        body = self._serialise_search_recipe(search.get_recipe())
1088
 
        try:
1089
 
            result = self._client.call_with_body_bytes_expecting_body(
1090
 
                REQUEST_NAME, (path,), body)
1091
 
            response, protocol = result
1092
 
        except errors.UnknownSmartMethod:
1093
 
            # Server does not support this method, so fall back to VFS.
1094
 
            # Worse, we have to force a disconnection, because the server now
1095
 
            # doesn't realise it has a body on the wire to consume, so the
1096
 
            # only way to recover is to abandon the connection.
1097
 
            warning(
1098
 
                'Server is too old for streaming pull, reconnecting.  '
1099
 
                '(Upgrade the server to Bazaar 1.2 to avoid this)')
1100
 
            medium.disconnect()
1101
 
            # To avoid having to disconnect repeatedly, we keep track of the
1102
 
            # fact the server doesn't understand this remote method.
1103
 
            medium._remote_is_at_least_1_2 = False
1104
 
            self._ensure_real()
1105
 
            return self._real_repository.get_data_stream_for_search(search)
1106
 
 
1107
 
        if response == ('ok',):
1108
 
            return self._deserialise_stream(protocol)
1109
 
        if response == ('NoSuchRevision', ):
1110
 
            # We cannot easily identify the revision that is missing in this
1111
 
            # situation without doing much more network IO. For now, bail.
1112
 
            raise NoSuchRevision(self, "unknown")
1113
 
        else:
1114
 
            raise errors.UnexpectedSmartServerResponse(response)
1115
 
 
1116
 
    def _deserialise_stream(self, protocol):
1117
 
        stream = protocol.read_streamed_body()
1118
 
        container_parser = ContainerPushParser()
1119
 
        for bytes in stream:
1120
 
            container_parser.accept_bytes(bytes)
1121
 
            records = container_parser.read_pending_records()
1122
 
            for record_names, record_bytes in records:
1123
 
                if len(record_names) != 1:
1124
 
                    # These records should have only one name, and that name
1125
 
                    # should be a one-element tuple.
1126
 
                    raise errors.SmartProtocolError(
1127
 
                        'Repository data stream had invalid record name %r'
1128
 
                        % (record_names,))
1129
 
                name_tuple = record_names[0]
1130
 
                yield name_tuple, record_bytes
1131
 
 
1132
 
    def insert_data_stream(self, stream):
1133
 
        self._ensure_real()
1134
 
        self._real_repository.insert_data_stream(stream)
1135
 
 
1136
 
    def item_keys_introduced_by(self, revision_ids, _files_pb=None):
1137
 
        self._ensure_real()
1138
 
        return self._real_repository.item_keys_introduced_by(revision_ids,
1139
 
            _files_pb=_files_pb)
1140
 
 
1141
 
    def revision_graph_can_have_wrong_parents(self):
1142
 
        # The answer depends on the remote repo format.
1143
 
        self._ensure_real()
1144
 
        return self._real_repository.revision_graph_can_have_wrong_parents()
1145
 
 
1146
 
    def _find_inconsistent_revision_parents(self):
1147
 
        self._ensure_real()
1148
 
        return self._real_repository._find_inconsistent_revision_parents()
1149
 
 
1150
 
    def _check_for_inconsistent_revision_parents(self):
1151
 
        self._ensure_real()
1152
 
        return self._real_repository._check_for_inconsistent_revision_parents()
1153
 
 
1154
 
    def _make_parents_provider(self):
1155
 
        return self
1156
 
 
1157
 
    def _serialise_search_recipe(self, recipe):
1158
 
        """Serialise a graph search recipe.
1159
 
 
1160
 
        :param recipe: A search recipe (start, stop, count).
1161
 
        :return: Serialised bytes.
1162
 
        """
1163
 
        start_keys = ' '.join(recipe[0])
1164
 
        stop_keys = ' '.join(recipe[1])
1165
 
        count = str(recipe[2])
1166
 
        return '\n'.join((start_keys, stop_keys, count))
1167
 
 
1168
 
 
1169
 
class RemoteBranchLockableFiles(LockableFiles):
1170
 
    """A 'LockableFiles' implementation that talks to a smart server.
1171
 
    
1172
 
    This is not a public interface class.
1173
 
    """
1174
 
 
1175
 
    def __init__(self, bzrdir, _client):
1176
 
        self.bzrdir = bzrdir
1177
 
        self._client = _client
1178
 
        self._need_find_modes = True
1179
 
        LockableFiles.__init__(
1180
 
            self, bzrdir.get_branch_transport(None),
1181
 
            'lock', lockdir.LockDir)
1182
 
 
1183
 
    def _find_modes(self):
1184
 
        # RemoteBranches don't let the client set the mode of control files.
1185
 
        self._dir_mode = None
1186
 
        self._file_mode = None
1187
 
 
1188
 
 
1189
 
class RemoteBranchFormat(branch.BranchFormat):
1190
 
 
1191
 
    def __eq__(self, other):
1192
 
        return (isinstance(other, RemoteBranchFormat) and 
1193
 
            self.__dict__ == other.__dict__)
1194
 
 
1195
 
    def get_format_description(self):
1196
 
        return 'Remote BZR Branch'
1197
 
 
1198
 
    def get_format_string(self):
1199
 
        return 'Remote BZR Branch'
1200
 
 
1201
 
    def open(self, a_bzrdir):
1202
 
        return a_bzrdir.open_branch()
1203
 
 
1204
 
    def initialize(self, a_bzrdir):
1205
 
        return a_bzrdir.create_branch()
1206
 
 
1207
 
    def supports_tags(self):
1208
 
        # Remote branches might support tags, but we won't know until we
1209
 
        # access the real remote branch.
1210
 
        return True
1211
 
 
1212
 
 
1213
 
class RemoteBranch(branch.Branch):
1214
 
    """Branch stored on a server accessed by HPSS RPC.
1215
 
 
1216
 
    At the moment most operations are mapped down to simple file operations.
1217
 
    """
1218
 
 
1219
 
    def __init__(self, remote_bzrdir, remote_repository, real_branch=None,
1220
 
        _client=None):
1221
 
        """Create a RemoteBranch instance.
1222
 
 
1223
 
        :param real_branch: An optional local implementation of the branch
1224
 
            format, usually accessing the data via the VFS.
1225
 
        :param _client: Private parameter for testing.
1226
 
        """
1227
 
        # We intentionally don't call the parent class's __init__, because it
1228
 
        # will try to assign to self.tags, which is a property in this subclass.
1229
 
        # And the parent's __init__ doesn't do much anyway.
1230
 
        self._revision_id_to_revno_cache = None
1231
 
        self._revision_history_cache = None
1232
 
        self.bzrdir = remote_bzrdir
1233
 
        if _client is not None:
1234
 
            self._client = _client
1235
 
        else:
1236
 
            self._client = remote_bzrdir._client
1237
 
        self.repository = remote_repository
1238
 
        if real_branch is not None:
1239
 
            self._real_branch = real_branch
1240
 
            # Give the remote repository the matching real repo.
1241
 
            real_repo = self._real_branch.repository
1242
 
            if isinstance(real_repo, RemoteRepository):
1243
 
                real_repo._ensure_real()
1244
 
                real_repo = real_repo._real_repository
1245
 
            self.repository._set_real_repository(real_repo)
1246
 
            # Give the branch the remote repository to let fast-pathing happen.
1247
 
            self._real_branch.repository = self.repository
1248
 
        else:
1249
 
            self._real_branch = None
1250
 
        # Fill out expected attributes of branch for bzrlib api users.
1251
 
        self._format = RemoteBranchFormat()
1252
 
        self.base = self.bzrdir.root_transport.base
1253
 
        self._control_files = None
1254
 
        self._lock_mode = None
1255
 
        self._lock_token = None
1256
 
        self._repo_lock_token = None
1257
 
        self._lock_count = 0
1258
 
        self._leave_lock = False
1259
 
 
1260
 
    def _ensure_real_transport(self):
1261
 
        # if we try vfs access, return the real branch's vfs transport
1262
 
        self._ensure_real()
1263
 
        return self._real_branch._transport
1264
 
 
1265
 
    _transport = property(_ensure_real_transport)
1266
 
 
1267
 
    def __str__(self):
1268
 
        return "%s(%s)" % (self.__class__.__name__, self.base)
1269
 
 
1270
 
    __repr__ = __str__
1271
 
 
1272
 
    def _ensure_real(self):
1273
 
        """Ensure that there is a _real_branch set.
1274
 
 
1275
 
        Used before calls to self._real_branch.
1276
 
        """
1277
 
        if self._real_branch is None:
1278
 
            if not vfs.vfs_enabled():
1279
 
                raise AssertionError('smart server vfs must be enabled '
1280
 
                    'to use vfs implementation')
1281
 
            self.bzrdir._ensure_real()
1282
 
            self._real_branch = self.bzrdir._real_bzrdir.open_branch()
1283
 
            # Give the remote repository the matching real repo.
1284
 
            real_repo = self._real_branch.repository
1285
 
            if isinstance(real_repo, RemoteRepository):
1286
 
                real_repo._ensure_real()
1287
 
                real_repo = real_repo._real_repository
1288
 
            self.repository._set_real_repository(real_repo)
1289
 
            # Give the branch the remote repository to let fast-pathing happen.
1290
 
            self._real_branch.repository = self.repository
1291
 
            # XXX: deal with _lock_mode == 'w'
1292
 
            if self._lock_mode == 'r':
1293
 
                self._real_branch.lock_read()
1294
 
 
1295
 
    @property
1296
 
    def control_files(self):
1297
 
        # Defer actually creating RemoteBranchLockableFiles until its needed,
1298
 
        # because it triggers an _ensure_real that we otherwise might not need.
1299
 
        if self._control_files is None:
1300
 
            self._control_files = RemoteBranchLockableFiles(
1301
 
                self.bzrdir, self._client)
1302
 
        return self._control_files
1303
 
 
1304
 
    def _get_checkout_format(self):
1305
 
        self._ensure_real()
1306
 
        return self._real_branch._get_checkout_format()
1307
 
 
1308
 
    def get_physical_lock_status(self):
1309
 
        """See Branch.get_physical_lock_status()."""
1310
 
        # should be an API call to the server, as branches must be lockable.
1311
 
        self._ensure_real()
1312
 
        return self._real_branch.get_physical_lock_status()
1313
 
 
1314
 
    def lock_read(self):
1315
 
        if not self._lock_mode:
1316
 
            self._lock_mode = 'r'
1317
 
            self._lock_count = 1
1318
 
            if self._real_branch is not None:
1319
 
                self._real_branch.lock_read()
1320
 
        else:
1321
 
            self._lock_count += 1
1322
 
 
1323
 
    def _remote_lock_write(self, token):
1324
 
        if token is None:
1325
 
            branch_token = repo_token = ''
1326
 
        else:
1327
 
            branch_token = token
1328
 
            repo_token = self.repository.lock_write()
1329
 
            self.repository.unlock()
1330
 
        path = self.bzrdir._path_for_remote_call(self._client)
1331
 
        try:
1332
 
            response = self._client.call(
1333
 
                'Branch.lock_write', path, branch_token, repo_token or '')
1334
 
        except errors.ErrorFromSmartServer, err:
1335
 
            if err.error_verb == 'LockContention':
1336
 
                raise errors.LockContention('(remote lock)')
1337
 
            elif err.error_verb == 'TokenMismatch':
1338
 
                raise errors.TokenMismatch(token, '(remote token)')
1339
 
            elif err.error_verb == 'UnlockableTransport':
1340
 
                raise errors.UnlockableTransport(self.bzrdir.root_transport)
1341
 
            elif err.error_verb == 'ReadOnlyError':
1342
 
                raise errors.ReadOnlyError(self)
1343
 
            elif err.error_verb == 'LockFailed':
1344
 
                raise errors.LockFailed(err.error_args[0], err.error_args[1])
1345
 
            raise
1346
 
        if response[0] != 'ok':
1347
 
            raise errors.UnexpectedSmartServerResponse(response)
1348
 
        ok, branch_token, repo_token = response
1349
 
        return branch_token, repo_token
1350
 
            
1351
 
    def lock_write(self, token=None):
1352
 
        if not self._lock_mode:
1353
 
            remote_tokens = self._remote_lock_write(token)
1354
 
            self._lock_token, self._repo_lock_token = remote_tokens
1355
 
            if not self._lock_token:
1356
 
                raise SmartProtocolError('Remote server did not return a token!')
1357
 
            # TODO: We really, really, really don't want to call _ensure_real
1358
 
            # here, but it's the easiest way to ensure coherency between the
1359
 
            # state of the RemoteBranch and RemoteRepository objects and the
1360
 
            # physical locks.  If we don't materialise the real objects here,
1361
 
            # then getting everything in the right state later is complex, so
1362
 
            # for now we just do it the lazy way.
1363
 
            #   -- Andrew Bennetts, 2007-02-22.
1364
 
            self._ensure_real()
1365
 
            if self._real_branch is not None:
1366
 
                self._real_branch.repository.lock_write(
1367
 
                    token=self._repo_lock_token)
1368
 
                try:
1369
 
                    self._real_branch.lock_write(token=self._lock_token)
1370
 
                finally:
1371
 
                    self._real_branch.repository.unlock()
1372
 
            if token is not None:
1373
 
                self._leave_lock = True
1374
 
            else:
1375
 
                # XXX: this case seems to be unreachable; token cannot be None.
1376
 
                self._leave_lock = False
1377
 
            self._lock_mode = 'w'
1378
 
            self._lock_count = 1
1379
 
        elif self._lock_mode == 'r':
1380
 
            raise errors.ReadOnlyTransaction
1381
 
        else:
1382
 
            if token is not None:
1383
 
                # A token was given to lock_write, and we're relocking, so check
1384
 
                # that the given token actually matches the one we already have.
1385
 
                if token != self._lock_token:
1386
 
                    raise errors.TokenMismatch(token, self._lock_token)
1387
 
            self._lock_count += 1
1388
 
        return self._lock_token or None
1389
 
 
1390
 
    def _unlock(self, branch_token, repo_token):
1391
 
        path = self.bzrdir._path_for_remote_call(self._client)
1392
 
        try:
1393
 
            response = self._client.call('Branch.unlock', path, branch_token,
1394
 
                                         repo_token or '')
1395
 
        except errors.ErrorFromSmartServer, err:
1396
 
            if err.error_verb == 'TokenMismatch':
1397
 
                raise errors.TokenMismatch(
1398
 
                    str((branch_token, repo_token)), '(remote tokens)')
1399
 
            raise
1400
 
        if response == ('ok',):
1401
 
            return
1402
 
        raise errors.UnexpectedSmartServerResponse(response)
1403
 
 
1404
 
    def unlock(self):
1405
 
        self._lock_count -= 1
1406
 
        if not self._lock_count:
1407
 
            self._clear_cached_state()
1408
 
            mode = self._lock_mode
1409
 
            self._lock_mode = None
1410
 
            if self._real_branch is not None:
1411
 
                if (not self._leave_lock and mode == 'w' and
1412
 
                    self._repo_lock_token):
1413
 
                    # If this RemoteBranch will remove the physical lock for the
1414
 
                    # repository, make sure the _real_branch doesn't do it
1415
 
                    # first.  (Because the _real_branch's repository is set to
1416
 
                    # be the RemoteRepository.)
1417
 
                    self._real_branch.repository.leave_lock_in_place()
1418
 
                self._real_branch.unlock()
1419
 
            if mode != 'w':
1420
 
                # Only write-locked branched need to make a remote method call
1421
 
                # to perfom the unlock.
1422
 
                return
1423
 
            if not self._lock_token:
1424
 
                raise AssertionError('Locked, but no token!')
1425
 
            branch_token = self._lock_token
1426
 
            repo_token = self._repo_lock_token
1427
 
            self._lock_token = None
1428
 
            self._repo_lock_token = None
1429
 
            if not self._leave_lock:
1430
 
                self._unlock(branch_token, repo_token)
1431
 
 
1432
 
    def break_lock(self):
1433
 
        self._ensure_real()
1434
 
        return self._real_branch.break_lock()
1435
 
 
1436
 
    def leave_lock_in_place(self):
1437
 
        if not self._lock_token:
1438
 
            raise NotImplementedError(self.leave_lock_in_place)
1439
 
        self._leave_lock = True
1440
 
 
1441
 
    def dont_leave_lock_in_place(self):
1442
 
        if not self._lock_token:
1443
 
            raise NotImplementedError(self.dont_leave_lock_in_place)
1444
 
        self._leave_lock = False
1445
 
 
1446
 
    def last_revision_info(self):
1447
 
        """See Branch.last_revision_info()."""
1448
 
        path = self.bzrdir._path_for_remote_call(self._client)
1449
 
        response = self._client.call('Branch.last_revision_info', path)
1450
 
        if response[0] != 'ok':
1451
 
            raise SmartProtocolError('unexpected response code %s' % (response,))
1452
 
        revno = int(response[1])
1453
 
        last_revision = response[2]
1454
 
        return (revno, last_revision)
1455
 
 
1456
 
    def _gen_revision_history(self):
1457
 
        """See Branch._gen_revision_history()."""
1458
 
        path = self.bzrdir._path_for_remote_call(self._client)
1459
 
        response_tuple, response_handler = self._client.call_expecting_body(
1460
 
            'Branch.revision_history', path)
1461
 
        if response_tuple[0] != 'ok':
1462
 
            raise UnexpectedSmartServerResponse(response_tuple)
1463
 
        result = response_handler.read_body_bytes().split('\x00')
1464
 
        if result == ['']:
1465
 
            return []
1466
 
        return result
1467
 
 
1468
 
    @needs_write_lock
1469
 
    def set_revision_history(self, rev_history):
1470
 
        # Send just the tip revision of the history; the server will generate
1471
 
        # the full history from that.  If the revision doesn't exist in this
1472
 
        # branch, NoSuchRevision will be raised.
1473
 
        path = self.bzrdir._path_for_remote_call(self._client)
1474
 
        if rev_history == []:
1475
 
            rev_id = 'null:'
1476
 
        else:
1477
 
            rev_id = rev_history[-1]
1478
 
        self._clear_cached_state()
1479
 
        try:
1480
 
            response = self._client.call('Branch.set_last_revision',
1481
 
                path, self._lock_token, self._repo_lock_token, rev_id)
1482
 
        except errors.ErrorFromSmartServer, err:
1483
 
            if err.error_verb == 'NoSuchRevision':
1484
 
                raise NoSuchRevision(self, rev_id)
1485
 
            raise
1486
 
        if response != ('ok',):
1487
 
            raise errors.UnexpectedSmartServerResponse(response)
1488
 
        self._cache_revision_history(rev_history)
1489
 
 
1490
 
    def get_parent(self):
1491
 
        self._ensure_real()
1492
 
        return self._real_branch.get_parent()
1493
 
        
1494
 
    def set_parent(self, url):
1495
 
        self._ensure_real()
1496
 
        return self._real_branch.set_parent(url)
1497
 
        
1498
 
    def sprout(self, to_bzrdir, revision_id=None):
1499
 
        # Like Branch.sprout, except that it sprouts a branch in the default
1500
 
        # format, because RemoteBranches can't be created at arbitrary URLs.
1501
 
        # XXX: if to_bzrdir is a RemoteBranch, this should perhaps do
1502
 
        # to_bzrdir.create_branch...
1503
 
        self._ensure_real()
1504
 
        result = self._real_branch._format.initialize(to_bzrdir)
1505
 
        self.copy_content_into(result, revision_id=revision_id)
1506
 
        result.set_parent(self.bzrdir.root_transport.base)
1507
 
        return result
1508
 
 
1509
 
    @needs_write_lock
1510
 
    def pull(self, source, overwrite=False, stop_revision=None,
1511
 
             **kwargs):
1512
 
        # FIXME: This asks the real branch to run the hooks, which means
1513
 
        # they're called with the wrong target branch parameter. 
1514
 
        # The test suite specifically allows this at present but it should be
1515
 
        # fixed.  It should get a _override_hook_target branch,
1516
 
        # as push does.  -- mbp 20070405
1517
 
        self._ensure_real()
1518
 
        self._real_branch.pull(
1519
 
            source, overwrite=overwrite, stop_revision=stop_revision,
1520
 
            **kwargs)
1521
 
 
1522
 
    @needs_read_lock
1523
 
    def push(self, target, overwrite=False, stop_revision=None):
1524
 
        self._ensure_real()
1525
 
        return self._real_branch.push(
1526
 
            target, overwrite=overwrite, stop_revision=stop_revision,
1527
 
            _override_hook_source_branch=self)
1528
 
 
1529
 
    def is_locked(self):
1530
 
        return self._lock_count >= 1
1531
 
 
1532
 
    @needs_write_lock
1533
 
    def set_last_revision_info(self, revno, revision_id):
1534
 
        revision_id = ensure_null(revision_id)
1535
 
        path = self.bzrdir._path_for_remote_call(self._client)
1536
 
        try:
1537
 
            response = self._client.call('Branch.set_last_revision_info',
1538
 
                path, self._lock_token, self._repo_lock_token, str(revno), revision_id)
1539
 
        except errors.UnknownSmartMethod:
1540
 
            self._ensure_real()
1541
 
            self._clear_cached_state()
1542
 
            return self._real_branch.set_last_revision_info(revno, revision_id)
1543
 
        except errors.ErrorFromSmartServer, err:
1544
 
            if err.error_verb == 'NoSuchRevision':
1545
 
                raise NoSuchRevision(self, err.error_args[0])
1546
 
            raise
1547
 
        if response == ('ok',):
1548
 
            self._clear_cached_state()
1549
 
        else:
1550
 
            raise errors.UnexpectedSmartServerResponse(response)
1551
 
 
1552
 
    def generate_revision_history(self, revision_id, last_rev=None,
1553
 
                                  other_branch=None):
1554
 
        self._ensure_real()
1555
 
        return self._real_branch.generate_revision_history(
1556
 
            revision_id, last_rev=last_rev, other_branch=other_branch)
1557
 
 
1558
 
    @property
1559
 
    def tags(self):
1560
 
        self._ensure_real()
1561
 
        return self._real_branch.tags
1562
 
 
1563
 
    def set_push_location(self, location):
1564
 
        self._ensure_real()
1565
 
        return self._real_branch.set_push_location(location)
1566
 
 
1567
 
    def update_revisions(self, other, stop_revision=None, overwrite=False):
1568
 
        self._ensure_real()
1569
 
        return self._real_branch.update_revisions(
1570
 
            other, stop_revision=stop_revision, overwrite=overwrite)
1571
 
 
1572
 
 
1573
 
def _extract_tar(tar, to_dir):
1574
 
    """Extract all the contents of a tarfile object.
1575
 
 
1576
 
    A replacement for extractall, which is not present in python2.4
1577
 
    """
1578
 
    for tarinfo in tar:
1579
 
        tar.extract(tarinfo, to_dir)