~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/repository.py

Add source index to the index iteration API to allow mapping back to the origin of retrieved data.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005 Canonical Ltd
2
 
 
 
1
# Copyright (C) 2005, 2006, 2007 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
 
from copy import deepcopy
18
17
from cStringIO import StringIO
19
 
from unittest import TestSuite
20
 
import xml.sax.saxutils
21
 
 
22
 
 
23
 
from bzrlib.decorators import needs_read_lock, needs_write_lock
24
 
import bzrlib.errors as errors
25
 
from bzrlib.errors import InvalidRevisionId
26
 
from bzrlib.lockable_files import LockableFiles
27
 
from bzrlib.osutils import safe_unicode
28
 
from bzrlib.revision import NULL_REVISION
29
 
from bzrlib.store import copy_all
30
 
from bzrlib.store.weave import WeaveStore
 
18
 
 
19
from bzrlib.lazy_import import lazy_import
 
20
lazy_import(globals(), """
 
21
import re
 
22
import time
 
23
 
 
24
from bzrlib import (
 
25
    bzrdir,
 
26
    check,
 
27
    deprecated_graph,
 
28
    errors,
 
29
    generate_ids,
 
30
    gpg,
 
31
    graph,
 
32
    lazy_regex,
 
33
    lockable_files,
 
34
    lockdir,
 
35
    osutils,
 
36
    registry,
 
37
    remote,
 
38
    revision as _mod_revision,
 
39
    symbol_versioning,
 
40
    transactions,
 
41
    ui,
 
42
    )
 
43
from bzrlib.bundle import serializer
 
44
from bzrlib.revisiontree import RevisionTree
 
45
from bzrlib.store.versioned import VersionedFileStore
31
46
from bzrlib.store.text import TextStore
32
 
from bzrlib.symbol_versioning import *
33
 
from bzrlib.trace import mutter
34
 
from bzrlib.tree import RevisionTree
35
47
from bzrlib.testament import Testament
36
 
from bzrlib.tree import EmptyTree
37
 
import bzrlib.ui
38
 
import bzrlib.xml5
39
 
 
 
48
 
 
49
""")
 
50
 
 
51
from bzrlib.decorators import needs_read_lock, needs_write_lock
 
52
from bzrlib.inter import InterObject
 
53
from bzrlib.inventory import Inventory, InventoryDirectory, ROOT_ID
 
54
from bzrlib.symbol_versioning import (
 
55
        deprecated_method,
 
56
        zero_nine,
 
57
        )
 
58
from bzrlib.trace import mutter, note, warning
 
59
 
 
60
 
 
61
# Old formats display a warning, but only once
 
62
_deprecation_warning_done = False
 
63
 
 
64
 
 
65
######################################################################
 
66
# Repositories
40
67
 
41
68
class Repository(object):
42
69
    """Repository holding history for one or more branches.
50
77
    remote) disk.
51
78
    """
52
79
 
 
80
    _file_ids_altered_regex = lazy_regex.lazy_compile(
 
81
        r'file_id="(?P<file_id>[^"]+)"'
 
82
        r'.*revision="(?P<revision_id>[^"]+)"'
 
83
        )
 
84
 
 
85
    @needs_write_lock
 
86
    def add_inventory(self, revision_id, inv, parents):
 
87
        """Add the inventory inv to the repository as revision_id.
 
88
        
 
89
        :param parents: The revision ids of the parents that revision_id
 
90
                        is known to have and are in the repository already.
 
91
 
 
92
        returns the sha1 of the serialized inventory.
 
93
        """
 
94
        revision_id = osutils.safe_revision_id(revision_id)
 
95
        _mod_revision.check_not_reserved_id(revision_id)
 
96
        assert inv.revision_id is None or inv.revision_id == revision_id, \
 
97
            "Mismatch between inventory revision" \
 
98
            " id and insertion revid (%r, %r)" % (inv.revision_id, revision_id)
 
99
        assert inv.root is not None
 
100
        inv_text = self.serialise_inventory(inv)
 
101
        inv_sha1 = osutils.sha_string(inv_text)
 
102
        inv_vf = self.control_weaves.get_weave('inventory',
 
103
                                               self.get_transaction())
 
104
        self._inventory_add_lines(inv_vf, revision_id, parents,
 
105
                                  osutils.split_lines(inv_text))
 
106
        return inv_sha1
 
107
 
 
108
    def _inventory_add_lines(self, inv_vf, revision_id, parents, lines):
 
109
        final_parents = []
 
110
        for parent in parents:
 
111
            if parent in inv_vf:
 
112
                final_parents.append(parent)
 
113
 
 
114
        inv_vf.add_lines(revision_id, final_parents, lines)
 
115
 
 
116
    @needs_write_lock
 
117
    def add_revision(self, revision_id, rev, inv=None, config=None):
 
118
        """Add rev to the revision store as revision_id.
 
119
 
 
120
        :param revision_id: the revision id to use.
 
121
        :param rev: The revision object.
 
122
        :param inv: The inventory for the revision. if None, it will be looked
 
123
                    up in the inventory storer
 
124
        :param config: If None no digital signature will be created.
 
125
                       If supplied its signature_needed method will be used
 
126
                       to determine if a signature should be made.
 
127
        """
 
128
        revision_id = osutils.safe_revision_id(revision_id)
 
129
        # TODO: jam 20070210 Shouldn't we check rev.revision_id and
 
130
        #       rev.parent_ids?
 
131
        _mod_revision.check_not_reserved_id(revision_id)
 
132
        if config is not None and config.signature_needed():
 
133
            if inv is None:
 
134
                inv = self.get_inventory(revision_id)
 
135
            plaintext = Testament(rev, inv).as_short_text()
 
136
            self.store_revision_signature(
 
137
                gpg.GPGStrategy(config), plaintext, revision_id)
 
138
        if not revision_id in self.get_inventory_weave():
 
139
            if inv is None:
 
140
                raise errors.WeaveRevisionNotPresent(revision_id,
 
141
                                                     self.get_inventory_weave())
 
142
            else:
 
143
                # yes, this is not suitable for adding with ghosts.
 
144
                self.add_inventory(revision_id, inv, rev.parent_ids)
 
145
        self._revision_store.add_revision(rev, self.get_transaction())
 
146
 
 
147
    def _add_revision_text(self, revision_id, text):
 
148
        revision = self._revision_store._serializer.read_revision_from_string(
 
149
            text)
 
150
        self._revision_store._add_revision(revision, StringIO(text),
 
151
                                           self.get_transaction())
 
152
 
53
153
    @needs_read_lock
54
154
    def _all_possible_ids(self):
55
155
        """Return all the possible revisions that we could find."""
56
 
        return self.get_inventory_weave().names()
 
156
        return self.get_inventory_weave().versions()
57
157
 
58
 
    @needs_read_lock
59
158
    def all_revision_ids(self):
60
159
        """Returns a list of all the revision ids in the repository. 
61
160
 
 
161
        This is deprecated because code should generally work on the graph
 
162
        reachable from a particular revision, and ignore any other revisions
 
163
        that might be present.  There is no direct replacement method.
 
164
        """
 
165
        return self._all_revision_ids()
 
166
 
 
167
    @needs_read_lock
 
168
    def _all_revision_ids(self):
 
169
        """Returns a list of all the revision ids in the repository. 
 
170
 
62
171
        These are in as much topological order as the underlying store can 
63
172
        present: for weaves ghosts may lead to a lack of correctness until
64
173
        the reweave updates the parents list.
65
174
        """
 
175
        if self._revision_store.text_store.listable():
 
176
            return self._revision_store.all_revision_ids(self.get_transaction())
66
177
        result = self._all_possible_ids()
 
178
        # TODO: jam 20070210 Ensure that _all_possible_ids returns non-unicode
 
179
        #       ids. (It should, since _revision_store's API should change to
 
180
        #       return utf8 revision_ids)
67
181
        return self._eliminate_revisions_not_present(result)
68
182
 
 
183
    def break_lock(self):
 
184
        """Break a lock if one is present from another instance.
 
185
 
 
186
        Uses the ui factory to ask for confirmation if the lock may be from
 
187
        an active process.
 
188
        """
 
189
        self.control_files.break_lock()
 
190
 
69
191
    @needs_read_lock
70
192
    def _eliminate_revisions_not_present(self, revision_ids):
71
193
        """Check every revision id in revision_ids to see if we have it.
83
205
        """Construct the current default format repository in a_bzrdir."""
84
206
        return RepositoryFormat.get_default_format().initialize(a_bzrdir)
85
207
 
86
 
    def __init__(self, _format, a_bzrdir, control_files, revision_store):
 
208
    def __init__(self, _format, a_bzrdir, control_files, _revision_store, control_store, text_store):
87
209
        """instantiate a Repository.
88
210
 
89
211
        :param _format: The format of the repository on disk.
93
215
        getting file texts, inventories and revisions, then
94
216
        this construct will accept instances of those things.
95
217
        """
96
 
        object.__init__(self)
 
218
        super(Repository, self).__init__()
97
219
        self._format = _format
98
220
        # the following are part of the public API for Repository:
99
221
        self.bzrdir = a_bzrdir
100
222
        self.control_files = control_files
101
 
        self.revision_store = revision_store
102
 
 
103
 
    def lock_write(self):
104
 
        self.control_files.lock_write()
 
223
        self._revision_store = _revision_store
 
224
        self.text_store = text_store
 
225
        # backwards compatibility
 
226
        self.weave_store = text_store
 
227
        # not right yet - should be more semantically clear ? 
 
228
        # 
 
229
        self.control_store = control_store
 
230
        self.control_weaves = control_store
 
231
        # TODO: make sure to construct the right store classes, etc, depending
 
232
        # on whether escaping is required.
 
233
        self._warn_if_deprecated()
 
234
 
 
235
    def __repr__(self):
 
236
        return '%s(%r)' % (self.__class__.__name__, 
 
237
                           self.bzrdir.transport.base)
 
238
 
 
239
    def is_locked(self):
 
240
        return self.control_files.is_locked()
 
241
 
 
242
    def lock_write(self, token=None):
 
243
        """Lock this repository for writing.
 
244
        
 
245
        :param token: if this is already locked, then lock_write will fail
 
246
            unless the token matches the existing lock.
 
247
        :returns: a token if this instance supports tokens, otherwise None.
 
248
        :raises TokenLockingNotSupported: when a token is given but this
 
249
            instance doesn't support using token locks.
 
250
        :raises MismatchedToken: if the specified token doesn't match the token
 
251
            of the existing lock.
 
252
 
 
253
        A token should be passed in if you know that you have locked the object
 
254
        some other way, and need to synchronise this object's state with that
 
255
        fact.
 
256
 
 
257
        XXX: this docstring is duplicated in many places, e.g. lockable_files.py
 
258
        """
 
259
        return self.control_files.lock_write(token=token)
105
260
 
106
261
    def lock_read(self):
107
262
        self.control_files.lock_read()
108
263
 
 
264
    def get_physical_lock_status(self):
 
265
        return self.control_files.get_physical_lock_status()
 
266
 
 
267
    def leave_lock_in_place(self):
 
268
        """Tell this repository not to release the physical lock when this
 
269
        object is unlocked.
 
270
        
 
271
        If lock_write doesn't return a token, then this method is not supported.
 
272
        """
 
273
        self.control_files.leave_in_place()
 
274
 
 
275
    def dont_leave_lock_in_place(self):
 
276
        """Tell this repository to release the physical lock when this
 
277
        object is unlocked, even if it didn't originally acquire it.
 
278
 
 
279
        If lock_write doesn't return a token, then this method is not supported.
 
280
        """
 
281
        self.control_files.dont_leave_in_place()
 
282
 
 
283
    @needs_read_lock
 
284
    def gather_stats(self, revid=None, committers=None):
 
285
        """Gather statistics from a revision id.
 
286
 
 
287
        :param revid: The revision id to gather statistics from, if None, then
 
288
            no revision specific statistics are gathered.
 
289
        :param committers: Optional parameter controlling whether to grab
 
290
            a count of committers from the revision specific statistics.
 
291
        :return: A dictionary of statistics. Currently this contains:
 
292
            committers: The number of committers if requested.
 
293
            firstrev: A tuple with timestamp, timezone for the penultimate left
 
294
                most ancestor of revid, if revid is not the NULL_REVISION.
 
295
            latestrev: A tuple with timestamp, timezone for revid, if revid is
 
296
                not the NULL_REVISION.
 
297
            revisions: The total revision count in the repository.
 
298
            size: An estimate disk size of the repository in bytes.
 
299
        """
 
300
        result = {}
 
301
        if revid and committers:
 
302
            result['committers'] = 0
 
303
        if revid and revid != _mod_revision.NULL_REVISION:
 
304
            if committers:
 
305
                all_committers = set()
 
306
            revisions = self.get_ancestry(revid)
 
307
            # pop the leading None
 
308
            revisions.pop(0)
 
309
            first_revision = None
 
310
            if not committers:
 
311
                # ignore the revisions in the middle - just grab first and last
 
312
                revisions = revisions[0], revisions[-1]
 
313
            for revision in self.get_revisions(revisions):
 
314
                if not first_revision:
 
315
                    first_revision = revision
 
316
                if committers:
 
317
                    all_committers.add(revision.committer)
 
318
            last_revision = revision
 
319
            if committers:
 
320
                result['committers'] = len(all_committers)
 
321
            result['firstrev'] = (first_revision.timestamp,
 
322
                first_revision.timezone)
 
323
            result['latestrev'] = (last_revision.timestamp,
 
324
                last_revision.timezone)
 
325
 
 
326
        # now gather global repository information
 
327
        if self.bzrdir.root_transport.listable():
 
328
            c, t = self._revision_store.total_size(self.get_transaction())
 
329
            result['revisions'] = c
 
330
            result['size'] = t
 
331
        return result
 
332
 
109
333
    @needs_read_lock
110
334
    def missing_revision_ids(self, other, revision_id=None):
111
335
        """Return the revision ids that other has that this does not.
114
338
 
115
339
        revision_id: only return revision ids included by revision_id.
116
340
        """
 
341
        revision_id = osutils.safe_revision_id(revision_id)
117
342
        return InterRepository.get(other, self).missing_revision_ids(revision_id)
118
343
 
119
344
    @staticmethod
123
348
        For instance, if the repository is at URL/.bzr/repository,
124
349
        Repository.open(URL) -> a Repository instance.
125
350
        """
126
 
        control = bzrlib.bzrdir.BzrDir.open(base)
 
351
        control = bzrdir.BzrDir.open(base)
127
352
        return control.open_repository()
128
353
 
129
 
    def copy_content_into(self, destination, revision_id=None, basis=None):
 
354
    def copy_content_into(self, destination, revision_id=None):
130
355
        """Make a complete copy of the content in self into destination.
131
356
        
132
357
        This is a destructive operation! Do not use it on existing 
133
358
        repositories.
134
359
        """
135
 
        return InterRepository.get(self, destination).copy_content(revision_id, basis)
 
360
        revision_id = osutils.safe_revision_id(revision_id)
 
361
        return InterRepository.get(self, destination).copy_content(revision_id)
136
362
 
137
363
    def fetch(self, source, revision_id=None, pb=None):
138
364
        """Fetch the content required to construct revision_id from source.
139
365
 
140
366
        If revision_id is None all content is copied.
141
367
        """
142
 
        return InterRepository.get(source, self).fetch(revision_id=revision_id,
143
 
                                                       pb=pb)
 
368
        revision_id = osutils.safe_revision_id(revision_id)
 
369
        inter = InterRepository.get(source, self)
 
370
        try:
 
371
            return inter.fetch(revision_id=revision_id, pb=pb)
 
372
        except NotImplementedError:
 
373
            raise errors.IncompatibleRepositories(source, self)
 
374
 
 
375
    def create_bundle(self, target, base, fileobj, format=None):
 
376
        return serializer.write_bundle(self, target, base, fileobj, format)
 
377
 
 
378
    def get_commit_builder(self, branch, parents, config, timestamp=None, 
 
379
                           timezone=None, committer=None, revprops=None, 
 
380
                           revision_id=None):
 
381
        """Obtain a CommitBuilder for this repository.
 
382
        
 
383
        :param branch: Branch to commit to.
 
384
        :param parents: Revision ids of the parents of the new revision.
 
385
        :param config: Configuration to use.
 
386
        :param timestamp: Optional timestamp recorded for commit.
 
387
        :param timezone: Optional timezone for timestamp.
 
388
        :param committer: Optional committer to set for commit.
 
389
        :param revprops: Optional dictionary of revision properties.
 
390
        :param revision_id: Optional revision id.
 
391
        """
 
392
        revision_id = osutils.safe_revision_id(revision_id)
 
393
        return _CommitBuilder(self, parents, config, timestamp, timezone,
 
394
                              committer, revprops, revision_id)
144
395
 
145
396
    def unlock(self):
146
397
        self.control_files.unlock()
147
398
 
148
399
    @needs_read_lock
149
 
    def clone(self, a_bzrdir, revision_id=None, basis=None):
 
400
    def clone(self, a_bzrdir, revision_id=None):
150
401
        """Clone this repository into a_bzrdir using the current format.
151
402
 
152
403
        Currently no check is made that the format of this repository and
153
404
        the bzrdir format are compatible. FIXME RBC 20060201.
154
 
        """
 
405
 
 
406
        :return: The newly created destination repository.
 
407
        """
 
408
        # TODO: deprecate after 0.16; cloning this with all its settings is
 
409
        # probably not very useful -- mbp 20070423
 
410
        dest_repo = self._create_sprouting_repo(a_bzrdir, shared=self.is_shared())
 
411
        self.copy_content_into(dest_repo, revision_id)
 
412
        return dest_repo
 
413
 
 
414
    @needs_read_lock
 
415
    def sprout(self, to_bzrdir, revision_id=None):
 
416
        """Create a descendent repository for new development.
 
417
 
 
418
        Unlike clone, this does not copy the settings of the repository.
 
419
        """
 
420
        dest_repo = self._create_sprouting_repo(to_bzrdir, shared=False)
 
421
        dest_repo.fetch(self, revision_id=revision_id)
 
422
        return dest_repo
 
423
 
 
424
    def _create_sprouting_repo(self, a_bzrdir, shared):
155
425
        if not isinstance(a_bzrdir._format, self.bzrdir._format.__class__):
156
426
            # use target default format.
157
 
            result = a_bzrdir.create_repository()
158
 
        # FIXME RBC 20060209 split out the repository type to avoid this check ?
159
 
        elif isinstance(a_bzrdir._format,
160
 
                      (bzrlib.bzrdir.BzrDirFormat4,
161
 
                       bzrlib.bzrdir.BzrDirFormat5,
162
 
                       bzrlib.bzrdir.BzrDirFormat6)):
163
 
            result = a_bzrdir.open_repository()
 
427
            dest_repo = a_bzrdir.create_repository()
164
428
        else:
165
 
            result = self._format.initialize(a_bzrdir, shared=self.is_shared())
166
 
        self.copy_content_into(result, revision_id, basis)
167
 
        return result
 
429
            # Most control formats need the repository to be specifically
 
430
            # created, but on some old all-in-one formats it's not needed
 
431
            try:
 
432
                dest_repo = self._format.initialize(a_bzrdir, shared=shared)
 
433
            except errors.UninitializableFormat:
 
434
                dest_repo = a_bzrdir.open_repository()
 
435
        return dest_repo
168
436
 
 
437
    @needs_read_lock
169
438
    def has_revision(self, revision_id):
170
 
        """True if this branch has a copy of the revision.
171
 
 
172
 
        This does not necessarily imply the revision is merge
173
 
        or on the mainline."""
174
 
        return (revision_id is None
175
 
                or self.revision_store.has_id(revision_id))
 
439
        """True if this repository has a copy of the revision."""
 
440
        revision_id = osutils.safe_revision_id(revision_id)
 
441
        return self._revision_store.has_revision_id(revision_id,
 
442
                                                    self.get_transaction())
176
443
 
177
444
    @needs_read_lock
178
 
    def get_revision_xml_file(self, revision_id):
179
 
        """Return XML file object for revision object."""
 
445
    def get_revision_reconcile(self, revision_id):
 
446
        """'reconcile' helper routine that allows access to a revision always.
 
447
        
 
448
        This variant of get_revision does not cross check the weave graph
 
449
        against the revision one as get_revision does: but it should only
 
450
        be used by reconcile, or reconcile-alike commands that are correcting
 
451
        or testing the revision graph.
 
452
        """
180
453
        if not revision_id or not isinstance(revision_id, basestring):
181
 
            raise InvalidRevisionId(revision_id=revision_id, branch=self)
182
 
        try:
183
 
            return self.revision_store.get(revision_id)
184
 
        except (IndexError, KeyError):
185
 
            raise bzrlib.errors.NoSuchRevision(self, revision_id)
 
454
            raise errors.InvalidRevisionId(revision_id=revision_id,
 
455
                                           branch=self)
 
456
        return self.get_revisions([revision_id])[0]
 
457
 
 
458
    @needs_read_lock
 
459
    def get_revisions(self, revision_ids):
 
460
        revision_ids = [osutils.safe_revision_id(r) for r in revision_ids]
 
461
        revs = self._revision_store.get_revisions(revision_ids,
 
462
                                                  self.get_transaction())
 
463
        for rev in revs:
 
464
            assert not isinstance(rev.revision_id, unicode)
 
465
            for parent_id in rev.parent_ids:
 
466
                assert not isinstance(parent_id, unicode)
 
467
        return revs
186
468
 
187
469
    @needs_read_lock
188
470
    def get_revision_xml(self, revision_id):
189
 
        return self.get_revision_xml_file(revision_id).read()
 
471
        # TODO: jam 20070210 This shouldn't be necessary since get_revision
 
472
        #       would have already do it.
 
473
        # TODO: jam 20070210 Just use _serializer.write_revision_to_string()
 
474
        revision_id = osutils.safe_revision_id(revision_id)
 
475
        rev = self.get_revision(revision_id)
 
476
        rev_tmp = StringIO()
 
477
        # the current serializer..
 
478
        self._revision_store._serializer.write_revision(rev, rev_tmp)
 
479
        rev_tmp.seek(0)
 
480
        return rev_tmp.getvalue()
190
481
 
191
482
    @needs_read_lock
192
483
    def get_revision(self, revision_id):
193
484
        """Return the Revision object for a named revision"""
194
 
        xml_file = self.get_revision_xml_file(revision_id)
195
 
 
196
 
        try:
197
 
            r = bzrlib.xml5.serializer_v5.read_revision(xml_file)
198
 
        except SyntaxError, e:
199
 
            raise bzrlib.errors.BzrError('failed to unpack revision_xml',
200
 
                                         [revision_id,
201
 
                                          str(e)])
202
 
            
203
 
        assert r.revision_id == revision_id
 
485
        # TODO: jam 20070210 get_revision_reconcile should do this for us
 
486
        revision_id = osutils.safe_revision_id(revision_id)
 
487
        r = self.get_revision_reconcile(revision_id)
 
488
        # weave corruption can lead to absent revision markers that should be
 
489
        # present.
 
490
        # the following test is reasonably cheap (it needs a single weave read)
 
491
        # and the weave is cached in read transactions. In write transactions
 
492
        # it is not cached but typically we only read a small number of
 
493
        # revisions. For knits when they are introduced we will probably want
 
494
        # to ensure that caching write transactions are in use.
 
495
        inv = self.get_inventory_weave()
 
496
        self._check_revision_parents(r, inv)
204
497
        return r
205
498
 
206
499
    @needs_read_lock
207
 
    def get_revision_sha1(self, revision_id):
208
 
        """Hash the stored value of a revision, and return it."""
209
 
        # In the future, revision entries will be signed. At that
210
 
        # point, it is probably best *not* to include the signature
211
 
        # in the revision hash. Because that lets you re-sign
212
 
        # the revision, (add signatures/remove signatures) and still
213
 
        # have all hash pointers stay consistent.
214
 
        # But for now, just hash the contents.
215
 
        return bzrlib.osutils.sha_file(self.get_revision_xml_file(revision_id))
 
500
    def get_deltas_for_revisions(self, revisions):
 
501
        """Produce a generator of revision deltas.
 
502
        
 
503
        Note that the input is a sequence of REVISIONS, not revision_ids.
 
504
        Trees will be held in memory until the generator exits.
 
505
        Each delta is relative to the revision's lefthand predecessor.
 
506
        """
 
507
        required_trees = set()
 
508
        for revision in revisions:
 
509
            required_trees.add(revision.revision_id)
 
510
            required_trees.update(revision.parent_ids[:1])
 
511
        trees = dict((t.get_revision_id(), t) for 
 
512
                     t in self.revision_trees(required_trees))
 
513
        for revision in revisions:
 
514
            if not revision.parent_ids:
 
515
                old_tree = self.revision_tree(None)
 
516
            else:
 
517
                old_tree = trees[revision.parent_ids[0]]
 
518
            yield trees[revision.revision_id].changes_from(old_tree)
 
519
 
 
520
    @needs_read_lock
 
521
    def get_revision_delta(self, revision_id):
 
522
        """Return the delta for one revision.
 
523
 
 
524
        The delta is relative to the left-hand predecessor of the
 
525
        revision.
 
526
        """
 
527
        r = self.get_revision(revision_id)
 
528
        return list(self.get_deltas_for_revisions([r]))[0]
 
529
 
 
530
    def _check_revision_parents(self, revision, inventory):
 
531
        """Private to Repository and Fetch.
 
532
        
 
533
        This checks the parentage of revision in an inventory weave for 
 
534
        consistency and is only applicable to inventory-weave-for-ancestry
 
535
        using repository formats & fetchers.
 
536
        """
 
537
        weave_parents = inventory.get_parents(revision.revision_id)
 
538
        weave_names = inventory.versions()
 
539
        for parent_id in revision.parent_ids:
 
540
            if parent_id in weave_names:
 
541
                # this parent must not be a ghost.
 
542
                if not parent_id in weave_parents:
 
543
                    # but it is a ghost
 
544
                    raise errors.CorruptRepository(self)
216
545
 
217
546
    @needs_write_lock
218
547
    def store_revision_signature(self, gpg_strategy, plaintext, revision_id):
219
 
        self.revision_store.add(StringIO(gpg_strategy.sign(plaintext)), 
220
 
                                revision_id, "sig")
221
 
 
222
 
    def fileid_involved_between_revs(self, from_revid, to_revid):
223
 
        """Find file_id(s) which are involved in the changes between revisions.
224
 
 
225
 
        This determines the set of revisions which are involved, and then
226
 
        finds all file ids affected by those revisions.
227
 
        """
228
 
        # TODO: jam 20060119 This code assumes that w.inclusions will
229
 
        #       always be correct. But because of the presence of ghosts
230
 
        #       it is possible to be wrong.
231
 
        #       One specific example from Robert Collins:
232
 
        #       Two branches, with revisions ABC, and AD
233
 
        #       C is a ghost merge of D.
234
 
        #       Inclusions doesn't recognize D as an ancestor.
235
 
        #       If D is ever merged in the future, the weave
236
 
        #       won't be fixed, because AD never saw revision C
237
 
        #       to cause a conflict which would force a reweave.
238
 
        w = self.get_inventory_weave()
239
 
        from_set = set(w.inclusions([w.lookup(from_revid)]))
240
 
        to_set = set(w.inclusions([w.lookup(to_revid)]))
241
 
        included = to_set.difference(from_set)
242
 
        changed = map(w.idx_to_name, included)
243
 
        return self._fileid_involved_by_set(changed)
244
 
 
245
 
    def fileid_involved(self, last_revid=None):
246
 
        """Find all file_ids modified in the ancestry of last_revid.
247
 
 
248
 
        :param last_revid: If None, last_revision() will be used.
249
 
        """
250
 
        w = self.get_inventory_weave()
251
 
        if not last_revid:
252
 
            changed = set(w._names)
253
 
        else:
254
 
            included = w.inclusions([w.lookup(last_revid)])
255
 
            changed = map(w.idx_to_name, included)
256
 
        return self._fileid_involved_by_set(changed)
257
 
 
258
 
    def fileid_involved_by_set(self, changes):
259
 
        """Find all file_ids modified by the set of revisions passed in.
260
 
 
261
 
        :param changes: A set() of revision ids
262
 
        """
263
 
        # TODO: jam 20060119 This line does *nothing*, remove it.
264
 
        #       or better yet, change _fileid_involved_by_set so
265
 
        #       that it takes the inventory weave, rather than
266
 
        #       pulling it out by itself.
267
 
        return self._fileid_involved_by_set(changes)
268
 
 
269
 
    def _fileid_involved_by_set(self, changes):
270
 
        """Find the set of file-ids affected by the set of revisions.
271
 
 
272
 
        :param changes: A set() of revision ids.
273
 
        :return: A set() of file ids.
274
 
        
275
 
        This peaks at the Weave, interpreting each line, looking to
276
 
        see if it mentions one of the revisions. And if so, includes
277
 
        the file id mentioned.
278
 
        This expects both the Weave format, and the serialization
279
 
        to have a single line per file/directory, and to have
280
 
        fileid="" and revision="" on that line.
281
 
        """
282
 
        assert isinstance(self._format, (RepositoryFormat5,
283
 
                                         RepositoryFormat6,
284
 
                                         RepositoryFormat7,
285
 
                                         RepositoryFormatKnit1)), \
286
 
            "fileid_involved only supported for branches which store inventory as unnested xml"
287
 
 
288
 
        w = self.get_inventory_weave()
289
 
        file_ids = set()
290
 
        for line in w._weave:
291
 
 
292
 
            # it is ugly, but it is due to the weave structure
293
 
            if not isinstance(line, basestring): continue
294
 
 
295
 
            start = line.find('file_id="')+9
296
 
            if start < 9: continue
297
 
            end = line.find('"', start)
298
 
            assert end>= 0
299
 
            file_id = xml.sax.saxutils.unescape(line[start:end])
300
 
 
301
 
            # check if file_id is already present
302
 
            if file_id in file_ids: continue
303
 
 
304
 
            start = line.find('revision="')+10
305
 
            if start < 10: continue
306
 
            end = line.find('"', start)
307
 
            assert end>= 0
308
 
            revision_id = xml.sax.saxutils.unescape(line[start:end])
309
 
 
310
 
            if revision_id in changes:
311
 
                file_ids.add(file_id)
312
 
        return file_ids
 
548
        revision_id = osutils.safe_revision_id(revision_id)
 
549
        signature = gpg_strategy.sign(plaintext)
 
550
        self._revision_store.add_revision_signature_text(revision_id,
 
551
                                                         signature,
 
552
                                                         self.get_transaction())
 
553
 
 
554
    def fileids_altered_by_revision_ids(self, revision_ids):
 
555
        """Find the file ids and versions affected by revisions.
 
556
 
 
557
        :param revisions: an iterable containing revision ids.
 
558
        :return: a dictionary mapping altered file-ids to an iterable of
 
559
        revision_ids. Each altered file-ids has the exact revision_ids that
 
560
        altered it listed explicitly.
 
561
        """
 
562
        assert self._serializer.support_altered_by_hack, \
 
563
            ("fileids_altered_by_revision_ids only supported for branches " 
 
564
             "which store inventory as unnested xml, not on %r" % self)
 
565
        selected_revision_ids = set(osutils.safe_revision_id(r)
 
566
                                    for r in revision_ids)
 
567
        w = self.get_inventory_weave()
 
568
        result = {}
 
569
 
 
570
        # this code needs to read every new line in every inventory for the
 
571
        # inventories [revision_ids]. Seeing a line twice is ok. Seeing a line
 
572
        # not present in one of those inventories is unnecessary but not 
 
573
        # harmful because we are filtering by the revision id marker in the
 
574
        # inventory lines : we only select file ids altered in one of those  
 
575
        # revisions. We don't need to see all lines in the inventory because
 
576
        # only those added in an inventory in rev X can contain a revision=X
 
577
        # line.
 
578
        unescape_revid_cache = {}
 
579
        unescape_fileid_cache = {}
 
580
 
 
581
        # jam 20061218 In a big fetch, this handles hundreds of thousands
 
582
        # of lines, so it has had a lot of inlining and optimizing done.
 
583
        # Sorry that it is a little bit messy.
 
584
        # Move several functions to be local variables, since this is a long
 
585
        # running loop.
 
586
        search = self._file_ids_altered_regex.search
 
587
        unescape = _unescape_xml
 
588
        setdefault = result.setdefault
 
589
        pb = ui.ui_factory.nested_progress_bar()
 
590
        try:
 
591
            for line in w.iter_lines_added_or_present_in_versions(
 
592
                                        selected_revision_ids, pb=pb):
 
593
                match = search(line)
 
594
                if match is None:
 
595
                    continue
 
596
                # One call to match.group() returning multiple items is quite a
 
597
                # bit faster than 2 calls to match.group() each returning 1
 
598
                file_id, revision_id = match.group('file_id', 'revision_id')
 
599
 
 
600
                # Inlining the cache lookups helps a lot when you make 170,000
 
601
                # lines and 350k ids, versus 8.4 unique ids.
 
602
                # Using a cache helps in 2 ways:
 
603
                #   1) Avoids unnecessary decoding calls
 
604
                #   2) Re-uses cached strings, which helps in future set and
 
605
                #      equality checks.
 
606
                # (2) is enough that removing encoding entirely along with
 
607
                # the cache (so we are using plain strings) results in no
 
608
                # performance improvement.
 
609
                try:
 
610
                    revision_id = unescape_revid_cache[revision_id]
 
611
                except KeyError:
 
612
                    unescaped = unescape(revision_id)
 
613
                    unescape_revid_cache[revision_id] = unescaped
 
614
                    revision_id = unescaped
 
615
 
 
616
                if revision_id in selected_revision_ids:
 
617
                    try:
 
618
                        file_id = unescape_fileid_cache[file_id]
 
619
                    except KeyError:
 
620
                        unescaped = unescape(file_id)
 
621
                        unescape_fileid_cache[file_id] = unescaped
 
622
                        file_id = unescaped
 
623
                    setdefault(file_id, set()).add(revision_id)
 
624
        finally:
 
625
            pb.finished()
 
626
        return result
313
627
 
314
628
    @needs_read_lock
315
629
    def get_inventory_weave(self):
319
633
    @needs_read_lock
320
634
    def get_inventory(self, revision_id):
321
635
        """Get Inventory object by hash."""
322
 
        xml = self.get_inventory_xml(revision_id)
323
 
        return bzrlib.xml5.serializer_v5.read_inventory_from_string(xml)
 
636
        # TODO: jam 20070210 Technically we don't need to sanitize, since all
 
637
        #       called functions must sanitize.
 
638
        revision_id = osutils.safe_revision_id(revision_id)
 
639
        return self.deserialise_inventory(
 
640
            revision_id, self.get_inventory_xml(revision_id))
 
641
 
 
642
    def deserialise_inventory(self, revision_id, xml):
 
643
        """Transform the xml into an inventory object. 
 
644
 
 
645
        :param revision_id: The expected revision id of the inventory.
 
646
        :param xml: A serialised inventory.
 
647
        """
 
648
        revision_id = osutils.safe_revision_id(revision_id)
 
649
        result = self._serializer.read_inventory_from_string(xml)
 
650
        result.root.revision = revision_id
 
651
        return result
 
652
 
 
653
    def serialise_inventory(self, inv):
 
654
        return self._serializer.write_inventory_to_string(inv)
 
655
 
 
656
    def get_serializer_format(self):
 
657
        return self._serializer.format_num
324
658
 
325
659
    @needs_read_lock
326
660
    def get_inventory_xml(self, revision_id):
327
661
        """Get inventory XML as a file object."""
 
662
        revision_id = osutils.safe_revision_id(revision_id)
328
663
        try:
329
 
            assert isinstance(revision_id, basestring), type(revision_id)
 
664
            assert isinstance(revision_id, str), type(revision_id)
330
665
            iw = self.get_inventory_weave()
331
 
            return iw.get_text(iw.lookup(revision_id))
 
666
            return iw.get_text(revision_id)
332
667
        except IndexError:
333
 
            raise bzrlib.errors.HistoryMissing(self, 'inventory', revision_id)
 
668
            raise errors.HistoryMissing(self, 'inventory', revision_id)
334
669
 
335
670
    @needs_read_lock
336
671
    def get_inventory_sha1(self, revision_id):
337
672
        """Return the sha1 hash of the inventory entry
338
673
        """
 
674
        # TODO: jam 20070210 Shouldn't this be deprecated / removed?
 
675
        revision_id = osutils.safe_revision_id(revision_id)
339
676
        return self.get_revision(revision_id).inventory_sha1
340
677
 
341
678
    @needs_read_lock
 
679
    def get_revision_graph(self, revision_id=None):
 
680
        """Return a dictionary containing the revision graph.
 
681
        
 
682
        :param revision_id: The revision_id to get a graph from. If None, then
 
683
        the entire revision graph is returned. This is a deprecated mode of
 
684
        operation and will be removed in the future.
 
685
        :return: a dictionary of revision_id->revision_parents_list.
 
686
        """
 
687
        # special case NULL_REVISION
 
688
        if revision_id == _mod_revision.NULL_REVISION:
 
689
            return {}
 
690
        revision_id = osutils.safe_revision_id(revision_id)
 
691
        a_weave = self.get_inventory_weave()
 
692
        all_revisions = self._eliminate_revisions_not_present(
 
693
                                a_weave.versions())
 
694
        entire_graph = dict([(node, tuple(a_weave.get_parents(node))) for 
 
695
                             node in all_revisions])
 
696
        if revision_id is None:
 
697
            return entire_graph
 
698
        elif revision_id not in entire_graph:
 
699
            raise errors.NoSuchRevision(self, revision_id)
 
700
        else:
 
701
            # add what can be reached from revision_id
 
702
            result = {}
 
703
            pending = set([revision_id])
 
704
            while len(pending) > 0:
 
705
                node = pending.pop()
 
706
                result[node] = entire_graph[node]
 
707
                for revision_id in result[node]:
 
708
                    if revision_id not in result:
 
709
                        pending.add(revision_id)
 
710
            return result
 
711
 
 
712
    @needs_read_lock
 
713
    def get_revision_graph_with_ghosts(self, revision_ids=None):
 
714
        """Return a graph of the revisions with ghosts marked as applicable.
 
715
 
 
716
        :param revision_ids: an iterable of revisions to graph or None for all.
 
717
        :return: a Graph object with the graph reachable from revision_ids.
 
718
        """
 
719
        result = deprecated_graph.Graph()
 
720
        if not revision_ids:
 
721
            pending = set(self.all_revision_ids())
 
722
            required = set([])
 
723
        else:
 
724
            pending = set(osutils.safe_revision_id(r) for r in revision_ids)
 
725
            # special case NULL_REVISION
 
726
            if _mod_revision.NULL_REVISION in pending:
 
727
                pending.remove(_mod_revision.NULL_REVISION)
 
728
            required = set(pending)
 
729
        done = set([])
 
730
        while len(pending):
 
731
            revision_id = pending.pop()
 
732
            try:
 
733
                rev = self.get_revision(revision_id)
 
734
            except errors.NoSuchRevision:
 
735
                if revision_id in required:
 
736
                    raise
 
737
                # a ghost
 
738
                result.add_ghost(revision_id)
 
739
                continue
 
740
            for parent_id in rev.parent_ids:
 
741
                # is this queued or done ?
 
742
                if (parent_id not in pending and
 
743
                    parent_id not in done):
 
744
                    # no, queue it.
 
745
                    pending.add(parent_id)
 
746
            result.add_node(revision_id, rev.parent_ids)
 
747
            done.add(revision_id)
 
748
        return result
 
749
 
 
750
    def _get_history_vf(self):
 
751
        """Get a versionedfile whose history graph reflects all revisions.
 
752
 
 
753
        For weave repositories, this is the inventory weave.
 
754
        """
 
755
        return self.get_inventory_weave()
 
756
 
 
757
    def iter_reverse_revision_history(self, revision_id):
 
758
        """Iterate backwards through revision ids in the lefthand history
 
759
 
 
760
        :param revision_id: The revision id to start with.  All its lefthand
 
761
            ancestors will be traversed.
 
762
        """
 
763
        revision_id = osutils.safe_revision_id(revision_id)
 
764
        if revision_id in (None, _mod_revision.NULL_REVISION):
 
765
            return
 
766
        next_id = revision_id
 
767
        versionedfile = self._get_history_vf()
 
768
        while True:
 
769
            yield next_id
 
770
            parents = versionedfile.get_parents(next_id)
 
771
            if len(parents) == 0:
 
772
                return
 
773
            else:
 
774
                next_id = parents[0]
 
775
 
 
776
    @needs_read_lock
342
777
    def get_revision_inventory(self, revision_id):
343
778
        """Return inventory of a past revision."""
344
779
        # TODO: Unify this with get_inventory()
357
792
    @needs_read_lock
358
793
    def is_shared(self):
359
794
        """Return True if this repository is flagged as a shared repository."""
360
 
        # FIXME format 4-6 cannot be shared, this is technically faulty.
361
 
        return self.control_files._transport.has('shared-storage')
 
795
        raise NotImplementedError(self.is_shared)
 
796
 
 
797
    @needs_write_lock
 
798
    def reconcile(self, other=None, thorough=False):
 
799
        """Reconcile this repository."""
 
800
        from bzrlib.reconcile import RepoReconciler
 
801
        reconciler = RepoReconciler(self, thorough=thorough)
 
802
        reconciler.reconcile()
 
803
        return reconciler
362
804
 
363
805
    @needs_read_lock
364
806
    def revision_tree(self, revision_id):
365
807
        """Return Tree for a revision on this branch.
366
808
 
367
 
        `revision_id` may be None for the null revision, in which case
368
 
        an `EmptyTree` is returned."""
 
809
        `revision_id` may be None for the empty tree revision.
 
810
        """
369
811
        # TODO: refactor this to use an existing revision object
370
812
        # so we don't need to read it in twice.
371
 
        if revision_id is None or revision_id == NULL_REVISION:
372
 
            return EmptyTree()
 
813
        if revision_id is None or revision_id == _mod_revision.NULL_REVISION:
 
814
            return RevisionTree(self, Inventory(root_id=None), 
 
815
                                _mod_revision.NULL_REVISION)
373
816
        else:
 
817
            revision_id = osutils.safe_revision_id(revision_id)
374
818
            inv = self.get_revision_inventory(revision_id)
375
819
            return RevisionTree(self, inv, revision_id)
376
820
 
377
821
    @needs_read_lock
378
 
    def get_ancestry(self, revision_id):
 
822
    def revision_trees(self, revision_ids):
 
823
        """Return Tree for a revision on this branch.
 
824
 
 
825
        `revision_id` may not be None or 'null:'"""
 
826
        assert None not in revision_ids
 
827
        assert _mod_revision.NULL_REVISION not in revision_ids
 
828
        texts = self.get_inventory_weave().get_texts(revision_ids)
 
829
        for text, revision_id in zip(texts, revision_ids):
 
830
            inv = self.deserialise_inventory(revision_id, text)
 
831
            yield RevisionTree(self, inv, revision_id)
 
832
 
 
833
    @needs_read_lock
 
834
    def get_ancestry(self, revision_id, topo_sorted=True):
379
835
        """Return a list of revision-ids integrated by a revision.
 
836
 
 
837
        The first element of the list is always None, indicating the origin 
 
838
        revision.  This might change when we have history horizons, or 
 
839
        perhaps we should have a new API.
380
840
        
381
841
        This is topologically sorted.
382
842
        """
383
 
        if revision_id is None:
 
843
        if _mod_revision.is_null(revision_id):
384
844
            return [None]
 
845
        revision_id = osutils.safe_revision_id(revision_id)
385
846
        if not self.has_revision(revision_id):
386
847
            raise errors.NoSuchRevision(self, revision_id)
387
848
        w = self.get_inventory_weave()
388
 
        return [None] + map(w.idx_to_name,
389
 
                            w.inclusions([w.lookup(revision_id)]))
 
849
        candidates = w.get_ancestry(revision_id, topo_sorted)
 
850
        return [None] + candidates # self._eliminate_revisions_not_present(candidates)
 
851
 
 
852
    def pack(self):
 
853
        """Compress the data within the repository.
 
854
 
 
855
        This operation only makes sense for some repository types. For other
 
856
        types it should be a no-op that just returns.
 
857
 
 
858
        This stub method does not require a lock, but subclasses should use
 
859
        @needs_write_lock as this is a long running call its reasonable to 
 
860
        implicitly lock for the user.
 
861
        """
390
862
 
391
863
    @needs_read_lock
392
864
    def print_file(self, file, revision_id):
396
868
        - it writes to stdout, it assumes that that is valid etc. Fix
397
869
        by creating a new more flexible convenience function.
398
870
        """
 
871
        revision_id = osutils.safe_revision_id(revision_id)
399
872
        tree = self.revision_tree(revision_id)
400
873
        # use inventory as it was in that revision
401
874
        file_id = tree.inventory.path2id(file)
402
875
        if not file_id:
403
 
            raise BzrError("%r is not present in revision %s" % (file, revno))
404
 
            try:
405
 
                revno = self.revision_id_to_revno(revision_id)
406
 
            except errors.NoSuchRevision:
407
 
                # TODO: This should not be BzrError,
408
 
                # but NoSuchFile doesn't fit either
409
 
                raise BzrError('%r is not present in revision %s' 
410
 
                                % (file, revision_id))
411
 
            else:
412
 
                raise BzrError('%r is not present in revision %s'
413
 
                                % (file, revno))
 
876
            # TODO: jam 20060427 Write a test for this code path
 
877
            #       it had a bug in it, and was raising the wrong
 
878
            #       exception.
 
879
            raise errors.BzrError("%r is not present in revision %s" % (file, revision_id))
414
880
        tree.print_file(file_id)
415
881
 
416
882
    def get_transaction(self):
417
883
        return self.control_files.get_transaction()
418
884
 
 
885
    def revision_parents(self, revision_id):
 
886
        revision_id = osutils.safe_revision_id(revision_id)
 
887
        return self.get_inventory_weave().parent_names(revision_id)
 
888
 
 
889
    def get_parents(self, revision_ids):
 
890
        """See StackedParentsProvider.get_parents"""
 
891
        parents_list = []
 
892
        for revision_id in revision_ids:
 
893
            if revision_id == _mod_revision.NULL_REVISION:
 
894
                parents = []
 
895
            else:
 
896
                try:
 
897
                    parents = self.get_revision(revision_id).parent_ids
 
898
                except errors.NoSuchRevision:
 
899
                    parents = None
 
900
                else:
 
901
                    if len(parents) == 0:
 
902
                        parents = [_mod_revision.NULL_REVISION]
 
903
            parents_list.append(parents)
 
904
        return parents_list
 
905
 
 
906
    def _make_parents_provider(self):
 
907
        return self
 
908
 
 
909
    def get_graph(self, other_repository=None):
 
910
        """Return the graph walker for this repository format"""
 
911
        parents_provider = self._make_parents_provider()
 
912
        if (other_repository is not None and
 
913
            other_repository.bzrdir.transport.base !=
 
914
            self.bzrdir.transport.base):
 
915
            parents_provider = graph._StackedParentsProvider(
 
916
                [parents_provider, other_repository._make_parents_provider()])
 
917
        return graph.Graph(parents_provider)
 
918
 
419
919
    @needs_write_lock
420
920
    def set_make_working_trees(self, new_value):
421
921
        """Set the policy flag for making working trees when creating branches.
426
926
        :param new_value: True to restore the default, False to disable making
427
927
                          working trees.
428
928
        """
429
 
        # FIXME: split out into a new class/strategy ?
430
 
        if isinstance(self._format, (RepositoryFormat4,
431
 
                                     RepositoryFormat5,
432
 
                                     RepositoryFormat6)):
433
 
            raise NotImplementedError(self.set_make_working_trees)
434
 
        if new_value:
435
 
            try:
436
 
                self.control_files._transport.delete('no-working-trees')
437
 
            except errors.NoSuchFile:
438
 
                pass
439
 
        else:
440
 
            self.control_files.put_utf8('no-working-trees', '')
 
929
        raise NotImplementedError(self.set_make_working_trees)
441
930
    
442
931
    def make_working_trees(self):
443
932
        """Returns the policy for making working trees on new branches."""
444
 
        # FIXME: split out into a new class/strategy ?
445
 
        if isinstance(self._format, (RepositoryFormat4,
446
 
                                     RepositoryFormat5,
447
 
                                     RepositoryFormat6)):
448
 
            return True
449
 
        return not self.control_files._transport.has('no-working-trees')
 
933
        raise NotImplementedError(self.make_working_trees)
450
934
 
451
935
    @needs_write_lock
452
936
    def sign_revision(self, revision_id, gpg_strategy):
 
937
        revision_id = osutils.safe_revision_id(revision_id)
453
938
        plaintext = Testament.from_revision(self, revision_id).as_short_text()
454
939
        self.store_revision_signature(gpg_strategy, plaintext, revision_id)
455
940
 
456
 
 
457
 
class AllInOneRepository(Repository):
458
 
    """Legacy support - the repository behaviour for all-in-one branches."""
459
 
 
460
 
    def __init__(self, _format, a_bzrdir, revision_store):
461
 
        # we reuse one control files instance.
462
 
        dir_mode = a_bzrdir._control_files._dir_mode
463
 
        file_mode = a_bzrdir._control_files._file_mode
464
 
 
465
 
        def get_weave(name, prefixed=False):
466
 
            if name:
467
 
                name = safe_unicode(name)
 
941
    @needs_read_lock
 
942
    def has_signature_for_revision_id(self, revision_id):
 
943
        """Query for a revision signature for revision_id in the repository."""
 
944
        revision_id = osutils.safe_revision_id(revision_id)
 
945
        return self._revision_store.has_signature(revision_id,
 
946
                                                  self.get_transaction())
 
947
 
 
948
    @needs_read_lock
 
949
    def get_signature_text(self, revision_id):
 
950
        """Return the text for a signature."""
 
951
        revision_id = osutils.safe_revision_id(revision_id)
 
952
        return self._revision_store.get_signature_text(revision_id,
 
953
                                                       self.get_transaction())
 
954
 
 
955
    @needs_read_lock
 
956
    def check(self, revision_ids):
 
957
        """Check consistency of all history of given revision_ids.
 
958
 
 
959
        Different repository implementations should override _check().
 
960
 
 
961
        :param revision_ids: A non-empty list of revision_ids whose ancestry
 
962
             will be checked.  Typically the last revision_id of a branch.
 
963
        """
 
964
        if not revision_ids:
 
965
            raise ValueError("revision_ids must be non-empty in %s.check" 
 
966
                    % (self,))
 
967
        revision_ids = [osutils.safe_revision_id(r) for r in revision_ids]
 
968
        return self._check(revision_ids)
 
969
 
 
970
    def _check(self, revision_ids):
 
971
        result = check.Check(self)
 
972
        result.check()
 
973
        return result
 
974
 
 
975
    def _warn_if_deprecated(self):
 
976
        global _deprecation_warning_done
 
977
        if _deprecation_warning_done:
 
978
            return
 
979
        _deprecation_warning_done = True
 
980
        warning("Format %s for %s is deprecated - please use 'bzr upgrade' to get better performance"
 
981
                % (self._format, self.bzrdir.transport.base))
 
982
 
 
983
    def supports_rich_root(self):
 
984
        return self._format.rich_root_data
 
985
 
 
986
    def _check_ascii_revisionid(self, revision_id, method):
 
987
        """Private helper for ascii-only repositories."""
 
988
        # weave repositories refuse to store revisionids that are non-ascii.
 
989
        if revision_id is not None:
 
990
            # weaves require ascii revision ids.
 
991
            if isinstance(revision_id, unicode):
 
992
                try:
 
993
                    revision_id.encode('ascii')
 
994
                except UnicodeEncodeError:
 
995
                    raise errors.NonAsciiRevisionId(method, self)
468
996
            else:
469
 
                name = ''
470
 
            relpath = a_bzrdir._control_files._escape(name)
471
 
            weave_transport = a_bzrdir._control_files._transport.clone(relpath)
472
 
            ws = WeaveStore(weave_transport, prefixed=prefixed,
473
 
                            dir_mode=dir_mode,
474
 
                            file_mode=file_mode)
475
 
            if a_bzrdir._control_files._transport.should_cache():
476
 
                ws.enable_cache = True
477
 
            return ws
478
 
 
479
 
        def get_store(name, compressed=True, prefixed=False):
480
 
            # FIXME: This approach of assuming stores are all entirely compressed
481
 
            # or entirely uncompressed is tidy, but breaks upgrade from 
482
 
            # some existing branches where there's a mixture; we probably 
483
 
            # still want the option to look for both.
484
 
            relpath = a_bzrdir._control_files._escape(name)
485
 
            store = TextStore(a_bzrdir._control_files._transport.clone(relpath),
486
 
                              prefixed=prefixed, compressed=compressed,
487
 
                              dir_mode=dir_mode,
488
 
                              file_mode=file_mode)
489
 
            #if self._transport.should_cache():
490
 
            #    cache_path = os.path.join(self.cache_root, name)
491
 
            #    os.mkdir(cache_path)
492
 
            #    store = bzrlib.store.CachedStore(store, cache_path)
493
 
            return store
494
 
 
495
 
        # not broken out yet because the controlweaves|inventory_store
496
 
        # and text_store | weave_store bits are still different.
497
 
        if isinstance(_format, RepositoryFormat4):
498
 
            self.inventory_store = get_store('inventory-store')
499
 
            self.text_store = get_store('text-store')
500
 
        elif isinstance(_format, RepositoryFormat5):
501
 
            self.control_weaves = get_weave('')
502
 
            self.weave_store = get_weave('weaves')
503
 
        elif isinstance(_format, RepositoryFormat6):
504
 
            self.control_weaves = get_weave('')
505
 
            self.weave_store = get_weave('weaves', prefixed=True)
 
997
                try:
 
998
                    revision_id.decode('ascii')
 
999
                except UnicodeDecodeError:
 
1000
                    raise errors.NonAsciiRevisionId(method, self)
 
1001
 
 
1002
 
 
1003
 
 
1004
# remove these delegates a while after bzr 0.15
 
1005
def __make_delegated(name, from_module):
 
1006
    def _deprecated_repository_forwarder():
 
1007
        symbol_versioning.warn('%s moved to %s in bzr 0.15'
 
1008
            % (name, from_module),
 
1009
            DeprecationWarning,
 
1010
            stacklevel=2)
 
1011
        m = __import__(from_module, globals(), locals(), [name])
 
1012
        try:
 
1013
            return getattr(m, name)
 
1014
        except AttributeError:
 
1015
            raise AttributeError('module %s has no name %s'
 
1016
                    % (m, name))
 
1017
    globals()[name] = _deprecated_repository_forwarder
 
1018
 
 
1019
for _name in [
 
1020
        'AllInOneRepository',
 
1021
        'WeaveMetaDirRepository',
 
1022
        'PreSplitOutRepositoryFormat',
 
1023
        'RepositoryFormat4',
 
1024
        'RepositoryFormat5',
 
1025
        'RepositoryFormat6',
 
1026
        'RepositoryFormat7',
 
1027
        ]:
 
1028
    __make_delegated(_name, 'bzrlib.repofmt.weaverepo')
 
1029
 
 
1030
for _name in [
 
1031
        'KnitRepository',
 
1032
        'RepositoryFormatKnit',
 
1033
        'RepositoryFormatKnit1',
 
1034
        ]:
 
1035
    __make_delegated(_name, 'bzrlib.repofmt.knitrepo')
 
1036
 
 
1037
 
 
1038
def install_revision(repository, rev, revision_tree):
 
1039
    """Install all revision data into a repository."""
 
1040
    present_parents = []
 
1041
    parent_trees = {}
 
1042
    for p_id in rev.parent_ids:
 
1043
        if repository.has_revision(p_id):
 
1044
            present_parents.append(p_id)
 
1045
            parent_trees[p_id] = repository.revision_tree(p_id)
506
1046
        else:
507
 
            raise errors.BzrError('unreachable code: unexpected repository'
508
 
                                  ' format.')
509
 
        revision_store.register_suffix('sig')
510
 
        super(AllInOneRepository, self).__init__(_format, a_bzrdir, a_bzrdir._control_files, revision_store)
 
1047
            parent_trees[p_id] = repository.revision_tree(None)
 
1048
 
 
1049
    inv = revision_tree.inventory
 
1050
    entries = inv.iter_entries()
 
1051
    # backwards compatability hack: skip the root id.
 
1052
    if not repository.supports_rich_root():
 
1053
        path, root = entries.next()
 
1054
        if root.revision != rev.revision_id:
 
1055
            raise errors.IncompatibleRevision(repr(repository))
 
1056
    # Add the texts that are not already present
 
1057
    for path, ie in entries:
 
1058
        w = repository.weave_store.get_weave_or_empty(ie.file_id,
 
1059
                repository.get_transaction())
 
1060
        if ie.revision not in w:
 
1061
            text_parents = []
 
1062
            # FIXME: TODO: The following loop *may* be overlapping/duplicate
 
1063
            # with InventoryEntry.find_previous_heads(). if it is, then there
 
1064
            # is a latent bug here where the parents may have ancestors of each
 
1065
            # other. RBC, AB
 
1066
            for revision, tree in parent_trees.iteritems():
 
1067
                if ie.file_id not in tree:
 
1068
                    continue
 
1069
                parent_id = tree.inventory[ie.file_id].revision
 
1070
                if parent_id in text_parents:
 
1071
                    continue
 
1072
                text_parents.append(parent_id)
 
1073
                    
 
1074
            vfile = repository.weave_store.get_weave_or_empty(ie.file_id, 
 
1075
                repository.get_transaction())
 
1076
            lines = revision_tree.get_file(ie.file_id).readlines()
 
1077
            vfile.add_lines(rev.revision_id, text_parents, lines)
 
1078
    try:
 
1079
        # install the inventory
 
1080
        repository.add_inventory(rev.revision_id, inv, present_parents)
 
1081
    except errors.RevisionAlreadyPresent:
 
1082
        pass
 
1083
    repository.add_revision(rev.revision_id, rev, inv)
511
1084
 
512
1085
 
513
1086
class MetaDirRepository(Repository):
514
1087
    """Repositories in the new meta-dir layout."""
515
1088
 
516
 
    def __init__(self, _format, a_bzrdir, control_files, revision_store):
 
1089
    def __init__(self, _format, a_bzrdir, control_files, _revision_store, control_store, text_store):
517
1090
        super(MetaDirRepository, self).__init__(_format,
518
1091
                                                a_bzrdir,
519
1092
                                                control_files,
520
 
                                                revision_store)
521
 
 
 
1093
                                                _revision_store,
 
1094
                                                control_store,
 
1095
                                                text_store)
522
1096
        dir_mode = self.control_files._dir_mode
523
1097
        file_mode = self.control_files._file_mode
524
1098
 
525
 
        def get_weave(name, prefixed=False):
526
 
            if name:
527
 
                name = safe_unicode(name)
528
 
            else:
529
 
                name = ''
530
 
            relpath = self.control_files._escape(name)
531
 
            weave_transport = self.control_files._transport.clone(relpath)
532
 
            ws = WeaveStore(weave_transport, prefixed=prefixed,
533
 
                            dir_mode=dir_mode,
534
 
                            file_mode=file_mode)
535
 
            if self.control_files._transport.should_cache():
536
 
                ws.enable_cache = True
537
 
            return ws
538
 
 
539
 
        if isinstance(self._format, RepositoryFormat7):
540
 
            self.control_weaves = get_weave('')
541
 
            self.weave_store = get_weave('weaves', prefixed=True)
542
 
        elif isinstance(self._format, RepositoryFormatKnit1):
543
 
            self.control_weaves = get_weave('')
544
 
            self.weave_store = get_weave('knits', prefixed=True)
 
1099
    @needs_read_lock
 
1100
    def is_shared(self):
 
1101
        """Return True if this repository is flagged as a shared repository."""
 
1102
        return self.control_files._transport.has('shared-storage')
 
1103
 
 
1104
    @needs_write_lock
 
1105
    def set_make_working_trees(self, new_value):
 
1106
        """Set the policy flag for making working trees when creating branches.
 
1107
 
 
1108
        This only applies to branches that use this repository.
 
1109
 
 
1110
        The default is 'True'.
 
1111
        :param new_value: True to restore the default, False to disable making
 
1112
                          working trees.
 
1113
        """
 
1114
        if new_value:
 
1115
            try:
 
1116
                self.control_files._transport.delete('no-working-trees')
 
1117
            except errors.NoSuchFile:
 
1118
                pass
545
1119
        else:
546
 
            raise errors.BzrError('unreachable code: unexpected repository'
547
 
                                  ' format.')
548
 
 
 
1120
            self.control_files.put_utf8('no-working-trees', '')
 
1121
    
 
1122
    def make_working_trees(self):
 
1123
        """Returns the policy for making working trees on new branches."""
 
1124
        return not self.control_files._transport.has('no-working-trees')
 
1125
 
 
1126
 
 
1127
class RepositoryFormatRegistry(registry.Registry):
 
1128
    """Registry of RepositoryFormats.
 
1129
    """
 
1130
 
 
1131
    def get(self, format_string):
 
1132
        r = registry.Registry.get(self, format_string)
 
1133
        if callable(r):
 
1134
            r = r()
 
1135
        return r
 
1136
    
 
1137
 
 
1138
format_registry = RepositoryFormatRegistry()
 
1139
"""Registry of formats, indexed by their identifying format string.
 
1140
 
 
1141
This can contain either format instances themselves, or classes/factories that
 
1142
can be called to obtain one.
 
1143
"""
 
1144
 
 
1145
 
 
1146
#####################################################################
 
1147
# Repository Formats
549
1148
 
550
1149
class RepositoryFormat(object):
551
1150
    """A repository format.
571
1170
    parameterisation.
572
1171
    """
573
1172
 
574
 
    _default_format = None
575
 
    """The default format used for new repositories."""
576
 
 
577
 
    _formats = {}
578
 
    """The known formats."""
 
1173
    def __str__(self):
 
1174
        return "<%s>" % self.__class__.__name__
 
1175
 
 
1176
    def __eq__(self, other):
 
1177
        # format objects are generally stateless
 
1178
        return isinstance(other, self.__class__)
 
1179
 
 
1180
    def __ne__(self, other):
 
1181
        return not self == other
579
1182
 
580
1183
    @classmethod
581
1184
    def find_format(klass, a_bzrdir):
582
 
        """Return the format for the repository object in a_bzrdir."""
 
1185
        """Return the format for the repository object in a_bzrdir.
 
1186
        
 
1187
        This is used by bzr native formats that have a "format" file in
 
1188
        the repository.  Other methods may be used by different types of 
 
1189
        control directory.
 
1190
        """
583
1191
        try:
584
1192
            transport = a_bzrdir.get_repository_transport(None)
585
1193
            format_string = transport.get("format").read()
586
 
            return klass._formats[format_string]
 
1194
            return format_registry.get(format_string)
587
1195
        except errors.NoSuchFile:
588
1196
            raise errors.NoRepositoryPresent(a_bzrdir)
589
1197
        except KeyError:
590
 
            raise errors.UnknownFormatError(format_string)
591
 
 
 
1198
            raise errors.UnknownFormatError(format=format_string)
 
1199
 
 
1200
    @classmethod
 
1201
    def register_format(klass, format):
 
1202
        format_registry.register(format.get_format_string(), format)
 
1203
 
 
1204
    @classmethod
 
1205
    def unregister_format(klass, format):
 
1206
        format_registry.remove(format.get_format_string())
 
1207
    
592
1208
    @classmethod
593
1209
    def get_default_format(klass):
594
1210
        """Return the current default format."""
595
 
        return klass._default_format
 
1211
        from bzrlib import bzrdir
 
1212
        return bzrdir.format_registry.make_bzrdir('default').repository_format
 
1213
 
 
1214
    def _get_control_store(self, repo_transport, control_files):
 
1215
        """Return the control store for this repository."""
 
1216
        raise NotImplementedError(self._get_control_store)
596
1217
 
597
1218
    def get_format_string(self):
598
1219
        """Return the ASCII format string that identifies this format.
602
1223
        """
603
1224
        raise NotImplementedError(self.get_format_string)
604
1225
 
 
1226
    def get_format_description(self):
 
1227
        """Return the short description for this format."""
 
1228
        raise NotImplementedError(self.get_format_description)
 
1229
 
605
1230
    def _get_revision_store(self, repo_transport, control_files):
606
1231
        """Return the revision store object for this a_bzrdir."""
607
1232
        raise NotImplementedError(self._get_revision_store)
608
1233
 
609
 
    def _get_rev_store(self,
610
 
                   transport,
611
 
                   control_files,
612
 
                   name,
613
 
                   compressed=True,
614
 
                   prefixed=False):
 
1234
    def _get_text_rev_store(self,
 
1235
                            transport,
 
1236
                            control_files,
 
1237
                            name,
 
1238
                            compressed=True,
 
1239
                            prefixed=False,
 
1240
                            serializer=None):
615
1241
        """Common logic for getting a revision store for a repository.
616
1242
        
617
 
        see self._get_revision_store for the method to 
 
1243
        see self._get_revision_store for the subclass-overridable method to 
618
1244
        get the store for a repository.
619
1245
        """
620
 
        if name:
621
 
            name = safe_unicode(name)
622
 
        else:
623
 
            name = ''
624
 
        dir_mode = control_files._dir_mode
625
 
        file_mode = control_files._file_mode
626
 
        revision_store =TextStore(transport.clone(name),
627
 
                                  prefixed=prefixed,
628
 
                                  compressed=compressed,
 
1246
        from bzrlib.store.revision.text import TextRevisionStore
 
1247
        dir_mode = control_files._dir_mode
 
1248
        file_mode = control_files._file_mode
 
1249
        text_store = TextStore(transport.clone(name),
 
1250
                              prefixed=prefixed,
 
1251
                              compressed=compressed,
 
1252
                              dir_mode=dir_mode,
 
1253
                              file_mode=file_mode)
 
1254
        _revision_store = TextRevisionStore(text_store, serializer)
 
1255
        return _revision_store
 
1256
 
 
1257
    # TODO: this shouldn't be in the base class, it's specific to things that
 
1258
    # use weaves or knits -- mbp 20070207
 
1259
    def _get_versioned_file_store(self,
 
1260
                                  name,
 
1261
                                  transport,
 
1262
                                  control_files,
 
1263
                                  prefixed=True,
 
1264
                                  versionedfile_class=None,
 
1265
                                  versionedfile_kwargs={},
 
1266
                                  escaped=False):
 
1267
        if versionedfile_class is None:
 
1268
            versionedfile_class = self._versionedfile_class
 
1269
        weave_transport = control_files._transport.clone(name)
 
1270
        dir_mode = control_files._dir_mode
 
1271
        file_mode = control_files._file_mode
 
1272
        return VersionedFileStore(weave_transport, prefixed=prefixed,
629
1273
                                  dir_mode=dir_mode,
630
 
                                  file_mode=file_mode)
631
 
        revision_store.register_suffix('sig')
632
 
        return revision_store
 
1274
                                  file_mode=file_mode,
 
1275
                                  versionedfile_class=versionedfile_class,
 
1276
                                  versionedfile_kwargs=versionedfile_kwargs,
 
1277
                                  escaped=escaped)
633
1278
 
634
1279
    def initialize(self, a_bzrdir, shared=False):
635
1280
        """Initialize a repository of this format in a_bzrdir.
636
1281
 
637
1282
        :param a_bzrdir: The bzrdir to put the new repository in it.
638
1283
        :param shared: The repository should be initialized as a sharable one.
639
 
 
 
1284
        :returns: The new repository object.
 
1285
        
640
1286
        This may raise UninitializableFormat if shared repository are not
641
1287
        compatible the a_bzrdir.
642
1288
        """
 
1289
        raise NotImplementedError(self.initialize)
643
1290
 
644
1291
    def is_supported(self):
645
1292
        """Is this format supported?
650
1297
        """
651
1298
        return True
652
1299
 
 
1300
    def check_conversion_target(self, target_format):
 
1301
        raise NotImplementedError(self.check_conversion_target)
 
1302
 
653
1303
    def open(self, a_bzrdir, _found=False):
654
1304
        """Return an instance of this format for the bzrdir a_bzrdir.
655
1305
        
657
1307
        """
658
1308
        raise NotImplementedError(self.open)
659
1309
 
660
 
    @classmethod
661
 
    def register_format(klass, format):
662
 
        klass._formats[format.get_format_string()] = format
663
 
 
664
 
    @classmethod
665
 
    def set_default_format(klass, format):
666
 
        klass._default_format = format
667
 
 
668
 
    @classmethod
669
 
    def unregister_format(klass, format):
670
 
        assert klass._formats[format.get_format_string()] is format
671
 
        del klass._formats[format.get_format_string()]
672
 
 
673
 
 
674
 
class PreSplitOutRepositoryFormat(RepositoryFormat):
675
 
    """Base class for the pre split out repository formats."""
676
 
 
677
 
    def initialize(self, a_bzrdir, shared=False, _internal=False):
678
 
        """Create a weave repository.
679
 
        
680
 
        TODO: when creating split out bzr branch formats, move this to a common
681
 
        base for Format5, Format6. or something like that.
682
 
        """
683
 
        from bzrlib.weavefile import write_weave_v5
684
 
        from bzrlib.weave import Weave
685
 
 
686
 
        if shared:
687
 
            raise errors.IncompatibleFormat(self, a_bzrdir._format)
688
 
 
689
 
        if not _internal:
690
 
            # always initialized when the bzrdir is.
691
 
            return self.open(a_bzrdir, _found=True)
692
 
        
693
 
        # Create an empty weave
694
 
        sio = StringIO()
695
 
        bzrlib.weavefile.write_weave_v5(Weave(), sio)
696
 
        empty_weave = sio.getvalue()
697
 
 
698
 
        mutter('creating repository in %s.', a_bzrdir.transport.base)
699
 
        dirs = ['revision-store', 'weaves']
700
 
        lock_file = 'branch-lock'
701
 
        files = [('inventory.weave', StringIO(empty_weave)), 
702
 
                 ]
703
 
        
704
 
        # FIXME: RBC 20060125 dont peek under the covers
705
 
        # NB: no need to escape relative paths that are url safe.
706
 
        control_files = LockableFiles(a_bzrdir.transport, 'branch-lock')
707
 
        control_files.lock_write()
708
 
        control_files._transport.mkdir_multi(dirs,
709
 
                mode=control_files._dir_mode)
710
 
        try:
711
 
            for file, content in files:
712
 
                control_files.put(file, content)
713
 
        finally:
714
 
            control_files.unlock()
715
 
        return self.open(a_bzrdir, _found=True)
716
 
 
717
 
    def open(self, a_bzrdir, _found=False):
718
 
        """See RepositoryFormat.open()."""
719
 
        if not _found:
720
 
            # we are being called directly and must probe.
721
 
            raise NotImplementedError
722
 
 
723
 
        repo_transport = a_bzrdir.get_repository_transport(None)
724
 
        control_files = a_bzrdir._control_files
725
 
        revision_store = self._get_revision_store(repo_transport, control_files)
726
 
        return AllInOneRepository(_format=self,
727
 
                                  a_bzrdir=a_bzrdir,
728
 
                                  revision_store=revision_store)
729
 
 
730
 
 
731
 
class RepositoryFormat4(PreSplitOutRepositoryFormat):
732
 
    """Bzr repository format 4.
733
 
 
734
 
    This repository format has:
735
 
     - flat stores
736
 
     - TextStores for texts, inventories,revisions.
737
 
 
738
 
    This format is deprecated: it indexes texts using a text id which is
739
 
    removed in format 5; initializationa and write support for this format
740
 
    has been removed.
741
 
    """
742
 
 
743
 
    def __init__(self):
744
 
        super(RepositoryFormat4, self).__init__()
745
 
        self._matchingbzrdir = bzrlib.bzrdir.BzrDirFormat4()
746
 
 
747
 
    def initialize(self, url, shared=False, _internal=False):
748
 
        """Format 4 branches cannot be created."""
749
 
        raise errors.UninitializableFormat(self)
750
 
 
751
 
    def is_supported(self):
752
 
        """Format 4 is not supported.
753
 
 
754
 
        It is not supported because the model changed from 4 to 5 and the
755
 
        conversion logic is expensive - so doing it on the fly was not 
756
 
        feasible.
757
 
        """
758
 
        return False
759
 
 
760
 
    def _get_revision_store(self, repo_transport, control_files):
761
 
        """See RepositoryFormat._get_revision_store()."""
762
 
        return self._get_rev_store(repo_transport,
763
 
                                   control_files,
764
 
                                   'revision-store')
765
 
 
766
 
 
767
 
class RepositoryFormat5(PreSplitOutRepositoryFormat):
768
 
    """Bzr control format 5.
769
 
 
770
 
    This repository format has:
771
 
     - weaves for file texts and inventory
772
 
     - flat stores
773
 
     - TextStores for revisions and signatures.
774
 
    """
775
 
 
776
 
    def __init__(self):
777
 
        super(RepositoryFormat5, self).__init__()
778
 
        self._matchingbzrdir = bzrlib.bzrdir.BzrDirFormat5()
779
 
 
780
 
    def _get_revision_store(self, repo_transport, control_files):
781
 
        """See RepositoryFormat._get_revision_store()."""
782
 
        """Return the revision store object for this a_bzrdir."""
783
 
        return self._get_rev_store(repo_transport,
784
 
                                   control_files,
785
 
                                   'revision-store',
786
 
                                   compressed=False)
787
 
 
788
 
 
789
 
class RepositoryFormat6(PreSplitOutRepositoryFormat):
790
 
    """Bzr control format 6.
791
 
 
792
 
    This repository format has:
793
 
     - weaves for file texts and inventory
794
 
     - hash subdirectory based stores.
795
 
     - TextStores for revisions and signatures.
796
 
    """
797
 
 
798
 
    def __init__(self):
799
 
        super(RepositoryFormat6, self).__init__()
800
 
        self._matchingbzrdir = bzrlib.bzrdir.BzrDirFormat6()
801
 
 
802
 
    def _get_revision_store(self, repo_transport, control_files):
803
 
        """See RepositoryFormat._get_revision_store()."""
804
 
        return self._get_rev_store(repo_transport,
805
 
                                   control_files,
806
 
                                   'revision-store',
807
 
                                   compressed=False,
808
 
                                   prefixed=True)
809
 
 
810
1310
 
811
1311
class MetaDirRepositoryFormat(RepositoryFormat):
812
 
    """Common base class for the new repositories using the metadir layour."""
 
1312
    """Common base class for the new repositories using the metadir layout."""
 
1313
 
 
1314
    rich_root_data = False
 
1315
    supports_tree_reference = False
 
1316
    _matchingbzrdir = bzrdir.BzrDirMetaFormat1()
813
1317
 
814
1318
    def __init__(self):
815
1319
        super(MetaDirRepositoryFormat, self).__init__()
816
 
        self._matchingbzrdir = bzrlib.bzrdir.BzrDirMetaFormat1()
817
1320
 
818
1321
    def _create_control_files(self, a_bzrdir):
819
1322
        """Create the required files and the initial control_files object."""
820
 
        # FIXME: RBC 20060125 dont peek under the covers
 
1323
        # FIXME: RBC 20060125 don't peek under the covers
821
1324
        # NB: no need to escape relative paths that are url safe.
822
 
        lock_file = 'lock'
823
1325
        repository_transport = a_bzrdir.get_repository_transport(self)
824
 
        repository_transport.put(lock_file, StringIO()) # TODO get the file mode from the bzrdir lock files., mode=file_mode)
825
 
        control_files = LockableFiles(repository_transport, 'lock')
 
1326
        control_files = lockable_files.LockableFiles(repository_transport,
 
1327
                                'lock', lockdir.LockDir)
 
1328
        control_files.create_lock()
826
1329
        return control_files
827
1330
 
828
 
    def _get_revision_store(self, repo_transport, control_files):
829
 
        """See RepositoryFormat._get_revision_store()."""
830
 
        return self._get_rev_store(repo_transport,
831
 
                                   control_files,
832
 
                                   'revision-store',
833
 
                                   compressed=False,
834
 
                                   prefixed=True,
835
 
                                   )
836
 
 
837
 
    def open(self, a_bzrdir, _found=False, _override_transport=None):
838
 
        """See RepositoryFormat.open().
839
 
        
840
 
        :param _override_transport: INTERNAL USE ONLY. Allows opening the
841
 
                                    repository at a slightly different url
842
 
                                    than normal. I.e. during 'upgrade'.
843
 
        """
844
 
        if not _found:
845
 
            format = RepositoryFormat.find_format(a_bzrdir)
846
 
            assert format.__class__ ==  self.__class__
847
 
        if _override_transport is not None:
848
 
            repo_transport = _override_transport
849
 
        else:
850
 
            repo_transport = a_bzrdir.get_repository_transport(None)
851
 
        control_files = LockableFiles(repo_transport, 'lock')
852
 
        revision_store = self._get_revision_store(repo_transport, control_files)
853
 
        return MetaDirRepository(_format=self,
854
 
                                 a_bzrdir=a_bzrdir,
855
 
                                 control_files=control_files,
856
 
                                 revision_store=revision_store)
857
 
 
858
1331
    def _upload_blank_content(self, a_bzrdir, dirs, files, utf8_files, shared):
859
1332
        """Upload the initial blank content."""
860
1333
        control_files = self._create_control_files(a_bzrdir)
861
1334
        control_files.lock_write()
862
 
        control_files._transport.mkdir_multi(dirs,
863
 
                mode=control_files._dir_mode)
864
1335
        try:
 
1336
            control_files._transport.mkdir_multi(dirs,
 
1337
                    mode=control_files._dir_mode)
865
1338
            for file, content in files:
866
1339
                control_files.put(file, content)
867
1340
            for file, content in utf8_files:
872
1345
            control_files.unlock()
873
1346
 
874
1347
 
875
 
class RepositoryFormat7(MetaDirRepositoryFormat):
876
 
    """Bzr repository 7.
877
 
 
878
 
    This repository format has:
879
 
     - weaves for file texts and inventory
880
 
     - hash subdirectory based stores.
881
 
     - TextStores for revisions and signatures.
882
 
     - a format marker of its own
883
 
     - an optional 'shared-storage' flag
884
 
     - an optional 'no-working-trees' flag
885
 
    """
886
 
 
887
 
    def get_format_string(self):
888
 
        """See RepositoryFormat.get_format_string()."""
889
 
        return "Bazaar-NG Repository format 7"
890
 
 
891
 
    def initialize(self, a_bzrdir, shared=False):
892
 
        """Create a weave repository.
893
 
 
894
 
        :param shared: If true the repository will be initialized as a shared
895
 
                       repository.
896
 
        """
897
 
        from bzrlib.weavefile import write_weave_v5
898
 
        from bzrlib.weave import Weave
899
 
 
900
 
        # Create an empty weave
901
 
        sio = StringIO()
902
 
        bzrlib.weavefile.write_weave_v5(Weave(), sio)
903
 
        empty_weave = sio.getvalue()
904
 
 
905
 
        mutter('creating repository in %s.', a_bzrdir.transport.base)
906
 
        dirs = ['revision-store', 'weaves']
907
 
        files = [('inventory.weave', StringIO(empty_weave)), 
908
 
                 ]
909
 
        utf8_files = [('format', self.get_format_string())]
910
 
 
911
 
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
912
 
        return self.open(a_bzrdir=a_bzrdir, _found=True)
913
 
 
914
 
 
915
 
class RepositoryFormatKnit1(MetaDirRepositoryFormat):
916
 
    """Bzr repository knit format 1.
917
 
 
918
 
    This repository format has:
919
 
     - knits for file texts and inventory
920
 
     - hash subdirectory based stores.
921
 
     - knits for revisions and signatures
922
 
     - TextStores for revisions and signatures.
923
 
     - a format marker of its own
924
 
     - an optional 'shared-storage' flag
925
 
     - an optional 'no-working-trees' flag
926
 
    """
927
 
 
928
 
    def get_format_string(self):
929
 
        """See RepositoryFormat.get_format_string()."""
930
 
        return "Bazaar-NG Knit Repository Format 1"
931
 
 
932
 
    def initialize(self, a_bzrdir, shared=False):
933
 
        """Create a knit format 1 repository.
934
 
 
935
 
        :param shared: If true the repository will be initialized as a shared
936
 
                       repository.
937
 
        XXX NOTE that this current uses a Weave for testing and will become 
938
 
            A Knit in due course.
939
 
        """
940
 
        from bzrlib.weavefile import write_weave_v5
941
 
        from bzrlib.weave import Weave
942
 
 
943
 
        # Create an empty weave
944
 
        sio = StringIO()
945
 
        bzrlib.weavefile.write_weave_v5(Weave(), sio)
946
 
        empty_weave = sio.getvalue()
947
 
 
948
 
        mutter('creating repository in %s.', a_bzrdir.transport.base)
949
 
        dirs = ['revision-store', 'knits']
950
 
        files = [('inventory.weave', StringIO(empty_weave)), 
951
 
                 ]
952
 
        utf8_files = [('format', self.get_format_string())]
953
 
        
954
 
        self._upload_blank_content(a_bzrdir, dirs, files, utf8_files, shared)
955
 
        return self.open(a_bzrdir=a_bzrdir, _found=True)
956
 
 
957
 
 
958
1348
# formats which have no format string are not discoverable
959
 
# and not independently creatable, so are not registered.
960
 
_default_format = RepositoryFormat7()
961
 
RepositoryFormat.register_format(_default_format)
962
 
RepositoryFormat.register_format(RepositoryFormatKnit1())
963
 
RepositoryFormat.set_default_format(_default_format)
964
 
_legacy_formats = [RepositoryFormat4(),
965
 
                   RepositoryFormat5(),
966
 
                   RepositoryFormat6()]
967
 
 
968
 
 
969
 
class InterRepository(object):
 
1349
# and not independently creatable, so are not registered.  They're 
 
1350
# all in bzrlib.repofmt.weaverepo now.  When an instance of one of these is
 
1351
# needed, it's constructed directly by the BzrDir.  Non-native formats where
 
1352
# the repository is not separately opened are similar.
 
1353
 
 
1354
format_registry.register_lazy(
 
1355
    'Bazaar-NG Repository format 7',
 
1356
    'bzrlib.repofmt.weaverepo',
 
1357
    'RepositoryFormat7'
 
1358
    )
 
1359
# KEEP in sync with bzrdir.format_registry default, which controls the overall
 
1360
# default control directory format
 
1361
 
 
1362
format_registry.register_lazy(
 
1363
    'Bazaar-NG Knit Repository Format 1',
 
1364
    'bzrlib.repofmt.knitrepo',
 
1365
    'RepositoryFormatKnit1',
 
1366
    )
 
1367
format_registry.default_key = 'Bazaar-NG Knit Repository Format 1'
 
1368
 
 
1369
format_registry.register_lazy(
 
1370
    'Bazaar Knit Repository Format 3 (bzr 0.15)\n',
 
1371
    'bzrlib.repofmt.knitrepo',
 
1372
    'RepositoryFormatKnit3',
 
1373
    )
 
1374
 
 
1375
 
 
1376
class InterRepository(InterObject):
970
1377
    """This class represents operations taking place between two repositories.
971
1378
 
972
1379
    Its instances have methods like copy_content and fetch, and contain
977
1384
    operations with another repository - they will always forward to
978
1385
    InterRepository.get(other).method_name(parameters).
979
1386
    """
980
 
    # XXX: FIXME: FUTURE: robertc
981
 
    # testing of these probably requires a factory in optimiser type, and 
982
 
    # then a test adapter to test each type thoroughly.
983
 
    #
984
1387
 
985
 
    _optimisers = set()
 
1388
    _optimisers = []
986
1389
    """The available optimised InterRepository types."""
987
1390
 
988
 
    def __init__(self, source, target):
989
 
        """Construct a default InterRepository instance. Please use 'get'.
990
 
        
991
 
        Only subclasses of InterRepository should call 
992
 
        InterRepository.__init__ - clients should call InterRepository.get
993
 
        instead which will create an optimised InterRepository if possible.
994
 
        """
995
 
        self.source = source
996
 
        self.target = target
997
 
 
998
 
    @needs_write_lock
999
 
    def copy_content(self, revision_id=None, basis=None):
1000
 
        """Make a complete copy of the content in self into destination.
1001
 
        
1002
 
        This is a destructive operation! Do not use it on existing 
1003
 
        repositories.
1004
 
 
1005
 
        :param revision_id: Only copy the content needed to construct
1006
 
                            revision_id and its parents.
1007
 
        :param basis: Copy the needed data preferentially from basis.
1008
 
        """
1009
 
        try:
1010
 
            self.target.set_make_working_trees(self.source.make_working_trees())
1011
 
        except NotImplementedError:
1012
 
            pass
1013
 
        # grab the basis available data
1014
 
        if basis is not None:
1015
 
            self.target.fetch(basis, revision_id=revision_id)
1016
 
        # but dont both fetching if we have the needed data now.
1017
 
        if (revision_id not in (None, NULL_REVISION) and 
1018
 
            self.target.has_revision(revision_id)):
1019
 
            return
1020
 
        self.target.fetch(self.source, revision_id=revision_id)
1021
 
 
1022
 
    def _double_lock(self, lock_source, lock_target):
1023
 
        """Take out too locks, rolling back the first if the second throws."""
1024
 
        lock_source()
1025
 
        try:
1026
 
            lock_target()
1027
 
        except Exception:
1028
 
            # we want to ensure that we don't leave source locked by mistake.
1029
 
            # and any error on target should not confuse source.
1030
 
            self.source.unlock()
1031
 
            raise
1032
 
 
1033
 
    @needs_write_lock
 
1391
    def copy_content(self, revision_id=None):
 
1392
        raise NotImplementedError(self.copy_content)
 
1393
 
1034
1394
    def fetch(self, revision_id=None, pb=None):
1035
1395
        """Fetch the content required to construct revision_id.
1036
1396
 
1037
 
        The content is copied from source to target.
 
1397
        The content is copied from self.source to self.target.
1038
1398
 
1039
1399
        :param revision_id: if None all content is copied, if NULL_REVISION no
1040
1400
                            content is copied.
1044
1404
        Returns the copied revision count and the failed revisions in a tuple:
1045
1405
        (copied, failures).
1046
1406
        """
1047
 
        from bzrlib.fetch import RepoFetcher
1048
 
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
1049
 
               self.source, self.source._format, self.target, self.target._format)
1050
 
        f = RepoFetcher(to_repository=self.target,
1051
 
                        from_repository=self.source,
1052
 
                        last_revision=revision_id,
1053
 
                        pb=pb)
1054
 
        return f.count_copied, f.failed_revisions
1055
 
 
1056
 
    @classmethod
1057
 
    def get(klass, repository_source, repository_target):
1058
 
        """Retrieve a InterRepository worker object for these repositories.
1059
 
 
1060
 
        :param repository_source: the repository to be the 'source' member of
1061
 
                                  the InterRepository instance.
1062
 
        :param repository_target: the repository to be the 'target' member of
1063
 
                                the InterRepository instance.
1064
 
        If an optimised InterRepository worker exists it will be used otherwise
1065
 
        a default InterRepository instance will be created.
1066
 
        """
1067
 
        for provider in klass._optimisers:
1068
 
            if provider.is_compatible(repository_source, repository_target):
1069
 
                return provider(repository_source, repository_target)
1070
 
        return InterRepository(repository_source, repository_target)
1071
 
 
1072
 
    def lock_read(self):
1073
 
        """Take out a logical read lock.
1074
 
 
1075
 
        This will lock the source branch and the target branch. The source gets
1076
 
        a read lock and the target a read lock.
1077
 
        """
1078
 
        self._double_lock(self.source.lock_read, self.target.lock_read)
1079
 
 
1080
 
    def lock_write(self):
1081
 
        """Take out a logical write lock.
1082
 
 
1083
 
        This will lock the source branch and the target branch. The source gets
1084
 
        a read lock and the target a write lock.
1085
 
        """
1086
 
        self._double_lock(self.source.lock_read, self.target.lock_write)
1087
 
 
 
1407
        raise NotImplementedError(self.fetch)
 
1408
   
1088
1409
    @needs_read_lock
1089
1410
    def missing_revision_ids(self, revision_id=None):
1090
1411
        """Return the revision ids that source has that target does not.
1097
1418
        # generic, possibly worst case, slow code path.
1098
1419
        target_ids = set(self.target.all_revision_ids())
1099
1420
        if revision_id is not None:
 
1421
            # TODO: jam 20070210 InterRepository is internal enough that it
 
1422
            #       should assume revision_ids are already utf-8
 
1423
            revision_id = osutils.safe_revision_id(revision_id)
1100
1424
            source_ids = self.source.get_ancestry(revision_id)
1101
 
            assert source_ids.pop(0) == None
 
1425
            assert source_ids[0] is None
 
1426
            source_ids.pop(0)
1102
1427
        else:
1103
1428
            source_ids = self.source.all_revision_ids()
1104
1429
        result_set = set(source_ids).difference(target_ids)
1107
1432
        # that we've decided we need.
1108
1433
        return [rev_id for rev_id in source_ids if rev_id in result_set]
1109
1434
 
 
1435
 
 
1436
class InterSameDataRepository(InterRepository):
 
1437
    """Code for converting between repositories that represent the same data.
 
1438
    
 
1439
    Data format and model must match for this to work.
 
1440
    """
 
1441
 
1110
1442
    @classmethod
1111
 
    def register_optimiser(klass, optimiser):
1112
 
        """Register an InterRepository optimiser."""
1113
 
        klass._optimisers.add(optimiser)
1114
 
 
1115
 
    def unlock(self):
1116
 
        """Release the locks on source and target."""
 
1443
    def _get_repo_format_to_test(self):
 
1444
        """Repository format for testing with."""
 
1445
        return RepositoryFormat.get_default_format()
 
1446
 
 
1447
    @staticmethod
 
1448
    def is_compatible(source, target):
 
1449
        if source.supports_rich_root() != target.supports_rich_root():
 
1450
            return False
 
1451
        if source._serializer != target._serializer:
 
1452
            return False
 
1453
        return True
 
1454
 
 
1455
    @needs_write_lock
 
1456
    def copy_content(self, revision_id=None):
 
1457
        """Make a complete copy of the content in self into destination.
 
1458
 
 
1459
        This copies both the repository's revision data, and configuration information
 
1460
        such as the make_working_trees setting.
 
1461
        
 
1462
        This is a destructive operation! Do not use it on existing 
 
1463
        repositories.
 
1464
 
 
1465
        :param revision_id: Only copy the content needed to construct
 
1466
                            revision_id and its parents.
 
1467
        """
1117
1468
        try:
1118
 
            self.target.unlock()
1119
 
        finally:
1120
 
            self.source.unlock()
1121
 
 
1122
 
    @classmethod
1123
 
    def unregister_optimiser(klass, optimiser):
1124
 
        """Unregister an InterRepository optimiser."""
1125
 
        klass._optimisers.remove(optimiser)
1126
 
 
1127
 
 
1128
 
class InterWeaveRepo(InterRepository):
 
1469
            self.target.set_make_working_trees(self.source.make_working_trees())
 
1470
        except NotImplementedError:
 
1471
            pass
 
1472
        # TODO: jam 20070210 This is fairly internal, so we should probably
 
1473
        #       just assert that revision_id is not unicode.
 
1474
        revision_id = osutils.safe_revision_id(revision_id)
 
1475
        # but don't bother fetching if we have the needed data now.
 
1476
        if (revision_id not in (None, _mod_revision.NULL_REVISION) and 
 
1477
            self.target.has_revision(revision_id)):
 
1478
            return
 
1479
        self.target.fetch(self.source, revision_id=revision_id)
 
1480
 
 
1481
    @needs_write_lock
 
1482
    def fetch(self, revision_id=None, pb=None):
 
1483
        """See InterRepository.fetch()."""
 
1484
        from bzrlib.fetch import GenericRepoFetcher
 
1485
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
 
1486
               self.source, self.source._format, self.target, 
 
1487
               self.target._format)
 
1488
        # TODO: jam 20070210 This should be an assert, not a translate
 
1489
        revision_id = osutils.safe_revision_id(revision_id)
 
1490
        f = GenericRepoFetcher(to_repository=self.target,
 
1491
                               from_repository=self.source,
 
1492
                               last_revision=revision_id,
 
1493
                               pb=pb)
 
1494
        return f.count_copied, f.failed_revisions
 
1495
 
 
1496
 
 
1497
class InterWeaveRepo(InterSameDataRepository):
1129
1498
    """Optimised code paths between Weave based repositories."""
1130
1499
 
1131
 
    _matching_repo_format = _default_format
1132
 
    """Repository format for testing with."""
 
1500
    @classmethod
 
1501
    def _get_repo_format_to_test(self):
 
1502
        from bzrlib.repofmt import weaverepo
 
1503
        return weaverepo.RepositoryFormat7()
1133
1504
 
1134
1505
    @staticmethod
1135
1506
    def is_compatible(source, target):
1136
1507
        """Be compatible with known Weave formats.
1137
1508
        
1138
 
        We dont test for the stores being of specific types becase that
 
1509
        We don't test for the stores being of specific types because that
1139
1510
        could lead to confusing results, and there is no need to be 
1140
1511
        overly general.
1141
1512
        """
 
1513
        from bzrlib.repofmt.weaverepo import (
 
1514
                RepositoryFormat5,
 
1515
                RepositoryFormat6,
 
1516
                RepositoryFormat7,
 
1517
                )
1142
1518
        try:
1143
1519
            return (isinstance(source._format, (RepositoryFormat5,
1144
1520
                                                RepositoryFormat6,
1150
1526
            return False
1151
1527
    
1152
1528
    @needs_write_lock
1153
 
    def copy_content(self, revision_id=None, basis=None):
 
1529
    def copy_content(self, revision_id=None):
1154
1530
        """See InterRepository.copy_content()."""
1155
1531
        # weave specific optimised path:
1156
 
        if basis is not None:
1157
 
            # copy the basis in, then fetch remaining data.
1158
 
            basis.copy_content_into(self.target, revision_id)
1159
 
            # the basis copy_content_into could misset this.
1160
 
            try:
1161
 
                self.target.set_make_working_trees(self.source.make_working_trees())
1162
 
            except NotImplementedError:
1163
 
                pass
1164
 
            self.target.fetch(self.source, revision_id=revision_id)
1165
 
        else:
1166
 
            try:
1167
 
                self.target.set_make_working_trees(self.source.make_working_trees())
1168
 
            except NotImplementedError:
1169
 
                pass
1170
 
            # FIXME do not peek!
1171
 
            if self.source.control_files._transport.listable():
1172
 
                pb = bzrlib.ui.ui_factory.progress_bar()
1173
 
                copy_all(self.source.weave_store,
1174
 
                    self.target.weave_store, pb=pb)
 
1532
        # TODO: jam 20070210 Internal, should be an assert, not translate
 
1533
        revision_id = osutils.safe_revision_id(revision_id)
 
1534
        try:
 
1535
            self.target.set_make_working_trees(self.source.make_working_trees())
 
1536
        except NotImplementedError:
 
1537
            pass
 
1538
        # FIXME do not peek!
 
1539
        if self.source.control_files._transport.listable():
 
1540
            pb = ui.ui_factory.nested_progress_bar()
 
1541
            try:
 
1542
                self.target.weave_store.copy_all_ids(
 
1543
                    self.source.weave_store,
 
1544
                    pb=pb,
 
1545
                    from_transaction=self.source.get_transaction(),
 
1546
                    to_transaction=self.target.get_transaction())
1175
1547
                pb.update('copying inventory', 0, 1)
1176
1548
                self.target.control_weaves.copy_multi(
1177
 
                    self.source.control_weaves, ['inventory'])
1178
 
                copy_all(self.source.revision_store,
1179
 
                    self.target.revision_store, pb=pb)
1180
 
            else:
1181
 
                self.target.fetch(self.source, revision_id=revision_id)
 
1549
                    self.source.control_weaves, ['inventory'],
 
1550
                    from_transaction=self.source.get_transaction(),
 
1551
                    to_transaction=self.target.get_transaction())
 
1552
                self.target._revision_store.text_store.copy_all_ids(
 
1553
                    self.source._revision_store.text_store,
 
1554
                    pb=pb)
 
1555
            finally:
 
1556
                pb.finished()
 
1557
        else:
 
1558
            self.target.fetch(self.source, revision_id=revision_id)
1182
1559
 
1183
1560
    @needs_write_lock
1184
1561
    def fetch(self, revision_id=None, pb=None):
1185
1562
        """See InterRepository.fetch()."""
1186
 
        from bzrlib.fetch import RepoFetcher
 
1563
        from bzrlib.fetch import GenericRepoFetcher
1187
1564
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
1188
1565
               self.source, self.source._format, self.target, self.target._format)
1189
 
        f = RepoFetcher(to_repository=self.target,
1190
 
                        from_repository=self.source,
1191
 
                        last_revision=revision_id,
1192
 
                        pb=pb)
 
1566
        # TODO: jam 20070210 This should be an assert, not a translate
 
1567
        revision_id = osutils.safe_revision_id(revision_id)
 
1568
        f = GenericRepoFetcher(to_repository=self.target,
 
1569
                               from_repository=self.source,
 
1570
                               last_revision=revision_id,
 
1571
                               pb=pb)
1193
1572
        return f.count_copied, f.failed_revisions
1194
1573
 
1195
1574
    @needs_read_lock
1196
1575
    def missing_revision_ids(self, revision_id=None):
1197
1576
        """See InterRepository.missing_revision_ids()."""
1198
1577
        # we want all revisions to satisfy revision_id in source.
1199
 
        # but we dont want to stat every file here and there.
 
1578
        # but we don't want to stat every file here and there.
1200
1579
        # we want then, all revisions other needs to satisfy revision_id 
1201
1580
        # checked, but not those that we have locally.
1202
1581
        # so the first thing is to get a subset of the revisions to 
1208
1587
        # - RBC 20060209
1209
1588
        if revision_id is not None:
1210
1589
            source_ids = self.source.get_ancestry(revision_id)
1211
 
            assert source_ids.pop(0) == None
1212
 
        else:
1213
 
            source_ids = self.source._all_possible_ids()
1214
 
        source_ids_set = set(source_ids)
1215
 
        # source_ids is the worst possible case we may need to pull.
1216
 
        # now we want to filter source_ids against what we actually
1217
 
        # have in target, but dont try to check for existence where we know
1218
 
        # we do not have a revision as that would be pointless.
1219
 
        target_ids = set(self.target._all_possible_ids())
1220
 
        possibly_present_revisions = target_ids.intersection(source_ids_set)
1221
 
        actually_present_revisions = set(self.target._eliminate_revisions_not_present(possibly_present_revisions))
1222
 
        required_revisions = source_ids_set.difference(actually_present_revisions)
1223
 
        required_topo_revisions = [rev_id for rev_id in source_ids if rev_id in required_revisions]
1224
 
        if revision_id is not None:
1225
 
            # we used get_ancestry to determine source_ids then we are assured all
1226
 
            # revisions referenced are present as they are installed in topological order.
1227
 
            # and the tip revision was validated by get_ancestry.
1228
 
            return required_topo_revisions
1229
 
        else:
1230
 
            # if we just grabbed the possibly available ids, then 
1231
 
            # we only have an estimate of whats available and need to validate
1232
 
            # that against the revision records.
1233
 
            return self.source._eliminate_revisions_not_present(required_topo_revisions)
1234
 
 
1235
 
 
 
1590
            assert source_ids[0] is None
 
1591
            source_ids.pop(0)
 
1592
        else:
 
1593
            source_ids = self.source._all_possible_ids()
 
1594
        source_ids_set = set(source_ids)
 
1595
        # source_ids is the worst possible case we may need to pull.
 
1596
        # now we want to filter source_ids against what we actually
 
1597
        # have in target, but don't try to check for existence where we know
 
1598
        # we do not have a revision as that would be pointless.
 
1599
        target_ids = set(self.target._all_possible_ids())
 
1600
        possibly_present_revisions = target_ids.intersection(source_ids_set)
 
1601
        actually_present_revisions = set(self.target._eliminate_revisions_not_present(possibly_present_revisions))
 
1602
        required_revisions = source_ids_set.difference(actually_present_revisions)
 
1603
        required_topo_revisions = [rev_id for rev_id in source_ids if rev_id in required_revisions]
 
1604
        if revision_id is not None:
 
1605
            # we used get_ancestry to determine source_ids then we are assured all
 
1606
            # revisions referenced are present as they are installed in topological order.
 
1607
            # and the tip revision was validated by get_ancestry.
 
1608
            return required_topo_revisions
 
1609
        else:
 
1610
            # if we just grabbed the possibly available ids, then 
 
1611
            # we only have an estimate of whats available and need to validate
 
1612
            # that against the revision records.
 
1613
            return self.source._eliminate_revisions_not_present(required_topo_revisions)
 
1614
 
 
1615
 
 
1616
class InterKnitRepo(InterSameDataRepository):
 
1617
    """Optimised code paths between Knit based repositories."""
 
1618
 
 
1619
    @classmethod
 
1620
    def _get_repo_format_to_test(self):
 
1621
        from bzrlib.repofmt import knitrepo
 
1622
        return knitrepo.RepositoryFormatKnit1()
 
1623
 
 
1624
    @staticmethod
 
1625
    def is_compatible(source, target):
 
1626
        """Be compatible with known Knit formats.
 
1627
        
 
1628
        We don't test for the stores being of specific types because that
 
1629
        could lead to confusing results, and there is no need to be 
 
1630
        overly general.
 
1631
        """
 
1632
        from bzrlib.repofmt.knitrepo import RepositoryFormatKnit1
 
1633
        try:
 
1634
            return (isinstance(source._format, (RepositoryFormatKnit1)) and
 
1635
                    isinstance(target._format, (RepositoryFormatKnit1)))
 
1636
        except AttributeError:
 
1637
            return False
 
1638
 
 
1639
    @needs_write_lock
 
1640
    def fetch(self, revision_id=None, pb=None):
 
1641
        """See InterRepository.fetch()."""
 
1642
        from bzrlib.fetch import KnitRepoFetcher
 
1643
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
 
1644
               self.source, self.source._format, self.target, self.target._format)
 
1645
        # TODO: jam 20070210 This should be an assert, not a translate
 
1646
        revision_id = osutils.safe_revision_id(revision_id)
 
1647
        f = KnitRepoFetcher(to_repository=self.target,
 
1648
                            from_repository=self.source,
 
1649
                            last_revision=revision_id,
 
1650
                            pb=pb)
 
1651
        return f.count_copied, f.failed_revisions
 
1652
 
 
1653
    @needs_read_lock
 
1654
    def missing_revision_ids(self, revision_id=None):
 
1655
        """See InterRepository.missing_revision_ids()."""
 
1656
        if revision_id is not None:
 
1657
            source_ids = self.source.get_ancestry(revision_id)
 
1658
            assert source_ids[0] is None
 
1659
            source_ids.pop(0)
 
1660
        else:
 
1661
            source_ids = self.source._all_possible_ids()
 
1662
        source_ids_set = set(source_ids)
 
1663
        # source_ids is the worst possible case we may need to pull.
 
1664
        # now we want to filter source_ids against what we actually
 
1665
        # have in target, but don't try to check for existence where we know
 
1666
        # we do not have a revision as that would be pointless.
 
1667
        target_ids = set(self.target._all_possible_ids())
 
1668
        possibly_present_revisions = target_ids.intersection(source_ids_set)
 
1669
        actually_present_revisions = set(self.target._eliminate_revisions_not_present(possibly_present_revisions))
 
1670
        required_revisions = source_ids_set.difference(actually_present_revisions)
 
1671
        required_topo_revisions = [rev_id for rev_id in source_ids if rev_id in required_revisions]
 
1672
        if revision_id is not None:
 
1673
            # we used get_ancestry to determine source_ids then we are assured all
 
1674
            # revisions referenced are present as they are installed in topological order.
 
1675
            # and the tip revision was validated by get_ancestry.
 
1676
            return required_topo_revisions
 
1677
        else:
 
1678
            # if we just grabbed the possibly available ids, then 
 
1679
            # we only have an estimate of whats available and need to validate
 
1680
            # that against the revision records.
 
1681
            return self.source._eliminate_revisions_not_present(required_topo_revisions)
 
1682
 
 
1683
 
 
1684
class InterModel1and2(InterRepository):
 
1685
 
 
1686
    @classmethod
 
1687
    def _get_repo_format_to_test(self):
 
1688
        return None
 
1689
 
 
1690
    @staticmethod
 
1691
    def is_compatible(source, target):
 
1692
        if not source.supports_rich_root() and target.supports_rich_root():
 
1693
            return True
 
1694
        else:
 
1695
            return False
 
1696
 
 
1697
    @needs_write_lock
 
1698
    def fetch(self, revision_id=None, pb=None):
 
1699
        """See InterRepository.fetch()."""
 
1700
        from bzrlib.fetch import Model1toKnit2Fetcher
 
1701
        # TODO: jam 20070210 This should be an assert, not a translate
 
1702
        revision_id = osutils.safe_revision_id(revision_id)
 
1703
        f = Model1toKnit2Fetcher(to_repository=self.target,
 
1704
                                 from_repository=self.source,
 
1705
                                 last_revision=revision_id,
 
1706
                                 pb=pb)
 
1707
        return f.count_copied, f.failed_revisions
 
1708
 
 
1709
    @needs_write_lock
 
1710
    def copy_content(self, revision_id=None):
 
1711
        """Make a complete copy of the content in self into destination.
 
1712
        
 
1713
        This is a destructive operation! Do not use it on existing 
 
1714
        repositories.
 
1715
 
 
1716
        :param revision_id: Only copy the content needed to construct
 
1717
                            revision_id and its parents.
 
1718
        """
 
1719
        try:
 
1720
            self.target.set_make_working_trees(self.source.make_working_trees())
 
1721
        except NotImplementedError:
 
1722
            pass
 
1723
        # TODO: jam 20070210 Internal, assert, don't translate
 
1724
        revision_id = osutils.safe_revision_id(revision_id)
 
1725
        # but don't bother fetching if we have the needed data now.
 
1726
        if (revision_id not in (None, _mod_revision.NULL_REVISION) and 
 
1727
            self.target.has_revision(revision_id)):
 
1728
            return
 
1729
        self.target.fetch(self.source, revision_id=revision_id)
 
1730
 
 
1731
 
 
1732
class InterKnit1and2(InterKnitRepo):
 
1733
 
 
1734
    @classmethod
 
1735
    def _get_repo_format_to_test(self):
 
1736
        return None
 
1737
 
 
1738
    @staticmethod
 
1739
    def is_compatible(source, target):
 
1740
        """Be compatible with Knit1 source and Knit3 target"""
 
1741
        from bzrlib.repofmt.knitrepo import RepositoryFormatKnit3
 
1742
        try:
 
1743
            from bzrlib.repofmt.knitrepo import RepositoryFormatKnit1, \
 
1744
                    RepositoryFormatKnit3
 
1745
            return (isinstance(source._format, (RepositoryFormatKnit1)) and
 
1746
                    isinstance(target._format, (RepositoryFormatKnit3)))
 
1747
        except AttributeError:
 
1748
            return False
 
1749
 
 
1750
    @needs_write_lock
 
1751
    def fetch(self, revision_id=None, pb=None):
 
1752
        """See InterRepository.fetch()."""
 
1753
        from bzrlib.fetch import Knit1to2Fetcher
 
1754
        mutter("Using fetch logic to copy between %s(%s) and %s(%s)",
 
1755
               self.source, self.source._format, self.target, 
 
1756
               self.target._format)
 
1757
        # TODO: jam 20070210 This should be an assert, not a translate
 
1758
        revision_id = osutils.safe_revision_id(revision_id)
 
1759
        f = Knit1to2Fetcher(to_repository=self.target,
 
1760
                            from_repository=self.source,
 
1761
                            last_revision=revision_id,
 
1762
                            pb=pb)
 
1763
        return f.count_copied, f.failed_revisions
 
1764
 
 
1765
 
 
1766
class InterRemoteRepository(InterRepository):
 
1767
    """Code for converting between RemoteRepository objects.
 
1768
 
 
1769
    This just gets an non-remote repository from the RemoteRepository, and calls
 
1770
    InterRepository.get again.
 
1771
    """
 
1772
 
 
1773
    def __init__(self, source, target):
 
1774
        if isinstance(source, remote.RemoteRepository):
 
1775
            source._ensure_real()
 
1776
            real_source = source._real_repository
 
1777
        else:
 
1778
            real_source = source
 
1779
        if isinstance(target, remote.RemoteRepository):
 
1780
            target._ensure_real()
 
1781
            real_target = target._real_repository
 
1782
        else:
 
1783
            real_target = target
 
1784
        self.real_inter = InterRepository.get(real_source, real_target)
 
1785
 
 
1786
    @staticmethod
 
1787
    def is_compatible(source, target):
 
1788
        if isinstance(source, remote.RemoteRepository):
 
1789
            return True
 
1790
        if isinstance(target, remote.RemoteRepository):
 
1791
            return True
 
1792
        return False
 
1793
 
 
1794
    def copy_content(self, revision_id=None):
 
1795
        self.real_inter.copy_content(revision_id=revision_id)
 
1796
 
 
1797
    def fetch(self, revision_id=None, pb=None):
 
1798
        self.real_inter.fetch(revision_id=revision_id, pb=pb)
 
1799
 
 
1800
    @classmethod
 
1801
    def _get_repo_format_to_test(self):
 
1802
        return None
 
1803
 
 
1804
 
 
1805
InterRepository.register_optimiser(InterSameDataRepository)
1236
1806
InterRepository.register_optimiser(InterWeaveRepo)
1237
 
 
1238
 
 
1239
 
class RepositoryTestProviderAdapter(object):
1240
 
    """A tool to generate a suite testing multiple repository formats at once.
1241
 
 
1242
 
    This is done by copying the test once for each transport and injecting
1243
 
    the transport_server, transport_readonly_server, and bzrdir_format and
1244
 
    repository_format classes into each copy. Each copy is also given a new id()
1245
 
    to make it easy to identify.
1246
 
    """
1247
 
 
1248
 
    def __init__(self, transport_server, transport_readonly_server, formats):
1249
 
        self._transport_server = transport_server
1250
 
        self._transport_readonly_server = transport_readonly_server
1251
 
        self._formats = formats
1252
 
    
1253
 
    def adapt(self, test):
1254
 
        result = TestSuite()
1255
 
        for repository_format, bzrdir_format in self._formats:
1256
 
            new_test = deepcopy(test)
1257
 
            new_test.transport_server = self._transport_server
1258
 
            new_test.transport_readonly_server = self._transport_readonly_server
1259
 
            new_test.bzrdir_format = bzrdir_format
1260
 
            new_test.repository_format = repository_format
1261
 
            def make_new_test_id():
1262
 
                new_id = "%s(%s)" % (new_test.id(), repository_format.__class__.__name__)
1263
 
                return lambda: new_id
1264
 
            new_test.id = make_new_test_id()
1265
 
            result.addTest(new_test)
1266
 
        return result
1267
 
 
1268
 
 
1269
 
class InterRepositoryTestProviderAdapter(object):
1270
 
    """A tool to generate a suite testing multiple inter repository formats.
1271
 
 
1272
 
    This is done by copying the test once for each interrepo provider and injecting
1273
 
    the transport_server, transport_readonly_server, repository_format and 
1274
 
    repository_to_format classes into each copy.
1275
 
    Each copy is also given a new id() to make it easy to identify.
1276
 
    """
1277
 
 
1278
 
    def __init__(self, transport_server, transport_readonly_server, formats):
1279
 
        self._transport_server = transport_server
1280
 
        self._transport_readonly_server = transport_readonly_server
1281
 
        self._formats = formats
1282
 
    
1283
 
    def adapt(self, test):
1284
 
        result = TestSuite()
1285
 
        for interrepo_class, repository_format, repository_format_to in self._formats:
1286
 
            new_test = deepcopy(test)
1287
 
            new_test.transport_server = self._transport_server
1288
 
            new_test.transport_readonly_server = self._transport_readonly_server
1289
 
            new_test.interrepo_class = interrepo_class
1290
 
            new_test.repository_format = repository_format
1291
 
            new_test.repository_format_to = repository_format_to
1292
 
            def make_new_test_id():
1293
 
                new_id = "%s(%s)" % (new_test.id(), interrepo_class.__name__)
1294
 
                return lambda: new_id
1295
 
            new_test.id = make_new_test_id()
1296
 
            result.addTest(new_test)
1297
 
        return result
1298
 
 
1299
 
    @staticmethod
1300
 
    def default_test_list():
1301
 
        """Generate the default list of interrepo permutations to test."""
1302
 
        result = []
1303
 
        # test the default InterRepository between format 6 and the current 
1304
 
        # default format.
1305
 
        # XXX: robertc 20060220 reinstate this when there are two supported
1306
 
        # formats which do not have an optimal code path between them.
1307
 
        result.append((InterRepository,
1308
 
                       RepositoryFormat6(),
1309
 
                       RepositoryFormatKnit1()))
1310
 
        for optimiser in InterRepository._optimisers:
1311
 
            result.append((optimiser,
1312
 
                           optimiser._matching_repo_format,
1313
 
                           optimiser._matching_repo_format
1314
 
                           ))
1315
 
        # if there are specific combinations we want to use, we can add them 
1316
 
        # here.
1317
 
        return result
 
1807
InterRepository.register_optimiser(InterKnitRepo)
 
1808
InterRepository.register_optimiser(InterModel1and2)
 
1809
InterRepository.register_optimiser(InterKnit1and2)
 
1810
InterRepository.register_optimiser(InterRemoteRepository)
1318
1811
 
1319
1812
 
1320
1813
class CopyConverter(object):
1338
1831
        """
1339
1832
        self.pb = pb
1340
1833
        self.count = 0
1341
 
        self.total = 3
 
1834
        self.total = 4
1342
1835
        # this is only useful with metadir layouts - separated repo content.
1343
1836
        # trigger an assertion if not such
1344
1837
        repo._format.get_format_string()
1346
1839
        self.step('Moving repository to repository.backup')
1347
1840
        self.repo_dir.transport.move('repository', 'repository.backup')
1348
1841
        backup_transport =  self.repo_dir.transport.clone('repository.backup')
 
1842
        repo._format.check_conversion_target(self.target_format)
1349
1843
        self.source_repo = repo._format.open(self.repo_dir,
1350
1844
            _found=True,
1351
1845
            _override_transport=backup_transport)
1366
1860
        """Update the pb by a step."""
1367
1861
        self.count +=1
1368
1862
        self.pb.update(message, self.count, self.total)
 
1863
 
 
1864
 
 
1865
class CommitBuilder(object):
 
1866
    """Provides an interface to build up a commit.
 
1867
 
 
1868
    This allows describing a tree to be committed without needing to 
 
1869
    know the internals of the format of the repository.
 
1870
    """
 
1871
    
 
1872
    record_root_entry = False
 
1873
    def __init__(self, repository, parents, config, timestamp=None, 
 
1874
                 timezone=None, committer=None, revprops=None, 
 
1875
                 revision_id=None):
 
1876
        """Initiate a CommitBuilder.
 
1877
 
 
1878
        :param repository: Repository to commit to.
 
1879
        :param parents: Revision ids of the parents of the new revision.
 
1880
        :param config: Configuration to use.
 
1881
        :param timestamp: Optional timestamp recorded for commit.
 
1882
        :param timezone: Optional timezone for timestamp.
 
1883
        :param committer: Optional committer to set for commit.
 
1884
        :param revprops: Optional dictionary of revision properties.
 
1885
        :param revision_id: Optional revision id.
 
1886
        """
 
1887
        self._config = config
 
1888
 
 
1889
        if committer is None:
 
1890
            self._committer = self._config.username()
 
1891
        else:
 
1892
            assert isinstance(committer, basestring), type(committer)
 
1893
            self._committer = committer
 
1894
 
 
1895
        self.new_inventory = Inventory(None)
 
1896
        self._new_revision_id = osutils.safe_revision_id(revision_id)
 
1897
        self.parents = parents
 
1898
        self.repository = repository
 
1899
 
 
1900
        self._revprops = {}
 
1901
        if revprops is not None:
 
1902
            self._revprops.update(revprops)
 
1903
 
 
1904
        if timestamp is None:
 
1905
            timestamp = time.time()
 
1906
        # Restrict resolution to 1ms
 
1907
        self._timestamp = round(timestamp, 3)
 
1908
 
 
1909
        if timezone is None:
 
1910
            self._timezone = osutils.local_time_offset()
 
1911
        else:
 
1912
            self._timezone = int(timezone)
 
1913
 
 
1914
        self._generate_revision_if_needed()
 
1915
 
 
1916
    def commit(self, message):
 
1917
        """Make the actual commit.
 
1918
 
 
1919
        :return: The revision id of the recorded revision.
 
1920
        """
 
1921
        rev = _mod_revision.Revision(
 
1922
                       timestamp=self._timestamp,
 
1923
                       timezone=self._timezone,
 
1924
                       committer=self._committer,
 
1925
                       message=message,
 
1926
                       inventory_sha1=self.inv_sha1,
 
1927
                       revision_id=self._new_revision_id,
 
1928
                       properties=self._revprops)
 
1929
        rev.parent_ids = self.parents
 
1930
        self.repository.add_revision(self._new_revision_id, rev, 
 
1931
            self.new_inventory, self._config)
 
1932
        return self._new_revision_id
 
1933
 
 
1934
    def revision_tree(self):
 
1935
        """Return the tree that was just committed.
 
1936
 
 
1937
        After calling commit() this can be called to get a RevisionTree
 
1938
        representing the newly committed tree. This is preferred to
 
1939
        calling Repository.revision_tree() because that may require
 
1940
        deserializing the inventory, while we already have a copy in
 
1941
        memory.
 
1942
        """
 
1943
        return RevisionTree(self.repository, self.new_inventory,
 
1944
                            self._new_revision_id)
 
1945
 
 
1946
    def finish_inventory(self):
 
1947
        """Tell the builder that the inventory is finished."""
 
1948
        if self.new_inventory.root is None:
 
1949
            symbol_versioning.warn('Root entry should be supplied to'
 
1950
                ' record_entry_contents, as of bzr 0.10.',
 
1951
                 DeprecationWarning, stacklevel=2)
 
1952
            self.new_inventory.add(InventoryDirectory(ROOT_ID, '', None))
 
1953
        self.new_inventory.revision_id = self._new_revision_id
 
1954
        self.inv_sha1 = self.repository.add_inventory(
 
1955
            self._new_revision_id,
 
1956
            self.new_inventory,
 
1957
            self.parents
 
1958
            )
 
1959
 
 
1960
    def _gen_revision_id(self):
 
1961
        """Return new revision-id."""
 
1962
        return generate_ids.gen_revision_id(self._config.username(),
 
1963
                                            self._timestamp)
 
1964
 
 
1965
    def _generate_revision_if_needed(self):
 
1966
        """Create a revision id if None was supplied.
 
1967
        
 
1968
        If the repository can not support user-specified revision ids
 
1969
        they should override this function and raise CannotSetRevisionId
 
1970
        if _new_revision_id is not None.
 
1971
 
 
1972
        :raises: CannotSetRevisionId
 
1973
        """
 
1974
        if self._new_revision_id is None:
 
1975
            self._new_revision_id = self._gen_revision_id()
 
1976
 
 
1977
    def record_entry_contents(self, ie, parent_invs, path, tree):
 
1978
        """Record the content of ie from tree into the commit if needed.
 
1979
 
 
1980
        Side effect: sets ie.revision when unchanged
 
1981
 
 
1982
        :param ie: An inventory entry present in the commit.
 
1983
        :param parent_invs: The inventories of the parent revisions of the
 
1984
            commit.
 
1985
        :param path: The path the entry is at in the tree.
 
1986
        :param tree: The tree which contains this entry and should be used to 
 
1987
        obtain content.
 
1988
        """
 
1989
        if self.new_inventory.root is None and ie.parent_id is not None:
 
1990
            symbol_versioning.warn('Root entry should be supplied to'
 
1991
                ' record_entry_contents, as of bzr 0.10.',
 
1992
                 DeprecationWarning, stacklevel=2)
 
1993
            self.record_entry_contents(tree.inventory.root.copy(), parent_invs,
 
1994
                                       '', tree)
 
1995
        self.new_inventory.add(ie)
 
1996
 
 
1997
        # ie.revision is always None if the InventoryEntry is considered
 
1998
        # for committing. ie.snapshot will record the correct revision 
 
1999
        # which may be the sole parent if it is untouched.
 
2000
        if ie.revision is not None:
 
2001
            return
 
2002
 
 
2003
        # In this revision format, root entries have no knit or weave
 
2004
        if ie is self.new_inventory.root:
 
2005
            # When serializing out to disk and back in
 
2006
            # root.revision is always _new_revision_id
 
2007
            ie.revision = self._new_revision_id
 
2008
            return
 
2009
        previous_entries = ie.find_previous_heads(
 
2010
            parent_invs,
 
2011
            self.repository.weave_store,
 
2012
            self.repository.get_transaction())
 
2013
        # we are creating a new revision for ie in the history store
 
2014
        # and inventory.
 
2015
        ie.snapshot(self._new_revision_id, path, previous_entries, tree, self)
 
2016
 
 
2017
    def modified_directory(self, file_id, file_parents):
 
2018
        """Record the presence of a symbolic link.
 
2019
 
 
2020
        :param file_id: The file_id of the link to record.
 
2021
        :param file_parents: The per-file parent revision ids.
 
2022
        """
 
2023
        self._add_text_to_weave(file_id, [], file_parents.keys())
 
2024
 
 
2025
    def modified_reference(self, file_id, file_parents):
 
2026
        """Record the modification of a reference.
 
2027
 
 
2028
        :param file_id: The file_id of the link to record.
 
2029
        :param file_parents: The per-file parent revision ids.
 
2030
        """
 
2031
        self._add_text_to_weave(file_id, [], file_parents.keys())
 
2032
    
 
2033
    def modified_file_text(self, file_id, file_parents,
 
2034
                           get_content_byte_lines, text_sha1=None,
 
2035
                           text_size=None):
 
2036
        """Record the text of file file_id
 
2037
 
 
2038
        :param file_id: The file_id of the file to record the text of.
 
2039
        :param file_parents: The per-file parent revision ids.
 
2040
        :param get_content_byte_lines: A callable which will return the byte
 
2041
            lines for the file.
 
2042
        :param text_sha1: Optional SHA1 of the file contents.
 
2043
        :param text_size: Optional size of the file contents.
 
2044
        """
 
2045
        # mutter('storing text of file {%s} in revision {%s} into %r',
 
2046
        #        file_id, self._new_revision_id, self.repository.weave_store)
 
2047
        # special case to avoid diffing on renames or 
 
2048
        # reparenting
 
2049
        if (len(file_parents) == 1
 
2050
            and text_sha1 == file_parents.values()[0].text_sha1
 
2051
            and text_size == file_parents.values()[0].text_size):
 
2052
            previous_ie = file_parents.values()[0]
 
2053
            versionedfile = self.repository.weave_store.get_weave(file_id, 
 
2054
                self.repository.get_transaction())
 
2055
            versionedfile.clone_text(self._new_revision_id, 
 
2056
                previous_ie.revision, file_parents.keys())
 
2057
            return text_sha1, text_size
 
2058
        else:
 
2059
            new_lines = get_content_byte_lines()
 
2060
            # TODO: Rather than invoking sha_strings here, _add_text_to_weave
 
2061
            # should return the SHA1 and size
 
2062
            self._add_text_to_weave(file_id, new_lines, file_parents.keys())
 
2063
            return osutils.sha_strings(new_lines), \
 
2064
                sum(map(len, new_lines))
 
2065
 
 
2066
    def modified_link(self, file_id, file_parents, link_target):
 
2067
        """Record the presence of a symbolic link.
 
2068
 
 
2069
        :param file_id: The file_id of the link to record.
 
2070
        :param file_parents: The per-file parent revision ids.
 
2071
        :param link_target: Target location of this link.
 
2072
        """
 
2073
        self._add_text_to_weave(file_id, [], file_parents.keys())
 
2074
 
 
2075
    def _add_text_to_weave(self, file_id, new_lines, parents):
 
2076
        versionedfile = self.repository.weave_store.get_weave_or_empty(
 
2077
            file_id, self.repository.get_transaction())
 
2078
        versionedfile.add_lines(self._new_revision_id, parents, new_lines)
 
2079
        versionedfile.clear_cache()
 
2080
 
 
2081
 
 
2082
class _CommitBuilder(CommitBuilder):
 
2083
    """Temporary class so old CommitBuilders are detected properly
 
2084
    
 
2085
    Note: CommitBuilder works whether or not root entry is recorded.
 
2086
    """
 
2087
 
 
2088
    record_root_entry = True
 
2089
 
 
2090
 
 
2091
class RootCommitBuilder(CommitBuilder):
 
2092
    """This commitbuilder actually records the root id"""
 
2093
    
 
2094
    record_root_entry = True
 
2095
 
 
2096
    def record_entry_contents(self, ie, parent_invs, path, tree):
 
2097
        """Record the content of ie from tree into the commit if needed.
 
2098
 
 
2099
        Side effect: sets ie.revision when unchanged
 
2100
 
 
2101
        :param ie: An inventory entry present in the commit.
 
2102
        :param parent_invs: The inventories of the parent revisions of the
 
2103
            commit.
 
2104
        :param path: The path the entry is at in the tree.
 
2105
        :param tree: The tree which contains this entry and should be used to 
 
2106
        obtain content.
 
2107
        """
 
2108
        assert self.new_inventory.root is not None or ie.parent_id is None
 
2109
        self.new_inventory.add(ie)
 
2110
 
 
2111
        # ie.revision is always None if the InventoryEntry is considered
 
2112
        # for committing. ie.snapshot will record the correct revision 
 
2113
        # which may be the sole parent if it is untouched.
 
2114
        if ie.revision is not None:
 
2115
            return
 
2116
 
 
2117
        previous_entries = ie.find_previous_heads(
 
2118
            parent_invs,
 
2119
            self.repository.weave_store,
 
2120
            self.repository.get_transaction())
 
2121
        # we are creating a new revision for ie in the history store
 
2122
        # and inventory.
 
2123
        ie.snapshot(self._new_revision_id, path, previous_entries, tree, self)
 
2124
 
 
2125
 
 
2126
_unescape_map = {
 
2127
    'apos':"'",
 
2128
    'quot':'"',
 
2129
    'amp':'&',
 
2130
    'lt':'<',
 
2131
    'gt':'>'
 
2132
}
 
2133
 
 
2134
 
 
2135
def _unescaper(match, _map=_unescape_map):
 
2136
    code = match.group(1)
 
2137
    try:
 
2138
        return _map[code]
 
2139
    except KeyError:
 
2140
        if not code.startswith('#'):
 
2141
            raise
 
2142
        return unichr(int(code[1:])).encode('utf8')
 
2143
 
 
2144
 
 
2145
_unescape_re = None
 
2146
 
 
2147
 
 
2148
def _unescape_xml(data):
 
2149
    """Unescape predefined XML entities in a string of data."""
 
2150
    global _unescape_re
 
2151
    if _unescape_re is None:
 
2152
        _unescape_re = re.compile('\&([^;]*);')
 
2153
    return _unescape_re.sub(_unescaper, data)