← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/reconcile.py

  • Committer: Ian Clatworthy
  • Date: 2007-08-13 14:33:10 UTC
  • mto: (2733.1.1 ianc-integration)
  • mto: This revision was merged to the branch mainline in revision 2734.
  • Revision ID: ian.clatworthy@internode.on.net-20070813143310-twhj4la0qnupvze8
Added Quick Start Summary

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/reconcile.py
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""Reconcilers are able to fix some potential data errors in a branch."""
18
18
 
19
19
 
20
 
__all__ = [
21
 
    'KnitReconciler',
22
 
    'PackReconciler',
23
 
    'reconcile',
24
 
    'Reconciler',
25
 
    'RepoReconciler',
26
 
    ]
27
 
 
28
 
 
29
 
from bzrlib import (
30
 
    cleanup,
31
 
    errors,
32
 
    revision as _mod_revision,
33
 
    ui,
34
 
    )
 
20
__all__ = ['reconcile', 'Reconciler', 'RepoReconciler', 'KnitReconciler']
 
21
 
 
22
 
 
23
from bzrlib import ui
35
24
from bzrlib.trace import mutter
36
 
from bzrlib.tsort import topo_sort
37
 
from bzrlib.versionedfile import AdapterFactory, FulltextContentFactory
38
 
from bzrlib.i18n import gettext
39
 
 
40
 
 
41
 
def reconcile(dir, canonicalize_chks=False):
 
25
from bzrlib.tsort import TopoSorter
 
26
 
 
27
 
 
28
def reconcile(dir, other=None):
42
29
    """Reconcile the data in dir.
43
30
 
44
31
    Currently this is limited to a inventory 'reweave'.
48
35
    Directly using Reconciler is recommended for library users that
49
36
    desire fine grained control or analysis of the found issues.
50
37
 
51
 
    :param canonicalize_chks: Make sure CHKs are in canonical form.
 
38
    :param other: another bzrdir to reconcile against.
52
39
    """
53
 
    reconciler = Reconciler(dir, canonicalize_chks=canonicalize_chks)
 
40
    reconciler = Reconciler(dir, other=other)
54
41
    reconciler.reconcile()
55
42
 
56
43
 
57
44
class Reconciler(object):
58
45
    """Reconcilers are used to reconcile existing data."""
59
46
 
60
 
    def __init__(self, dir, other=None, canonicalize_chks=False):
 
47
    def __init__(self, dir, other=None):
61
48
        """Create a Reconciler."""
62
49
        self.bzrdir = dir
63
 
        self.canonicalize_chks = canonicalize_chks
64
50
 
65
51
    def reconcile(self):
66
52
        """Perform reconciliation.
67
 
 
 
53
        
68
54
        After reconciliation the following attributes document found issues:
69
 
 
70
 
        * `inconsistent_parents`: The number of revisions in the repository
71
 
          whose ancestry was being reported incorrectly.
72
 
        * `garbage_inventories`: The number of inventory objects without
73
 
          revisions that were garbage collected.
74
 
        * `fixed_branch_history`: None if there was no branch, False if the
75
 
          branch history was correct, True if the branch history needed to be
76
 
          re-normalized.
 
55
        inconsistent_parents: The number of revisions in the repository whose
 
56
                              ancestry was being reported incorrectly.
 
57
        garbage_inventories: The number of inventory objects without revisions
 
58
                             that were garbage collected.
77
59
        """
78
60
        self.pb = ui.ui_factory.nested_progress_bar()
79
61
        try:
83
65
 
84
66
    def _reconcile(self):
85
67
        """Helper function for performing reconciliation."""
86
 
        self._reconcile_branch()
87
 
        self._reconcile_repository()
88
 
 
89
 
    def _reconcile_branch(self):
90
 
        try:
91
 
            self.branch = self.bzrdir.open_branch()
92
 
        except errors.NotBranchError:
93
 
            # Nothing to check here
94
 
            self.fixed_branch_history = None
95
 
            return
96
 
        ui.ui_factory.note(gettext('Reconciling branch %s') % self.branch.base)
97
 
        branch_reconciler = self.branch.reconcile(thorough=True)
98
 
        self.fixed_branch_history = branch_reconciler.fixed_history
99
 
 
100
 
    def _reconcile_repository(self):
101
68
        self.repo = self.bzrdir.find_repository()
102
 
        ui.ui_factory.note(gettext('Reconciling repository %s') %
103
 
            self.repo.user_url)
104
 
        self.pb.update(gettext("Reconciling repository"), 0, 1)
105
 
        if self.canonicalize_chks:
106
 
            try:
107
 
                self.repo.reconcile_canonicalize_chks
108
 
            except AttributeError:
109
 
                raise errors.BzrError(
110
 
                    gettext("%s cannot canonicalize CHKs.") % (self.repo,))
111
 
            repo_reconciler = self.repo.reconcile_canonicalize_chks()
112
 
        else:
113
 
            repo_reconciler = self.repo.reconcile(thorough=True)
 
69
        self.pb.note('Reconciling repository %s',
 
70
                     self.repo.bzrdir.root_transport.base)
 
71
        repo_reconciler = self.repo.reconcile(thorough=True)
114
72
        self.inconsistent_parents = repo_reconciler.inconsistent_parents
115
73
        self.garbage_inventories = repo_reconciler.garbage_inventories
116
 
        if repo_reconciler.aborted:
117
 
            ui.ui_factory.note(gettext(
118
 
                'Reconcile aborted: revision index has inconsistent parents.'))
119
 
            ui.ui_factory.note(gettext(
120
 
                'Run "bzr check" for more details.'))
121
 
        else:
122
 
            ui.ui_factory.note(gettext('Reconciliation complete.'))
123
 
 
124
 
 
125
 
class BranchReconciler(object):
126
 
    """Reconciler that works on a branch."""
127
 
 
128
 
    def __init__(self, a_branch, thorough=False):
129
 
        self.fixed_history = None
130
 
        self.thorough = thorough
131
 
        self.branch = a_branch
132
 
 
133
 
    def reconcile(self):
134
 
        operation = cleanup.OperationWithCleanups(self._reconcile)
135
 
        self.add_cleanup = operation.add_cleanup
136
 
        operation.run_simple()
137
 
 
138
 
    def _reconcile(self):
139
 
        self.branch.lock_write()
140
 
        self.add_cleanup(self.branch.unlock)
141
 
        self.pb = ui.ui_factory.nested_progress_bar()
142
 
        self.add_cleanup(self.pb.finished)
143
 
        self._reconcile_steps()
144
 
 
145
 
    def _reconcile_steps(self):
146
 
        self._reconcile_revision_history()
147
 
 
148
 
    def _reconcile_revision_history(self):
149
 
        last_revno, last_revision_id = self.branch.last_revision_info()
150
 
        real_history = []
151
 
        graph = self.branch.repository.get_graph()
152
 
        try:
153
 
            for revid in graph.iter_lefthand_ancestry(
154
 
                    last_revision_id, (_mod_revision.NULL_REVISION,)):
155
 
                real_history.append(revid)
156
 
        except errors.RevisionNotPresent:
157
 
            pass # Hit a ghost left hand parent
158
 
        real_history.reverse()
159
 
        if last_revno != len(real_history):
160
 
            self.fixed_history = True
161
 
            # Technically for Branch5 formats, it is more efficient to use
162
 
            # set_revision_history, as this will regenerate it again.
163
 
            # Not really worth a whole BranchReconciler class just for this,
164
 
            # though.
165
 
            ui.ui_factory.note(gettext('Fixing last revision info {0} '\
166
 
                                       ' => {1}').format(
167
 
                                       last_revno, len(real_history)))
168
 
            self.branch.set_last_revision_info(len(real_history),
169
 
                                               last_revision_id)
170
 
        else:
171
 
            self.fixed_history = False
172
 
            ui.ui_factory.note(gettext('revision_history ok.'))
 
74
        self.pb.note('Reconciliation complete.')
173
75
 
174
76
 
175
77
class RepoReconciler(object):
176
78
    """Reconciler that reconciles a repository.
177
79
 
178
 
    The goal of repository reconciliation is to make any derived data
179
 
    consistent with the core data committed by a user. This can involve
180
 
    reindexing, or removing unreferenced data if that can interfere with
181
 
    queries in a given repository.
182
 
 
183
80
    Currently this consists of an inventory reweave with revision cross-checks.
184
81
    """
185
82
 
192
89
        """
193
90
        self.garbage_inventories = 0
194
91
        self.inconsistent_parents = 0
195
 
        self.aborted = False
196
92
        self.repo = repo
197
93
        self.thorough = thorough
198
94
 
199
95
    def reconcile(self):
200
96
        """Perform reconciliation.
201
 
 
 
97
        
202
98
        After reconciliation the following attributes document found issues:
203
 
 
204
 
        * `inconsistent_parents`: The number of revisions in the repository
205
 
          whose ancestry was being reported incorrectly.
206
 
        * `garbage_inventories`: The number of inventory objects without
207
 
          revisions that were garbage collected.
 
99
        inconsistent_parents: The number of revisions in the repository whose
 
100
                              ancestry was being reported incorrectly.
 
101
        garbage_inventories: The number of inventory objects without revisions
 
102
                             that were garbage collected.
208
103
        """
209
 
        operation = cleanup.OperationWithCleanups(self._reconcile)
210
 
        self.add_cleanup = operation.add_cleanup
211
 
        operation.run_simple()
212
 
 
213
 
    def _reconcile(self):
214
104
        self.repo.lock_write()
215
 
        self.add_cleanup(self.repo.unlock)
216
 
        self.pb = ui.ui_factory.nested_progress_bar()
217
 
        self.add_cleanup(self.pb.finished)
218
 
        self._reconcile_steps()
 
105
        try:
 
106
            self.pb = ui.ui_factory.nested_progress_bar()
 
107
            try:
 
108
                self._reconcile_steps()
 
109
            finally:
 
110
                self.pb.finished()
 
111
        finally:
 
112
            self.repo.unlock()
219
113
 
220
114
    def _reconcile_steps(self):
221
115
        """Perform the steps to reconcile this repository."""
223
117
 
224
118
    def _reweave_inventory(self):
225
119
        """Regenerate the inventory weave for the repository from scratch.
226
 
 
227
 
        This is a smart function: it will only do the reweave if doing it
 
120
        
 
121
        This is a smart function: it will only do the reweave if doing it 
228
122
        will correct data issues. The self.thorough flag controls whether
229
123
        only data-loss causing issues (!self.thorough) or all issues
230
124
        (self.thorough) are treated as requiring the reweave.
231
125
        """
 
126
        # local because needing to know about WeaveFile is a wart we want to hide
 
127
        from bzrlib.weave import WeaveFile, Weave
232
128
        transaction = self.repo.get_transaction()
233
 
        self.pb.update(gettext('Reading inventory data'))
234
 
        self.inventory = self.repo.inventories
235
 
        self.revisions = self.repo.revisions
 
129
        self.pb.update('Reading inventory data.')
 
130
        self.inventory = self.repo.get_inventory_weave()
236
131
        # the total set of revisions to process
237
 
        self.pending = set([key[-1] for key in self.revisions.keys()])
 
132
        self.pending = set([rev_id for rev_id in self.repo._revision_store.all_revision_ids(transaction)])
238
133
 
239
134
        # mapping from revision_id to parents
240
135
        self._rev_graph = {}
246
141
            # put a revision into the graph.
247
142
            self._graph_revision(rev_id)
248
143
        self._check_garbage_inventories()
249
 
        # if there are no inconsistent_parents and
 
144
        # if there are no inconsistent_parents and 
250
145
        # (no garbage inventories or we are not doing a thorough check)
251
 
        if (not self.inconsistent_parents and
 
146
        if (not self.inconsistent_parents and 
252
147
            (not self.garbage_inventories or not self.thorough)):
253
 
            ui.ui_factory.note(gettext('Inventory ok.'))
 
148
            self.pb.note('Inventory ok.')
254
149
            return
255
 
        self.pb.update(gettext('Backing up inventory'), 0, 0)
256
 
        self.repo._backup_inventory()
257
 
        ui.ui_factory.note(gettext('Backup inventory created.'))
258
 
        new_inventories = self.repo._temp_inventories()
 
150
        self.pb.update('Backing up inventory...', 0, 0)
 
151
        self.repo.control_weaves.copy(self.inventory, 'inventory.backup', self.repo.get_transaction())
 
152
        self.pb.note('Backup Inventory created.')
 
153
        # asking for '' should never return a non-empty weave
 
154
        new_inventory_vf = self.repo.control_weaves.get_empty('inventory.new',
 
155
            self.repo.get_transaction())
259
156
 
260
157
        # we have topological order of revisions and non ghost parents ready.
261
158
        self._setup_steps(len(self._rev_graph))
262
 
        revision_keys = [(rev_id,) for rev_id in topo_sort(self._rev_graph)]
263
 
        stream = self._change_inv_parents(
264
 
            self.inventory.get_record_stream(revision_keys, 'unordered', True),
265
 
            self._new_inv_parents,
266
 
            set(revision_keys))
267
 
        new_inventories.insert_record_stream(stream)
268
 
        # if this worked, the set of new_inventories.keys should equal
 
159
        for rev_id in TopoSorter(self._rev_graph.items()).iter_topo_order():
 
160
            parents = self._rev_graph[rev_id]
 
161
            # double check this really is in topological order.
 
162
            unavailable = [p for p in parents if p not in new_inventory_vf]
 
163
            assert len(unavailable) == 0
 
164
            # this entry has all the non ghost parents in the inventory
 
165
            # file already.
 
166
            self._reweave_step('adding inventories')
 
167
            if isinstance(new_inventory_vf, WeaveFile):
 
168
                # It's really a WeaveFile, but we call straight into the
 
169
                # Weave's add method to disable the auto-write-out behaviour.
 
170
                # This is done to avoid a revision_count * time-to-write additional overhead on 
 
171
                # reconcile.
 
172
                new_inventory_vf._check_write_ok()
 
173
                Weave._add_lines(new_inventory_vf, rev_id, parents, self.inventory.get_lines(rev_id),
 
174
                                 None)
 
175
            else:
 
176
                new_inventory_vf.add_lines(rev_id, parents, self.inventory.get_lines(rev_id))
 
177
 
 
178
        if isinstance(new_inventory_vf, WeaveFile):
 
179
            new_inventory_vf._save()
 
180
        # if this worked, the set of new_inventory_vf.names should equal
269
181
        # self.pending
270
 
        if not (set(new_inventories.keys()) ==
271
 
            set([(revid,) for revid in self.pending])):
272
 
            raise AssertionError()
273
 
        self.pb.update(gettext('Writing weave'))
274
 
        self.repo._activate_new_inventory()
 
182
        assert set(new_inventory_vf.versions()) == self.pending
 
183
        self.pb.update('Writing weave')
 
184
        self.repo.control_weaves.copy(new_inventory_vf, 'inventory', self.repo.get_transaction())
 
185
        self.repo.control_weaves.delete('inventory.new', self.repo.get_transaction())
275
186
        self.inventory = None
276
 
        ui.ui_factory.note(gettext('Inventory regenerated.'))
277
 
 
278
 
    def _new_inv_parents(self, revision_key):
279
 
        """Lookup ghost-filtered parents for revision_key."""
280
 
        # Use the filtered ghostless parents list:
281
 
        return tuple([(revid,) for revid in self._rev_graph[revision_key[-1]]])
282
 
 
283
 
    def _change_inv_parents(self, stream, get_parents, all_revision_keys):
284
 
        """Adapt a record stream to reconcile the parents."""
285
 
        for record in stream:
286
 
            wanted_parents = get_parents(record.key)
287
 
            if wanted_parents and wanted_parents[0] not in all_revision_keys:
288
 
                # The check for the left most parent only handles knit
289
 
                # compressors, but this code only applies to knit and weave
290
 
                # repositories anyway.
291
 
                bytes = record.get_bytes_as('fulltext')
292
 
                yield FulltextContentFactory(record.key, wanted_parents, record.sha1, bytes)
293
 
            else:
294
 
                adapted_record = AdapterFactory(record.key, wanted_parents, record)
295
 
                yield adapted_record
296
 
            self._reweave_step('adding inventories')
 
187
        self.pb.note('Inventory regenerated.')
297
188
 
298
189
    def _setup_steps(self, new_total):
299
190
        """Setup the markers we need to control the progress bar."""
306
197
        # analyse revision id rev_id and put it in the stack.
307
198
        self._reweave_step('loading revisions')
308
199
        rev = self.repo.get_revision_reconcile(rev_id)
 
200
        assert rev.revision_id == rev_id
309
201
        parents = []
310
202
        for parent in rev.parent_ids:
311
203
            if self._parent_is_available(parent):
312
204
                parents.append(parent)
313
205
            else:
314
206
                mutter('found ghost %s', parent)
315
 
        self._rev_graph[rev_id] = parents
 
207
        self._rev_graph[rev_id] = parents   
 
208
        if self._parents_are_inconsistent(rev_id, parents):
 
209
            self.inconsistent_parents += 1
 
210
            mutter('Inconsistent inventory parents: id {%s} '
 
211
                   'inventory claims %r, '
 
212
                   'available parents are %r, '
 
213
                   'unavailable parents are %r',
 
214
                   rev_id, 
 
215
                   set(self.inventory.get_parents(rev_id)),
 
216
                   set(parents),
 
217
                   set(rev.parent_ids).difference(set(parents)))
 
218
 
 
219
    def _parents_are_inconsistent(self, rev_id, parents):
 
220
        """Return True if the parents list of rev_id does not match the weave.
 
221
 
 
222
        This detects inconsistencies based on the self.thorough value:
 
223
        if thorough is on, the first parent value is checked as well as ghost
 
224
        differences.
 
225
        Otherwise only the ghost differences are evaluated.
 
226
        """
 
227
        weave_parents = self.inventory.get_parents(rev_id)
 
228
        weave_missing_old_ghosts = set(weave_parents) != set(parents)
 
229
        first_parent_is_wrong = (
 
230
            len(weave_parents) and len(parents) and
 
231
            parents[0] != weave_parents[0])
 
232
        if self.thorough:
 
233
            return weave_missing_old_ghosts or first_parent_is_wrong
 
234
        else:
 
235
            return weave_missing_old_ghosts
316
236
 
317
237
    def _check_garbage_inventories(self):
318
238
        """Check for garbage inventories which we cannot trust
322
242
        """
323
243
        if not self.thorough:
324
244
            return
325
 
        inventories = set(self.inventory.keys())
326
 
        revisions = set(self.revisions.keys())
 
245
        inventories = set(self.inventory.versions())
 
246
        revisions = set(self._rev_graph.keys())
327
247
        garbage = inventories.difference(revisions)
328
248
        self.garbage_inventories = len(garbage)
329
 
        for revision_key in garbage:
330
 
            mutter('Garbage inventory {%s} found.', revision_key[-1])
 
249
        for revision_id in garbage:
 
250
            mutter('Garbage inventory {%s} found.', revision_id)
331
251
 
332
252
    def _parent_is_available(self, parent):
333
253
        """True if parent is a fully available revision
335
255
        A fully available revision has a inventory and a revision object in the
336
256
        repository.
337
257
        """
338
 
        if parent in self._rev_graph:
339
 
            return True
340
 
        inv_present = (1 == len(self.inventory.get_parent_map([(parent,)])))
341
 
        return (inv_present and self.repo.has_revision(parent))
 
258
        return (parent in self._rev_graph or 
 
259
                (parent in self.inventory and self.repo.has_revision(parent)))
342
260
 
343
261
    def _reweave_step(self, message):
344
262
        """Mark a single step of regeneration complete."""
349
267
class KnitReconciler(RepoReconciler):
350
268
    """Reconciler that reconciles a knit format repository.
351
269
 
352
 
    This will detect garbage inventories and remove them in thorough mode.
 
270
    This will detect garbage inventories and remove them.
 
271
 
 
272
    Inconsistent parentage is checked for in the revision weave.
353
273
    """
354
274
 
355
275
    def _reconcile_steps(self):
356
276
        """Perform the steps to reconcile this repository."""
357
277
        if self.thorough:
358
 
            try:
359
 
                self._load_indexes()
360
 
            except errors.BzrCheckError:
361
 
                self.aborted = True
362
 
                return
 
278
            self._load_indexes()
363
279
            # knits never suffer this
364
280
            self._gc_inventory()
365
 
            self._fix_text_parents()
366
281
 
367
282
    def _load_indexes(self):
368
283
        """Load indexes for the reconciliation."""
369
284
        self.transaction = self.repo.get_transaction()
370
 
        self.pb.update(gettext('Reading indexes'), 0, 2)
371
 
        self.inventory = self.repo.inventories
372
 
        self.pb.update(gettext('Reading indexes'), 1, 2)
373
 
        self.repo._check_for_inconsistent_revision_parents()
374
 
        self.revisions = self.repo.revisions
375
 
        self.pb.update(gettext('Reading indexes'), 2, 2)
 
285
        self.pb.update('Reading indexes.', 0, 2)
 
286
        self.inventory = self.repo.get_inventory_weave()
 
287
        self.pb.update('Reading indexes.', 1, 2)
 
288
        self.revisions = self.repo._revision_store.get_revision_file(self.transaction)
 
289
        self.pb.update('Reading indexes.', 2, 2)
376
290
 
377
291
    def _gc_inventory(self):
378
292
        """Remove inventories that are not referenced from the revision store."""
379
 
        self.pb.update(gettext('Checking unused inventories'), 0, 1)
 
293
        self.pb.update('Checking unused inventories.', 0, 1)
380
294
        self._check_garbage_inventories()
381
 
        self.pb.update(gettext('Checking unused inventories'), 1, 3)
 
295
        self.pb.update('Checking unused inventories.', 1, 3)
382
296
        if not self.garbage_inventories:
383
 
            ui.ui_factory.note(gettext('Inventory ok.'))
 
297
            self.pb.note('Inventory ok.')
384
298
            return
385
 
        self.pb.update(gettext('Backing up inventory'), 0, 0)
386
 
        self.repo._backup_inventory()
387
 
        ui.ui_factory.note(gettext('Backup Inventory created'))
 
299
        self.pb.update('Backing up inventory...', 0, 0)
 
300
        self.repo.control_weaves.copy(self.inventory, 'inventory.backup', self.transaction)
 
301
        self.pb.note('Backup Inventory created.')
388
302
        # asking for '' should never return a non-empty weave
389
 
        new_inventories = self.repo._temp_inventories()
 
303
        new_inventory_vf = self.repo.control_weaves.get_empty('inventory.new',
 
304
            self.transaction)
 
305
 
390
306
        # we have topological order of revisions and non ghost parents ready.
391
 
        graph = self.revisions.get_parent_map(self.revisions.keys())
392
 
        revision_keys = topo_sort(graph)
393
 
        revision_ids = [key[-1] for key in revision_keys]
394
 
        self._setup_steps(len(revision_keys))
395
 
        stream = self._change_inv_parents(
396
 
            self.inventory.get_record_stream(revision_keys, 'unordered', True),
397
 
            graph.__getitem__,
398
 
            set(revision_keys))
399
 
        new_inventories.insert_record_stream(stream)
 
307
        self._setup_steps(len(self.revisions))
 
308
        for rev_id in TopoSorter(self.revisions.get_graph().items()).iter_topo_order():
 
309
            parents = self.revisions.get_parents(rev_id)
 
310
            # double check this really is in topological order.
 
311
            unavailable = [p for p in parents if p not in new_inventory_vf]
 
312
            assert len(unavailable) == 0
 
313
            # this entry has all the non ghost parents in the inventory
 
314
            # file already.
 
315
            self._reweave_step('adding inventories')
 
316
            # ugly but needed, weaves are just way tooooo slow else.
 
317
            new_inventory_vf.add_lines(rev_id, parents, self.inventory.get_lines(rev_id))
 
318
 
400
319
        # if this worked, the set of new_inventory_vf.names should equal
401
 
        # the revisionds list
402
 
        if not(set(new_inventories.keys()) == set(revision_keys)):
403
 
            raise AssertionError()
404
 
        self.pb.update(gettext('Writing weave'))
405
 
        self.repo._activate_new_inventory()
 
320
        # self.pending
 
321
        assert set(new_inventory_vf.versions()) == set(self.revisions.versions())
 
322
        self.pb.update('Writing weave')
 
323
        self.repo.control_weaves.copy(new_inventory_vf, 'inventory', self.transaction)
 
324
        self.repo.control_weaves.delete('inventory.new', self.transaction)
406
325
        self.inventory = None
407
 
        ui.ui_factory.note(gettext('Inventory regenerated.'))
408
 
 
409
 
    def _fix_text_parents(self):
410
 
        """Fix bad versionedfile parent entries.
411
 
 
412
 
        It is possible for the parents entry in a versionedfile entry to be
413
 
        inconsistent with the values in the revision and inventory.
414
 
 
415
 
        This method finds entries with such inconsistencies, corrects their
416
 
        parent lists, and replaces the versionedfile with a corrected version.
417
 
        """
418
 
        transaction = self.repo.get_transaction()
419
 
        versions = [key[-1] for key in self.revisions.keys()]
420
 
        mutter('Prepopulating revision text cache with %d revisions',
421
 
                len(versions))
422
 
        vf_checker = self.repo._get_versioned_file_checker()
423
 
        bad_parents, unused_versions = vf_checker.check_file_version_parents(
424
 
            self.repo.texts, self.pb)
425
 
        text_index = vf_checker.text_index
426
 
        per_id_bad_parents = {}
427
 
        for key in unused_versions:
428
 
            # Ensure that every file with unused versions gets rewritten.
429
 
            # NB: This is really not needed, reconcile != pack.
430
 
            per_id_bad_parents[key[0]] = {}
431
 
        # Generate per-knit/weave data.
432
 
        for key, details in bad_parents.iteritems():
433
 
            file_id = key[0]
434
 
            rev_id = key[1]
435
 
            knit_parents = tuple([parent[-1] for parent in details[0]])
436
 
            correct_parents = tuple([parent[-1] for parent in details[1]])
437
 
            file_details = per_id_bad_parents.setdefault(file_id, {})
438
 
            file_details[rev_id] = (knit_parents, correct_parents)
439
 
        file_id_versions = {}
440
 
        for text_key in text_index:
441
 
            versions_list = file_id_versions.setdefault(text_key[0], [])
442
 
            versions_list.append(text_key[1])
443
 
        # Do the reconcile of individual weaves.
444
 
        for num, file_id in enumerate(per_id_bad_parents):
445
 
            self.pb.update(gettext('Fixing text parents'), num,
446
 
                           len(per_id_bad_parents))
447
 
            versions_with_bad_parents = per_id_bad_parents[file_id]
448
 
            id_unused_versions = set(key[-1] for key in unused_versions
449
 
                if key[0] == file_id)
450
 
            if file_id in file_id_versions:
451
 
                file_versions = file_id_versions[file_id]
452
 
            else:
453
 
                # This id was present in the disk store but is not referenced
454
 
                # by any revision at all.
455
 
                file_versions = []
456
 
            self._fix_text_parent(file_id, versions_with_bad_parents,
457
 
                 id_unused_versions, file_versions)
458
 
 
459
 
    def _fix_text_parent(self, file_id, versions_with_bad_parents,
460
 
            unused_versions, all_versions):
461
 
        """Fix bad versionedfile entries in a single versioned file."""
462
 
        mutter('fixing text parent: %r (%d versions)', file_id,
463
 
                len(versions_with_bad_parents))
464
 
        mutter('(%d are unused)', len(unused_versions))
465
 
        new_file_id = 'temp:%s' % file_id
466
 
        new_parents = {}
467
 
        needed_keys = set()
468
 
        for version in all_versions:
469
 
            if version in unused_versions:
470
 
                continue
471
 
            elif version in versions_with_bad_parents:
472
 
                parents = versions_with_bad_parents[version][1]
473
 
            else:
474
 
                pmap = self.repo.texts.get_parent_map([(file_id, version)])
475
 
                parents = [key[-1] for key in pmap[(file_id, version)]]
476
 
            new_parents[(new_file_id, version)] = [
477
 
                (new_file_id, parent) for parent in parents]
478
 
            needed_keys.add((file_id, version))
479
 
        def fix_parents(stream):
480
 
            for record in stream:
481
 
                bytes = record.get_bytes_as('fulltext')
482
 
                new_key = (new_file_id, record.key[-1])
483
 
                parents = new_parents[new_key]
484
 
                yield FulltextContentFactory(new_key, parents, record.sha1, bytes)
485
 
        stream = self.repo.texts.get_record_stream(needed_keys, 'topological', True)
486
 
        self.repo._remove_file_id(new_file_id)
487
 
        self.repo.texts.insert_record_stream(fix_parents(stream))
488
 
        self.repo._remove_file_id(file_id)
489
 
        if len(new_parents):
490
 
            self.repo._move_file_id(new_file_id, file_id)
491
 
 
492
 
 
493
 
class PackReconciler(RepoReconciler):
494
 
    """Reconciler that reconciles a pack based repository.
495
 
 
496
 
    Garbage inventories do not affect ancestry queries, and removal is
497
 
    considerably more expensive as there is no separate versioned file for
498
 
    them, so they are not cleaned. In short it is currently a no-op.
499
 
 
500
 
    In future this may be a good place to hook in annotation cache checking,
501
 
    index recreation etc.
502
 
    """
503
 
 
504
 
    # XXX: The index corruption that _fix_text_parents performs is needed for
505
 
    # packs, but not yet implemented. The basic approach is to:
506
 
    #  - lock the names list
507
 
    #  - perform a customised pack() that regenerates data as needed
508
 
    #  - unlock the names list
509
 
    # https://bugs.launchpad.net/bzr/+bug/154173
510
 
 
511
 
    def __init__(self, repo, other=None, thorough=False,
512
 
            canonicalize_chks=False):
513
 
        super(PackReconciler, self).__init__(repo, other=other,
514
 
            thorough=thorough)
515
 
        self.canonicalize_chks = canonicalize_chks
516
 
 
517
 
    def _reconcile_steps(self):
518
 
        """Perform the steps to reconcile this repository."""
519
 
        if not self.thorough:
520
 
            return
521
 
        collection = self.repo._pack_collection
522
 
        collection.ensure_loaded()
523
 
        collection.lock_names()
524
 
        self.add_cleanup(collection._unlock_names)
525
 
        packs = collection.all_packs()
526
 
        all_revisions = self.repo.all_revision_ids()
527
 
        total_inventories = len(list(
528
 
            collection.inventory_index.combined_index.iter_all_entries()))
529
 
        if len(all_revisions):
530
 
            if self.canonicalize_chks:
531
 
                reconcile_meth = self.repo._canonicalize_chks_pack
532
 
            else:
533
 
                reconcile_meth = self.repo._reconcile_pack
534
 
            new_pack = reconcile_meth(collection, packs, ".reconcile",
535
 
                all_revisions, self.pb)
536
 
            if new_pack is not None:
537
 
                self._discard_and_save(packs)
538
 
        else:
539
 
            # only make a new pack when there is data to copy.
540
 
            self._discard_and_save(packs)
541
 
        self.garbage_inventories = total_inventories - len(list(
542
 
            collection.inventory_index.combined_index.iter_all_entries()))
543
 
 
544
 
    def _discard_and_save(self, packs):
545
 
        """Discard some packs from the repository.
546
 
 
547
 
        This removes them from the memory index, saves the in-memory index
548
 
        which makes the newly reconciled pack visible and hides the packs to be
549
 
        discarded, and finally renames the packs being discarded into the
550
 
        obsolete packs directory.
551
 
 
552
 
        :param packs: The packs to discard.
553
 
        """
554
 
        for pack in packs:
555
 
            self.repo._pack_collection._remove_pack_from_memory(pack)
556
 
        self.repo._pack_collection._save_pack_names()
557
 
        self.repo._pack_collection._obsolete_packs(packs)
 
326
        self.pb.note('Inventory regenerated.')
 
327
 
 
328
    def _check_garbage_inventories(self):
 
329
        """Check for garbage inventories which we cannot trust
 
330
 
 
331
        We cant trust them because their pre-requisite file data may not
 
332
        be present - all we know is that their revision was not installed.
 
333
        """
 
334
        inventories = set(self.inventory.versions())
 
335
        revisions = set(self.revisions.versions())
 
336
        garbage = inventories.difference(revisions)
 
337
        self.garbage_inventories = len(garbage)
 
338
        for revision_id in garbage:
 
339
            mutter('Garbage inventory {%s} found.', revision_id)