← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/reconcile.py

  • Committer: Patch Queue Manager
  • Date: 2011-09-22 14:12:18 UTC
  • mfrom: (6155.3.1 jam)
  • Revision ID: pqm@pqm.ubuntu.com-20110922141218-86s4uu6nqvourw4f
(jameinel) Cleanup comments bzrlib/smart/__init__.py (John A Meinel)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/reconcile.py
1
 
# (C) 2005, 2006 Canonical Limited.
 
1
# Copyright (C) 2006-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
"""Reconcilers are able to fix some potential data errors in a branch."""
18
18
 
19
19
 
20
 
__all__ = ['reconcile', 'Reconciler', 'RepoReconciler', 'KnitReconciler']
21
 
 
22
 
 
23
 
import bzrlib.branch
24
 
import bzrlib.errors as errors
25
 
import bzrlib.progress
 
20
__all__ = [
 
21
    'KnitReconciler',
 
22
    'PackReconciler',
 
23
    'reconcile',
 
24
    'Reconciler',
 
25
    'RepoReconciler',
 
26
    ]
 
27
 
 
28
 
 
29
from bzrlib import (
 
30
    cleanup,
 
31
    errors,
 
32
    revision as _mod_revision,
 
33
    ui,
 
34
    )
26
35
from bzrlib.trace import mutter
27
 
from bzrlib.tsort import TopoSorter
28
 
import bzrlib.ui as ui
29
 
 
30
 
 
31
 
def reconcile(dir, other=None):
 
36
from bzrlib.tsort import topo_sort
 
37
from bzrlib.versionedfile import AdapterFactory, FulltextContentFactory
 
38
from bzrlib.i18n import gettext
 
39
 
 
40
 
 
41
def reconcile(dir, canonicalize_chks=False):
32
42
    """Reconcile the data in dir.
33
43
 
34
44
    Currently this is limited to a inventory 'reweave'.
38
48
    Directly using Reconciler is recommended for library users that
39
49
    desire fine grained control or analysis of the found issues.
40
50
 
41
 
    :param other: another bzrdir to reconcile against.
 
51
    :param canonicalize_chks: Make sure CHKs are in canonical form.
42
52
    """
43
 
    reconciler = Reconciler(dir, other=other)
 
53
    reconciler = Reconciler(dir, canonicalize_chks=canonicalize_chks)
44
54
    reconciler.reconcile()
45
55
 
46
56
 
47
57
class Reconciler(object):
48
58
    """Reconcilers are used to reconcile existing data."""
49
59
 
50
 
    def __init__(self, dir, other=None):
 
60
    def __init__(self, dir, other=None, canonicalize_chks=False):
51
61
        """Create a Reconciler."""
52
62
        self.bzrdir = dir
 
63
        self.canonicalize_chks = canonicalize_chks
53
64
 
54
65
    def reconcile(self):
55
66
        """Perform reconciliation.
56
 
        
 
67
 
57
68
        After reconciliation the following attributes document found issues:
58
 
        inconsistent_parents: The number of revisions in the repository whose
59
 
                              ancestry was being reported incorrectly.
60
 
        garbage_inventories: The number of inventory objects without revisions
61
 
                             that were garbage collected.
 
69
 
 
70
        * `inconsistent_parents`: The number of revisions in the repository
 
71
          whose ancestry was being reported incorrectly.
 
72
        * `garbage_inventories`: The number of inventory objects without
 
73
          revisions that were garbage collected.
 
74
        * `fixed_branch_history`: None if there was no branch, False if the
 
75
          branch history was correct, True if the branch history needed to be
 
76
          re-normalized.
62
77
        """
63
78
        self.pb = ui.ui_factory.nested_progress_bar()
64
79
        try:
68
83
 
69
84
    def _reconcile(self):
70
85
        """Helper function for performing reconciliation."""
 
86
        self._reconcile_branch()
 
87
        self._reconcile_repository()
 
88
 
 
89
    def _reconcile_branch(self):
 
90
        try:
 
91
            self.branch = self.bzrdir.open_branch()
 
92
        except errors.NotBranchError:
 
93
            # Nothing to check here
 
94
            self.fixed_branch_history = None
 
95
            return
 
96
        ui.ui_factory.note(gettext('Reconciling branch %s') % self.branch.base)
 
97
        branch_reconciler = self.branch.reconcile(thorough=True)
 
98
        self.fixed_branch_history = branch_reconciler.fixed_history
 
99
 
 
100
    def _reconcile_repository(self):
71
101
        self.repo = self.bzrdir.find_repository()
72
 
        self.pb.note('Reconciling repository %s',
73
 
                     self.repo.bzrdir.root_transport.base)
74
 
        repo_reconciler = self.repo.reconcile(thorough=True)
 
102
        ui.ui_factory.note(gettext('Reconciling repository %s') %
 
103
            self.repo.user_url)
 
104
        self.pb.update(gettext("Reconciling repository"), 0, 1)
 
105
        if self.canonicalize_chks:
 
106
            try:
 
107
                self.repo.reconcile_canonicalize_chks
 
108
            except AttributeError:
 
109
                raise errors.BzrError(
 
110
                    gettext("%s cannot canonicalize CHKs.") % (self.repo,))
 
111
            repo_reconciler = self.repo.reconcile_canonicalize_chks()
 
112
        else:
 
113
            repo_reconciler = self.repo.reconcile(thorough=True)
75
114
        self.inconsistent_parents = repo_reconciler.inconsistent_parents
76
115
        self.garbage_inventories = repo_reconciler.garbage_inventories
77
 
        self.pb.note('Reconciliation complete.')
 
116
        if repo_reconciler.aborted:
 
117
            ui.ui_factory.note(gettext(
 
118
                'Reconcile aborted: revision index has inconsistent parents.'))
 
119
            ui.ui_factory.note(gettext(
 
120
                'Run "bzr check" for more details.'))
 
121
        else:
 
122
            ui.ui_factory.note(gettext('Reconciliation complete.'))
 
123
 
 
124
 
 
125
class BranchReconciler(object):
 
126
    """Reconciler that works on a branch."""
 
127
 
 
128
    def __init__(self, a_branch, thorough=False):
 
129
        self.fixed_history = None
 
130
        self.thorough = thorough
 
131
        self.branch = a_branch
 
132
 
 
133
    def reconcile(self):
 
134
        operation = cleanup.OperationWithCleanups(self._reconcile)
 
135
        self.add_cleanup = operation.add_cleanup
 
136
        operation.run_simple()
 
137
 
 
138
    def _reconcile(self):
 
139
        self.branch.lock_write()
 
140
        self.add_cleanup(self.branch.unlock)
 
141
        self.pb = ui.ui_factory.nested_progress_bar()
 
142
        self.add_cleanup(self.pb.finished)
 
143
        self._reconcile_steps()
 
144
 
 
145
    def _reconcile_steps(self):
 
146
        self._reconcile_revision_history()
 
147
 
 
148
    def _reconcile_revision_history(self):
 
149
        last_revno, last_revision_id = self.branch.last_revision_info()
 
150
        real_history = []
 
151
        graph = self.branch.repository.get_graph()
 
152
        try:
 
153
            for revid in graph.iter_lefthand_ancestry(
 
154
                    last_revision_id, (_mod_revision.NULL_REVISION,)):
 
155
                real_history.append(revid)
 
156
        except errors.RevisionNotPresent:
 
157
            pass # Hit a ghost left hand parent
 
158
        real_history.reverse()
 
159
        if last_revno != len(real_history):
 
160
            self.fixed_history = True
 
161
            # Technically for Branch5 formats, it is more efficient to use
 
162
            # set_revision_history, as this will regenerate it again.
 
163
            # Not really worth a whole BranchReconciler class just for this,
 
164
            # though.
 
165
            ui.ui_factory.note(gettext('Fixing last revision info {0} '\
 
166
                                       ' => {1}').format(
 
167
                                       last_revno, len(real_history)))
 
168
            self.branch.set_last_revision_info(len(real_history),
 
169
                                               last_revision_id)
 
170
        else:
 
171
            self.fixed_history = False
 
172
            ui.ui_factory.note(gettext('revision_history ok.'))
78
173
 
79
174
 
80
175
class RepoReconciler(object):
81
176
    """Reconciler that reconciles a repository.
82
177
 
 
178
    The goal of repository reconciliation is to make any derived data
 
179
    consistent with the core data committed by a user. This can involve
 
180
    reindexing, or removing unreferenced data if that can interfere with
 
181
    queries in a given repository.
 
182
 
83
183
    Currently this consists of an inventory reweave with revision cross-checks.
84
184
    """
85
185
 
92
192
        """
93
193
        self.garbage_inventories = 0
94
194
        self.inconsistent_parents = 0
 
195
        self.aborted = False
95
196
        self.repo = repo
96
197
        self.thorough = thorough
97
198
 
98
199
    def reconcile(self):
99
200
        """Perform reconciliation.
100
 
        
 
201
 
101
202
        After reconciliation the following attributes document found issues:
102
 
        inconsistent_parents: The number of revisions in the repository whose
103
 
                              ancestry was being reported incorrectly.
104
 
        garbage_inventories: The number of inventory objects without revisions
105
 
                             that were garbage collected.
 
203
 
 
204
        * `inconsistent_parents`: The number of revisions in the repository
 
205
          whose ancestry was being reported incorrectly.
 
206
        * `garbage_inventories`: The number of inventory objects without
 
207
          revisions that were garbage collected.
106
208
        """
 
209
        operation = cleanup.OperationWithCleanups(self._reconcile)
 
210
        self.add_cleanup = operation.add_cleanup
 
211
        operation.run_simple()
 
212
 
 
213
    def _reconcile(self):
107
214
        self.repo.lock_write()
108
 
        try:
109
 
            self.pb = ui.ui_factory.nested_progress_bar()
110
 
            try:
111
 
                self._reconcile_steps()
112
 
            finally:
113
 
                self.pb.finished()
114
 
        finally:
115
 
            self.repo.unlock()
 
215
        self.add_cleanup(self.repo.unlock)
 
216
        self.pb = ui.ui_factory.nested_progress_bar()
 
217
        self.add_cleanup(self.pb.finished)
 
218
        self._reconcile_steps()
116
219
 
117
220
    def _reconcile_steps(self):
118
221
        """Perform the steps to reconcile this repository."""
120
223
 
121
224
    def _reweave_inventory(self):
122
225
        """Regenerate the inventory weave for the repository from scratch.
123
 
        
124
 
        This is a smart function: it will only do the reweave if doing it 
 
226
 
 
227
        This is a smart function: it will only do the reweave if doing it
125
228
        will correct data issues. The self.thorough flag controls whether
126
229
        only data-loss causing issues (!self.thorough) or all issues
127
230
        (self.thorough) are treated as requiring the reweave.
128
231
        """
129
 
        # local because needing to know about WeaveFile is a wart we want to hide
130
 
        from bzrlib.weave import WeaveFile, Weave
131
232
        transaction = self.repo.get_transaction()
132
 
        self.pb.update('Reading inventory data.')
133
 
        self.inventory = self.repo.get_inventory_weave()
 
233
        self.pb.update(gettext('Reading inventory data'))
 
234
        self.inventory = self.repo.inventories
 
235
        self.revisions = self.repo.revisions
134
236
        # the total set of revisions to process
135
 
        self.pending = set([rev_id for rev_id in self.repo._revision_store.all_revision_ids(transaction)])
 
237
        self.pending = set([key[-1] for key in self.revisions.keys()])
136
238
 
137
239
        # mapping from revision_id to parents
138
240
        self._rev_graph = {}
144
246
            # put a revision into the graph.
145
247
            self._graph_revision(rev_id)
146
248
        self._check_garbage_inventories()
147
 
        # if there are no inconsistent_parents and 
 
249
        # if there are no inconsistent_parents and
148
250
        # (no garbage inventories or we are not doing a thorough check)
149
 
        if (not self.inconsistent_parents and 
 
251
        if (not self.inconsistent_parents and
150
252
            (not self.garbage_inventories or not self.thorough)):
151
 
            self.pb.note('Inventory ok.')
 
253
            ui.ui_factory.note(gettext('Inventory ok.'))
152
254
            return
153
 
        self.pb.update('Backing up inventory...', 0, 0)
154
 
        self.repo.control_weaves.copy(self.inventory, 'inventory.backup', self.repo.get_transaction())
155
 
        self.pb.note('Backup Inventory created.')
156
 
        # asking for '' should never return a non-empty weave
157
 
        new_inventory_vf = self.repo.control_weaves.get_empty('inventory.new',
158
 
            self.repo.get_transaction())
 
255
        self.pb.update(gettext('Backing up inventory'), 0, 0)
 
256
        self.repo._backup_inventory()
 
257
        ui.ui_factory.note(gettext('Backup inventory created.'))
 
258
        new_inventories = self.repo._temp_inventories()
159
259
 
160
260
        # we have topological order of revisions and non ghost parents ready.
161
261
        self._setup_steps(len(self._rev_graph))
162
 
        for rev_id in TopoSorter(self._rev_graph.items()).iter_topo_order():
163
 
            parents = self._rev_graph[rev_id]
164
 
            # double check this really is in topological order.
165
 
            unavailable = [p for p in parents if p not in new_inventory_vf]
166
 
            assert len(unavailable) == 0
167
 
            # this entry has all the non ghost parents in the inventory
168
 
            # file already.
169
 
            self._reweave_step('adding inventories')
170
 
            if isinstance(new_inventory_vf, WeaveFile):
171
 
                # It's really a WeaveFile, but we call straight into the
172
 
                # Weave's add method to disable the auto-write-out behaviour.
173
 
                # This is done to avoid a revision_count * time-to-write additional overhead on 
174
 
                # reconcile.
175
 
                new_inventory_vf._check_write_ok()
176
 
                Weave._add_lines(new_inventory_vf, rev_id, parents, self.inventory.get_lines(rev_id),
177
 
                                 None)
178
 
            else:
179
 
                new_inventory_vf.add_lines(rev_id, parents, self.inventory.get_lines(rev_id))
180
 
 
181
 
        if isinstance(new_inventory_vf, WeaveFile):
182
 
            new_inventory_vf._save()
183
 
        # if this worked, the set of new_inventory_vf.names should equal
 
262
        revision_keys = [(rev_id,) for rev_id in topo_sort(self._rev_graph)]
 
263
        stream = self._change_inv_parents(
 
264
            self.inventory.get_record_stream(revision_keys, 'unordered', True),
 
265
            self._new_inv_parents,
 
266
            set(revision_keys))
 
267
        new_inventories.insert_record_stream(stream)
 
268
        # if this worked, the set of new_inventories.keys should equal
184
269
        # self.pending
185
 
        assert set(new_inventory_vf.versions()) == self.pending
186
 
        self.pb.update('Writing weave')
187
 
        self.repo.control_weaves.copy(new_inventory_vf, 'inventory', self.repo.get_transaction())
188
 
        self.repo.control_weaves.delete('inventory.new', self.repo.get_transaction())
 
270
        if not (set(new_inventories.keys()) ==
 
271
            set([(revid,) for revid in self.pending])):
 
272
            raise AssertionError()
 
273
        self.pb.update(gettext('Writing weave'))
 
274
        self.repo._activate_new_inventory()
189
275
        self.inventory = None
190
 
        self.pb.note('Inventory regenerated.')
 
276
        ui.ui_factory.note(gettext('Inventory regenerated.'))
 
277
 
 
278
    def _new_inv_parents(self, revision_key):
 
279
        """Lookup ghost-filtered parents for revision_key."""
 
280
        # Use the filtered ghostless parents list:
 
281
        return tuple([(revid,) for revid in self._rev_graph[revision_key[-1]]])
 
282
 
 
283
    def _change_inv_parents(self, stream, get_parents, all_revision_keys):
 
284
        """Adapt a record stream to reconcile the parents."""
 
285
        for record in stream:
 
286
            wanted_parents = get_parents(record.key)
 
287
            if wanted_parents and wanted_parents[0] not in all_revision_keys:
 
288
                # The check for the left most parent only handles knit
 
289
                # compressors, but this code only applies to knit and weave
 
290
                # repositories anyway.
 
291
                bytes = record.get_bytes_as('fulltext')
 
292
                yield FulltextContentFactory(record.key, wanted_parents, record.sha1, bytes)
 
293
            else:
 
294
                adapted_record = AdapterFactory(record.key, wanted_parents, record)
 
295
                yield adapted_record
 
296
            self._reweave_step('adding inventories')
191
297
 
192
298
    def _setup_steps(self, new_total):
193
299
        """Setup the markers we need to control the progress bar."""
200
306
        # analyse revision id rev_id and put it in the stack.
201
307
        self._reweave_step('loading revisions')
202
308
        rev = self.repo.get_revision_reconcile(rev_id)
203
 
        assert rev.revision_id == rev_id
204
309
        parents = []
205
310
        for parent in rev.parent_ids:
206
311
            if self._parent_is_available(parent):
207
312
                parents.append(parent)
208
313
            else:
209
314
                mutter('found ghost %s', parent)
210
 
        self._rev_graph[rev_id] = parents   
211
 
        if self._parents_are_inconsistent(rev_id, parents):
212
 
            self.inconsistent_parents += 1
213
 
            mutter('Inconsistent inventory parents: id {%s} '
214
 
                   'inventory claims %r, '
215
 
                   'available parents are %r, '
216
 
                   'unavailable parents are %r',
217
 
                   rev_id, 
218
 
                   set(self.inventory.get_parents(rev_id)),
219
 
                   set(parents),
220
 
                   set(rev.parent_ids).difference(set(parents)))
221
 
 
222
 
    def _parents_are_inconsistent(self, rev_id, parents):
223
 
        """Return True if the parents list of rev_id does not match the weave.
224
 
 
225
 
        This detect inconsistences based on the self.thorough value:
226
 
        if thorough is on, the first parent value is checked as well as ghost
227
 
        differences.
228
 
        Otherwise only the ghost differences are evaluated.
229
 
        """
230
 
        weave_parents = self.inventory.get_parents(rev_id)
231
 
        weave_missing_old_ghosts = set(weave_parents) != set(parents)
232
 
        first_parent_is_wrong = (
233
 
            len(weave_parents) and len(parents) and
234
 
            parents[0] != weave_parents[0])
235
 
        if self.thorough:
236
 
            return weave_missing_old_ghosts or first_parent_is_wrong
237
 
        else:
238
 
            return weave_missing_old_ghosts
 
315
        self._rev_graph[rev_id] = parents
239
316
 
240
317
    def _check_garbage_inventories(self):
241
318
        """Check for garbage inventories which we cannot trust
245
322
        """
246
323
        if not self.thorough:
247
324
            return
248
 
        inventories = set(self.inventory.versions())
249
 
        revisions = set(self._rev_graph.keys())
 
325
        inventories = set(self.inventory.keys())
 
326
        revisions = set(self.revisions.keys())
250
327
        garbage = inventories.difference(revisions)
251
328
        self.garbage_inventories = len(garbage)
252
 
        for revision_id in garbage:
253
 
            mutter('Garbage inventory {%s} found.', revision_id)
 
329
        for revision_key in garbage:
 
330
            mutter('Garbage inventory {%s} found.', revision_key[-1])
254
331
 
255
332
    def _parent_is_available(self, parent):
256
333
        """True if parent is a fully available revision
258
335
        A fully available revision has a inventory and a revision object in the
259
336
        repository.
260
337
        """
261
 
        return (parent in self._rev_graph or 
262
 
                (parent in self.inventory and self.repo.has_revision(parent)))
 
338
        if parent in self._rev_graph:
 
339
            return True
 
340
        inv_present = (1 == len(self.inventory.get_parent_map([(parent,)])))
 
341
        return (inv_present and self.repo.has_revision(parent))
263
342
 
264
343
    def _reweave_step(self, message):
265
344
        """Mark a single step of regeneration complete."""
270
349
class KnitReconciler(RepoReconciler):
271
350
    """Reconciler that reconciles a knit format repository.
272
351
 
273
 
    This will detect garbage inventories and remove them.
274
 
 
275
 
    Inconsistent parentage is checked for in the revision weave.
 
352
    This will detect garbage inventories and remove them in thorough mode.
276
353
    """
277
354
 
278
355
    def _reconcile_steps(self):
279
356
        """Perform the steps to reconcile this repository."""
280
357
        if self.thorough:
281
 
            self._load_indexes()
 
358
            try:
 
359
                self._load_indexes()
 
360
            except errors.BzrCheckError:
 
361
                self.aborted = True
 
362
                return
282
363
            # knits never suffer this
283
364
            self._gc_inventory()
 
365
            self._fix_text_parents()
284
366
 
285
367
    def _load_indexes(self):
286
368
        """Load indexes for the reconciliation."""
287
369
        self.transaction = self.repo.get_transaction()
288
 
        self.pb.update('Reading indexes.', 0, 2)
289
 
        self.inventory = self.repo.get_inventory_weave()
290
 
        self.pb.update('Reading indexes.', 1, 2)
291
 
        self.revisions = self.repo._revision_store.get_revision_file(self.transaction)
292
 
        self.pb.update('Reading indexes.', 2, 2)
 
370
        self.pb.update(gettext('Reading indexes'), 0, 2)
 
371
        self.inventory = self.repo.inventories
 
372
        self.pb.update(gettext('Reading indexes'), 1, 2)
 
373
        self.repo._check_for_inconsistent_revision_parents()
 
374
        self.revisions = self.repo.revisions
 
375
        self.pb.update(gettext('Reading indexes'), 2, 2)
293
376
 
294
377
    def _gc_inventory(self):
295
378
        """Remove inventories that are not referenced from the revision store."""
296
 
        self.pb.update('Checking unused inventories.', 0, 1)
 
379
        self.pb.update(gettext('Checking unused inventories'), 0, 1)
297
380
        self._check_garbage_inventories()
298
 
        self.pb.update('Checking unused inventories.', 1, 3)
 
381
        self.pb.update(gettext('Checking unused inventories'), 1, 3)
299
382
        if not self.garbage_inventories:
300
 
            self.pb.note('Inventory ok.')
 
383
            ui.ui_factory.note(gettext('Inventory ok.'))
301
384
            return
302
 
        self.pb.update('Backing up inventory...', 0, 0)
303
 
        self.repo.control_weaves.copy(self.inventory, 'inventory.backup', self.transaction)
304
 
        self.pb.note('Backup Inventory created.')
 
385
        self.pb.update(gettext('Backing up inventory'), 0, 0)
 
386
        self.repo._backup_inventory()
 
387
        ui.ui_factory.note(gettext('Backup Inventory created'))
305
388
        # asking for '' should never return a non-empty weave
306
 
        new_inventory_vf = self.repo.control_weaves.get_empty('inventory.new',
307
 
            self.transaction)
308
 
 
 
389
        new_inventories = self.repo._temp_inventories()
309
390
        # we have topological order of revisions and non ghost parents ready.
310
 
        self._setup_steps(len(self.revisions))
311
 
        for rev_id in TopoSorter(self.revisions.get_graph().items()).iter_topo_order():
312
 
            parents = self.revisions.get_parents(rev_id)
313
 
            # double check this really is in topological order.
314
 
            unavailable = [p for p in parents if p not in new_inventory_vf]
315
 
            assert len(unavailable) == 0
316
 
            # this entry has all the non ghost parents in the inventory
317
 
            # file already.
318
 
            self._reweave_step('adding inventories')
319
 
            # ugly but needed, weaves are just way tooooo slow else.
320
 
            new_inventory_vf.add_lines(rev_id, parents, self.inventory.get_lines(rev_id))
321
 
 
 
391
        graph = self.revisions.get_parent_map(self.revisions.keys())
 
392
        revision_keys = topo_sort(graph)
 
393
        revision_ids = [key[-1] for key in revision_keys]
 
394
        self._setup_steps(len(revision_keys))
 
395
        stream = self._change_inv_parents(
 
396
            self.inventory.get_record_stream(revision_keys, 'unordered', True),
 
397
            graph.__getitem__,
 
398
            set(revision_keys))
 
399
        new_inventories.insert_record_stream(stream)
322
400
        # if this worked, the set of new_inventory_vf.names should equal
323
 
        # self.pending
324
 
        assert set(new_inventory_vf.versions()) == set(self.revisions.versions())
325
 
        self.pb.update('Writing weave')
326
 
        self.repo.control_weaves.copy(new_inventory_vf, 'inventory', self.transaction)
327
 
        self.repo.control_weaves.delete('inventory.new', self.transaction)
 
401
        # the revisionds list
 
402
        if not(set(new_inventories.keys()) == set(revision_keys)):
 
403
            raise AssertionError()
 
404
        self.pb.update(gettext('Writing weave'))
 
405
        self.repo._activate_new_inventory()
328
406
        self.inventory = None
329
 
        self.pb.note('Inventory regenerated.')
330
 
 
331
 
    def _check_garbage_inventories(self):
332
 
        """Check for garbage inventories which we cannot trust
333
 
 
334
 
        We cant trust them because their pre-requisite file data may not
335
 
        be present - all we know is that their revision was not installed.
336
 
        """
337
 
        inventories = set(self.inventory.versions())
338
 
        revisions = set(self.revisions.versions())
339
 
        garbage = inventories.difference(revisions)
340
 
        self.garbage_inventories = len(garbage)
341
 
        for revision_id in garbage:
342
 
            mutter('Garbage inventory {%s} found.', revision_id)
 
407
        ui.ui_factory.note(gettext('Inventory regenerated.'))
 
408
 
 
409
    def _fix_text_parents(self):
 
410
        """Fix bad versionedfile parent entries.
 
411
 
 
412
        It is possible for the parents entry in a versionedfile entry to be
 
413
        inconsistent with the values in the revision and inventory.
 
414
 
 
415
        This method finds entries with such inconsistencies, corrects their
 
416
        parent lists, and replaces the versionedfile with a corrected version.
 
417
        """
 
418
        transaction = self.repo.get_transaction()
 
419
        versions = [key[-1] for key in self.revisions.keys()]
 
420
        mutter('Prepopulating revision text cache with %d revisions',
 
421
                len(versions))
 
422
        vf_checker = self.repo._get_versioned_file_checker()
 
423
        bad_parents, unused_versions = vf_checker.check_file_version_parents(
 
424
            self.repo.texts, self.pb)
 
425
        text_index = vf_checker.text_index
 
426
        per_id_bad_parents = {}
 
427
        for key in unused_versions:
 
428
            # Ensure that every file with unused versions gets rewritten.
 
429
            # NB: This is really not needed, reconcile != pack.
 
430
            per_id_bad_parents[key[0]] = {}
 
431
        # Generate per-knit/weave data.
 
432
        for key, details in bad_parents.iteritems():
 
433
            file_id = key[0]
 
434
            rev_id = key[1]
 
435
            knit_parents = tuple([parent[-1] for parent in details[0]])
 
436
            correct_parents = tuple([parent[-1] for parent in details[1]])
 
437
            file_details = per_id_bad_parents.setdefault(file_id, {})
 
438
            file_details[rev_id] = (knit_parents, correct_parents)
 
439
        file_id_versions = {}
 
440
        for text_key in text_index:
 
441
            versions_list = file_id_versions.setdefault(text_key[0], [])
 
442
            versions_list.append(text_key[1])
 
443
        # Do the reconcile of individual weaves.
 
444
        for num, file_id in enumerate(per_id_bad_parents):
 
445
            self.pb.update(gettext('Fixing text parents'), num,
 
446
                           len(per_id_bad_parents))
 
447
            versions_with_bad_parents = per_id_bad_parents[file_id]
 
448
            id_unused_versions = set(key[-1] for key in unused_versions
 
449
                if key[0] == file_id)
 
450
            if file_id in file_id_versions:
 
451
                file_versions = file_id_versions[file_id]
 
452
            else:
 
453
                # This id was present in the disk store but is not referenced
 
454
                # by any revision at all.
 
455
                file_versions = []
 
456
            self._fix_text_parent(file_id, versions_with_bad_parents,
 
457
                 id_unused_versions, file_versions)
 
458
 
 
459
    def _fix_text_parent(self, file_id, versions_with_bad_parents,
 
460
            unused_versions, all_versions):
 
461
        """Fix bad versionedfile entries in a single versioned file."""
 
462
        mutter('fixing text parent: %r (%d versions)', file_id,
 
463
                len(versions_with_bad_parents))
 
464
        mutter('(%d are unused)', len(unused_versions))
 
465
        new_file_id = 'temp:%s' % file_id
 
466
        new_parents = {}
 
467
        needed_keys = set()
 
468
        for version in all_versions:
 
469
            if version in unused_versions:
 
470
                continue
 
471
            elif version in versions_with_bad_parents:
 
472
                parents = versions_with_bad_parents[version][1]
 
473
            else:
 
474
                pmap = self.repo.texts.get_parent_map([(file_id, version)])
 
475
                parents = [key[-1] for key in pmap[(file_id, version)]]
 
476
            new_parents[(new_file_id, version)] = [
 
477
                (new_file_id, parent) for parent in parents]
 
478
            needed_keys.add((file_id, version))
 
479
        def fix_parents(stream):
 
480
            for record in stream:
 
481
                bytes = record.get_bytes_as('fulltext')
 
482
                new_key = (new_file_id, record.key[-1])
 
483
                parents = new_parents[new_key]
 
484
                yield FulltextContentFactory(new_key, parents, record.sha1, bytes)
 
485
        stream = self.repo.texts.get_record_stream(needed_keys, 'topological', True)
 
486
        self.repo._remove_file_id(new_file_id)
 
487
        self.repo.texts.insert_record_stream(fix_parents(stream))
 
488
        self.repo._remove_file_id(file_id)
 
489
        if len(new_parents):
 
490
            self.repo._move_file_id(new_file_id, file_id)
 
491
 
 
492
 
 
493
class PackReconciler(RepoReconciler):
 
494
    """Reconciler that reconciles a pack based repository.
 
495
 
 
496
    Garbage inventories do not affect ancestry queries, and removal is
 
497
    considerably more expensive as there is no separate versioned file for
 
498
    them, so they are not cleaned. In short it is currently a no-op.
 
499
 
 
500
    In future this may be a good place to hook in annotation cache checking,
 
501
    index recreation etc.
 
502
    """
 
503
 
 
504
    # XXX: The index corruption that _fix_text_parents performs is needed for
 
505
    # packs, but not yet implemented. The basic approach is to:
 
506
    #  - lock the names list
 
507
    #  - perform a customised pack() that regenerates data as needed
 
508
    #  - unlock the names list
 
509
    # https://bugs.launchpad.net/bzr/+bug/154173
 
510
 
 
511
    def __init__(self, repo, other=None, thorough=False,
 
512
            canonicalize_chks=False):
 
513
        super(PackReconciler, self).__init__(repo, other=other,
 
514
            thorough=thorough)
 
515
        self.canonicalize_chks = canonicalize_chks
 
516
 
 
517
    def _reconcile_steps(self):
 
518
        """Perform the steps to reconcile this repository."""
 
519
        if not self.thorough:
 
520
            return
 
521
        collection = self.repo._pack_collection
 
522
        collection.ensure_loaded()
 
523
        collection.lock_names()
 
524
        self.add_cleanup(collection._unlock_names)
 
525
        packs = collection.all_packs()
 
526
        all_revisions = self.repo.all_revision_ids()
 
527
        total_inventories = len(list(
 
528
            collection.inventory_index.combined_index.iter_all_entries()))
 
529
        if len(all_revisions):
 
530
            if self.canonicalize_chks:
 
531
                reconcile_meth = self.repo._canonicalize_chks_pack
 
532
            else:
 
533
                reconcile_meth = self.repo._reconcile_pack
 
534
            new_pack = reconcile_meth(collection, packs, ".reconcile",
 
535
                all_revisions, self.pb)
 
536
            if new_pack is not None:
 
537
                self._discard_and_save(packs)
 
538
        else:
 
539
            # only make a new pack when there is data to copy.
 
540
            self._discard_and_save(packs)
 
541
        self.garbage_inventories = total_inventories - len(list(
 
542
            collection.inventory_index.combined_index.iter_all_entries()))
 
543
 
 
544
    def _discard_and_save(self, packs):
 
545
        """Discard some packs from the repository.
 
546
 
 
547
        This removes them from the memory index, saves the in-memory index
 
548
        which makes the newly reconciled pack visible and hides the packs to be
 
549
        discarded, and finally renames the packs being discarded into the
 
550
        obsolete packs directory.
 
551
 
 
552
        :param packs: The packs to discard.
 
553
        """
 
554
        for pack in packs:
 
555
            self.repo._pack_collection._remove_pack_from_memory(pack)
 
556
        self.repo._pack_collection._save_pack_names()
 
557
        self.repo._pack_collection._obsolete_packs(packs)