← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/reconcile.py

  • Committer: Aaron Bentley
  • Date: 2006-06-16 22:29:03 UTC
  • mto: This revision was merged to the branch mainline in revision 1790.
  • Revision ID: abentley@panoramicfeedback.com-20060616222903-11cbab3e10501076
Use parent branch as default base branch

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/reconcile.py
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# (C) 2005, 2006 Canonical Limited.
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""Reconcilers are able to fix some potential data errors in a branch."""
18
18
 
19
19
 
20
 
__all__ = [
21
 
    'KnitReconciler',
22
 
    'PackReconciler',
23
 
    'reconcile',
24
 
    'Reconciler',
25
 
    'RepoReconciler',
26
 
    ]
27
 
 
28
 
 
29
 
from bzrlib import (
30
 
    cleanup,
31
 
    errors,
32
 
    ui,
33
 
    )
 
20
__all__ = ['reconcile', 'Reconciler', 'RepoReconciler', 'KnitReconciler']
 
21
 
 
22
 
 
23
import bzrlib.branch
 
24
import bzrlib.errors as errors
 
25
import bzrlib.progress
34
26
from bzrlib.trace import mutter
35
 
from bzrlib.tsort import topo_sort
36
 
from bzrlib.versionedfile import AdapterFactory, FulltextContentFactory
37
 
 
38
 
 
39
 
def reconcile(dir, canonicalize_chks=False):
 
27
from bzrlib.tsort import TopoSorter
 
28
import bzrlib.ui as ui
 
29
 
 
30
 
 
31
def reconcile(dir, other=None):
40
32
    """Reconcile the data in dir.
41
33
 
42
34
    Currently this is limited to a inventory 'reweave'.
46
38
    Directly using Reconciler is recommended for library users that
47
39
    desire fine grained control or analysis of the found issues.
48
40
 
49
 
    :param canonicalize_chks: Make sure CHKs are in canonical form.
 
41
    :param other: another bzrdir to reconcile against.
50
42
    """
51
 
    reconciler = Reconciler(dir, canonicalize_chks=canonicalize_chks)
 
43
    reconciler = Reconciler(dir, other=other)
52
44
    reconciler.reconcile()
53
45
 
54
46
 
55
47
class Reconciler(object):
56
48
    """Reconcilers are used to reconcile existing data."""
57
49
 
58
 
    def __init__(self, dir, other=None, canonicalize_chks=False):
 
50
    def __init__(self, dir, other=None):
59
51
        """Create a Reconciler."""
60
52
        self.bzrdir = dir
61
 
        self.canonicalize_chks = canonicalize_chks
62
53
 
63
54
    def reconcile(self):
64
55
        """Perform reconciliation.
65
 
 
 
56
        
66
57
        After reconciliation the following attributes document found issues:
67
58
        inconsistent_parents: The number of revisions in the repository whose
68
59
                              ancestry was being reported incorrectly.
69
60
        garbage_inventories: The number of inventory objects without revisions
70
61
                             that were garbage collected.
71
 
        fixed_branch_history: None if there was no branch, False if the branch
72
 
                              history was correct, True if the branch history
73
 
                              needed to be re-normalized.
74
62
        """
75
63
        self.pb = ui.ui_factory.nested_progress_bar()
76
64
        try:
80
68
 
81
69
    def _reconcile(self):
82
70
        """Helper function for performing reconciliation."""
83
 
        self._reconcile_branch()
84
 
        self._reconcile_repository()
85
 
 
86
 
    def _reconcile_branch(self):
87
 
        try:
88
 
            self.branch = self.bzrdir.open_branch()
89
 
        except errors.NotBranchError:
90
 
            # Nothing to check here
91
 
            self.fixed_branch_history = None
92
 
            return
93
 
        ui.ui_factory.note('Reconciling branch %s' % self.branch.base)
94
 
        branch_reconciler = self.branch.reconcile(thorough=True)
95
 
        self.fixed_branch_history = branch_reconciler.fixed_history
96
 
 
97
 
    def _reconcile_repository(self):
98
71
        self.repo = self.bzrdir.find_repository()
99
 
        ui.ui_factory.note('Reconciling repository %s' %
100
 
            self.repo.user_url)
101
 
        self.pb.update("Reconciling repository", 0, 1)
102
 
        if self.canonicalize_chks:
103
 
            try:
104
 
                self.repo.reconcile_canonicalize_chks
105
 
            except AttributeError:
106
 
                raise errors.BzrError(
107
 
                    "%s cannot canonicalize CHKs." % (self.repo,))
108
 
            repo_reconciler = self.repo.reconcile_canonicalize_chks()
109
 
        else:
110
 
            repo_reconciler = self.repo.reconcile(thorough=True)
 
72
        self.pb.note('Reconciling repository %s',
 
73
                     self.repo.bzrdir.root_transport.base)
 
74
        repo_reconciler = self.repo.reconcile(thorough=True)
111
75
        self.inconsistent_parents = repo_reconciler.inconsistent_parents
112
76
        self.garbage_inventories = repo_reconciler.garbage_inventories
113
 
        if repo_reconciler.aborted:
114
 
            ui.ui_factory.note(
115
 
                'Reconcile aborted: revision index has inconsistent parents.')
116
 
            ui.ui_factory.note(
117
 
                'Run "bzr check" for more details.')
118
 
        else:
119
 
            ui.ui_factory.note('Reconciliation complete.')
120
 
 
121
 
 
122
 
class BranchReconciler(object):
123
 
    """Reconciler that works on a branch."""
124
 
 
125
 
    def __init__(self, a_branch, thorough=False):
126
 
        self.fixed_history = None
127
 
        self.thorough = thorough
128
 
        self.branch = a_branch
129
 
 
130
 
    def reconcile(self):
131
 
        operation = cleanup.OperationWithCleanups(self._reconcile)
132
 
        self.add_cleanup = operation.add_cleanup
133
 
        operation.run_simple()
134
 
 
135
 
    def _reconcile(self):
136
 
        self.branch.lock_write()
137
 
        self.add_cleanup(self.branch.unlock)
138
 
        self.pb = ui.ui_factory.nested_progress_bar()
139
 
        self.add_cleanup(self.pb.finished)
140
 
        self._reconcile_steps()
141
 
 
142
 
    def _reconcile_steps(self):
143
 
        self._reconcile_revision_history()
144
 
 
145
 
    def _reconcile_revision_history(self):
146
 
        repo = self.branch.repository
147
 
        last_revno, last_revision_id = self.branch.last_revision_info()
148
 
        real_history = []
149
 
        try:
150
 
            for revid in repo.iter_reverse_revision_history(
151
 
                    last_revision_id):
152
 
                real_history.append(revid)
153
 
        except errors.RevisionNotPresent:
154
 
            pass # Hit a ghost left hand parent
155
 
        real_history.reverse()
156
 
        if last_revno != len(real_history):
157
 
            self.fixed_history = True
158
 
            # Technically for Branch5 formats, it is more efficient to use
159
 
            # set_revision_history, as this will regenerate it again.
160
 
            # Not really worth a whole BranchReconciler class just for this,
161
 
            # though.
162
 
            ui.ui_factory.note('Fixing last revision info %s => %s' % (
163
 
                 last_revno, len(real_history)))
164
 
            self.branch.set_last_revision_info(len(real_history),
165
 
                                               last_revision_id)
166
 
        else:
167
 
            self.fixed_history = False
168
 
            ui.ui_factory.note('revision_history ok.')
 
77
        self.pb.note('Reconciliation complete.')
169
78
 
170
79
 
171
80
class RepoReconciler(object):
172
81
    """Reconciler that reconciles a repository.
173
82
 
174
 
    The goal of repository reconciliation is to make any derived data
175
 
    consistent with the core data committed by a user. This can involve
176
 
    reindexing, or removing unreferenced data if that can interfere with
177
 
    queries in a given repository.
178
 
 
179
83
    Currently this consists of an inventory reweave with revision cross-checks.
180
84
    """
181
85
 
188
92
        """
189
93
        self.garbage_inventories = 0
190
94
        self.inconsistent_parents = 0
191
 
        self.aborted = False
192
95
        self.repo = repo
193
96
        self.thorough = thorough
194
97
 
195
98
    def reconcile(self):
196
99
        """Perform reconciliation.
197
 
 
 
100
        
198
101
        After reconciliation the following attributes document found issues:
199
102
        inconsistent_parents: The number of revisions in the repository whose
200
103
                              ancestry was being reported incorrectly.
201
104
        garbage_inventories: The number of inventory objects without revisions
202
105
                             that were garbage collected.
203
106
        """
204
 
        operation = cleanup.OperationWithCleanups(self._reconcile)
205
 
        self.add_cleanup = operation.add_cleanup
206
 
        operation.run_simple()
207
 
 
208
 
    def _reconcile(self):
209
107
        self.repo.lock_write()
210
 
        self.add_cleanup(self.repo.unlock)
211
 
        self.pb = ui.ui_factory.nested_progress_bar()
212
 
        self.add_cleanup(self.pb.finished)
213
 
        self._reconcile_steps()
 
108
        try:
 
109
            self.pb = ui.ui_factory.nested_progress_bar()
 
110
            try:
 
111
                self._reconcile_steps()
 
112
            finally:
 
113
                self.pb.finished()
 
114
        finally:
 
115
            self.repo.unlock()
214
116
 
215
117
    def _reconcile_steps(self):
216
118
        """Perform the steps to reconcile this repository."""
218
120
 
219
121
    def _reweave_inventory(self):
220
122
        """Regenerate the inventory weave for the repository from scratch.
221
 
 
222
 
        This is a smart function: it will only do the reweave if doing it
 
123
        
 
124
        This is a smart function: it will only do the reweave if doing it 
223
125
        will correct data issues. The self.thorough flag controls whether
224
126
        only data-loss causing issues (!self.thorough) or all issues
225
127
        (self.thorough) are treated as requiring the reweave.
227
129
        # local because needing to know about WeaveFile is a wart we want to hide
228
130
        from bzrlib.weave import WeaveFile, Weave
229
131
        transaction = self.repo.get_transaction()
230
 
        self.pb.update('Reading inventory data')
231
 
        self.inventory = self.repo.inventories
232
 
        self.revisions = self.repo.revisions
 
132
        self.pb.update('Reading inventory data.')
 
133
        self.inventory = self.repo.get_inventory_weave()
233
134
        # the total set of revisions to process
234
 
        self.pending = set([key[-1] for key in self.revisions.keys()])
 
135
        self.pending = set([rev_id for rev_id in self.repo._revision_store.all_revision_ids(transaction)])
235
136
 
236
137
        # mapping from revision_id to parents
237
138
        self._rev_graph = {}
243
144
            # put a revision into the graph.
244
145
            self._graph_revision(rev_id)
245
146
        self._check_garbage_inventories()
246
 
        # if there are no inconsistent_parents and
 
147
        # if there are no inconsistent_parents and 
247
148
        # (no garbage inventories or we are not doing a thorough check)
248
 
        if (not self.inconsistent_parents and
 
149
        if (not self.inconsistent_parents and 
249
150
            (not self.garbage_inventories or not self.thorough)):
250
 
            ui.ui_factory.note('Inventory ok.')
 
151
            self.pb.note('Inventory ok.')
251
152
            return
252
 
        self.pb.update('Backing up inventory', 0, 0)
253
 
        self.repo._backup_inventory()
254
 
        ui.ui_factory.note('Backup inventory created.')
255
 
        new_inventories = self.repo._temp_inventories()
 
153
        self.pb.update('Backing up inventory...', 0, 0)
 
154
        self.repo.control_weaves.copy(self.inventory, 'inventory.backup', self.repo.get_transaction())
 
155
        self.pb.note('Backup Inventory created.')
 
156
        # asking for '' should never return a non-empty weave
 
157
        new_inventory_vf = self.repo.control_weaves.get_empty('inventory.new',
 
158
            self.repo.get_transaction())
256
159
 
257
160
        # we have topological order of revisions and non ghost parents ready.
258
161
        self._setup_steps(len(self._rev_graph))
259
 
        revision_keys = [(rev_id,) for rev_id in topo_sort(self._rev_graph)]
260
 
        stream = self._change_inv_parents(
261
 
            self.inventory.get_record_stream(revision_keys, 'unordered', True),
262
 
            self._new_inv_parents,
263
 
            set(revision_keys))
264
 
        new_inventories.insert_record_stream(stream)
265
 
        # if this worked, the set of new_inventories.keys should equal
 
162
        for rev_id in TopoSorter(self._rev_graph.items()).iter_topo_order():
 
163
            parents = self._rev_graph[rev_id]
 
164
            # double check this really is in topological order.
 
165
            unavailable = [p for p in parents if p not in new_inventory_vf]
 
166
            assert len(unavailable) == 0
 
167
            # this entry has all the non ghost parents in the inventory
 
168
            # file already.
 
169
            self._reweave_step('adding inventories')
 
170
            if isinstance(new_inventory_vf, WeaveFile):
 
171
                # It's really a WeaveFile, but we call straight into the
 
172
                # Weave's add method to disable the auto-write-out behaviour.
 
173
                # This is done to avoid a revision_count * time-to-write additional overhead on 
 
174
                # reconcile.
 
175
                new_inventory_vf._check_write_ok()
 
176
                Weave._add_lines(new_inventory_vf, rev_id, parents, self.inventory.get_lines(rev_id),
 
177
                                 None)
 
178
            else:
 
179
                new_inventory_vf.add_lines(rev_id, parents, self.inventory.get_lines(rev_id))
 
180
 
 
181
        if isinstance(new_inventory_vf, WeaveFile):
 
182
            new_inventory_vf._save()
 
183
        # if this worked, the set of new_inventory_vf.names should equal
266
184
        # self.pending
267
 
        if not (set(new_inventories.keys()) ==
268
 
            set([(revid,) for revid in self.pending])):
269
 
            raise AssertionError()
 
185
        assert set(new_inventory_vf.versions()) == self.pending
270
186
        self.pb.update('Writing weave')
271
 
        self.repo._activate_new_inventory()
 
187
        self.repo.control_weaves.copy(new_inventory_vf, 'inventory', self.repo.get_transaction())
 
188
        self.repo.control_weaves.delete('inventory.new', self.repo.get_transaction())
272
189
        self.inventory = None
273
 
        ui.ui_factory.note('Inventory regenerated.')
274
 
 
275
 
    def _new_inv_parents(self, revision_key):
276
 
        """Lookup ghost-filtered parents for revision_key."""
277
 
        # Use the filtered ghostless parents list:
278
 
        return tuple([(revid,) for revid in self._rev_graph[revision_key[-1]]])
279
 
 
280
 
    def _change_inv_parents(self, stream, get_parents, all_revision_keys):
281
 
        """Adapt a record stream to reconcile the parents."""
282
 
        for record in stream:
283
 
            wanted_parents = get_parents(record.key)
284
 
            if wanted_parents and wanted_parents[0] not in all_revision_keys:
285
 
                # The check for the left most parent only handles knit
286
 
                # compressors, but this code only applies to knit and weave
287
 
                # repositories anyway.
288
 
                bytes = record.get_bytes_as('fulltext')
289
 
                yield FulltextContentFactory(record.key, wanted_parents, record.sha1, bytes)
290
 
            else:
291
 
                adapted_record = AdapterFactory(record.key, wanted_parents, record)
292
 
                yield adapted_record
293
 
            self._reweave_step('adding inventories')
 
190
        self.pb.note('Inventory regenerated.')
294
191
 
295
192
    def _setup_steps(self, new_total):
296
193
        """Setup the markers we need to control the progress bar."""
303
200
        # analyse revision id rev_id and put it in the stack.
304
201
        self._reweave_step('loading revisions')
305
202
        rev = self.repo.get_revision_reconcile(rev_id)
 
203
        assert rev.revision_id == rev_id
306
204
        parents = []
307
205
        for parent in rev.parent_ids:
308
206
            if self._parent_is_available(parent):
309
207
                parents.append(parent)
310
208
            else:
311
209
                mutter('found ghost %s', parent)
312
 
        self._rev_graph[rev_id] = parents
 
210
        self._rev_graph[rev_id] = parents   
 
211
        if self._parents_are_inconsistent(rev_id, parents):
 
212
            self.inconsistent_parents += 1
 
213
            mutter('Inconsistent inventory parents: id {%s} '
 
214
                   'inventory claims %r, '
 
215
                   'available parents are %r, '
 
216
                   'unavailable parents are %r',
 
217
                   rev_id, 
 
218
                   set(self.inventory.get_parents(rev_id)),
 
219
                   set(parents),
 
220
                   set(rev.parent_ids).difference(set(parents)))
 
221
 
 
222
    def _parents_are_inconsistent(self, rev_id, parents):
 
223
        """Return True if the parents list of rev_id does not match the weave.
 
224
 
 
225
        This detect inconsistences based on the self.thorough value:
 
226
        if thorough is on, the first parent value is checked as well as ghost
 
227
        differences.
 
228
        Otherwise only the ghost differences are evaluated.
 
229
        """
 
230
        weave_parents = self.inventory.get_parents(rev_id)
 
231
        weave_missing_old_ghosts = set(weave_parents) != set(parents)
 
232
        first_parent_is_wrong = (
 
233
            len(weave_parents) and len(parents) and
 
234
            parents[0] != weave_parents[0])
 
235
        if self.thorough:
 
236
            return weave_missing_old_ghosts or first_parent_is_wrong
 
237
        else:
 
238
            return weave_missing_old_ghosts
313
239
 
314
240
    def _check_garbage_inventories(self):
315
241
        """Check for garbage inventories which we cannot trust
319
245
        """
320
246
        if not self.thorough:
321
247
            return
322
 
        inventories = set(self.inventory.keys())
323
 
        revisions = set(self.revisions.keys())
 
248
        inventories = set(self.inventory.versions())
 
249
        revisions = set(self._rev_graph.keys())
324
250
        garbage = inventories.difference(revisions)
325
251
        self.garbage_inventories = len(garbage)
326
 
        for revision_key in garbage:
327
 
            mutter('Garbage inventory {%s} found.', revision_key[-1])
 
252
        for revision_id in garbage:
 
253
            mutter('Garbage inventory {%s} found.', revision_id)
328
254
 
329
255
    def _parent_is_available(self, parent):
330
256
        """True if parent is a fully available revision
332
258
        A fully available revision has a inventory and a revision object in the
333
259
        repository.
334
260
        """
335
 
        if parent in self._rev_graph:
336
 
            return True
337
 
        inv_present = (1 == len(self.inventory.get_parent_map([(parent,)])))
338
 
        return (inv_present and self.repo.has_revision(parent))
 
261
        return (parent in self._rev_graph or 
 
262
                (parent in self.inventory and self.repo.has_revision(parent)))
339
263
 
340
264
    def _reweave_step(self, message):
341
265
        """Mark a single step of regeneration complete."""
346
270
class KnitReconciler(RepoReconciler):
347
271
    """Reconciler that reconciles a knit format repository.
348
272
 
349
 
    This will detect garbage inventories and remove them in thorough mode.
 
273
    This will detect garbage inventories and remove them.
 
274
 
 
275
    Inconsistent parentage is checked for in the revision weave.
350
276
    """
351
277
 
352
278
    def _reconcile_steps(self):
353
279
        """Perform the steps to reconcile this repository."""
354
280
        if self.thorough:
355
 
            try:
356
 
                self._load_indexes()
357
 
            except errors.BzrCheckError:
358
 
                self.aborted = True
359
 
                return
 
281
            self._load_indexes()
360
282
            # knits never suffer this
361
283
            self._gc_inventory()
362
 
            self._fix_text_parents()
363
284
 
364
285
    def _load_indexes(self):
365
286
        """Load indexes for the reconciliation."""
366
287
        self.transaction = self.repo.get_transaction()
367
 
        self.pb.update('Reading indexes', 0, 2)
368
 
        self.inventory = self.repo.inventories
369
 
        self.pb.update('Reading indexes', 1, 2)
370
 
        self.repo._check_for_inconsistent_revision_parents()
371
 
        self.revisions = self.repo.revisions
372
 
        self.pb.update('Reading indexes', 2, 2)
 
288
        self.pb.update('Reading indexes.', 0, 2)
 
289
        self.inventory = self.repo.get_inventory_weave()
 
290
        self.pb.update('Reading indexes.', 1, 2)
 
291
        self.revisions = self.repo._revision_store.get_revision_file(self.transaction)
 
292
        self.pb.update('Reading indexes.', 2, 2)
373
293
 
374
294
    def _gc_inventory(self):
375
295
        """Remove inventories that are not referenced from the revision store."""
376
 
        self.pb.update('Checking unused inventories', 0, 1)
 
296
        self.pb.update('Checking unused inventories.', 0, 1)
377
297
        self._check_garbage_inventories()
378
 
        self.pb.update('Checking unused inventories', 1, 3)
 
298
        self.pb.update('Checking unused inventories.', 1, 3)
379
299
        if not self.garbage_inventories:
380
 
            ui.ui_factory.note('Inventory ok.')
 
300
            self.pb.note('Inventory ok.')
381
301
            return
382
 
        self.pb.update('Backing up inventory', 0, 0)
383
 
        self.repo._backup_inventory()
384
 
        ui.ui_factory.note('Backup Inventory created')
 
302
        self.pb.update('Backing up inventory...', 0, 0)
 
303
        self.repo.control_weaves.copy(self.inventory, 'inventory.backup', self.transaction)
 
304
        self.pb.note('Backup Inventory created.')
385
305
        # asking for '' should never return a non-empty weave
386
 
        new_inventories = self.repo._temp_inventories()
 
306
        new_inventory_vf = self.repo.control_weaves.get_empty('inventory.new',
 
307
            self.transaction)
 
308
 
387
309
        # we have topological order of revisions and non ghost parents ready.
388
 
        graph = self.revisions.get_parent_map(self.revisions.keys())
389
 
        revision_keys = topo_sort(graph)
390
 
        revision_ids = [key[-1] for key in revision_keys]
391
 
        self._setup_steps(len(revision_keys))
392
 
        stream = self._change_inv_parents(
393
 
            self.inventory.get_record_stream(revision_keys, 'unordered', True),
394
 
            graph.__getitem__,
395
 
            set(revision_keys))
396
 
        new_inventories.insert_record_stream(stream)
 
310
        self._setup_steps(len(self.revisions))
 
311
        for rev_id in TopoSorter(self.revisions.get_graph().items()).iter_topo_order():
 
312
            parents = self.revisions.get_parents(rev_id)
 
313
            # double check this really is in topological order.
 
314
            unavailable = [p for p in parents if p not in new_inventory_vf]
 
315
            assert len(unavailable) == 0
 
316
            # this entry has all the non ghost parents in the inventory
 
317
            # file already.
 
318
            self._reweave_step('adding inventories')
 
319
            # ugly but needed, weaves are just way tooooo slow else.
 
320
            new_inventory_vf.add_lines(rev_id, parents, self.inventory.get_lines(rev_id))
 
321
 
397
322
        # if this worked, the set of new_inventory_vf.names should equal
398
 
        # the revisionds list
399
 
        if not(set(new_inventories.keys()) == set(revision_keys)):
400
 
            raise AssertionError()
 
323
        # self.pending
 
324
        assert set(new_inventory_vf.versions()) == set(self.revisions.versions())
401
325
        self.pb.update('Writing weave')
402
 
        self.repo._activate_new_inventory()
 
326
        self.repo.control_weaves.copy(new_inventory_vf, 'inventory', self.transaction)
 
327
        self.repo.control_weaves.delete('inventory.new', self.transaction)
403
328
        self.inventory = None
404
 
        ui.ui_factory.note('Inventory regenerated.')
405
 
 
406
 
    def _fix_text_parents(self):
407
 
        """Fix bad versionedfile parent entries.
408
 
 
409
 
        It is possible for the parents entry in a versionedfile entry to be
410
 
        inconsistent with the values in the revision and inventory.
411
 
 
412
 
        This method finds entries with such inconsistencies, corrects their
413
 
        parent lists, and replaces the versionedfile with a corrected version.
414
 
        """
415
 
        transaction = self.repo.get_transaction()
416
 
        versions = [key[-1] for key in self.revisions.keys()]
417
 
        mutter('Prepopulating revision text cache with %d revisions',
418
 
                len(versions))
419
 
        vf_checker = self.repo._get_versioned_file_checker()
420
 
        bad_parents, unused_versions = vf_checker.check_file_version_parents(
421
 
            self.repo.texts, self.pb)
422
 
        text_index = vf_checker.text_index
423
 
        per_id_bad_parents = {}
424
 
        for key in unused_versions:
425
 
            # Ensure that every file with unused versions gets rewritten.
426
 
            # NB: This is really not needed, reconcile != pack.
427
 
            per_id_bad_parents[key[0]] = {}
428
 
        # Generate per-knit/weave data.
429
 
        for key, details in bad_parents.iteritems():
430
 
            file_id = key[0]
431
 
            rev_id = key[1]
432
 
            knit_parents = tuple([parent[-1] for parent in details[0]])
433
 
            correct_parents = tuple([parent[-1] for parent in details[1]])
434
 
            file_details = per_id_bad_parents.setdefault(file_id, {})
435
 
            file_details[rev_id] = (knit_parents, correct_parents)
436
 
        file_id_versions = {}
437
 
        for text_key in text_index:
438
 
            versions_list = file_id_versions.setdefault(text_key[0], [])
439
 
            versions_list.append(text_key[1])
440
 
        # Do the reconcile of individual weaves.
441
 
        for num, file_id in enumerate(per_id_bad_parents):
442
 
            self.pb.update('Fixing text parents', num,
443
 
                           len(per_id_bad_parents))
444
 
            versions_with_bad_parents = per_id_bad_parents[file_id]
445
 
            id_unused_versions = set(key[-1] for key in unused_versions
446
 
                if key[0] == file_id)
447
 
            if file_id in file_id_versions:
448
 
                file_versions = file_id_versions[file_id]
449
 
            else:
450
 
                # This id was present in the disk store but is not referenced
451
 
                # by any revision at all.
452
 
                file_versions = []
453
 
            self._fix_text_parent(file_id, versions_with_bad_parents,
454
 
                 id_unused_versions, file_versions)
455
 
 
456
 
    def _fix_text_parent(self, file_id, versions_with_bad_parents,
457
 
            unused_versions, all_versions):
458
 
        """Fix bad versionedfile entries in a single versioned file."""
459
 
        mutter('fixing text parent: %r (%d versions)', file_id,
460
 
                len(versions_with_bad_parents))
461
 
        mutter('(%d are unused)', len(unused_versions))
462
 
        new_file_id = 'temp:%s' % file_id
463
 
        new_parents = {}
464
 
        needed_keys = set()
465
 
        for version in all_versions:
466
 
            if version in unused_versions:
467
 
                continue
468
 
            elif version in versions_with_bad_parents:
469
 
                parents = versions_with_bad_parents[version][1]
470
 
            else:
471
 
                pmap = self.repo.texts.get_parent_map([(file_id, version)])
472
 
                parents = [key[-1] for key in pmap[(file_id, version)]]
473
 
            new_parents[(new_file_id, version)] = [
474
 
                (new_file_id, parent) for parent in parents]
475
 
            needed_keys.add((file_id, version))
476
 
        def fix_parents(stream):
477
 
            for record in stream:
478
 
                bytes = record.get_bytes_as('fulltext')
479
 
                new_key = (new_file_id, record.key[-1])
480
 
                parents = new_parents[new_key]
481
 
                yield FulltextContentFactory(new_key, parents, record.sha1, bytes)
482
 
        stream = self.repo.texts.get_record_stream(needed_keys, 'topological', True)
483
 
        self.repo._remove_file_id(new_file_id)
484
 
        self.repo.texts.insert_record_stream(fix_parents(stream))
485
 
        self.repo._remove_file_id(file_id)
486
 
        if len(new_parents):
487
 
            self.repo._move_file_id(new_file_id, file_id)
488
 
 
489
 
 
490
 
class PackReconciler(RepoReconciler):
491
 
    """Reconciler that reconciles a pack based repository.
492
 
 
493
 
    Garbage inventories do not affect ancestry queries, and removal is
494
 
    considerably more expensive as there is no separate versioned file for
495
 
    them, so they are not cleaned. In short it is currently a no-op.
496
 
 
497
 
    In future this may be a good place to hook in annotation cache checking,
498
 
    index recreation etc.
499
 
    """
500
 
 
501
 
    # XXX: The index corruption that _fix_text_parents performs is needed for
502
 
    # packs, but not yet implemented. The basic approach is to:
503
 
    #  - lock the names list
504
 
    #  - perform a customised pack() that regenerates data as needed
505
 
    #  - unlock the names list
506
 
    # https://bugs.launchpad.net/bzr/+bug/154173
507
 
 
508
 
    def __init__(self, repo, other=None, thorough=False,
509
 
            canonicalize_chks=False):
510
 
        super(PackReconciler, self).__init__(repo, other=other,
511
 
            thorough=thorough)
512
 
        self.canonicalize_chks = canonicalize_chks
513
 
 
514
 
    def _reconcile_steps(self):
515
 
        """Perform the steps to reconcile this repository."""
516
 
        if not self.thorough:
517
 
            return
518
 
        collection = self.repo._pack_collection
519
 
        collection.ensure_loaded()
520
 
        collection.lock_names()
521
 
        self.add_cleanup(collection._unlock_names)
522
 
        packs = collection.all_packs()
523
 
        all_revisions = self.repo.all_revision_ids()
524
 
        total_inventories = len(list(
525
 
            collection.inventory_index.combined_index.iter_all_entries()))
526
 
        if len(all_revisions):
527
 
            if self.canonicalize_chks:
528
 
                reconcile_meth = self.repo._canonicalize_chks_pack
529
 
            else:
530
 
                reconcile_meth = self.repo._reconcile_pack
531
 
            new_pack = reconcile_meth(collection, packs, ".reconcile",
532
 
                all_revisions, self.pb)
533
 
            if new_pack is not None:
534
 
                self._discard_and_save(packs)
535
 
        else:
536
 
            # only make a new pack when there is data to copy.
537
 
            self._discard_and_save(packs)
538
 
        self.garbage_inventories = total_inventories - len(list(
539
 
            collection.inventory_index.combined_index.iter_all_entries()))
540
 
 
541
 
    def _discard_and_save(self, packs):
542
 
        """Discard some packs from the repository.
543
 
 
544
 
        This removes them from the memory index, saves the in-memory index
545
 
        which makes the newly reconciled pack visible and hides the packs to be
546
 
        discarded, and finally renames the packs being discarded into the
547
 
        obsolete packs directory.
548
 
 
549
 
        :param packs: The packs to discard.
550
 
        """
551
 
        for pack in packs:
552
 
            self.repo._pack_collection._remove_pack_from_memory(pack)
553
 
        self.repo._pack_collection._save_pack_names()
554
 
        self.repo._pack_collection._obsolete_packs(packs)
 
329
        self.pb.note('Inventory regenerated.')
 
330
 
 
331
    def _check_garbage_inventories(self):
 
332
        """Check for garbage inventories which we cannot trust
 
333
 
 
334
        We cant trust them because their pre-requisite file data may not
 
335
        be present - all we know is that their revision was not installed.
 
336
        """
 
337
        inventories = set(self.inventory.versions())
 
338
        revisions = set(self.revisions.versions())
 
339
        garbage = inventories.difference(revisions)
 
340
        self.garbage_inventories = len(garbage)
 
341
        for revision_id in garbage:
 
342
            mutter('Garbage inventory {%s} found.', revision_id)