← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/reconcile.py

https://launchpad.net/bugs/524184
NEWS section template into a separate file

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/reconcile.py
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
"""Reconcilers are able to fix some potential data errors in a branch."""
18
18
 
19
19
 
20
 
__all__ = ['reconcile', 'Reconciler', 'RepoReconciler', 'KnitReconciler']
21
 
 
22
 
 
23
 
from bzrlib import ui
24
 
from bzrlib.trace import mutter
25
 
from bzrlib.tsort import TopoSorter
 
20
__all__ = [
 
21
    'KnitReconciler',
 
22
    'PackReconciler',
 
23
    'reconcile',
 
24
    'Reconciler',
 
25
    'RepoReconciler',
 
26
    ]
 
27
 
 
28
 
 
29
from bzrlib import (
 
30
    errors,
 
31
    ui,
 
32
    repository,
 
33
    repofmt,
 
34
    )
 
35
from bzrlib.trace import mutter, note
 
36
from bzrlib.tsort import topo_sort
 
37
from bzrlib.versionedfile import AdapterFactory, FulltextContentFactory
26
38
 
27
39
 
28
40
def reconcile(dir, other=None):
50
62
 
51
63
    def reconcile(self):
52
64
        """Perform reconciliation.
53
 
        
 
65
 
54
66
        After reconciliation the following attributes document found issues:
55
67
        inconsistent_parents: The number of revisions in the repository whose
56
68
                              ancestry was being reported incorrectly.
57
69
        garbage_inventories: The number of inventory objects without revisions
58
70
                             that were garbage collected.
 
71
        fixed_branch_history: None if there was no branch, False if the branch
 
72
                              history was correct, True if the branch history
 
73
                              needed to be re-normalized.
59
74
        """
60
75
        self.pb = ui.ui_factory.nested_progress_bar()
61
76
        try:
65
80
 
66
81
    def _reconcile(self):
67
82
        """Helper function for performing reconciliation."""
 
83
        self._reconcile_branch()
 
84
        self._reconcile_repository()
 
85
 
 
86
    def _reconcile_branch(self):
 
87
        try:
 
88
            self.branch = self.bzrdir.open_branch()
 
89
        except errors.NotBranchError:
 
90
            # Nothing to check here
 
91
            self.fixed_branch_history = None
 
92
            return
 
93
        self.pb.note('Reconciling branch %s',
 
94
                     self.branch.base)
 
95
        branch_reconciler = self.branch.reconcile(thorough=True)
 
96
        self.fixed_branch_history = branch_reconciler.fixed_history
 
97
 
 
98
    def _reconcile_repository(self):
68
99
        self.repo = self.bzrdir.find_repository()
69
100
        self.pb.note('Reconciling repository %s',
70
101
                     self.repo.bzrdir.root_transport.base)
 
102
        self.pb.update("Reconciling repository", 0, 1)
71
103
        repo_reconciler = self.repo.reconcile(thorough=True)
72
104
        self.inconsistent_parents = repo_reconciler.inconsistent_parents
73
105
        self.garbage_inventories = repo_reconciler.garbage_inventories
74
 
        self.pb.note('Reconciliation complete.')
 
106
        if repo_reconciler.aborted:
 
107
            self.pb.note(
 
108
                'Reconcile aborted: revision index has inconsistent parents.')
 
109
            self.pb.note(
 
110
                'Run "bzr check" for more details.')
 
111
        else:
 
112
            self.pb.note('Reconciliation complete.')
 
113
 
 
114
 
 
115
class BranchReconciler(object):
 
116
    """Reconciler that works on a branch."""
 
117
 
 
118
    def __init__(self, a_branch, thorough=False):
 
119
        self.fixed_history = None
 
120
        self.thorough = thorough
 
121
        self.branch = a_branch
 
122
 
 
123
    def reconcile(self):
 
124
        self.branch.lock_write()
 
125
        try:
 
126
            self.pb = ui.ui_factory.nested_progress_bar()
 
127
            try:
 
128
                self._reconcile_steps()
 
129
            finally:
 
130
                self.pb.finished()
 
131
        finally:
 
132
            self.branch.unlock()
 
133
 
 
134
    def _reconcile_steps(self):
 
135
        self._reconcile_revision_history()
 
136
 
 
137
    def _reconcile_revision_history(self):
 
138
        repo = self.branch.repository
 
139
        last_revno, last_revision_id = self.branch.last_revision_info()
 
140
        real_history = []
 
141
        try:
 
142
            for revid in repo.iter_reverse_revision_history(
 
143
                    last_revision_id):
 
144
                real_history.append(revid)
 
145
        except errors.RevisionNotPresent:
 
146
            pass # Hit a ghost left hand parent
 
147
        real_history.reverse()
 
148
        if last_revno != len(real_history):
 
149
            self.fixed_history = True
 
150
            # Technically for Branch5 formats, it is more efficient to use
 
151
            # set_revision_history, as this will regenerate it again.
 
152
            # Not really worth a whole BranchReconciler class just for this,
 
153
            # though.
 
154
            self.pb.note('Fixing last revision info %s => %s',
 
155
                         last_revno, len(real_history))
 
156
            self.branch.set_last_revision_info(len(real_history),
 
157
                                               last_revision_id)
 
158
        else:
 
159
            self.fixed_history = False
 
160
            self.pb.note('revision_history ok.')
75
161
 
76
162
 
77
163
class RepoReconciler(object):
78
164
    """Reconciler that reconciles a repository.
79
165
 
 
166
    The goal of repository reconciliation is to make any derived data
 
167
    consistent with the core data committed by a user. This can involve
 
168
    reindexing, or removing unreferenced data if that can interfere with
 
169
    queries in a given repository.
 
170
 
80
171
    Currently this consists of an inventory reweave with revision cross-checks.
81
172
    """
82
173
 
89
180
        """
90
181
        self.garbage_inventories = 0
91
182
        self.inconsistent_parents = 0
 
183
        self.aborted = False
92
184
        self.repo = repo
93
185
        self.thorough = thorough
94
186
 
95
187
    def reconcile(self):
96
188
        """Perform reconciliation.
97
 
        
 
189
 
98
190
        After reconciliation the following attributes document found issues:
99
191
        inconsistent_parents: The number of revisions in the repository whose
100
192
                              ancestry was being reported incorrectly.
117
209
 
118
210
    def _reweave_inventory(self):
119
211
        """Regenerate the inventory weave for the repository from scratch.
120
 
        
121
 
        This is a smart function: it will only do the reweave if doing it 
 
212
 
 
213
        This is a smart function: it will only do the reweave if doing it
122
214
        will correct data issues. The self.thorough flag controls whether
123
215
        only data-loss causing issues (!self.thorough) or all issues
124
216
        (self.thorough) are treated as requiring the reweave.
126
218
        # local because needing to know about WeaveFile is a wart we want to hide
127
219
        from bzrlib.weave import WeaveFile, Weave
128
220
        transaction = self.repo.get_transaction()
129
 
        self.pb.update('Reading inventory data.')
130
 
        self.inventory = self.repo.get_inventory_weave()
 
221
        self.pb.update('Reading inventory data')
 
222
        self.inventory = self.repo.inventories
 
223
        self.revisions = self.repo.revisions
131
224
        # the total set of revisions to process
132
 
        self.pending = set([rev_id for rev_id in self.repo._revision_store.all_revision_ids(transaction)])
 
225
        self.pending = set([key[-1] for key in self.revisions.keys()])
133
226
 
134
227
        # mapping from revision_id to parents
135
228
        self._rev_graph = {}
141
234
            # put a revision into the graph.
142
235
            self._graph_revision(rev_id)
143
236
        self._check_garbage_inventories()
144
 
        # if there are no inconsistent_parents and 
 
237
        # if there are no inconsistent_parents and
145
238
        # (no garbage inventories or we are not doing a thorough check)
146
 
        if (not self.inconsistent_parents and 
 
239
        if (not self.inconsistent_parents and
147
240
            (not self.garbage_inventories or not self.thorough)):
148
241
            self.pb.note('Inventory ok.')
149
242
            return
150
 
        self.pb.update('Backing up inventory...', 0, 0)
151
 
        self.repo.control_weaves.copy(self.inventory, 'inventory.backup', self.repo.get_transaction())
152
 
        self.pb.note('Backup Inventory created.')
153
 
        # asking for '' should never return a non-empty weave
154
 
        new_inventory_vf = self.repo.control_weaves.get_empty('inventory.new',
155
 
            self.repo.get_transaction())
 
243
        self.pb.update('Backing up inventory', 0, 0)
 
244
        self.repo._backup_inventory()
 
245
        self.pb.note('Backup inventory created.')
 
246
        new_inventories = self.repo._temp_inventories()
156
247
 
157
248
        # we have topological order of revisions and non ghost parents ready.
158
249
        self._setup_steps(len(self._rev_graph))
159
 
        for rev_id in TopoSorter(self._rev_graph.items()).iter_topo_order():
160
 
            parents = self._rev_graph[rev_id]
161
 
            # double check this really is in topological order.
162
 
            unavailable = [p for p in parents if p not in new_inventory_vf]
163
 
            assert len(unavailable) == 0
164
 
            # this entry has all the non ghost parents in the inventory
165
 
            # file already.
166
 
            self._reweave_step('adding inventories')
167
 
            if isinstance(new_inventory_vf, WeaveFile):
168
 
                # It's really a WeaveFile, but we call straight into the
169
 
                # Weave's add method to disable the auto-write-out behaviour.
170
 
                # This is done to avoid a revision_count * time-to-write additional overhead on 
171
 
                # reconcile.
172
 
                new_inventory_vf._check_write_ok()
173
 
                Weave._add_lines(new_inventory_vf, rev_id, parents, self.inventory.get_lines(rev_id),
174
 
                                 None)
175
 
            else:
176
 
                new_inventory_vf.add_lines(rev_id, parents, self.inventory.get_lines(rev_id))
177
 
 
178
 
        if isinstance(new_inventory_vf, WeaveFile):
179
 
            new_inventory_vf._save()
180
 
        # if this worked, the set of new_inventory_vf.names should equal
 
250
        revision_keys = [(rev_id,) for rev_id in topo_sort(self._rev_graph)]
 
251
        stream = self._change_inv_parents(
 
252
            self.inventory.get_record_stream(revision_keys, 'unordered', True),
 
253
            self._new_inv_parents,
 
254
            set(revision_keys))
 
255
        new_inventories.insert_record_stream(stream)
 
256
        # if this worked, the set of new_inventories.keys should equal
181
257
        # self.pending
182
 
        assert set(new_inventory_vf.versions()) == self.pending
 
258
        if not (set(new_inventories.keys()) ==
 
259
            set([(revid,) for revid in self.pending])):
 
260
            raise AssertionError()
183
261
        self.pb.update('Writing weave')
184
 
        self.repo.control_weaves.copy(new_inventory_vf, 'inventory', self.repo.get_transaction())
185
 
        self.repo.control_weaves.delete('inventory.new', self.repo.get_transaction())
 
262
        self.repo._activate_new_inventory()
186
263
        self.inventory = None
187
264
        self.pb.note('Inventory regenerated.')
188
265
 
 
266
    def _new_inv_parents(self, revision_key):
 
267
        """Lookup ghost-filtered parents for revision_key."""
 
268
        # Use the filtered ghostless parents list:
 
269
        return tuple([(revid,) for revid in self._rev_graph[revision_key[-1]]])
 
270
 
 
271
    def _change_inv_parents(self, stream, get_parents, all_revision_keys):
 
272
        """Adapt a record stream to reconcile the parents."""
 
273
        for record in stream:
 
274
            wanted_parents = get_parents(record.key)
 
275
            if wanted_parents and wanted_parents[0] not in all_revision_keys:
 
276
                # The check for the left most parent only handles knit
 
277
                # compressors, but this code only applies to knit and weave
 
278
                # repositories anyway.
 
279
                bytes = record.get_bytes_as('fulltext')
 
280
                yield FulltextContentFactory(record.key, wanted_parents, record.sha1, bytes)
 
281
            else:
 
282
                adapted_record = AdapterFactory(record.key, wanted_parents, record)
 
283
                yield adapted_record
 
284
            self._reweave_step('adding inventories')
 
285
 
189
286
    def _setup_steps(self, new_total):
190
287
        """Setup the markers we need to control the progress bar."""
191
288
        self.total = new_total
197
294
        # analyse revision id rev_id and put it in the stack.
198
295
        self._reweave_step('loading revisions')
199
296
        rev = self.repo.get_revision_reconcile(rev_id)
200
 
        assert rev.revision_id == rev_id
201
297
        parents = []
202
298
        for parent in rev.parent_ids:
203
299
            if self._parent_is_available(parent):
204
300
                parents.append(parent)
205
301
            else:
206
302
                mutter('found ghost %s', parent)
207
 
        self._rev_graph[rev_id] = parents   
208
 
        if self._parents_are_inconsistent(rev_id, parents):
209
 
            self.inconsistent_parents += 1
210
 
            mutter('Inconsistent inventory parents: id {%s} '
211
 
                   'inventory claims %r, '
212
 
                   'available parents are %r, '
213
 
                   'unavailable parents are %r',
214
 
                   rev_id, 
215
 
                   set(self.inventory.get_parents(rev_id)),
216
 
                   set(parents),
217
 
                   set(rev.parent_ids).difference(set(parents)))
218
 
 
219
 
    def _parents_are_inconsistent(self, rev_id, parents):
220
 
        """Return True if the parents list of rev_id does not match the weave.
221
 
 
222
 
        This detects inconsistencies based on the self.thorough value:
223
 
        if thorough is on, the first parent value is checked as well as ghost
224
 
        differences.
225
 
        Otherwise only the ghost differences are evaluated.
226
 
        """
227
 
        weave_parents = self.inventory.get_parents(rev_id)
228
 
        weave_missing_old_ghosts = set(weave_parents) != set(parents)
229
 
        first_parent_is_wrong = (
230
 
            len(weave_parents) and len(parents) and
231
 
            parents[0] != weave_parents[0])
232
 
        if self.thorough:
233
 
            return weave_missing_old_ghosts or first_parent_is_wrong
234
 
        else:
235
 
            return weave_missing_old_ghosts
 
303
        self._rev_graph[rev_id] = parents
236
304
 
237
305
    def _check_garbage_inventories(self):
238
306
        """Check for garbage inventories which we cannot trust
242
310
        """
243
311
        if not self.thorough:
244
312
            return
245
 
        inventories = set(self.inventory.versions())
246
 
        revisions = set(self._rev_graph.keys())
 
313
        inventories = set(self.inventory.keys())
 
314
        revisions = set(self.revisions.keys())
247
315
        garbage = inventories.difference(revisions)
248
316
        self.garbage_inventories = len(garbage)
249
 
        for revision_id in garbage:
250
 
            mutter('Garbage inventory {%s} found.', revision_id)
 
317
        for revision_key in garbage:
 
318
            mutter('Garbage inventory {%s} found.', revision_key[-1])
251
319
 
252
320
    def _parent_is_available(self, parent):
253
321
        """True if parent is a fully available revision
255
323
        A fully available revision has a inventory and a revision object in the
256
324
        repository.
257
325
        """
258
 
        return (parent in self._rev_graph or 
259
 
                (parent in self.inventory and self.repo.has_revision(parent)))
 
326
        if parent in self._rev_graph:
 
327
            return True
 
328
        inv_present = (1 == len(self.inventory.get_parent_map([(parent,)])))
 
329
        return (inv_present and self.repo.has_revision(parent))
260
330
 
261
331
    def _reweave_step(self, message):
262
332
        """Mark a single step of regeneration complete."""
267
337
class KnitReconciler(RepoReconciler):
268
338
    """Reconciler that reconciles a knit format repository.
269
339
 
270
 
    This will detect garbage inventories and remove them.
271
 
 
272
 
    Inconsistent parentage is checked for in the revision weave.
 
340
    This will detect garbage inventories and remove them in thorough mode.
273
341
    """
274
342
 
275
343
    def _reconcile_steps(self):
276
344
        """Perform the steps to reconcile this repository."""
277
345
        if self.thorough:
278
 
            self._load_indexes()
 
346
            try:
 
347
                self._load_indexes()
 
348
            except errors.BzrCheckError:
 
349
                self.aborted = True
 
350
                return
279
351
            # knits never suffer this
280
352
            self._gc_inventory()
 
353
            self._fix_text_parents()
281
354
 
282
355
    def _load_indexes(self):
283
356
        """Load indexes for the reconciliation."""
284
357
        self.transaction = self.repo.get_transaction()
285
 
        self.pb.update('Reading indexes.', 0, 2)
286
 
        self.inventory = self.repo.get_inventory_weave()
287
 
        self.pb.update('Reading indexes.', 1, 2)
288
 
        self.revisions = self.repo._revision_store.get_revision_file(self.transaction)
289
 
        self.pb.update('Reading indexes.', 2, 2)
 
358
        self.pb.update('Reading indexes', 0, 2)
 
359
        self.inventory = self.repo.inventories
 
360
        self.pb.update('Reading indexes', 1, 2)
 
361
        self.repo._check_for_inconsistent_revision_parents()
 
362
        self.revisions = self.repo.revisions
 
363
        self.pb.update('Reading indexes', 2, 2)
290
364
 
291
365
    def _gc_inventory(self):
292
366
        """Remove inventories that are not referenced from the revision store."""
293
 
        self.pb.update('Checking unused inventories.', 0, 1)
 
367
        self.pb.update('Checking unused inventories', 0, 1)
294
368
        self._check_garbage_inventories()
295
 
        self.pb.update('Checking unused inventories.', 1, 3)
 
369
        self.pb.update('Checking unused inventories', 1, 3)
296
370
        if not self.garbage_inventories:
297
371
            self.pb.note('Inventory ok.')
298
372
            return
299
 
        self.pb.update('Backing up inventory...', 0, 0)
300
 
        self.repo.control_weaves.copy(self.inventory, 'inventory.backup', self.transaction)
301
 
        self.pb.note('Backup Inventory created.')
 
373
        self.pb.update('Backing up inventory', 0, 0)
 
374
        self.repo._backup_inventory()
 
375
        self.pb.note('Backup Inventory created')
302
376
        # asking for '' should never return a non-empty weave
303
 
        new_inventory_vf = self.repo.control_weaves.get_empty('inventory.new',
304
 
            self.transaction)
305
 
 
 
377
        new_inventories = self.repo._temp_inventories()
306
378
        # we have topological order of revisions and non ghost parents ready.
307
 
        self._setup_steps(len(self.revisions))
308
 
        for rev_id in TopoSorter(self.revisions.get_graph().items()).iter_topo_order():
309
 
            parents = self.revisions.get_parents(rev_id)
310
 
            # double check this really is in topological order.
311
 
            unavailable = [p for p in parents if p not in new_inventory_vf]
312
 
            assert len(unavailable) == 0
313
 
            # this entry has all the non ghost parents in the inventory
314
 
            # file already.
315
 
            self._reweave_step('adding inventories')
316
 
            # ugly but needed, weaves are just way tooooo slow else.
317
 
            new_inventory_vf.add_lines(rev_id, parents, self.inventory.get_lines(rev_id))
318
 
 
 
379
        graph = self.revisions.get_parent_map(self.revisions.keys())
 
380
        revision_keys = topo_sort(graph)
 
381
        revision_ids = [key[-1] for key in revision_keys]
 
382
        self._setup_steps(len(revision_keys))
 
383
        stream = self._change_inv_parents(
 
384
            self.inventory.get_record_stream(revision_keys, 'unordered', True),
 
385
            graph.__getitem__,
 
386
            set(revision_keys))
 
387
        new_inventories.insert_record_stream(stream)
319
388
        # if this worked, the set of new_inventory_vf.names should equal
320
 
        # self.pending
321
 
        assert set(new_inventory_vf.versions()) == set(self.revisions.versions())
 
389
        # the revisionds list
 
390
        if not(set(new_inventories.keys()) == set(revision_keys)):
 
391
            raise AssertionError()
322
392
        self.pb.update('Writing weave')
323
 
        self.repo.control_weaves.copy(new_inventory_vf, 'inventory', self.transaction)
324
 
        self.repo.control_weaves.delete('inventory.new', self.transaction)
 
393
        self.repo._activate_new_inventory()
325
394
        self.inventory = None
326
395
        self.pb.note('Inventory regenerated.')
327
396
 
328
 
    def _check_garbage_inventories(self):
329
 
        """Check for garbage inventories which we cannot trust
330
 
 
331
 
        We cant trust them because their pre-requisite file data may not
332
 
        be present - all we know is that their revision was not installed.
333
 
        """
334
 
        inventories = set(self.inventory.versions())
335
 
        revisions = set(self.revisions.versions())
336
 
        garbage = inventories.difference(revisions)
337
 
        self.garbage_inventories = len(garbage)
338
 
        for revision_id in garbage:
339
 
            mutter('Garbage inventory {%s} found.', revision_id)
 
397
    def _fix_text_parents(self):
 
398
        """Fix bad versionedfile parent entries.
 
399
 
 
400
        It is possible for the parents entry in a versionedfile entry to be
 
401
        inconsistent with the values in the revision and inventory.
 
402
 
 
403
        This method finds entries with such inconsistencies, corrects their
 
404
        parent lists, and replaces the versionedfile with a corrected version.
 
405
        """
 
406
        transaction = self.repo.get_transaction()
 
407
        versions = [key[-1] for key in self.revisions.keys()]
 
408
        mutter('Prepopulating revision text cache with %d revisions',
 
409
                len(versions))
 
410
        vf_checker = self.repo._get_versioned_file_checker()
 
411
        bad_parents, unused_versions = vf_checker.check_file_version_parents(
 
412
            self.repo.texts, self.pb)
 
413
        text_index = vf_checker.text_index
 
414
        per_id_bad_parents = {}
 
415
        for key in unused_versions:
 
416
            # Ensure that every file with unused versions gets rewritten.
 
417
            # NB: This is really not needed, reconcile != pack.
 
418
            per_id_bad_parents[key[0]] = {}
 
419
        # Generate per-knit/weave data.
 
420
        for key, details in bad_parents.iteritems():
 
421
            file_id = key[0]
 
422
            rev_id = key[1]
 
423
            knit_parents = tuple([parent[-1] for parent in details[0]])
 
424
            correct_parents = tuple([parent[-1] for parent in details[1]])
 
425
            file_details = per_id_bad_parents.setdefault(file_id, {})
 
426
            file_details[rev_id] = (knit_parents, correct_parents)
 
427
        file_id_versions = {}
 
428
        for text_key in text_index:
 
429
            versions_list = file_id_versions.setdefault(text_key[0], [])
 
430
            versions_list.append(text_key[1])
 
431
        # Do the reconcile of individual weaves.
 
432
        for num, file_id in enumerate(per_id_bad_parents):
 
433
            self.pb.update('Fixing text parents', num,
 
434
                           len(per_id_bad_parents))
 
435
            versions_with_bad_parents = per_id_bad_parents[file_id]
 
436
            id_unused_versions = set(key[-1] for key in unused_versions
 
437
                if key[0] == file_id)
 
438
            if file_id in file_id_versions:
 
439
                file_versions = file_id_versions[file_id]
 
440
            else:
 
441
                # This id was present in the disk store but is not referenced
 
442
                # by any revision at all.
 
443
                file_versions = []
 
444
            self._fix_text_parent(file_id, versions_with_bad_parents,
 
445
                 id_unused_versions, file_versions)
 
446
 
 
447
    def _fix_text_parent(self, file_id, versions_with_bad_parents,
 
448
            unused_versions, all_versions):
 
449
        """Fix bad versionedfile entries in a single versioned file."""
 
450
        mutter('fixing text parent: %r (%d versions)', file_id,
 
451
                len(versions_with_bad_parents))
 
452
        mutter('(%d are unused)', len(unused_versions))
 
453
        new_file_id = 'temp:%s' % file_id
 
454
        new_parents = {}
 
455
        needed_keys = set()
 
456
        for version in all_versions:
 
457
            if version in unused_versions:
 
458
                continue
 
459
            elif version in versions_with_bad_parents:
 
460
                parents = versions_with_bad_parents[version][1]
 
461
            else:
 
462
                pmap = self.repo.texts.get_parent_map([(file_id, version)])
 
463
                parents = [key[-1] for key in pmap[(file_id, version)]]
 
464
            new_parents[(new_file_id, version)] = [
 
465
                (new_file_id, parent) for parent in parents]
 
466
            needed_keys.add((file_id, version))
 
467
        def fix_parents(stream):
 
468
            for record in stream:
 
469
                bytes = record.get_bytes_as('fulltext')
 
470
                new_key = (new_file_id, record.key[-1])
 
471
                parents = new_parents[new_key]
 
472
                yield FulltextContentFactory(new_key, parents, record.sha1, bytes)
 
473
        stream = self.repo.texts.get_record_stream(needed_keys, 'topological', True)
 
474
        self.repo._remove_file_id(new_file_id)
 
475
        self.repo.texts.insert_record_stream(fix_parents(stream))
 
476
        self.repo._remove_file_id(file_id)
 
477
        if len(new_parents):
 
478
            self.repo._move_file_id(new_file_id, file_id)
 
479
 
 
480
 
 
481
class PackReconciler(RepoReconciler):
 
482
    """Reconciler that reconciles a pack based repository.
 
483
 
 
484
    Garbage inventories do not affect ancestry queries, and removal is
 
485
    considerably more expensive as there is no separate versioned file for
 
486
    them, so they are not cleaned. In short it is currently a no-op.
 
487
 
 
488
    In future this may be a good place to hook in annotation cache checking,
 
489
    index recreation etc.
 
490
    """
 
491
 
 
492
    # XXX: The index corruption that _fix_text_parents performs is needed for
 
493
    # packs, but not yet implemented. The basic approach is to:
 
494
    #  - lock the names list
 
495
    #  - perform a customised pack() that regenerates data as needed
 
496
    #  - unlock the names list
 
497
    # https://bugs.edge.launchpad.net/bzr/+bug/154173
 
498
 
 
499
    def _reconcile_steps(self):
 
500
        """Perform the steps to reconcile this repository."""
 
501
        if not self.thorough:
 
502
            return
 
503
        collection = self.repo._pack_collection
 
504
        collection.ensure_loaded()
 
505
        collection.lock_names()
 
506
        try:
 
507
            packs = collection.all_packs()
 
508
            all_revisions = self.repo.all_revision_ids()
 
509
            total_inventories = len(list(
 
510
                collection.inventory_index.combined_index.iter_all_entries()))
 
511
            if len(all_revisions):
 
512
                new_pack =  self.repo._reconcile_pack(collection, packs,
 
513
                    ".reconcile", all_revisions, self.pb)
 
514
                if new_pack is not None:
 
515
                    self._discard_and_save(packs)
 
516
            else:
 
517
                # only make a new pack when there is data to copy.
 
518
                self._discard_and_save(packs)
 
519
            self.garbage_inventories = total_inventories - len(list(
 
520
                collection.inventory_index.combined_index.iter_all_entries()))
 
521
        finally:
 
522
            collection._unlock_names()
 
523
 
 
524
    def _discard_and_save(self, packs):
 
525
        """Discard some packs from the repository.
 
526
 
 
527
        This removes them from the memory index, saves the in-memory index
 
528
        which makes the newly reconciled pack visible and hides the packs to be
 
529
        discarded, and finally renames the packs being discarded into the
 
530
        obsolete packs directory.
 
531
 
 
532
        :param packs: The packs to discard.
 
533
        """
 
534
        for pack in packs:
 
535
            self.repo._pack_collection._remove_pack_from_memory(pack)
 
536
        self.repo._pack_collection._save_pack_names()
 
537
        self.repo._pack_collection._obsolete_packs(packs)