← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/reconcile.py

  • Committer: Vincent Ladeuil
  • Date: 2010-10-26 08:08:23 UTC
  • mfrom: (5514.1.1 665100-content-type)
  • mto: This revision was merged to the branch mainline in revision 5516.
  • Revision ID: v.ladeuil+lp@free.fr-20101026080823-3wggo03b7cpn9908
Correctly set the Content-Type header when POSTing http requests

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/reconcile.py
1
 
# (C) 2005, 2006 Canonical Limited.
 
1
# Copyright (C) 2006-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
"""Reconcilers are able to fix some potential data errors in a branch."""
18
18
 
19
19
 
20
 
__all__ = ['reconcile', 'Reconciler', 'RepoReconciler', 'KnitReconciler']
21
 
 
22
 
 
23
 
from bzrlib import ui
 
20
__all__ = [
 
21
    'KnitReconciler',
 
22
    'PackReconciler',
 
23
    'reconcile',
 
24
    'Reconciler',
 
25
    'RepoReconciler',
 
26
    ]
 
27
 
 
28
 
 
29
from bzrlib import (
 
30
    cleanup,
 
31
    errors,
 
32
    ui,
 
33
    )
24
34
from bzrlib.trace import mutter
25
 
from bzrlib.tsort import TopoSorter
26
 
 
27
 
 
28
 
def reconcile(dir, other=None):
 
35
from bzrlib.tsort import topo_sort
 
36
from bzrlib.versionedfile import AdapterFactory, FulltextContentFactory
 
37
 
 
38
 
 
39
def reconcile(dir, canonicalize_chks=False):
29
40
    """Reconcile the data in dir.
30
41
 
31
42
    Currently this is limited to a inventory 'reweave'.
35
46
    Directly using Reconciler is recommended for library users that
36
47
    desire fine grained control or analysis of the found issues.
37
48
 
38
 
    :param other: another bzrdir to reconcile against.
 
49
    :param canonicalize_chks: Make sure CHKs are in canonical form.
39
50
    """
40
 
    reconciler = Reconciler(dir, other=other)
 
51
    reconciler = Reconciler(dir, canonicalize_chks=canonicalize_chks)
41
52
    reconciler.reconcile()
42
53
 
43
54
 
44
55
class Reconciler(object):
45
56
    """Reconcilers are used to reconcile existing data."""
46
57
 
47
 
    def __init__(self, dir, other=None):
 
58
    def __init__(self, dir, other=None, canonicalize_chks=False):
48
59
        """Create a Reconciler."""
49
60
        self.bzrdir = dir
 
61
        self.canonicalize_chks = canonicalize_chks
50
62
 
51
63
    def reconcile(self):
52
64
        """Perform reconciliation.
53
 
        
 
65
 
54
66
        After reconciliation the following attributes document found issues:
55
67
        inconsistent_parents: The number of revisions in the repository whose
56
68
                              ancestry was being reported incorrectly.
57
69
        garbage_inventories: The number of inventory objects without revisions
58
70
                             that were garbage collected.
 
71
        fixed_branch_history: None if there was no branch, False if the branch
 
72
                              history was correct, True if the branch history
 
73
                              needed to be re-normalized.
59
74
        """
60
75
        self.pb = ui.ui_factory.nested_progress_bar()
61
76
        try:
65
80
 
66
81
    def _reconcile(self):
67
82
        """Helper function for performing reconciliation."""
 
83
        self._reconcile_branch()
 
84
        self._reconcile_repository()
 
85
 
 
86
    def _reconcile_branch(self):
 
87
        try:
 
88
            self.branch = self.bzrdir.open_branch()
 
89
        except errors.NotBranchError:
 
90
            # Nothing to check here
 
91
            self.fixed_branch_history = None
 
92
            return
 
93
        ui.ui_factory.note('Reconciling branch %s' % self.branch.base)
 
94
        branch_reconciler = self.branch.reconcile(thorough=True)
 
95
        self.fixed_branch_history = branch_reconciler.fixed_history
 
96
 
 
97
    def _reconcile_repository(self):
68
98
        self.repo = self.bzrdir.find_repository()
69
 
        self.pb.note('Reconciling repository %s',
70
 
                     self.repo.bzrdir.root_transport.base)
71
 
        repo_reconciler = self.repo.reconcile(thorough=True)
 
99
        ui.ui_factory.note('Reconciling repository %s' %
 
100
            self.repo.user_url)
 
101
        self.pb.update("Reconciling repository", 0, 1)
 
102
        if self.canonicalize_chks:
 
103
            try:
 
104
                self.repo.reconcile_canonicalize_chks
 
105
            except AttributeError:
 
106
                raise errors.BzrError(
 
107
                    "%s cannot canonicalize CHKs." % (self.repo,))
 
108
            repo_reconciler = self.repo.reconcile_canonicalize_chks()
 
109
        else:
 
110
            repo_reconciler = self.repo.reconcile(thorough=True)
72
111
        self.inconsistent_parents = repo_reconciler.inconsistent_parents
73
112
        self.garbage_inventories = repo_reconciler.garbage_inventories
74
 
        self.pb.note('Reconciliation complete.')
 
113
        if repo_reconciler.aborted:
 
114
            ui.ui_factory.note(
 
115
                'Reconcile aborted: revision index has inconsistent parents.')
 
116
            ui.ui_factory.note(
 
117
                'Run "bzr check" for more details.')
 
118
        else:
 
119
            ui.ui_factory.note('Reconciliation complete.')
 
120
 
 
121
 
 
122
class BranchReconciler(object):
 
123
    """Reconciler that works on a branch."""
 
124
 
 
125
    def __init__(self, a_branch, thorough=False):
 
126
        self.fixed_history = None
 
127
        self.thorough = thorough
 
128
        self.branch = a_branch
 
129
 
 
130
    def reconcile(self):
 
131
        operation = cleanup.OperationWithCleanups(self._reconcile)
 
132
        self.add_cleanup = operation.add_cleanup
 
133
        operation.run_simple()
 
134
 
 
135
    def _reconcile(self):
 
136
        self.branch.lock_write()
 
137
        self.add_cleanup(self.branch.unlock)
 
138
        self.pb = ui.ui_factory.nested_progress_bar()
 
139
        self.add_cleanup(self.pb.finished)
 
140
        self._reconcile_steps()
 
141
 
 
142
    def _reconcile_steps(self):
 
143
        self._reconcile_revision_history()
 
144
 
 
145
    def _reconcile_revision_history(self):
 
146
        repo = self.branch.repository
 
147
        last_revno, last_revision_id = self.branch.last_revision_info()
 
148
        real_history = []
 
149
        try:
 
150
            for revid in repo.iter_reverse_revision_history(
 
151
                    last_revision_id):
 
152
                real_history.append(revid)
 
153
        except errors.RevisionNotPresent:
 
154
            pass # Hit a ghost left hand parent
 
155
        real_history.reverse()
 
156
        if last_revno != len(real_history):
 
157
            self.fixed_history = True
 
158
            # Technically for Branch5 formats, it is more efficient to use
 
159
            # set_revision_history, as this will regenerate it again.
 
160
            # Not really worth a whole BranchReconciler class just for this,
 
161
            # though.
 
162
            ui.ui_factory.note('Fixing last revision info %s => %s' % (
 
163
                 last_revno, len(real_history)))
 
164
            self.branch.set_last_revision_info(len(real_history),
 
165
                                               last_revision_id)
 
166
        else:
 
167
            self.fixed_history = False
 
168
            ui.ui_factory.note('revision_history ok.')
75
169
 
76
170
 
77
171
class RepoReconciler(object):
78
172
    """Reconciler that reconciles a repository.
79
173
 
 
174
    The goal of repository reconciliation is to make any derived data
 
175
    consistent with the core data committed by a user. This can involve
 
176
    reindexing, or removing unreferenced data if that can interfere with
 
177
    queries in a given repository.
 
178
 
80
179
    Currently this consists of an inventory reweave with revision cross-checks.
81
180
    """
82
181
 
89
188
        """
90
189
        self.garbage_inventories = 0
91
190
        self.inconsistent_parents = 0
 
191
        self.aborted = False
92
192
        self.repo = repo
93
193
        self.thorough = thorough
94
194
 
95
195
    def reconcile(self):
96
196
        """Perform reconciliation.
97
 
        
 
197
 
98
198
        After reconciliation the following attributes document found issues:
99
199
        inconsistent_parents: The number of revisions in the repository whose
100
200
                              ancestry was being reported incorrectly.
101
201
        garbage_inventories: The number of inventory objects without revisions
102
202
                             that were garbage collected.
103
203
        """
 
204
        operation = cleanup.OperationWithCleanups(self._reconcile)
 
205
        self.add_cleanup = operation.add_cleanup
 
206
        operation.run_simple()
 
207
 
 
208
    def _reconcile(self):
104
209
        self.repo.lock_write()
105
 
        try:
106
 
            self.pb = ui.ui_factory.nested_progress_bar()
107
 
            try:
108
 
                self._reconcile_steps()
109
 
            finally:
110
 
                self.pb.finished()
111
 
        finally:
112
 
            self.repo.unlock()
 
210
        self.add_cleanup(self.repo.unlock)
 
211
        self.pb = ui.ui_factory.nested_progress_bar()
 
212
        self.add_cleanup(self.pb.finished)
 
213
        self._reconcile_steps()
113
214
 
114
215
    def _reconcile_steps(self):
115
216
        """Perform the steps to reconcile this repository."""
117
218
 
118
219
    def _reweave_inventory(self):
119
220
        """Regenerate the inventory weave for the repository from scratch.
120
 
        
121
 
        This is a smart function: it will only do the reweave if doing it 
 
221
 
 
222
        This is a smart function: it will only do the reweave if doing it
122
223
        will correct data issues. The self.thorough flag controls whether
123
224
        only data-loss causing issues (!self.thorough) or all issues
124
225
        (self.thorough) are treated as requiring the reweave.
126
227
        # local because needing to know about WeaveFile is a wart we want to hide
127
228
        from bzrlib.weave import WeaveFile, Weave
128
229
        transaction = self.repo.get_transaction()
129
 
        self.pb.update('Reading inventory data.')
130
 
        self.inventory = self.repo.get_inventory_weave()
 
230
        self.pb.update('Reading inventory data')
 
231
        self.inventory = self.repo.inventories
 
232
        self.revisions = self.repo.revisions
131
233
        # the total set of revisions to process
132
 
        self.pending = set([rev_id for rev_id in self.repo._revision_store.all_revision_ids(transaction)])
 
234
        self.pending = set([key[-1] for key in self.revisions.keys()])
133
235
 
134
236
        # mapping from revision_id to parents
135
237
        self._rev_graph = {}
141
243
            # put a revision into the graph.
142
244
            self._graph_revision(rev_id)
143
245
        self._check_garbage_inventories()
144
 
        # if there are no inconsistent_parents and 
 
246
        # if there are no inconsistent_parents and
145
247
        # (no garbage inventories or we are not doing a thorough check)
146
 
        if (not self.inconsistent_parents and 
 
248
        if (not self.inconsistent_parents and
147
249
            (not self.garbage_inventories or not self.thorough)):
148
 
            self.pb.note('Inventory ok.')
 
250
            ui.ui_factory.note('Inventory ok.')
149
251
            return
150
 
        self.pb.update('Backing up inventory...', 0, 0)
151
 
        self.repo.control_weaves.copy(self.inventory, 'inventory.backup', self.repo.get_transaction())
152
 
        self.pb.note('Backup Inventory created.')
153
 
        # asking for '' should never return a non-empty weave
154
 
        new_inventory_vf = self.repo.control_weaves.get_empty('inventory.new',
155
 
            self.repo.get_transaction())
 
252
        self.pb.update('Backing up inventory', 0, 0)
 
253
        self.repo._backup_inventory()
 
254
        ui.ui_factory.note('Backup inventory created.')
 
255
        new_inventories = self.repo._temp_inventories()
156
256
 
157
257
        # we have topological order of revisions and non ghost parents ready.
158
258
        self._setup_steps(len(self._rev_graph))
159
 
        for rev_id in TopoSorter(self._rev_graph.items()).iter_topo_order():
160
 
            parents = self._rev_graph[rev_id]
161
 
            # double check this really is in topological order.
162
 
            unavailable = [p for p in parents if p not in new_inventory_vf]
163
 
            assert len(unavailable) == 0
164
 
            # this entry has all the non ghost parents in the inventory
165
 
            # file already.
166
 
            self._reweave_step('adding inventories')
167
 
            if isinstance(new_inventory_vf, WeaveFile):
168
 
                # It's really a WeaveFile, but we call straight into the
169
 
                # Weave's add method to disable the auto-write-out behaviour.
170
 
                # This is done to avoid a revision_count * time-to-write additional overhead on 
171
 
                # reconcile.
172
 
                new_inventory_vf._check_write_ok()
173
 
                Weave._add_lines(new_inventory_vf, rev_id, parents, self.inventory.get_lines(rev_id),
174
 
                                 None)
175
 
            else:
176
 
                new_inventory_vf.add_lines(rev_id, parents, self.inventory.get_lines(rev_id))
177
 
 
178
 
        if isinstance(new_inventory_vf, WeaveFile):
179
 
            new_inventory_vf._save()
180
 
        # if this worked, the set of new_inventory_vf.names should equal
 
259
        revision_keys = [(rev_id,) for rev_id in topo_sort(self._rev_graph)]
 
260
        stream = self._change_inv_parents(
 
261
            self.inventory.get_record_stream(revision_keys, 'unordered', True),
 
262
            self._new_inv_parents,
 
263
            set(revision_keys))
 
264
        new_inventories.insert_record_stream(stream)
 
265
        # if this worked, the set of new_inventories.keys should equal
181
266
        # self.pending
182
 
        assert set(new_inventory_vf.versions()) == self.pending
 
267
        if not (set(new_inventories.keys()) ==
 
268
            set([(revid,) for revid in self.pending])):
 
269
            raise AssertionError()
183
270
        self.pb.update('Writing weave')
184
 
        self.repo.control_weaves.copy(new_inventory_vf, 'inventory', self.repo.get_transaction())
185
 
        self.repo.control_weaves.delete('inventory.new', self.repo.get_transaction())
 
271
        self.repo._activate_new_inventory()
186
272
        self.inventory = None
187
 
        self.pb.note('Inventory regenerated.')
 
273
        ui.ui_factory.note('Inventory regenerated.')
 
274
 
 
275
    def _new_inv_parents(self, revision_key):
 
276
        """Lookup ghost-filtered parents for revision_key."""
 
277
        # Use the filtered ghostless parents list:
 
278
        return tuple([(revid,) for revid in self._rev_graph[revision_key[-1]]])
 
279
 
 
280
    def _change_inv_parents(self, stream, get_parents, all_revision_keys):
 
281
        """Adapt a record stream to reconcile the parents."""
 
282
        for record in stream:
 
283
            wanted_parents = get_parents(record.key)
 
284
            if wanted_parents and wanted_parents[0] not in all_revision_keys:
 
285
                # The check for the left most parent only handles knit
 
286
                # compressors, but this code only applies to knit and weave
 
287
                # repositories anyway.
 
288
                bytes = record.get_bytes_as('fulltext')
 
289
                yield FulltextContentFactory(record.key, wanted_parents, record.sha1, bytes)
 
290
            else:
 
291
                adapted_record = AdapterFactory(record.key, wanted_parents, record)
 
292
                yield adapted_record
 
293
            self._reweave_step('adding inventories')
188
294
 
189
295
    def _setup_steps(self, new_total):
190
296
        """Setup the markers we need to control the progress bar."""
197
303
        # analyse revision id rev_id and put it in the stack.
198
304
        self._reweave_step('loading revisions')
199
305
        rev = self.repo.get_revision_reconcile(rev_id)
200
 
        assert rev.revision_id == rev_id
201
306
        parents = []
202
307
        for parent in rev.parent_ids:
203
308
            if self._parent_is_available(parent):
204
309
                parents.append(parent)
205
310
            else:
206
311
                mutter('found ghost %s', parent)
207
 
        self._rev_graph[rev_id] = parents   
208
 
        if self._parents_are_inconsistent(rev_id, parents):
209
 
            self.inconsistent_parents += 1
210
 
            mutter('Inconsistent inventory parents: id {%s} '
211
 
                   'inventory claims %r, '
212
 
                   'available parents are %r, '
213
 
                   'unavailable parents are %r',
214
 
                   rev_id, 
215
 
                   set(self.inventory.get_parents(rev_id)),
216
 
                   set(parents),
217
 
                   set(rev.parent_ids).difference(set(parents)))
218
 
 
219
 
    def _parents_are_inconsistent(self, rev_id, parents):
220
 
        """Return True if the parents list of rev_id does not match the weave.
221
 
 
222
 
        This detects inconsistencies based on the self.thorough value:
223
 
        if thorough is on, the first parent value is checked as well as ghost
224
 
        differences.
225
 
        Otherwise only the ghost differences are evaluated.
226
 
        """
227
 
        weave_parents = self.inventory.get_parents(rev_id)
228
 
        weave_missing_old_ghosts = set(weave_parents) != set(parents)
229
 
        first_parent_is_wrong = (
230
 
            len(weave_parents) and len(parents) and
231
 
            parents[0] != weave_parents[0])
232
 
        if self.thorough:
233
 
            return weave_missing_old_ghosts or first_parent_is_wrong
234
 
        else:
235
 
            return weave_missing_old_ghosts
 
312
        self._rev_graph[rev_id] = parents
236
313
 
237
314
    def _check_garbage_inventories(self):
238
315
        """Check for garbage inventories which we cannot trust
242
319
        """
243
320
        if not self.thorough:
244
321
            return
245
 
        inventories = set(self.inventory.versions())
246
 
        revisions = set(self._rev_graph.keys())
 
322
        inventories = set(self.inventory.keys())
 
323
        revisions = set(self.revisions.keys())
247
324
        garbage = inventories.difference(revisions)
248
325
        self.garbage_inventories = len(garbage)
249
 
        for revision_id in garbage:
250
 
            mutter('Garbage inventory {%s} found.', revision_id)
 
326
        for revision_key in garbage:
 
327
            mutter('Garbage inventory {%s} found.', revision_key[-1])
251
328
 
252
329
    def _parent_is_available(self, parent):
253
330
        """True if parent is a fully available revision
255
332
        A fully available revision has a inventory and a revision object in the
256
333
        repository.
257
334
        """
258
 
        return (parent in self._rev_graph or 
259
 
                (parent in self.inventory and self.repo.has_revision(parent)))
 
335
        if parent in self._rev_graph:
 
336
            return True
 
337
        inv_present = (1 == len(self.inventory.get_parent_map([(parent,)])))
 
338
        return (inv_present and self.repo.has_revision(parent))
260
339
 
261
340
    def _reweave_step(self, message):
262
341
        """Mark a single step of regeneration complete."""
267
346
class KnitReconciler(RepoReconciler):
268
347
    """Reconciler that reconciles a knit format repository.
269
348
 
270
 
    This will detect garbage inventories and remove them.
271
 
 
272
 
    Inconsistent parentage is checked for in the revision weave.
 
349
    This will detect garbage inventories and remove them in thorough mode.
273
350
    """
274
351
 
275
352
    def _reconcile_steps(self):
276
353
        """Perform the steps to reconcile this repository."""
277
354
        if self.thorough:
278
 
            self._load_indexes()
 
355
            try:
 
356
                self._load_indexes()
 
357
            except errors.BzrCheckError:
 
358
                self.aborted = True
 
359
                return
279
360
            # knits never suffer this
280
361
            self._gc_inventory()
 
362
            self._fix_text_parents()
281
363
 
282
364
    def _load_indexes(self):
283
365
        """Load indexes for the reconciliation."""
284
366
        self.transaction = self.repo.get_transaction()
285
 
        self.pb.update('Reading indexes.', 0, 2)
286
 
        self.inventory = self.repo.get_inventory_weave()
287
 
        self.pb.update('Reading indexes.', 1, 2)
288
 
        self.revisions = self.repo._revision_store.get_revision_file(self.transaction)
289
 
        self.pb.update('Reading indexes.', 2, 2)
 
367
        self.pb.update('Reading indexes', 0, 2)
 
368
        self.inventory = self.repo.inventories
 
369
        self.pb.update('Reading indexes', 1, 2)
 
370
        self.repo._check_for_inconsistent_revision_parents()
 
371
        self.revisions = self.repo.revisions
 
372
        self.pb.update('Reading indexes', 2, 2)
290
373
 
291
374
    def _gc_inventory(self):
292
375
        """Remove inventories that are not referenced from the revision store."""
293
 
        self.pb.update('Checking unused inventories.', 0, 1)
 
376
        self.pb.update('Checking unused inventories', 0, 1)
294
377
        self._check_garbage_inventories()
295
 
        self.pb.update('Checking unused inventories.', 1, 3)
 
378
        self.pb.update('Checking unused inventories', 1, 3)
296
379
        if not self.garbage_inventories:
297
 
            self.pb.note('Inventory ok.')
 
380
            ui.ui_factory.note('Inventory ok.')
298
381
            return
299
 
        self.pb.update('Backing up inventory...', 0, 0)
300
 
        self.repo.control_weaves.copy(self.inventory, 'inventory.backup', self.transaction)
301
 
        self.pb.note('Backup Inventory created.')
 
382
        self.pb.update('Backing up inventory', 0, 0)
 
383
        self.repo._backup_inventory()
 
384
        ui.ui_factory.note('Backup Inventory created')
302
385
        # asking for '' should never return a non-empty weave
303
 
        new_inventory_vf = self.repo.control_weaves.get_empty('inventory.new',
304
 
            self.transaction)
305
 
 
 
386
        new_inventories = self.repo._temp_inventories()
306
387
        # we have topological order of revisions and non ghost parents ready.
307
 
        self._setup_steps(len(self.revisions))
308
 
        for rev_id in TopoSorter(self.revisions.get_graph().items()).iter_topo_order():
309
 
            parents = self.revisions.get_parents(rev_id)
310
 
            # double check this really is in topological order.
311
 
            unavailable = [p for p in parents if p not in new_inventory_vf]
312
 
            assert len(unavailable) == 0
313
 
            # this entry has all the non ghost parents in the inventory
314
 
            # file already.
315
 
            self._reweave_step('adding inventories')
316
 
            # ugly but needed, weaves are just way tooooo slow else.
317
 
            new_inventory_vf.add_lines(rev_id, parents, self.inventory.get_lines(rev_id))
318
 
 
 
388
        graph = self.revisions.get_parent_map(self.revisions.keys())
 
389
        revision_keys = topo_sort(graph)
 
390
        revision_ids = [key[-1] for key in revision_keys]
 
391
        self._setup_steps(len(revision_keys))
 
392
        stream = self._change_inv_parents(
 
393
            self.inventory.get_record_stream(revision_keys, 'unordered', True),
 
394
            graph.__getitem__,
 
395
            set(revision_keys))
 
396
        new_inventories.insert_record_stream(stream)
319
397
        # if this worked, the set of new_inventory_vf.names should equal
320
 
        # self.pending
321
 
        assert set(new_inventory_vf.versions()) == set(self.revisions.versions())
 
398
        # the revisionds list
 
399
        if not(set(new_inventories.keys()) == set(revision_keys)):
 
400
            raise AssertionError()
322
401
        self.pb.update('Writing weave')
323
 
        self.repo.control_weaves.copy(new_inventory_vf, 'inventory', self.transaction)
324
 
        self.repo.control_weaves.delete('inventory.new', self.transaction)
 
402
        self.repo._activate_new_inventory()
325
403
        self.inventory = None
326
 
        self.pb.note('Inventory regenerated.')
327
 
 
328
 
    def _check_garbage_inventories(self):
329
 
        """Check for garbage inventories which we cannot trust
330
 
 
331
 
        We cant trust them because their pre-requisite file data may not
332
 
        be present - all we know is that their revision was not installed.
333
 
        """
334
 
        inventories = set(self.inventory.versions())
335
 
        revisions = set(self.revisions.versions())
336
 
        garbage = inventories.difference(revisions)
337
 
        self.garbage_inventories = len(garbage)
338
 
        for revision_id in garbage:
339
 
            mutter('Garbage inventory {%s} found.', revision_id)
 
404
        ui.ui_factory.note('Inventory regenerated.')
 
405
 
 
406
    def _fix_text_parents(self):
 
407
        """Fix bad versionedfile parent entries.
 
408
 
 
409
        It is possible for the parents entry in a versionedfile entry to be
 
410
        inconsistent with the values in the revision and inventory.
 
411
 
 
412
        This method finds entries with such inconsistencies, corrects their
 
413
        parent lists, and replaces the versionedfile with a corrected version.
 
414
        """
 
415
        transaction = self.repo.get_transaction()
 
416
        versions = [key[-1] for key in self.revisions.keys()]
 
417
        mutter('Prepopulating revision text cache with %d revisions',
 
418
                len(versions))
 
419
        vf_checker = self.repo._get_versioned_file_checker()
 
420
        bad_parents, unused_versions = vf_checker.check_file_version_parents(
 
421
            self.repo.texts, self.pb)
 
422
        text_index = vf_checker.text_index
 
423
        per_id_bad_parents = {}
 
424
        for key in unused_versions:
 
425
            # Ensure that every file with unused versions gets rewritten.
 
426
            # NB: This is really not needed, reconcile != pack.
 
427
            per_id_bad_parents[key[0]] = {}
 
428
        # Generate per-knit/weave data.
 
429
        for key, details in bad_parents.iteritems():
 
430
            file_id = key[0]
 
431
            rev_id = key[1]
 
432
            knit_parents = tuple([parent[-1] for parent in details[0]])
 
433
            correct_parents = tuple([parent[-1] for parent in details[1]])
 
434
            file_details = per_id_bad_parents.setdefault(file_id, {})
 
435
            file_details[rev_id] = (knit_parents, correct_parents)
 
436
        file_id_versions = {}
 
437
        for text_key in text_index:
 
438
            versions_list = file_id_versions.setdefault(text_key[0], [])
 
439
            versions_list.append(text_key[1])
 
440
        # Do the reconcile of individual weaves.
 
441
        for num, file_id in enumerate(per_id_bad_parents):
 
442
            self.pb.update('Fixing text parents', num,
 
443
                           len(per_id_bad_parents))
 
444
            versions_with_bad_parents = per_id_bad_parents[file_id]
 
445
            id_unused_versions = set(key[-1] for key in unused_versions
 
446
                if key[0] == file_id)
 
447
            if file_id in file_id_versions:
 
448
                file_versions = file_id_versions[file_id]
 
449
            else:
 
450
                # This id was present in the disk store but is not referenced
 
451
                # by any revision at all.
 
452
                file_versions = []
 
453
            self._fix_text_parent(file_id, versions_with_bad_parents,
 
454
                 id_unused_versions, file_versions)
 
455
 
 
456
    def _fix_text_parent(self, file_id, versions_with_bad_parents,
 
457
            unused_versions, all_versions):
 
458
        """Fix bad versionedfile entries in a single versioned file."""
 
459
        mutter('fixing text parent: %r (%d versions)', file_id,
 
460
                len(versions_with_bad_parents))
 
461
        mutter('(%d are unused)', len(unused_versions))
 
462
        new_file_id = 'temp:%s' % file_id
 
463
        new_parents = {}
 
464
        needed_keys = set()
 
465
        for version in all_versions:
 
466
            if version in unused_versions:
 
467
                continue
 
468
            elif version in versions_with_bad_parents:
 
469
                parents = versions_with_bad_parents[version][1]
 
470
            else:
 
471
                pmap = self.repo.texts.get_parent_map([(file_id, version)])
 
472
                parents = [key[-1] for key in pmap[(file_id, version)]]
 
473
            new_parents[(new_file_id, version)] = [
 
474
                (new_file_id, parent) for parent in parents]
 
475
            needed_keys.add((file_id, version))
 
476
        def fix_parents(stream):
 
477
            for record in stream:
 
478
                bytes = record.get_bytes_as('fulltext')
 
479
                new_key = (new_file_id, record.key[-1])
 
480
                parents = new_parents[new_key]
 
481
                yield FulltextContentFactory(new_key, parents, record.sha1, bytes)
 
482
        stream = self.repo.texts.get_record_stream(needed_keys, 'topological', True)
 
483
        self.repo._remove_file_id(new_file_id)
 
484
        self.repo.texts.insert_record_stream(fix_parents(stream))
 
485
        self.repo._remove_file_id(file_id)
 
486
        if len(new_parents):
 
487
            self.repo._move_file_id(new_file_id, file_id)
 
488
 
 
489
 
 
490
class PackReconciler(RepoReconciler):
 
491
    """Reconciler that reconciles a pack based repository.
 
492
 
 
493
    Garbage inventories do not affect ancestry queries, and removal is
 
494
    considerably more expensive as there is no separate versioned file for
 
495
    them, so they are not cleaned. In short it is currently a no-op.
 
496
 
 
497
    In future this may be a good place to hook in annotation cache checking,
 
498
    index recreation etc.
 
499
    """
 
500
 
 
501
    # XXX: The index corruption that _fix_text_parents performs is needed for
 
502
    # packs, but not yet implemented. The basic approach is to:
 
503
    #  - lock the names list
 
504
    #  - perform a customised pack() that regenerates data as needed
 
505
    #  - unlock the names list
 
506
    # https://bugs.launchpad.net/bzr/+bug/154173
 
507
 
 
508
    def __init__(self, repo, other=None, thorough=False,
 
509
            canonicalize_chks=False):
 
510
        super(PackReconciler, self).__init__(repo, other=other,
 
511
            thorough=thorough)
 
512
        self.canonicalize_chks = canonicalize_chks
 
513
 
 
514
    def _reconcile_steps(self):
 
515
        """Perform the steps to reconcile this repository."""
 
516
        if not self.thorough:
 
517
            return
 
518
        collection = self.repo._pack_collection
 
519
        collection.ensure_loaded()
 
520
        collection.lock_names()
 
521
        self.add_cleanup(collection._unlock_names)
 
522
        packs = collection.all_packs()
 
523
        all_revisions = self.repo.all_revision_ids()
 
524
        total_inventories = len(list(
 
525
            collection.inventory_index.combined_index.iter_all_entries()))
 
526
        if len(all_revisions):
 
527
            if self.canonicalize_chks:
 
528
                reconcile_meth = self.repo._canonicalize_chks_pack
 
529
            else:
 
530
                reconcile_meth = self.repo._reconcile_pack
 
531
            new_pack = reconcile_meth(collection, packs, ".reconcile",
 
532
                all_revisions, self.pb)
 
533
            if new_pack is not None:
 
534
                self._discard_and_save(packs)
 
535
        else:
 
536
            # only make a new pack when there is data to copy.
 
537
            self._discard_and_save(packs)
 
538
        self.garbage_inventories = total_inventories - len(list(
 
539
            collection.inventory_index.combined_index.iter_all_entries()))
 
540
 
 
541
    def _discard_and_save(self, packs):
 
542
        """Discard some packs from the repository.
 
543
 
 
544
        This removes them from the memory index, saves the in-memory index
 
545
        which makes the newly reconciled pack visible and hides the packs to be
 
546
        discarded, and finally renames the packs being discarded into the
 
547
        obsolete packs directory.
 
548
 
 
549
        :param packs: The packs to discard.
 
550
        """
 
551
        for pack in packs:
 
552
            self.repo._pack_collection._remove_pack_from_memory(pack)
 
553
        self.repo._pack_collection._save_pack_names()
 
554
        self.repo._pack_collection._obsolete_packs(packs)