← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/check.py

  • Committer: Martin Pool
  • Date: 2005-08-29 06:56:22 UTC
  • Revision ID: mbp@sourcefrog.net-20050829065622-5aa7add87c38f188
- additional trace messages for plugins

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/check.py
15
15
# along with this program; if not, write to the Free Software
16
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
17
 
18
 
 
19
 
 
20
 
######################################################################
21
 
# consistency checks
22
 
 
23
 
import sys
24
 
from sets import Set
25
 
 
26
 
import bzrlib
27
 
from trace import mutter
28
 
from errors import bailout
29
 
import osutils
30
 
 
31
 
def check(branch, progress=True):
32
 
    out = sys.stdout
33
 
 
34
 
    if progress:
35
 
        def p(m):
36
 
            mutter('checking ' + m)
37
 
            out.write('\rchecking: %-50.50s' % m)
38
 
            out.flush()
39
 
    else:
40
 
        def p(m):
41
 
            mutter('checking ' + m)
42
 
 
43
 
    p('history of %r' % branch.base)
44
 
    last_ptr = None
45
 
    checked_revs = Set()
46
 
    
47
 
    history = branch.revision_history()
48
 
    revno = 0
49
 
    revcount = len(history)
50
 
 
51
 
    checked_texts = {}
52
 
    
53
 
    for rid in history:
54
 
        revno += 1
55
 
        p('revision %d/%d' % (revno, revcount))
56
 
        mutter('    revision {%s}' % rid)
57
 
        rev = branch.get_revision(rid)
58
 
        if rev.revision_id != rid:
59
 
            bailout('wrong internal revision id in revision {%s}' % rid)
60
 
        if rev.precursor != last_ptr:
61
 
            bailout('mismatched precursor in revision {%s}' % rid)
62
 
        last_ptr = rid
63
 
        if rid in checked_revs:
64
 
            bailout('repeated revision {%s}' % rid)
65
 
        checked_revs.add(rid)
66
 
 
67
 
        ## TODO: Check all the required fields are present on the revision.
68
 
 
69
 
        inv = branch.get_inventory(rev.inventory_id)
70
 
        seen_ids = Set()
71
 
        seen_names = Set()
72
 
 
73
 
        p('revision %d/%d file ids' % (revno, revcount))
74
 
        for file_id in inv:
75
 
            if file_id in seen_ids:
76
 
                bailout('duplicated file_id {%s} in inventory for revision {%s}'
77
 
                        % (file_id, revid))
78
 
            seen_ids.add(file_id)
79
 
 
80
 
        i = 0
81
 
        len_inv = len(inv)
82
 
        for file_id in inv:
83
 
            i += 1
84
 
            if (i % 100) == 0:
85
 
                p('revision %d/%d file text %d/%d' % (revno, revcount, i, len_inv))
86
 
 
87
 
            ie = inv[file_id]
88
 
 
89
 
            if ie.parent_id != None:
90
 
                if ie.parent_id not in seen_ids:
91
 
                    bailout('missing parent {%s} in inventory for revision {%s}'
92
 
                            % (ie.parent_id, revid))
93
 
 
94
 
            if ie.kind == 'file':
95
 
                if ie.text_id in checked_texts:
96
 
                    fp = checked_texts[ie.text_id]
 
18
import bzrlib.ui
 
19
from bzrlib.trace import note, warning
 
20
 
 
21
def _update_store_entry(obj, obj_id, branch, store_name, store):
 
22
    """This is just a meta-function, which handles both revision entries
 
23
    and inventory entries.
 
24
    """
 
25
    from bzrlib.trace import mutter
 
26
    import tempfile, os, errno
 
27
    from osutils import rename
 
28
    obj_tmp = tempfile.TemporaryFile()
 
29
    obj.write_xml(obj_tmp)
 
30
    obj_tmp.seek(0)
 
31
 
 
32
    tmpfd, tmp_path = tempfile.mkstemp(prefix=obj_id, suffix='.gz',
 
33
        dir=branch.controlfilename(store_name))
 
34
    os.close(tmpfd)
 
35
    try:
 
36
        orig_obj_path = branch.controlfilename([store_name, obj_id+'.gz'])
 
37
        # Remove the old entry out of the way
 
38
        rename(orig_obj_path, tmp_path)
 
39
        try:
 
40
            # TODO: We may need to handle the case where the old
 
41
            # entry was not compressed (and thus did not end with .gz)
 
42
 
 
43
            store.add(obj_tmp, obj_id) # Add the new one
 
44
            os.remove(tmp_path) # Remove the old name
 
45
            mutter('    Updated %s entry {%s}' % (store_name, obj_id))
 
46
        except:
 
47
            # On any exception, restore the old entry
 
48
            rename(tmp_path, orig_obj_path)
 
49
            raise
 
50
    finally:
 
51
        if os.path.exists(tmp_path):
 
52
            # Unfortunately, the next command might throw
 
53
            # an exception, which will mask a previous exception.
 
54
            os.remove(tmp_path)
 
55
        obj_tmp.close()
 
56
 
 
57
def _update_revision_entry(rev, branch):
 
58
    """After updating the values in a revision, make sure to
 
59
    write out the data, but try to do it in an atomic manner.
 
60
 
 
61
    :param rev:    The Revision object to store
 
62
    :param branch: The Branch object where this Revision is to be stored.
 
63
    """
 
64
    _update_store_entry(rev, rev.revision_id, branch,
 
65
            'revision-store', branch.revision_store)
 
66
 
 
67
def _update_inventory_entry(inv, inv_id, branch):
 
68
    """When an inventory has been modified (such as by adding a unique tree root)
 
69
    this atomically re-generates the file.
 
70
 
 
71
    :param inv:     The Inventory
 
72
    :param inv_id:  The inventory id for this inventory
 
73
    :param branch:  The Branch where this entry will be stored.
 
74
    """
 
75
    _update_store_entry(inv, inv_id, branch,
 
76
            'inventory-store', branch.inventory_store)
 
77
 
 
78
 
 
79
def check(branch):
 
80
    """Run consistency checks on a branch.
 
81
 
 
82
    TODO: Also check non-mainline revisions mentioned as parents.
 
83
 
 
84
    TODO: Check for extra files in the control directory.
 
85
    """
 
86
    from bzrlib.trace import mutter
 
87
    from bzrlib.errors import BzrCheckError, NoSuchRevision
 
88
    from bzrlib.osutils import fingerprint_file
 
89
    from bzrlib.inventory import ROOT_ID
 
90
    from bzrlib.branch import gen_root_id
 
91
 
 
92
    branch.lock_read()
 
93
 
 
94
    try:
 
95
        last_rev_id = None
 
96
 
 
97
        missing_inventory_sha_cnt = 0
 
98
        missing_revision_sha_cnt = 0
 
99
        missing_revision_cnt = 0
 
100
 
 
101
        history = branch.revision_history()
 
102
        revno = 0
 
103
        revcount = len(history)
 
104
        mismatch_inv_id = []
 
105
 
 
106
        # for all texts checked, text_id -> sha1
 
107
        checked_texts = {}
 
108
 
 
109
        progress = bzrlib.ui.ui_factory.progress_bar()
 
110
 
 
111
        for rev_id in history:
 
112
            revno += 1
 
113
            progress.update('checking revision', revno, revcount)
 
114
            # mutter('    revision {%s}' % rev_id)
 
115
            rev = branch.get_revision(rev_id)
 
116
            if rev.revision_id != rev_id:
 
117
                raise BzrCheckError('wrong internal revision id in revision {%s}'
 
118
                                    % rev_id)
 
119
 
 
120
            # check the previous history entry is a parent of this entry
 
121
            if rev.parents:
 
122
                if last_rev_id is None:
 
123
                    raise BzrCheckError("revision {%s} has %d parents, but is the "
 
124
                                        "start of the branch"
 
125
                                        % (rev_id, len(rev.parents)))
 
126
                for prr in rev.parents:
 
127
                    if prr.revision_id == last_rev_id:
 
128
                        break
97
129
                else:
98
 
                    if not ie.text_id in branch.text_store:
99
 
                        bailout('text {%s} not in text_store' % ie.text_id)
100
 
 
101
 
                    tf = branch.text_store[ie.text_id]
102
 
                    fp = osutils.fingerprint_file(tf)
103
 
                    checked_texts[ie.text_id] = fp
104
 
 
105
 
                if ie.text_size != fp['size']:
106
 
                    bailout('text {%s} wrong size' % ie.text_id)
107
 
                if ie.text_sha1 != fp['sha1']:
108
 
                    bailout('text {%s} wrong sha1' % ie.text_id)
109
 
            elif ie.kind == 'directory':
110
 
                if ie.text_sha1 != None or ie.text_size != None or ie.text_id != None:
111
 
                    bailout('directory {%s} has text in revision {%s}'
112
 
                            % (file_id, revid))
113
 
 
114
 
        p('revision %d/%d file paths' % (revno, revcount))
115
 
        for path, ie in inv.iter_entries():
116
 
            if path in seen_names:
117
 
                bailout('duplicated path %r in inventory for revision {%s}' % (path, revid))
118
 
            seen_names.add(path)
119
 
 
120
 
 
121
 
    p('done')
122
 
    if progress:
123
 
        print 
124
 
 
125
 
 
 
130
                    raise BzrCheckError("previous revision {%s} not listed among "
 
131
                                        "parents of {%s}"
 
132
                                        % (last_rev_id, rev_id))
 
133
 
 
134
                for prr in rev.parents:
 
135
                    if prr.revision_sha1 is None:
 
136
                        missing_revision_sha_cnt += 1
 
137
                        continue
 
138
                    prid = prr.revision_id
 
139
                    
 
140
                    try:
 
141
                        actual_sha = branch.get_revision_sha1(prid)
 
142
                    except NoSuchRevision:
 
143
                        missing_revision_cnt += 1
 
144
                        mutter("parent {%s} of {%s} not present in store",
 
145
                               prid, rev_id)
 
146
                        continue
 
147
                        
 
148
                    if prr.revision_sha1 != actual_sha:
 
149
                        raise BzrCheckError("mismatched revision sha1 for "
 
150
                                            "parent {%s} of {%s}: %s vs %s"
 
151
                                            % (prid, rev_id,
 
152
                                               prr.revision_sha1, actual_sha))
 
153
            elif last_rev_id:
 
154
                raise BzrCheckError("revision {%s} has no parents listed but preceded "
 
155
                                    "by {%s}"
 
156
                                    % (rev_id, last_rev_id))
 
157
 
 
158
            if rev.inventory_id != rev_id:
 
159
                mismatch_inv_id.append(rev_id)
 
160
 
 
161
            ## TODO: Check all the required fields are present on the revision.
 
162
 
 
163
            if rev.inventory_sha1:
 
164
                inv_sha1 = branch.get_inventory_sha1(rev.inventory_id)
 
165
                if inv_sha1 != rev.inventory_sha1:
 
166
                    raise BzrCheckError('Inventory sha1 hash doesn\'t match'
 
167
                        ' value in revision {%s}' % rev_id)
 
168
            else:
 
169
                missing_inventory_sha_cnt += 1
 
170
                mutter("no inventory_sha1 on revision {%s}" % rev_id)
 
171
 
 
172
            inv = branch.get_inventory(rev.inventory_id)
 
173
            seen_ids = {}
 
174
            seen_names = {}
 
175
 
 
176
            ## p('revision %d/%d file ids' % (revno, revcount))
 
177
            for file_id in inv:
 
178
                if file_id in seen_ids:
 
179
                    raise BzrCheckError('duplicated file_id {%s} '
 
180
                                        'in inventory for revision {%s}'
 
181
                                        % (file_id, rev_id))
 
182
                seen_ids[file_id] = True
 
183
 
 
184
            i = 0
 
185
            for file_id in inv:
 
186
                i += 1
 
187
                if i & 31 == 0:
 
188
                    progress.tick()
 
189
 
 
190
                ie = inv[file_id]
 
191
 
 
192
                if ie.parent_id != None:
 
193
                    if ie.parent_id not in seen_ids:
 
194
                        raise BzrCheckError('missing parent {%s} in inventory for revision {%s}'
 
195
                                % (ie.parent_id, rev_id))
 
196
 
 
197
                if ie.kind == 'file':
 
198
                    if ie.text_id in checked_texts:
 
199
                        fp = checked_texts[ie.text_id]
 
200
                    else:
 
201
                        if not ie.text_id in branch.text_store:
 
202
                            raise BzrCheckError('text {%s} not in text_store' % ie.text_id)
 
203
 
 
204
                        tf = branch.text_store[ie.text_id]
 
205
                        fp = fingerprint_file(tf)
 
206
                        checked_texts[ie.text_id] = fp
 
207
 
 
208
                    if ie.text_size != fp['size']:
 
209
                        raise BzrCheckError('text {%s} wrong size' % ie.text_id)
 
210
                    if ie.text_sha1 != fp['sha1']:
 
211
                        raise BzrCheckError('text {%s} wrong sha1' % ie.text_id)
 
212
                elif ie.kind == 'directory':
 
213
                    if ie.text_sha1 != None or ie.text_size != None or ie.text_id != None:
 
214
                        raise BzrCheckError('directory {%s} has text in revision {%s}'
 
215
                                % (file_id, rev_id))
 
216
 
 
217
            progress.tick()
 
218
            for path, ie in inv.iter_entries():
 
219
                if path in seen_names:
 
220
                    raise BzrCheckError('duplicated path %s '
 
221
                                        'in inventory for revision {%s}'
 
222
                                        % (path, rev_id))
 
223
            seen_names[path] = True
 
224
            last_rev_id = rev_id
 
225
 
 
226
    finally:
 
227
        branch.unlock()
 
228
 
 
229
    progress.clear()
 
230
 
 
231
    note('checked %d revisions, %d file texts' % (revcount, len(checked_texts)))
 
232
    
 
233
    if missing_inventory_sha_cnt:
 
234
        note('%d revisions are missing inventory_sha1' % missing_inventory_sha_cnt)
 
235
 
 
236
    if missing_revision_sha_cnt:
 
237
        note('%d parent links are missing revision_sha1' % missing_revision_sha_cnt)
 
238
 
 
239
    if missing_revision_cnt:
 
240
        note('%d revisions are mentioned but not present' % missing_revision_cnt)
 
241
 
 
242
    # stub this out for now because the main bzr branch has references
 
243
    # to revisions that aren't present in the store -- mbp 20050804
 
244
#    if (missing_inventory_sha_cnt
 
245
#        or missing_revision_sha_cnt):
 
246
#        print '  (use "bzr upgrade" to fix them)'
 
247
 
 
248
    if mismatch_inv_id:
 
249
        warning('%d revisions have mismatched inventory ids:' % len(mismatch_inv_id))
 
250
        for rev_id in mismatch_inv_id:
 
251
            warning('  %s', rev_id)