← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/check.py

  • Committer: Martin Pool
  • Date: 2005-06-20 04:33:23 UTC
  • Revision ID: mbp@sourcefrog.net-20050620043323-1f681c2b5b15d026
- write into store using AtomicFile

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/check.py
17
17
 
18
18
 
19
19
 
20
 
######################################################################
21
 
# consistency checks
22
 
 
23
 
import sys
24
 
from sets import Set
25
 
 
26
 
import bzrlib
27
 
from trace import mutter
28
 
from errors import bailout
29
 
import osutils
30
 
 
31
 
def check(branch, progress=True):
32
 
    out = sys.stdout
33
 
 
34
 
    if progress:
35
 
        def p(m):
36
 
            mutter('checking ' + m)
37
 
            out.write('\rchecking: %-50.50s' % m)
38
 
            out.flush()
39
 
    else:
40
 
        def p(m):
41
 
            mutter('checking ' + m)
42
 
 
43
 
    p('history of %r' % branch.base)
44
 
    last_ptr = None
45
 
    checked_revs = Set()
46
 
    
47
 
    history = branch.revision_history()
48
 
    revno = 0
49
 
    revcount = len(history)
50
 
 
51
 
    checked_texts = {}
52
 
    
53
 
    for rid in history:
54
 
        revno += 1
55
 
        p('revision %d/%d' % (revno, revcount))
56
 
        mutter('    revision {%s}' % rid)
57
 
        rev = branch.get_revision(rid)
58
 
        if rev.revision_id != rid:
59
 
            bailout('wrong internal revision id in revision {%s}' % rid)
60
 
        if rev.precursor != last_ptr:
61
 
            bailout('mismatched precursor in revision {%s}' % rid)
62
 
        last_ptr = rid
63
 
        if rid in checked_revs:
64
 
            bailout('repeated revision {%s}' % rid)
65
 
        checked_revs.add(rid)
66
 
 
67
 
        ## TODO: Check all the required fields are present on the revision.
68
 
 
69
 
        inv = branch.get_inventory(rev.inventory_id)
70
 
        seen_ids = Set()
71
 
        seen_names = Set()
72
 
 
73
 
        p('revision %d/%d file ids' % (revno, revcount))
74
 
        for file_id in inv:
75
 
            if file_id in seen_ids:
76
 
                bailout('duplicated file_id {%s} in inventory for revision {%s}'
77
 
                        % (file_id, revid))
78
 
            seen_ids.add(file_id)
79
 
 
80
 
        i = 0
81
 
        len_inv = len(inv)
82
 
        for file_id in inv:
83
 
            i += 1
84
 
            if (i % 100) == 0:
85
 
                p('revision %d/%d file text %d/%d' % (revno, revcount, i, len_inv))
86
 
 
87
 
            ie = inv[file_id]
88
 
 
89
 
            if ie.parent_id != None:
90
 
                if ie.parent_id not in seen_ids:
91
 
                    bailout('missing parent {%s} in inventory for revision {%s}'
92
 
                            % (ie.parent_id, revid))
93
 
 
94
 
            if ie.kind == 'file':
95
 
                if ie.text_id in checked_texts:
96
 
                    fp = checked_texts[ie.text_id]
 
20
 
 
21
def check(branch):
 
22
    """Run consistency checks on a branch.
 
23
 
 
24
    TODO: Also check non-mailine revisions mentioned as parents.
 
25
    """
 
26
    from bzrlib.trace import mutter
 
27
    from bzrlib.errors import BzrCheckError
 
28
    from bzrlib.osutils import fingerprint_file
 
29
    from bzrlib.progress import ProgressBar
 
30
 
 
31
    branch.lock_read()
 
32
 
 
33
    try:
 
34
        pb = ProgressBar(show_spinner=True)
 
35
        last_rev_id = None
 
36
 
 
37
        missing_inventory_sha_cnt = 0
 
38
        missing_revision_sha_cnt = 0
 
39
 
 
40
        history = branch.revision_history()
 
41
        revno = 0
 
42
        revcount = len(history)
 
43
 
 
44
        # for all texts checked, text_id -> sha1
 
45
        checked_texts = {}
 
46
 
 
47
        for rev_id in history:
 
48
            revno += 1
 
49
            pb.update('checking revision', revno, revcount)
 
50
            mutter('    revision {%s}' % rev_id)
 
51
            rev = branch.get_revision(rev_id)
 
52
            if rev.revision_id != rev_id:
 
53
                raise BzrCheckError('wrong internal revision id in revision {%s}'
 
54
                                    % rev_id)
 
55
 
 
56
            # check the previous history entry is a parent of this entry
 
57
            if rev.parents:
 
58
                if last_rev_id is None:
 
59
                    raise BzrCheckError("revision {%s} has %d parents, but is the "
 
60
                                        "start of the branch"
 
61
                                        % (rev_id, len(rev.parents)))
 
62
                for prr in rev.parents:
 
63
                    if prr.revision_id == last_rev_id:
 
64
                        break
97
65
                else:
98
 
                    if not ie.text_id in branch.text_store:
99
 
                        bailout('text {%s} not in text_store' % ie.text_id)
100
 
 
101
 
                    tf = branch.text_store[ie.text_id]
102
 
                    fp = osutils.fingerprint_file(tf)
103
 
                    checked_texts[ie.text_id] = fp
104
 
 
105
 
                if ie.text_size != fp['size']:
106
 
                    bailout('text {%s} wrong size' % ie.text_id)
107
 
                if ie.text_sha1 != fp['sha1']:
108
 
                    bailout('text {%s} wrong sha1' % ie.text_id)
109
 
            elif ie.kind == 'directory':
110
 
                if ie.text_sha1 != None or ie.text_size != None or ie.text_id != None:
111
 
                    bailout('directory {%s} has text in revision {%s}'
112
 
                            % (file_id, revid))
113
 
 
114
 
        p('revision %d/%d file paths' % (revno, revcount))
115
 
        for path, ie in inv.iter_entries():
116
 
            if path in seen_names:
117
 
                bailout('duplicated path %r in inventory for revision {%s}' % (path, revid))
118
 
            seen_names.add(path)
119
 
 
120
 
 
121
 
    p('done')
122
 
    if progress:
123
 
        print 
124
 
 
125
 
 
 
66
                    raise BzrCheckError("previous revision {%s} not listed among "
 
67
                                        "parents of {%s}"
 
68
                                        % (last_rev_id, rev_id))
 
69
 
 
70
                for prr in rev.parents:
 
71
                    if prr.revision_sha1 is None:
 
72
                        missing_revision_sha_cnt += 1
 
73
                        continue
 
74
                    prid = prr.revision_id
 
75
                    actual_sha = branch.get_revision_sha1(prid)
 
76
                    if prr.revision_sha1 != actual_sha:
 
77
                        raise BzrCheckError("mismatched revision sha1 for "
 
78
                                            "parent {%s} of {%s}: %s vs %s"
 
79
                                            % (prid, rev_id,
 
80
                                               prr.revision_sha1, actual_sha))
 
81
            elif last_rev_id:
 
82
                raise BzrCheckError("revision {%s} has no parents listed but preceded "
 
83
                                    "by {%s}"
 
84
                                    % (rev_id, last_rev_id))
 
85
 
 
86
            ## TODO: Check all the required fields are present on the revision.
 
87
 
 
88
            if rev.inventory_sha1:
 
89
                inv_sha1 = branch.get_inventory_sha1(rev.inventory_id)
 
90
                if inv_sha1 != rev.inventory_sha1:
 
91
                    raise BzrCheckError('Inventory sha1 hash doesn\'t match'
 
92
                        ' value in revision {%s}' % rev_id)
 
93
            else:
 
94
                missing_inventory_sha_cnt += 1
 
95
                mutter("no inventory_sha1 on revision {%s}" % rev_id)
 
96
 
 
97
            inv = branch.get_inventory(rev.inventory_id)
 
98
            seen_ids = {}
 
99
            seen_names = {}
 
100
 
 
101
            ## p('revision %d/%d file ids' % (revno, revcount))
 
102
            for file_id in inv:
 
103
                if file_id in seen_ids:
 
104
                    raise BzrCheckError('duplicated file_id {%s} '
 
105
                                        'in inventory for revision {%s}'
 
106
                                        % (file_id, rev_id))
 
107
                seen_ids[file_id] = True
 
108
 
 
109
            i = 0
 
110
            for file_id in inv:
 
111
                i += 1
 
112
                if i & 31 == 0:
 
113
                    pb.tick()
 
114
 
 
115
                ie = inv[file_id]
 
116
 
 
117
                if ie.parent_id != None:
 
118
                    if ie.parent_id not in seen_ids:
 
119
                        raise BzrCheckError('missing parent {%s} in inventory for revision {%s}'
 
120
                                % (ie.parent_id, rev_id))
 
121
 
 
122
                if ie.kind == 'file':
 
123
                    if ie.text_id in checked_texts:
 
124
                        fp = checked_texts[ie.text_id]
 
125
                    else:
 
126
                        if not ie.text_id in branch.text_store:
 
127
                            raise BzrCheckError('text {%s} not in text_store' % ie.text_id)
 
128
 
 
129
                        tf = branch.text_store[ie.text_id]
 
130
                        fp = fingerprint_file(tf)
 
131
                        checked_texts[ie.text_id] = fp
 
132
 
 
133
                    if ie.text_size != fp['size']:
 
134
                        raise BzrCheckError('text {%s} wrong size' % ie.text_id)
 
135
                    if ie.text_sha1 != fp['sha1']:
 
136
                        raise BzrCheckError('text {%s} wrong sha1' % ie.text_id)
 
137
                elif ie.kind == 'directory':
 
138
                    if ie.text_sha1 != None or ie.text_size != None or ie.text_id != None:
 
139
                        raise BzrCheckError('directory {%s} has text in revision {%s}'
 
140
                                % (file_id, rev_id))
 
141
 
 
142
            pb.tick()
 
143
            for path, ie in inv.iter_entries():
 
144
                if path in seen_names:
 
145
                    raise BzrCheckError('duplicated path %s '
 
146
                                        'in inventory for revision {%s}'
 
147
                                        % (path, rev_id))
 
148
            seen_names[path] = True
 
149
            last_rev_id = rev_id
 
150
 
 
151
    finally:
 
152
        branch.unlock()
 
153
 
 
154
    pb.clear()
 
155
 
 
156
    print 'checked %d revisions, %d file texts' % (revcount, len(checked_texts))
 
157
    
 
158
    if missing_inventory_sha_cnt:
 
159
        print '%d revisions are missing inventory_sha1' % missing_inventory_sha_cnt
 
160
 
 
161
    if missing_revision_sha_cnt:
 
162
        print '%d parent links are missing revision_sha1' % missing_revision_sha_cnt
 
163
 
 
164
    if (missing_inventory_sha_cnt
 
165
        or missing_revision_sha_cnt):
 
166
        print '  (use "bzr upgrade" to fix them)'