← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/check.py

  • Committer: Martin Pool
  • Date: 2005-06-11 01:58:46 UTC
  • Revision ID: mbp@sourcefrog.net-20050611015846-025426c28372ea3f
- lock branch while checking

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/check.py
31
31
    from bzrlib.errors import BzrCheckError
32
32
    from bzrlib.osutils import fingerprint_file
33
33
    from bzrlib.progress import ProgressBar
34
 
    
35
 
    out = sys.stdout
36
 
 
37
 
    pb = ProgressBar(show_spinner=True)
38
 
    last_ptr = None
39
 
    checked_revs = {}
40
 
 
41
 
    missing_inventory_sha_cnt = 0
42
 
    
43
 
    history = branch.revision_history()
44
 
    revno = 0
45
 
    revcount = len(history)
46
 
 
47
 
    checked_texts = {}
48
 
 
49
 
    updated_revisions = []
50
 
 
51
 
    # Set to True in the case that the previous revision entry
52
 
    # was updated, since this will affect future revision entries
53
 
    updated_previous_revision = False
54
 
    
55
 
    for rid in history:
56
 
        revno += 1
57
 
        pb.update('checking revision', revno, revcount)
58
 
        mutter('    revision {%s}' % rid)
59
 
        rev = branch.get_revision(rid)
60
 
        if rev.revision_id != rid:
61
 
            raise BzrCheckError('wrong internal revision id in revision {%s}' % rid)
62
 
        if rev.precursor != last_ptr:
63
 
            raise BzrCheckError('mismatched precursor in revision {%s}' % rid)
64
 
        last_ptr = rid
65
 
        if rid in checked_revs:
66
 
            raise BzrCheckError('repeated revision {%s}' % rid)
67
 
        checked_revs[rid] = True
68
 
 
69
 
        ## TODO: Check all the required fields are present on the revision.
70
 
 
71
 
        updated = False
72
 
        if rev.inventory_sha1:
73
 
            #mutter('    checking inventory hash {%s}' % rev.inventory_sha1)
74
 
            inv_sha1 = branch.get_inventory_sha1(rev.inventory_id)
75
 
            if inv_sha1 != rev.inventory_sha1:
76
 
                raise BzrCheckError('Inventory sha1 hash doesn\'t match'
77
 
                    ' value in revision {%s}' % rid)
78
 
        elif update:
79
 
            inv_sha1 = branch.get_inventory_sha1(rev.inventory_id)
80
 
            rev.inventory_sha1 = inv_sha1
81
 
            updated = True
82
 
        else:
83
 
            missing_inventory_sha_cnt += 1
84
 
            mutter("no inventory_sha1 on revision {%s}" % rid)
85
 
 
86
 
        if rev.precursor:
87
 
            if rev.precursor_sha1:
88
 
                precursor_sha1 = branch.get_revision_sha1(rev.precursor)
89
 
                if updated_previous_revision: 
90
 
                    # we don't expect the hashes to match, because
91
 
                    # we had to modify the previous revision_history entry.
 
34
 
 
35
    if update:
 
36
        branch.lock_write()
 
37
    else:
 
38
        branch.lock_read()
 
39
 
 
40
    try:
 
41
 
 
42
        out = sys.stdout
 
43
 
 
44
        pb = ProgressBar(show_spinner=True)
 
45
        last_ptr = None
 
46
        checked_revs = {}
 
47
 
 
48
        missing_inventory_sha_cnt = 0
 
49
 
 
50
        history = branch.revision_history()
 
51
        revno = 0
 
52
        revcount = len(history)
 
53
 
 
54
        checked_texts = {}
 
55
 
 
56
        updated_revisions = []
 
57
 
 
58
        # Set to True in the case that the previous revision entry
 
59
        # was updated, since this will affect future revision entries
 
60
        updated_previous_revision = False
 
61
 
 
62
        for rid in history:
 
63
            revno += 1
 
64
            pb.update('checking revision', revno, revcount)
 
65
            mutter('    revision {%s}' % rid)
 
66
            rev = branch.get_revision(rid)
 
67
            if rev.revision_id != rid:
 
68
                raise BzrCheckError('wrong internal revision id in revision {%s}' % rid)
 
69
            if rev.precursor != last_ptr:
 
70
                raise BzrCheckError('mismatched precursor in revision {%s}' % rid)
 
71
            last_ptr = rid
 
72
            if rid in checked_revs:
 
73
                raise BzrCheckError('repeated revision {%s}' % rid)
 
74
            checked_revs[rid] = True
 
75
 
 
76
            ## TODO: Check all the required fields are present on the revision.
 
77
 
 
78
            updated = False
 
79
            if rev.inventory_sha1:
 
80
                #mutter('    checking inventory hash {%s}' % rev.inventory_sha1)
 
81
                inv_sha1 = branch.get_inventory_sha1(rev.inventory_id)
 
82
                if inv_sha1 != rev.inventory_sha1:
 
83
                    raise BzrCheckError('Inventory sha1 hash doesn\'t match'
 
84
                        ' value in revision {%s}' % rid)
 
85
            elif update:
 
86
                inv_sha1 = branch.get_inventory_sha1(rev.inventory_id)
 
87
                rev.inventory_sha1 = inv_sha1
 
88
                updated = True
 
89
            else:
 
90
                missing_inventory_sha_cnt += 1
 
91
                mutter("no inventory_sha1 on revision {%s}" % rid)
 
92
 
 
93
            if rev.precursor:
 
94
                if rev.precursor_sha1:
 
95
                    precursor_sha1 = branch.get_revision_sha1(rev.precursor)
 
96
                    if updated_previous_revision: 
 
97
                        # we don't expect the hashes to match, because
 
98
                        # we had to modify the previous revision_history entry.
 
99
                        rev.precursor_sha1 = precursor_sha1
 
100
                        updated = True
 
101
                    else:
 
102
                        #mutter('    checking precursor hash {%s}' % rev.precursor_sha1)
 
103
                        if rev.precursor_sha1 != precursor_sha1:
 
104
                            raise BzrCheckError('Precursor sha1 hash doesn\'t match'
 
105
                                ' value in revision {%s}' % rid)
 
106
                elif update:
 
107
                    precursor_sha1 = branch.get_revision_sha1(rev.precursor)
92
108
                    rev.precursor_sha1 = precursor_sha1
93
109
                    updated = True
94
 
                else:
95
 
                    #mutter('    checking precursor hash {%s}' % rev.precursor_sha1)
96
 
                    if rev.precursor_sha1 != precursor_sha1:
97
 
                        raise BzrCheckError('Precursor sha1 hash doesn\'t match'
98
 
                            ' value in revision {%s}' % rid)
99
 
            elif update:
100
 
                precursor_sha1 = branch.get_revision_sha1(rev.precursor)
101
 
                rev.precursor_sha1 = precursor_sha1
102
 
                updated = True
103
 
 
104
 
        if updated:
105
 
            updated_previous_revision = True
106
 
            # We had to update this revision entries hashes
107
 
            # Now we need to write out a new value
108
 
            # This is a little bit invasive, since we are *rewriting* a
109
 
            # revision entry. I'm not supremely happy about it, but
110
 
            # there should be *some* way of making old entries have
111
 
            # the full meta information.
112
 
            import tempfile, os, errno
113
 
            rev_tmp = tempfile.TemporaryFile()
114
 
            rev.write_xml(rev_tmp)
115
 
            rev_tmp.seek(0)
116
 
 
117
 
            tmpfd, tmp_path = tempfile.mkstemp(prefix=rid, suffix='.gz',
118
 
                dir=branch.controlfilename('revision-store'))
119
 
            os.close(tmpfd)
120
 
            def special_rename(p1, p2):
121
 
                if sys.platform == 'win32':
122
 
                    try:
123
 
                        os.remove(p2)
124
 
                    except OSError, e:
125
 
                        if e.errno != e.ENOENT:
126
 
                            raise
127
 
                os.rename(p1, p2)
128
 
 
129
 
            try:
130
 
                # TODO: We may need to handle the case where the old revision
131
 
                # entry was not compressed (and thus did not end with .gz)
132
 
 
133
 
                # Remove the old revision entry out of the way
134
 
                rev_path = branch.controlfilename(['revision-store', rid+'.gz'])
135
 
                special_rename(rev_path, tmp_path)
136
 
                branch.revision_store.add(rev_tmp, rid) # Add the new one
137
 
                os.remove(tmp_path) # Remove the old name
138
 
                mutter('    Updated revision entry {%s}' % rid)
139
 
            except:
140
 
                # On any exception, restore the old entry
141
 
                special_rename(tmp_path, rev_path)
142
 
                raise
143
 
            rev_tmp.close()
144
 
            updated_revisions.append(rid)
145
 
        else:
146
 
            updated_previous_revision = False
147
 
            
148
 
        inv = branch.get_inventory(rev.inventory_id)
149
 
        seen_ids = {}
150
 
        seen_names = {}
151
 
 
152
 
        ## p('revision %d/%d file ids' % (revno, revcount))
153
 
        for file_id in inv:
154
 
            if file_id in seen_ids:
155
 
                raise BzrCheckError('duplicated file_id {%s} '
156
 
                                    'in inventory for revision {%s}'
157
 
                                    % (file_id, rid))
158
 
            seen_ids[file_id] = True
159
 
 
160
 
        i = 0
161
 
        len_inv = len(inv)
162
 
        for file_id in inv:
163
 
            i += 1
164
 
            if i & 31 == 0:
165
 
                pb.tick()
166
 
 
167
 
            ie = inv[file_id]
168
 
 
169
 
            if ie.parent_id != None:
170
 
                if ie.parent_id not in seen_ids:
171
 
                    raise BzrCheckError('missing parent {%s} in inventory for revision {%s}'
172
 
                            % (ie.parent_id, rid))
173
 
 
174
 
            if ie.kind == 'file':
175
 
                if ie.text_id in checked_texts:
176
 
                    fp = checked_texts[ie.text_id]
177
 
                else:
178
 
                    if not ie.text_id in branch.text_store:
179
 
                        raise BzrCheckError('text {%s} not in text_store' % ie.text_id)
180
 
 
181
 
                    tf = branch.text_store[ie.text_id]
182
 
                    fp = fingerprint_file(tf)
183
 
                    checked_texts[ie.text_id] = fp
184
 
 
185
 
                if ie.text_size != fp['size']:
186
 
                    raise BzrCheckError('text {%s} wrong size' % ie.text_id)
187
 
                if ie.text_sha1 != fp['sha1']:
188
 
                    raise BzrCheckError('text {%s} wrong sha1' % ie.text_id)
189
 
            elif ie.kind == 'directory':
190
 
                if ie.text_sha1 != None or ie.text_size != None or ie.text_id != None:
191
 
                    raise BzrCheckError('directory {%s} has text in revision {%s}'
192
 
                            % (file_id, rid))
193
 
 
194
 
        pb.tick()
195
 
        for path, ie in inv.iter_entries():
196
 
            if path in seen_names:
197
 
                raise BzrCheckError('duplicated path %r '
198
 
                                    'in inventory for revision {%s}'
199
 
                                    % (path, revid))
 
110
 
 
111
            if updated:
 
112
                updated_previous_revision = True
 
113
                # We had to update this revision entries hashes
 
114
                # Now we need to write out a new value
 
115
                # This is a little bit invasive, since we are *rewriting* a
 
116
                # revision entry. I'm not supremely happy about it, but
 
117
                # there should be *some* way of making old entries have
 
118
                # the full meta information.
 
119
                import tempfile, os, errno
 
120
                rev_tmp = tempfile.TemporaryFile()
 
121
                rev.write_xml(rev_tmp)
 
122
                rev_tmp.seek(0)
 
123
 
 
124
                tmpfd, tmp_path = tempfile.mkstemp(prefix=rid, suffix='.gz',
 
125
                    dir=branch.controlfilename('revision-store'))
 
126
                os.close(tmpfd)
 
127
                def special_rename(p1, p2):
 
128
                    if sys.platform == 'win32':
 
129
                        try:
 
130
                            os.remove(p2)
 
131
                        except OSError, e:
 
132
                            if e.errno != e.ENOENT:
 
133
                                raise
 
134
                    os.rename(p1, p2)
 
135
 
 
136
                try:
 
137
                    # TODO: We may need to handle the case where the old revision
 
138
                    # entry was not compressed (and thus did not end with .gz)
 
139
 
 
140
                    # Remove the old revision entry out of the way
 
141
                    rev_path = branch.controlfilename(['revision-store', rid+'.gz'])
 
142
                    special_rename(rev_path, tmp_path)
 
143
                    branch.revision_store.add(rev_tmp, rid) # Add the new one
 
144
                    os.remove(tmp_path) # Remove the old name
 
145
                    mutter('    Updated revision entry {%s}' % rid)
 
146
                except:
 
147
                    # On any exception, restore the old entry
 
148
                    special_rename(tmp_path, rev_path)
 
149
                    raise
 
150
                rev_tmp.close()
 
151
                updated_revisions.append(rid)
 
152
            else:
 
153
                updated_previous_revision = False
 
154
 
 
155
            inv = branch.get_inventory(rev.inventory_id)
 
156
            seen_ids = {}
 
157
            seen_names = {}
 
158
 
 
159
            ## p('revision %d/%d file ids' % (revno, revcount))
 
160
            for file_id in inv:
 
161
                if file_id in seen_ids:
 
162
                    raise BzrCheckError('duplicated file_id {%s} '
 
163
                                        'in inventory for revision {%s}'
 
164
                                        % (file_id, rid))
 
165
                seen_ids[file_id] = True
 
166
 
 
167
            i = 0
 
168
            len_inv = len(inv)
 
169
            for file_id in inv:
 
170
                i += 1
 
171
                if i & 31 == 0:
 
172
                    pb.tick()
 
173
 
 
174
                ie = inv[file_id]
 
175
 
 
176
                if ie.parent_id != None:
 
177
                    if ie.parent_id not in seen_ids:
 
178
                        raise BzrCheckError('missing parent {%s} in inventory for revision {%s}'
 
179
                                % (ie.parent_id, rid))
 
180
 
 
181
                if ie.kind == 'file':
 
182
                    if ie.text_id in checked_texts:
 
183
                        fp = checked_texts[ie.text_id]
 
184
                    else:
 
185
                        if not ie.text_id in branch.text_store:
 
186
                            raise BzrCheckError('text {%s} not in text_store' % ie.text_id)
 
187
 
 
188
                        tf = branch.text_store[ie.text_id]
 
189
                        fp = fingerprint_file(tf)
 
190
                        checked_texts[ie.text_id] = fp
 
191
 
 
192
                    if ie.text_size != fp['size']:
 
193
                        raise BzrCheckError('text {%s} wrong size' % ie.text_id)
 
194
                    if ie.text_sha1 != fp['sha1']:
 
195
                        raise BzrCheckError('text {%s} wrong sha1' % ie.text_id)
 
196
                elif ie.kind == 'directory':
 
197
                    if ie.text_sha1 != None or ie.text_size != None or ie.text_id != None:
 
198
                        raise BzrCheckError('directory {%s} has text in revision {%s}'
 
199
                                % (file_id, rid))
 
200
 
 
201
            pb.tick()
 
202
            for path, ie in inv.iter_entries():
 
203
                if path in seen_names:
 
204
                    raise BzrCheckError('duplicated path %r '
 
205
                                        'in inventory for revision {%s}'
 
206
                                        % (path, revid))
200
207
            seen_names[path] = True
201
208
 
 
209
    finally:
 
210
        branch.unlock()
202
211
 
203
212
    pb.clear()
204
213