~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/check.py

  • Committer: Martin Pool
  • Date: 2005-09-16 09:14:54 UTC
  • Revision ID: mbp@sourcefrog.net-20050916091454-092fc433a3d9cc31
- cosmetic

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
#! /usr/bin/python
2
 
 
3
 
 
4
1
# Copyright (C) 2004, 2005 by Martin Pool
5
2
# Copyright (C) 2005 by Canonical Ltd
6
3
 
7
 
 
8
4
# This program is free software; you can redistribute it and/or modify
9
5
# it under the terms of the GNU General Public License as published by
10
6
# the Free Software Foundation; either version 2 of the License, or
19
15
# along with this program; if not, write to the Free Software
20
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
21
17
 
22
 
 
23
 
 
24
 
######################################################################
25
 
# consistency checks
26
 
 
27
 
def check():
28
 
    """Consistency check of tree."""
29
 
    assert_in_tree()
30
 
    mutter("checking tree")
31
 
    check_patches_exist()
32
 
    check_patch_chaining()
33
 
    check_patch_uniqueness()
34
 
    check_inventory()
35
 
    mutter("tree looks OK")
36
 
    ## TODO: Check that previous-inventory and previous-manifest
37
 
    ## are the same as those stored in the previous changeset.
38
 
 
39
 
    ## TODO: Check all patches present in patch directory are
40
 
    ## mentioned in patch history; having an orphaned patch only gives
41
 
    ## a warning.
42
 
 
43
 
    ## TODO: Check cached data is consistent with data reconstructed
44
 
    ## from scratch.
45
 
 
46
 
    ## TODO: Check no control files are versioned.
47
 
 
48
 
    ## TODO: Check that the before-hash of each file in a later
49
 
    ## revision matches the after-hash in the previous revision to
50
 
    ## touch it.
51
 
 
52
 
 
53
 
def check_inventory():
54
 
    mutter("checking inventory file and ids...")
55
 
    seen_ids = Set()
56
 
    seen_names = Set()
 
18
import bzrlib.ui
 
19
from bzrlib.trace import note, warning
 
20
from bzrlib.osutils import rename, sha_string
 
21
 
 
22
def _update_store_entry(obj, obj_id, branch, store_name, store):
 
23
    """This is just a meta-function, which handles both revision entries
 
24
    and inventory entries.
 
25
    """
 
26
    from bzrlib.trace import mutter
 
27
    import tempfile, os, errno
 
28
    obj_tmp = tempfile.TemporaryFile()
 
29
    obj.write_xml(obj_tmp)
 
30
    obj_tmp.seek(0)
 
31
 
 
32
    tmpfd, tmp_path = tempfile.mkstemp(prefix=obj_id, suffix='.gz',
 
33
        dir=branch.controlfilename(store_name))
 
34
    os.close(tmpfd)
 
35
    try:
 
36
        orig_obj_path = branch.controlfilename([store_name, obj_id+'.gz'])
 
37
        # Remove the old entry out of the way
 
38
        rename(orig_obj_path, tmp_path)
 
39
        try:
 
40
            # TODO: We may need to handle the case where the old
 
41
            # entry was not compressed (and thus did not end with .gz)
 
42
 
 
43
            store.add(obj_tmp, obj_id) # Add the new one
 
44
            os.remove(tmp_path) # Remove the old name
 
45
            mutter('    Updated %s entry {%s}' % (store_name, obj_id))
 
46
        except:
 
47
            # On any exception, restore the old entry
 
48
            rename(tmp_path, orig_obj_path)
 
49
            raise
 
50
    finally:
 
51
        if os.path.exists(tmp_path):
 
52
            # Unfortunately, the next command might throw
 
53
            # an exception, which will mask a previous exception.
 
54
            os.remove(tmp_path)
 
55
        obj_tmp.close()
 
56
 
 
57
def _update_revision_entry(rev, branch):
 
58
    """After updating the values in a revision, make sure to
 
59
    write out the data, but try to do it in an atomic manner.
 
60
 
 
61
    :param rev:    The Revision object to store
 
62
    :param branch: The Branch object where this Revision is to be stored.
 
63
    """
 
64
    _update_store_entry(rev, rev.revision_id, branch,
 
65
            'revision-store', branch.revision_store)
 
66
 
 
67
def _update_inventory_entry(inv, inv_id, branch):
 
68
    """When an inventory has been modified (such as by adding a unique tree root)
 
69
    this atomically re-generates the file.
 
70
 
 
71
    :param inv:     The Inventory
 
72
    :param inv_id:  The inventory id for this inventory
 
73
    :param branch:  The Branch where this entry will be stored.
 
74
    """
 
75
    raise NotImplementedError("can't update existing inventory entry")
 
76
 
 
77
 
 
78
def check(branch):
 
79
    """Run consistency checks on a branch.
 
80
 
 
81
    TODO: Also check non-mainline revisions mentioned as parents.
 
82
 
 
83
    TODO: Check for extra files in the control directory.
 
84
    """
 
85
    from bzrlib.trace import mutter
 
86
    from bzrlib.errors import BzrCheckError, NoSuchRevision
 
87
    from bzrlib.osutils import fingerprint_file
 
88
    from bzrlib.inventory import ROOT_ID
 
89
    from bzrlib.branch import gen_root_id
 
90
 
 
91
    branch.lock_read()
 
92
 
 
93
    try:
 
94
        last_rev_id = None
 
95
 
 
96
        missing_inventory_sha_cnt = 0
 
97
        missing_revision_sha_cnt = 0
 
98
        missing_revision_cnt = 0
 
99
 
 
100
        history = branch.revision_history()
 
101
        revno = 0
 
102
        revcount = len(history)
 
103
 
 
104
        checked_text_count = 0
 
105
 
 
106
        progress = bzrlib.ui.ui_factory.progress_bar()
 
107
 
 
108
        for rev_id in history:
 
109
            revno += 1
 
110
            progress.update('checking revision', revno, revcount)
 
111
            # mutter('    revision {%s}' % rev_id)
 
112
            rev = branch.get_revision(rev_id)
 
113
            if rev.revision_id != rev_id:
 
114
                raise BzrCheckError('wrong internal revision id in revision {%s}'
 
115
                                    % rev_id)
 
116
 
 
117
            # check the previous history entry is a parent of this entry
 
118
            if rev.parents:
 
119
                if last_rev_id is None:
 
120
                    raise BzrCheckError("revision {%s} has %d parents, but is the "
 
121
                                        "start of the branch"
 
122
                                        % (rev_id, len(rev.parents)))
 
123
                for prr in rev.parents:
 
124
                    if prr.revision_id == last_rev_id:
 
125
                        break
 
126
                else:
 
127
                    raise BzrCheckError("previous revision {%s} not listed among "
 
128
                                        "parents of {%s}"
 
129
                                        % (last_rev_id, rev_id))
 
130
 
 
131
                for prr in rev.parents:
 
132
                    if prr.revision_sha1 is None:
 
133
                        missing_revision_sha_cnt += 1
 
134
                        continue
 
135
                    prid = prr.revision_id
 
136
                    
 
137
                    try:
 
138
                        actual_sha = branch.get_revision_sha1(prid)
 
139
                    except NoSuchRevision:
 
140
                        missing_revision_cnt += 1
 
141
                        mutter("parent {%s} of {%s} not present in store",
 
142
                               prid, rev_id)
 
143
                        continue
 
144
                        
 
145
                    if prr.revision_sha1 != actual_sha:
 
146
                        raise BzrCheckError("mismatched revision sha1 for "
 
147
                                            "parent {%s} of {%s}: %s vs %s"
 
148
                                            % (prid, rev_id,
 
149
                                               prr.revision_sha1, actual_sha))
 
150
            elif last_rev_id:
 
151
                raise BzrCheckError("revision {%s} has no parents listed but preceded "
 
152
                                    "by {%s}"
 
153
                                    % (rev_id, last_rev_id))
 
154
 
 
155
            ## TODO: Check all the required fields are present on the revision.
 
156
 
 
157
            if rev.inventory_sha1:
 
158
                inv_sha1 = branch.get_inventory_sha1(rev_id)
 
159
                if inv_sha1 != rev.inventory_sha1:
 
160
                    raise BzrCheckError('Inventory sha1 hash doesn\'t match'
 
161
                        ' value in revision {%s}' % rev_id)
 
162
            else:
 
163
                missing_inventory_sha_cnt += 1
 
164
                mutter("no inventory_sha1 on revision {%s}" % rev_id)
 
165
 
 
166
            tree = branch.revision_tree(rev_id)
 
167
            inv = tree.inventory
 
168
            seen_ids = {}
 
169
            seen_names = {}
 
170
 
 
171
            ## p('revision %d/%d file ids' % (revno, revcount))
 
172
            for file_id in inv:
 
173
                if file_id in seen_ids:
 
174
                    raise BzrCheckError('duplicated file_id {%s} '
 
175
                                        'in inventory for revision {%s}'
 
176
                                        % (file_id, rev_id))
 
177
                seen_ids[file_id] = True
 
178
 
 
179
            i = 0
 
180
            for file_id in inv:
 
181
                i += 1
 
182
                if i & 31 == 0:
 
183
                    progress.tick()
 
184
 
 
185
                ie = inv[file_id]
 
186
 
 
187
                if ie.parent_id != None:
 
188
                    if ie.parent_id not in seen_ids:
 
189
                        raise BzrCheckError('missing parent {%s} in inventory for revision {%s}'
 
190
                                % (ie.parent_id, rev_id))
 
191
 
 
192
                if ie.kind == 'file':
 
193
                    text = tree.get_file_text(file_id)
 
194
                    checked_text_count += 1 
 
195
                    if ie.text_size != len(text):
 
196
                        raise BzrCheckError('text {%s} wrong size' % ie.text_id)
 
197
                    if ie.text_sha1 != sha_string(text):
 
198
                        raise BzrCheckError('text {%s} wrong sha1' % ie.text_id)
 
199
                elif ie.kind == 'directory':
 
200
                    if ie.text_sha1 != None or ie.text_size != None or ie.text_id != None:
 
201
                        raise BzrCheckError('directory {%s} has text in revision {%s}'
 
202
                                % (file_id, rev_id))
 
203
 
 
204
            progress.tick()
 
205
            for path, ie in inv.iter_entries():
 
206
                if path in seen_names:
 
207
                    raise BzrCheckError('duplicated path %s '
 
208
                                        'in inventory for revision {%s}'
 
209
                                        % (path, rev_id))
 
210
                seen_names[path] = True
 
211
            last_rev_id = rev_id
 
212
 
 
213
    finally:
 
214
        branch.unlock()
 
215
 
 
216
    progress.clear()
 
217
 
 
218
    note('checked %d revisions, %d file texts' % (revcount, checked_text_count))
57
219
    
58
 
    for l in controlfile('inventory').readlines():
59
 
        parts = l.split()
60
 
        if len(parts) != 2:
61
 
            bailout("malformed inventory line: " + `l`)
62
 
        file_id, name = parts
63
 
        
64
 
        if file_id in seen_ids:
65
 
            bailout("duplicated file id " + file_id)
66
 
        seen_ids.add(file_id)
67
 
 
68
 
        if name in seen_names:
69
 
            bailout("duplicated file name in inventory: " + quotefn(name))
70
 
        seen_names.add(name)
71
 
        
72
 
        if is_control_file(name):
73
 
            raise BzrError("control file %s present in inventory" % quotefn(name))
74
 
 
75
 
 
76
 
def check_patches_exist():
77
 
    """Check constraint of current version: all patches exist"""
78
 
    mutter("checking all patches are present...")
79
 
    for pid in revision_history():
80
 
        read_patch_header(pid)
81
 
 
82
 
 
83
 
def check_patch_chaining():
84
 
    """Check ancestry of patches and history file is consistent"""
85
 
    mutter("checking patch chaining...")
86
 
    prev = None
87
 
    for pid in revision_history():
88
 
        log_prev = read_patch_header(pid).precursor
89
 
        if log_prev != prev:
90
 
            bailout("inconsistent precursor links on " + pid)
91
 
        prev = pid
92
 
 
93
 
 
94
 
def check_patch_uniqueness():
95
 
    """Make sure no patch is listed twice in the history.
96
 
 
97
 
    This should be implied by having correct ancestry but I'll check it
98
 
    anyhow."""
99
 
    mutter("checking history for duplicates...")
100
 
    seen = Set()
101
 
    for pid in revision_history():
102
 
        if pid in seen:
103
 
            bailout("patch " + pid + " appears twice in history")
104
 
        seen.add(pid)
105
 
        
106
 
 
 
220
    if missing_inventory_sha_cnt:
 
221
        note('%d revisions are missing inventory_sha1' % missing_inventory_sha_cnt)
 
222
 
 
223
    ##if missing_revision_sha_cnt:
 
224
    ##    note('%d parent links are missing revision_sha1' % missing_revision_sha_cnt)
 
225
 
 
226
    if missing_revision_cnt:
 
227
        note('%d revisions are mentioned but not present' % missing_revision_cnt)
 
228
 
 
229
    if missing_revision_cnt:
 
230
        print '%d revisions are mentioned but not present' % missing_revision_cnt
 
231
 
 
232
    # stub this out for now because the main bzr branch has references
 
233
    # to revisions that aren't present in the store -- mbp 20050804
 
234
#    if (missing_inventory_sha_cnt
 
235
#        or missing_revision_sha_cnt):
 
236
#        print '  (use "bzr upgrade" to fix them)'