← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/hashcache.py

Handled simultaneous renames of parent and child better

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/hashcache.py
30
30
CACHE_HEADER = "### bzr hashcache v5\n"
31
31
 
32
32
import os, stat, time
 
33
import sha
33
34
 
34
 
from bzrlib.osutils import sha_file
 
35
from bzrlib.osutils import sha_file, pathjoin
35
36
from bzrlib.trace import mutter, warning
36
37
from bzrlib.atomicfile import AtomicFile
37
 
 
38
 
 
39
 
 
 
38
from bzrlib.errors import BzrError
 
39
 
 
40
 
 
41
FP_MTIME_COLUMN = 1
 
42
FP_CTIME_COLUMN = 2
 
43
FP_MODE_COLUMN = 5
40
44
 
41
45
def _fingerprint(abspath):
42
46
    try:
51
55
    # we discard any high precision because it's not reliable; perhaps we
52
56
    # could do better on some systems?
53
57
    return (fs.st_size, long(fs.st_mtime),
54
 
            long(fs.st_ctime), fs.st_ino, fs.st_dev)
 
58
            long(fs.st_ctime), fs.st_ino, fs.st_dev, fs.st_mode)
55
59
 
56
60
 
57
61
class HashCache(object):
100
104
        self.update_count = 0
101
105
        self._cache = {}
102
106
 
103
 
 
104
107
    def cache_file_name(self):
105
 
        return os.sep.join([self.basedir, '.bzr', 'stat-cache'])
106
 
 
107
 
 
108
 
 
 
108
        # FIXME: duplicate path logic here, this should be 
 
109
        # something like 'branch.controlfile'.
 
110
        return pathjoin(self.basedir, '.bzr', 'stat-cache')
109
111
 
110
112
    def clear(self):
111
113
        """Discard all cached information.
126
128
        prep.sort()
127
129
        
128
130
        for inum, path, cache_entry in prep:
129
 
            abspath = os.sep.join([self.basedir, path])
 
131
            abspath = pathjoin(self.basedir, path)
130
132
            fp = _fingerprint(abspath)
131
133
            self.stat_count += 1
132
134
            
139
141
                del self._cache[path]
140
142
 
141
143
 
142
 
 
143
144
    def get_sha1(self, path):
144
145
        """Return the sha1 of a file.
145
146
        """
146
 
        abspath = os.sep.join([self.basedir, path])
 
147
        abspath = pathjoin(self.basedir, path)
147
148
        self.stat_count += 1
148
149
        file_fp = _fingerprint(abspath)
149
150
        
165
166
            return cache_sha1
166
167
        
167
168
        self.miss_count += 1
168
 
        digest = sha_file(file(abspath, 'rb', buffering=65000))
 
169
 
 
170
 
 
171
        mode = file_fp[FP_MODE_COLUMN]
 
172
        if stat.S_ISREG(mode):
 
173
            digest = sha_file(file(abspath, 'rb', buffering=65000))
 
174
        elif stat.S_ISLNK(mode):
 
175
            digest = sha.new(os.readlink(abspath)).hexdigest()
 
176
        else:
 
177
            raise BzrError("file %r: unknown file stat mode: %o"%(abspath,mode))
169
178
 
170
179
        now = int(time.time())
171
 
        if file_fp[1] >= now or file_fp[2] >= now:
 
180
        if file_fp[FP_MTIME_COLUMN] >= now or file_fp[FP_CTIME_COLUMN] >= now:
172
181
            # changed too recently; can't be cached.  we can
173
182
            # return the result and it could possibly be cached
174
183
            # next time.
 
184
            #
 
185
            # the point is that we only want to cache when we are sure that any
 
186
            # subsequent modifications of the file can be detected.  If a
 
187
            # modification neither changes the inode, the device, the size, nor
 
188
            # the mode, then we can only distinguish it by time; therefore we
 
189
            # need to let sufficient time elapse before we may cache this entry
 
190
            # again.  If we didn't do this, then, for example, a very quick 1
 
191
            # byte replacement in the file might go undetected.
175
192
            self.danger_count += 1 
176
193
            if cache_fp:
177
194
                self.removed_count += 1
181
198
            self.update_count += 1
182
199
            self.needs_write = True
183
200
            self._cache[path] = (digest, file_fp)
184
 
        
185
201
        return digest
186
202
        
187
 
 
188
 
 
189
 
 
190
203
    def write(self):
191
204
        """Write contents of cache to file."""
192
205
        outf = AtomicFile(self.cache_file_name(), 'wb')
207
220
        finally:
208
221
            if not outf.closed:
209
222
                outf.abort()
210
 
        
211
 
 
212
223
 
213
224
    def read(self):
214
225
        """Reinstate cache from file.
223
234
        try:
224
235
            inf = file(fn, 'rb', buffering=65000)
225
236
        except IOError, e:
226
 
            mutter("failed to open %s: %s" % (fn, e))
 
237
            mutter("failed to open %s: %s", fn, e)
227
238
            # better write it now so it is valid
228
239
            self.needs_write = True
229
240
            return
231
242
 
232
243
        hdr = inf.readline()
233
244
        if hdr != CACHE_HEADER:
234
 
            mutter('cache header marker not found at top of %s; discarding cache'
235
 
                   % fn)
 
245
            mutter('cache header marker not found at top of %s;'
 
246
                   ' discarding cache', fn)
236
247
            self.needs_write = True
237
248
            return
238
249
 
245
256
 
246
257
            pos += 3
247
258
            fields = l[pos:].split(' ')
248
 
            if len(fields) != 6:
 
259
            if len(fields) != 7:
249
260
                warning("bad line in hashcache: %r" % l)
250
261
                continue
251
262