← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/hashcache.py

  • Committer: Alexander Belchenko
  • Date: 2006-07-30 16:43:12 UTC
  • mto: (1711.2.111 jam-integration)
  • mto: This revision was merged to the branch mainline in revision 1906.
  • Revision ID: bialix@ukr.net-20060730164312-b025fd3ff0cee59e
rename  gpl.txt => COPYING.txt

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/hashcache.py
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005, 2006 by Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
 
# TODO: Up-front, stat all files in order and remove those which are deleted or
18
 
# out-of-date.  Don't actually re-read them until they're needed.  That ought
19
 
# to bring all the inodes into core so that future stats to them are fast, and
 
17
# TODO: Up-front, stat all files in order and remove those which are deleted or 
 
18
# out-of-date.  Don't actually re-read them until they're needed.  That ought 
 
19
# to bring all the inodes into core so that future stats to them are fast, and 
20
20
# it preserves the nice property that any caller will always get up-to-date
21
21
# data except in unavoidable cases.
22
22
 
29
29
 
30
30
CACHE_HEADER = "### bzr hashcache v5\n"
31
31
 
32
 
import os
33
 
import stat
34
 
import time
 
32
import os, stat, time
 
33
import sha
35
34
 
36
 
from bzrlib import (
37
 
    atomicfile,
38
 
    errors,
39
 
    filters as _mod_filters,
40
 
    osutils,
41
 
    trace,
42
 
    )
 
35
from bzrlib.osutils import sha_file, pathjoin, safe_unicode
 
36
from bzrlib.trace import mutter, warning
 
37
from bzrlib.atomicfile import AtomicFile
 
38
from bzrlib.errors import BzrError
43
39
 
44
40
 
45
41
FP_MTIME_COLUMN = 1
78
74
    hit_count
79
75
        number of times files have been retrieved from the cache, avoiding a
80
76
        re-read
81
 
 
 
77
        
82
78
    miss_count
83
79
        number of misses (times files have been completely re-read)
84
80
    """
85
81
    needs_write = False
86
82
 
87
 
    def __init__(self, root, cache_file_name, mode=None,
88
 
            content_filter_stack_provider=None):
89
 
        """Create a hash cache in base dir, and set the file mode to mode.
90
 
 
91
 
        :param content_filter_stack_provider: a function that takes a
92
 
            path (relative to the top of the tree) and a file-id as
93
 
            parameters and returns a stack of ContentFilters.
94
 
            If None, no content filtering is performed.
95
 
        """
96
 
        self.root = osutils.safe_unicode(root)
97
 
        self.root_utf8 = self.root.encode('utf8') # where is the filesystem encoding ?
 
83
    def __init__(self, root, cache_file_name, mode=None):
 
84
        """Create a hash cache in base dir, and set the file mode to mode."""
 
85
        self.root = safe_unicode(root)
98
86
        self.hit_count = 0
99
87
        self.miss_count = 0
100
88
        self.stat_count = 0
103
91
        self.update_count = 0
104
92
        self._cache = {}
105
93
        self._mode = mode
106
 
        self._cache_file_name = osutils.safe_unicode(cache_file_name)
107
 
        self._filter_provider = content_filter_stack_provider
 
94
        self._cache_file_name = safe_unicode(cache_file_name)
108
95
 
109
96
    def cache_file_name(self):
110
97
        return self._cache_file_name
119
106
 
120
107
    def scan(self):
121
108
        """Scan all files and remove entries where the cache entry is obsolete.
122
 
 
 
109
        
123
110
        Obsolete entries are those where the file has been modified or deleted
124
 
        since the entry was inserted.
 
111
        since the entry was inserted.        
125
112
        """
126
113
        # FIXME optimisation opportunity, on linux [and check other oses]:
127
114
        # rather than iteritems order, stat in inode order.
128
115
        prep = [(ce[1][3], path, ce) for (path, ce) in self._cache.iteritems()]
129
116
        prep.sort()
130
 
 
 
117
        
131
118
        for inum, path, cache_entry in prep:
132
 
            abspath = osutils.pathjoin(self.root, path)
 
119
            abspath = pathjoin(self.root, path)
133
120
            fp = self._fingerprint(abspath)
134
121
            self.stat_count += 1
135
 
 
 
122
            
136
123
            cache_fp = cache_entry[1]
137
 
 
 
124
    
138
125
            if (not fp) or (cache_fp != fp):
139
126
                # not here or not a regular file anymore
140
127
                self.removed_count += 1
141
128
                self.needs_write = True
142
129
                del self._cache[path]
143
130
 
144
 
    def get_sha1(self, path, stat_value=None):
 
131
    def get_sha1(self, path):
145
132
        """Return the sha1 of a file.
146
133
        """
147
 
        if path.__class__ is str:
148
 
            abspath = osutils.pathjoin(self.root_utf8, path)
149
 
        else:
150
 
            abspath = osutils.pathjoin(self.root, path)
 
134
        abspath = pathjoin(self.root, path)
151
135
        self.stat_count += 1
152
 
        file_fp = self._fingerprint(abspath, stat_value)
153
 
 
 
136
        file_fp = self._fingerprint(abspath)
 
137
        
154
138
        if not file_fp:
155
139
            # not a regular file or not existing
156
140
            if path in self._cache:
157
141
                self.removed_count += 1
158
142
                self.needs_write = True
159
143
                del self._cache[path]
160
 
            return None
 
144
            return None        
161
145
 
162
146
        if path in self._cache:
163
147
            cache_sha1, cache_fp = self._cache[path]
169
153
            ## mutter("now = %s", time.time())
170
154
            self.hit_count += 1
171
155
            return cache_sha1
172
 
 
 
156
        
173
157
        self.miss_count += 1
174
158
 
175
159
        mode = file_fp[FP_MODE_COLUMN]
176
160
        if stat.S_ISREG(mode):
177
 
            if self._filter_provider is None:
178
 
                filters = []
179
 
            else:
180
 
                filters = self._filter_provider(path=path, file_id=None)
181
 
            digest = self._really_sha1_file(abspath, filters)
 
161
            digest = self._really_sha1_file(abspath)
182
162
        elif stat.S_ISLNK(mode):
183
 
            target = osutils.readlink(osutils.safe_unicode(abspath))
184
 
            digest = osutils.sha_string(target.encode('UTF-8'))
 
163
            digest = sha.new(os.readlink(abspath)).hexdigest()
185
164
        else:
186
 
            raise errors.BzrError("file %r: unknown file stat mode: %o"
187
 
                                  % (abspath, mode))
 
165
            raise BzrError("file %r: unknown file stat mode: %o"%(abspath,mode))
188
166
 
189
167
        # window of 3 seconds to allow for 2s resolution on windows,
190
168
        # unsynchronized file servers, etc.
217
195
            self._cache[path] = (digest, file_fp)
218
196
        return digest
219
197
 
220
 
    def _really_sha1_file(self, abspath, filters):
 
198
    def _really_sha1_file(self, abspath):
221
199
        """Calculate the SHA1 of a file by reading the full text"""
222
 
        return _mod_filters.internal_size_sha_file_byname(abspath, filters)[1]
223
 
 
 
200
        return sha_file(file(abspath, 'rb', buffering=65000))
 
201
        
224
202
    def write(self):
225
203
        """Write contents of cache to file."""
226
 
        outf = atomicfile.AtomicFile(self.cache_file_name(), 'wb',
227
 
                                     new_mode=self._mode)
 
204
        outf = AtomicFile(self.cache_file_name(), 'wb', new_mode=self._mode)
228
205
        try:
229
 
            outf.write(CACHE_HEADER)
 
206
            print >>outf, CACHE_HEADER,
230
207
 
231
208
            for path, c  in self._cache.iteritems():
232
 
                line_info = [path.encode('utf-8'), '// ', c[0], ' ']
233
 
                line_info.append(' '.join([str(fld) for fld in c[1]]))
234
 
                line_info.append('\n')
235
 
                outf.write(''.join(line_info))
 
209
                assert '//' not in path, path
 
210
                outf.write(path.encode('utf-8'))
 
211
                outf.write('// ')
 
212
                print >>outf, c[0],     # hex sha1
 
213
                for fld in c[1]:
 
214
                    print >>outf, "%d" % fld,
 
215
                print >>outf
236
216
            outf.commit()
237
217
            self.needs_write = False
238
218
            ## mutter("write hash cache: %s hits=%d misses=%d stat=%d recent=%d updates=%d",
240
220
            ##        self.stat_count,
241
221
            ##        self.danger_count, self.update_count)
242
222
        finally:
243
 
            outf.close()
 
223
            if not outf.closed:
 
224
                outf.abort()
244
225
 
245
226
    def read(self):
246
227
        """Reinstate cache from file.
247
228
 
248
229
        Overwrites existing cache.
249
230
 
250
 
        If the cache file has the wrong version marker, this just clears
 
231
        If the cache file has the wrong version marker, this just clears 
251
232
        the cache."""
252
233
        self._cache = {}
253
234
 
255
236
        try:
256
237
            inf = file(fn, 'rb', buffering=65000)
257
238
        except IOError, e:
258
 
            trace.mutter("failed to open %s: %s", fn, e)
 
239
            mutter("failed to open %s: %s", fn, e)
259
240
            # better write it now so it is valid
260
241
            self.needs_write = True
261
242
            return
262
243
 
263
244
        hdr = inf.readline()
264
245
        if hdr != CACHE_HEADER:
265
 
            trace.mutter('cache header marker not found at top of %s;'
266
 
                         ' discarding cache', fn)
 
246
            mutter('cache header marker not found at top of %s;'
 
247
                   ' discarding cache', fn)
267
248
            self.needs_write = True
268
249
            return
269
250
 
271
252
            pos = l.index('// ')
272
253
            path = l[:pos].decode('utf-8')
273
254
            if path in self._cache:
274
 
                trace.warning('duplicated path %r in cache' % path)
 
255
                warning('duplicated path %r in cache' % path)
275
256
                continue
276
257
 
277
258
            pos += 3
278
259
            fields = l[pos:].split(' ')
279
260
            if len(fields) != 7:
280
 
                trace.warning("bad line in hashcache: %r" % l)
 
261
                warning("bad line in hashcache: %r" % l)
281
262
                continue
282
263
 
283
264
            sha1 = fields[0]
284
265
            if len(sha1) != 40:
285
 
                trace.warning("bad sha1 in hashcache: %r" % sha1)
 
266
                warning("bad sha1 in hashcache: %r" % sha1)
286
267
                continue
287
268
 
288
269
            fp = tuple(map(long, fields[1:]))
289
270
 
290
271
            self._cache[path] = (sha1, fp)
291
272
 
292
 
        # GZ 2009-09-20: Should really use a try/finally block to ensure close
293
 
        inf.close()
294
 
 
295
273
        self.needs_write = False
296
274
 
297
275
    def _cutoff_time(self):
301
279
        undetectably modified and so can't be cached.
302
280
        """
303
281
        return int(time.time()) - 3
304
 
 
305
 
    def _fingerprint(self, abspath, stat_value=None):
306
 
        if stat_value is None:
307
 
            try:
308
 
                stat_value = os.lstat(abspath)
309
 
            except OSError:
310
 
                # might be missing, etc
311
 
                return None
312
 
        if stat.S_ISDIR(stat_value.st_mode):
 
282
           
 
283
    def _fingerprint(self, abspath):
 
284
        try:
 
285
            fs = os.lstat(abspath)
 
286
        except OSError:
 
287
            # might be missing, etc
 
288
            return None
 
289
        if stat.S_ISDIR(fs.st_mode):
313
290
            return None
314
291
        # we discard any high precision because it's not reliable; perhaps we
315
292
        # could do better on some systems?
316
 
        return (stat_value.st_size, long(stat_value.st_mtime),
317
 
                long(stat_value.st_ctime), stat_value.st_ino,
318
 
                stat_value.st_dev, stat_value.st_mode)
 
293
        return (fs.st_size, long(fs.st_mtime),
 
294
                long(fs.st_ctime), fs.st_ino, fs.st_dev, fs.st_mode)