← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/hashcache.py

  • Committer: John Arbash Meinel
  • Date: 2006-08-28 17:04:38 UTC
  • mto: This revision was merged to the branch mainline in revision 1965.
  • Revision ID: john@arbash-meinel.com-20060828170438-5da90625125dd4fc
Add a deprecation symbol for bzr-0.11

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/hashcache.py
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# Copyright (C) 2005, 2006 by Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
 
# TODO: Up-front, stat all files in order and remove those which are deleted or
18
 
# out-of-date.  Don't actually re-read them until they're needed.  That ought
19
 
# to bring all the inodes into core so that future stats to them are fast, and
 
17
# TODO: Up-front, stat all files in order and remove those which are deleted or 
 
18
# out-of-date.  Don't actually re-read them until they're needed.  That ought 
 
19
# to bring all the inodes into core so that future stats to them are fast, and 
20
20
# it preserves the nice property that any caller will always get up-to-date
21
21
# data except in unavoidable cases.
22
22
 
29
29
 
30
30
CACHE_HEADER = "### bzr hashcache v5\n"
31
31
 
32
 
import os
33
 
import stat
34
 
import time
 
32
import os, stat, time
 
33
import sha
35
34
 
36
 
from bzrlib import (
37
 
    atomicfile,
38
 
    errors,
39
 
    filters as _mod_filters,
40
 
    osutils,
41
 
    trace,
42
 
    )
 
35
from bzrlib.osutils import sha_file, pathjoin, safe_unicode
 
36
from bzrlib.trace import mutter, warning
 
37
from bzrlib.atomicfile import AtomicFile
 
38
from bzrlib.errors import BzrError
43
39
 
44
40
 
45
41
FP_MTIME_COLUMN = 1
78
74
    hit_count
79
75
        number of times files have been retrieved from the cache, avoiding a
80
76
        re-read
81
 
 
 
77
        
82
78
    miss_count
83
79
        number of misses (times files have been completely re-read)
84
80
    """
85
81
    needs_write = False
86
82
 
87
 
    def __init__(self, root, cache_file_name, mode=None,
88
 
            content_filter_stack_provider=None):
89
 
        """Create a hash cache in base dir, and set the file mode to mode.
90
 
 
91
 
        :param content_filter_stack_provider: a function that takes a
92
 
            path (relative to the top of the tree) and a file-id as
93
 
            parameters and returns a stack of ContentFilters.
94
 
            If None, no content filtering is performed.
95
 
        """
96
 
        self.root = osutils.safe_unicode(root)
97
 
        self.root_utf8 = self.root.encode('utf8') # where is the filesystem encoding ?
 
83
    def __init__(self, root, cache_file_name, mode=None):
 
84
        """Create a hash cache in base dir, and set the file mode to mode."""
 
85
        self.root = safe_unicode(root)
98
86
        self.hit_count = 0
99
87
        self.miss_count = 0
100
88
        self.stat_count = 0
103
91
        self.update_count = 0
104
92
        self._cache = {}
105
93
        self._mode = mode
106
 
        self._cache_file_name = osutils.safe_unicode(cache_file_name)
107
 
        self._filter_provider = content_filter_stack_provider
 
94
        self._cache_file_name = safe_unicode(cache_file_name)
108
95
 
109
96
    def cache_file_name(self):
110
97
        return self._cache_file_name
119
106
 
120
107
    def scan(self):
121
108
        """Scan all files and remove entries where the cache entry is obsolete.
122
 
 
 
109
        
123
110
        Obsolete entries are those where the file has been modified or deleted
124
 
        since the entry was inserted.
 
111
        since the entry was inserted.        
125
112
        """
126
113
        # FIXME optimisation opportunity, on linux [and check other oses]:
127
114
        # rather than iteritems order, stat in inode order.
128
115
        prep = [(ce[1][3], path, ce) for (path, ce) in self._cache.iteritems()]
129
116
        prep.sort()
130
 
 
 
117
        
131
118
        for inum, path, cache_entry in prep:
132
 
            abspath = osutils.pathjoin(self.root, path)
 
119
            abspath = pathjoin(self.root, path)
133
120
            fp = self._fingerprint(abspath)
134
121
            self.stat_count += 1
135
 
 
 
122
            
136
123
            cache_fp = cache_entry[1]
137
 
 
 
124
    
138
125
            if (not fp) or (cache_fp != fp):
139
126
                # not here or not a regular file anymore
140
127
                self.removed_count += 1
141
128
                self.needs_write = True
142
129
                del self._cache[path]
143
130
 
144
 
    def get_sha1(self, path, stat_value=None):
 
131
    def get_sha1(self, path):
145
132
        """Return the sha1 of a file.
146
133
        """
147
 
        if path.__class__ is str:
148
 
            abspath = osutils.pathjoin(self.root_utf8, path)
149
 
        else:
150
 
            abspath = osutils.pathjoin(self.root, path)
 
134
        abspath = pathjoin(self.root, path)
151
135
        self.stat_count += 1
152
 
        file_fp = self._fingerprint(abspath, stat_value)
153
 
 
 
136
        file_fp = self._fingerprint(abspath)
 
137
        
154
138
        if not file_fp:
155
139
            # not a regular file or not existing
156
140
            if path in self._cache:
157
141
                self.removed_count += 1
158
142
                self.needs_write = True
159
143
                del self._cache[path]
160
 
            return None
 
144
            return None        
161
145
 
162
146
        if path in self._cache:
163
147
            cache_sha1, cache_fp = self._cache[path]
169
153
            ## mutter("now = %s", time.time())
170
154
            self.hit_count += 1
171
155
            return cache_sha1
172
 
 
 
156
        
173
157
        self.miss_count += 1
174
158
 
175
159
        mode = file_fp[FP_MODE_COLUMN]
176
160
        if stat.S_ISREG(mode):
177
 
            if self._filter_provider is None:
178
 
                filters = []
179
 
            else:
180
 
                filters = self._filter_provider(path=path, file_id=None)
181
 
            digest = self._really_sha1_file(abspath, filters)
 
161
            digest = self._really_sha1_file(abspath)
182
162
        elif stat.S_ISLNK(mode):
183
 
            target = osutils.readlink(osutils.safe_unicode(abspath))
184
 
            digest = osutils.sha_string(target.encode('UTF-8'))
 
163
            digest = sha.new(os.readlink(abspath)).hexdigest()
185
164
        else:
186
 
            raise errors.BzrError("file %r: unknown file stat mode: %o"
187
 
                                  % (abspath, mode))
 
165
            raise BzrError("file %r: unknown file stat mode: %o"%(abspath,mode))
188
166
 
189
167
        # window of 3 seconds to allow for 2s resolution on windows,
190
168
        # unsynchronized file servers, etc.
217
195
            self._cache[path] = (digest, file_fp)
218
196
        return digest
219
197
 
220
 
    def _really_sha1_file(self, abspath, filters):
 
198
    def _really_sha1_file(self, abspath):
221
199
        """Calculate the SHA1 of a file by reading the full text"""
222
 
        return _mod_filters.internal_size_sha_file_byname(abspath, filters)[1]
223
 
 
 
200
        return sha_file(file(abspath, 'rb', buffering=65000))
 
201
        
224
202
    def write(self):
225
203
        """Write contents of cache to file."""
226
 
        outf = atomicfile.AtomicFile(self.cache_file_name(), 'wb',
227
 
                                     new_mode=self._mode)
 
204
        outf = AtomicFile(self.cache_file_name(), 'wb', new_mode=self._mode)
228
205
        try:
229
206
            outf.write(CACHE_HEADER)
230
207
 
231
208
            for path, c  in self._cache.iteritems():
 
209
                assert '//' not in path, path
232
210
                line_info = [path.encode('utf-8'), '// ', c[0], ' ']
233
211
                line_info.append(' '.join([str(fld) for fld in c[1]]))
234
212
                line_info.append('\n')
247
225
 
248
226
        Overwrites existing cache.
249
227
 
250
 
        If the cache file has the wrong version marker, this just clears
 
228
        If the cache file has the wrong version marker, this just clears 
251
229
        the cache."""
252
230
        self._cache = {}
253
231
 
255
233
        try:
256
234
            inf = file(fn, 'rb', buffering=65000)
257
235
        except IOError, e:
258
 
            trace.mutter("failed to open %s: %s", fn, e)
 
236
            mutter("failed to open %s: %s", fn, e)
259
237
            # better write it now so it is valid
260
238
            self.needs_write = True
261
239
            return
262
240
 
263
241
        hdr = inf.readline()
264
242
        if hdr != CACHE_HEADER:
265
 
            trace.mutter('cache header marker not found at top of %s;'
266
 
                         ' discarding cache', fn)
 
243
            mutter('cache header marker not found at top of %s;'
 
244
                   ' discarding cache', fn)
267
245
            self.needs_write = True
268
246
            return
269
247
 
271
249
            pos = l.index('// ')
272
250
            path = l[:pos].decode('utf-8')
273
251
            if path in self._cache:
274
 
                trace.warning('duplicated path %r in cache' % path)
 
252
                warning('duplicated path %r in cache' % path)
275
253
                continue
276
254
 
277
255
            pos += 3
278
256
            fields = l[pos:].split(' ')
279
257
            if len(fields) != 7:
280
 
                trace.warning("bad line in hashcache: %r" % l)
 
258
                warning("bad line in hashcache: %r" % l)
281
259
                continue
282
260
 
283
261
            sha1 = fields[0]
284
262
            if len(sha1) != 40:
285
 
                trace.warning("bad sha1 in hashcache: %r" % sha1)
 
263
                warning("bad sha1 in hashcache: %r" % sha1)
286
264
                continue
287
265
 
288
266
            fp = tuple(map(long, fields[1:]))
298
276
        undetectably modified and so can't be cached.
299
277
        """
300
278
        return int(time.time()) - 3
301
 
 
302
 
    def _fingerprint(self, abspath, stat_value=None):
303
 
        if stat_value is None:
304
 
            try:
305
 
                stat_value = os.lstat(abspath)
306
 
            except OSError:
307
 
                # might be missing, etc
308
 
                return None
309
 
        if stat.S_ISDIR(stat_value.st_mode):
 
279
           
 
280
    def _fingerprint(self, abspath):
 
281
        try:
 
282
            fs = os.lstat(abspath)
 
283
        except OSError:
 
284
            # might be missing, etc
 
285
            return None
 
286
        if stat.S_ISDIR(fs.st_mode):
310
287
            return None
311
288
        # we discard any high precision because it's not reliable; perhaps we
312
289
        # could do better on some systems?
313
 
        return (stat_value.st_size, long(stat_value.st_mtime),
314
 
                long(stat_value.st_ctime), stat_value.st_ino,
315
 
                stat_value.st_dev, stat_value.st_mode)
 
290
        return (fs.st_size, long(fs.st_mtime),
 
291
                long(fs.st_ctime), fs.st_ino, fs.st_dev, fs.st_mode)