← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/hashcache.py

  • Committer: Robert Collins
  • Date: 2005-08-25 01:13:32 UTC
  • mto: (974.1.50) (1185.1.10) (1092.3.1)
  • mto: This revision was merged to the branch mainline in revision 1139.
  • Revision ID: robertc@robertcollins.net-20050825011331-6d549d5de7edcec1
two bugfixes to smart_add - do not add paths from nested trees to the parent tree, and do not mutate the user supplied file list

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/hashcache.py
23
23
# TODO: Perhaps return more details on the file to avoid statting it
24
24
# again: nonexistent, file type, size, etc
25
25
 
26
 
# TODO: Perhaps use a Python pickle instead of a text file; might be faster.
27
 
 
28
26
 
29
27
 
30
28
CACHE_HEADER = "### bzr hashcache v5\n"
31
29
 
32
30
import os, stat, time
33
 
import sha
34
31
 
35
32
from bzrlib.osutils import sha_file
36
33
from bzrlib.trace import mutter, warning
37
 
from bzrlib.atomicfile import AtomicFile
38
 
from bzrlib.osutils import pathjoin
39
 
 
40
 
 
41
 
FP_MODE_COLUMN = 5
 
34
 
 
35
 
42
36
 
43
37
def _fingerprint(abspath):
44
38
    try:
53
47
    # we discard any high precision because it's not reliable; perhaps we
54
48
    # could do better on some systems?
55
49
    return (fs.st_size, long(fs.st_mtime),
56
 
            long(fs.st_ctime), fs.st_ino, fs.st_dev, fs.st_mode)
 
50
            long(fs.st_ctime), fs.st_ino, fs.st_dev)
57
51
 
58
52
 
59
53
class HashCache(object):
102
96
        self.update_count = 0
103
97
        self._cache = {}
104
98
 
 
99
 
105
100
    def cache_file_name(self):
106
 
        # FIXME: duplicate path logic here, this should be 
107
 
        # something like 'branch.controlfile'.
108
 
        return pathjoin(self.basedir, '.bzr', 'stat-cache')
 
101
        return os.sep.join([self.basedir, '.bzr', 'stat-cache'])
 
102
 
 
103
 
 
104
 
109
105
 
110
106
    def clear(self):
111
107
        """Discard all cached information.
126
122
        prep.sort()
127
123
        
128
124
        for inum, path, cache_entry in prep:
129
 
            abspath = pathjoin(self.basedir, path)
 
125
            abspath = os.sep.join([self.basedir, path])
130
126
            fp = _fingerprint(abspath)
131
127
            self.stat_count += 1
132
128
            
139
135
                del self._cache[path]
140
136
 
141
137
 
 
138
 
142
139
    def get_sha1(self, path):
143
140
        """Return the sha1 of a file.
144
141
        """
145
 
        abspath = pathjoin(self.basedir, path)
 
142
        abspath = os.sep.join([self.basedir, path])
146
143
        self.stat_count += 1
147
144
        file_fp = _fingerprint(abspath)
148
145
        
164
161
            return cache_sha1
165
162
        
166
163
        self.miss_count += 1
167
 
 
168
 
 
169
 
        mode = file_fp[FP_MODE_COLUMN]
170
 
        if stat.S_ISREG(mode):
171
 
            digest = sha_file(file(abspath, 'rb', buffering=65000))
172
 
        elif stat.S_ISLNK(mode):
173
 
            link_target = os.readlink(abspath)
174
 
            digest = sha.new(os.readlink(abspath)).hexdigest()
175
 
        else:
176
 
            raise BzrError("file %r: unknown file stat mode: %o"%(abspath,mode))
 
164
        digest = sha_file(file(abspath, 'rb', buffering=65000))
177
165
 
178
166
        now = int(time.time())
179
167
        if file_fp[1] >= now or file_fp[2] >= now:
189
177
            self.update_count += 1
190
178
            self.needs_write = True
191
179
            self._cache[path] = (digest, file_fp)
 
180
        
192
181
        return digest
193
182
        
 
183
 
 
184
 
 
185
 
194
186
    def write(self):
195
187
        """Write contents of cache to file."""
 
188
        from atomicfile import AtomicFile
 
189
 
196
190
        outf = AtomicFile(self.cache_file_name(), 'wb')
197
191
        try:
198
192
            print >>outf, CACHE_HEADER,
211
205
        finally:
212
206
            if not outf.closed:
213
207
                outf.abort()
 
208
        
 
209
 
214
210
 
215
211
    def read(self):
216
212
        """Reinstate cache from file.
225
221
        try:
226
222
            inf = file(fn, 'rb', buffering=65000)
227
223
        except IOError, e:
228
 
            mutter("failed to open %s: %s", fn, e)
229
 
            # better write it now so it is valid
230
 
            self.needs_write = True
 
224
            mutter("failed to open %s: %s" % (fn, e))
231
225
            return
232
226
 
233
227
 
234
228
        hdr = inf.readline()
235
229
        if hdr != CACHE_HEADER:
236
 
            mutter('cache header marker not found at top of %s;'
237
 
                   ' discarding cache', fn)
238
 
            self.needs_write = True
 
230
            mutter('cache header marker not found at top of %s; discarding cache'
 
231
                   % fn)
239
232
            return
240
233
 
241
234
        for l in inf:
247
240
 
248
241
            pos += 3
249
242
            fields = l[pos:].split(' ')
250
 
            if len(fields) != 7:
 
243
            if len(fields) != 6:
251
244
                warning("bad line in hashcache: %r" % l)
252
245
                continue
253
246