← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/store.py

  • Committer: mbp at sourcefrog
  • Date: 2005-03-28 02:39:35 UTC
  • Revision ID: mbp@sourcefrog.net-20050328023935-7dd7567157136f82
Add more patterns to default ignore list

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/store.py
1
 
# Copyright (C) 2005 by Canonical Development Ltd
 
1
#! /usr/bin/env python
 
2
# -*- coding: UTF-8 -*-
2
3
 
3
4
# This program is free software; you can redistribute it and/or modify
4
5
# it under the terms of the GNU General Public License as published by
14
15
# along with this program; if not, write to the Free Software
15
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
17
 
17
 
"""
18
 
Stores are the main data-storage mechanism for Bazaar-NG.
 
18
"""Stores are the main data-storage mechanism for Bazaar-NG.
19
19
 
20
20
A store is a simple write-once container indexed by a universally
21
 
unique ID.
22
 
"""
23
 
 
24
 
import os, tempfile, types, osutils, gzip, errno
 
21
unique ID, which is typically the SHA-1 of the content."""
 
22
 
 
23
__copyright__ = "Copyright (C) 2005 Canonical Ltd."
 
24
__author__ = "Martin Pool <mbp@canonical.com>"
 
25
 
 
26
import os, tempfile, types, osutils
25
27
from stat import ST_SIZE
26
28
from StringIO import StringIO
27
 
from bzrlib.trace import mutter
28
 
import bzrlib.ui
 
29
from trace import mutter
 
30
 
29
31
 
30
32
######################################################################
31
33
# stores
34
36
    pass
35
37
 
36
38
 
37
 
class ImmutableStore(object):
 
39
class ImmutableStore:
38
40
    """Store that holds files indexed by unique names.
39
41
 
40
42
    Files can be added, but not modified once they are in.  Typically
57
59
    >>> st['123123'].read()
58
60
    'goodbye'
59
61
 
60
 
    TODO: Atomic add by writing to a temporary file and renaming.
61
 
 
62
 
    In bzr 0.0.5 and earlier, files within the store were marked
63
 
    readonly on disk.  This is no longer done but existing stores need
64
 
    to be accomodated.
 
62
    :todo: Atomic add by writing to a temporary file and renaming.
 
63
 
 
64
    :todo: Perhaps automatically transform to/from XML in a method?
 
65
           Would just need to tell the constructor what class to
 
66
           use...
 
67
 
 
68
    :todo: Even within a simple disk store like this, we could
 
69
           gzip the files.  But since many are less than one disk
 
70
           block, that might not help a lot.
 
71
 
65
72
    """
66
73
 
67
74
    def __init__(self, basedir):
 
75
        """ImmutableStore constructor."""
68
76
        self._basedir = basedir
69
77
 
70
78
    def _path(self, id):
71
 
        if '\\' in id or '/' in id:
72
 
            raise ValueError("invalid store id %r" % id)
73
79
        return os.path.join(self._basedir, id)
74
80
 
75
81
    def __repr__(self):
76
82
        return "%s(%r)" % (self.__class__.__name__, self._basedir)
77
83
 
78
 
    def add(self, f, fileid, compressed=True):
 
84
    def add(self, f, fileid):
79
85
        """Add contents of a file into the store.
80
86
 
81
 
        f -- An open file, or file-like object."""
82
 
        # FIXME: Only works on files that will fit in memory
83
 
        
84
 
        from bzrlib.atomicfile import AtomicFile
85
 
        
 
87
        :param f: An open file, or file-like object."""
 
88
        # FIXME: Only works on smallish files
 
89
        # TODO: Can be optimized by copying at the same time as
 
90
        # computing the sum.
86
91
        mutter("add store entry %r" % (fileid))
87
92
        if isinstance(f, types.StringTypes):
88
93
            content = f
89
94
        else:
90
95
            content = f.read()
91
 
            
92
 
        p = self._path(fileid)
93
 
        if os.access(p, os.F_OK) or os.access(p + '.gz', os.F_OK):
94
 
            from bzrlib.errors import bailout
95
 
            raise BzrError("store %r already contains id %r" % (self._basedir, fileid))
96
 
 
97
 
        fn = p
98
 
        if compressed:
99
 
            fn = fn + '.gz'
100
 
            
101
 
        af = AtomicFile(fn, 'wb')
102
 
        try:
103
 
            if compressed:
104
 
                gf = gzip.GzipFile(mode='wb', fileobj=af)
105
 
                gf.write(content)
106
 
                gf.close()
107
 
            else:
108
 
                af.write(content)
109
 
            af.commit()
110
 
        finally:
111
 
            af.close()
112
 
 
113
 
 
114
 
    def copy_multi(self, other, ids, permit_failure=False):
115
 
        """Copy texts for ids from other into self.
116
 
 
117
 
        If an id is present in self, it is skipped.
118
 
 
119
 
        Returns (count_copied, failed), where failed is a collection of ids
120
 
        that could not be copied.
121
 
        """
122
 
        pb = bzrlib.ui.ui_factory.progress_bar()
123
 
        
124
 
        pb.update('preparing to copy')
125
 
        to_copy = [id for id in ids if id not in self]
126
 
        if isinstance(other, ImmutableStore):
127
 
            return self.copy_multi_immutable(other, to_copy, pb)
128
 
        count = 0
129
 
        for id in to_copy:
130
 
            count += 1
131
 
            pb.update('copy', count, len(to_copy))
132
 
            if not permit_failure:
133
 
                self.add(other[id], id)
134
 
            else:
135
 
                try:
136
 
                    entry = other[id]
137
 
                except IndexError:
138
 
                    failures.add(id)
139
 
                    continue
140
 
                self.add(entry, id)
141
 
                
142
 
        assert count == len(to_copy)
143
 
        pb.clear()
144
 
        return count, []
145
 
 
146
 
 
147
 
    def copy_multi_immutable(self, other, to_copy, pb, permit_failure=False):
148
 
        from shutil import copyfile
149
 
        count = 0
150
 
        failed = set()
151
 
        for id in to_copy:
152
 
            p = self._path(id)
153
 
            other_p = other._path(id)
154
 
            try:
155
 
                copyfile(other_p, p)
156
 
            except IOError, e:
157
 
                if e.errno == errno.ENOENT:
158
 
                    if not permit_failure:
159
 
                        copyfile(other_p+".gz", p+".gz")
160
 
                    else:
161
 
                        try:
162
 
                            copyfile(other_p+".gz", p+".gz")
163
 
                        except IOError, e:
164
 
                            if e.errno == errno.ENOENT:
165
 
                                failed.add(id)
166
 
                            else:
167
 
                                raise
168
 
                else:
169
 
                    raise
170
 
            
171
 
            count += 1
172
 
            pb.update('copy', count, len(to_copy))
173
 
        assert count == len(to_copy)
174
 
        pb.clear()
175
 
        return count, failed
176
 
    
 
96
        if fileid not in self:
 
97
            filename = self._path(fileid)
 
98
            f = file(filename, 'wb')
 
99
            f.write(content)
 
100
            ## f.flush()
 
101
            ## os.fsync(f.fileno())
 
102
            f.close()
 
103
            osutils.make_readonly(filename)
 
104
 
177
105
 
178
106
    def __contains__(self, fileid):
179
107
        """"""
180
 
        p = self._path(fileid)
181
 
        return (os.access(p, os.R_OK)
182
 
                or os.access(p + '.gz', os.R_OK))
 
108
        return os.access(self._path(fileid), os.R_OK)
183
109
 
184
 
    # TODO: Guard against the same thing being stored twice, compressed and uncompresse
185
110
 
186
111
    def __iter__(self):
187
 
        for f in os.listdir(self._basedir):
188
 
            if f[-3:] == '.gz':
189
 
                # TODO: case-insensitive?
190
 
                yield f[:-3]
191
 
            else:
192
 
                yield f
 
112
        return iter(os.listdir(self._basedir))
193
113
 
194
114
    def __len__(self):
195
115
        return len(os.listdir(self._basedir))
196
116
 
197
 
 
198
117
    def __getitem__(self, fileid):
199
118
        """Returns a file reading from a particular entry."""
200
 
        p = self._path(fileid)
201
 
        try:
202
 
            return gzip.GzipFile(p + '.gz', 'rb')
203
 
        except IOError, e:
204
 
            if e.errno != errno.ENOENT:
205
 
                raise
206
 
 
207
 
        try:
208
 
            return file(p, 'rb')
209
 
        except IOError, e:
210
 
            if e.errno != errno.ENOENT:
211
 
                raise
212
 
 
213
 
        raise IndexError(fileid)
214
 
 
 
119
        return file(self._path(fileid), 'rb')
215
120
 
216
121
    def total_size(self):
217
 
        """Return (count, bytes)
218
 
 
219
 
        This is the (compressed) size stored on disk, not the size of
220
 
        the content."""
 
122
        """Return (count, bytes)"""
221
123
        total = 0
222
124
        count = 0
223
125
        for fid in self:
224
126
            count += 1
225
 
            p = self._path(fid)
226
 
            try:
227
 
                total += os.stat(p)[ST_SIZE]
228
 
            except OSError:
229
 
                total += os.stat(p + '.gz')[ST_SIZE]
230
 
                
 
127
            total += os.stat(self._path(fid))[ST_SIZE]
231
128
        return count, total
232
129
 
 
130
    def delete_all(self):
 
131
        for fileid in self:
 
132
            self.delete(fileid)
 
133
 
 
134
    def delete(self, fileid):
 
135
        """Remove nominated store entry.
 
136
 
 
137
        Most stores will be add-only."""
 
138
        filename = self._path(fileid)
 
139
        ## osutils.make_writable(filename)
 
140
        os.remove(filename)
 
141
 
 
142
    def destroy(self):
 
143
        """Remove store; only allowed if it is empty."""
 
144
        os.rmdir(self._basedir)
 
145
        mutter("%r destroyed" % self)
233
146
 
234
147
 
235
148
 
237
150
    """Self-destructing test subclass of ImmutableStore.
238
151
 
239
152
    The Store only exists for the lifetime of the Python object.
240
 
 Obviously you should not put anything precious in it.
 
153
    Obviously you should not put anything precious in it.
241
154
    """
242
155
    def __init__(self):
243
156
        ImmutableStore.__init__(self, tempfile.mkdtemp())
244
157
 
245
158
    def __del__(self):
246
 
        for f in os.listdir(self._basedir):
247
 
            fpath = os.path.join(self._basedir, f)
248
 
            # needed on windows, and maybe some other filesystems
249
 
            os.chmod(fpath, 0600)
250
 
            os.remove(fpath)
251
 
        os.rmdir(self._basedir)
252
 
        mutter("%r destroyed" % self)
 
159
        self.delete_all()
 
160
        self.destroy()