← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/store.py

  • Committer: Martin Pool
  • Date: 2005-09-05 09:11:03 UTC
  • Revision ID: mbp@sourcefrog.net-20050905091103-1e51e146be0f08b4
- add test for deserialization from a canned XML inventory

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/store.py
1
 
#! /usr/bin/env python
2
 
# -*- coding: UTF-8 -*-
 
1
# Copyright (C) 2005 by Canonical Development Ltd
3
2
 
4
3
# This program is free software; you can redistribute it and/or modify
5
4
# it under the terms of the GNU General Public License as published by
15
14
# along with this program; if not, write to the Free Software
16
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
17
16
 
18
 
"""Stores are the main data-storage mechanism for Bazaar-NG.
 
17
"""
 
18
Stores are the main data-storage mechanism for Bazaar-NG.
19
19
 
20
20
A store is a simple write-once container indexed by a universally
21
 
unique ID, which is typically the SHA-1 of the content."""
22
 
 
23
 
__copyright__ = "Copyright (C) 2005 Canonical Ltd."
24
 
__author__ = "Martin Pool <mbp@canonical.com>"
25
 
 
26
 
import os, tempfile, types, osutils
 
21
unique ID.
 
22
"""
 
23
 
 
24
import os, tempfile, types, osutils, gzip, errno
 
25
from stat import ST_SIZE
27
26
from StringIO import StringIO
28
 
from trace import mutter
29
 
 
 
27
from bzrlib.errors import BzrError
 
28
from bzrlib.trace import mutter
 
29
import bzrlib.ui
30
30
 
31
31
######################################################################
32
32
# stores
35
35
    pass
36
36
 
37
37
 
38
 
class ImmutableStore:
 
38
class ImmutableStore(object):
39
39
    """Store that holds files indexed by unique names.
40
40
 
41
41
    Files can be added, but not modified once they are in.  Typically
58
58
    >>> st['123123'].read()
59
59
    'goodbye'
60
60
 
61
 
    :todo: Atomic add by writing to a temporary file and renaming.
62
 
 
63
 
    :todo: Perhaps automatically transform to/from XML in a method?
64
 
           Would just need to tell the constructor what class to
65
 
           use...
66
 
 
67
 
    :todo: Even within a simple disk store like this, we could
68
 
           gzip the files.  But since many are less than one disk
69
 
           block, that might not help a lot.
70
 
 
 
61
    TODO: Atomic add by writing to a temporary file and renaming.
 
62
 
 
63
    In bzr 0.0.5 and earlier, files within the store were marked
 
64
    readonly on disk.  This is no longer done but existing stores need
 
65
    to be accomodated.
71
66
    """
72
67
 
73
68
    def __init__(self, basedir):
74
 
        """ImmutableStore constructor."""
75
69
        self._basedir = basedir
76
70
 
77
71
    def _path(self, id):
 
72
        if '\\' in id or '/' in id:
 
73
            raise ValueError("invalid store id %r" % id)
78
74
        return os.path.join(self._basedir, id)
79
75
 
80
76
    def __repr__(self):
81
77
        return "%s(%r)" % (self.__class__.__name__, self._basedir)
82
78
 
83
 
    def add(self, f, fileid):
 
79
    def add(self, f, fileid, compressed=True):
84
80
        """Add contents of a file into the store.
85
81
 
86
 
        :param f: An open file, or file-like object."""
87
 
        # FIXME: Only works on smallish files
88
 
        # TODO: Can be optimized by copying at the same time as
89
 
        # computing the sum.
 
82
        f -- An open file, or file-like object."""
 
83
        # FIXME: Only works on files that will fit in memory
 
84
        
 
85
        from bzrlib.atomicfile import AtomicFile
 
86
        
90
87
        mutter("add store entry %r" % (fileid))
91
88
        if isinstance(f, types.StringTypes):
92
89
            content = f
93
90
        else:
94
91
            content = f.read()
95
 
        if fileid not in self:
96
 
            filename = self._path(fileid)
97
 
            f = file(filename, 'wb')
98
 
            f.write(content)
99
 
            f.flush()
100
 
            os.fsync(f.fileno())
101
 
            f.close()
102
 
            osutils.make_readonly(filename)
103
 
 
 
92
            
 
93
        p = self._path(fileid)
 
94
        if os.access(p, os.F_OK) or os.access(p + '.gz', os.F_OK):
 
95
            raise BzrError("store %r already contains id %r" % (self._basedir, fileid))
 
96
 
 
97
        fn = p
 
98
        if compressed:
 
99
            fn = fn + '.gz'
 
100
            
 
101
        af = AtomicFile(fn, 'wb')
 
102
        try:
 
103
            if compressed:
 
104
                gf = gzip.GzipFile(mode='wb', fileobj=af)
 
105
                gf.write(content)
 
106
                gf.close()
 
107
            else:
 
108
                af.write(content)
 
109
            af.commit()
 
110
        finally:
 
111
            af.close()
 
112
 
 
113
 
 
114
    def copy_multi(self, other, ids, permit_failure=False):
 
115
        """Copy texts for ids from other into self.
 
116
 
 
117
        If an id is present in self, it is skipped.
 
118
 
 
119
        Returns (count_copied, failed), where failed is a collection of ids
 
120
        that could not be copied.
 
121
        """
 
122
        pb = bzrlib.ui.ui_factory.progress_bar()
 
123
        
 
124
        pb.update('preparing to copy')
 
125
        to_copy = [id for id in ids if id not in self]
 
126
        if isinstance(other, ImmutableStore):
 
127
            return self.copy_multi_immutable(other, to_copy, pb)
 
128
        count = 0
 
129
        failed = set()
 
130
        for id in to_copy:
 
131
            count += 1
 
132
            pb.update('copy', count, len(to_copy))
 
133
            if not permit_failure:
 
134
                self.add(other[id], id)
 
135
            else:
 
136
                try:
 
137
                    entry = other[id]
 
138
                except IndexError:
 
139
                    failed.add(id)
 
140
                    continue
 
141
                self.add(entry, id)
 
142
                
 
143
        if not permit_failure:
 
144
            assert count == len(to_copy)
 
145
        pb.clear()
 
146
        return count, failed
 
147
 
 
148
    def copy_multi_immutable(self, other, to_copy, pb, permit_failure=False):
 
149
        from shutil import copyfile
 
150
        count = 0
 
151
        failed = set()
 
152
        for id in to_copy:
 
153
            p = self._path(id)
 
154
            other_p = other._path(id)
 
155
            try:
 
156
                copyfile(other_p, p)
 
157
            except IOError, e:
 
158
                if e.errno == errno.ENOENT:
 
159
                    if not permit_failure:
 
160
                        copyfile(other_p+".gz", p+".gz")
 
161
                    else:
 
162
                        try:
 
163
                            copyfile(other_p+".gz", p+".gz")
 
164
                        except IOError, e:
 
165
                            if e.errno == errno.ENOENT:
 
166
                                failed.add(id)
 
167
                            else:
 
168
                                raise
 
169
                else:
 
170
                    raise
 
171
            
 
172
            count += 1
 
173
            pb.update('copy', count, len(to_copy))
 
174
        assert count == len(to_copy)
 
175
        pb.clear()
 
176
        return count, failed
 
177
    
104
178
 
105
179
    def __contains__(self, fileid):
106
180
        """"""
107
 
        return os.access(self._path(fileid), os.R_OK)
 
181
        p = self._path(fileid)
 
182
        return (os.access(p, os.R_OK)
 
183
                or os.access(p + '.gz', os.R_OK))
108
184
 
 
185
    # TODO: Guard against the same thing being stored twice, compressed and uncompresse
109
186
 
110
187
    def __iter__(self):
111
 
        return iter(os.listdir(self._basedir))
 
188
        for f in os.listdir(self._basedir):
 
189
            if f[-3:] == '.gz':
 
190
                # TODO: case-insensitive?
 
191
                yield f[:-3]
 
192
            else:
 
193
                yield f
 
194
 
 
195
    def __len__(self):
 
196
        return len(os.listdir(self._basedir))
 
197
 
112
198
 
113
199
    def __getitem__(self, fileid):
114
200
        """Returns a file reading from a particular entry."""
115
 
        return file(self._path(fileid), 'rb')
116
 
 
117
 
    def delete_all(self):
118
 
        for fileid in self:
119
 
            self.delete(fileid)
120
 
 
121
 
    def delete(self, fileid):
122
 
        """Remove nominated store entry.
123
 
 
124
 
        Most stores will be add-only."""
125
 
        filename = self._path(fileid)
126
 
        ## osutils.make_writable(filename)
127
 
        os.remove(filename)
128
 
 
129
 
    def destroy(self):
130
 
        """Remove store; only allowed if it is empty."""
131
 
        os.rmdir(self._basedir)
132
 
        mutter("%r destroyed" % self)
 
201
        p = self._path(fileid)
 
202
        try:
 
203
            return gzip.GzipFile(p + '.gz', 'rb')
 
204
        except IOError, e:
 
205
            if e.errno != errno.ENOENT:
 
206
                raise
 
207
 
 
208
        try:
 
209
            return file(p, 'rb')
 
210
        except IOError, e:
 
211
            if e.errno != errno.ENOENT:
 
212
                raise
 
213
 
 
214
        raise IndexError(fileid)
 
215
 
 
216
 
 
217
    def total_size(self):
 
218
        """Return (count, bytes)
 
219
 
 
220
        This is the (compressed) size stored on disk, not the size of
 
221
        the content."""
 
222
        total = 0
 
223
        count = 0
 
224
        for fid in self:
 
225
            count += 1
 
226
            p = self._path(fid)
 
227
            try:
 
228
                total += os.stat(p)[ST_SIZE]
 
229
            except OSError:
 
230
                total += os.stat(p + '.gz')[ST_SIZE]
 
231
                
 
232
        return count, total
 
233
 
133
234
 
134
235
 
135
236
 
137
238
    """Self-destructing test subclass of ImmutableStore.
138
239
 
139
240
    The Store only exists for the lifetime of the Python object.
140
 
    Obviously you should not put anything precious in it.
 
241
 Obviously you should not put anything precious in it.
141
242
    """
142
243
    def __init__(self):
143
244
        ImmutableStore.__init__(self, tempfile.mkdtemp())
144
245
 
145
246
    def __del__(self):
146
 
        self.delete_all()
147
 
        self.destroy()
 
247
        for f in os.listdir(self._basedir):
 
248
            fpath = os.path.join(self._basedir, f)
 
249
            # needed on windows, and maybe some other filesystems
 
250
            os.chmod(fpath, 0600)
 
251
            os.remove(fpath)
 
252
        os.rmdir(self._basedir)
 
253
        mutter("%r destroyed" % self)