← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/store.py

  • Committer: Martin Pool
  • Date: 2005-06-06 11:53:29 UTC
  • Revision ID: mbp@sourcefrog.net-20050606115329-1596352add25bffd
- merge aaron's updated merge/pull code

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/store.py
1
 
#! /usr/bin/env python
2
 
# -*- coding: UTF-8 -*-
 
1
 
3
2
 
4
3
# This program is free software; you can redistribute it and/or modify
5
4
# it under the terms of the GNU General Public License as published by
23
22
__copyright__ = "Copyright (C) 2005 Canonical Ltd."
24
23
__author__ = "Martin Pool <mbp@canonical.com>"
25
24
 
26
 
import os, tempfile, types, osutils
 
25
import os, tempfile, types, osutils, gzip, errno
 
26
from stat import ST_SIZE
27
27
from StringIO import StringIO
28
28
from trace import mutter
29
29
 
30
 
 
31
30
######################################################################
32
31
# stores
33
32
 
35
34
    pass
36
35
 
37
36
 
38
 
class ImmutableStore:
 
37
class ImmutableStore(object):
39
38
    """Store that holds files indexed by unique names.
40
39
 
41
40
    Files can be added, but not modified once they are in.  Typically
58
57
    >>> st['123123'].read()
59
58
    'goodbye'
60
59
 
61
 
    :todo: Atomic add by writing to a temporary file and renaming.
 
60
    TODO: Atomic add by writing to a temporary file and renaming.
62
61
 
63
 
    :todo: Perhaps automatically transform to/from XML in a method?
 
62
    TODO: Perhaps automatically transform to/from XML in a method?
64
63
           Would just need to tell the constructor what class to
65
64
           use...
66
65
 
67
 
    :todo: Even within a simple disk store like this, we could
 
66
    TODO: Even within a simple disk store like this, we could
68
67
           gzip the files.  But since many are less than one disk
69
68
           block, that might not help a lot.
70
69
 
75
74
        self._basedir = basedir
76
75
 
77
76
    def _path(self, id):
 
77
        assert '/' not in id
78
78
        return os.path.join(self._basedir, id)
79
79
 
80
80
    def __repr__(self):
81
81
        return "%s(%r)" % (self.__class__.__name__, self._basedir)
82
82
 
83
 
    def add(self, f, fileid):
 
83
    def add(self, f, fileid, compressed=True):
84
84
        """Add contents of a file into the store.
85
85
 
86
 
        :param f: An open file, or file-like object."""
 
86
        f -- An open file, or file-like object."""
87
87
        # FIXME: Only works on smallish files
88
88
        # TODO: Can be optimized by copying at the same time as
89
89
        # computing the sum.
92
92
            content = f
93
93
        else:
94
94
            content = f.read()
95
 
        if fileid not in self:
96
 
            filename = self._path(fileid)
97
 
            f = file(filename, 'wb')
98
 
            f.write(content)
99
 
            f.flush()
100
 
            os.fsync(f.fileno())
101
 
            f.close()
102
 
            osutils.make_readonly(filename)
103
 
 
 
95
 
 
96
        p = self._path(fileid)
 
97
        if os.access(p, os.F_OK) or os.access(p + '.gz', os.F_OK):
 
98
            bailout("store %r already contains id %r" % (self._basedir, fileid))
 
99
 
 
100
        if compressed:
 
101
            f = gzip.GzipFile(p + '.gz', 'wb')
 
102
            os.chmod(p + '.gz', 0444)
 
103
        else:
 
104
            f = file(p, 'wb')
 
105
            os.chmod(p, 0444)
 
106
            
 
107
        f.write(content)
 
108
        f.close()
 
109
 
 
110
    def copy_multi(self, other, ids):
 
111
        """Copy texts for ids from other into self.
 
112
 
 
113
        If an id is present in self, it is skipped.  A count of copied
 
114
        ids is returned, which may be less than len(ids).
 
115
        """
 
116
        count = 0
 
117
        for id in ids:
 
118
            if id in self:
 
119
                continue
 
120
            self.add(other[id], id)
 
121
            count += 1
 
122
        return count
104
123
 
105
124
    def __contains__(self, fileid):
106
125
        """"""
107
 
        return os.access(self._path(fileid), os.R_OK)
 
126
        p = self._path(fileid)
 
127
        return (os.access(p, os.R_OK)
 
128
                or os.access(p + '.gz', os.R_OK))
108
129
 
 
130
    # TODO: Guard against the same thing being stored twice, compressed and uncompresse
109
131
 
110
132
    def __iter__(self):
111
 
        return iter(os.listdir(self._basedir))
 
133
        for f in os.listdir(self._basedir):
 
134
            if f[-3:] == '.gz':
 
135
                # TODO: case-insensitive?
 
136
                yield f[:-3]
 
137
            else:
 
138
                yield f
 
139
 
 
140
    def __len__(self):
 
141
        return len(os.listdir(self._basedir))
112
142
 
113
143
    def __getitem__(self, fileid):
114
144
        """Returns a file reading from a particular entry."""
115
 
        return file(self._path(fileid), 'rb')
116
 
 
117
 
    def delete_all(self):
118
 
        for fileid in self:
119
 
            self.delete(fileid)
120
 
 
121
 
    def delete(self, fileid):
122
 
        """Remove nominated store entry.
123
 
 
124
 
        Most stores will be add-only."""
125
 
        filename = self._path(fileid)
126
 
        ## osutils.make_writable(filename)
127
 
        os.remove(filename)
128
 
 
129
 
    def destroy(self):
130
 
        """Remove store; only allowed if it is empty."""
131
 
        os.rmdir(self._basedir)
132
 
        mutter("%r destroyed" % self)
 
145
        p = self._path(fileid)
 
146
        try:
 
147
            return gzip.GzipFile(p + '.gz', 'rb')
 
148
        except IOError, e:
 
149
            if e.errno == errno.ENOENT:
 
150
                return file(p, 'rb')
 
151
            else:
 
152
                raise e
 
153
 
 
154
    def total_size(self):
 
155
        """Return (count, bytes)
 
156
 
 
157
        This is the (compressed) size stored on disk, not the size of
 
158
        the content."""
 
159
        total = 0
 
160
        count = 0
 
161
        for fid in self:
 
162
            count += 1
 
163
            p = self._path(fid)
 
164
            try:
 
165
                total += os.stat(p)[ST_SIZE]
 
166
            except OSError:
 
167
                total += os.stat(p + '.gz')[ST_SIZE]
 
168
                
 
169
        return count, total
 
170
 
133
171
 
134
172
 
135
173
 
143
181
        ImmutableStore.__init__(self, tempfile.mkdtemp())
144
182
 
145
183
    def __del__(self):
146
 
        self.delete_all()
147
 
        self.destroy()
 
184
        for f in os.listdir(self._basedir):
 
185
            fpath = os.path.join(self._basedir, f)
 
186
            # needed on windows, and maybe some other filesystems
 
187
            os.chmod(fpath, 0600)
 
188
            os.remove(fpath)
 
189
        os.rmdir(self._basedir)
 
190
        mutter("%r destroyed" % self)