~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/lockable_files.py

  • Committer: Ian Clatworthy
  • Date: 2007-08-13 14:16:53 UTC
  • mto: (2733.1.1 ianc-integration)
  • mto: This revision was merged to the branch mainline in revision 2734.
  • Revision ID: ian.clatworthy@internode.on.net-20070813141653-3cbrp00xowq58zv1
Added mini tutorial

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2008, 2009 Canonical Ltd
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
from cStringIO import StringIO
18
 
 
19
 
from bzrlib.lazy_import import lazy_import
20
 
lazy_import(globals(), """
21
18
import codecs
22
 
import warnings
23
 
 
24
 
from bzrlib import (
25
 
    counted_lock,
26
 
    errors,
27
 
    lock,
28
 
    osutils,
29
 
    transactions,
30
 
    urlutils,
31
 
    )
32
 
""")
33
 
 
34
 
from bzrlib.decorators import (
35
 
    needs_read_lock,
36
 
    needs_write_lock,
37
 
    )
38
 
from bzrlib.symbol_versioning import (
39
 
    deprecated_in,
40
 
    deprecated_method,
41
 
    )
 
19
#import traceback
 
20
 
 
21
import bzrlib
 
22
from bzrlib.decorators import (needs_read_lock,
 
23
        needs_write_lock)
 
24
import bzrlib.errors as errors
 
25
from bzrlib.errors import BzrError
 
26
from bzrlib.osutils import file_iterator, safe_unicode
 
27
from bzrlib.symbol_versioning import (deprecated_method, 
 
28
        zero_eight)
 
29
from bzrlib.trace import mutter, note
 
30
import bzrlib.transactions as transactions
 
31
import bzrlib.urlutils as urlutils
42
32
 
43
33
 
44
34
# XXX: The tracking here of lock counts and whether the lock is held is
45
35
# somewhat redundant with what's done in LockDir; the main difference is that
46
36
# LockableFiles permits reentrancy.
47
37
 
48
 
class _LockWarner(object):
49
 
    """Hold a counter for a lock and warn if GCed while the count is >= 1.
50
 
 
51
 
    This is separate from LockableFiles because putting a __del__ on
52
 
    LockableFiles can result in uncollectable cycles.
53
 
    """
54
 
 
55
 
    def __init__(self, repr):
56
 
        self.lock_count = 0
57
 
        self.repr = repr
58
 
 
59
 
    def __del__(self):
60
 
        if self.lock_count >= 1:
61
 
            # There should have been a try/finally to unlock this.
62
 
            warnings.warn("%r was gc'd while locked" % self.repr)
63
 
 
64
 
 
65
38
class LockableFiles(object):
66
39
    """Object representing a set of related files locked within the same scope.
67
40
 
76
49
    support this.)
77
50
 
78
51
    Instances of this class are often called control_files.
79
 
 
 
52
    
80
53
    This object builds on top of a Transport, which is used to actually write
81
54
    the files to disk, and an OSLock or LockDir, which controls how access to
82
55
    the files is controlled.  The particular type of locking used is set when
83
56
    the object is constructed.  In older formats OSLocks are used everywhere.
84
 
    in newer formats a LockDir is used for Repositories and Branches, and
 
57
    in newer formats a LockDir is used for Repositories and Branches, and 
85
58
    OSLocks for the local filesystem.
86
 
 
87
 
    This class is now deprecated; code should move to using the Transport
88
 
    directly for file operations and using the lock or CountedLock for
89
 
    locking.
90
 
    
91
 
    :ivar _lock: The real underlying lock (e.g. a LockDir)
92
 
    :ivar _counted_lock: A lock decorated with a semaphore, so that it 
93
 
        can be re-entered.
94
59
    """
95
60
 
96
61
    # _lock_mode: None, or 'r' or 'w'
97
62
 
98
63
    # _lock_count: If _lock_mode is true, a positive count of the number of
99
 
    # times the lock has been taken *by this process*.
 
64
    # times the lock has been taken *by this process*.   
 
65
    
 
66
    # If set to False (by a plugin, etc) BzrBranch will not set the
 
67
    # mode on created files or directories
 
68
    _set_file_mode = True
 
69
    _set_dir_mode = True
100
70
 
101
71
    def __init__(self, transport, lock_name, lock_class):
102
72
        """Create a LockableFiles group
103
73
 
104
 
        :param transport: Transport pointing to the directory holding the
 
74
        :param transport: Transport pointing to the directory holding the 
105
75
            control files and lock.
106
76
        :param lock_name: Name of the lock guarding these files.
107
77
        :param lock_class: Class of lock strategy to use: typically
111
81
        self.lock_name = lock_name
112
82
        self._transaction = None
113
83
        self._lock_mode = None
114
 
        self._lock_warner = _LockWarner(repr(self))
 
84
        self._lock_count = 0
115
85
        self._find_modes()
116
86
        esc_name = self._escape(lock_name)
117
87
        self._lock = lock_class(transport, esc_name,
118
88
                                file_modebits=self._file_mode,
119
89
                                dir_modebits=self._dir_mode)
120
 
        self._counted_lock = counted_lock.CountedLock(self._lock)
121
90
 
122
91
    def create_lock(self):
123
92
        """Create the lock.
133
102
    def __str__(self):
134
103
        return 'LockableFiles(%s, %s)' % (self.lock_name, self._transport.base)
135
104
 
 
105
    def __del__(self):
 
106
        if self.is_locked():
 
107
            # XXX: This should show something every time, and be suitable for
 
108
            # headless operation and embedding
 
109
            from warnings import warn
 
110
            warn("file group %r was not explicitly unlocked" % self)
 
111
            self._lock.unlock()
 
112
 
136
113
    def break_lock(self):
137
114
        """Break the lock of this lockable files group if it is held.
138
115
 
141
118
        self._lock.break_lock()
142
119
 
143
120
    def _escape(self, file_or_path):
144
 
        """DEPRECATED: Do not use outside this class"""
145
121
        if not isinstance(file_or_path, basestring):
146
122
            file_or_path = '/'.join(file_or_path)
147
123
        if file_or_path == '':
148
124
            return u''
149
 
        return urlutils.escape(osutils.safe_unicode(file_or_path))
 
125
        return urlutils.escape(safe_unicode(file_or_path))
150
126
 
151
127
    def _find_modes(self):
152
 
        """Determine the appropriate modes for files and directories.
153
 
 
154
 
        :deprecated: Replaced by BzrDir._find_modes.
155
 
        """
156
 
        # XXX: The properties created by this can be removed or deprecated
157
 
        # once all the _get_text_store methods etc no longer use them.
158
 
        # -- mbp 20080512
 
128
        """Determine the appropriate modes for files and directories."""
159
129
        try:
160
130
            st = self._transport.stat('.')
161
131
        except errors.TransportNotPossible:
162
132
            self._dir_mode = 0755
163
133
            self._file_mode = 0644
164
134
        else:
165
 
            # Check the directory mode, but also make sure the created
166
 
            # directories and files are read-write for this user. This is
167
 
            # mostly a workaround for filesystems which lie about being able to
168
 
            # write to a directory (cygwin & win32)
169
 
            self._dir_mode = (st.st_mode & 07777) | 00700
 
135
            self._dir_mode = st.st_mode & 07777
170
136
            # Remove the sticky and execute bits for files
171
137
            self._file_mode = self._dir_mode & ~07111
 
138
        if not self._set_dir_mode:
 
139
            self._dir_mode = None
 
140
        if not self._set_file_mode:
 
141
            self._file_mode = None
172
142
 
173
 
    @deprecated_method(deprecated_in((1, 6, 0)))
174
143
    def controlfilename(self, file_or_path):
175
 
        """Return location relative to branch.
176
 
 
177
 
        :deprecated: Use Transport methods instead.
178
 
        """
 
144
        """Return location relative to branch."""
179
145
        return self._transport.abspath(self._escape(file_or_path))
180
146
 
 
147
    @deprecated_method(zero_eight)
 
148
    def controlfile(self, file_or_path, mode='r'):
 
149
        """Open a control file for this branch.
 
150
 
 
151
        There are two classes of file in a lockable directory: text
 
152
        and binary.  binary files are untranslated byte streams.  Text
 
153
        control files are stored with Unix newlines and in UTF-8, even
 
154
        if the platform or locale defaults are different.
 
155
 
 
156
        Such files are not openable in write mode : they are managed via
 
157
        put and put_utf8 which atomically replace old versions using
 
158
        atomicfile.
 
159
        """
 
160
 
 
161
        relpath = self._escape(file_or_path)
 
162
        # TODO: codecs.open() buffers linewise, so it was overloaded with
 
163
        # a much larger buffer, do we need to do the same for getreader/getwriter?
 
164
        if mode == 'rb': 
 
165
            return self.get(relpath)
 
166
        elif mode == 'wb':
 
167
            raise BzrError("Branch.controlfile(mode='wb') is not supported, use put[_utf8]")
 
168
        elif mode == 'r':
 
169
            return self.get_utf8(relpath)
 
170
        elif mode == 'w':
 
171
            raise BzrError("Branch.controlfile(mode='w') is not supported, use put[_utf8]")
 
172
        else:
 
173
            raise BzrError("invalid controlfile mode %r" % mode)
 
174
 
181
175
    @needs_read_lock
182
 
    @deprecated_method(deprecated_in((1, 5, 0)))
183
176
    def get(self, relpath):
184
 
        """Get a file as a bytestream.
185
 
 
186
 
        :deprecated: Use a Transport instead of LockableFiles.
187
 
        """
 
177
        """Get a file as a bytestream."""
188
178
        relpath = self._escape(relpath)
189
179
        return self._transport.get(relpath)
190
180
 
191
181
    @needs_read_lock
192
 
    @deprecated_method(deprecated_in((1, 5, 0)))
193
182
    def get_utf8(self, relpath):
194
 
        """Get a file as a unicode stream.
195
 
 
196
 
        :deprecated: Use a Transport instead of LockableFiles.
197
 
        """
 
183
        """Get a file as a unicode stream."""
198
184
        relpath = self._escape(relpath)
199
185
        # DO NOT introduce an errors=replace here.
200
186
        return codecs.getreader('utf-8')(self._transport.get(relpath))
201
187
 
202
188
    @needs_write_lock
203
 
    @deprecated_method(deprecated_in((1, 6, 0)))
204
189
    def put(self, path, file):
205
190
        """Write a file.
206
 
 
 
191
        
207
192
        :param path: The path to put the file, relative to the .bzr control
208
193
                     directory
209
 
        :param file: A file-like or string object whose contents should be copied.
210
 
 
211
 
        :deprecated: Use Transport methods instead.
 
194
        :param f: A file-like or string object whose contents should be copied.
212
195
        """
213
196
        self._transport.put_file(self._escape(path), file, mode=self._file_mode)
214
197
 
215
198
    @needs_write_lock
216
 
    @deprecated_method(deprecated_in((1, 6, 0)))
217
199
    def put_bytes(self, path, a_string):
218
200
        """Write a string of bytes.
219
201
 
220
202
        :param path: The path to put the bytes, relative to the transport root.
221
 
        :param a_string: A string object, whose exact bytes are to be copied.
222
 
 
223
 
        :deprecated: Use Transport methods instead.
 
203
        :param string: A string object, whose exact bytes are to be copied.
224
204
        """
225
205
        self._transport.put_bytes(self._escape(path), a_string,
226
206
                                  mode=self._file_mode)
227
207
 
228
208
    @needs_write_lock
229
 
    @deprecated_method(deprecated_in((1, 6, 0)))
230
209
    def put_utf8(self, path, a_string):
231
210
        """Write a string, encoding as utf-8.
232
211
 
233
212
        :param path: The path to put the string, relative to the transport root.
234
213
        :param string: A string or unicode object whose contents should be copied.
235
 
 
236
 
        :deprecated: Use Transport methods instead.
237
214
        """
238
215
        # IterableFile would not be needed if Transport.put took iterables
239
216
        # instead of files.  ADHB 2005-12-25
255
232
 
256
233
    def lock_write(self, token=None):
257
234
        """Lock this group of files for writing.
258
 
 
 
235
        
259
236
        :param token: if this is already locked, then lock_write will fail
260
237
            unless the token matches the existing lock.
261
238
        :returns: a token if this instance supports tokens, otherwise None.
268
245
        some other way, and need to synchronise this object's state with that
269
246
        fact.
270
247
        """
 
248
        # mutter("lock write: %s (%s)", self, self._lock_count)
271
249
        # TODO: Upgrade locking to support using a Transport,
272
250
        # and potentially a remote locking protocol
273
251
        if self._lock_mode:
274
252
            if self._lock_mode != 'w' or not self.get_transaction().writeable():
275
253
                raise errors.ReadOnlyError(self)
276
254
            self._lock.validate_token(token)
277
 
            self._lock_warner.lock_count += 1
 
255
            self._lock_count += 1
278
256
            return self._token_from_lock
279
257
        else:
280
258
            token_from_lock = self._lock.lock_write(token=token)
 
259
            #note('write locking %s', self)
281
260
            #traceback.print_stack()
282
261
            self._lock_mode = 'w'
283
 
            self._lock_warner.lock_count = 1
284
 
            self._set_write_transaction()
 
262
            self._lock_count = 1
 
263
            self._set_transaction(transactions.WriteTransaction())
285
264
            self._token_from_lock = token_from_lock
286
265
            return token_from_lock
287
266
 
288
267
    def lock_read(self):
 
268
        # mutter("lock read: %s (%s)", self, self._lock_count)
289
269
        if self._lock_mode:
290
 
            if self._lock_mode not in ('r', 'w'):
291
 
                raise ValueError("invalid lock mode %r" % (self._lock_mode,))
292
 
            self._lock_warner.lock_count += 1
 
270
            assert self._lock_mode in ('r', 'w'), \
 
271
                   "invalid lock mode %r" % self._lock_mode
 
272
            self._lock_count += 1
293
273
        else:
294
274
            self._lock.lock_read()
 
275
            #note('read locking %s', self)
295
276
            #traceback.print_stack()
296
277
            self._lock_mode = 'r'
297
 
            self._lock_warner.lock_count = 1
298
 
            self._set_read_transaction()
299
 
 
300
 
    def _set_read_transaction(self):
301
 
        """Setup a read transaction."""
302
 
        self._set_transaction(transactions.ReadOnlyTransaction())
303
 
        # 5K may be excessive, but hey, its a knob.
304
 
        self.get_transaction().set_cache_size(5000)
305
 
 
306
 
    def _set_write_transaction(self):
307
 
        """Setup a write transaction."""
308
 
        self._set_transaction(transactions.WriteTransaction())
309
 
 
 
278
            self._lock_count = 1
 
279
            self._set_transaction(transactions.ReadOnlyTransaction())
 
280
            # 5K may be excessive, but hey, its a knob.
 
281
            self.get_transaction().set_cache_size(5000)
 
282
                        
310
283
    def unlock(self):
 
284
        # mutter("unlock: %s (%s)", self, self._lock_count)
311
285
        if not self._lock_mode:
312
 
            return lock.cant_unlock_not_held(self)
313
 
        if self._lock_warner.lock_count > 1:
314
 
            self._lock_warner.lock_count -= 1
 
286
            raise errors.LockNotHeld(self)
 
287
        if self._lock_count > 1:
 
288
            self._lock_count -= 1
315
289
        else:
 
290
            #note('unlocking %s', self)
316
291
            #traceback.print_stack()
317
292
            self._finish_transaction()
318
293
            try:
319
294
                self._lock.unlock()
320
295
            finally:
321
 
                self._lock_mode = self._lock_warner.lock_count = None
322
 
 
323
 
    @property
324
 
    def _lock_count(self):
325
 
        return self._lock_warner.lock_count
 
296
                self._lock_mode = self._lock_count = None
326
297
 
327
298
    def is_locked(self):
328
299
        """Return true if this LockableFiles group is locked"""
329
 
        return self._lock_warner.lock_count >= 1
 
300
        return self._lock_count >= 1
330
301
 
331
302
    def get_physical_lock_status(self):
332
303
        """Return physical lock status.
333
 
 
 
304
        
334
305
        Returns true if a lock is held on the transport. If no lock is held, or
335
306
        the underlying locking mechanism does not support querying lock
336
307
        status, false is returned.
418
389
    def validate_token(self, token):
419
390
        if token is not None:
420
391
            raise errors.TokenLockingNotSupported(self)
421
 
 
 
392