~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/lockdir.py

  • Committer: John Arbash Meinel
  • Date: 2006-10-24 14:12:53 UTC
  • mto: This revision was merged to the branch mainline in revision 2095.
  • Revision ID: john@arbash-meinel.com-20061024141253-783fba812b197b70
(John Arbash Meinel) Update version information for 0.13 development

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006, 2007 Canonical Ltd
 
1
# Copyright (C) 2006 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
88
88
>>> t = MemoryTransport()
89
89
>>> l = LockDir(t, 'sample-lock')
90
90
>>> l.create()
91
 
>>> token = l.wait_lock()
 
91
>>> l.wait_lock()
92
92
>>> # do something here
93
93
>>> l.unlock()
94
94
 
95
95
"""
96
96
 
97
 
 
98
 
# TODO: We sometimes have the problem that our attempt to rename '1234' to
99
 
# 'held' fails because the transport server moves into an existing directory,
100
 
# rather than failing the rename.  If we made the info file name the same as
101
 
# the locked directory name we would avoid this problem because moving into
102
 
# the held directory would implicitly clash.  However this would not mesh with
103
 
# the existing locking code and needs a new format of the containing object.
104
 
# -- robertc, mbp 20070628
105
 
 
106
97
import os
107
98
import time
108
99
from cStringIO import StringIO
109
100
 
110
101
from bzrlib import (
111
 
    debug,
112
102
    errors,
113
103
    )
114
104
import bzrlib.config
128
118
from bzrlib.transport import Transport
129
119
from bzrlib.osutils import rand_chars, format_delta
130
120
from bzrlib.rio import read_stanza, Stanza
131
 
import bzrlib.ui
132
121
 
133
122
 
134
123
# XXX: At the moment there is no consideration of thread safety on LockDir
170
159
        self.transport = transport
171
160
        self.path = path
172
161
        self._lock_held = False
173
 
        self._locked_via_token = False
174
162
        self._fake_read_lock = False
175
163
        self._held_dir = path + '/held'
176
164
        self._held_info_path = self._held_dir + self.__INFO_NAME
177
165
        self._file_modebits = file_modebits
178
166
        self._dir_modebits = dir_modebits
 
167
        self.nonce = rand_chars(20)
179
168
 
180
169
        self._report_function = note
181
170
 
194
183
        """
195
184
        if self.transport.is_readonly():
196
185
            raise UnlockableTransport(self.transport)
197
 
        self._trace("create lock directory")
198
186
        self.transport.mkdir(self.path, mode=mode)
199
187
 
200
 
    def _attempt_lock(self):
201
 
        """Make the pending directory and attempt to rename into place.
 
188
    def attempt_lock(self):
 
189
        """Take the lock; fail if it's already held.
202
190
        
203
 
        If the rename succeeds, we read back the info file to check that we
204
 
        really got the lock.
205
 
 
206
 
        If we fail to acquire the lock, this method is responsible for
207
 
        cleaning up the pending directory if possible.  (But it doesn't do
208
 
        that yet.)
209
 
 
210
 
        :returns: The nonce of the lock, if it was successfully acquired.
211
 
 
212
 
        :raises LockContention: If the lock is held by someone else.  The exception
213
 
            contains the info of the current holder of the lock.
 
191
        If you wish to block until the lock can be obtained, call wait_lock()
 
192
        instead.
214
193
        """
215
 
        self._trace("lock_write...")
216
 
        start_time = time.time()
217
 
        tmpname = self._create_pending_dir()
 
194
        if self._fake_read_lock:
 
195
            raise LockContention(self)
 
196
        if self.transport.is_readonly():
 
197
            raise UnlockableTransport(self.transport)
218
198
        try:
 
199
            tmpname = '%s/pending.%s.tmp' % (self.path, rand_chars(20))
 
200
            try:
 
201
                self.transport.mkdir(tmpname)
 
202
            except NoSuchFile:
 
203
                # This may raise a FileExists exception
 
204
                # which is okay, it will be caught later and determined
 
205
                # to be a LockContention.
 
206
                self.create(mode=self._dir_modebits)
 
207
                
 
208
                # After creating the lock directory, try again
 
209
                self.transport.mkdir(tmpname)
 
210
 
 
211
            info_bytes = self._prepare_info()
 
212
            # We use put_file_non_atomic because we just created a new unique
 
213
            # directory so we don't have to worry about files existing there.
 
214
            # We'll rename the whole directory into place to get atomic
 
215
            # properties
 
216
            self.transport.put_bytes_non_atomic(tmpname + self.__INFO_NAME,
 
217
                                                info_bytes)
 
218
 
219
219
            self.transport.rename(tmpname, self._held_dir)
 
220
            self._lock_held = True
 
221
            self.confirm()
220
222
        except (PathError, DirectoryNotEmpty, FileExists, ResourceBusy), e:
221
 
            self._trace("... contention, %s", e)
222
 
            self._remove_pending_dir(tmpname)
223
 
            raise LockContention(self)
224
 
        except Exception, e:
225
 
            self._trace("... lock failed, %s", e)
226
 
            self._remove_pending_dir(tmpname)
227
 
            raise
228
 
        # We must check we really got the lock, because Launchpad's sftp
229
 
        # server at one time had a bug were the rename would successfully
230
 
        # move the new directory into the existing directory, which was
231
 
        # incorrect.  It's possible some other servers or filesystems will
232
 
        # have a similar bug allowing someone to think they got the lock
233
 
        # when it's already held.
234
 
        info = self.peek()
235
 
        self._trace("after locking, info=%r", info)
236
 
        if info['nonce'] != self.nonce:
237
 
            self._trace("rename succeeded, "
238
 
                "but lock is still held by someone else")
239
 
            raise LockContention(self)
240
 
        self._lock_held = True
241
 
        self._trace("... lock succeeded after %dms",
242
 
                (time.time() - start_time) * 1000)
243
 
        return self.nonce
244
 
 
245
 
    def _remove_pending_dir(self, tmpname):
246
 
        """Remove the pending directory
247
 
 
248
 
        This is called if we failed to rename into place, so that the pending 
249
 
        dirs don't clutter up the lockdir.
250
 
        """
251
 
        self._trace("remove %s", tmpname)
252
 
        try:
253
 
            self.transport.delete(tmpname + self.__INFO_NAME)
254
 
            self.transport.rmdir(tmpname)
255
 
        except PathError, e:
256
 
            note("error removing pending lock: %s", e)
257
 
 
258
 
    def _create_pending_dir(self):
259
 
        tmpname = '%s/%s.tmp' % (self.path, rand_chars(10))
260
 
        try:
261
 
            self.transport.mkdir(tmpname)
262
 
        except NoSuchFile:
263
 
            # This may raise a FileExists exception
264
 
            # which is okay, it will be caught later and determined
265
 
            # to be a LockContention.
266
 
            self._trace("lock directory does not exist, creating it")
267
 
            self.create(mode=self._dir_modebits)
268
 
            # After creating the lock directory, try again
269
 
            self.transport.mkdir(tmpname)
270
 
        self.nonce = rand_chars(20)
271
 
        info_bytes = self._prepare_info()
272
 
        # We use put_file_non_atomic because we just created a new unique
273
 
        # directory so we don't have to worry about files existing there.
274
 
        # We'll rename the whole directory into place to get atomic
275
 
        # properties
276
 
        self.transport.put_bytes_non_atomic(tmpname + self.__INFO_NAME,
277
 
                                            info_bytes)
278
 
        return tmpname
 
223
            mutter("contention on %r: %s", self, e)
 
224
            raise LockContention(self)
279
225
 
280
226
    def unlock(self):
281
227
        """Release a held lock
285
231
            return
286
232
        if not self._lock_held:
287
233
            raise LockNotHeld(self)
288
 
        if self._locked_via_token:
289
 
            self._locked_via_token = False
290
 
            self._lock_held = False
291
 
        else:
292
 
            # rename before deleting, because we can't atomically remove the
293
 
            # whole tree
294
 
            start_time = time.time()
295
 
            self._trace("unlocking")
296
 
            tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
297
 
            # gotta own it to unlock
298
 
            self.confirm()
299
 
            self.transport.rename(self._held_dir, tmpname)
300
 
            self._lock_held = False
301
 
            self.transport.delete(tmpname + self.__INFO_NAME)
302
 
            try:
303
 
                self.transport.rmdir(tmpname)
304
 
            except DirectoryNotEmpty, e:
305
 
                # There might have been junk left over by a rename that moved
306
 
                # another locker within the 'held' directory.  do a slower
307
 
                # deletion where we list the directory and remove everything
308
 
                # within it.
309
 
                #
310
 
                # Maybe this should be broader to allow for ftp servers with
311
 
                # non-specific error messages?
312
 
                self._trace("doing recursive deletion of non-empty directory "
313
 
                        "%s", tmpname)
314
 
                self.transport.delete_tree(tmpname)
315
 
            self._trace("... unlock succeeded after %dms",
316
 
                    (time.time() - start_time) * 1000)
 
234
        # rename before deleting, because we can't atomically remove the whole
 
235
        # tree
 
236
        tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
 
237
        # gotta own it to unlock
 
238
        self.confirm()
 
239
        self.transport.rename(self._held_dir, tmpname)
 
240
        self._lock_held = False
 
241
        self.transport.delete(tmpname + self.__INFO_NAME)
 
242
        self.transport.rmdir(tmpname)
317
243
 
318
244
    def break_lock(self):
319
245
        """Break a lock not held by this instance of LockDir.
407
333
        """
408
334
        try:
409
335
            info = self._read_info_file(self._held_info_path)
410
 
            self._trace("peek -> held")
411
336
            assert isinstance(info, dict), \
412
337
                    "bad parse result %r" % info
413
338
            return info
414
339
        except NoSuchFile, e:
415
 
            self._trace("peek -> not held")
 
340
            return None
416
341
 
417
342
    def _prepare_info(self):
418
343
        """Write information about a pending lock to a temporary file.
435
360
    def _parse_info(self, info_file):
436
361
        return read_stanza(info_file.readlines()).as_dict()
437
362
 
438
 
    def attempt_lock(self):
439
 
        """Take the lock; fail if it's already held.
440
 
        
441
 
        If you wish to block until the lock can be obtained, call wait_lock()
442
 
        instead.
443
 
 
444
 
        :return: The lock token.
445
 
        :raises LockContention: if the lock is held by someone else.
446
 
        """
447
 
        if self._fake_read_lock:
448
 
            raise LockContention(self)
449
 
        if self.transport.is_readonly():
450
 
            raise UnlockableTransport(self.transport)
451
 
        return self._attempt_lock()
452
 
 
453
 
    def wait_lock(self, timeout=None, poll=None, max_attempts=None):
 
363
    def wait_lock(self, timeout=None, poll=None):
454
364
        """Wait a certain period for a lock.
455
365
 
456
366
        If the lock can be acquired within the bounded time, it
458
368
        is raised.  Either way, this function should return within
459
369
        approximately `timeout` seconds.  (It may be a bit more if
460
370
        a transport operation takes a long time to complete.)
461
 
 
462
 
        :param timeout: Approximate maximum amount of time to wait for the
463
 
        lock, in seconds.
464
 
         
465
 
        :param poll: Delay in seconds between retrying the lock.
466
 
 
467
 
        :param max_attempts: Maximum number of times to try to lock.
468
 
 
469
 
        :return: The lock token.
470
371
        """
471
372
        if timeout is None:
472
373
            timeout = _DEFAULT_TIMEOUT_SECONDS
473
374
        if poll is None:
474
375
            poll = _DEFAULT_POLL_SECONDS
475
 
        # XXX: the transport interface doesn't let us guard against operations
476
 
        # there taking a long time, so the total elapsed time or poll interval
477
 
        # may be more than was requested.
 
376
 
 
377
        # XXX: the transport interface doesn't let us guard 
 
378
        # against operations there taking a long time.
478
379
        deadline = time.time() + timeout
479
380
        deadline_str = None
480
381
        last_info = None
481
 
        attempt_count = 0
482
382
        while True:
483
 
            attempt_count += 1
484
383
            try:
485
 
                return self.attempt_lock()
 
384
                self.attempt_lock()
 
385
                return
486
386
            except LockContention:
487
 
                # possibly report the blockage, then try again
488
387
                pass
489
 
            # TODO: In a few cases, we find out that there's contention by
490
 
            # reading the held info and observing that it's not ours.  In
491
 
            # those cases it's a bit redundant to read it again.  However,
492
 
            # the normal case (??) is that the rename fails and so we
493
 
            # don't know who holds the lock.  For simplicity we peek
494
 
            # always.
495
388
            new_info = self.peek()
 
389
            mutter('last_info: %s, new info: %s', last_info, new_info)
496
390
            if new_info is not None and new_info != last_info:
497
391
                if last_info is None:
498
392
                    start = 'Unable to obtain'
513
407
                                      formatted_info[2],
514
408
                                      deadline_str)
515
409
 
516
 
            if (max_attempts is not None) and (attempt_count >= max_attempts):
517
 
                self._trace("exceeded %d attempts")
518
 
                raise LockContention(self)
519
410
            if time.time() + poll < deadline:
520
 
                self._trace("waiting %ss", poll)
521
411
                time.sleep(poll)
522
412
            else:
523
 
                self._trace("timeout after waiting %ss", timeout)
524
413
                raise LockContention(self)
525
 
    
526
 
    def leave_in_place(self):
527
 
        self._locked_via_token = True
528
 
 
529
 
    def dont_leave_in_place(self):
530
 
        self._locked_via_token = False
531
 
 
532
 
    def lock_write(self, token=None):
533
 
        """Wait for and acquire the lock.
534
 
        
535
 
        :param token: if this is already locked, then lock_write will fail
536
 
            unless the token matches the existing lock.
537
 
        :returns: a token if this instance supports tokens, otherwise None.
538
 
        :raises TokenLockingNotSupported: when a token is given but this
539
 
            instance doesn't support using token locks.
540
 
        :raises MismatchedToken: if the specified token doesn't match the token
541
 
            of the existing lock.
542
 
 
543
 
        A token should be passed in if you know that you have locked the object
544
 
        some other way, and need to synchronise this object's state with that
545
 
        fact.
546
 
         
547
 
        XXX: docstring duplicated from LockableFiles.lock_write.
548
 
        """
549
 
        if token is not None:
550
 
            self.validate_token(token)
551
 
            self.nonce = token
552
 
            self._lock_held = True
553
 
            self._locked_via_token = True
554
 
            return token
555
 
        else:
556
 
            return self.wait_lock()
 
414
 
 
415
    def lock_write(self):
 
416
        """Wait for and acquire the lock."""
 
417
        self.wait_lock()
557
418
 
558
419
    def lock_read(self):
559
420
        """Compatibility-mode shared lock.
570
431
            raise LockContention(self)
571
432
        self._fake_read_lock = True
572
433
 
 
434
    def wait(self, timeout=20, poll=0.5):
 
435
        """Wait a certain period for a lock to be released."""
 
436
        # XXX: the transport interface doesn't let us guard 
 
437
        # against operations there taking a long time.
 
438
        deadline = time.time() + timeout
 
439
        while True:
 
440
            if self.peek():
 
441
                return
 
442
            if time.time() + poll < deadline:
 
443
                time.sleep(poll)
 
444
            else:
 
445
                raise LockContention(self)
 
446
 
573
447
    def _format_lock_info(self, info):
574
448
        """Turn the contents of peek() into something for the user"""
575
449
        lock_url = self.transport.abspath(self.path)
580
454
            'locked %s' % (format_delta(delta),),
581
455
            ]
582
456
 
583
 
    def validate_token(self, token):
584
 
        if token is not None:
585
 
            info = self.peek()
586
 
            if info is None:
587
 
                # Lock isn't held
588
 
                lock_token = None
589
 
            else:
590
 
                lock_token = info.get('nonce')
591
 
            if token != lock_token:
592
 
                raise errors.TokenMismatch(token, lock_token)
593
 
            else:
594
 
                self._trace("revalidated by token %r", token)
595
 
 
596
 
    def _trace(self, format, *args):
597
 
        if 'lock' not in debug.debug_flags:
598
 
            return
599
 
        mutter(str(self) + ": " + (format % args))