← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/lockdir.py

  • Committer: Martin Pool
  • Date: 2007-07-04 08:46:22 UTC
  • mfrom: (2552.2.5 run_bzr)
  • mto: This revision was merged to the branch mainline in revision 2588.
  • Revision ID: mbp@sourcefrog.net-20070704084622-6b8enfv9o71s7ung
Merge more runbzr cleanups

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/lockdir.py
1
 
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
 
1
# Copyright (C) 2006 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""On-disk mutex protecting a resource
18
18
 
21
21
internal locks (such as flock etc) because they can be seen across all
22
22
transports, including http.
23
23
 
24
 
Objects can be read if there is only physical read access; therefore
 
24
Objects can be read if there is only physical read access; therefore 
25
25
readers can never be required to create a lock, though they will
26
26
check whether a writer is using the lock.  Writers can't detect
27
27
whether anyone else is reading from the resource as they write.
56
56
 
57
57
The desired characteristics are:
58
58
 
59
 
* Locks are not reentrant.  (That is, a client that tries to take a
 
59
* Locks are not reentrant.  (That is, a client that tries to take a 
60
60
  lock it already holds may deadlock or fail.)
61
61
* Stale locks can be guessed at by a heuristic
62
62
* Lost locks can be broken by any client
78
78
and deadlocks will likely occur if the locks are aliased.
79
79
 
80
80
In the future we may add a "freshen" method which can be called
81
 
by a lock holder to check that their lock has not been broken, and to
 
81
by a lock holder to check that their lock has not been broken, and to 
82
82
update the timestamp within it.
83
83
 
84
84
Example usage:
88
88
>>> t = MemoryTransport()
89
89
>>> l = LockDir(t, 'sample-lock')
90
90
>>> l.create()
91
 
>>> token = l.wait_lock()
 
91
>>> l.wait_lock()
92
92
>>> # do something here
93
93
>>> l.unlock()
94
94
 
95
95
"""
96
96
 
97
 
 
98
 
# TODO: We sometimes have the problem that our attempt to rename '1234' to
99
 
# 'held' fails because the transport server moves into an existing directory,
100
 
# rather than failing the rename.  If we made the info file name the same as
101
 
# the locked directory name we would avoid this problem because moving into
102
 
# the held directory would implicitly clash.  However this would not mesh with
103
 
# the existing locking code and needs a new format of the containing object.
104
 
# -- robertc, mbp 20070628
105
 
 
106
97
import os
107
98
import time
 
99
from cStringIO import StringIO
108
100
 
109
101
from bzrlib import (
110
 
    debug,
111
102
    errors,
112
 
    lock,
113
103
    )
114
104
import bzrlib.config
115
105
from bzrlib.errors import (
118
108
        LockBreakMismatch,
119
109
        LockBroken,
120
110
        LockContention,
121
 
        LockFailed,
122
111
        LockNotHeld,
123
112
        NoSuchFile,
124
113
        PathError,
125
114
        ResourceBusy,
126
 
        TransportError,
 
115
        UnlockableTransport,
127
116
        )
128
117
from bzrlib.trace import mutter, note
129
 
from bzrlib.osutils import format_delta, rand_chars, get_host_name
 
118
from bzrlib.transport import Transport
 
119
from bzrlib.osutils import rand_chars, format_delta
 
120
from bzrlib.rio import read_stanza, Stanza
130
121
import bzrlib.ui
131
122
 
132
 
from bzrlib.lazy_import import lazy_import
133
 
lazy_import(globals(), """
134
 
from bzrlib import rio
135
 
""")
136
123
 
137
124
# XXX: At the moment there is no consideration of thread safety on LockDir
138
125
# objects.  This should perhaps be updated - e.g. if two threads try to take a
153
140
_DEFAULT_POLL_SECONDS = 1.0
154
141
 
155
142
 
156
 
class LockDir(lock.Lock):
157
 
    """Write-lock guarding access to data.
158
 
    """
 
143
class LockDir(object):
 
144
    """Write-lock guarding access to data."""
159
145
 
160
146
    __INFO_NAME = '/info'
161
147
 
166
152
 
167
153
        :param transport: Transport which will contain the lock
168
154
 
169
 
        :param path: Path to the lock within the base directory of the
 
155
        :param path: Path to the lock within the base directory of the 
170
156
            transport.
171
157
        """
 
158
        assert isinstance(transport, Transport), \
 
159
            ("not a transport: %r" % transport)
172
160
        self.transport = transport
173
161
        self.path = path
174
162
        self._lock_held = False
191
179
    def create(self, mode=None):
192
180
        """Create the on-disk lock.
193
181
 
194
 
        This is typically only called when the object/directory containing the
 
182
        This is typically only called when the object/directory containing the 
195
183
        directory is first created.  The lock is not held when it's created.
196
184
        """
197
 
        self._trace("create lock directory")
198
 
        try:
199
 
            self.transport.mkdir(self.path, mode=mode)
200
 
        except (TransportError, PathError), e:
201
 
            raise LockFailed(self, e)
202
 
 
203
 
 
204
 
    def _attempt_lock(self):
205
 
        """Make the pending directory and attempt to rename into place.
206
 
 
207
 
        If the rename succeeds, we read back the info file to check that we
208
 
        really got the lock.
209
 
 
210
 
        If we fail to acquire the lock, this method is responsible for
211
 
        cleaning up the pending directory if possible.  (But it doesn't do
212
 
        that yet.)
213
 
 
214
 
        :returns: The nonce of the lock, if it was successfully acquired.
215
 
 
216
 
        :raises LockContention: If the lock is held by someone else.  The exception
217
 
            contains the info of the current holder of the lock.
 
185
        if self.transport.is_readonly():
 
186
            raise UnlockableTransport(self.transport)
 
187
        self.transport.mkdir(self.path, mode=mode)
 
188
 
 
189
    def attempt_lock(self):
 
190
        """Take the lock; fail if it's already held.
 
191
        
 
192
        If you wish to block until the lock can be obtained, call wait_lock()
 
193
        instead.
218
194
        """
219
 
        self._trace("lock_write...")
220
 
        start_time = time.time()
221
 
        try:
222
 
            tmpname = self._create_pending_dir()
223
 
        except (errors.TransportError, PathError), e:
224
 
            self._trace("... failed to create pending dir, %s", e)
225
 
            raise LockFailed(self, e)
226
 
        try:
 
195
        if self._fake_read_lock:
 
196
            raise LockContention(self)
 
197
        if self.transport.is_readonly():
 
198
            raise UnlockableTransport(self.transport)
 
199
        try:
 
200
            tmpname = '%s/pending.%s.tmp' % (self.path, rand_chars(20))
 
201
            try:
 
202
                self.transport.mkdir(tmpname)
 
203
            except NoSuchFile:
 
204
                # This may raise a FileExists exception
 
205
                # which is okay, it will be caught later and determined
 
206
                # to be a LockContention.
 
207
                self.create(mode=self._dir_modebits)
 
208
                
 
209
                # After creating the lock directory, try again
 
210
                self.transport.mkdir(tmpname)
 
211
 
 
212
            self.nonce = rand_chars(20)
 
213
            info_bytes = self._prepare_info()
 
214
            # We use put_file_non_atomic because we just created a new unique
 
215
            # directory so we don't have to worry about files existing there.
 
216
            # We'll rename the whole directory into place to get atomic
 
217
            # properties
 
218
            self.transport.put_bytes_non_atomic(tmpname + self.__INFO_NAME,
 
219
                                                info_bytes)
 
220
 
227
221
            self.transport.rename(tmpname, self._held_dir)
228
 
        except (errors.TransportError, PathError, DirectoryNotEmpty,
229
 
                FileExists, ResourceBusy), e:
230
 
            self._trace("... contention, %s", e)
231
 
            self._remove_pending_dir(tmpname)
232
 
            raise LockContention(self)
233
 
        except Exception, e:
234
 
            self._trace("... lock failed, %s", e)
235
 
            self._remove_pending_dir(tmpname)
 
222
            self._lock_held = True
 
223
            self.confirm()
 
224
        except errors.PermissionDenied:
236
225
            raise
237
 
        # We must check we really got the lock, because Launchpad's sftp
238
 
        # server at one time had a bug were the rename would successfully
239
 
        # move the new directory into the existing directory, which was
240
 
        # incorrect.  It's possible some other servers or filesystems will
241
 
        # have a similar bug allowing someone to think they got the lock
242
 
        # when it's already held.
243
 
        info = self.peek()
244
 
        self._trace("after locking, info=%r", info)
245
 
        if info['nonce'] != self.nonce:
246
 
            self._trace("rename succeeded, "
247
 
                "but lock is still held by someone else")
 
226
        except (PathError, DirectoryNotEmpty, FileExists, ResourceBusy), e:
 
227
            mutter("contention on %r: %s", self, e)
248
228
            raise LockContention(self)
249
 
        self._lock_held = True
250
 
        self._trace("... lock succeeded after %dms",
251
 
                (time.time() - start_time) * 1000)
252
 
        return self.nonce
253
 
 
254
 
    def _remove_pending_dir(self, tmpname):
255
 
        """Remove the pending directory
256
 
 
257
 
        This is called if we failed to rename into place, so that the pending
258
 
        dirs don't clutter up the lockdir.
259
 
        """
260
 
        self._trace("remove %s", tmpname)
261
 
        try:
262
 
            self.transport.delete(tmpname + self.__INFO_NAME)
263
 
            self.transport.rmdir(tmpname)
264
 
        except PathError, e:
265
 
            note("error removing pending lock: %s", e)
266
 
 
267
 
    def _create_pending_dir(self):
268
 
        tmpname = '%s/%s.tmp' % (self.path, rand_chars(10))
269
 
        try:
270
 
            self.transport.mkdir(tmpname)
271
 
        except NoSuchFile:
272
 
            # This may raise a FileExists exception
273
 
            # which is okay, it will be caught later and determined
274
 
            # to be a LockContention.
275
 
            self._trace("lock directory does not exist, creating it")
276
 
            self.create(mode=self._dir_modebits)
277
 
            # After creating the lock directory, try again
278
 
            self.transport.mkdir(tmpname)
279
 
        self.nonce = rand_chars(20)
280
 
        info_bytes = self._prepare_info()
281
 
        # We use put_file_non_atomic because we just created a new unique
282
 
        # directory so we don't have to worry about files existing there.
283
 
        # We'll rename the whole directory into place to get atomic
284
 
        # properties
285
 
        self.transport.put_bytes_non_atomic(tmpname + self.__INFO_NAME,
286
 
                                            info_bytes)
287
 
        return tmpname
288
229
 
289
230
    def unlock(self):
290
231
        """Release a held lock
298
239
            self._locked_via_token = False
299
240
            self._lock_held = False
300
241
        else:
301
 
            old_nonce = self.nonce
302
242
            # rename before deleting, because we can't atomically remove the
303
243
            # whole tree
304
 
            start_time = time.time()
305
 
            self._trace("unlocking")
306
244
            tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
307
245
            # gotta own it to unlock
308
246
            self.confirm()
309
247
            self.transport.rename(self._held_dir, tmpname)
310
248
            self._lock_held = False
311
249
            self.transport.delete(tmpname + self.__INFO_NAME)
312
 
            try:
313
 
                self.transport.rmdir(tmpname)
314
 
            except DirectoryNotEmpty, e:
315
 
                # There might have been junk left over by a rename that moved
316
 
                # another locker within the 'held' directory.  do a slower
317
 
                # deletion where we list the directory and remove everything
318
 
                # within it.
319
 
                #
320
 
                # Maybe this should be broader to allow for ftp servers with
321
 
                # non-specific error messages?
322
 
                self._trace("doing recursive deletion of non-empty directory "
323
 
                        "%s", tmpname)
324
 
                self.transport.delete_tree(tmpname)
325
 
            self._trace("... unlock succeeded after %dms",
326
 
                    (time.time() - start_time) * 1000)
327
 
            result = lock.LockResult(self.transport.abspath(self.path),
328
 
                old_nonce)
329
 
            for hook in self.hooks['lock_released']:
330
 
                hook(result)
 
250
            self.transport.rmdir(tmpname)
331
251
 
332
252
    def break_lock(self):
333
253
        """Break a lock not held by this instance of LockDir.
342
262
            lock_info = '\n'.join(self._format_lock_info(holder_info))
343
263
            if bzrlib.ui.ui_factory.get_boolean("Break %s" % lock_info):
344
264
                self.force_break(holder_info)
345
 
 
 
265
        
346
266
    def force_break(self, dead_holder_info):
347
267
        """Release a lock held by another process.
348
268
 
356
276
        LockBreakMismatch is raised.
357
277
 
358
278
        After the lock is broken it will not be held by any process.
359
 
        It is possible that another process may sneak in and take the
 
279
        It is possible that another process may sneak in and take the 
360
280
        lock before the breaking process acquires it.
361
281
        """
362
282
        if not isinstance(dead_holder_info, dict):
371
291
        tmpname = '%s/broken.%s.tmp' % (self.path, rand_chars(20))
372
292
        self.transport.rename(self._held_dir, tmpname)
373
293
        # check that we actually broke the right lock, not someone else;
374
 
        # there's a small race window between checking it and doing the
 
294
        # there's a small race window between checking it and doing the 
375
295
        # rename.
376
296
        broken_info_path = tmpname + self.__INFO_NAME
377
297
        broken_info = self._read_info_file(broken_info_path)
392
312
        or if the lock has been affected by a bug.
393
313
 
394
314
        If the lock is not thought to be held, raises LockNotHeld.  If
395
 
        the lock is thought to be held but has been broken, raises
 
315
        the lock is thought to be held but has been broken, raises 
396
316
        LockBroken.
397
317
        """
398
318
        if not self._lock_held:
404
324
        if info.get('nonce') != self.nonce:
405
325
            # there is a lock, but not ours
406
326
            raise LockBroken(self)
407
 
 
 
327
        
408
328
    def _read_info_file(self, path):
409
329
        """Read one given info file.
410
330
 
414
334
 
415
335
    def peek(self):
416
336
        """Check if the lock is held by anyone.
417
 
 
 
337
        
418
338
        If it is held, this returns the lock info structure as a rio Stanza,
419
339
        which contains some information about the current lock holder.
420
340
        Otherwise returns None.
421
341
        """
422
342
        try:
423
343
            info = self._read_info_file(self._held_info_path)
424
 
            self._trace("peek -> held")
 
344
            assert isinstance(info, dict), \
 
345
                    "bad parse result %r" % info
425
346
            return info
426
347
        except NoSuchFile, e:
427
 
            self._trace("peek -> not held")
 
348
            return None
428
349
 
429
350
    def _prepare_info(self):
430
351
        """Write information about a pending lock to a temporary file.
431
352
        """
 
353
        import socket
432
354
        # XXX: is creating this here inefficient?
433
355
        config = bzrlib.config.GlobalConfig()
434
356
        try:
435
357
            user = config.user_email()
436
358
        except errors.NoEmailInUsername:
437
359
            user = config.username()
438
 
        s = rio.Stanza(hostname=get_host_name(),
 
360
        s = Stanza(hostname=socket.gethostname(),
439
361
                   pid=str(os.getpid()),
440
362
                   start_time=str(int(time.time())),
441
363
                   nonce=self.nonce,
444
366
        return s.to_string()
445
367
 
446
368
    def _parse_info(self, info_file):
447
 
        return rio.read_stanza(info_file.readlines()).as_dict()
448
 
 
449
 
    def attempt_lock(self):
450
 
        """Take the lock; fail if it's already held.
451
 
 
452
 
        If you wish to block until the lock can be obtained, call wait_lock()
453
 
        instead.
454
 
 
455
 
        :return: The lock token.
456
 
        :raises LockContention: if the lock is held by someone else.
457
 
        """
458
 
        if self._fake_read_lock:
459
 
            raise LockContention(self)
460
 
        result = self._attempt_lock()
461
 
        hook_result = lock.LockResult(self.transport.abspath(self.path),
462
 
                self.nonce)
463
 
        for hook in self.hooks['lock_acquired']:
464
 
            hook(hook_result)
465
 
        return result
466
 
 
467
 
    def wait_lock(self, timeout=None, poll=None, max_attempts=None):
 
369
        return read_stanza(info_file.readlines()).as_dict()
 
370
 
 
371
    def wait_lock(self, timeout=None, poll=None):
468
372
        """Wait a certain period for a lock.
469
373
 
470
374
        If the lock can be acquired within the bounded time, it
472
376
        is raised.  Either way, this function should return within
473
377
        approximately `timeout` seconds.  (It may be a bit more if
474
378
        a transport operation takes a long time to complete.)
475
 
 
476
 
        :param timeout: Approximate maximum amount of time to wait for the
477
 
        lock, in seconds.
478
 
 
479
 
        :param poll: Delay in seconds between retrying the lock.
480
 
 
481
 
        :param max_attempts: Maximum number of times to try to lock.
482
 
 
483
 
        :return: The lock token.
484
379
        """
485
380
        if timeout is None:
486
381
            timeout = _DEFAULT_TIMEOUT_SECONDS
487
382
        if poll is None:
488
383
            poll = _DEFAULT_POLL_SECONDS
489
 
        # XXX: the transport interface doesn't let us guard against operations
490
 
        # there taking a long time, so the total elapsed time or poll interval
491
 
        # may be more than was requested.
 
384
 
 
385
        # XXX: the transport interface doesn't let us guard 
 
386
        # against operations there taking a long time.
492
387
        deadline = time.time() + timeout
493
388
        deadline_str = None
494
389
        last_info = None
495
 
        attempt_count = 0
496
390
        while True:
497
 
            attempt_count += 1
498
391
            try:
499
 
                return self.attempt_lock()
 
392
                self.attempt_lock()
 
393
                return
500
394
            except LockContention:
501
 
                # possibly report the blockage, then try again
502
395
                pass
503
 
            # TODO: In a few cases, we find out that there's contention by
504
 
            # reading the held info and observing that it's not ours.  In
505
 
            # those cases it's a bit redundant to read it again.  However,
506
 
            # the normal case (??) is that the rename fails and so we
507
 
            # don't know who holds the lock.  For simplicity we peek
508
 
            # always.
509
396
            new_info = self.peek()
 
397
            mutter('last_info: %s, new info: %s', last_info, new_info)
510
398
            if new_info is not None and new_info != last_info:
511
399
                if last_info is None:
512
400
                    start = 'Unable to obtain'
517
405
                if deadline_str is None:
518
406
                    deadline_str = time.strftime('%H:%M:%S',
519
407
                                                 time.localtime(deadline))
520
 
                lock_url = self.transport.abspath(self.path)
521
408
                self._report_function('%s %s\n'
522
409
                                      '%s\n' # held by
523
410
                                      '%s\n' # locked ... ago
524
 
                                      'Will continue to try until %s, unless '
525
 
                                      'you press Ctrl-C\n'
526
 
                                      'If you\'re sure that it\'s not being '
527
 
                                      'modified, use bzr break-lock %s',
 
411
                                      'Will continue to try until %s\n',
528
412
                                      start,
529
413
                                      formatted_info[0],
530
414
                                      formatted_info[1],
531
415
                                      formatted_info[2],
532
 
                                      deadline_str,
533
 
                                      lock_url)
 
416
                                      deadline_str)
534
417
 
535
 
            if (max_attempts is not None) and (attempt_count >= max_attempts):
536
 
                self._trace("exceeded %d attempts")
537
 
                raise LockContention(self)
538
418
            if time.time() + poll < deadline:
539
 
                self._trace("waiting %ss", poll)
540
419
                time.sleep(poll)
541
420
            else:
542
 
                self._trace("timeout after waiting %ss", timeout)
543
421
                raise LockContention(self)
544
 
 
 
422
    
545
423
    def leave_in_place(self):
546
424
        self._locked_via_token = True
547
425
 
550
428
 
551
429
    def lock_write(self, token=None):
552
430
        """Wait for and acquire the lock.
553
 
 
 
431
        
554
432
        :param token: if this is already locked, then lock_write will fail
555
433
            unless the token matches the existing lock.
556
434
        :returns: a token if this instance supports tokens, otherwise None.
562
440
        A token should be passed in if you know that you have locked the object
563
441
        some other way, and need to synchronise this object's state with that
564
442
        fact.
565
 
 
 
443
         
566
444
        XXX: docstring duplicated from LockableFiles.lock_write.
567
445
        """
568
446
        if token is not None:
572
450
            self._locked_via_token = True
573
451
            return token
574
452
        else:
575
 
            return self.wait_lock()
 
453
            self.wait_lock()
 
454
            return self.peek().get('nonce')
576
455
 
577
456
    def lock_read(self):
578
457
        """Compatibility-mode shared lock.
579
458
 
580
 
        LockDir doesn't support shared read-only locks, so this
 
459
        LockDir doesn't support shared read-only locks, so this 
581
460
        just pretends that the lock is taken but really does nothing.
582
461
        """
583
 
        # At the moment Branches are commonly locked for read, but
 
462
        # At the moment Branches are commonly locked for read, but 
584
463
        # we can't rely on that remotely.  Once this is cleaned up,
585
 
        # reenable this warning to prevent it coming back in
 
464
        # reenable this warning to prevent it coming back in 
586
465
        # -- mbp 20060303
587
466
        ## warn("LockDir.lock_read falls back to write lock")
588
467
        if self._lock_held or self._fake_read_lock:
589
468
            raise LockContention(self)
590
469
        self._fake_read_lock = True
591
470
 
 
471
    def wait(self, timeout=20, poll=0.5):
 
472
        """Wait a certain period for a lock to be released."""
 
473
        # XXX: the transport interface doesn't let us guard 
 
474
        # against operations there taking a long time.
 
475
        deadline = time.time() + timeout
 
476
        while True:
 
477
            if self.peek():
 
478
                return
 
479
            if time.time() + poll < deadline:
 
480
                time.sleep(poll)
 
481
            else:
 
482
                raise LockContention(self)
 
483
 
592
484
    def _format_lock_info(self, info):
593
485
        """Turn the contents of peek() into something for the user"""
594
486
        lock_url = self.transport.abspath(self.path)
609
501
                lock_token = info.get('nonce')
610
502
            if token != lock_token:
611
503
                raise errors.TokenMismatch(token, lock_token)
612
 
            else:
613
 
                self._trace("revalidated by token %r", token)
614
504
 
615
 
    def _trace(self, format, *args):
616
 
        if 'lock' not in debug.debug_flags:
617
 
            return
618
 
        mutter(str(self) + ": " + (format % args))