← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/lockdir.py

  • Committer: John Arbash Meinel
  • Date: 2008-08-25 21:50:11 UTC
  • mfrom: (0.11.3 tools)
  • mto: This revision was merged to the branch mainline in revision 3659.
  • Revision ID: john@arbash-meinel.com-20080825215011-de9esmzgkue3e522
Merge in Lukáš's helper scripts.
Update the packaging documents to describe how to do the releases
using bzr-builddeb to package all distro platforms
simultaneously.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/lockdir.py
1
 
# Copyright (C) 2006, 2007, 2008, 2009 Canonical Ltd
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""On-disk mutex protecting a resource
18
18
 
21
21
internal locks (such as flock etc) because they can be seen across all
22
22
transports, including http.
23
23
 
24
 
Objects can be read if there is only physical read access; therefore
 
24
Objects can be read if there is only physical read access; therefore 
25
25
readers can never be required to create a lock, though they will
26
26
check whether a writer is using the lock.  Writers can't detect
27
27
whether anyone else is reading from the resource as they write.
56
56
 
57
57
The desired characteristics are:
58
58
 
59
 
* Locks are not reentrant.  (That is, a client that tries to take a
 
59
* Locks are not reentrant.  (That is, a client that tries to take a 
60
60
  lock it already holds may deadlock or fail.)
61
61
* Stale locks can be guessed at by a heuristic
62
62
* Lost locks can be broken by any client
78
78
and deadlocks will likely occur if the locks are aliased.
79
79
 
80
80
In the future we may add a "freshen" method which can be called
81
 
by a lock holder to check that their lock has not been broken, and to
 
81
by a lock holder to check that their lock has not been broken, and to 
82
82
update the timestamp within it.
83
83
 
84
84
Example usage:
105
105
 
106
106
import os
107
107
import time
 
108
from cStringIO import StringIO
108
109
 
109
110
from bzrlib import (
110
111
    debug,
111
112
    errors,
112
 
    lock,
113
 
    osutils,
114
113
    )
115
114
import bzrlib.config
116
 
from bzrlib.decorators import only_raises
117
115
from bzrlib.errors import (
118
116
        DirectoryNotEmpty,
119
117
        FileExists,
126
124
        PathError,
127
125
        ResourceBusy,
128
126
        TransportError,
 
127
        UnlockableTransport,
129
128
        )
130
129
from bzrlib.trace import mutter, note
131
 
from bzrlib.osutils import format_delta, rand_chars, get_host_name
 
130
from bzrlib.transport import Transport
 
131
from bzrlib.osutils import rand_chars, format_delta
 
132
from bzrlib.rio import read_stanza, Stanza
132
133
import bzrlib.ui
133
134
 
134
 
from bzrlib.lazy_import import lazy_import
135
 
lazy_import(globals(), """
136
 
from bzrlib import rio
137
 
""")
138
135
 
139
136
# XXX: At the moment there is no consideration of thread safety on LockDir
140
137
# objects.  This should perhaps be updated - e.g. if two threads try to take a
155
152
_DEFAULT_POLL_SECONDS = 1.0
156
153
 
157
154
 
158
 
class LockDir(lock.Lock):
159
 
    """Write-lock guarding access to data.
160
 
    """
 
155
class LockDir(object):
 
156
    """Write-lock guarding access to data."""
161
157
 
162
158
    __INFO_NAME = '/info'
163
159
 
168
164
 
169
165
        :param transport: Transport which will contain the lock
170
166
 
171
 
        :param path: Path to the lock within the base directory of the
 
167
        :param path: Path to the lock within the base directory of the 
172
168
            transport.
173
169
        """
174
170
        self.transport = transport
193
189
    def create(self, mode=None):
194
190
        """Create the on-disk lock.
195
191
 
196
 
        This is typically only called when the object/directory containing the
 
192
        This is typically only called when the object/directory containing the 
197
193
        directory is first created.  The lock is not held when it's created.
198
194
        """
199
195
        self._trace("create lock directory")
205
201
 
206
202
    def _attempt_lock(self):
207
203
        """Make the pending directory and attempt to rename into place.
208
 
 
 
204
        
209
205
        If the rename succeeds, we read back the info file to check that we
210
206
        really got the lock.
211
207
 
242
238
        # incorrect.  It's possible some other servers or filesystems will
243
239
        # have a similar bug allowing someone to think they got the lock
244
240
        # when it's already held.
245
 
        #
246
 
        # See <https://bugs.edge.launchpad.net/bzr/+bug/498378> for one case.
247
 
        #
248
 
        # Strictly the check is unnecessary and a waste of time for most
249
 
        # people, but probably worth trapping if something is wrong.
250
241
        info = self.peek()
251
242
        self._trace("after locking, info=%r", info)
252
 
        if info is None:
253
 
            raise LockFailed(self, "lock was renamed into place, but "
254
 
                "now is missing!")
255
243
        if info['nonce'] != self.nonce:
256
244
            self._trace("rename succeeded, "
257
245
                "but lock is still held by someone else")
264
252
    def _remove_pending_dir(self, tmpname):
265
253
        """Remove the pending directory
266
254
 
267
 
        This is called if we failed to rename into place, so that the pending
 
255
        This is called if we failed to rename into place, so that the pending 
268
256
        dirs don't clutter up the lockdir.
269
257
        """
270
258
        self._trace("remove %s", tmpname)
296
284
                                            info_bytes)
297
285
        return tmpname
298
286
 
299
 
    @only_raises(LockNotHeld, LockBroken)
300
287
    def unlock(self):
301
288
        """Release a held lock
302
289
        """
304
291
            self._fake_read_lock = False
305
292
            return
306
293
        if not self._lock_held:
307
 
            return lock.cant_unlock_not_held(self)
 
294
            raise LockNotHeld(self)
308
295
        if self._locked_via_token:
309
296
            self._locked_via_token = False
310
297
            self._lock_held = False
311
298
        else:
312
 
            old_nonce = self.nonce
313
299
            # rename before deleting, because we can't atomically remove the
314
300
            # whole tree
315
301
            start_time = time.time()
335
321
                self.transport.delete_tree(tmpname)
336
322
            self._trace("... unlock succeeded after %dms",
337
323
                    (time.time() - start_time) * 1000)
338
 
            result = lock.LockResult(self.transport.abspath(self.path),
339
 
                                     old_nonce)
340
 
            for hook in self.hooks['lock_released']:
341
 
                hook(result)
342
324
 
343
325
    def break_lock(self):
344
326
        """Break a lock not held by this instance of LockDir.
353
335
            lock_info = '\n'.join(self._format_lock_info(holder_info))
354
336
            if bzrlib.ui.ui_factory.get_boolean("Break %s" % lock_info):
355
337
                self.force_break(holder_info)
356
 
 
 
338
        
357
339
    def force_break(self, dead_holder_info):
358
340
        """Release a lock held by another process.
359
341
 
367
349
        LockBreakMismatch is raised.
368
350
 
369
351
        After the lock is broken it will not be held by any process.
370
 
        It is possible that another process may sneak in and take the
 
352
        It is possible that another process may sneak in and take the 
371
353
        lock before the breaking process acquires it.
372
354
        """
373
355
        if not isinstance(dead_holder_info, dict):
382
364
        tmpname = '%s/broken.%s.tmp' % (self.path, rand_chars(20))
383
365
        self.transport.rename(self._held_dir, tmpname)
384
366
        # check that we actually broke the right lock, not someone else;
385
 
        # there's a small race window between checking it and doing the
 
367
        # there's a small race window between checking it and doing the 
386
368
        # rename.
387
369
        broken_info_path = tmpname + self.__INFO_NAME
388
370
        broken_info = self._read_info_file(broken_info_path)
390
372
            raise LockBreakMismatch(self, broken_info, dead_holder_info)
391
373
        self.transport.delete(broken_info_path)
392
374
        self.transport.rmdir(tmpname)
393
 
        result = lock.LockResult(self.transport.abspath(self.path),
394
 
                                 current_info.get('nonce'))
395
 
        for hook in self.hooks['lock_broken']:
396
 
            hook(result)
397
375
 
398
376
    def _check_not_locked(self):
399
377
        """If the lock is held by this instance, raise an error."""
407
385
        or if the lock has been affected by a bug.
408
386
 
409
387
        If the lock is not thought to be held, raises LockNotHeld.  If
410
 
        the lock is thought to be held but has been broken, raises
 
388
        the lock is thought to be held but has been broken, raises 
411
389
        LockBroken.
412
390
        """
413
391
        if not self._lock_held:
419
397
        if info.get('nonce') != self.nonce:
420
398
            # there is a lock, but not ours
421
399
            raise LockBroken(self)
422
 
 
 
400
        
423
401
    def _read_info_file(self, path):
424
402
        """Read one given info file.
425
403
 
426
404
        peek() reads the info file of the lock holder, if any.
427
405
        """
428
 
        return self._parse_info(self.transport.get_bytes(path))
 
406
        return self._parse_info(self.transport.get(path))
429
407
 
430
408
    def peek(self):
431
409
        """Check if the lock is held by anyone.
432
 
 
 
410
        
433
411
        If it is held, this returns the lock info structure as a rio Stanza,
434
412
        which contains some information about the current lock holder.
435
413
        Otherwise returns None.
444
422
    def _prepare_info(self):
445
423
        """Write information about a pending lock to a temporary file.
446
424
        """
 
425
        import socket
447
426
        # XXX: is creating this here inefficient?
448
427
        config = bzrlib.config.GlobalConfig()
449
428
        try:
450
429
            user = config.user_email()
451
430
        except errors.NoEmailInUsername:
452
431
            user = config.username()
453
 
        s = rio.Stanza(hostname=get_host_name(),
 
432
        s = Stanza(hostname=socket.gethostname(),
454
433
                   pid=str(os.getpid()),
455
434
                   start_time=str(int(time.time())),
456
435
                   nonce=self.nonce,
458
437
                   )
459
438
        return s.to_string()
460
439
 
461
 
    def _parse_info(self, info_bytes):
462
 
        # TODO: Handle if info_bytes is empty
463
 
        return rio.read_stanza(osutils.split_lines(info_bytes)).as_dict()
 
440
    def _parse_info(self, info_file):
 
441
        return read_stanza(info_file.readlines()).as_dict()
464
442
 
465
443
    def attempt_lock(self):
466
444
        """Take the lock; fail if it's already held.
467
 
 
 
445
        
468
446
        If you wish to block until the lock can be obtained, call wait_lock()
469
447
        instead.
470
448
 
473
451
        """
474
452
        if self._fake_read_lock:
475
453
            raise LockContention(self)
476
 
        result = self._attempt_lock()
477
 
        hook_result = lock.LockResult(self.transport.abspath(self.path),
478
 
                self.nonce)
479
 
        for hook in self.hooks['lock_acquired']:
480
 
            hook(hook_result)
481
 
        return result
 
454
        return self._attempt_lock()
482
455
 
483
456
    def wait_lock(self, timeout=None, poll=None, max_attempts=None):
484
457
        """Wait a certain period for a lock.
491
464
 
492
465
        :param timeout: Approximate maximum amount of time to wait for the
493
466
        lock, in seconds.
494
 
 
 
467
         
495
468
        :param poll: Delay in seconds between retrying the lock.
496
469
 
497
470
        :param max_attempts: Maximum number of times to try to lock.
534
507
                    deadline_str = time.strftime('%H:%M:%S',
535
508
                                                 time.localtime(deadline))
536
509
                lock_url = self.transport.abspath(self.path)
537
 
                # See <https://bugs.edge.launchpad.net/bzr/+bug/250451>
538
 
                # the URL here is sometimes not one that is useful to the
539
 
                # user, perhaps being wrapped in a lp-%d or chroot decorator,
540
 
                # especially if this error is issued from the server.
541
510
                self._report_function('%s %s\n'
542
 
                    '%s\n' # held by
543
 
                    '%s\n' # locked ... ago
544
 
                    'Will continue to try until %s, unless '
545
 
                    'you press Ctrl-C.\n'
546
 
                    'See "bzr help break-lock" for more.',
547
 
                    start,
548
 
                    formatted_info[0],
549
 
                    formatted_info[1],
550
 
                    formatted_info[2],
551
 
                    deadline_str,
552
 
                    )
 
511
                                      '%s\n' # held by
 
512
                                      '%s\n' # locked ... ago
 
513
                                      'Will continue to try until %s, unless '
 
514
                                      'you press Ctrl-C\n'
 
515
                                      'If you\'re sure that it\'s not being '
 
516
                                      'modified, use bzr break-lock %s',
 
517
                                      start,
 
518
                                      formatted_info[0],
 
519
                                      formatted_info[1],
 
520
                                      formatted_info[2],
 
521
                                      deadline_str,
 
522
                                      lock_url)
553
523
 
554
524
            if (max_attempts is not None) and (attempt_count >= max_attempts):
555
525
                self._trace("exceeded %d attempts")
560
530
            else:
561
531
                self._trace("timeout after waiting %ss", timeout)
562
532
                raise LockContention(self)
563
 
 
 
533
    
564
534
    def leave_in_place(self):
565
535
        self._locked_via_token = True
566
536
 
569
539
 
570
540
    def lock_write(self, token=None):
571
541
        """Wait for and acquire the lock.
572
 
 
 
542
        
573
543
        :param token: if this is already locked, then lock_write will fail
574
544
            unless the token matches the existing lock.
575
545
        :returns: a token if this instance supports tokens, otherwise None.
581
551
        A token should be passed in if you know that you have locked the object
582
552
        some other way, and need to synchronise this object's state with that
583
553
        fact.
584
 
 
 
554
         
585
555
        XXX: docstring duplicated from LockableFiles.lock_write.
586
556
        """
587
557
        if token is not None:
596
566
    def lock_read(self):
597
567
        """Compatibility-mode shared lock.
598
568
 
599
 
        LockDir doesn't support shared read-only locks, so this
 
569
        LockDir doesn't support shared read-only locks, so this 
600
570
        just pretends that the lock is taken but really does nothing.
601
571
        """
602
 
        # At the moment Branches are commonly locked for read, but
 
572
        # At the moment Branches are commonly locked for read, but 
603
573
        # we can't rely on that remotely.  Once this is cleaned up,
604
 
        # reenable this warning to prevent it coming back in
 
574
        # reenable this warning to prevent it coming back in 
605
575
        # -- mbp 20060303
606
576
        ## warn("LockDir.lock_read falls back to write lock")
607
577
        if self._lock_held or self._fake_read_lock: