← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/lockdir.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2007-08-28 08:23:40 UTC
  • mfrom: (2757.1.1 ianc-integration)
  • Revision ID: pqm@pqm.ubuntu.com-20070828082340-2byilw23kzl3cjx4
(Daniel Watkins) Better explanation of -r in uncommit help

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/lockdir.py
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""On-disk mutex protecting a resource
18
18
 
21
21
internal locks (such as flock etc) because they can be seen across all
22
22
transports, including http.
23
23
 
24
 
Objects can be read if there is only physical read access; therefore
 
24
Objects can be read if there is only physical read access; therefore 
25
25
readers can never be required to create a lock, though they will
26
26
check whether a writer is using the lock.  Writers can't detect
27
27
whether anyone else is reading from the resource as they write.
56
56
 
57
57
The desired characteristics are:
58
58
 
59
 
* Locks are not reentrant.  (That is, a client that tries to take a
 
59
* Locks are not reentrant.  (That is, a client that tries to take a 
60
60
  lock it already holds may deadlock or fail.)
61
61
* Stale locks can be guessed at by a heuristic
62
62
* Lost locks can be broken by any client
78
78
and deadlocks will likely occur if the locks are aliased.
79
79
 
80
80
In the future we may add a "freshen" method which can be called
81
 
by a lock holder to check that their lock has not been broken, and to
 
81
by a lock holder to check that their lock has not been broken, and to 
82
82
update the timestamp within it.
83
83
 
84
84
Example usage:
105
105
 
106
106
import os
107
107
import time
 
108
from cStringIO import StringIO
108
109
 
109
110
from bzrlib import (
110
111
    debug,
111
112
    errors,
112
 
    lock,
113
 
    osutils,
114
113
    )
115
114
import bzrlib.config
116
 
from bzrlib.decorators import only_raises
117
115
from bzrlib.errors import (
118
116
        DirectoryNotEmpty,
119
117
        FileExists,
120
118
        LockBreakMismatch,
121
119
        LockBroken,
122
120
        LockContention,
123
 
        LockFailed,
124
121
        LockNotHeld,
125
122
        NoSuchFile,
126
123
        PathError,
127
124
        ResourceBusy,
128
 
        TransportError,
 
125
        UnlockableTransport,
129
126
        )
130
127
from bzrlib.trace import mutter, note
131
 
from bzrlib.osutils import format_delta, rand_chars, get_host_name
 
128
from bzrlib.transport import Transport
 
129
from bzrlib.osutils import rand_chars, format_delta
 
130
from bzrlib.rio import read_stanza, Stanza
132
131
import bzrlib.ui
133
132
 
134
 
from bzrlib.lazy_import import lazy_import
135
 
lazy_import(globals(), """
136
 
from bzrlib import rio
137
 
""")
138
133
 
139
134
# XXX: At the moment there is no consideration of thread safety on LockDir
140
135
# objects.  This should perhaps be updated - e.g. if two threads try to take a
155
150
_DEFAULT_POLL_SECONDS = 1.0
156
151
 
157
152
 
158
 
class LockDir(lock.Lock):
159
 
    """Write-lock guarding access to data.
160
 
    """
 
153
class LockDir(object):
 
154
    """Write-lock guarding access to data."""
161
155
 
162
156
    __INFO_NAME = '/info'
163
157
 
168
162
 
169
163
        :param transport: Transport which will contain the lock
170
164
 
171
 
        :param path: Path to the lock within the base directory of the
 
165
        :param path: Path to the lock within the base directory of the 
172
166
            transport.
173
167
        """
 
168
        assert isinstance(transport, Transport), \
 
169
            ("not a transport: %r" % transport)
174
170
        self.transport = transport
175
171
        self.path = path
176
172
        self._lock_held = False
193
189
    def create(self, mode=None):
194
190
        """Create the on-disk lock.
195
191
 
196
 
        This is typically only called when the object/directory containing the
 
192
        This is typically only called when the object/directory containing the 
197
193
        directory is first created.  The lock is not held when it's created.
198
194
        """
 
195
        if self.transport.is_readonly():
 
196
            raise UnlockableTransport(self.transport)
199
197
        self._trace("create lock directory")
200
 
        try:
201
 
            self.transport.mkdir(self.path, mode=mode)
202
 
        except (TransportError, PathError), e:
203
 
            raise LockFailed(self, e)
204
 
 
 
198
        self.transport.mkdir(self.path, mode=mode)
205
199
 
206
200
    def _attempt_lock(self):
207
201
        """Make the pending directory and attempt to rename into place.
208
 
 
 
202
        
209
203
        If the rename succeeds, we read back the info file to check that we
210
204
        really got the lock.
211
205
 
220
214
        """
221
215
        self._trace("lock_write...")
222
216
        start_time = time.time()
223
 
        try:
224
 
            tmpname = self._create_pending_dir()
225
 
        except (errors.TransportError, PathError), e:
226
 
            self._trace("... failed to create pending dir, %s", e)
227
 
            raise LockFailed(self, e)
 
217
        tmpname = self._create_pending_dir()
228
218
        try:
229
219
            self.transport.rename(tmpname, self._held_dir)
230
 
        except (errors.TransportError, PathError, DirectoryNotEmpty,
231
 
                FileExists, ResourceBusy), e:
 
220
        except (PathError, DirectoryNotEmpty, FileExists, ResourceBusy), e:
232
221
            self._trace("... contention, %s", e)
233
222
            self._remove_pending_dir(tmpname)
234
223
            raise LockContention(self)
242
231
        # incorrect.  It's possible some other servers or filesystems will
243
232
        # have a similar bug allowing someone to think they got the lock
244
233
        # when it's already held.
245
 
        #
246
 
        # See <https://bugs.edge.launchpad.net/bzr/+bug/498378> for one case.
247
 
        #
248
 
        # Strictly the check is unnecessary and a waste of time for most
249
 
        # people, but probably worth trapping if something is wrong.
250
234
        info = self.peek()
251
235
        self._trace("after locking, info=%r", info)
252
 
        if info is None:
253
 
            raise LockFailed(self, "lock was renamed into place, but "
254
 
                "now is missing!")
255
 
        if info.get('nonce') != self.nonce:
 
236
        if info['nonce'] != self.nonce:
256
237
            self._trace("rename succeeded, "
257
238
                "but lock is still held by someone else")
258
239
            raise LockContention(self)
264
245
    def _remove_pending_dir(self, tmpname):
265
246
        """Remove the pending directory
266
247
 
267
 
        This is called if we failed to rename into place, so that the pending
 
248
        This is called if we failed to rename into place, so that the pending 
268
249
        dirs don't clutter up the lockdir.
269
250
        """
270
251
        self._trace("remove %s", tmpname)
296
277
                                            info_bytes)
297
278
        return tmpname
298
279
 
299
 
    @only_raises(LockNotHeld, LockBroken)
300
280
    def unlock(self):
301
281
        """Release a held lock
302
282
        """
304
284
            self._fake_read_lock = False
305
285
            return
306
286
        if not self._lock_held:
307
 
            return lock.cant_unlock_not_held(self)
 
287
            raise LockNotHeld(self)
308
288
        if self._locked_via_token:
309
289
            self._locked_via_token = False
310
290
            self._lock_held = False
311
291
        else:
312
 
            old_nonce = self.nonce
313
292
            # rename before deleting, because we can't atomically remove the
314
293
            # whole tree
315
294
            start_time = time.time()
335
314
                self.transport.delete_tree(tmpname)
336
315
            self._trace("... unlock succeeded after %dms",
337
316
                    (time.time() - start_time) * 1000)
338
 
            result = lock.LockResult(self.transport.abspath(self.path),
339
 
                                     old_nonce)
340
 
            for hook in self.hooks['lock_released']:
341
 
                hook(result)
342
317
 
343
318
    def break_lock(self):
344
319
        """Break a lock not held by this instance of LockDir.
353
328
            lock_info = '\n'.join(self._format_lock_info(holder_info))
354
329
            if bzrlib.ui.ui_factory.get_boolean("Break %s" % lock_info):
355
330
                self.force_break(holder_info)
356
 
 
 
331
        
357
332
    def force_break(self, dead_holder_info):
358
333
        """Release a lock held by another process.
359
334
 
367
342
        LockBreakMismatch is raised.
368
343
 
369
344
        After the lock is broken it will not be held by any process.
370
 
        It is possible that another process may sneak in and take the
 
345
        It is possible that another process may sneak in and take the 
371
346
        lock before the breaking process acquires it.
372
347
        """
373
348
        if not isinstance(dead_holder_info, dict):
382
357
        tmpname = '%s/broken.%s.tmp' % (self.path, rand_chars(20))
383
358
        self.transport.rename(self._held_dir, tmpname)
384
359
        # check that we actually broke the right lock, not someone else;
385
 
        # there's a small race window between checking it and doing the
 
360
        # there's a small race window between checking it and doing the 
386
361
        # rename.
387
362
        broken_info_path = tmpname + self.__INFO_NAME
388
363
        broken_info = self._read_info_file(broken_info_path)
390
365
            raise LockBreakMismatch(self, broken_info, dead_holder_info)
391
366
        self.transport.delete(broken_info_path)
392
367
        self.transport.rmdir(tmpname)
393
 
        result = lock.LockResult(self.transport.abspath(self.path),
394
 
                                 current_info.get('nonce'))
395
 
        for hook in self.hooks['lock_broken']:
396
 
            hook(result)
397
368
 
398
369
    def _check_not_locked(self):
399
370
        """If the lock is held by this instance, raise an error."""
407
378
        or if the lock has been affected by a bug.
408
379
 
409
380
        If the lock is not thought to be held, raises LockNotHeld.  If
410
 
        the lock is thought to be held but has been broken, raises
 
381
        the lock is thought to be held but has been broken, raises 
411
382
        LockBroken.
412
383
        """
413
384
        if not self._lock_held:
419
390
        if info.get('nonce') != self.nonce:
420
391
            # there is a lock, but not ours
421
392
            raise LockBroken(self)
422
 
 
 
393
        
423
394
    def _read_info_file(self, path):
424
395
        """Read one given info file.
425
396
 
426
397
        peek() reads the info file of the lock holder, if any.
427
398
        """
428
 
        return self._parse_info(self.transport.get_bytes(path))
 
399
        return self._parse_info(self.transport.get(path))
429
400
 
430
401
    def peek(self):
431
402
        """Check if the lock is held by anyone.
432
 
 
433
 
        If it is held, this returns the lock info structure as a dict
 
403
        
 
404
        If it is held, this returns the lock info structure as a rio Stanza,
434
405
        which contains some information about the current lock holder.
435
406
        Otherwise returns None.
436
407
        """
437
408
        try:
438
409
            info = self._read_info_file(self._held_info_path)
439
410
            self._trace("peek -> held")
 
411
            assert isinstance(info, dict), \
 
412
                    "bad parse result %r" % info
440
413
            return info
441
414
        except NoSuchFile, e:
442
415
            self._trace("peek -> not held")
444
417
    def _prepare_info(self):
445
418
        """Write information about a pending lock to a temporary file.
446
419
        """
 
420
        import socket
447
421
        # XXX: is creating this here inefficient?
448
422
        config = bzrlib.config.GlobalConfig()
449
423
        try:
450
424
            user = config.user_email()
451
425
        except errors.NoEmailInUsername:
452
426
            user = config.username()
453
 
        s = rio.Stanza(hostname=get_host_name(),
 
427
        s = Stanza(hostname=socket.gethostname(),
454
428
                   pid=str(os.getpid()),
455
429
                   start_time=str(int(time.time())),
456
430
                   nonce=self.nonce,
458
432
                   )
459
433
        return s.to_string()
460
434
 
461
 
    def _parse_info(self, info_bytes):
462
 
        stanza = rio.read_stanza(osutils.split_lines(info_bytes))
463
 
        if stanza is None:
464
 
            # see bug 185013; we fairly often end up with the info file being
465
 
            # empty after an interruption; we could log a message here but
466
 
            # there may not be much we can say
467
 
            return {}
468
 
        else:
469
 
            return stanza.as_dict()
 
435
    def _parse_info(self, info_file):
 
436
        return read_stanza(info_file.readlines()).as_dict()
470
437
 
471
438
    def attempt_lock(self):
472
439
        """Take the lock; fail if it's already held.
473
 
 
 
440
        
474
441
        If you wish to block until the lock can be obtained, call wait_lock()
475
442
        instead.
476
443
 
479
446
        """
480
447
        if self._fake_read_lock:
481
448
            raise LockContention(self)
482
 
        result = self._attempt_lock()
483
 
        hook_result = lock.LockResult(self.transport.abspath(self.path),
484
 
                self.nonce)
485
 
        for hook in self.hooks['lock_acquired']:
486
 
            hook(hook_result)
487
 
        return result
 
449
        if self.transport.is_readonly():
 
450
            raise UnlockableTransport(self.transport)
 
451
        return self._attempt_lock()
488
452
 
489
453
    def wait_lock(self, timeout=None, poll=None, max_attempts=None):
490
454
        """Wait a certain period for a lock.
497
461
 
498
462
        :param timeout: Approximate maximum amount of time to wait for the
499
463
        lock, in seconds.
500
 
 
 
464
         
501
465
        :param poll: Delay in seconds between retrying the lock.
502
466
 
503
467
        :param max_attempts: Maximum number of times to try to lock.
539
503
                if deadline_str is None:
540
504
                    deadline_str = time.strftime('%H:%M:%S',
541
505
                                                 time.localtime(deadline))
542
 
                lock_url = self.transport.abspath(self.path)
543
 
                # See <https://bugs.edge.launchpad.net/bzr/+bug/250451>
544
 
                # the URL here is sometimes not one that is useful to the
545
 
                # user, perhaps being wrapped in a lp-%d or chroot decorator,
546
 
                # especially if this error is issued from the server.
547
506
                self._report_function('%s %s\n'
548
 
                    '%s\n' # held by
549
 
                    '%s\n' # locked ... ago
550
 
                    'Will continue to try until %s, unless '
551
 
                    'you press Ctrl-C.\n'
552
 
                    'See "bzr help break-lock" for more.',
553
 
                    start,
554
 
                    formatted_info[0],
555
 
                    formatted_info[1],
556
 
                    formatted_info[2],
557
 
                    deadline_str,
558
 
                    )
 
507
                                      '%s\n' # held by
 
508
                                      '%s\n' # locked ... ago
 
509
                                      'Will continue to try until %s\n',
 
510
                                      start,
 
511
                                      formatted_info[0],
 
512
                                      formatted_info[1],
 
513
                                      formatted_info[2],
 
514
                                      deadline_str)
559
515
 
560
516
            if (max_attempts is not None) and (attempt_count >= max_attempts):
561
517
                self._trace("exceeded %d attempts")
566
522
            else:
567
523
                self._trace("timeout after waiting %ss", timeout)
568
524
                raise LockContention(self)
569
 
 
 
525
    
570
526
    def leave_in_place(self):
571
527
        self._locked_via_token = True
572
528
 
575
531
 
576
532
    def lock_write(self, token=None):
577
533
        """Wait for and acquire the lock.
578
 
 
 
534
        
579
535
        :param token: if this is already locked, then lock_write will fail
580
536
            unless the token matches the existing lock.
581
537
        :returns: a token if this instance supports tokens, otherwise None.
587
543
        A token should be passed in if you know that you have locked the object
588
544
        some other way, and need to synchronise this object's state with that
589
545
        fact.
590
 
 
 
546
         
591
547
        XXX: docstring duplicated from LockableFiles.lock_write.
592
548
        """
593
549
        if token is not None:
602
558
    def lock_read(self):
603
559
        """Compatibility-mode shared lock.
604
560
 
605
 
        LockDir doesn't support shared read-only locks, so this
 
561
        LockDir doesn't support shared read-only locks, so this 
606
562
        just pretends that the lock is taken but really does nothing.
607
563
        """
608
 
        # At the moment Branches are commonly locked for read, but
 
564
        # At the moment Branches are commonly locked for read, but 
609
565
        # we can't rely on that remotely.  Once this is cleaned up,
610
 
        # reenable this warning to prevent it coming back in
 
566
        # reenable this warning to prevent it coming back in 
611
567
        # -- mbp 20060303
612
568
        ## warn("LockDir.lock_read falls back to write lock")
613
569
        if self._lock_held or self._fake_read_lock:
617
573
    def _format_lock_info(self, info):
618
574
        """Turn the contents of peek() into something for the user"""
619
575
        lock_url = self.transport.abspath(self.path)
620
 
        start_time = info.get('start_time')
621
 
        if start_time is None:
622
 
            time_ago = '(unknown)'
623
 
        else:
624
 
            time_ago = format_delta(time.time() - int(info['start_time']))
 
576
        delta = time.time() - int(info['start_time'])
625
577
        return [
626
578
            'lock %s' % (lock_url,),
627
 
            'held by %s on host %s [process #%s]' %
628
 
                tuple([info.get(x, '<unknown>') for x in ['user', 'hostname', 'pid']]),
629
 
            'locked %s' % (time_ago,),
 
579
            'held by %(user)s on host %(hostname)s [process #%(pid)s]' % info,
 
580
            'locked %s' % (format_delta(delta),),
630
581
            ]
631
582
 
632
583
    def validate_token(self, token):