~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/lockdir.py

  • Committer: Alexander Belchenko
  • Date: 2007-01-30 23:05:35 UTC
  • mto: This revision was merged to the branch mainline in revision 2259.
  • Revision ID: bialix@ukr.net-20070130230535-kx1rd478rtigyc3v
standalone installer: win98 support

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2006, 2007 Canonical Ltd
 
1
# Copyright (C) 2006 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
88
88
>>> t = MemoryTransport()
89
89
>>> l = LockDir(t, 'sample-lock')
90
90
>>> l.create()
91
 
>>> token = l.wait_lock()
 
91
>>> l.wait_lock()
92
92
>>> # do something here
93
93
>>> l.unlock()
94
94
 
95
95
"""
96
96
 
97
 
 
98
 
# TODO: We sometimes have the problem that our attempt to rename '1234' to
99
 
# 'held' fails because the transport server moves into an existing directory,
100
 
# rather than failing the rename.  If we made the info file name the same as
101
 
# the locked directory name we would avoid this problem because moving into
102
 
# the held directory would implicitly clash.  However this would not mesh with
103
 
# the existing locking code and needs a new format of the containing object.
104
 
# -- robertc, mbp 20070628
105
 
 
106
97
import os
107
98
import time
108
99
from cStringIO import StringIO
109
100
 
110
101
from bzrlib import (
111
 
    debug,
112
102
    errors,
113
103
    )
114
104
import bzrlib.config
118
108
        LockBreakMismatch,
119
109
        LockBroken,
120
110
        LockContention,
121
 
        LockFailed,
122
111
        LockNotHeld,
123
112
        NoSuchFile,
124
113
        PathError,
125
114
        ResourceBusy,
126
 
        TransportError,
127
115
        UnlockableTransport,
128
116
        )
129
117
from bzrlib.trace import mutter, note
172
160
        self.transport = transport
173
161
        self.path = path
174
162
        self._lock_held = False
175
 
        self._locked_via_token = False
176
163
        self._fake_read_lock = False
177
164
        self._held_dir = path + '/held'
178
165
        self._held_info_path = self._held_dir + self.__INFO_NAME
179
166
        self._file_modebits = file_modebits
180
167
        self._dir_modebits = dir_modebits
 
168
        self.nonce = rand_chars(20)
181
169
 
182
170
        self._report_function = note
183
171
 
194
182
        This is typically only called when the object/directory containing the 
195
183
        directory is first created.  The lock is not held when it's created.
196
184
        """
197
 
        self._trace("create lock directory")
198
 
        try:
199
 
            self.transport.mkdir(self.path, mode=mode)
200
 
        except (TransportError, PathError), e:
201
 
            raise LockFailed(self, e)
202
 
 
203
 
 
204
 
    def _attempt_lock(self):
205
 
        """Make the pending directory and attempt to rename into place.
 
185
        if self.transport.is_readonly():
 
186
            raise UnlockableTransport(self.transport)
 
187
        self.transport.mkdir(self.path, mode=mode)
 
188
 
 
189
    def attempt_lock(self):
 
190
        """Take the lock; fail if it's already held.
206
191
        
207
 
        If the rename succeeds, we read back the info file to check that we
208
 
        really got the lock.
209
 
 
210
 
        If we fail to acquire the lock, this method is responsible for
211
 
        cleaning up the pending directory if possible.  (But it doesn't do
212
 
        that yet.)
213
 
 
214
 
        :returns: The nonce of the lock, if it was successfully acquired.
215
 
 
216
 
        :raises LockContention: If the lock is held by someone else.  The exception
217
 
            contains the info of the current holder of the lock.
 
192
        If you wish to block until the lock can be obtained, call wait_lock()
 
193
        instead.
218
194
        """
219
 
        self._trace("lock_write...")
220
 
        start_time = time.time()
221
 
        try:
222
 
            tmpname = self._create_pending_dir()
223
 
        except (errors.TransportError, PathError), e:
224
 
            self._trace("... failed to create pending dir, %s", e)
225
 
            raise LockFailed(self, e)
226
 
        try:
 
195
        if self._fake_read_lock:
 
196
            raise LockContention(self)
 
197
        if self.transport.is_readonly():
 
198
            raise UnlockableTransport(self.transport)
 
199
        try:
 
200
            tmpname = '%s/pending.%s.tmp' % (self.path, rand_chars(20))
 
201
            try:
 
202
                self.transport.mkdir(tmpname)
 
203
            except NoSuchFile:
 
204
                # This may raise a FileExists exception
 
205
                # which is okay, it will be caught later and determined
 
206
                # to be a LockContention.
 
207
                self.create(mode=self._dir_modebits)
 
208
                
 
209
                # After creating the lock directory, try again
 
210
                self.transport.mkdir(tmpname)
 
211
 
 
212
            info_bytes = self._prepare_info()
 
213
            # We use put_file_non_atomic because we just created a new unique
 
214
            # directory so we don't have to worry about files existing there.
 
215
            # We'll rename the whole directory into place to get atomic
 
216
            # properties
 
217
            self.transport.put_bytes_non_atomic(tmpname + self.__INFO_NAME,
 
218
                                                info_bytes)
 
219
 
227
220
            self.transport.rename(tmpname, self._held_dir)
228
 
        except (errors.TransportError, PathError, DirectoryNotEmpty,
229
 
                FileExists, ResourceBusy), e:
230
 
            self._trace("... contention, %s", e)
231
 
            self._remove_pending_dir(tmpname)
232
 
            raise LockContention(self)
233
 
        except Exception, e:
234
 
            self._trace("... lock failed, %s", e)
235
 
            self._remove_pending_dir(tmpname)
236
 
            raise
237
 
        # We must check we really got the lock, because Launchpad's sftp
238
 
        # server at one time had a bug were the rename would successfully
239
 
        # move the new directory into the existing directory, which was
240
 
        # incorrect.  It's possible some other servers or filesystems will
241
 
        # have a similar bug allowing someone to think they got the lock
242
 
        # when it's already held.
243
 
        info = self.peek()
244
 
        self._trace("after locking, info=%r", info)
245
 
        if info['nonce'] != self.nonce:
246
 
            self._trace("rename succeeded, "
247
 
                "but lock is still held by someone else")
248
 
            raise LockContention(self)
249
 
        self._lock_held = True
250
 
        self._trace("... lock succeeded after %dms",
251
 
                (time.time() - start_time) * 1000)
252
 
        return self.nonce
253
 
 
254
 
    def _remove_pending_dir(self, tmpname):
255
 
        """Remove the pending directory
256
 
 
257
 
        This is called if we failed to rename into place, so that the pending 
258
 
        dirs don't clutter up the lockdir.
259
 
        """
260
 
        self._trace("remove %s", tmpname)
261
 
        try:
262
 
            self.transport.delete(tmpname + self.__INFO_NAME)
263
 
            self.transport.rmdir(tmpname)
264
 
        except PathError, e:
265
 
            note("error removing pending lock: %s", e)
266
 
 
267
 
    def _create_pending_dir(self):
268
 
        tmpname = '%s/%s.tmp' % (self.path, rand_chars(10))
269
 
        try:
270
 
            self.transport.mkdir(tmpname)
271
 
        except NoSuchFile:
272
 
            # This may raise a FileExists exception
273
 
            # which is okay, it will be caught later and determined
274
 
            # to be a LockContention.
275
 
            self._trace("lock directory does not exist, creating it")
276
 
            self.create(mode=self._dir_modebits)
277
 
            # After creating the lock directory, try again
278
 
            self.transport.mkdir(tmpname)
279
 
        self.nonce = rand_chars(20)
280
 
        info_bytes = self._prepare_info()
281
 
        # We use put_file_non_atomic because we just created a new unique
282
 
        # directory so we don't have to worry about files existing there.
283
 
        # We'll rename the whole directory into place to get atomic
284
 
        # properties
285
 
        self.transport.put_bytes_non_atomic(tmpname + self.__INFO_NAME,
286
 
                                            info_bytes)
287
 
        return tmpname
 
221
            self._lock_held = True
 
222
            self.confirm()
 
223
        except (PathError, DirectoryNotEmpty, FileExists, ResourceBusy), e:
 
224
            mutter("contention on %r: %s", self, e)
 
225
            raise LockContention(self)
288
226
 
289
227
    def unlock(self):
290
228
        """Release a held lock
294
232
            return
295
233
        if not self._lock_held:
296
234
            raise LockNotHeld(self)
297
 
        if self._locked_via_token:
298
 
            self._locked_via_token = False
299
 
            self._lock_held = False
300
 
        else:
301
 
            # rename before deleting, because we can't atomically remove the
302
 
            # whole tree
303
 
            start_time = time.time()
304
 
            self._trace("unlocking")
305
 
            tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
306
 
            # gotta own it to unlock
307
 
            self.confirm()
308
 
            self.transport.rename(self._held_dir, tmpname)
309
 
            self._lock_held = False
310
 
            self.transport.delete(tmpname + self.__INFO_NAME)
311
 
            try:
312
 
                self.transport.rmdir(tmpname)
313
 
            except DirectoryNotEmpty, e:
314
 
                # There might have been junk left over by a rename that moved
315
 
                # another locker within the 'held' directory.  do a slower
316
 
                # deletion where we list the directory and remove everything
317
 
                # within it.
318
 
                #
319
 
                # Maybe this should be broader to allow for ftp servers with
320
 
                # non-specific error messages?
321
 
                self._trace("doing recursive deletion of non-empty directory "
322
 
                        "%s", tmpname)
323
 
                self.transport.delete_tree(tmpname)
324
 
            self._trace("... unlock succeeded after %dms",
325
 
                    (time.time() - start_time) * 1000)
 
235
        # rename before deleting, because we can't atomically remove the whole
 
236
        # tree
 
237
        tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
 
238
        # gotta own it to unlock
 
239
        self.confirm()
 
240
        self.transport.rename(self._held_dir, tmpname)
 
241
        self._lock_held = False
 
242
        self.transport.delete(tmpname + self.__INFO_NAME)
 
243
        self.transport.rmdir(tmpname)
326
244
 
327
245
    def break_lock(self):
328
246
        """Break a lock not held by this instance of LockDir.
416
334
        """
417
335
        try:
418
336
            info = self._read_info_file(self._held_info_path)
419
 
            self._trace("peek -> held")
420
337
            assert isinstance(info, dict), \
421
338
                    "bad parse result %r" % info
422
339
            return info
423
340
        except NoSuchFile, e:
424
 
            self._trace("peek -> not held")
 
341
            return None
425
342
 
426
343
    def _prepare_info(self):
427
344
        """Write information about a pending lock to a temporary file.
444
361
    def _parse_info(self, info_file):
445
362
        return read_stanza(info_file.readlines()).as_dict()
446
363
 
447
 
    def attempt_lock(self):
448
 
        """Take the lock; fail if it's already held.
449
 
        
450
 
        If you wish to block until the lock can be obtained, call wait_lock()
451
 
        instead.
452
 
 
453
 
        :return: The lock token.
454
 
        :raises LockContention: if the lock is held by someone else.
455
 
        """
456
 
        if self._fake_read_lock:
457
 
            raise LockContention(self)
458
 
        return self._attempt_lock()
459
 
 
460
 
    def wait_lock(self, timeout=None, poll=None, max_attempts=None):
 
364
    def wait_lock(self, timeout=None, poll=None):
461
365
        """Wait a certain period for a lock.
462
366
 
463
367
        If the lock can be acquired within the bounded time, it
465
369
        is raised.  Either way, this function should return within
466
370
        approximately `timeout` seconds.  (It may be a bit more if
467
371
        a transport operation takes a long time to complete.)
468
 
 
469
 
        :param timeout: Approximate maximum amount of time to wait for the
470
 
        lock, in seconds.
471
 
         
472
 
        :param poll: Delay in seconds between retrying the lock.
473
 
 
474
 
        :param max_attempts: Maximum number of times to try to lock.
475
 
 
476
 
        :return: The lock token.
477
372
        """
478
373
        if timeout is None:
479
374
            timeout = _DEFAULT_TIMEOUT_SECONDS
480
375
        if poll is None:
481
376
            poll = _DEFAULT_POLL_SECONDS
482
 
        # XXX: the transport interface doesn't let us guard against operations
483
 
        # there taking a long time, so the total elapsed time or poll interval
484
 
        # may be more than was requested.
 
377
 
 
378
        # XXX: the transport interface doesn't let us guard 
 
379
        # against operations there taking a long time.
485
380
        deadline = time.time() + timeout
486
381
        deadline_str = None
487
382
        last_info = None
488
 
        attempt_count = 0
489
383
        while True:
490
 
            attempt_count += 1
491
384
            try:
492
 
                return self.attempt_lock()
 
385
                self.attempt_lock()
 
386
                return
493
387
            except LockContention:
494
 
                # possibly report the blockage, then try again
495
388
                pass
496
 
            # TODO: In a few cases, we find out that there's contention by
497
 
            # reading the held info and observing that it's not ours.  In
498
 
            # those cases it's a bit redundant to read it again.  However,
499
 
            # the normal case (??) is that the rename fails and so we
500
 
            # don't know who holds the lock.  For simplicity we peek
501
 
            # always.
502
389
            new_info = self.peek()
 
390
            mutter('last_info: %s, new info: %s', last_info, new_info)
503
391
            if new_info is not None and new_info != last_info:
504
392
                if last_info is None:
505
393
                    start = 'Unable to obtain'
520
408
                                      formatted_info[2],
521
409
                                      deadline_str)
522
410
 
523
 
            if (max_attempts is not None) and (attempt_count >= max_attempts):
524
 
                self._trace("exceeded %d attempts")
525
 
                raise LockContention(self)
526
411
            if time.time() + poll < deadline:
527
 
                self._trace("waiting %ss", poll)
528
412
                time.sleep(poll)
529
413
            else:
530
 
                self._trace("timeout after waiting %ss", timeout)
531
414
                raise LockContention(self)
532
 
    
533
 
    def leave_in_place(self):
534
 
        self._locked_via_token = True
535
 
 
536
 
    def dont_leave_in_place(self):
537
 
        self._locked_via_token = False
538
 
 
539
 
    def lock_write(self, token=None):
540
 
        """Wait for and acquire the lock.
541
 
        
542
 
        :param token: if this is already locked, then lock_write will fail
543
 
            unless the token matches the existing lock.
544
 
        :returns: a token if this instance supports tokens, otherwise None.
545
 
        :raises TokenLockingNotSupported: when a token is given but this
546
 
            instance doesn't support using token locks.
547
 
        :raises MismatchedToken: if the specified token doesn't match the token
548
 
            of the existing lock.
549
 
 
550
 
        A token should be passed in if you know that you have locked the object
551
 
        some other way, and need to synchronise this object's state with that
552
 
        fact.
553
 
         
554
 
        XXX: docstring duplicated from LockableFiles.lock_write.
555
 
        """
556
 
        if token is not None:
557
 
            self.validate_token(token)
558
 
            self.nonce = token
559
 
            self._lock_held = True
560
 
            self._locked_via_token = True
561
 
            return token
562
 
        else:
563
 
            return self.wait_lock()
 
415
 
 
416
    def lock_write(self):
 
417
        """Wait for and acquire the lock."""
 
418
        self.wait_lock()
564
419
 
565
420
    def lock_read(self):
566
421
        """Compatibility-mode shared lock.
577
432
            raise LockContention(self)
578
433
        self._fake_read_lock = True
579
434
 
 
435
    def wait(self, timeout=20, poll=0.5):
 
436
        """Wait a certain period for a lock to be released."""
 
437
        # XXX: the transport interface doesn't let us guard 
 
438
        # against operations there taking a long time.
 
439
        deadline = time.time() + timeout
 
440
        while True:
 
441
            if self.peek():
 
442
                return
 
443
            if time.time() + poll < deadline:
 
444
                time.sleep(poll)
 
445
            else:
 
446
                raise LockContention(self)
 
447
 
580
448
    def _format_lock_info(self, info):
581
449
        """Turn the contents of peek() into something for the user"""
582
450
        lock_url = self.transport.abspath(self.path)
587
455
            'locked %s' % (format_delta(delta),),
588
456
            ]
589
457
 
590
 
    def validate_token(self, token):
591
 
        if token is not None:
592
 
            info = self.peek()
593
 
            if info is None:
594
 
                # Lock isn't held
595
 
                lock_token = None
596
 
            else:
597
 
                lock_token = info.get('nonce')
598
 
            if token != lock_token:
599
 
                raise errors.TokenMismatch(token, lock_token)
600
 
            else:
601
 
                self._trace("revalidated by token %r", token)
602
 
 
603
 
    def _trace(self, format, *args):
604
 
        if 'lock' not in debug.debug_flags:
605
 
            return
606
 
        mutter(str(self) + ": " + (format % args))