← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/lockdir.py

Add source index to the index iteration API to allow mapping back to the origin of retrieved data.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/lockdir.py
1
 
# Copyright (C) 2006 Canonical Ltd
2
 
 
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
87
87
>>> # typically will be obtained from a BzrDir, Branch, etc
88
88
>>> t = MemoryTransport()
89
89
>>> l = LockDir(t, 'sample-lock')
90
 
>>> l.wait_lock()
 
90
>>> l.create()
 
91
>>> token = l.wait_lock()
91
92
>>> # do something here
92
93
>>> l.unlock()
93
94
 
94
95
"""
95
96
 
 
97
 
 
98
# TODO: We sometimes have the problem that our attempt to rename '1234' to
 
99
# 'held' fails because the transport server moves into an existing directory,
 
100
# rather than failing the rename.  If we made the info file name the same as
 
101
# the locked directory name we would avoid this problem because moving into
 
102
# the held directory would implicitly clash.  However this would not mesh with
 
103
# the existing locking code and needs a new format of the containing object.
 
104
# -- robertc, mbp 20070628
 
105
 
96
106
import os
97
107
import time
98
 
from StringIO import StringIO
 
108
from cStringIO import StringIO
99
109
 
 
110
from bzrlib import (
 
111
    debug,
 
112
    errors,
 
113
    )
100
114
import bzrlib.config
101
115
from bzrlib.errors import (
102
116
        DirectoryNotEmpty,
104
118
        LockBreakMismatch,
105
119
        LockBroken,
106
120
        LockContention,
107
 
        LockError,
108
121
        LockNotHeld,
109
122
        NoSuchFile,
 
123
        PathError,
 
124
        ResourceBusy,
110
125
        UnlockableTransport,
111
126
        )
 
127
from bzrlib.trace import mutter, note
112
128
from bzrlib.transport import Transport
113
 
from bzrlib.osutils import rand_chars
114
 
from bzrlib.rio import RioWriter, read_stanza, Stanza
 
129
from bzrlib.osutils import rand_chars, format_delta
 
130
from bzrlib.rio import read_stanza, Stanza
 
131
import bzrlib.ui
 
132
 
115
133
 
116
134
# XXX: At the moment there is no consideration of thread safety on LockDir
117
135
# objects.  This should perhaps be updated - e.g. if two threads try to take a
118
136
# lock at the same time they should *both* get it.  But then that's unlikely
119
137
# to be a good idea.
120
138
 
121
 
# TODO: Transport could offer a simpler put() method that avoids the
122
 
# rename-into-place for cases like creating the lock template, where there is
123
 
# no chance that the file already exists.
124
 
 
125
139
# TODO: Perhaps store some kind of note like the bzr command line in the lock
126
140
# info?
127
141
 
128
142
# TODO: Some kind of callback run while polling a lock to show progress
129
143
# indicators.
130
144
 
 
145
# TODO: Make sure to pass the right file and directory mode bits to all
 
146
# files/dirs created.
 
147
 
 
148
 
131
149
_DEFAULT_TIMEOUT_SECONDS = 300
132
 
_DEFAULT_POLL_SECONDS = 0.5
 
150
_DEFAULT_POLL_SECONDS = 1.0
 
151
 
133
152
 
134
153
class LockDir(object):
135
154
    """Write-lock guarding access to data."""
136
155
 
137
156
    __INFO_NAME = '/info'
138
157
 
139
 
    def __init__(self, transport, path):
 
158
    def __init__(self, transport, path, file_modebits=0644, dir_modebits=0755):
140
159
        """Create a new LockDir object.
141
160
 
142
161
        The LockDir is initially unlocked - this just creates the object.
151
170
        self.transport = transport
152
171
        self.path = path
153
172
        self._lock_held = False
154
 
        self._info_path = path + self.__INFO_NAME
155
 
        self.nonce = rand_chars(20)
 
173
        self._locked_via_token = False
 
174
        self._fake_read_lock = False
 
175
        self._held_dir = path + '/held'
 
176
        self._held_info_path = self._held_dir + self.__INFO_NAME
 
177
        self._file_modebits = file_modebits
 
178
        self._dir_modebits = dir_modebits
 
179
 
 
180
        self._report_function = note
156
181
 
157
182
    def __repr__(self):
158
183
        return '%s(%s%s)' % (self.__class__.__name__,
161
186
 
162
187
    is_held = property(lambda self: self._lock_held)
163
188
 
164
 
    def attempt_lock(self):
165
 
        """Take the lock; fail if it's already held.
166
 
        
167
 
        If you wish to block until the lock can be obtained, call wait_lock()
168
 
        instead.
 
189
    def create(self, mode=None):
 
190
        """Create the on-disk lock.
 
191
 
 
192
        This is typically only called when the object/directory containing the 
 
193
        directory is first created.  The lock is not held when it's created.
169
194
        """
170
195
        if self.transport.is_readonly():
171
196
            raise UnlockableTransport(self.transport)
172
 
        try:
173
 
            tmpname = '%s.pending.%s.tmp' % (self.path, rand_chars(20))
174
 
            self.transport.mkdir(tmpname)
175
 
            sio = StringIO()
176
 
            self._prepare_info(sio)
177
 
            sio.seek(0)
178
 
            self.transport.put(tmpname + self.__INFO_NAME, sio)
179
 
            # FIXME: this turns into os.rename on posix, but into a fancy rename 
180
 
            # on Windows that may overwrite existing directory trees.  
181
 
            # NB: posix rename will overwrite empty directories, but not 
182
 
            # non-empty directories.
183
 
            self.transport.move(tmpname, self.path)
184
 
            self._lock_held = True
185
 
            self.confirm()
186
 
            return
187
 
        except (DirectoryNotEmpty, FileExists), e:
188
 
            pass
189
 
        # fall through to here on contention
190
 
        raise LockContention(self)
 
197
        self._trace("create lock directory")
 
198
        self.transport.mkdir(self.path, mode=mode)
 
199
 
 
200
    def _attempt_lock(self):
 
201
        """Make the pending directory and attempt to rename into place.
 
202
        
 
203
        If the rename succeeds, we read back the info file to check that we
 
204
        really got the lock.
 
205
 
 
206
        If we fail to acquire the lock, this method is responsible for
 
207
        cleaning up the pending directory if possible.  (But it doesn't do
 
208
        that yet.)
 
209
 
 
210
        :returns: The nonce of the lock, if it was successfully acquired.
 
211
 
 
212
        :raises LockContention: If the lock is held by someone else.  The exception
 
213
            contains the info of the current holder of the lock.
 
214
        """
 
215
        self._trace("lock_write...")
 
216
        start_time = time.time()
 
217
        tmpname = self._create_pending_dir()
 
218
        try:
 
219
            self.transport.rename(tmpname, self._held_dir)
 
220
        except (PathError, DirectoryNotEmpty, FileExists, ResourceBusy), e:
 
221
            self._trace("... contention, %s", e)
 
222
            self._remove_pending_dir(tmpname)
 
223
            raise LockContention(self)
 
224
        except Exception, e:
 
225
            self._trace("... lock failed, %s", e)
 
226
            self._remove_pending_dir(tmpname)
 
227
            raise
 
228
        # We must check we really got the lock, because Launchpad's sftp
 
229
        # server at one time had a bug were the rename would successfully
 
230
        # move the new directory into the existing directory, which was
 
231
        # incorrect.  It's possible some other servers or filesystems will
 
232
        # have a similar bug allowing someone to think they got the lock
 
233
        # when it's already held.
 
234
        info = self.peek()
 
235
        self._trace("after locking, info=%r", info)
 
236
        if info['nonce'] != self.nonce:
 
237
            self._trace("rename succeeded, "
 
238
                "but lock is still held by someone else")
 
239
            raise LockContention(self)
 
240
        self._lock_held = True
 
241
        self._trace("... lock succeeded after %dms",
 
242
                (time.time() - start_time) * 1000)
 
243
        return self.nonce
 
244
 
 
245
    def _remove_pending_dir(self, tmpname):
 
246
        """Remove the pending directory
 
247
 
 
248
        This is called if we failed to rename into place, so that the pending 
 
249
        dirs don't clutter up the lockdir.
 
250
        """
 
251
        self._trace("remove %s", tmpname)
 
252
        try:
 
253
            self.transport.delete(tmpname + self.__INFO_NAME)
 
254
            self.transport.rmdir(tmpname)
 
255
        except PathError, e:
 
256
            note("error removing pending lock: %s", e)
 
257
 
 
258
    def _create_pending_dir(self):
 
259
        tmpname = '%s/%s.tmp' % (self.path, rand_chars(10))
 
260
        try:
 
261
            self.transport.mkdir(tmpname)
 
262
        except NoSuchFile:
 
263
            # This may raise a FileExists exception
 
264
            # which is okay, it will be caught later and determined
 
265
            # to be a LockContention.
 
266
            self._trace("lock directory does not exist, creating it")
 
267
            self.create(mode=self._dir_modebits)
 
268
            # After creating the lock directory, try again
 
269
            self.transport.mkdir(tmpname)
 
270
        self.nonce = rand_chars(20)
 
271
        info_bytes = self._prepare_info()
 
272
        # We use put_file_non_atomic because we just created a new unique
 
273
        # directory so we don't have to worry about files existing there.
 
274
        # We'll rename the whole directory into place to get atomic
 
275
        # properties
 
276
        self.transport.put_bytes_non_atomic(tmpname + self.__INFO_NAME,
 
277
                                            info_bytes)
 
278
        return tmpname
191
279
 
192
280
    def unlock(self):
193
281
        """Release a held lock
194
282
        """
 
283
        if self._fake_read_lock:
 
284
            self._fake_read_lock = False
 
285
            return
195
286
        if not self._lock_held:
196
287
            raise LockNotHeld(self)
197
 
        # rename before deleting, because we can't atomically remove the whole
198
 
        # tree
199
 
        tmpname = '%s.releasing.%s.tmp' % (self.path, rand_chars(20))
200
 
        self.transport.rename(self.path, tmpname)
201
 
        self._lock_held = False
202
 
        self.transport.delete(tmpname + self.__INFO_NAME)
203
 
        self.transport.rmdir(tmpname)
204
 
 
 
288
        if self._locked_via_token:
 
289
            self._locked_via_token = False
 
290
            self._lock_held = False
 
291
        else:
 
292
            # rename before deleting, because we can't atomically remove the
 
293
            # whole tree
 
294
            start_time = time.time()
 
295
            self._trace("unlocking")
 
296
            tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
 
297
            # gotta own it to unlock
 
298
            self.confirm()
 
299
            self.transport.rename(self._held_dir, tmpname)
 
300
            self._lock_held = False
 
301
            self.transport.delete(tmpname + self.__INFO_NAME)
 
302
            try:
 
303
                self.transport.rmdir(tmpname)
 
304
            except DirectoryNotEmpty, e:
 
305
                # There might have been junk left over by a rename that moved
 
306
                # another locker within the 'held' directory.  do a slower
 
307
                # deletion where we list the directory and remove everything
 
308
                # within it.
 
309
                #
 
310
                # Maybe this should be broader to allow for ftp servers with
 
311
                # non-specific error messages?
 
312
                self._trace("doing recursive deletion of non-empty directory "
 
313
                        "%s", tmpname)
 
314
                self.transport.delete_tree(tmpname)
 
315
            self._trace("... unlock succeeded after %dms",
 
316
                    (time.time() - start_time) * 1000)
 
317
 
 
318
    def break_lock(self):
 
319
        """Break a lock not held by this instance of LockDir.
 
320
 
 
321
        This is a UI centric function: it uses the bzrlib.ui.ui_factory to
 
322
        prompt for input if a lock is detected and there is any doubt about
 
323
        it possibly being still active.
 
324
        """
 
325
        self._check_not_locked()
 
326
        holder_info = self.peek()
 
327
        if holder_info is not None:
 
328
            lock_info = '\n'.join(self._format_lock_info(holder_info))
 
329
            if bzrlib.ui.ui_factory.get_boolean("Break %s" % lock_info):
 
330
                self.force_break(holder_info)
 
331
        
205
332
    def force_break(self, dead_holder_info):
206
333
        """Release a lock held by another process.
207
334
 
220
347
        """
221
348
        if not isinstance(dead_holder_info, dict):
222
349
            raise ValueError("dead_holder_info: %r" % dead_holder_info)
223
 
        if self._lock_held:
224
 
            raise AssertionError("can't break own lock: %r" % self)
 
350
        self._check_not_locked()
225
351
        current_info = self.peek()
226
352
        if current_info is None:
227
353
            # must have been recently released
228
354
            return
229
355
        if current_info != dead_holder_info:
230
356
            raise LockBreakMismatch(self, current_info, dead_holder_info)
231
 
        tmpname = '%s.broken.%s.tmp' % (self.path, rand_chars(20))
232
 
        self.transport.rename(self.path, tmpname)
 
357
        tmpname = '%s/broken.%s.tmp' % (self.path, rand_chars(20))
 
358
        self.transport.rename(self._held_dir, tmpname)
233
359
        # check that we actually broke the right lock, not someone else;
234
360
        # there's a small race window between checking it and doing the 
235
361
        # rename.
240
366
        self.transport.delete(broken_info_path)
241
367
        self.transport.rmdir(tmpname)
242
368
 
 
369
    def _check_not_locked(self):
 
370
        """If the lock is held by this instance, raise an error."""
 
371
        if self._lock_held:
 
372
            raise AssertionError("can't break own lock: %r" % self)
 
373
 
243
374
    def confirm(self):
244
375
        """Make sure that the lock is still held by this locker.
245
376
 
261
392
            raise LockBroken(self)
262
393
        
263
394
    def _read_info_file(self, path):
 
395
        """Read one given info file.
 
396
 
 
397
        peek() reads the info file of the lock holder, if any.
 
398
        """
264
399
        return self._parse_info(self.transport.get(path))
265
400
 
266
401
    def peek(self):
271
406
        Otherwise returns None.
272
407
        """
273
408
        try:
274
 
            info = self._read_info_file(self._info_path)
 
409
            info = self._read_info_file(self._held_info_path)
 
410
            self._trace("peek -> held")
275
411
            assert isinstance(info, dict), \
276
412
                    "bad parse result %r" % info
277
413
            return info
278
414
        except NoSuchFile, e:
279
 
            return None
 
415
            self._trace("peek -> not held")
280
416
 
281
 
    def _prepare_info(self, outf):
 
417
    def _prepare_info(self):
282
418
        """Write information about a pending lock to a temporary file.
283
419
        """
284
420
        import socket
285
421
        # XXX: is creating this here inefficient?
286
422
        config = bzrlib.config.GlobalConfig()
 
423
        try:
 
424
            user = config.user_email()
 
425
        except errors.NoEmailInUsername:
 
426
            user = config.username()
287
427
        s = Stanza(hostname=socket.gethostname(),
288
428
                   pid=str(os.getpid()),
289
429
                   start_time=str(int(time.time())),
290
430
                   nonce=self.nonce,
291
 
                   user=config.user_email(),
 
431
                   user=user,
292
432
                   )
293
 
        RioWriter(outf).write_stanza(s)
 
433
        return s.to_string()
294
434
 
295
435
    def _parse_info(self, info_file):
296
436
        return read_stanza(info_file.readlines()).as_dict()
297
437
 
298
 
    def wait_lock(self, timeout=_DEFAULT_TIMEOUT_SECONDS,
299
 
                  poll=_DEFAULT_POLL_SECONDS):
 
438
    def attempt_lock(self):
 
439
        """Take the lock; fail if it's already held.
 
440
        
 
441
        If you wish to block until the lock can be obtained, call wait_lock()
 
442
        instead.
 
443
 
 
444
        :return: The lock token.
 
445
        :raises LockContention: if the lock is held by someone else.
 
446
        """
 
447
        if self._fake_read_lock:
 
448
            raise LockContention(self)
 
449
        if self.transport.is_readonly():
 
450
            raise UnlockableTransport(self.transport)
 
451
        return self._attempt_lock()
 
452
 
 
453
    def wait_lock(self, timeout=None, poll=None, max_attempts=None):
300
454
        """Wait a certain period for a lock.
301
455
 
302
456
        If the lock can be acquired within the bounded time, it
304
458
        is raised.  Either way, this function should return within
305
459
        approximately `timeout` seconds.  (It may be a bit more if
306
460
        a transport operation takes a long time to complete.)
 
461
 
 
462
        :param timeout: Approximate maximum amount of time to wait for the
 
463
        lock, in seconds.
 
464
         
 
465
        :param poll: Delay in seconds between retrying the lock.
 
466
 
 
467
        :param max_attempts: Maximum number of times to try to lock.
 
468
 
 
469
        :return: The lock token.
307
470
        """
308
 
        # XXX: the transport interface doesn't let us guard 
309
 
        # against operations there taking a long time.
 
471
        if timeout is None:
 
472
            timeout = _DEFAULT_TIMEOUT_SECONDS
 
473
        if poll is None:
 
474
            poll = _DEFAULT_POLL_SECONDS
 
475
        # XXX: the transport interface doesn't let us guard against operations
 
476
        # there taking a long time, so the total elapsed time or poll interval
 
477
        # may be more than was requested.
310
478
        deadline = time.time() + timeout
 
479
        deadline_str = None
 
480
        last_info = None
 
481
        attempt_count = 0
311
482
        while True:
 
483
            attempt_count += 1
312
484
            try:
313
 
                self.attempt_lock()
314
 
                return
 
485
                return self.attempt_lock()
315
486
            except LockContention:
 
487
                # possibly report the blockage, then try again
316
488
                pass
317
 
            if time.time() + poll < deadline:
318
 
                time.sleep(poll)
319
 
            else:
320
 
                raise LockContention(self)
321
 
 
322
 
    def wait(self, timeout=20, poll=0.5):
323
 
        """Wait a certain period for a lock to be released."""
324
 
        # XXX: the transport interface doesn't let us guard 
325
 
        # against operations there taking a long time.
326
 
        deadline = time.time() + timeout
327
 
        while True:
328
 
            if self.peek():
329
 
                return
330
 
            if time.time() + poll < deadline:
331
 
                time.sleep(poll)
332
 
            else:
333
 
                raise LockContention(self)
334
 
 
 
489
            # TODO: In a few cases, we find out that there's contention by
 
490
            # reading the held info and observing that it's not ours.  In
 
491
            # those cases it's a bit redundant to read it again.  However,
 
492
            # the normal case (??) is that the rename fails and so we
 
493
            # don't know who holds the lock.  For simplicity we peek
 
494
            # always.
 
495
            new_info = self.peek()
 
496
            if new_info is not None and new_info != last_info:
 
497
                if last_info is None:
 
498
                    start = 'Unable to obtain'
 
499
                else:
 
500
                    start = 'Lock owner changed for'
 
501
                last_info = new_info
 
502
                formatted_info = self._format_lock_info(new_info)
 
503
                if deadline_str is None:
 
504
                    deadline_str = time.strftime('%H:%M:%S',
 
505
                                                 time.localtime(deadline))
 
506
                self._report_function('%s %s\n'
 
507
                                      '%s\n' # held by
 
508
                                      '%s\n' # locked ... ago
 
509
                                      'Will continue to try until %s\n',
 
510
                                      start,
 
511
                                      formatted_info[0],
 
512
                                      formatted_info[1],
 
513
                                      formatted_info[2],
 
514
                                      deadline_str)
 
515
 
 
516
            if (max_attempts is not None) and (attempt_count >= max_attempts):
 
517
                self._trace("exceeded %d attempts")
 
518
                raise LockContention(self)
 
519
            if time.time() + poll < deadline:
 
520
                self._trace("waiting %ss", poll)
 
521
                time.sleep(poll)
 
522
            else:
 
523
                self._trace("timeout after waiting %ss", timeout)
 
524
                raise LockContention(self)
 
525
    
 
526
    def leave_in_place(self):
 
527
        self._locked_via_token = True
 
528
 
 
529
    def dont_leave_in_place(self):
 
530
        self._locked_via_token = False
 
531
 
 
532
    def lock_write(self, token=None):
 
533
        """Wait for and acquire the lock.
 
534
        
 
535
        :param token: if this is already locked, then lock_write will fail
 
536
            unless the token matches the existing lock.
 
537
        :returns: a token if this instance supports tokens, otherwise None.
 
538
        :raises TokenLockingNotSupported: when a token is given but this
 
539
            instance doesn't support using token locks.
 
540
        :raises MismatchedToken: if the specified token doesn't match the token
 
541
            of the existing lock.
 
542
 
 
543
        A token should be passed in if you know that you have locked the object
 
544
        some other way, and need to synchronise this object's state with that
 
545
        fact.
 
546
         
 
547
        XXX: docstring duplicated from LockableFiles.lock_write.
 
548
        """
 
549
        if token is not None:
 
550
            self.validate_token(token)
 
551
            self.nonce = token
 
552
            self._lock_held = True
 
553
            self._locked_via_token = True
 
554
            return token
 
555
        else:
 
556
            return self.wait_lock()
 
557
 
 
558
    def lock_read(self):
 
559
        """Compatibility-mode shared lock.
 
560
 
 
561
        LockDir doesn't support shared read-only locks, so this 
 
562
        just pretends that the lock is taken but really does nothing.
 
563
        """
 
564
        # At the moment Branches are commonly locked for read, but 
 
565
        # we can't rely on that remotely.  Once this is cleaned up,
 
566
        # reenable this warning to prevent it coming back in 
 
567
        # -- mbp 20060303
 
568
        ## warn("LockDir.lock_read falls back to write lock")
 
569
        if self._lock_held or self._fake_read_lock:
 
570
            raise LockContention(self)
 
571
        self._fake_read_lock = True
 
572
 
 
573
    def _format_lock_info(self, info):
 
574
        """Turn the contents of peek() into something for the user"""
 
575
        lock_url = self.transport.abspath(self.path)
 
576
        delta = time.time() - int(info['start_time'])
 
577
        return [
 
578
            'lock %s' % (lock_url,),
 
579
            'held by %(user)s on host %(hostname)s [process #%(pid)s]' % info,
 
580
            'locked %s' % (format_delta(delta),),
 
581
            ]
 
582
 
 
583
    def validate_token(self, token):
 
584
        if token is not None:
 
585
            info = self.peek()
 
586
            if info is None:
 
587
                # Lock isn't held
 
588
                lock_token = None
 
589
            else:
 
590
                lock_token = info.get('nonce')
 
591
            if token != lock_token:
 
592
                raise errors.TokenMismatch(token, lock_token)
 
593
            else:
 
594
                self._trace("revalidated by token %r", token)
 
595
 
 
596
    def _trace(self, format, *args):
 
597
        if 'lock' not in debug.debug_flags:
 
598
            return
 
599
        mutter(str(self) + ": " + (format % args))