← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/lockdir.py

  • Committer: Andrew Bennetts
  • Date: 2008-09-05 10:48:03 UTC
  • mto: This revision was merged to the branch mainline in revision 3693.
  • Revision ID: andrew.bennetts@canonical.com-20080905104803-6g72dz6wcldosfs2
Remove monkey-patching of branch._ensure_real from test_remote.py.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/lockdir.py
1
 
# Copyright (C) 2006 Canonical Ltd
2
 
 
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
88
88
>>> t = MemoryTransport()
89
89
>>> l = LockDir(t, 'sample-lock')
90
90
>>> l.create()
91
 
>>> l.wait_lock()
 
91
>>> token = l.wait_lock()
92
92
>>> # do something here
93
93
>>> l.unlock()
94
94
 
95
95
"""
96
96
 
 
97
 
 
98
# TODO: We sometimes have the problem that our attempt to rename '1234' to
 
99
# 'held' fails because the transport server moves into an existing directory,
 
100
# rather than failing the rename.  If we made the info file name the same as
 
101
# the locked directory name we would avoid this problem because moving into
 
102
# the held directory would implicitly clash.  However this would not mesh with
 
103
# the existing locking code and needs a new format of the containing object.
 
104
# -- robertc, mbp 20070628
 
105
 
97
106
import os
98
107
import time
99
 
from warnings import warn
100
 
from StringIO import StringIO
 
108
from cStringIO import StringIO
101
109
 
 
110
from bzrlib import (
 
111
    debug,
 
112
    errors,
 
113
    )
102
114
import bzrlib.config
103
115
from bzrlib.errors import (
104
116
        DirectoryNotEmpty,
106
118
        LockBreakMismatch,
107
119
        LockBroken,
108
120
        LockContention,
109
 
        LockError,
 
121
        LockFailed,
110
122
        LockNotHeld,
111
123
        NoSuchFile,
112
124
        PathError,
113
125
        ResourceBusy,
 
126
        TransportError,
114
127
        UnlockableTransport,
115
128
        )
116
 
from bzrlib.trace import mutter
 
129
from bzrlib.trace import mutter, note
117
130
from bzrlib.transport import Transport
118
 
from bzrlib.osutils import rand_chars
119
 
from bzrlib.rio import RioWriter, read_stanza, Stanza
 
131
from bzrlib.osutils import rand_chars, format_delta, get_host_name
 
132
from bzrlib.rio import read_stanza, Stanza
 
133
import bzrlib.ui
 
134
 
120
135
 
121
136
# XXX: At the moment there is no consideration of thread safety on LockDir
122
137
# objects.  This should perhaps be updated - e.g. if two threads try to take a
132
147
# TODO: Make sure to pass the right file and directory mode bits to all
133
148
# files/dirs created.
134
149
 
 
150
 
135
151
_DEFAULT_TIMEOUT_SECONDS = 300
136
 
_DEFAULT_POLL_SECONDS = 0.5
 
152
_DEFAULT_POLL_SECONDS = 1.0
 
153
 
137
154
 
138
155
class LockDir(object):
139
156
    """Write-lock guarding access to data."""
150
167
        :param path: Path to the lock within the base directory of the 
151
168
            transport.
152
169
        """
153
 
        assert isinstance(transport, Transport), \
154
 
            ("not a transport: %r" % transport)
155
170
        self.transport = transport
156
171
        self.path = path
157
172
        self._lock_held = False
 
173
        self._locked_via_token = False
158
174
        self._fake_read_lock = False
159
175
        self._held_dir = path + '/held'
160
176
        self._held_info_path = self._held_dir + self.__INFO_NAME
161
177
        self._file_modebits = file_modebits
162
178
        self._dir_modebits = dir_modebits
163
 
        self.nonce = rand_chars(20)
 
179
 
 
180
        self._report_function = note
164
181
 
165
182
    def __repr__(self):
166
183
        return '%s(%s%s)' % (self.__class__.__name__,
175
192
        This is typically only called when the object/directory containing the 
176
193
        directory is first created.  The lock is not held when it's created.
177
194
        """
178
 
        if self.transport.is_readonly():
179
 
            raise UnlockableTransport(self.transport)
180
 
        self.transport.mkdir(self.path, mode=mode)
181
 
 
182
 
    def attempt_lock(self):
183
 
        """Take the lock; fail if it's already held.
 
195
        self._trace("create lock directory")
 
196
        try:
 
197
            self.transport.mkdir(self.path, mode=mode)
 
198
        except (TransportError, PathError), e:
 
199
            raise LockFailed(self, e)
 
200
 
 
201
 
 
202
    def _attempt_lock(self):
 
203
        """Make the pending directory and attempt to rename into place.
184
204
        
185
 
        If you wish to block until the lock can be obtained, call wait_lock()
186
 
        instead.
 
205
        If the rename succeeds, we read back the info file to check that we
 
206
        really got the lock.
 
207
 
 
208
        If we fail to acquire the lock, this method is responsible for
 
209
        cleaning up the pending directory if possible.  (But it doesn't do
 
210
        that yet.)
 
211
 
 
212
        :returns: The nonce of the lock, if it was successfully acquired.
 
213
 
 
214
        :raises LockContention: If the lock is held by someone else.  The exception
 
215
            contains the info of the current holder of the lock.
187
216
        """
188
 
        if self._fake_read_lock:
189
 
            raise LockContention(self)
190
 
        if self.transport.is_readonly():
191
 
            raise UnlockableTransport(self.transport)
192
 
        try:
193
 
            tmpname = '%s/pending.%s.tmp' % (self.path, rand_chars(20))
194
 
            self.transport.mkdir(tmpname)
195
 
            sio = StringIO()
196
 
            self._prepare_info(sio)
197
 
            sio.seek(0)
198
 
            # append will create a new file; we use append rather than put
199
 
            # because we don't want to write to a temporary file and rename
200
 
            # into place, because that's going to happen to the whole
201
 
            # directory
202
 
            self.transport.append(tmpname + self.__INFO_NAME, sio)
 
217
        self._trace("lock_write...")
 
218
        start_time = time.time()
 
219
        try:
 
220
            tmpname = self._create_pending_dir()
 
221
        except (errors.TransportError, PathError), e:
 
222
            self._trace("... failed to create pending dir, %s", e)
 
223
            raise LockFailed(self, e)
 
224
        try:
203
225
            self.transport.rename(tmpname, self._held_dir)
204
 
            self._lock_held = True
205
 
            self.confirm()
206
 
        except (PathError, DirectoryNotEmpty, FileExists, ResourceBusy), e:
207
 
            mutter("contention on %r: %s", self, e)
208
 
            raise LockContention(self)
 
226
        except (errors.TransportError, PathError, DirectoryNotEmpty,
 
227
                FileExists, ResourceBusy), e:
 
228
            self._trace("... contention, %s", e)
 
229
            self._remove_pending_dir(tmpname)
 
230
            raise LockContention(self)
 
231
        except Exception, e:
 
232
            self._trace("... lock failed, %s", e)
 
233
            self._remove_pending_dir(tmpname)
 
234
            raise
 
235
        # We must check we really got the lock, because Launchpad's sftp
 
236
        # server at one time had a bug were the rename would successfully
 
237
        # move the new directory into the existing directory, which was
 
238
        # incorrect.  It's possible some other servers or filesystems will
 
239
        # have a similar bug allowing someone to think they got the lock
 
240
        # when it's already held.
 
241
        info = self.peek()
 
242
        self._trace("after locking, info=%r", info)
 
243
        if info['nonce'] != self.nonce:
 
244
            self._trace("rename succeeded, "
 
245
                "but lock is still held by someone else")
 
246
            raise LockContention(self)
 
247
        self._lock_held = True
 
248
        self._trace("... lock succeeded after %dms",
 
249
                (time.time() - start_time) * 1000)
 
250
        return self.nonce
 
251
 
 
252
    def _remove_pending_dir(self, tmpname):
 
253
        """Remove the pending directory
 
254
 
 
255
        This is called if we failed to rename into place, so that the pending 
 
256
        dirs don't clutter up the lockdir.
 
257
        """
 
258
        self._trace("remove %s", tmpname)
 
259
        try:
 
260
            self.transport.delete(tmpname + self.__INFO_NAME)
 
261
            self.transport.rmdir(tmpname)
 
262
        except PathError, e:
 
263
            note("error removing pending lock: %s", e)
 
264
 
 
265
    def _create_pending_dir(self):
 
266
        tmpname = '%s/%s.tmp' % (self.path, rand_chars(10))
 
267
        try:
 
268
            self.transport.mkdir(tmpname)
 
269
        except NoSuchFile:
 
270
            # This may raise a FileExists exception
 
271
            # which is okay, it will be caught later and determined
 
272
            # to be a LockContention.
 
273
            self._trace("lock directory does not exist, creating it")
 
274
            self.create(mode=self._dir_modebits)
 
275
            # After creating the lock directory, try again
 
276
            self.transport.mkdir(tmpname)
 
277
        self.nonce = rand_chars(20)
 
278
        info_bytes = self._prepare_info()
 
279
        # We use put_file_non_atomic because we just created a new unique
 
280
        # directory so we don't have to worry about files existing there.
 
281
        # We'll rename the whole directory into place to get atomic
 
282
        # properties
 
283
        self.transport.put_bytes_non_atomic(tmpname + self.__INFO_NAME,
 
284
                                            info_bytes)
 
285
        return tmpname
209
286
 
210
287
    def unlock(self):
211
288
        """Release a held lock
215
292
            return
216
293
        if not self._lock_held:
217
294
            raise LockNotHeld(self)
218
 
        # rename before deleting, because we can't atomically remove the whole
219
 
        # tree
220
 
        tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
221
 
        # gotta own it to unlock
222
 
        self.confirm()
223
 
        self.transport.rename(self._held_dir, tmpname)
224
 
        self._lock_held = False
225
 
        self.transport.delete(tmpname + self.__INFO_NAME)
226
 
        self.transport.rmdir(tmpname)
 
295
        if self._locked_via_token:
 
296
            self._locked_via_token = False
 
297
            self._lock_held = False
 
298
        else:
 
299
            # rename before deleting, because we can't atomically remove the
 
300
            # whole tree
 
301
            start_time = time.time()
 
302
            self._trace("unlocking")
 
303
            tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
 
304
            # gotta own it to unlock
 
305
            self.confirm()
 
306
            self.transport.rename(self._held_dir, tmpname)
 
307
            self._lock_held = False
 
308
            self.transport.delete(tmpname + self.__INFO_NAME)
 
309
            try:
 
310
                self.transport.rmdir(tmpname)
 
311
            except DirectoryNotEmpty, e:
 
312
                # There might have been junk left over by a rename that moved
 
313
                # another locker within the 'held' directory.  do a slower
 
314
                # deletion where we list the directory and remove everything
 
315
                # within it.
 
316
                #
 
317
                # Maybe this should be broader to allow for ftp servers with
 
318
                # non-specific error messages?
 
319
                self._trace("doing recursive deletion of non-empty directory "
 
320
                        "%s", tmpname)
 
321
                self.transport.delete_tree(tmpname)
 
322
            self._trace("... unlock succeeded after %dms",
 
323
                    (time.time() - start_time) * 1000)
227
324
 
228
325
    def break_lock(self):
229
326
        """Break a lock not held by this instance of LockDir.
235
332
        self._check_not_locked()
236
333
        holder_info = self.peek()
237
334
        if holder_info is not None:
238
 
            if bzrlib.ui.ui_factory.get_boolean(
239
 
                "Break lock %s held by %s@%s [process #%s]" % (
240
 
                    self.transport,
241
 
                    holder_info["user"],
242
 
                    holder_info["hostname"],
243
 
                    holder_info["pid"])):
 
335
            lock_info = '\n'.join(self._format_lock_info(holder_info))
 
336
            if bzrlib.ui.ui_factory.get_boolean("Break %s" % lock_info):
244
337
                self.force_break(holder_info)
245
338
        
246
339
    def force_break(self, dead_holder_info):
321
414
        """
322
415
        try:
323
416
            info = self._read_info_file(self._held_info_path)
324
 
            assert isinstance(info, dict), \
325
 
                    "bad parse result %r" % info
 
417
            self._trace("peek -> held")
326
418
            return info
327
419
        except NoSuchFile, e:
328
 
            return None
 
420
            self._trace("peek -> not held")
329
421
 
330
 
    def _prepare_info(self, outf):
 
422
    def _prepare_info(self):
331
423
        """Write information about a pending lock to a temporary file.
332
424
        """
333
 
        import socket
334
425
        # XXX: is creating this here inefficient?
335
426
        config = bzrlib.config.GlobalConfig()
336
 
        s = Stanza(hostname=socket.gethostname(),
 
427
        try:
 
428
            user = config.user_email()
 
429
        except errors.NoEmailInUsername:
 
430
            user = config.username()
 
431
        s = Stanza(hostname=get_host_name(),
337
432
                   pid=str(os.getpid()),
338
433
                   start_time=str(int(time.time())),
339
434
                   nonce=self.nonce,
340
 
                   user=config.user_email(),
 
435
                   user=user,
341
436
                   )
342
 
        RioWriter(outf).write_stanza(s)
 
437
        return s.to_string()
343
438
 
344
439
    def _parse_info(self, info_file):
345
440
        return read_stanza(info_file.readlines()).as_dict()
346
441
 
347
 
    def wait_lock(self, timeout=_DEFAULT_TIMEOUT_SECONDS,
348
 
                  poll=_DEFAULT_POLL_SECONDS):
 
442
    def attempt_lock(self):
 
443
        """Take the lock; fail if it's already held.
 
444
        
 
445
        If you wish to block until the lock can be obtained, call wait_lock()
 
446
        instead.
 
447
 
 
448
        :return: The lock token.
 
449
        :raises LockContention: if the lock is held by someone else.
 
450
        """
 
451
        if self._fake_read_lock:
 
452
            raise LockContention(self)
 
453
        return self._attempt_lock()
 
454
 
 
455
    def wait_lock(self, timeout=None, poll=None, max_attempts=None):
349
456
        """Wait a certain period for a lock.
350
457
 
351
458
        If the lock can be acquired within the bounded time, it
353
460
        is raised.  Either way, this function should return within
354
461
        approximately `timeout` seconds.  (It may be a bit more if
355
462
        a transport operation takes a long time to complete.)
 
463
 
 
464
        :param timeout: Approximate maximum amount of time to wait for the
 
465
        lock, in seconds.
 
466
         
 
467
        :param poll: Delay in seconds between retrying the lock.
 
468
 
 
469
        :param max_attempts: Maximum number of times to try to lock.
 
470
 
 
471
        :return: The lock token.
356
472
        """
357
 
        # XXX: the transport interface doesn't let us guard 
358
 
        # against operations there taking a long time.
 
473
        if timeout is None:
 
474
            timeout = _DEFAULT_TIMEOUT_SECONDS
 
475
        if poll is None:
 
476
            poll = _DEFAULT_POLL_SECONDS
 
477
        # XXX: the transport interface doesn't let us guard against operations
 
478
        # there taking a long time, so the total elapsed time or poll interval
 
479
        # may be more than was requested.
359
480
        deadline = time.time() + timeout
 
481
        deadline_str = None
 
482
        last_info = None
 
483
        attempt_count = 0
360
484
        while True:
 
485
            attempt_count += 1
361
486
            try:
362
 
                self.attempt_lock()
363
 
                return
 
487
                return self.attempt_lock()
364
488
            except LockContention:
 
489
                # possibly report the blockage, then try again
365
490
                pass
 
491
            # TODO: In a few cases, we find out that there's contention by
 
492
            # reading the held info and observing that it's not ours.  In
 
493
            # those cases it's a bit redundant to read it again.  However,
 
494
            # the normal case (??) is that the rename fails and so we
 
495
            # don't know who holds the lock.  For simplicity we peek
 
496
            # always.
 
497
            new_info = self.peek()
 
498
            if new_info is not None and new_info != last_info:
 
499
                if last_info is None:
 
500
                    start = 'Unable to obtain'
 
501
                else:
 
502
                    start = 'Lock owner changed for'
 
503
                last_info = new_info
 
504
                formatted_info = self._format_lock_info(new_info)
 
505
                if deadline_str is None:
 
506
                    deadline_str = time.strftime('%H:%M:%S',
 
507
                                                 time.localtime(deadline))
 
508
                lock_url = self.transport.abspath(self.path)
 
509
                self._report_function('%s %s\n'
 
510
                                      '%s\n' # held by
 
511
                                      '%s\n' # locked ... ago
 
512
                                      'Will continue to try until %s, unless '
 
513
                                      'you press Ctrl-C\n'
 
514
                                      'If you\'re sure that it\'s not being '
 
515
                                      'modified, use bzr break-lock %s',
 
516
                                      start,
 
517
                                      formatted_info[0],
 
518
                                      formatted_info[1],
 
519
                                      formatted_info[2],
 
520
                                      deadline_str,
 
521
                                      lock_url)
 
522
 
 
523
            if (max_attempts is not None) and (attempt_count >= max_attempts):
 
524
                self._trace("exceeded %d attempts")
 
525
                raise LockContention(self)
366
526
            if time.time() + poll < deadline:
 
527
                self._trace("waiting %ss", poll)
367
528
                time.sleep(poll)
368
529
            else:
 
530
                self._trace("timeout after waiting %ss", timeout)
369
531
                raise LockContention(self)
370
 
 
371
 
    def lock_write(self):
372
 
        """Wait for and acquire the lock."""
373
 
        self.attempt_lock()
 
532
    
 
533
    def leave_in_place(self):
 
534
        self._locked_via_token = True
 
535
 
 
536
    def dont_leave_in_place(self):
 
537
        self._locked_via_token = False
 
538
 
 
539
    def lock_write(self, token=None):
 
540
        """Wait for and acquire the lock.
 
541
        
 
542
        :param token: if this is already locked, then lock_write will fail
 
543
            unless the token matches the existing lock.
 
544
        :returns: a token if this instance supports tokens, otherwise None.
 
545
        :raises TokenLockingNotSupported: when a token is given but this
 
546
            instance doesn't support using token locks.
 
547
        :raises MismatchedToken: if the specified token doesn't match the token
 
548
            of the existing lock.
 
549
 
 
550
        A token should be passed in if you know that you have locked the object
 
551
        some other way, and need to synchronise this object's state with that
 
552
        fact.
 
553
         
 
554
        XXX: docstring duplicated from LockableFiles.lock_write.
 
555
        """
 
556
        if token is not None:
 
557
            self.validate_token(token)
 
558
            self.nonce = token
 
559
            self._lock_held = True
 
560
            self._locked_via_token = True
 
561
            return token
 
562
        else:
 
563
            return self.wait_lock()
374
564
 
375
565
    def lock_read(self):
376
566
        """Compatibility-mode shared lock.
387
577
            raise LockContention(self)
388
578
        self._fake_read_lock = True
389
579
 
390
 
    def wait(self, timeout=20, poll=0.5):
391
 
        """Wait a certain period for a lock to be released."""
392
 
        # XXX: the transport interface doesn't let us guard 
393
 
        # against operations there taking a long time.
394
 
        deadline = time.time() + timeout
395
 
        while True:
396
 
            if self.peek():
397
 
                return
398
 
            if time.time() + poll < deadline:
399
 
                time.sleep(poll)
400
 
            else:
401
 
                raise LockContention(self)
402
 
 
 
580
    def _format_lock_info(self, info):
 
581
        """Turn the contents of peek() into something for the user"""
 
582
        lock_url = self.transport.abspath(self.path)
 
583
        delta = time.time() - int(info['start_time'])
 
584
        return [
 
585
            'lock %s' % (lock_url,),
 
586
            'held by %(user)s on host %(hostname)s [process #%(pid)s]' % info,
 
587
            'locked %s' % (format_delta(delta),),
 
588
            ]
 
589
 
 
590
    def validate_token(self, token):
 
591
        if token is not None:
 
592
            info = self.peek()
 
593
            if info is None:
 
594
                # Lock isn't held
 
595
                lock_token = None
 
596
            else:
 
597
                lock_token = info.get('nonce')
 
598
            if token != lock_token:
 
599
                raise errors.TokenMismatch(token, lock_token)
 
600
            else:
 
601
                self._trace("revalidated by token %r", token)
 
602
 
 
603
    def _trace(self, format, *args):
 
604
        if 'lock' not in debug.debug_flags:
 
605
            return
 
606
        mutter(str(self) + ": " + (format % args))