← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/lockdir.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2008-10-16 21:31:35 UTC
  • mfrom: (3363.19.4 fix-iter-changes)
  • Revision ID: pqm@pqm.ubuntu.com-20081016213135-0115pw9c95l2dyxq
PreviewTree.iter_changes accepts all standard parameters (abentley)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/lockdir.py
1
 
# Copyright (C) 2006 Canonical Ltd
2
 
 
 
1
# Copyright (C) 2006, 2007, 2008 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
88
88
>>> t = MemoryTransport()
89
89
>>> l = LockDir(t, 'sample-lock')
90
90
>>> l.create()
91
 
>>> l.wait_lock()
 
91
>>> token = l.wait_lock()
92
92
>>> # do something here
93
93
>>> l.unlock()
94
94
 
95
95
"""
96
96
 
 
97
 
 
98
# TODO: We sometimes have the problem that our attempt to rename '1234' to
 
99
# 'held' fails because the transport server moves into an existing directory,
 
100
# rather than failing the rename.  If we made the info file name the same as
 
101
# the locked directory name we would avoid this problem because moving into
 
102
# the held directory would implicitly clash.  However this would not mesh with
 
103
# the existing locking code and needs a new format of the containing object.
 
104
# -- robertc, mbp 20070628
 
105
 
97
106
import os
98
107
import time
99
 
from warnings import warn
100
 
from StringIO import StringIO
101
108
 
 
109
from bzrlib import (
 
110
    debug,
 
111
    errors,
 
112
    lock,
 
113
    )
102
114
import bzrlib.config
103
115
from bzrlib.errors import (
104
116
        DirectoryNotEmpty,
106
118
        LockBreakMismatch,
107
119
        LockBroken,
108
120
        LockContention,
109
 
        LockError,
 
121
        LockFailed,
110
122
        LockNotHeld,
111
123
        NoSuchFile,
112
124
        PathError,
113
125
        ResourceBusy,
114
 
        UnlockableTransport,
 
126
        TransportError,
115
127
        )
116
 
from bzrlib.trace import mutter
117
 
from bzrlib.transport import Transport
118
 
from bzrlib.osutils import rand_chars
119
 
from bzrlib.rio import RioWriter, read_stanza, Stanza
 
128
from bzrlib.hooks import Hooks
 
129
from bzrlib.trace import mutter, note
 
130
from bzrlib.osutils import format_delta, rand_chars, get_host_name
 
131
import bzrlib.ui
 
132
 
 
133
from bzrlib.lazy_import import lazy_import
 
134
lazy_import(globals(), """
 
135
from bzrlib import rio
 
136
""")
120
137
 
121
138
# XXX: At the moment there is no consideration of thread safety on LockDir
122
139
# objects.  This should perhaps be updated - e.g. if two threads try to take a
132
149
# TODO: Make sure to pass the right file and directory mode bits to all
133
150
# files/dirs created.
134
151
 
 
152
 
135
153
_DEFAULT_TIMEOUT_SECONDS = 300
136
 
_DEFAULT_POLL_SECONDS = 0.5
137
 
 
138
 
class LockDir(object):
139
 
    """Write-lock guarding access to data."""
 
154
_DEFAULT_POLL_SECONDS = 1.0
 
155
 
 
156
 
 
157
class LockDir(lock.Lock):
 
158
    """Write-lock guarding access to data.
 
159
    """
140
160
 
141
161
    __INFO_NAME = '/info'
142
162
 
150
170
        :param path: Path to the lock within the base directory of the 
151
171
            transport.
152
172
        """
153
 
        assert isinstance(transport, Transport), \
154
 
            ("not a transport: %r" % transport)
155
173
        self.transport = transport
156
174
        self.path = path
157
175
        self._lock_held = False
 
176
        self._locked_via_token = False
158
177
        self._fake_read_lock = False
159
178
        self._held_dir = path + '/held'
160
179
        self._held_info_path = self._held_dir + self.__INFO_NAME
161
180
        self._file_modebits = file_modebits
162
181
        self._dir_modebits = dir_modebits
163
 
        self.nonce = rand_chars(20)
 
182
 
 
183
        self._report_function = note
164
184
 
165
185
    def __repr__(self):
166
186
        return '%s(%s%s)' % (self.__class__.__name__,
175
195
        This is typically only called when the object/directory containing the 
176
196
        directory is first created.  The lock is not held when it's created.
177
197
        """
178
 
        if self.transport.is_readonly():
179
 
            raise UnlockableTransport(self.transport)
180
 
        self.transport.mkdir(self.path, mode=mode)
181
 
 
182
 
    def attempt_lock(self):
183
 
        """Take the lock; fail if it's already held.
 
198
        self._trace("create lock directory")
 
199
        try:
 
200
            self.transport.mkdir(self.path, mode=mode)
 
201
        except (TransportError, PathError), e:
 
202
            raise LockFailed(self, e)
 
203
 
 
204
 
 
205
    def _attempt_lock(self):
 
206
        """Make the pending directory and attempt to rename into place.
184
207
        
185
 
        If you wish to block until the lock can be obtained, call wait_lock()
186
 
        instead.
 
208
        If the rename succeeds, we read back the info file to check that we
 
209
        really got the lock.
 
210
 
 
211
        If we fail to acquire the lock, this method is responsible for
 
212
        cleaning up the pending directory if possible.  (But it doesn't do
 
213
        that yet.)
 
214
 
 
215
        :returns: The nonce of the lock, if it was successfully acquired.
 
216
 
 
217
        :raises LockContention: If the lock is held by someone else.  The exception
 
218
            contains the info of the current holder of the lock.
187
219
        """
188
 
        if self._fake_read_lock:
189
 
            raise LockContention(self)
190
 
        if self.transport.is_readonly():
191
 
            raise UnlockableTransport(self.transport)
192
 
        try:
193
 
            tmpname = '%s/pending.%s.tmp' % (self.path, rand_chars(20))
194
 
            self.transport.mkdir(tmpname)
195
 
            sio = StringIO()
196
 
            self._prepare_info(sio)
197
 
            sio.seek(0)
198
 
            # append will create a new file; we use append rather than put
199
 
            # because we don't want to write to a temporary file and rename
200
 
            # into place, because that's going to happen to the whole
201
 
            # directory
202
 
            self.transport.append(tmpname + self.__INFO_NAME, sio)
 
220
        self._trace("lock_write...")
 
221
        start_time = time.time()
 
222
        try:
 
223
            tmpname = self._create_pending_dir()
 
224
        except (errors.TransportError, PathError), e:
 
225
            self._trace("... failed to create pending dir, %s", e)
 
226
            raise LockFailed(self, e)
 
227
        try:
203
228
            self.transport.rename(tmpname, self._held_dir)
204
 
            self._lock_held = True
205
 
            self.confirm()
206
 
        except (PathError, DirectoryNotEmpty, FileExists, ResourceBusy), e:
207
 
            mutter("contention on %r: %s", self, e)
208
 
            raise LockContention(self)
 
229
        except (errors.TransportError, PathError, DirectoryNotEmpty,
 
230
                FileExists, ResourceBusy), e:
 
231
            self._trace("... contention, %s", e)
 
232
            self._remove_pending_dir(tmpname)
 
233
            raise LockContention(self)
 
234
        except Exception, e:
 
235
            self._trace("... lock failed, %s", e)
 
236
            self._remove_pending_dir(tmpname)
 
237
            raise
 
238
        # We must check we really got the lock, because Launchpad's sftp
 
239
        # server at one time had a bug were the rename would successfully
 
240
        # move the new directory into the existing directory, which was
 
241
        # incorrect.  It's possible some other servers or filesystems will
 
242
        # have a similar bug allowing someone to think they got the lock
 
243
        # when it's already held.
 
244
        info = self.peek()
 
245
        self._trace("after locking, info=%r", info)
 
246
        if info['nonce'] != self.nonce:
 
247
            self._trace("rename succeeded, "
 
248
                "but lock is still held by someone else")
 
249
            raise LockContention(self)
 
250
        self._lock_held = True
 
251
        self._trace("... lock succeeded after %dms",
 
252
                (time.time() - start_time) * 1000)
 
253
        return self.nonce
 
254
 
 
255
    def _remove_pending_dir(self, tmpname):
 
256
        """Remove the pending directory
 
257
 
 
258
        This is called if we failed to rename into place, so that the pending 
 
259
        dirs don't clutter up the lockdir.
 
260
        """
 
261
        self._trace("remove %s", tmpname)
 
262
        try:
 
263
            self.transport.delete(tmpname + self.__INFO_NAME)
 
264
            self.transport.rmdir(tmpname)
 
265
        except PathError, e:
 
266
            note("error removing pending lock: %s", e)
 
267
 
 
268
    def _create_pending_dir(self):
 
269
        tmpname = '%s/%s.tmp' % (self.path, rand_chars(10))
 
270
        try:
 
271
            self.transport.mkdir(tmpname)
 
272
        except NoSuchFile:
 
273
            # This may raise a FileExists exception
 
274
            # which is okay, it will be caught later and determined
 
275
            # to be a LockContention.
 
276
            self._trace("lock directory does not exist, creating it")
 
277
            self.create(mode=self._dir_modebits)
 
278
            # After creating the lock directory, try again
 
279
            self.transport.mkdir(tmpname)
 
280
        self.nonce = rand_chars(20)
 
281
        info_bytes = self._prepare_info()
 
282
        # We use put_file_non_atomic because we just created a new unique
 
283
        # directory so we don't have to worry about files existing there.
 
284
        # We'll rename the whole directory into place to get atomic
 
285
        # properties
 
286
        self.transport.put_bytes_non_atomic(tmpname + self.__INFO_NAME,
 
287
                                            info_bytes)
 
288
        return tmpname
209
289
 
210
290
    def unlock(self):
211
291
        """Release a held lock
215
295
            return
216
296
        if not self._lock_held:
217
297
            raise LockNotHeld(self)
218
 
        # rename before deleting, because we can't atomically remove the whole
219
 
        # tree
220
 
        tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
221
 
        # gotta own it to unlock
222
 
        self.confirm()
223
 
        self.transport.rename(self._held_dir, tmpname)
224
 
        self._lock_held = False
225
 
        self.transport.delete(tmpname + self.__INFO_NAME)
226
 
        self.transport.rmdir(tmpname)
 
298
        if self._locked_via_token:
 
299
            self._locked_via_token = False
 
300
            self._lock_held = False
 
301
        else:
 
302
            old_nonce = self.nonce
 
303
            # rename before deleting, because we can't atomically remove the
 
304
            # whole tree
 
305
            start_time = time.time()
 
306
            self._trace("unlocking")
 
307
            tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
 
308
            # gotta own it to unlock
 
309
            self.confirm()
 
310
            self.transport.rename(self._held_dir, tmpname)
 
311
            self._lock_held = False
 
312
            self.transport.delete(tmpname + self.__INFO_NAME)
 
313
            try:
 
314
                self.transport.rmdir(tmpname)
 
315
            except DirectoryNotEmpty, e:
 
316
                # There might have been junk left over by a rename that moved
 
317
                # another locker within the 'held' directory.  do a slower
 
318
                # deletion where we list the directory and remove everything
 
319
                # within it.
 
320
                #
 
321
                # Maybe this should be broader to allow for ftp servers with
 
322
                # non-specific error messages?
 
323
                self._trace("doing recursive deletion of non-empty directory "
 
324
                        "%s", tmpname)
 
325
                self.transport.delete_tree(tmpname)
 
326
            self._trace("... unlock succeeded after %dms",
 
327
                    (time.time() - start_time) * 1000)
 
328
            result = lock.LockResult(self.transport.abspath(self.path),
 
329
                old_nonce)
 
330
            for hook in self.hooks['lock_released']:
 
331
                hook(result)
227
332
 
228
333
    def break_lock(self):
229
334
        """Break a lock not held by this instance of LockDir.
235
340
        self._check_not_locked()
236
341
        holder_info = self.peek()
237
342
        if holder_info is not None:
238
 
            if bzrlib.ui.ui_factory.get_boolean(
239
 
                "Break lock %s held by %s@%s [process #%s]" % (
240
 
                    self.transport,
241
 
                    holder_info["user"],
242
 
                    holder_info["hostname"],
243
 
                    holder_info["pid"])):
 
343
            lock_info = '\n'.join(self._format_lock_info(holder_info))
 
344
            if bzrlib.ui.ui_factory.get_boolean("Break %s" % lock_info):
244
345
                self.force_break(holder_info)
245
346
        
246
347
    def force_break(self, dead_holder_info):
321
422
        """
322
423
        try:
323
424
            info = self._read_info_file(self._held_info_path)
324
 
            assert isinstance(info, dict), \
325
 
                    "bad parse result %r" % info
 
425
            self._trace("peek -> held")
326
426
            return info
327
427
        except NoSuchFile, e:
328
 
            return None
 
428
            self._trace("peek -> not held")
329
429
 
330
 
    def _prepare_info(self, outf):
 
430
    def _prepare_info(self):
331
431
        """Write information about a pending lock to a temporary file.
332
432
        """
333
 
        import socket
334
433
        # XXX: is creating this here inefficient?
335
434
        config = bzrlib.config.GlobalConfig()
336
 
        s = Stanza(hostname=socket.gethostname(),
 
435
        try:
 
436
            user = config.user_email()
 
437
        except errors.NoEmailInUsername:
 
438
            user = config.username()
 
439
        s = rio.Stanza(hostname=get_host_name(),
337
440
                   pid=str(os.getpid()),
338
441
                   start_time=str(int(time.time())),
339
442
                   nonce=self.nonce,
340
 
                   user=config.user_email(),
 
443
                   user=user,
341
444
                   )
342
 
        RioWriter(outf).write_stanza(s)
 
445
        return s.to_string()
343
446
 
344
447
    def _parse_info(self, info_file):
345
 
        return read_stanza(info_file.readlines()).as_dict()
346
 
 
347
 
    def wait_lock(self, timeout=_DEFAULT_TIMEOUT_SECONDS,
348
 
                  poll=_DEFAULT_POLL_SECONDS):
 
448
        return rio.read_stanza(info_file.readlines()).as_dict()
 
449
 
 
450
    def attempt_lock(self):
 
451
        """Take the lock; fail if it's already held.
 
452
        
 
453
        If you wish to block until the lock can be obtained, call wait_lock()
 
454
        instead.
 
455
 
 
456
        :return: The lock token.
 
457
        :raises LockContention: if the lock is held by someone else.
 
458
        """
 
459
        if self._fake_read_lock:
 
460
            raise LockContention(self)
 
461
        result = self._attempt_lock()
 
462
        hook_result = lock.LockResult(self.transport.abspath(self.path),
 
463
                self.nonce)
 
464
        for hook in self.hooks['lock_acquired']:
 
465
            hook(hook_result)
 
466
        return result
 
467
 
 
468
    def wait_lock(self, timeout=None, poll=None, max_attempts=None):
349
469
        """Wait a certain period for a lock.
350
470
 
351
471
        If the lock can be acquired within the bounded time, it
353
473
        is raised.  Either way, this function should return within
354
474
        approximately `timeout` seconds.  (It may be a bit more if
355
475
        a transport operation takes a long time to complete.)
 
476
 
 
477
        :param timeout: Approximate maximum amount of time to wait for the
 
478
        lock, in seconds.
 
479
         
 
480
        :param poll: Delay in seconds between retrying the lock.
 
481
 
 
482
        :param max_attempts: Maximum number of times to try to lock.
 
483
 
 
484
        :return: The lock token.
356
485
        """
357
 
        # XXX: the transport interface doesn't let us guard 
358
 
        # against operations there taking a long time.
 
486
        if timeout is None:
 
487
            timeout = _DEFAULT_TIMEOUT_SECONDS
 
488
        if poll is None:
 
489
            poll = _DEFAULT_POLL_SECONDS
 
490
        # XXX: the transport interface doesn't let us guard against operations
 
491
        # there taking a long time, so the total elapsed time or poll interval
 
492
        # may be more than was requested.
359
493
        deadline = time.time() + timeout
 
494
        deadline_str = None
 
495
        last_info = None
 
496
        attempt_count = 0
360
497
        while True:
 
498
            attempt_count += 1
361
499
            try:
362
 
                self.attempt_lock()
363
 
                return
 
500
                return self.attempt_lock()
364
501
            except LockContention:
 
502
                # possibly report the blockage, then try again
365
503
                pass
 
504
            # TODO: In a few cases, we find out that there's contention by
 
505
            # reading the held info and observing that it's not ours.  In
 
506
            # those cases it's a bit redundant to read it again.  However,
 
507
            # the normal case (??) is that the rename fails and so we
 
508
            # don't know who holds the lock.  For simplicity we peek
 
509
            # always.
 
510
            new_info = self.peek()
 
511
            if new_info is not None and new_info != last_info:
 
512
                if last_info is None:
 
513
                    start = 'Unable to obtain'
 
514
                else:
 
515
                    start = 'Lock owner changed for'
 
516
                last_info = new_info
 
517
                formatted_info = self._format_lock_info(new_info)
 
518
                if deadline_str is None:
 
519
                    deadline_str = time.strftime('%H:%M:%S',
 
520
                                                 time.localtime(deadline))
 
521
                lock_url = self.transport.abspath(self.path)
 
522
                self._report_function('%s %s\n'
 
523
                                      '%s\n' # held by
 
524
                                      '%s\n' # locked ... ago
 
525
                                      'Will continue to try until %s, unless '
 
526
                                      'you press Ctrl-C\n'
 
527
                                      'If you\'re sure that it\'s not being '
 
528
                                      'modified, use bzr break-lock %s',
 
529
                                      start,
 
530
                                      formatted_info[0],
 
531
                                      formatted_info[1],
 
532
                                      formatted_info[2],
 
533
                                      deadline_str,
 
534
                                      lock_url)
 
535
 
 
536
            if (max_attempts is not None) and (attempt_count >= max_attempts):
 
537
                self._trace("exceeded %d attempts")
 
538
                raise LockContention(self)
366
539
            if time.time() + poll < deadline:
 
540
                self._trace("waiting %ss", poll)
367
541
                time.sleep(poll)
368
542
            else:
 
543
                self._trace("timeout after waiting %ss", timeout)
369
544
                raise LockContention(self)
370
 
 
371
 
    def lock_write(self):
372
 
        """Wait for and acquire the lock."""
373
 
        self.attempt_lock()
 
545
    
 
546
    def leave_in_place(self):
 
547
        self._locked_via_token = True
 
548
 
 
549
    def dont_leave_in_place(self):
 
550
        self._locked_via_token = False
 
551
 
 
552
    def lock_write(self, token=None):
 
553
        """Wait for and acquire the lock.
 
554
        
 
555
        :param token: if this is already locked, then lock_write will fail
 
556
            unless the token matches the existing lock.
 
557
        :returns: a token if this instance supports tokens, otherwise None.
 
558
        :raises TokenLockingNotSupported: when a token is given but this
 
559
            instance doesn't support using token locks.
 
560
        :raises MismatchedToken: if the specified token doesn't match the token
 
561
            of the existing lock.
 
562
 
 
563
        A token should be passed in if you know that you have locked the object
 
564
        some other way, and need to synchronise this object's state with that
 
565
        fact.
 
566
         
 
567
        XXX: docstring duplicated from LockableFiles.lock_write.
 
568
        """
 
569
        if token is not None:
 
570
            self.validate_token(token)
 
571
            self.nonce = token
 
572
            self._lock_held = True
 
573
            self._locked_via_token = True
 
574
            return token
 
575
        else:
 
576
            return self.wait_lock()
374
577
 
375
578
    def lock_read(self):
376
 
        """Compatability-mode shared lock.
 
579
        """Compatibility-mode shared lock.
377
580
 
378
581
        LockDir doesn't support shared read-only locks, so this 
379
582
        just pretends that the lock is taken but really does nothing.
387
590
            raise LockContention(self)
388
591
        self._fake_read_lock = True
389
592
 
390
 
    def wait(self, timeout=20, poll=0.5):
391
 
        """Wait a certain period for a lock to be released."""
392
 
        # XXX: the transport interface doesn't let us guard 
393
 
        # against operations there taking a long time.
394
 
        deadline = time.time() + timeout
395
 
        while True:
396
 
            if self.peek():
397
 
                return
398
 
            if time.time() + poll < deadline:
399
 
                time.sleep(poll)
400
 
            else:
401
 
                raise LockContention(self)
402
 
 
 
593
    def _format_lock_info(self, info):
 
594
        """Turn the contents of peek() into something for the user"""
 
595
        lock_url = self.transport.abspath(self.path)
 
596
        delta = time.time() - int(info['start_time'])
 
597
        return [
 
598
            'lock %s' % (lock_url,),
 
599
            'held by %(user)s on host %(hostname)s [process #%(pid)s]' % info,
 
600
            'locked %s' % (format_delta(delta),),
 
601
            ]
 
602
 
 
603
    def validate_token(self, token):
 
604
        if token is not None:
 
605
            info = self.peek()
 
606
            if info is None:
 
607
                # Lock isn't held
 
608
                lock_token = None
 
609
            else:
 
610
                lock_token = info.get('nonce')
 
611
            if token != lock_token:
 
612
                raise errors.TokenMismatch(token, lock_token)
 
613
            else:
 
614
                self._trace("revalidated by token %r", token)
 
615
 
 
616
    def _trace(self, format, *args):
 
617
        if 'lock' not in debug.debug_flags:
 
618
            return
 
619
        mutter(str(self) + ": " + (format % args))