← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/lockdir.py

  • Committer: John Arbash Meinel
  • Date: 2008-09-02 17:52:00 UTC
  • mto: This revision was merged to the branch mainline in revision 3679.
  • Revision ID: john@arbash-meinel.com-20080902175200-nge9qgk0gklkd5ew
Move the point at which we 'buffer_all' if we've read >50% of the index.

We were doing it as soon as you entered 'iter_entries', but often you may already have enough
info to return results. And for small mostly local ops, we don't need to buffer all.
(This happens mostly with moderate size indexes, where the first read of the header
is enough to give you the data you need, but happens to be >50% of the whole file.)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/lockdir.py
1
 
# Copyright (C) 2006 Canonical Ltd
2
 
 
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
 
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
5
5
# the Free Software Foundation; either version 2 of the License, or
6
6
# (at your option) any later version.
7
 
 
 
7
#
8
8
# This program is distributed in the hope that it will be useful,
9
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
10
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11
11
# GNU General Public License for more details.
12
 
 
 
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
88
88
>>> t = MemoryTransport()
89
89
>>> l = LockDir(t, 'sample-lock')
90
90
>>> l.create()
91
 
>>> l.wait_lock()
 
91
>>> token = l.wait_lock()
92
92
>>> # do something here
93
93
>>> l.unlock()
94
94
 
95
95
"""
96
96
 
 
97
 
 
98
# TODO: We sometimes have the problem that our attempt to rename '1234' to
 
99
# 'held' fails because the transport server moves into an existing directory,
 
100
# rather than failing the rename.  If we made the info file name the same as
 
101
# the locked directory name we would avoid this problem because moving into
 
102
# the held directory would implicitly clash.  However this would not mesh with
 
103
# the existing locking code and needs a new format of the containing object.
 
104
# -- robertc, mbp 20070628
 
105
 
97
106
import os
98
107
import time
99
 
from warnings import warn
100
 
from StringIO import StringIO
 
108
from cStringIO import StringIO
101
109
 
 
110
from bzrlib import (
 
111
    debug,
 
112
    errors,
 
113
    )
102
114
import bzrlib.config
103
115
from bzrlib.errors import (
104
116
        DirectoryNotEmpty,
106
118
        LockBreakMismatch,
107
119
        LockBroken,
108
120
        LockContention,
109
 
        LockError,
 
121
        LockFailed,
110
122
        LockNotHeld,
111
123
        NoSuchFile,
112
124
        PathError,
113
125
        ResourceBusy,
 
126
        TransportError,
114
127
        UnlockableTransport,
115
128
        )
116
 
from bzrlib.trace import mutter
 
129
from bzrlib.trace import mutter, note
117
130
from bzrlib.transport import Transport
118
 
from bzrlib.osutils import rand_chars
119
 
from bzrlib.rio import RioWriter, read_stanza, Stanza
 
131
from bzrlib.osutils import rand_chars, format_delta
 
132
from bzrlib.rio import read_stanza, Stanza
 
133
import bzrlib.ui
 
134
 
120
135
 
121
136
# XXX: At the moment there is no consideration of thread safety on LockDir
122
137
# objects.  This should perhaps be updated - e.g. if two threads try to take a
132
147
# TODO: Make sure to pass the right file and directory mode bits to all
133
148
# files/dirs created.
134
149
 
 
150
 
135
151
_DEFAULT_TIMEOUT_SECONDS = 300
136
 
_DEFAULT_POLL_SECONDS = 0.5
 
152
_DEFAULT_POLL_SECONDS = 1.0
 
153
 
137
154
 
138
155
class LockDir(object):
139
156
    """Write-lock guarding access to data."""
150
167
        :param path: Path to the lock within the base directory of the 
151
168
            transport.
152
169
        """
153
 
        assert isinstance(transport, Transport), \
154
 
            ("not a transport: %r" % transport)
155
170
        self.transport = transport
156
171
        self.path = path
157
172
        self._lock_held = False
 
173
        self._locked_via_token = False
158
174
        self._fake_read_lock = False
159
175
        self._held_dir = path + '/held'
160
176
        self._held_info_path = self._held_dir + self.__INFO_NAME
161
177
        self._file_modebits = file_modebits
162
178
        self._dir_modebits = dir_modebits
163
 
        self.nonce = rand_chars(20)
 
179
 
 
180
        self._report_function = note
164
181
 
165
182
    def __repr__(self):
166
183
        return '%s(%s%s)' % (self.__class__.__name__,
175
192
        This is typically only called when the object/directory containing the 
176
193
        directory is first created.  The lock is not held when it's created.
177
194
        """
178
 
        if self.transport.is_readonly():
179
 
            raise UnlockableTransport(self.transport)
180
 
        self.transport.mkdir(self.path, mode=mode)
181
 
 
182
 
    def attempt_lock(self):
183
 
        """Take the lock; fail if it's already held.
 
195
        self._trace("create lock directory")
 
196
        try:
 
197
            self.transport.mkdir(self.path, mode=mode)
 
198
        except (TransportError, PathError), e:
 
199
            raise LockFailed(self, e)
 
200
 
 
201
 
 
202
    def _attempt_lock(self):
 
203
        """Make the pending directory and attempt to rename into place.
184
204
        
185
 
        If you wish to block until the lock can be obtained, call wait_lock()
186
 
        instead.
 
205
        If the rename succeeds, we read back the info file to check that we
 
206
        really got the lock.
 
207
 
 
208
        If we fail to acquire the lock, this method is responsible for
 
209
        cleaning up the pending directory if possible.  (But it doesn't do
 
210
        that yet.)
 
211
 
 
212
        :returns: The nonce of the lock, if it was successfully acquired.
 
213
 
 
214
        :raises LockContention: If the lock is held by someone else.  The exception
 
215
            contains the info of the current holder of the lock.
187
216
        """
188
 
        if self._fake_read_lock:
189
 
            raise LockContention(self)
190
 
        if self.transport.is_readonly():
191
 
            raise UnlockableTransport(self.transport)
192
 
        try:
193
 
            tmpname = '%s/pending.%s.tmp' % (self.path, rand_chars(20))
194
 
            self.transport.mkdir(tmpname)
195
 
            sio = StringIO()
196
 
            self._prepare_info(sio)
197
 
            sio.seek(0)
198
 
            # append will create a new file; we use append rather than put
199
 
            # because we don't want to write to a temporary file and rename
200
 
            # into place, because that's going to happen to the whole
201
 
            # directory
202
 
            self.transport.append(tmpname + self.__INFO_NAME, sio)
 
217
        self._trace("lock_write...")
 
218
        start_time = time.time()
 
219
        try:
 
220
            tmpname = self._create_pending_dir()
 
221
        except (errors.TransportError, PathError), e:
 
222
            self._trace("... failed to create pending dir, %s", e)
 
223
            raise LockFailed(self, e)
 
224
        try:
203
225
            self.transport.rename(tmpname, self._held_dir)
204
 
            self._lock_held = True
205
 
            self.confirm()
206
 
        except (PathError, DirectoryNotEmpty, FileExists, ResourceBusy), e:
207
 
            mutter("contention on %r: %s", self, e)
208
 
            raise LockContention(self)
 
226
        except (errors.TransportError, PathError, DirectoryNotEmpty,
 
227
                FileExists, ResourceBusy), e:
 
228
            self._trace("... contention, %s", e)
 
229
            self._remove_pending_dir(tmpname)
 
230
            raise LockContention(self)
 
231
        except Exception, e:
 
232
            self._trace("... lock failed, %s", e)
 
233
            self._remove_pending_dir(tmpname)
 
234
            raise
 
235
        # We must check we really got the lock, because Launchpad's sftp
 
236
        # server at one time had a bug were the rename would successfully
 
237
        # move the new directory into the existing directory, which was
 
238
        # incorrect.  It's possible some other servers or filesystems will
 
239
        # have a similar bug allowing someone to think they got the lock
 
240
        # when it's already held.
 
241
        info = self.peek()
 
242
        self._trace("after locking, info=%r", info)
 
243
        if info['nonce'] != self.nonce:
 
244
            self._trace("rename succeeded, "
 
245
                "but lock is still held by someone else")
 
246
            raise LockContention(self)
 
247
        self._lock_held = True
 
248
        self._trace("... lock succeeded after %dms",
 
249
                (time.time() - start_time) * 1000)
 
250
        return self.nonce
 
251
 
 
252
    def _remove_pending_dir(self, tmpname):
 
253
        """Remove the pending directory
 
254
 
 
255
        This is called if we failed to rename into place, so that the pending 
 
256
        dirs don't clutter up the lockdir.
 
257
        """
 
258
        self._trace("remove %s", tmpname)
 
259
        try:
 
260
            self.transport.delete(tmpname + self.__INFO_NAME)
 
261
            self.transport.rmdir(tmpname)
 
262
        except PathError, e:
 
263
            note("error removing pending lock: %s", e)
 
264
 
 
265
    def _create_pending_dir(self):
 
266
        tmpname = '%s/%s.tmp' % (self.path, rand_chars(10))
 
267
        try:
 
268
            self.transport.mkdir(tmpname)
 
269
        except NoSuchFile:
 
270
            # This may raise a FileExists exception
 
271
            # which is okay, it will be caught later and determined
 
272
            # to be a LockContention.
 
273
            self._trace("lock directory does not exist, creating it")
 
274
            self.create(mode=self._dir_modebits)
 
275
            # After creating the lock directory, try again
 
276
            self.transport.mkdir(tmpname)
 
277
        self.nonce = rand_chars(20)
 
278
        info_bytes = self._prepare_info()
 
279
        # We use put_file_non_atomic because we just created a new unique
 
280
        # directory so we don't have to worry about files existing there.
 
281
        # We'll rename the whole directory into place to get atomic
 
282
        # properties
 
283
        self.transport.put_bytes_non_atomic(tmpname + self.__INFO_NAME,
 
284
                                            info_bytes)
 
285
        return tmpname
209
286
 
210
287
    def unlock(self):
211
288
        """Release a held lock
215
292
            return
216
293
        if not self._lock_held:
217
294
            raise LockNotHeld(self)
218
 
        # rename before deleting, because we can't atomically remove the whole
219
 
        # tree
220
 
        tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
221
 
        # gotta own it to unlock
222
 
        self.confirm()
223
 
        self.transport.rename(self._held_dir, tmpname)
224
 
        self._lock_held = False
225
 
        self.transport.delete(tmpname + self.__INFO_NAME)
226
 
        self.transport.rmdir(tmpname)
 
295
        if self._locked_via_token:
 
296
            self._locked_via_token = False
 
297
            self._lock_held = False
 
298
        else:
 
299
            # rename before deleting, because we can't atomically remove the
 
300
            # whole tree
 
301
            start_time = time.time()
 
302
            self._trace("unlocking")
 
303
            tmpname = '%s/releasing.%s.tmp' % (self.path, rand_chars(20))
 
304
            # gotta own it to unlock
 
305
            self.confirm()
 
306
            self.transport.rename(self._held_dir, tmpname)
 
307
            self._lock_held = False
 
308
            self.transport.delete(tmpname + self.__INFO_NAME)
 
309
            try:
 
310
                self.transport.rmdir(tmpname)
 
311
            except DirectoryNotEmpty, e:
 
312
                # There might have been junk left over by a rename that moved
 
313
                # another locker within the 'held' directory.  do a slower
 
314
                # deletion where we list the directory and remove everything
 
315
                # within it.
 
316
                #
 
317
                # Maybe this should be broader to allow for ftp servers with
 
318
                # non-specific error messages?
 
319
                self._trace("doing recursive deletion of non-empty directory "
 
320
                        "%s", tmpname)
 
321
                self.transport.delete_tree(tmpname)
 
322
            self._trace("... unlock succeeded after %dms",
 
323
                    (time.time() - start_time) * 1000)
227
324
 
228
325
    def break_lock(self):
229
326
        """Break a lock not held by this instance of LockDir.
235
332
        self._check_not_locked()
236
333
        holder_info = self.peek()
237
334
        if holder_info is not None:
238
 
            if bzrlib.ui.ui_factory.get_boolean(
239
 
                "Break lock %s held by %s@%s [process #%s]" % (
240
 
                    self.transport,
241
 
                    holder_info["user"],
242
 
                    holder_info["hostname"],
243
 
                    holder_info["pid"])):
 
335
            lock_info = '\n'.join(self._format_lock_info(holder_info))
 
336
            if bzrlib.ui.ui_factory.get_boolean("Break %s" % lock_info):
244
337
                self.force_break(holder_info)
245
338
        
246
339
    def force_break(self, dead_holder_info):
321
414
        """
322
415
        try:
323
416
            info = self._read_info_file(self._held_info_path)
324
 
            assert isinstance(info, dict), \
325
 
                    "bad parse result %r" % info
 
417
            self._trace("peek -> held")
326
418
            return info
327
419
        except NoSuchFile, e:
328
 
            return None
 
420
            self._trace("peek -> not held")
329
421
 
330
 
    def _prepare_info(self, outf):
 
422
    def _prepare_info(self):
331
423
        """Write information about a pending lock to a temporary file.
332
424
        """
333
425
        import socket
334
426
        # XXX: is creating this here inefficient?
335
427
        config = bzrlib.config.GlobalConfig()
 
428
        try:
 
429
            user = config.user_email()
 
430
        except errors.NoEmailInUsername:
 
431
            user = config.username()
336
432
        s = Stanza(hostname=socket.gethostname(),
337
433
                   pid=str(os.getpid()),
338
434
                   start_time=str(int(time.time())),
339
435
                   nonce=self.nonce,
340
 
                   user=config.user_email(),
 
436
                   user=user,
341
437
                   )
342
 
        RioWriter(outf).write_stanza(s)
 
438
        return s.to_string()
343
439
 
344
440
    def _parse_info(self, info_file):
345
441
        return read_stanza(info_file.readlines()).as_dict()
346
442
 
347
 
    def wait_lock(self, timeout=_DEFAULT_TIMEOUT_SECONDS,
348
 
                  poll=_DEFAULT_POLL_SECONDS):
 
443
    def attempt_lock(self):
 
444
        """Take the lock; fail if it's already held.
 
445
        
 
446
        If you wish to block until the lock can be obtained, call wait_lock()
 
447
        instead.
 
448
 
 
449
        :return: The lock token.
 
450
        :raises LockContention: if the lock is held by someone else.
 
451
        """
 
452
        if self._fake_read_lock:
 
453
            raise LockContention(self)
 
454
        return self._attempt_lock()
 
455
 
 
456
    def wait_lock(self, timeout=None, poll=None, max_attempts=None):
349
457
        """Wait a certain period for a lock.
350
458
 
351
459
        If the lock can be acquired within the bounded time, it
353
461
        is raised.  Either way, this function should return within
354
462
        approximately `timeout` seconds.  (It may be a bit more if
355
463
        a transport operation takes a long time to complete.)
 
464
 
 
465
        :param timeout: Approximate maximum amount of time to wait for the
 
466
        lock, in seconds.
 
467
         
 
468
        :param poll: Delay in seconds between retrying the lock.
 
469
 
 
470
        :param max_attempts: Maximum number of times to try to lock.
 
471
 
 
472
        :return: The lock token.
356
473
        """
357
 
        # XXX: the transport interface doesn't let us guard 
358
 
        # against operations there taking a long time.
 
474
        if timeout is None:
 
475
            timeout = _DEFAULT_TIMEOUT_SECONDS
 
476
        if poll is None:
 
477
            poll = _DEFAULT_POLL_SECONDS
 
478
        # XXX: the transport interface doesn't let us guard against operations
 
479
        # there taking a long time, so the total elapsed time or poll interval
 
480
        # may be more than was requested.
359
481
        deadline = time.time() + timeout
 
482
        deadline_str = None
 
483
        last_info = None
 
484
        attempt_count = 0
360
485
        while True:
 
486
            attempt_count += 1
361
487
            try:
362
 
                self.attempt_lock()
363
 
                return
 
488
                return self.attempt_lock()
364
489
            except LockContention:
 
490
                # possibly report the blockage, then try again
365
491
                pass
 
492
            # TODO: In a few cases, we find out that there's contention by
 
493
            # reading the held info and observing that it's not ours.  In
 
494
            # those cases it's a bit redundant to read it again.  However,
 
495
            # the normal case (??) is that the rename fails and so we
 
496
            # don't know who holds the lock.  For simplicity we peek
 
497
            # always.
 
498
            new_info = self.peek()
 
499
            if new_info is not None and new_info != last_info:
 
500
                if last_info is None:
 
501
                    start = 'Unable to obtain'
 
502
                else:
 
503
                    start = 'Lock owner changed for'
 
504
                last_info = new_info
 
505
                formatted_info = self._format_lock_info(new_info)
 
506
                if deadline_str is None:
 
507
                    deadline_str = time.strftime('%H:%M:%S',
 
508
                                                 time.localtime(deadline))
 
509
                lock_url = self.transport.abspath(self.path)
 
510
                self._report_function('%s %s\n'
 
511
                                      '%s\n' # held by
 
512
                                      '%s\n' # locked ... ago
 
513
                                      'Will continue to try until %s, unless '
 
514
                                      'you press Ctrl-C\n'
 
515
                                      'If you\'re sure that it\'s not being '
 
516
                                      'modified, use bzr break-lock %s',
 
517
                                      start,
 
518
                                      formatted_info[0],
 
519
                                      formatted_info[1],
 
520
                                      formatted_info[2],
 
521
                                      deadline_str,
 
522
                                      lock_url)
 
523
 
 
524
            if (max_attempts is not None) and (attempt_count >= max_attempts):
 
525
                self._trace("exceeded %d attempts")
 
526
                raise LockContention(self)
366
527
            if time.time() + poll < deadline:
 
528
                self._trace("waiting %ss", poll)
367
529
                time.sleep(poll)
368
530
            else:
 
531
                self._trace("timeout after waiting %ss", timeout)
369
532
                raise LockContention(self)
370
 
 
371
 
    def lock_write(self):
372
 
        """Wait for and acquire the lock."""
373
 
        self.attempt_lock()
 
533
    
 
534
    def leave_in_place(self):
 
535
        self._locked_via_token = True
 
536
 
 
537
    def dont_leave_in_place(self):
 
538
        self._locked_via_token = False
 
539
 
 
540
    def lock_write(self, token=None):
 
541
        """Wait for and acquire the lock.
 
542
        
 
543
        :param token: if this is already locked, then lock_write will fail
 
544
            unless the token matches the existing lock.
 
545
        :returns: a token if this instance supports tokens, otherwise None.
 
546
        :raises TokenLockingNotSupported: when a token is given but this
 
547
            instance doesn't support using token locks.
 
548
        :raises MismatchedToken: if the specified token doesn't match the token
 
549
            of the existing lock.
 
550
 
 
551
        A token should be passed in if you know that you have locked the object
 
552
        some other way, and need to synchronise this object's state with that
 
553
        fact.
 
554
         
 
555
        XXX: docstring duplicated from LockableFiles.lock_write.
 
556
        """
 
557
        if token is not None:
 
558
            self.validate_token(token)
 
559
            self.nonce = token
 
560
            self._lock_held = True
 
561
            self._locked_via_token = True
 
562
            return token
 
563
        else:
 
564
            return self.wait_lock()
374
565
 
375
566
    def lock_read(self):
376
 
        """Compatability-mode shared lock.
 
567
        """Compatibility-mode shared lock.
377
568
 
378
569
        LockDir doesn't support shared read-only locks, so this 
379
570
        just pretends that the lock is taken but really does nothing.
387
578
            raise LockContention(self)
388
579
        self._fake_read_lock = True
389
580
 
390
 
    def wait(self, timeout=20, poll=0.5):
391
 
        """Wait a certain period for a lock to be released."""
392
 
        # XXX: the transport interface doesn't let us guard 
393
 
        # against operations there taking a long time.
394
 
        deadline = time.time() + timeout
395
 
        while True:
396
 
            if self.peek():
397
 
                return
398
 
            if time.time() + poll < deadline:
399
 
                time.sleep(poll)
400
 
            else:
401
 
                raise LockContention(self)
402
 
 
 
581
    def _format_lock_info(self, info):
 
582
        """Turn the contents of peek() into something for the user"""
 
583
        lock_url = self.transport.abspath(self.path)
 
584
        delta = time.time() - int(info['start_time'])
 
585
        return [
 
586
            'lock %s' % (lock_url,),
 
587
            'held by %(user)s on host %(hostname)s [process #%(pid)s]' % info,
 
588
            'locked %s' % (format_delta(delta),),
 
589
            ]
 
590
 
 
591
    def validate_token(self, token):
 
592
        if token is not None:
 
593
            info = self.peek()
 
594
            if info is None:
 
595
                # Lock isn't held
 
596
                lock_token = None
 
597
            else:
 
598
                lock_token = info.get('nonce')
 
599
            if token != lock_token:
 
600
                raise errors.TokenMismatch(token, lock_token)
 
601
            else:
 
602
                self._trace("revalidated by token %r", token)
 
603
 
 
604
    def _trace(self, format, *args):
 
605
        if 'lock' not in debug.debug_flags:
 
606
            return
 
607
        mutter(str(self) + ": " + (format % args))