← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/lockdir.py

  • Committer: Vincent Ladeuil
  • Date: 2007-11-30 09:51:22 UTC
  • mto: (3059.2.1 173010)
  • mto: This revision was merged to the branch mainline in revision 3060.
  • Revision ID: v.ladeuil+lp@free.fr-20071130095122-6xz845lluzjp7tvs
Add -Dhttp support.

* bzrlib/transport/http/_urllib2_wrappers.py:
(HTTPConnection.__init__): Report the host we are about to connect
to if -Dhttp is used.
(AbstractHTTPHandler.do_open): Report requests and
responses (including headers) if -Dhttp is used.

* bzrlib/transport/http/_urllib.py: Fix some imports.
(HttpTransport_urllib._perform): Delete one mutter call since
-Dhttp provides better information.

* bzrlib/transport/http/_pycurl.py:
Fix some imports.
(PyCurlTransport._set_curl_options): Activate verbose output if
-Dhttp is used. Unfortunately this goes straight to stderr instead
of .bzr.log (libcurl provides an option but pycurl does not
implement it), but since we are debugging, I think it's
acceptable.

* bzrlib/transport/http/__init__.py:
(HttpTransportBase._coalesce_readv): Add a comment about the
servers that return the whole file ignoring the Ranges header.

* bzrlib/help_topics.py:
(_global_options): Add http.

* bzrlib/debug.py: 
Add 'http'.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/lockdir.py
1
 
# Copyright (C) 2006-2010 Canonical Ltd
 
1
# Copyright (C) 2006, 2007 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
16
 
17
17
"""On-disk mutex protecting a resource
18
18
 
21
21
internal locks (such as flock etc) because they can be seen across all
22
22
transports, including http.
23
23
 
24
 
Objects can be read if there is only physical read access; therefore
 
24
Objects can be read if there is only physical read access; therefore 
25
25
readers can never be required to create a lock, though they will
26
26
check whether a writer is using the lock.  Writers can't detect
27
27
whether anyone else is reading from the resource as they write.
56
56
 
57
57
The desired characteristics are:
58
58
 
59
 
* Locks are not reentrant.  (That is, a client that tries to take a
 
59
* Locks are not reentrant.  (That is, a client that tries to take a 
60
60
  lock it already holds may deadlock or fail.)
61
61
* Stale locks can be guessed at by a heuristic
62
62
* Lost locks can be broken by any client
78
78
and deadlocks will likely occur if the locks are aliased.
79
79
 
80
80
In the future we may add a "freshen" method which can be called
81
 
by a lock holder to check that their lock has not been broken, and to
 
81
by a lock holder to check that their lock has not been broken, and to 
82
82
update the timestamp within it.
83
83
 
84
84
Example usage:
105
105
 
106
106
import os
107
107
import time
 
108
from cStringIO import StringIO
108
109
 
109
110
from bzrlib import (
110
111
    debug,
111
112
    errors,
112
 
    lock,
113
 
    osutils,
114
113
    )
115
114
import bzrlib.config
116
 
from bzrlib.decorators import only_raises
117
115
from bzrlib.errors import (
118
116
        DirectoryNotEmpty,
119
117
        FileExists,
126
124
        PathError,
127
125
        ResourceBusy,
128
126
        TransportError,
 
127
        UnlockableTransport,
129
128
        )
130
129
from bzrlib.trace import mutter, note
131
 
from bzrlib.osutils import format_delta, rand_chars, get_host_name
 
130
from bzrlib.transport import Transport
 
131
from bzrlib.osutils import rand_chars, format_delta
 
132
from bzrlib.rio import read_stanza, Stanza
132
133
import bzrlib.ui
133
134
 
134
 
from bzrlib.lazy_import import lazy_import
135
 
lazy_import(globals(), """
136
 
from bzrlib import rio
137
 
""")
138
135
 
139
136
# XXX: At the moment there is no consideration of thread safety on LockDir
140
137
# objects.  This should perhaps be updated - e.g. if two threads try to take a
155
152
_DEFAULT_POLL_SECONDS = 1.0
156
153
 
157
154
 
158
 
class LockDir(lock.Lock):
159
 
    """Write-lock guarding access to data.
160
 
    """
 
155
class LockDir(object):
 
156
    """Write-lock guarding access to data."""
161
157
 
162
158
    __INFO_NAME = '/info'
163
159
 
168
164
 
169
165
        :param transport: Transport which will contain the lock
170
166
 
171
 
        :param path: Path to the lock within the base directory of the
 
167
        :param path: Path to the lock within the base directory of the 
172
168
            transport.
173
169
        """
 
170
        assert isinstance(transport, Transport), \
 
171
            ("not a transport: %r" % transport)
174
172
        self.transport = transport
175
173
        self.path = path
176
174
        self._lock_held = False
193
191
    def create(self, mode=None):
194
192
        """Create the on-disk lock.
195
193
 
196
 
        This is typically only called when the object/directory containing the
 
194
        This is typically only called when the object/directory containing the 
197
195
        directory is first created.  The lock is not held when it's created.
198
196
        """
199
197
        self._trace("create lock directory")
205
203
 
206
204
    def _attempt_lock(self):
207
205
        """Make the pending directory and attempt to rename into place.
208
 
 
 
206
        
209
207
        If the rename succeeds, we read back the info file to check that we
210
208
        really got the lock.
211
209
 
242
240
        # incorrect.  It's possible some other servers or filesystems will
243
241
        # have a similar bug allowing someone to think they got the lock
244
242
        # when it's already held.
245
 
        #
246
 
        # See <https://bugs.edge.launchpad.net/bzr/+bug/498378> for one case.
247
 
        #
248
 
        # Strictly the check is unnecessary and a waste of time for most
249
 
        # people, but probably worth trapping if something is wrong.
250
243
        info = self.peek()
251
244
        self._trace("after locking, info=%r", info)
252
 
        if info is None:
253
 
            raise LockFailed(self, "lock was renamed into place, but "
254
 
                "now is missing!")
255
 
        if info.get('nonce') != self.nonce:
 
245
        if info['nonce'] != self.nonce:
256
246
            self._trace("rename succeeded, "
257
247
                "but lock is still held by someone else")
258
248
            raise LockContention(self)
264
254
    def _remove_pending_dir(self, tmpname):
265
255
        """Remove the pending directory
266
256
 
267
 
        This is called if we failed to rename into place, so that the pending
 
257
        This is called if we failed to rename into place, so that the pending 
268
258
        dirs don't clutter up the lockdir.
269
259
        """
270
260
        self._trace("remove %s", tmpname)
296
286
                                            info_bytes)
297
287
        return tmpname
298
288
 
299
 
    @only_raises(LockNotHeld, LockBroken)
300
289
    def unlock(self):
301
290
        """Release a held lock
302
291
        """
304
293
            self._fake_read_lock = False
305
294
            return
306
295
        if not self._lock_held:
307
 
            return lock.cant_unlock_not_held(self)
 
296
            raise LockNotHeld(self)
308
297
        if self._locked_via_token:
309
298
            self._locked_via_token = False
310
299
            self._lock_held = False
311
300
        else:
312
 
            old_nonce = self.nonce
313
301
            # rename before deleting, because we can't atomically remove the
314
302
            # whole tree
315
303
            start_time = time.time()
335
323
                self.transport.delete_tree(tmpname)
336
324
            self._trace("... unlock succeeded after %dms",
337
325
                    (time.time() - start_time) * 1000)
338
 
            result = lock.LockResult(self.transport.abspath(self.path),
339
 
                                     old_nonce)
340
 
            for hook in self.hooks['lock_released']:
341
 
                hook(result)
342
326
 
343
327
    def break_lock(self):
344
328
        """Break a lock not held by this instance of LockDir.
353
337
            lock_info = '\n'.join(self._format_lock_info(holder_info))
354
338
            if bzrlib.ui.ui_factory.get_boolean("Break %s" % lock_info):
355
339
                self.force_break(holder_info)
356
 
 
 
340
        
357
341
    def force_break(self, dead_holder_info):
358
342
        """Release a lock held by another process.
359
343
 
367
351
        LockBreakMismatch is raised.
368
352
 
369
353
        After the lock is broken it will not be held by any process.
370
 
        It is possible that another process may sneak in and take the
 
354
        It is possible that another process may sneak in and take the 
371
355
        lock before the breaking process acquires it.
372
356
        """
373
357
        if not isinstance(dead_holder_info, dict):
382
366
        tmpname = '%s/broken.%s.tmp' % (self.path, rand_chars(20))
383
367
        self.transport.rename(self._held_dir, tmpname)
384
368
        # check that we actually broke the right lock, not someone else;
385
 
        # there's a small race window between checking it and doing the
 
369
        # there's a small race window between checking it and doing the 
386
370
        # rename.
387
371
        broken_info_path = tmpname + self.__INFO_NAME
388
372
        broken_info = self._read_info_file(broken_info_path)
390
374
            raise LockBreakMismatch(self, broken_info, dead_holder_info)
391
375
        self.transport.delete(broken_info_path)
392
376
        self.transport.rmdir(tmpname)
393
 
        result = lock.LockResult(self.transport.abspath(self.path),
394
 
                                 current_info.get('nonce'))
395
 
        for hook in self.hooks['lock_broken']:
396
 
            hook(result)
397
377
 
398
378
    def _check_not_locked(self):
399
379
        """If the lock is held by this instance, raise an error."""
407
387
        or if the lock has been affected by a bug.
408
388
 
409
389
        If the lock is not thought to be held, raises LockNotHeld.  If
410
 
        the lock is thought to be held but has been broken, raises
 
390
        the lock is thought to be held but has been broken, raises 
411
391
        LockBroken.
412
392
        """
413
393
        if not self._lock_held:
419
399
        if info.get('nonce') != self.nonce:
420
400
            # there is a lock, but not ours
421
401
            raise LockBroken(self)
422
 
 
 
402
        
423
403
    def _read_info_file(self, path):
424
404
        """Read one given info file.
425
405
 
426
406
        peek() reads the info file of the lock holder, if any.
427
407
        """
428
 
        return self._parse_info(self.transport.get_bytes(path))
 
408
        return self._parse_info(self.transport.get(path))
429
409
 
430
410
    def peek(self):
431
411
        """Check if the lock is held by anyone.
432
 
 
433
 
        If it is held, this returns the lock info structure as a dict
 
412
        
 
413
        If it is held, this returns the lock info structure as a rio Stanza,
434
414
        which contains some information about the current lock holder.
435
415
        Otherwise returns None.
436
416
        """
437
417
        try:
438
418
            info = self._read_info_file(self._held_info_path)
439
419
            self._trace("peek -> held")
 
420
            assert isinstance(info, dict), \
 
421
                    "bad parse result %r" % info
440
422
            return info
441
423
        except NoSuchFile, e:
442
424
            self._trace("peek -> not held")
444
426
    def _prepare_info(self):
445
427
        """Write information about a pending lock to a temporary file.
446
428
        """
 
429
        import socket
447
430
        # XXX: is creating this here inefficient?
448
431
        config = bzrlib.config.GlobalConfig()
449
432
        try:
450
433
            user = config.user_email()
451
434
        except errors.NoEmailInUsername:
452
435
            user = config.username()
453
 
        s = rio.Stanza(hostname=get_host_name(),
 
436
        s = Stanza(hostname=socket.gethostname(),
454
437
                   pid=str(os.getpid()),
455
438
                   start_time=str(int(time.time())),
456
439
                   nonce=self.nonce,
458
441
                   )
459
442
        return s.to_string()
460
443
 
461
 
    def _parse_info(self, info_bytes):
462
 
        stanza = rio.read_stanza(osutils.split_lines(info_bytes))
463
 
        if stanza is None:
464
 
            # see bug 185013; we fairly often end up with the info file being
465
 
            # empty after an interruption; we could log a message here but
466
 
            # there may not be much we can say
467
 
            return {}
468
 
        else:
469
 
            return stanza.as_dict()
 
444
    def _parse_info(self, info_file):
 
445
        return read_stanza(info_file.readlines()).as_dict()
470
446
 
471
447
    def attempt_lock(self):
472
448
        """Take the lock; fail if it's already held.
473
 
 
 
449
        
474
450
        If you wish to block until the lock can be obtained, call wait_lock()
475
451
        instead.
476
452
 
479
455
        """
480
456
        if self._fake_read_lock:
481
457
            raise LockContention(self)
482
 
        result = self._attempt_lock()
483
 
        hook_result = lock.LockResult(self.transport.abspath(self.path),
484
 
                self.nonce)
485
 
        for hook in self.hooks['lock_acquired']:
486
 
            hook(hook_result)
487
 
        return result
 
458
        return self._attempt_lock()
488
459
 
489
460
    def wait_lock(self, timeout=None, poll=None, max_attempts=None):
490
461
        """Wait a certain period for a lock.
497
468
 
498
469
        :param timeout: Approximate maximum amount of time to wait for the
499
470
        lock, in seconds.
500
 
 
 
471
         
501
472
        :param poll: Delay in seconds between retrying the lock.
502
473
 
503
474
        :param max_attempts: Maximum number of times to try to lock.
539
510
                if deadline_str is None:
540
511
                    deadline_str = time.strftime('%H:%M:%S',
541
512
                                                 time.localtime(deadline))
542
 
                lock_url = self.transport.abspath(self.path)
543
 
                # See <https://bugs.edge.launchpad.net/bzr/+bug/250451>
544
 
                # the URL here is sometimes not one that is useful to the
545
 
                # user, perhaps being wrapped in a lp-%d or chroot decorator,
546
 
                # especially if this error is issued from the server.
547
513
                self._report_function('%s %s\n'
548
 
                    '%s\n' # held by
549
 
                    '%s\n' # locked ... ago
550
 
                    'Will continue to try until %s, unless '
551
 
                    'you press Ctrl-C.\n'
552
 
                    'See "bzr help break-lock" for more.',
553
 
                    start,
554
 
                    formatted_info[0],
555
 
                    formatted_info[1],
556
 
                    formatted_info[2],
557
 
                    deadline_str,
558
 
                    )
 
514
                                      '%s\n' # held by
 
515
                                      '%s\n' # locked ... ago
 
516
                                      'Will continue to try until %s\n',
 
517
                                      start,
 
518
                                      formatted_info[0],
 
519
                                      formatted_info[1],
 
520
                                      formatted_info[2],
 
521
                                      deadline_str)
559
522
 
560
523
            if (max_attempts is not None) and (attempt_count >= max_attempts):
561
524
                self._trace("exceeded %d attempts")
566
529
            else:
567
530
                self._trace("timeout after waiting %ss", timeout)
568
531
                raise LockContention(self)
569
 
 
 
532
    
570
533
    def leave_in_place(self):
571
534
        self._locked_via_token = True
572
535
 
575
538
 
576
539
    def lock_write(self, token=None):
577
540
        """Wait for and acquire the lock.
578
 
 
 
541
        
579
542
        :param token: if this is already locked, then lock_write will fail
580
543
            unless the token matches the existing lock.
581
544
        :returns: a token if this instance supports tokens, otherwise None.
587
550
        A token should be passed in if you know that you have locked the object
588
551
        some other way, and need to synchronise this object's state with that
589
552
        fact.
590
 
 
 
553
         
591
554
        XXX: docstring duplicated from LockableFiles.lock_write.
592
555
        """
593
556
        if token is not None:
602
565
    def lock_read(self):
603
566
        """Compatibility-mode shared lock.
604
567
 
605
 
        LockDir doesn't support shared read-only locks, so this
 
568
        LockDir doesn't support shared read-only locks, so this 
606
569
        just pretends that the lock is taken but really does nothing.
607
570
        """
608
 
        # At the moment Branches are commonly locked for read, but
 
571
        # At the moment Branches are commonly locked for read, but 
609
572
        # we can't rely on that remotely.  Once this is cleaned up,
610
 
        # reenable this warning to prevent it coming back in
 
573
        # reenable this warning to prevent it coming back in 
611
574
        # -- mbp 20060303
612
575
        ## warn("LockDir.lock_read falls back to write lock")
613
576
        if self._lock_held or self._fake_read_lock:
617
580
    def _format_lock_info(self, info):
618
581
        """Turn the contents of peek() into something for the user"""
619
582
        lock_url = self.transport.abspath(self.path)
620
 
        start_time = info.get('start_time')
621
 
        if start_time is None:
622
 
            time_ago = '(unknown)'
623
 
        else:
624
 
            time_ago = format_delta(time.time() - int(info['start_time']))
 
583
        delta = time.time() - int(info['start_time'])
625
584
        return [
626
585
            'lock %s' % (lock_url,),
627
 
            'held by %s on host %s [process #%s]' %
628
 
                tuple([info.get(x, '<unknown>') for x in ['user', 'hostname', 'pid']]),
629
 
            'locked %s' % (time_ago,),
 
586
            'held by %(user)s on host %(hostname)s [process #%(pid)s]' % info,
 
587
            'locked %s' % (format_delta(delta),),
630
588
            ]
631
589
 
632
590
    def validate_token(self, token):