← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_index.py

  • Committer: John Arbash Meinel
  • Date: 2009-09-09 18:52:56 UTC
  • mto: (4634.52.16 2.0)
  • mto: This revision was merged to the branch mainline in revision 4738.
  • Revision ID: john@arbash-meinel.com-20090909185256-rdaxy872xauoem46
https://launchpad.net/bugs/402623
Work around bug #402623 by allowing BTreeGraphIndex(...,unlimited_cache=True).

The basic issue is that the access pattern for chk pages is fully random,
because the keys are 'sha1' handles. As such, we have no locality of
reference, and downloading a large project over HTTP can cause us to
redownload all of the .cix pages multiple times. The bug report
noticed the pages getting downloaded 4-5 times.
This was causing a significant increase in the total bytes downloaded.
(For Launchpad, downloading the 10MB cix file 5 times was 50MB, out of
around 160MB total download.)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/test_index.py
1
 
# Copyright (C) 2007 Canonical Ltd
 
1
# Copyright (C) 2007, 2009 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
1006
1006
        self.assertEqual(set(), missing_keys)
1007
1007
        self.assertEqual(set(), search_keys)
1008
1008
 
 
1009
    def test_supports_unlimited_cache(self):
 
1010
        builder = GraphIndexBuilder(0, key_elements=1)
 
1011
        stream = builder.finish()
 
1012
        trans = get_transport(self.get_url())
 
1013
        size = trans.put_file('index', stream)
 
1014
        # It doesn't matter what unlimited_cache does here, just that it can be
 
1015
        # passed
 
1016
        index = GraphIndex(trans, 'index', size, unlimited_cache=True)
 
1017
 
1009
1018
 
1010
1019
class TestCombinedGraphIndex(TestCaseWithMemoryTransport):
1011
1020