← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_index.py

  • Committer: Patch Queue Manager
  • Date: 2016-04-21 04:10:52 UTC
  • mfrom: (6616.1.1 fix-en-user-guide)
  • Revision ID: pqm@pqm.ubuntu.com-20160421041052-clcye7ns1qcl2n7w
(richard-wilbur) Ensure build of English use guide always uses English text
 even when user's locale specifies a different language. (Jelmer Vernooij)

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/test_index.py
1
 
# Copyright (C) 2007 Canonical Ltd
 
1
# Copyright (C) 2007-2010 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
"""Tests for indices."""
18
18
 
19
 
from bzrlib import errors
20
 
from bzrlib.index import *
21
 
from bzrlib.tests import TestCaseWithMemoryTransport
22
 
from bzrlib.transport import get_transport
23
 
 
24
 
 
25
 
class TestGraphIndexBuilder(TestCaseWithMemoryTransport):
 
19
from bzrlib import (
 
20
    errors,
 
21
    index,
 
22
    tests,
 
23
    transport,
 
24
    )
 
25
 
 
26
 
 
27
class TestGraphIndexBuilder(tests.TestCaseWithMemoryTransport):
26
28
 
27
29
    def test_build_index_empty(self):
28
 
        builder = GraphIndexBuilder()
 
30
        builder = index.GraphIndexBuilder()
29
31
        stream = builder.finish()
30
32
        contents = stream.read()
31
33
        self.assertEqual(
33
35
            contents)
34
36
 
35
37
    def test_build_index_empty_two_element_keys(self):
36
 
        builder = GraphIndexBuilder(key_elements=2)
 
38
        builder = index.GraphIndexBuilder(key_elements=2)
37
39
        stream = builder.finish()
38
40
        contents = stream.read()
39
41
        self.assertEqual(
41
43
            contents)
42
44
 
43
45
    def test_build_index_one_reference_list_empty(self):
44
 
        builder = GraphIndexBuilder(reference_lists=1)
 
46
        builder = index.GraphIndexBuilder(reference_lists=1)
45
47
        stream = builder.finish()
46
48
        contents = stream.read()
47
49
        self.assertEqual(
49
51
            contents)
50
52
 
51
53
    def test_build_index_two_reference_list_empty(self):
52
 
        builder = GraphIndexBuilder(reference_lists=2)
 
54
        builder = index.GraphIndexBuilder(reference_lists=2)
53
55
        stream = builder.finish()
54
56
        contents = stream.read()
55
57
        self.assertEqual(
57
59
            contents)
58
60
 
59
61
    def test_build_index_one_node_no_refs(self):
60
 
        builder = GraphIndexBuilder()
 
62
        builder = index.GraphIndexBuilder()
61
63
        builder.add_node(('akey', ), 'data')
62
64
        stream = builder.finish()
63
65
        contents = stream.read()
66
68
            "akey\x00\x00\x00data\n\n", contents)
67
69
 
68
70
    def test_build_index_one_node_no_refs_accepts_empty_reflist(self):
69
 
        builder = GraphIndexBuilder()
 
71
        builder = index.GraphIndexBuilder()
70
72
        builder.add_node(('akey', ), 'data', ())
71
73
        stream = builder.finish()
72
74
        contents = stream.read()
78
80
        # multipart keys are separated by \x00 - because they are fixed length,
79
81
        # not variable this does not cause any issues, and seems clearer to the
80
82
        # author.
81
 
        builder = GraphIndexBuilder(key_elements=2)
 
83
        builder = index.GraphIndexBuilder(key_elements=2)
82
84
        builder.add_node(('akey', 'secondpart'), 'data')
83
85
        stream = builder.finish()
84
86
        contents = stream.read()
87
89
            "akey\x00secondpart\x00\x00\x00data\n\n", contents)
88
90
 
89
91
    def test_add_node_empty_value(self):
90
 
        builder = GraphIndexBuilder()
 
92
        builder = index.GraphIndexBuilder()
91
93
        builder.add_node(('akey', ), '')
92
94
        stream = builder.finish()
93
95
        contents = stream.read()
97
99
 
98
100
    def test_build_index_nodes_sorted(self):
99
101
        # the highest sorted node comes first.
100
 
        builder = GraphIndexBuilder()
 
102
        builder = index.GraphIndexBuilder()
101
103
        # use three to have a good chance of glitching dictionary hash
102
104
        # lookups etc. Insert in randomish order that is not correct
103
105
        # and not the reverse of the correct order.
115
117
 
116
118
    def test_build_index_2_element_key_nodes_sorted(self):
117
119
        # multiple element keys are sorted first-key, second-key.
118
 
        builder = GraphIndexBuilder(key_elements=2)
 
120
        builder = index.GraphIndexBuilder(key_elements=2)
119
121
        # use three values of each key element, to have a good chance of
120
122
        # glitching dictionary hash lookups etc. Insert in randomish order that
121
123
        # is not correct and not the reverse of the correct order.
144
146
            "\n", contents)
145
147
 
146
148
    def test_build_index_reference_lists_are_included_one(self):
147
 
        builder = GraphIndexBuilder(reference_lists=1)
 
149
        builder = index.GraphIndexBuilder(reference_lists=1)
148
150
        builder.add_node(('key', ), 'data', ([], ))
149
151
        stream = builder.finish()
150
152
        contents = stream.read()
154
156
            "\n", contents)
155
157
 
156
158
    def test_build_index_reference_lists_with_2_element_keys(self):
157
 
        builder = GraphIndexBuilder(reference_lists=1, key_elements=2)
 
159
        builder = index.GraphIndexBuilder(reference_lists=1, key_elements=2)
158
160
        builder.add_node(('key', 'key2'), 'data', ([], ))
159
161
        stream = builder.finish()
160
162
        contents = stream.read()
164
166
            "\n", contents)
165
167
 
166
168
    def test_build_index_reference_lists_are_included_two(self):
167
 
        builder = GraphIndexBuilder(reference_lists=2)
 
169
        builder = index.GraphIndexBuilder(reference_lists=2)
168
170
        builder.add_node(('key', ), 'data', ([], []))
169
171
        stream = builder.finish()
170
172
        contents = stream.read()
173
175
            "key\x00\x00\t\x00data\n"
174
176
            "\n", contents)
175
177
 
 
178
    def test_clear_cache(self):
 
179
        builder = index.GraphIndexBuilder(reference_lists=2)
 
180
        # This is a no-op, but the api should exist
 
181
        builder.clear_cache()
 
182
 
176
183
    def test_node_references_are_byte_offsets(self):
177
 
        builder = GraphIndexBuilder(reference_lists=1)
 
184
        builder = index.GraphIndexBuilder(reference_lists=1)
178
185
        builder.add_node(('reference', ), 'data', ([], ))
179
186
        builder.add_node(('key', ), 'data', ([('reference', )], ))
180
187
        stream = builder.finish()
186
193
            "\n", contents)
187
194
 
188
195
    def test_node_references_are_cr_delimited(self):
189
 
        builder = GraphIndexBuilder(reference_lists=1)
 
196
        builder = index.GraphIndexBuilder(reference_lists=1)
190
197
        builder.add_node(('reference', ), 'data', ([], ))
191
198
        builder.add_node(('reference2', ), 'data', ([], ))
192
 
        builder.add_node(('key', ), 'data', ([('reference', ), ('reference2', )], ))
 
199
        builder.add_node(('key', ), 'data',
 
200
                         ([('reference', ), ('reference2', )], ))
193
201
        stream = builder.finish()
194
202
        contents = stream.read()
195
203
        self.assertEqual(
200
208
            "\n", contents)
201
209
 
202
210
    def test_multiple_reference_lists_are_tab_delimited(self):
203
 
        builder = GraphIndexBuilder(reference_lists=2)
 
211
        builder = index.GraphIndexBuilder(reference_lists=2)
204
212
        builder.add_node(('keference', ), 'data', ([], []))
205
 
        builder.add_node(('rey', ), 'data', ([('keference', )], [('keference', )]))
 
213
        builder.add_node(('rey', ), 'data',
 
214
                         ([('keference', )], [('keference', )]))
206
215
        stream = builder.finish()
207
216
        contents = stream.read()
208
217
        self.assertEqual(
212
221
            "\n", contents)
213
222
 
214
223
    def test_add_node_referencing_missing_key_makes_absent(self):
215
 
        builder = GraphIndexBuilder(reference_lists=1)
216
 
        builder.add_node(('rey', ), 'data', ([('beference', ), ('aeference2', )], ))
 
224
        builder = index.GraphIndexBuilder(reference_lists=1)
 
225
        builder.add_node(('rey', ), 'data',
 
226
                         ([('beference', ), ('aeference2', )], ))
217
227
        stream = builder.finish()
218
228
        contents = stream.read()
219
229
        self.assertEqual(
225
235
 
226
236
    def test_node_references_three_digits(self):
227
237
        # test the node digit expands as needed.
228
 
        builder = GraphIndexBuilder(reference_lists=1)
 
238
        builder = index.GraphIndexBuilder(reference_lists=1)
229
239
        references = [(str(val), ) for val in reversed(range(9))]
230
240
        builder.add_node(('2-key', ), '', (references, ))
231
241
        stream = builder.finish()
232
242
        contents = stream.read()
233
 
        self.assertEqual(
 
243
        self.assertEqualDiff(
234
244
            "Bazaar Graph Index 1\nnode_ref_lists=1\nkey_elements=1\nlen=1\n"
235
245
            "0\x00a\x00\x00\n"
236
246
            "1\x00a\x00\x00\n"
247
257
    def test_absent_has_no_reference_overhead(self):
248
258
        # the offsets after an absent record should be correct when there are
249
259
        # >1 reference lists.
250
 
        builder = GraphIndexBuilder(reference_lists=2)
 
260
        builder = index.GraphIndexBuilder(reference_lists=2)
251
261
        builder.add_node(('parent', ), '', ([('aail', ), ('zther', )], []))
252
262
        stream = builder.finish()
253
263
        contents = stream.read()
259
269
            "\n", contents)
260
270
 
261
271
    def test_add_node_bad_key(self):
262
 
        builder = GraphIndexBuilder()
 
272
        builder = index.GraphIndexBuilder()
263
273
        for bad_char in '\t\n\x0b\x0c\r\x00 ':
264
274
            self.assertRaises(errors.BadIndexKey, builder.add_node,
265
275
                ('a%skey' % bad_char, ), 'data')
274
284
        self.assertRaises(errors.BadIndexKey, builder.add_node,
275
285
                ('primary', 'secondary'), 'data')
276
286
        # secondary key elements get checked too:
277
 
        builder = GraphIndexBuilder(key_elements=2)
 
287
        builder = index.GraphIndexBuilder(key_elements=2)
278
288
        for bad_char in '\t\n\x0b\x0c\r\x00 ':
279
289
            self.assertRaises(errors.BadIndexKey, builder.add_node,
280
290
                ('prefix', 'a%skey' % bad_char), 'data')
281
291
 
282
292
    def test_add_node_bad_data(self):
283
 
        builder = GraphIndexBuilder()
 
293
        builder = index.GraphIndexBuilder()
284
294
        self.assertRaises(errors.BadIndexValue, builder.add_node, ('akey', ),
285
295
            'data\naa')
286
296
        self.assertRaises(errors.BadIndexValue, builder.add_node, ('akey', ),
287
297
            'data\x00aa')
288
298
 
289
299
    def test_add_node_bad_mismatched_ref_lists_length(self):
290
 
        builder = GraphIndexBuilder()
 
300
        builder = index.GraphIndexBuilder()
291
301
        self.assertRaises(errors.BadIndexValue, builder.add_node, ('akey', ),
292
302
            'data aa', ([], ))
293
 
        builder = GraphIndexBuilder(reference_lists=1)
 
303
        builder = index.GraphIndexBuilder(reference_lists=1)
294
304
        self.assertRaises(errors.BadIndexValue, builder.add_node, ('akey', ),
295
305
            'data aa')
296
306
        self.assertRaises(errors.BadIndexValue, builder.add_node, ('akey', ),
297
307
            'data aa', (), )
298
308
        self.assertRaises(errors.BadIndexValue, builder.add_node, ('akey', ),
299
309
            'data aa', ([], []))
300
 
        builder = GraphIndexBuilder(reference_lists=2)
 
310
        builder = index.GraphIndexBuilder(reference_lists=2)
301
311
        self.assertRaises(errors.BadIndexValue, builder.add_node, ('akey', ),
302
312
            'data aa')
303
313
        self.assertRaises(errors.BadIndexValue, builder.add_node, ('akey', ),
307
317
 
308
318
    def test_add_node_bad_key_in_reference_lists(self):
309
319
        # first list, first key - trivial
310
 
        builder = GraphIndexBuilder(reference_lists=1)
 
320
        builder = index.GraphIndexBuilder(reference_lists=1)
311
321
        self.assertRaises(errors.BadIndexKey, builder.add_node, ('akey', ),
312
322
            'data aa', ([('a key', )], ))
313
323
        # references keys must be tuples too
324
334
            'data aa', ([('agoodkey', ), ('that is a bad key', )], ))
325
335
        # and if there is more than one list it should be getting checked
326
336
        # too
327
 
        builder = GraphIndexBuilder(reference_lists=2)
 
337
        builder = index.GraphIndexBuilder(reference_lists=2)
328
338
        self.assertRaises(errors.BadIndexKey, builder.add_node, ('akey', ),
329
339
            'data aa', ([], ['a bad key']))
330
340
 
331
341
    def test_add_duplicate_key(self):
332
 
        builder = GraphIndexBuilder()
 
342
        builder = index.GraphIndexBuilder()
333
343
        builder.add_node(('key', ), 'data')
334
 
        self.assertRaises(errors.BadIndexDuplicateKey, builder.add_node, ('key', ),
335
 
            'data')
 
344
        self.assertRaises(errors.BadIndexDuplicateKey,
 
345
                          builder.add_node, ('key', ), 'data')
336
346
 
337
347
    def test_add_duplicate_key_2_elements(self):
338
 
        builder = GraphIndexBuilder(key_elements=2)
 
348
        builder = index.GraphIndexBuilder(key_elements=2)
339
349
        builder.add_node(('key', 'key'), 'data')
340
350
        self.assertRaises(errors.BadIndexDuplicateKey, builder.add_node,
341
351
            ('key', 'key'), 'data')
342
352
 
343
353
    def test_add_key_after_referencing_key(self):
344
 
        builder = GraphIndexBuilder(reference_lists=1)
 
354
        builder = index.GraphIndexBuilder(reference_lists=1)
345
355
        builder.add_node(('key', ), 'data', ([('reference', )], ))
346
356
        builder.add_node(('reference', ), 'data', ([],))
347
357
 
348
358
    def test_add_key_after_referencing_key_2_elements(self):
349
 
        builder = GraphIndexBuilder(reference_lists=1, key_elements=2)
 
359
        builder = index.GraphIndexBuilder(reference_lists=1, key_elements=2)
350
360
        builder.add_node(('k', 'ey'), 'data', ([('reference', 'tokey')], ))
351
361
        builder.add_node(('reference', 'tokey'), 'data', ([],))
352
362
 
353
 
 
354
 
class TestGraphIndex(TestCaseWithMemoryTransport):
 
363
    def test_set_optimize(self):
 
364
        builder = index.GraphIndexBuilder(reference_lists=1, key_elements=2)
 
365
        builder.set_optimize(for_size=True)
 
366
        self.assertTrue(builder._optimize_for_size)
 
367
        builder.set_optimize(for_size=False)
 
368
        self.assertFalse(builder._optimize_for_size)
 
369
 
 
370
 
 
371
class TestGraphIndex(tests.TestCaseWithMemoryTransport):
355
372
 
356
373
    def make_key(self, number):
357
374
        return (str(number) + 'X'*100,)
368
385
        return nodes
369
386
 
370
387
    def make_index(self, ref_lists=0, key_elements=1, nodes=[]):
371
 
        builder = GraphIndexBuilder(ref_lists, key_elements=key_elements)
 
388
        builder = index.GraphIndexBuilder(ref_lists, key_elements=key_elements)
372
389
        for key, value, references in nodes:
373
390
            builder.add_node(key, value, references)
374
391
        stream = builder.finish()
375
 
        trans = get_transport('trace+' + self.get_url())
 
392
        trans = transport.get_transport_from_url('trace+' + self.get_url())
376
393
        size = trans.put_file('index', stream)
377
 
        return GraphIndex(trans, 'index', size)
 
394
        return index.GraphIndex(trans, 'index', size)
 
395
 
 
396
    def make_index_with_offset(self, ref_lists=0, key_elements=1, nodes=[],
 
397
                               offset=0):
 
398
        builder = index.GraphIndexBuilder(ref_lists, key_elements=key_elements)
 
399
        for key, value, references in nodes:
 
400
            builder.add_node(key, value, references)
 
401
        content = builder.finish().read()
 
402
        size = len(content)
 
403
        trans = self.get_transport()
 
404
        trans.put_bytes('index', (' '*offset) + content)
 
405
        return index.GraphIndex(trans, 'index', size, offset=offset)
 
406
 
 
407
    def test_clear_cache(self):
 
408
        index = self.make_index()
 
409
        # For now, we just want to make sure the api is available. As this is
 
410
        # old code, we don't really worry if it *does* anything.
 
411
        index.clear_cache()
378
412
 
379
413
    def test_open_bad_index_no_error(self):
380
414
        trans = self.get_transport()
381
415
        trans.put_bytes('name', "not an index\n")
382
 
        index = GraphIndex(trans, 'name', 13)
 
416
        idx = index.GraphIndex(trans, 'name', 13)
 
417
 
 
418
    def test_with_offset(self):
 
419
        nodes = self.make_nodes(200)
 
420
        idx = self.make_index_with_offset(offset=1234567, nodes=nodes)
 
421
        self.assertEqual(200, idx.key_count())
 
422
 
 
423
    def test_buffer_all_with_offset(self):
 
424
        nodes = self.make_nodes(200)
 
425
        idx = self.make_index_with_offset(offset=1234567, nodes=nodes)
 
426
        idx._buffer_all()
 
427
        self.assertEqual(200, idx.key_count())
 
428
 
 
429
    def test_side_effect_buffering_with_offset(self):
 
430
        nodes = self.make_nodes(20)
 
431
        index = self.make_index_with_offset(offset=1234567, nodes=nodes)
 
432
        index._transport.recommended_page_size = lambda:64*1024
 
433
        subset_nodes = [nodes[0][0], nodes[10][0], nodes[19][0]]
 
434
        entries = [n[1] for n in index.iter_entries(subset_nodes)]
 
435
        self.assertEqual(sorted(subset_nodes), sorted(entries))
 
436
        self.assertEqual(20, index.key_count())
383
437
 
384
438
    def test_open_sets_parsed_map_empty(self):
385
439
        index = self.make_index()
551
605
        # not create a new transport request, and should return False (cannot
552
606
        # be in the index) - even when the byte location we ask for is outside
553
607
        # the parsed region
554
 
        # 
 
608
        #
555
609
        result = index._lookup_keys_via_location([(4000, self.make_key(40))])
556
610
        self.assertEqual(
557
611
            [((4000, self.make_key(40)),
781
835
        self.assertEqual([], list(index.iter_entries([('a', )])))
782
836
 
783
837
    def test_iter_missing_entry_empty_no_size(self):
784
 
        index = self.make_index()
785
 
        index = GraphIndex(index._transport, 'index', None)
786
 
        self.assertEqual([], list(index.iter_entries([('a', )])))
 
838
        idx = self.make_index()
 
839
        idx = index.GraphIndex(idx._transport, 'index', None)
 
840
        self.assertEqual([], list(idx.iter_entries([('a', )])))
787
841
 
788
842
    def test_iter_key_prefix_1_element_key_None(self):
789
843
        index = self.make_index()
879
933
    def test_validate_bad_index_errors(self):
880
934
        trans = self.get_transport()
881
935
        trans.put_bytes('name', "not an index\n")
882
 
        index = GraphIndex(trans, 'name', 13)
883
 
        self.assertRaises(errors.BadIndexFormatSignature, index.validate)
 
936
        idx = index.GraphIndex(trans, 'name', 13)
 
937
        self.assertRaises(errors.BadIndexFormatSignature, idx.validate)
884
938
 
885
939
    def test_validate_bad_node_refs(self):
886
 
        index = self.make_index(2)
 
940
        idx = self.make_index(2)
887
941
        trans = self.get_transport()
888
942
        content = trans.get_bytes('index')
889
943
        # change the options line to end with a rather than a parseable number
890
944
        new_content = content[:-2] + 'a\n\n'
891
945
        trans.put_bytes('index', new_content)
892
 
        self.assertRaises(errors.BadIndexOptions, index.validate)
 
946
        self.assertRaises(errors.BadIndexOptions, idx.validate)
893
947
 
894
948
    def test_validate_missing_end_line_empty(self):
895
949
        index = self.make_index(2)
915
969
        index = self.make_index(nodes=[(('key', ), 'value', ())])
916
970
        index.validate()
917
971
 
918
 
 
919
 
class TestCombinedGraphIndex(TestCaseWithMemoryTransport):
 
972
    # XXX: external_references tests are duplicated in test_btree_index.  We
 
973
    # probably should have per_graph_index tests...
 
974
    def test_external_references_no_refs(self):
 
975
        index = self.make_index(ref_lists=0, nodes=[])
 
976
        self.assertRaises(ValueError, index.external_references, 0)
 
977
 
 
978
    def test_external_references_no_results(self):
 
979
        index = self.make_index(ref_lists=1, nodes=[
 
980
            (('key',), 'value', ([],))])
 
981
        self.assertEqual(set(), index.external_references(0))
 
982
 
 
983
    def test_external_references_missing_ref(self):
 
984
        missing_key = ('missing',)
 
985
        index = self.make_index(ref_lists=1, nodes=[
 
986
            (('key',), 'value', ([missing_key],))])
 
987
        self.assertEqual(set([missing_key]), index.external_references(0))
 
988
 
 
989
    def test_external_references_multiple_ref_lists(self):
 
990
        missing_key = ('missing',)
 
991
        index = self.make_index(ref_lists=2, nodes=[
 
992
            (('key',), 'value', ([], [missing_key]))])
 
993
        self.assertEqual(set([]), index.external_references(0))
 
994
        self.assertEqual(set([missing_key]), index.external_references(1))
 
995
 
 
996
    def test_external_references_two_records(self):
 
997
        index = self.make_index(ref_lists=1, nodes=[
 
998
            (('key-1',), 'value', ([('key-2',)],)),
 
999
            (('key-2',), 'value', ([],)),
 
1000
            ])
 
1001
        self.assertEqual(set([]), index.external_references(0))
 
1002
 
 
1003
    def test__find_ancestors(self):
 
1004
        key1 = ('key-1',)
 
1005
        key2 = ('key-2',)
 
1006
        index = self.make_index(ref_lists=1, key_elements=1, nodes=[
 
1007
            (key1, 'value', ([key2],)),
 
1008
            (key2, 'value', ([],)),
 
1009
            ])
 
1010
        parent_map = {}
 
1011
        missing_keys = set()
 
1012
        search_keys = index._find_ancestors([key1], 0, parent_map, missing_keys)
 
1013
        self.assertEqual({key1: (key2,)}, parent_map)
 
1014
        self.assertEqual(set(), missing_keys)
 
1015
        self.assertEqual(set([key2]), search_keys)
 
1016
        search_keys = index._find_ancestors(search_keys, 0, parent_map,
 
1017
                                            missing_keys)
 
1018
        self.assertEqual({key1: (key2,), key2: ()}, parent_map)
 
1019
        self.assertEqual(set(), missing_keys)
 
1020
        self.assertEqual(set(), search_keys)
 
1021
 
 
1022
    def test__find_ancestors_w_missing(self):
 
1023
        key1 = ('key-1',)
 
1024
        key2 = ('key-2',)
 
1025
        key3 = ('key-3',)
 
1026
        index = self.make_index(ref_lists=1, key_elements=1, nodes=[
 
1027
            (key1, 'value', ([key2],)),
 
1028
            (key2, 'value', ([],)),
 
1029
            ])
 
1030
        parent_map = {}
 
1031
        missing_keys = set()
 
1032
        search_keys = index._find_ancestors([key2, key3], 0, parent_map,
 
1033
                                            missing_keys)
 
1034
        self.assertEqual({key2: ()}, parent_map)
 
1035
        self.assertEqual(set([key3]), missing_keys)
 
1036
        self.assertEqual(set(), search_keys)
 
1037
 
 
1038
    def test__find_ancestors_dont_search_known(self):
 
1039
        key1 = ('key-1',)
 
1040
        key2 = ('key-2',)
 
1041
        key3 = ('key-3',)
 
1042
        index = self.make_index(ref_lists=1, key_elements=1, nodes=[
 
1043
            (key1, 'value', ([key2],)),
 
1044
            (key2, 'value', ([key3],)),
 
1045
            (key3, 'value', ([],)),
 
1046
            ])
 
1047
        # We already know about key2, so we won't try to search for key3
 
1048
        parent_map = {key2: (key3,)}
 
1049
        missing_keys = set()
 
1050
        search_keys = index._find_ancestors([key1], 0, parent_map,
 
1051
                                            missing_keys)
 
1052
        self.assertEqual({key1: (key2,), key2: (key3,)}, parent_map)
 
1053
        self.assertEqual(set(), missing_keys)
 
1054
        self.assertEqual(set(), search_keys)
 
1055
 
 
1056
    def test_supports_unlimited_cache(self):
 
1057
        builder = index.GraphIndexBuilder(0, key_elements=1)
 
1058
        stream = builder.finish()
 
1059
        trans = self.get_transport()
 
1060
        size = trans.put_file('index', stream)
 
1061
        # It doesn't matter what unlimited_cache does here, just that it can be
 
1062
        # passed
 
1063
        idx = index.GraphIndex(trans, 'index', size, unlimited_cache=True)
 
1064
 
 
1065
 
 
1066
class TestCombinedGraphIndex(tests.TestCaseWithMemoryTransport):
920
1067
 
921
1068
    def make_index(self, name, ref_lists=0, key_elements=1, nodes=[]):
922
 
        builder = GraphIndexBuilder(ref_lists, key_elements=key_elements)
 
1069
        builder = index.GraphIndexBuilder(ref_lists, key_elements=key_elements)
923
1070
        for key, value, references in nodes:
924
1071
            builder.add_node(key, value, references)
925
1072
        stream = builder.finish()
926
1073
        trans = self.get_transport()
927
1074
        size = trans.put_file(name, stream)
928
 
        return GraphIndex(trans, name, size)
 
1075
        return index.GraphIndex(trans, name, size)
 
1076
 
 
1077
    def make_combined_index_with_missing(self, missing=['1', '2']):
 
1078
        """Create a CombinedGraphIndex which will have missing indexes.
 
1079
 
 
1080
        This creates a CGI which thinks it has 2 indexes, however they have
 
1081
        been deleted. If CGI._reload_func() is called, then it will repopulate
 
1082
        with a new index.
 
1083
 
 
1084
        :param missing: The underlying indexes to delete
 
1085
        :return: (CombinedGraphIndex, reload_counter)
 
1086
        """
 
1087
        idx1 = self.make_index('1', nodes=[(('1',), '', ())])
 
1088
        idx2 = self.make_index('2', nodes=[(('2',), '', ())])
 
1089
        idx3 = self.make_index('3', nodes=[
 
1090
            (('1',), '', ()),
 
1091
            (('2',), '', ())])
 
1092
 
 
1093
        # total_reloads, num_changed, num_unchanged
 
1094
        reload_counter = [0, 0, 0]
 
1095
        def reload():
 
1096
            reload_counter[0] += 1
 
1097
            new_indices = [idx3]
 
1098
            if idx._indices == new_indices:
 
1099
                reload_counter[2] += 1
 
1100
                return False
 
1101
            reload_counter[1] += 1
 
1102
            idx._indices[:] = new_indices
 
1103
            return True
 
1104
        idx = index.CombinedGraphIndex([idx1, idx2], reload_func=reload)
 
1105
        trans = self.get_transport()
 
1106
        for fname in missing:
 
1107
            trans.delete(fname)
 
1108
        return idx, reload_counter
929
1109
 
930
1110
    def test_open_missing_index_no_error(self):
931
1111
        trans = self.get_transport()
932
 
        index1 = GraphIndex(trans, 'missing', 100)
933
 
        index = CombinedGraphIndex([index1])
 
1112
        idx1 = index.GraphIndex(trans, 'missing', 100)
 
1113
        idx = index.CombinedGraphIndex([idx1])
934
1114
 
935
1115
    def test_add_index(self):
936
 
        index = CombinedGraphIndex([])
937
 
        index1 = self.make_index('name', 0, nodes=[(('key', ), '', ())])
938
 
        index.insert_index(0, index1)
939
 
        self.assertEqual([(index1, ('key', ), '')], list(index.iter_all_entries()))
 
1116
        idx = index.CombinedGraphIndex([])
 
1117
        idx1 = self.make_index('name', 0, nodes=[(('key', ), '', ())])
 
1118
        idx.insert_index(0, idx1)
 
1119
        self.assertEqual([(idx1, ('key', ), '')],
 
1120
                         list(idx.iter_all_entries()))
 
1121
 
 
1122
    def test_clear_cache(self):
 
1123
        log = []
 
1124
 
 
1125
        class ClearCacheProxy(object):
 
1126
 
 
1127
            def __init__(self, index):
 
1128
                self._index = index
 
1129
 
 
1130
            def __getattr__(self, name):
 
1131
                return getattr(self._index)
 
1132
 
 
1133
            def clear_cache(self):
 
1134
                log.append(self._index)
 
1135
                return self._index.clear_cache()
 
1136
 
 
1137
        idx = index.CombinedGraphIndex([])
 
1138
        idx1 = self.make_index('name', 0, nodes=[(('key', ), '', ())])
 
1139
        idx.insert_index(0, ClearCacheProxy(idx1))
 
1140
        idx2 = self.make_index('name', 0, nodes=[(('key', ), '', ())])
 
1141
        idx.insert_index(1, ClearCacheProxy(idx2))
 
1142
        # CombinedGraphIndex should call 'clear_cache()' on all children
 
1143
        idx.clear_cache()
 
1144
        self.assertEqual(sorted([idx1, idx2]), sorted(log))
940
1145
 
941
1146
    def test_iter_all_entries_empty(self):
942
 
        index = CombinedGraphIndex([])
943
 
        self.assertEqual([], list(index.iter_all_entries()))
 
1147
        idx = index.CombinedGraphIndex([])
 
1148
        self.assertEqual([], list(idx.iter_all_entries()))
944
1149
 
945
1150
    def test_iter_all_entries_children_empty(self):
946
 
        index1 = self.make_index('name')
947
 
        index = CombinedGraphIndex([index1])
948
 
        self.assertEqual([], list(index.iter_all_entries()))
 
1151
        idx1 = self.make_index('name')
 
1152
        idx = index.CombinedGraphIndex([idx1])
 
1153
        self.assertEqual([], list(idx.iter_all_entries()))
949
1154
 
950
1155
    def test_iter_all_entries_simple(self):
951
 
        index1 = self.make_index('name', nodes=[(('name', ), 'data', ())])
952
 
        index = CombinedGraphIndex([index1])
953
 
        self.assertEqual([(index1, ('name', ), 'data')],
954
 
            list(index.iter_all_entries()))
 
1156
        idx1 = self.make_index('name', nodes=[(('name', ), 'data', ())])
 
1157
        idx = index.CombinedGraphIndex([idx1])
 
1158
        self.assertEqual([(idx1, ('name', ), 'data')],
 
1159
            list(idx.iter_all_entries()))
955
1160
 
956
1161
    def test_iter_all_entries_two_indices(self):
957
 
        index1 = self.make_index('name1', nodes=[(('name', ), 'data', ())])
958
 
        index2 = self.make_index('name2', nodes=[(('2', ), '', ())])
959
 
        index = CombinedGraphIndex([index1, index2])
960
 
        self.assertEqual([(index1, ('name', ), 'data'),
961
 
            (index2, ('2', ), '')],
962
 
            list(index.iter_all_entries()))
 
1162
        idx1 = self.make_index('name1', nodes=[(('name', ), 'data', ())])
 
1163
        idx2 = self.make_index('name2', nodes=[(('2', ), '', ())])
 
1164
        idx = index.CombinedGraphIndex([idx1, idx2])
 
1165
        self.assertEqual([(idx1, ('name', ), 'data'),
 
1166
                          (idx2, ('2', ), '')],
 
1167
                         list(idx.iter_all_entries()))
963
1168
 
964
1169
    def test_iter_entries_two_indices_dup_key(self):
965
 
        index1 = self.make_index('name1', nodes=[(('name', ), 'data', ())])
966
 
        index2 = self.make_index('name2', nodes=[(('name', ), 'data', ())])
967
 
        index = CombinedGraphIndex([index1, index2])
968
 
        self.assertEqual([(index1, ('name', ), 'data')],
969
 
            list(index.iter_entries([('name', )])))
 
1170
        idx1 = self.make_index('name1', nodes=[(('name', ), 'data', ())])
 
1171
        idx2 = self.make_index('name2', nodes=[(('name', ), 'data', ())])
 
1172
        idx = index.CombinedGraphIndex([idx1, idx2])
 
1173
        self.assertEqual([(idx1, ('name', ), 'data')],
 
1174
                         list(idx.iter_entries([('name', )])))
970
1175
 
971
1176
    def test_iter_all_entries_two_indices_dup_key(self):
972
 
        index1 = self.make_index('name1', nodes=[(('name', ), 'data', ())])
973
 
        index2 = self.make_index('name2', nodes=[(('name', ), 'data', ())])
974
 
        index = CombinedGraphIndex([index1, index2])
975
 
        self.assertEqual([(index1, ('name', ), 'data')],
976
 
            list(index.iter_all_entries()))
 
1177
        idx1 = self.make_index('name1', nodes=[(('name', ), 'data', ())])
 
1178
        idx2 = self.make_index('name2', nodes=[(('name', ), 'data', ())])
 
1179
        idx = index.CombinedGraphIndex([idx1, idx2])
 
1180
        self.assertEqual([(idx1, ('name', ), 'data')],
 
1181
                         list(idx.iter_all_entries()))
977
1182
 
978
1183
    def test_iter_key_prefix_2_key_element_refs(self):
979
 
        index1 = self.make_index('1', 1, key_elements=2, nodes=[
980
 
            (('name', 'fin1'), 'data', ([('ref', 'erence')], ))])
981
 
        index2 = self.make_index('2', 1, key_elements=2, nodes=[
982
 
            (('name', 'fin2'), 'beta', ([], )),
983
 
            (('ref', 'erence'), 'refdata', ([], ))])
984
 
        index = CombinedGraphIndex([index1, index2])
985
 
        self.assertEqual(set([(index1, ('name', 'fin1'), 'data', ((('ref', 'erence'),),)),
986
 
            (index2, ('ref', 'erence'), 'refdata', ((), ))]),
987
 
            set(index.iter_entries_prefix([('name', 'fin1'), ('ref', 'erence')])))
988
 
        self.assertEqual(set([(index1, ('name', 'fin1'), 'data', ((('ref', 'erence'),),)),
989
 
            (index2, ('name', 'fin2'), 'beta', ((), ))]),
990
 
            set(index.iter_entries_prefix([('name', None)])))
 
1184
        idx1 = self.make_index('1', 1, key_elements=2, nodes=[
 
1185
                (('name', 'fin1'), 'data', ([('ref', 'erence')], ))])
 
1186
        idx2 = self.make_index('2', 1, key_elements=2, nodes=[
 
1187
                (('name', 'fin2'), 'beta', ([], )),
 
1188
                (('ref', 'erence'), 'refdata', ([], ))])
 
1189
        idx = index.CombinedGraphIndex([idx1, idx2])
 
1190
        self.assertEqual(set([(idx1, ('name', 'fin1'), 'data',
 
1191
                               ((('ref', 'erence'),),)),
 
1192
                              (idx2, ('ref', 'erence'), 'refdata', ((), ))]),
 
1193
                         set(idx.iter_entries_prefix([('name', 'fin1'),
 
1194
                                                        ('ref', 'erence')])))
 
1195
        self.assertEqual(set([(idx1, ('name', 'fin1'), 'data',
 
1196
                               ((('ref', 'erence'),),)),
 
1197
                              (idx2, ('name', 'fin2'), 'beta', ((), ))]),
 
1198
                         set(idx.iter_entries_prefix([('name', None)])))
991
1199
 
992
1200
    def test_iter_nothing_empty(self):
993
 
        index = CombinedGraphIndex([])
994
 
        self.assertEqual([], list(index.iter_entries([])))
 
1201
        idx = index.CombinedGraphIndex([])
 
1202
        self.assertEqual([], list(idx.iter_entries([])))
995
1203
 
996
1204
    def test_iter_nothing_children_empty(self):
997
 
        index1 = self.make_index('name')
998
 
        index = CombinedGraphIndex([index1])
999
 
        self.assertEqual([], list(index.iter_entries([])))
 
1205
        idx1 = self.make_index('name')
 
1206
        idx = index.CombinedGraphIndex([idx1])
 
1207
        self.assertEqual([], list(idx.iter_entries([])))
1000
1208
 
1001
1209
    def test_iter_all_keys(self):
1002
 
        index1 = self.make_index('1', 1, nodes=[
1003
 
            (('name', ), 'data', ([('ref', )], ))])
1004
 
        index2 = self.make_index('2', 1, nodes=[
1005
 
            (('ref', ), 'refdata', ((), ))])
1006
 
        index = CombinedGraphIndex([index1, index2])
1007
 
        self.assertEqual(set([(index1, ('name', ), 'data', ((('ref', ), ), )),
1008
 
            (index2, ('ref', ), 'refdata', ((), ))]),
1009
 
            set(index.iter_entries([('name', ), ('ref', )])))
1010
 
 
 
1210
        idx1 = self.make_index('1', 1, nodes=[(('name', ), 'data',
 
1211
                                               ([('ref', )], ))])
 
1212
        idx2 = self.make_index('2', 1, nodes=[(('ref', ), 'refdata', ((), ))])
 
1213
        idx = index.CombinedGraphIndex([idx1, idx2])
 
1214
        self.assertEqual(set([(idx1, ('name', ), 'data', ((('ref', ), ), )),
 
1215
                              (idx2, ('ref', ), 'refdata', ((), ))]),
 
1216
                         set(idx.iter_entries([('name', ), ('ref', )])))
 
1217
 
1011
1218
    def test_iter_all_keys_dup_entry(self):
1012
 
        index1 = self.make_index('1', 1, nodes=[
1013
 
            (('name', ), 'data', ([('ref', )], )),
1014
 
            (('ref', ), 'refdata', ([], ))])
1015
 
        index2 = self.make_index('2', 1, nodes=[
1016
 
            (('ref', ), 'refdata', ([], ))])
1017
 
        index = CombinedGraphIndex([index1, index2])
1018
 
        self.assertEqual(set([(index1, ('name', ), 'data', ((('ref',),),)),
1019
 
            (index1, ('ref', ), 'refdata', ((), ))]),
1020
 
            set(index.iter_entries([('name', ), ('ref', )])))
1021
 
 
 
1219
        idx1 = self.make_index('1', 1, nodes=[(('name', ), 'data',
 
1220
                                                 ([('ref', )], )),
 
1221
                                                (('ref', ), 'refdata', ([], ))])
 
1222
        idx2 = self.make_index('2', 1, nodes=[(('ref', ), 'refdata', ([], ))])
 
1223
        idx = index.CombinedGraphIndex([idx1, idx2])
 
1224
        self.assertEqual(set([(idx1, ('name', ), 'data', ((('ref',),),)),
 
1225
                              (idx1, ('ref', ), 'refdata', ((), ))]),
 
1226
                         set(idx.iter_entries([('name', ), ('ref', )])))
 
1227
 
1022
1228
    def test_iter_missing_entry_empty(self):
1023
 
        index = CombinedGraphIndex([])
1024
 
        self.assertEqual([], list(index.iter_entries([('a', )])))
 
1229
        idx = index.CombinedGraphIndex([])
 
1230
        self.assertEqual([], list(idx.iter_entries([('a', )])))
1025
1231
 
1026
1232
    def test_iter_missing_entry_one_index(self):
1027
 
        index1 = self.make_index('1')
1028
 
        index = CombinedGraphIndex([index1])
1029
 
        self.assertEqual([], list(index.iter_entries([('a', )])))
 
1233
        idx1 = self.make_index('1')
 
1234
        idx = index.CombinedGraphIndex([idx1])
 
1235
        self.assertEqual([], list(idx.iter_entries([('a', )])))
1030
1236
 
1031
1237
    def test_iter_missing_entry_two_index(self):
1032
 
        index1 = self.make_index('1')
1033
 
        index2 = self.make_index('2')
1034
 
        index = CombinedGraphIndex([index1, index2])
1035
 
        self.assertEqual([], list(index.iter_entries([('a', )])))
1036
 
 
 
1238
        idx1 = self.make_index('1')
 
1239
        idx2 = self.make_index('2')
 
1240
        idx = index.CombinedGraphIndex([idx1, idx2])
 
1241
        self.assertEqual([], list(idx.iter_entries([('a', )])))
 
1242
 
1037
1243
    def test_iter_entry_present_one_index_only(self):
1038
 
        index1 = self.make_index('1', nodes=[(('key', ), '', ())])
1039
 
        index2 = self.make_index('2', nodes=[])
1040
 
        index = CombinedGraphIndex([index1, index2])
1041
 
        self.assertEqual([(index1, ('key', ), '')],
1042
 
            list(index.iter_entries([('key', )])))
 
1244
        idx1 = self.make_index('1', nodes=[(('key', ), '', ())])
 
1245
        idx2 = self.make_index('2', nodes=[])
 
1246
        idx = index.CombinedGraphIndex([idx1, idx2])
 
1247
        self.assertEqual([(idx1, ('key', ), '')],
 
1248
                         list(idx.iter_entries([('key', )])))
1043
1249
        # and in the other direction
1044
 
        index = CombinedGraphIndex([index2, index1])
1045
 
        self.assertEqual([(index1, ('key', ), '')],
1046
 
            list(index.iter_entries([('key', )])))
 
1250
        idx = index.CombinedGraphIndex([idx2, idx1])
 
1251
        self.assertEqual([(idx1, ('key', ), '')],
 
1252
                         list(idx.iter_entries([('key', )])))
1047
1253
 
1048
1254
    def test_key_count_empty(self):
1049
 
        index1 = self.make_index('1', nodes=[])
1050
 
        index2 = self.make_index('2', nodes=[])
1051
 
        index = CombinedGraphIndex([index1, index2])
1052
 
        self.assertEqual(0, index.key_count())
 
1255
        idx1 = self.make_index('1', nodes=[])
 
1256
        idx2 = self.make_index('2', nodes=[])
 
1257
        idx = index.CombinedGraphIndex([idx1, idx2])
 
1258
        self.assertEqual(0, idx.key_count())
1053
1259
 
1054
1260
    def test_key_count_sums_index_keys(self):
1055
 
        index1 = self.make_index('1', nodes=[
 
1261
        idx1 = self.make_index('1', nodes=[
1056
1262
            (('1',), '', ()),
1057
1263
            (('2',), '', ())])
1058
 
        index2 = self.make_index('2', nodes=[(('1',), '', ())])
1059
 
        index = CombinedGraphIndex([index1, index2])
1060
 
        self.assertEqual(3, index.key_count())
 
1264
        idx2 = self.make_index('2', nodes=[(('1',), '', ())])
 
1265
        idx = index.CombinedGraphIndex([idx1, idx2])
 
1266
        self.assertEqual(3, idx.key_count())
1061
1267
 
1062
1268
    def test_validate_bad_child_index_errors(self):
1063
1269
        trans = self.get_transport()
1064
1270
        trans.put_bytes('name', "not an index\n")
1065
 
        index1 = GraphIndex(trans, 'name', 13)
1066
 
        index = CombinedGraphIndex([index1])
1067
 
        self.assertRaises(errors.BadIndexFormatSignature, index.validate)
 
1271
        idx1 = index.GraphIndex(trans, 'name', 13)
 
1272
        idx = index.CombinedGraphIndex([idx1])
 
1273
        self.assertRaises(errors.BadIndexFormatSignature, idx.validate)
1068
1274
 
1069
1275
    def test_validate_empty(self):
1070
 
        index = CombinedGraphIndex([])
1071
 
        index.validate()
1072
 
 
1073
 
 
1074
 
class TestInMemoryGraphIndex(TestCaseWithMemoryTransport):
 
1276
        idx = index.CombinedGraphIndex([])
 
1277
        idx.validate()
 
1278
 
 
1279
    def test_key_count_reloads(self):
 
1280
        idx, reload_counter = self.make_combined_index_with_missing()
 
1281
        self.assertEqual(2, idx.key_count())
 
1282
        self.assertEqual([1, 1, 0], reload_counter)
 
1283
 
 
1284
    def test_key_count_no_reload(self):
 
1285
        idx, reload_counter = self.make_combined_index_with_missing()
 
1286
        idx._reload_func = None
 
1287
        # Without a _reload_func we just raise the exception
 
1288
        self.assertRaises(errors.NoSuchFile, idx.key_count)
 
1289
 
 
1290
    def test_key_count_reloads_and_fails(self):
 
1291
        # We have deleted all underlying indexes, so we will try to reload, but
 
1292
        # still fail. This is mostly to test we don't get stuck in an infinite
 
1293
        # loop trying to reload
 
1294
        idx, reload_counter = self.make_combined_index_with_missing(
 
1295
            ['1', '2', '3'])
 
1296
        self.assertRaises(errors.NoSuchFile, idx.key_count)
 
1297
        self.assertEqual([2, 1, 1], reload_counter)
 
1298
 
 
1299
    def test_iter_entries_reloads(self):
 
1300
        index, reload_counter = self.make_combined_index_with_missing()
 
1301
        result = list(index.iter_entries([('1',), ('2',), ('3',)]))
 
1302
        index3 = index._indices[0]
 
1303
        self.assertEqual([(index3, ('1',), ''), (index3, ('2',), '')],
 
1304
                         result)
 
1305
        self.assertEqual([1, 1, 0], reload_counter)
 
1306
 
 
1307
    def test_iter_entries_reloads_midway(self):
 
1308
        # The first index still looks present, so we get interrupted mid-way
 
1309
        # through
 
1310
        index, reload_counter = self.make_combined_index_with_missing(['2'])
 
1311
        index1, index2 = index._indices
 
1312
        result = list(index.iter_entries([('1',), ('2',), ('3',)]))
 
1313
        index3 = index._indices[0]
 
1314
        # We had already yielded '1', so we just go on to the next, we should
 
1315
        # not yield '1' twice.
 
1316
        self.assertEqual([(index1, ('1',), ''), (index3, ('2',), '')],
 
1317
                         result)
 
1318
        self.assertEqual([1, 1, 0], reload_counter)
 
1319
 
 
1320
    def test_iter_entries_no_reload(self):
 
1321
        index, reload_counter = self.make_combined_index_with_missing()
 
1322
        index._reload_func = None
 
1323
        # Without a _reload_func we just raise the exception
 
1324
        self.assertListRaises(errors.NoSuchFile, index.iter_entries, [('3',)])
 
1325
 
 
1326
    def test_iter_entries_reloads_and_fails(self):
 
1327
        index, reload_counter = self.make_combined_index_with_missing(
 
1328
                                    ['1', '2', '3'])
 
1329
        self.assertListRaises(errors.NoSuchFile, index.iter_entries, [('3',)])
 
1330
        self.assertEqual([2, 1, 1], reload_counter)
 
1331
 
 
1332
    def test_iter_all_entries_reloads(self):
 
1333
        index, reload_counter = self.make_combined_index_with_missing()
 
1334
        result = list(index.iter_all_entries())
 
1335
        index3 = index._indices[0]
 
1336
        self.assertEqual([(index3, ('1',), ''), (index3, ('2',), '')],
 
1337
                         result)
 
1338
        self.assertEqual([1, 1, 0], reload_counter)
 
1339
 
 
1340
    def test_iter_all_entries_reloads_midway(self):
 
1341
        index, reload_counter = self.make_combined_index_with_missing(['2'])
 
1342
        index1, index2 = index._indices
 
1343
        result = list(index.iter_all_entries())
 
1344
        index3 = index._indices[0]
 
1345
        # We had already yielded '1', so we just go on to the next, we should
 
1346
        # not yield '1' twice.
 
1347
        self.assertEqual([(index1, ('1',), ''), (index3, ('2',), '')],
 
1348
                         result)
 
1349
        self.assertEqual([1, 1, 0], reload_counter)
 
1350
 
 
1351
    def test_iter_all_entries_no_reload(self):
 
1352
        index, reload_counter = self.make_combined_index_with_missing()
 
1353
        index._reload_func = None
 
1354
        self.assertListRaises(errors.NoSuchFile, index.iter_all_entries)
 
1355
 
 
1356
    def test_iter_all_entries_reloads_and_fails(self):
 
1357
        index, reload_counter = self.make_combined_index_with_missing(
 
1358
                                    ['1', '2', '3'])
 
1359
        self.assertListRaises(errors.NoSuchFile, index.iter_all_entries)
 
1360
 
 
1361
    def test_iter_entries_prefix_reloads(self):
 
1362
        index, reload_counter = self.make_combined_index_with_missing()
 
1363
        result = list(index.iter_entries_prefix([('1',)]))
 
1364
        index3 = index._indices[0]
 
1365
        self.assertEqual([(index3, ('1',), '')], result)
 
1366
        self.assertEqual([1, 1, 0], reload_counter)
 
1367
 
 
1368
    def test_iter_entries_prefix_reloads_midway(self):
 
1369
        index, reload_counter = self.make_combined_index_with_missing(['2'])
 
1370
        index1, index2 = index._indices
 
1371
        result = list(index.iter_entries_prefix([('1',)]))
 
1372
        index3 = index._indices[0]
 
1373
        # We had already yielded '1', so we just go on to the next, we should
 
1374
        # not yield '1' twice.
 
1375
        self.assertEqual([(index1, ('1',), '')], result)
 
1376
        self.assertEqual([1, 1, 0], reload_counter)
 
1377
 
 
1378
    def test_iter_entries_prefix_no_reload(self):
 
1379
        index, reload_counter = self.make_combined_index_with_missing()
 
1380
        index._reload_func = None
 
1381
        self.assertListRaises(errors.NoSuchFile, index.iter_entries_prefix,
 
1382
                                                 [('1',)])
 
1383
 
 
1384
    def test_iter_entries_prefix_reloads_and_fails(self):
 
1385
        index, reload_counter = self.make_combined_index_with_missing(
 
1386
                                    ['1', '2', '3'])
 
1387
        self.assertListRaises(errors.NoSuchFile, index.iter_entries_prefix,
 
1388
                                                 [('1',)])
 
1389
 
 
1390
 
 
1391
    def make_index_with_simple_nodes(self, name, num_nodes=1):
 
1392
        """Make an index named after 'name', with keys named after 'name' too.
 
1393
 
 
1394
        Nodes will have a value of '' and no references.
 
1395
        """
 
1396
        nodes = [
 
1397
            (('index-%s-key-%s' % (name, n),), '', ())
 
1398
            for n in range(1, num_nodes+1)]
 
1399
        return self.make_index('index-%s' % name, 0, nodes=nodes)
 
1400
 
 
1401
    def test_reorder_after_iter_entries(self):
 
1402
        # Four indices: [key1] in idx1, [key2,key3] in idx2, [] in idx3,
 
1403
        # [key4] in idx4.
 
1404
        idx = index.CombinedGraphIndex([])
 
1405
        idx.insert_index(0, self.make_index_with_simple_nodes('1'), '1')
 
1406
        idx.insert_index(1, self.make_index_with_simple_nodes('2'), '2')
 
1407
        idx.insert_index(2, self.make_index_with_simple_nodes('3'), '3')
 
1408
        idx.insert_index(3, self.make_index_with_simple_nodes('4'), '4')
 
1409
        idx1, idx2, idx3, idx4 = idx._indices
 
1410
        # Query a key from idx4 and idx2.
 
1411
        self.assertLength(2, list(idx.iter_entries(
 
1412
            [('index-4-key-1',), ('index-2-key-1',)])))
 
1413
        # Now idx2 and idx4 should be moved to the front (and idx1 should
 
1414
        # still be before idx3).
 
1415
        self.assertEqual([idx2, idx4, idx1, idx3], idx._indices)
 
1416
        self.assertEqual(['2', '4', '1', '3'], idx._index_names)
 
1417
 
 
1418
    def test_reorder_propagates_to_siblings(self):
 
1419
        # Two CombinedGraphIndex objects, with the same number of indicies with
 
1420
        # matching names.
 
1421
        cgi1 = index.CombinedGraphIndex([])
 
1422
        cgi2 = index.CombinedGraphIndex([])
 
1423
        cgi1.insert_index(0, self.make_index_with_simple_nodes('1-1'), 'one')
 
1424
        cgi1.insert_index(1, self.make_index_with_simple_nodes('1-2'), 'two')
 
1425
        cgi2.insert_index(0, self.make_index_with_simple_nodes('2-1'), 'one')
 
1426
        cgi2.insert_index(1, self.make_index_with_simple_nodes('2-2'), 'two')
 
1427
        index2_1, index2_2 = cgi2._indices
 
1428
        cgi1.set_sibling_indices([cgi2])
 
1429
        # Trigger a reordering in cgi1.  cgi2 will be reordered as well.
 
1430
        list(cgi1.iter_entries([('index-1-2-key-1',)]))
 
1431
        self.assertEqual([index2_2, index2_1], cgi2._indices)
 
1432
        self.assertEqual(['two', 'one'], cgi2._index_names)
 
1433
 
 
1434
    def test_validate_reloads(self):
 
1435
        idx, reload_counter = self.make_combined_index_with_missing()
 
1436
        idx.validate()
 
1437
        self.assertEqual([1, 1, 0], reload_counter)
 
1438
 
 
1439
    def test_validate_reloads_midway(self):
 
1440
        idx, reload_counter = self.make_combined_index_with_missing(['2'])
 
1441
        idx.validate()
 
1442
 
 
1443
    def test_validate_no_reload(self):
 
1444
        idx, reload_counter = self.make_combined_index_with_missing()
 
1445
        idx._reload_func = None
 
1446
        self.assertRaises(errors.NoSuchFile, idx.validate)
 
1447
 
 
1448
    def test_validate_reloads_and_fails(self):
 
1449
        idx, reload_counter = self.make_combined_index_with_missing(
 
1450
            ['1', '2', '3'])
 
1451
        self.assertRaises(errors.NoSuchFile, idx.validate)
 
1452
 
 
1453
    def test_find_ancestors_across_indexes(self):
 
1454
        key1 = ('key-1',)
 
1455
        key2 = ('key-2',)
 
1456
        key3 = ('key-3',)
 
1457
        key4 = ('key-4',)
 
1458
        index1 = self.make_index('12', ref_lists=1, nodes=[
 
1459
            (key1, 'value', ([],)),
 
1460
            (key2, 'value', ([key1],)),
 
1461
            ])
 
1462
        index2 = self.make_index('34', ref_lists=1, nodes=[
 
1463
            (key3, 'value', ([key2],)),
 
1464
            (key4, 'value', ([key3],)),
 
1465
            ])
 
1466
        c_index = index.CombinedGraphIndex([index1, index2])
 
1467
        parent_map, missing_keys = c_index.find_ancestry([key1], 0)
 
1468
        self.assertEqual({key1: ()}, parent_map)
 
1469
        self.assertEqual(set(), missing_keys)
 
1470
        # Now look for a key from index2 which requires us to find the key in
 
1471
        # the second index, and then continue searching for parents in the
 
1472
        # first index
 
1473
        parent_map, missing_keys = c_index.find_ancestry([key3], 0)
 
1474
        self.assertEqual({key1: (), key2: (key1,), key3: (key2,)}, parent_map)
 
1475
        self.assertEqual(set(), missing_keys)
 
1476
 
 
1477
    def test_find_ancestors_missing_keys(self):
 
1478
        key1 = ('key-1',)
 
1479
        key2 = ('key-2',)
 
1480
        key3 = ('key-3',)
 
1481
        key4 = ('key-4',)
 
1482
        index1 = self.make_index('12', ref_lists=1, nodes=[
 
1483
            (key1, 'value', ([],)),
 
1484
            (key2, 'value', ([key1],)),
 
1485
            ])
 
1486
        index2 = self.make_index('34', ref_lists=1, nodes=[
 
1487
            (key3, 'value', ([key2],)),
 
1488
            ])
 
1489
        c_index = index.CombinedGraphIndex([index1, index2])
 
1490
        # Searching for a key which is actually not present at all should
 
1491
        # eventually converge
 
1492
        parent_map, missing_keys = c_index.find_ancestry([key4], 0)
 
1493
        self.assertEqual({}, parent_map)
 
1494
        self.assertEqual(set([key4]), missing_keys)
 
1495
 
 
1496
    def test_find_ancestors_no_indexes(self):
 
1497
        c_index = index.CombinedGraphIndex([])
 
1498
        key1 = ('key-1',)
 
1499
        parent_map, missing_keys = c_index.find_ancestry([key1], 0)
 
1500
        self.assertEqual({}, parent_map)
 
1501
        self.assertEqual(set([key1]), missing_keys)
 
1502
 
 
1503
    def test_find_ancestors_ghost_parent(self):
 
1504
        key1 = ('key-1',)
 
1505
        key2 = ('key-2',)
 
1506
        key3 = ('key-3',)
 
1507
        key4 = ('key-4',)
 
1508
        index1 = self.make_index('12', ref_lists=1, nodes=[
 
1509
            (key1, 'value', ([],)),
 
1510
            (key2, 'value', ([key1],)),
 
1511
            ])
 
1512
        index2 = self.make_index('34', ref_lists=1, nodes=[
 
1513
            (key4, 'value', ([key2, key3],)),
 
1514
            ])
 
1515
        c_index = index.CombinedGraphIndex([index1, index2])
 
1516
        # Searching for a key which is actually not present at all should
 
1517
        # eventually converge
 
1518
        parent_map, missing_keys = c_index.find_ancestry([key4], 0)
 
1519
        self.assertEqual({key4: (key2, key3), key2: (key1,), key1: ()},
 
1520
                         parent_map)
 
1521
        self.assertEqual(set([key3]), missing_keys)
 
1522
 
 
1523
    def test__find_ancestors_empty_index(self):
 
1524
        idx = self.make_index('test', ref_lists=1, key_elements=1, nodes=[])
 
1525
        parent_map = {}
 
1526
        missing_keys = set()
 
1527
        search_keys = idx._find_ancestors([('one',), ('two',)], 0, parent_map,
 
1528
                                          missing_keys)
 
1529
        self.assertEqual(set(), search_keys)
 
1530
        self.assertEqual({}, parent_map)
 
1531
        self.assertEqual(set([('one',), ('two',)]), missing_keys)
 
1532
 
 
1533
 
 
1534
class TestInMemoryGraphIndex(tests.TestCaseWithMemoryTransport):
1075
1535
 
1076
1536
    def make_index(self, ref_lists=0, key_elements=1, nodes=[]):
1077
 
        result = InMemoryGraphIndex(ref_lists, key_elements=key_elements)
 
1537
        result = index.InMemoryGraphIndex(ref_lists, key_elements=key_elements)
1078
1538
        result.add_nodes(nodes)
1079
1539
        return result
1080
1540
 
1201
1661
        index.validate()
1202
1662
 
1203
1663
 
1204
 
class TestGraphIndexPrefixAdapter(TestCaseWithMemoryTransport):
 
1664
class TestGraphIndexPrefixAdapter(tests.TestCaseWithMemoryTransport):
1205
1665
 
1206
 
    def make_index(self, ref_lists=1, key_elements=2, nodes=[], add_callback=False):
1207
 
        result = InMemoryGraphIndex(ref_lists, key_elements=key_elements)
 
1666
    def make_index(self, ref_lists=1, key_elements=2, nodes=[],
 
1667
                   add_callback=False):
 
1668
        result = index.InMemoryGraphIndex(ref_lists, key_elements=key_elements)
1208
1669
        result.add_nodes(nodes)
1209
1670
        if add_callback:
1210
1671
            add_nodes_callback = result.add_nodes
1211
1672
        else:
1212
1673
            add_nodes_callback = None
1213
 
        adapter = GraphIndexPrefixAdapter(result, ('prefix', ), key_elements - 1,
 
1674
        adapter = index.GraphIndexPrefixAdapter(
 
1675
            result, ('prefix', ), key_elements - 1,
1214
1676
            add_nodes_callback=add_nodes_callback)
1215
1677
        return result, adapter
1216
1678
 
1217
1679
    def test_add_node(self):
1218
1680
        index, adapter = self.make_index(add_callback=True)
1219
1681
        adapter.add_node(('key',), 'value', ((('ref',),),))
1220
 
        self.assertEqual(set([(index, ('prefix', 'key'), 'value', ((('prefix', 'ref'),),))]),
 
1682
        self.assertEqual(set([(index, ('prefix', 'key'), 'value',
 
1683
                               ((('prefix', 'ref'),),))]),
1221
1684
            set(index.iter_all_entries()))
1222
1685
 
1223
1686
    def test_add_nodes(self):
1233
1696
            set(index.iter_all_entries()))
1234
1697
 
1235
1698
    def test_construct(self):
1236
 
        index = InMemoryGraphIndex()
1237
 
        adapter = GraphIndexPrefixAdapter(index, ('prefix', ), 1)
 
1699
        idx = index.InMemoryGraphIndex()
 
1700
        adapter = index.GraphIndexPrefixAdapter(idx, ('prefix', ), 1)
1238
1701
 
1239
1702
    def test_construct_with_callback(self):
1240
 
        index = InMemoryGraphIndex()
1241
 
        adapter = GraphIndexPrefixAdapter(index, ('prefix', ), 1, index.add_nodes)
 
1703
        idx = index.InMemoryGraphIndex()
 
1704
        adapter = index.GraphIndexPrefixAdapter(idx, ('prefix', ), 1,
 
1705
                                                idx.add_nodes)
1242
1706
 
1243
1707
    def test_iter_all_entries_cross_prefix_map_errors(self):
1244
1708
        index, adapter = self.make_index(nodes=[