~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/graph.py

  • Committer: Martin Pool
  • Date: 2009-03-03 01:45:32 UTC
  • mto: (4070.4.5 gnu-changelog)
  • mto: This revision was merged to the branch mainline in revision 4081.
  • Revision ID: mbp@sourcefrog.net-20090303014532-d223fxy97cb1og8f
Recommend setting timestamp in BranchBuilder

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# Copyright (C) 2007 Canonical Ltd
 
2
#
 
3
# This program is free software; you can redistribute it and/or modify
 
4
# it under the terms of the GNU General Public License as published by
 
5
# the Free Software Foundation; either version 2 of the License, or
 
6
# (at your option) any later version.
 
7
#
 
8
# This program is distributed in the hope that it will be useful,
 
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
11
# GNU General Public License for more details.
 
12
#
 
13
# You should have received a copy of the GNU General Public License
 
14
# along with this program; if not, write to the Free Software
 
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
16
 
 
17
import time
 
18
 
 
19
from bzrlib import (
 
20
    debug,
 
21
    errors,
 
22
    revision,
 
23
    symbol_versioning,
 
24
    trace,
 
25
    tsort,
 
26
    )
 
27
 
 
28
STEP_UNIQUE_SEARCHER_EVERY = 5
 
29
 
 
30
# DIAGRAM of terminology
 
31
#       A
 
32
#       /\
 
33
#      B  C
 
34
#      |  |\
 
35
#      D  E F
 
36
#      |\/| |
 
37
#      |/\|/
 
38
#      G  H
 
39
#
 
40
# In this diagram, relative to G and H:
 
41
# A, B, C, D, E are common ancestors.
 
42
# C, D and E are border ancestors, because each has a non-common descendant.
 
43
# D and E are least common ancestors because none of their descendants are
 
44
# common ancestors.
 
45
# C is not a least common ancestor because its descendant, E, is a common
 
46
# ancestor.
 
47
#
 
48
# The find_unique_lca algorithm will pick A in two steps:
 
49
# 1. find_lca('G', 'H') => ['D', 'E']
 
50
# 2. Since len(['D', 'E']) > 1, find_lca('D', 'E') => ['A']
 
51
 
 
52
 
 
53
class DictParentsProvider(object):
 
54
    """A parents provider for Graph objects."""
 
55
 
 
56
    def __init__(self, ancestry):
 
57
        self.ancestry = ancestry
 
58
 
 
59
    def __repr__(self):
 
60
        return 'DictParentsProvider(%r)' % self.ancestry
 
61
 
 
62
    def get_parent_map(self, keys):
 
63
        """See _StackedParentsProvider.get_parent_map"""
 
64
        ancestry = self.ancestry
 
65
        return dict((k, ancestry[k]) for k in keys if k in ancestry)
 
66
 
 
67
 
 
68
class _StackedParentsProvider(object):
 
69
 
 
70
    def __init__(self, parent_providers):
 
71
        self._parent_providers = parent_providers
 
72
 
 
73
    def __repr__(self):
 
74
        return "_StackedParentsProvider(%r)" % self._parent_providers
 
75
 
 
76
    def get_parent_map(self, keys):
 
77
        """Get a mapping of keys => parents
 
78
 
 
79
        A dictionary is returned with an entry for each key present in this
 
80
        source. If this source doesn't have information about a key, it should
 
81
        not include an entry.
 
82
 
 
83
        [NULL_REVISION] is used as the parent of the first user-committed
 
84
        revision.  Its parent list is empty.
 
85
 
 
86
        :param keys: An iterable returning keys to check (eg revision_ids)
 
87
        :return: A dictionary mapping each key to its parents
 
88
        """
 
89
        found = {}
 
90
        remaining = set(keys)
 
91
        for parents_provider in self._parent_providers:
 
92
            new_found = parents_provider.get_parent_map(remaining)
 
93
            found.update(new_found)
 
94
            remaining.difference_update(new_found)
 
95
            if not remaining:
 
96
                break
 
97
        return found
 
98
 
 
99
 
 
100
class CachingParentsProvider(object):
 
101
    """A parents provider which will cache the revision => parents as a dict.
 
102
 
 
103
    This is useful for providers which have an expensive look up.
 
104
 
 
105
    Either a ParentsProvider or a get_parent_map-like callback may be
 
106
    supplied.  If it provides extra un-asked-for parents, they will be cached,
 
107
    but filtered out of get_parent_map.
 
108
 
 
109
    The cache is enabled by default, but may be disabled and re-enabled.
 
110
    """
 
111
    def __init__(self, parent_provider=None, get_parent_map=None):
 
112
        """Constructor.
 
113
 
 
114
        :param parent_provider: The ParentProvider to use.  It or
 
115
            get_parent_map must be supplied.
 
116
        :param get_parent_map: The get_parent_map callback to use.  It or
 
117
            parent_provider must be supplied.
 
118
        """
 
119
        self._real_provider = parent_provider
 
120
        if get_parent_map is None:
 
121
            self._get_parent_map = self._real_provider.get_parent_map
 
122
        else:
 
123
            self._get_parent_map = get_parent_map
 
124
        self._cache = {}
 
125
        self._cache_misses = True
 
126
 
 
127
    def __repr__(self):
 
128
        return "%s(%r)" % (self.__class__.__name__, self._real_provider)
 
129
 
 
130
    def enable_cache(self, cache_misses=True):
 
131
        """Enable cache."""
 
132
        if self._cache is not None:
 
133
            raise AssertionError('Cache enabled when already enabled.')
 
134
        self._cache = {}
 
135
        self._cache_misses = cache_misses
 
136
 
 
137
    def disable_cache(self):
 
138
        """Disable and clear the cache."""
 
139
        self._cache = None
 
140
 
 
141
    def get_cached_map(self):
 
142
        """Return any cached get_parent_map values."""
 
143
        if self._cache is None:
 
144
            return None
 
145
        return dict((k, v) for k, v in self._cache.items()
 
146
                    if v is not None)
 
147
 
 
148
    def get_parent_map(self, keys):
 
149
        """See _StackedParentsProvider.get_parent_map."""
 
150
        # Hack to build up the caching logic.
 
151
        ancestry = self._cache
 
152
        if ancestry is None:
 
153
            # Caching is disabled.
 
154
            missing_revisions = set(keys)
 
155
            ancestry = {}
 
156
        else:
 
157
            missing_revisions = set(key for key in keys if key not in ancestry)
 
158
        if missing_revisions:
 
159
            parent_map = self._get_parent_map(missing_revisions)
 
160
            ancestry.update(parent_map)
 
161
            if self._cache_misses:
 
162
                # None is never a valid parents list, so it can be used to
 
163
                # record misses.
 
164
                ancestry.update(dict((k, None) for k in missing_revisions
 
165
                                     if k not in parent_map))
 
166
        present_keys = [k for k in keys if ancestry.get(k) is not None]
 
167
        return dict((k, ancestry[k]) for k in present_keys)
 
168
 
 
169
 
 
170
class Graph(object):
 
171
    """Provide incremental access to revision graphs.
 
172
 
 
173
    This is the generic implementation; it is intended to be subclassed to
 
174
    specialize it for other repository types.
 
175
    """
 
176
 
 
177
    def __init__(self, parents_provider):
 
178
        """Construct a Graph that uses several graphs as its input
 
179
 
 
180
        This should not normally be invoked directly, because there may be
 
181
        specialized implementations for particular repository types.  See
 
182
        Repository.get_graph().
 
183
 
 
184
        :param parents_provider: An object providing a get_parent_map call
 
185
            conforming to the behavior of
 
186
            StackedParentsProvider.get_parent_map.
 
187
        """
 
188
        if getattr(parents_provider, 'get_parents', None) is not None:
 
189
            self.get_parents = parents_provider.get_parents
 
190
        if getattr(parents_provider, 'get_parent_map', None) is not None:
 
191
            self.get_parent_map = parents_provider.get_parent_map
 
192
        self._parents_provider = parents_provider
 
193
 
 
194
    def __repr__(self):
 
195
        return 'Graph(%r)' % self._parents_provider
 
196
 
 
197
    def find_lca(self, *revisions):
 
198
        """Determine the lowest common ancestors of the provided revisions
 
199
 
 
200
        A lowest common ancestor is a common ancestor none of whose
 
201
        descendants are common ancestors.  In graphs, unlike trees, there may
 
202
        be multiple lowest common ancestors.
 
203
 
 
204
        This algorithm has two phases.  Phase 1 identifies border ancestors,
 
205
        and phase 2 filters border ancestors to determine lowest common
 
206
        ancestors.
 
207
 
 
208
        In phase 1, border ancestors are identified, using a breadth-first
 
209
        search starting at the bottom of the graph.  Searches are stopped
 
210
        whenever a node or one of its descendants is determined to be common
 
211
 
 
212
        In phase 2, the border ancestors are filtered to find the least
 
213
        common ancestors.  This is done by searching the ancestries of each
 
214
        border ancestor.
 
215
 
 
216
        Phase 2 is perfomed on the principle that a border ancestor that is
 
217
        not an ancestor of any other border ancestor is a least common
 
218
        ancestor.
 
219
 
 
220
        Searches are stopped when they find a node that is determined to be a
 
221
        common ancestor of all border ancestors, because this shows that it
 
222
        cannot be a descendant of any border ancestor.
 
223
 
 
224
        The scaling of this operation should be proportional to
 
225
        1. The number of uncommon ancestors
 
226
        2. The number of border ancestors
 
227
        3. The length of the shortest path between a border ancestor and an
 
228
           ancestor of all border ancestors.
 
229
        """
 
230
        border_common, common, sides = self._find_border_ancestors(revisions)
 
231
        # We may have common ancestors that can be reached from each other.
 
232
        # - ask for the heads of them to filter it down to only ones that
 
233
        # cannot be reached from each other - phase 2.
 
234
        return self.heads(border_common)
 
235
 
 
236
    def find_difference(self, left_revision, right_revision):
 
237
        """Determine the graph difference between two revisions"""
 
238
        border, common, searchers = self._find_border_ancestors(
 
239
            [left_revision, right_revision])
 
240
        self._search_for_extra_common(common, searchers)
 
241
        left = searchers[0].seen
 
242
        right = searchers[1].seen
 
243
        return (left.difference(right), right.difference(left))
 
244
 
 
245
    def find_distance_to_null(self, target_revision_id, known_revision_ids):
 
246
        """Find the left-hand distance to the NULL_REVISION.
 
247
 
 
248
        (This can also be considered the revno of a branch at
 
249
        target_revision_id.)
 
250
 
 
251
        :param target_revision_id: A revision_id which we would like to know
 
252
            the revno for.
 
253
        :param known_revision_ids: [(revision_id, revno)] A list of known
 
254
            revno, revision_id tuples. We'll use this to seed the search.
 
255
        """
 
256
        # Map from revision_ids to a known value for their revno
 
257
        known_revnos = dict(known_revision_ids)
 
258
        cur_tip = target_revision_id
 
259
        num_steps = 0
 
260
        NULL_REVISION = revision.NULL_REVISION
 
261
        known_revnos[NULL_REVISION] = 0
 
262
 
 
263
        searching_known_tips = list(known_revnos.keys())
 
264
 
 
265
        unknown_searched = {}
 
266
 
 
267
        while cur_tip not in known_revnos:
 
268
            unknown_searched[cur_tip] = num_steps
 
269
            num_steps += 1
 
270
            to_search = set([cur_tip])
 
271
            to_search.update(searching_known_tips)
 
272
            parent_map = self.get_parent_map(to_search)
 
273
            parents = parent_map.get(cur_tip, None)
 
274
            if not parents: # An empty list or None is a ghost
 
275
                raise errors.GhostRevisionsHaveNoRevno(target_revision_id,
 
276
                                                       cur_tip)
 
277
            cur_tip = parents[0]
 
278
            next_known_tips = []
 
279
            for revision_id in searching_known_tips:
 
280
                parents = parent_map.get(revision_id, None)
 
281
                if not parents:
 
282
                    continue
 
283
                next = parents[0]
 
284
                next_revno = known_revnos[revision_id] - 1
 
285
                if next in unknown_searched:
 
286
                    # We have enough information to return a value right now
 
287
                    return next_revno + unknown_searched[next]
 
288
                if next in known_revnos:
 
289
                    continue
 
290
                known_revnos[next] = next_revno
 
291
                next_known_tips.append(next)
 
292
            searching_known_tips = next_known_tips
 
293
 
 
294
        # We reached a known revision, so just add in how many steps it took to
 
295
        # get there.
 
296
        return known_revnos[cur_tip] + num_steps
 
297
 
 
298
    def find_unique_ancestors(self, unique_revision, common_revisions):
 
299
        """Find the unique ancestors for a revision versus others.
 
300
 
 
301
        This returns the ancestry of unique_revision, excluding all revisions
 
302
        in the ancestry of common_revisions. If unique_revision is in the
 
303
        ancestry, then the empty set will be returned.
 
304
 
 
305
        :param unique_revision: The revision_id whose ancestry we are
 
306
            interested in.
 
307
            XXX: Would this API be better if we allowed multiple revisions on
 
308
                 to be searched here?
 
309
        :param common_revisions: Revision_ids of ancestries to exclude.
 
310
        :return: A set of revisions in the ancestry of unique_revision
 
311
        """
 
312
        if unique_revision in common_revisions:
 
313
            return set()
 
314
 
 
315
        # Algorithm description
 
316
        # 1) Walk backwards from the unique node and all common nodes.
 
317
        # 2) When a node is seen by both sides, stop searching it in the unique
 
318
        #    walker, include it in the common walker.
 
319
        # 3) Stop searching when there are no nodes left for the unique walker.
 
320
        #    At this point, you have a maximal set of unique nodes. Some of
 
321
        #    them may actually be common, and you haven't reached them yet.
 
322
        # 4) Start new searchers for the unique nodes, seeded with the
 
323
        #    information you have so far.
 
324
        # 5) Continue searching, stopping the common searches when the search
 
325
        #    tip is an ancestor of all unique nodes.
 
326
        # 6) Aggregate together unique searchers when they are searching the
 
327
        #    same tips. When all unique searchers are searching the same node,
 
328
        #    stop move it to a single 'all_unique_searcher'.
 
329
        # 7) The 'all_unique_searcher' represents the very 'tip' of searching.
 
330
        #    Most of the time this produces very little important information.
 
331
        #    So don't step it as quickly as the other searchers.
 
332
        # 8) Search is done when all common searchers have completed.
 
333
 
 
334
        unique_searcher, common_searcher = self._find_initial_unique_nodes(
 
335
            [unique_revision], common_revisions)
 
336
 
 
337
        unique_nodes = unique_searcher.seen.difference(common_searcher.seen)
 
338
        if not unique_nodes:
 
339
            return unique_nodes
 
340
 
 
341
        (all_unique_searcher,
 
342
         unique_tip_searchers) = self._make_unique_searchers(unique_nodes,
 
343
                                    unique_searcher, common_searcher)
 
344
 
 
345
        self._refine_unique_nodes(unique_searcher, all_unique_searcher,
 
346
                                  unique_tip_searchers, common_searcher)
 
347
        true_unique_nodes = unique_nodes.difference(common_searcher.seen)
 
348
        if 'graph' in debug.debug_flags:
 
349
            trace.mutter('Found %d truly unique nodes out of %d',
 
350
                         len(true_unique_nodes), len(unique_nodes))
 
351
        return true_unique_nodes
 
352
 
 
353
    def _find_initial_unique_nodes(self, unique_revisions, common_revisions):
 
354
        """Steps 1-3 of find_unique_ancestors.
 
355
 
 
356
        Find the maximal set of unique nodes. Some of these might actually
 
357
        still be common, but we are sure that there are no other unique nodes.
 
358
 
 
359
        :return: (unique_searcher, common_searcher)
 
360
        """
 
361
 
 
362
        unique_searcher = self._make_breadth_first_searcher(unique_revisions)
 
363
        # we know that unique_revisions aren't in common_revisions, so skip
 
364
        # past them.
 
365
        unique_searcher.next()
 
366
        common_searcher = self._make_breadth_first_searcher(common_revisions)
 
367
 
 
368
        # As long as we are still finding unique nodes, keep searching
 
369
        while unique_searcher._next_query:
 
370
            next_unique_nodes = set(unique_searcher.step())
 
371
            next_common_nodes = set(common_searcher.step())
 
372
 
 
373
            # Check if either searcher encounters new nodes seen by the other
 
374
            # side.
 
375
            unique_are_common_nodes = next_unique_nodes.intersection(
 
376
                common_searcher.seen)
 
377
            unique_are_common_nodes.update(
 
378
                next_common_nodes.intersection(unique_searcher.seen))
 
379
            if unique_are_common_nodes:
 
380
                ancestors = unique_searcher.find_seen_ancestors(
 
381
                                unique_are_common_nodes)
 
382
                # TODO: This is a bit overboard, we only really care about
 
383
                #       the ancestors of the tips because the rest we
 
384
                #       already know. This is *correct* but causes us to
 
385
                #       search too much ancestry.
 
386
                ancestors.update(common_searcher.find_seen_ancestors(ancestors))
 
387
                unique_searcher.stop_searching_any(ancestors)
 
388
                common_searcher.start_searching(ancestors)
 
389
 
 
390
        return unique_searcher, common_searcher
 
391
 
 
392
    def _make_unique_searchers(self, unique_nodes, unique_searcher,
 
393
                               common_searcher):
 
394
        """Create a searcher for all the unique search tips (step 4).
 
395
 
 
396
        As a side effect, the common_searcher will stop searching any nodes
 
397
        that are ancestors of the unique searcher tips.
 
398
 
 
399
        :return: (all_unique_searcher, unique_tip_searchers)
 
400
        """
 
401
        unique_tips = self._remove_simple_descendants(unique_nodes,
 
402
                        self.get_parent_map(unique_nodes))
 
403
 
 
404
        if len(unique_tips) == 1:
 
405
            unique_tip_searchers = []
 
406
            ancestor_all_unique = unique_searcher.find_seen_ancestors(unique_tips)
 
407
        else:
 
408
            unique_tip_searchers = []
 
409
            for tip in unique_tips:
 
410
                revs_to_search = unique_searcher.find_seen_ancestors([tip])
 
411
                revs_to_search.update(
 
412
                    common_searcher.find_seen_ancestors(revs_to_search))
 
413
                searcher = self._make_breadth_first_searcher(revs_to_search)
 
414
                # We don't care about the starting nodes.
 
415
                searcher._label = tip
 
416
                searcher.step()
 
417
                unique_tip_searchers.append(searcher)
 
418
 
 
419
            ancestor_all_unique = None
 
420
            for searcher in unique_tip_searchers:
 
421
                if ancestor_all_unique is None:
 
422
                    ancestor_all_unique = set(searcher.seen)
 
423
                else:
 
424
                    ancestor_all_unique = ancestor_all_unique.intersection(
 
425
                                                searcher.seen)
 
426
        # Collapse all the common nodes into a single searcher
 
427
        all_unique_searcher = self._make_breadth_first_searcher(
 
428
                                ancestor_all_unique)
 
429
        if ancestor_all_unique:
 
430
            # We've seen these nodes in all the searchers, so we'll just go to
 
431
            # the next
 
432
            all_unique_searcher.step()
 
433
 
 
434
            # Stop any search tips that are already known as ancestors of the
 
435
            # unique nodes
 
436
            stopped_common = common_searcher.stop_searching_any(
 
437
                common_searcher.find_seen_ancestors(ancestor_all_unique))
 
438
 
 
439
            total_stopped = 0
 
440
            for searcher in unique_tip_searchers:
 
441
                total_stopped += len(searcher.stop_searching_any(
 
442
                    searcher.find_seen_ancestors(ancestor_all_unique)))
 
443
        if 'graph' in debug.debug_flags:
 
444
            trace.mutter('For %d unique nodes, created %d + 1 unique searchers'
 
445
                         ' (%d stopped search tips, %d common ancestors'
 
446
                         ' (%d stopped common)',
 
447
                         len(unique_nodes), len(unique_tip_searchers),
 
448
                         total_stopped, len(ancestor_all_unique),
 
449
                         len(stopped_common))
 
450
        return all_unique_searcher, unique_tip_searchers
 
451
 
 
452
    def _step_unique_and_common_searchers(self, common_searcher,
 
453
                                          unique_tip_searchers,
 
454
                                          unique_searcher):
 
455
        """Step all the searchers"""
 
456
        newly_seen_common = set(common_searcher.step())
 
457
        newly_seen_unique = set()
 
458
        for searcher in unique_tip_searchers:
 
459
            next = set(searcher.step())
 
460
            next.update(unique_searcher.find_seen_ancestors(next))
 
461
            next.update(common_searcher.find_seen_ancestors(next))
 
462
            for alt_searcher in unique_tip_searchers:
 
463
                if alt_searcher is searcher:
 
464
                    continue
 
465
                next.update(alt_searcher.find_seen_ancestors(next))
 
466
            searcher.start_searching(next)
 
467
            newly_seen_unique.update(next)
 
468
        return newly_seen_common, newly_seen_unique
 
469
 
 
470
    def _find_nodes_common_to_all_unique(self, unique_tip_searchers,
 
471
                                         all_unique_searcher,
 
472
                                         newly_seen_unique, step_all_unique):
 
473
        """Find nodes that are common to all unique_tip_searchers.
 
474
 
 
475
        If it is time, step the all_unique_searcher, and add its nodes to the
 
476
        result.
 
477
        """
 
478
        common_to_all_unique_nodes = newly_seen_unique.copy()
 
479
        for searcher in unique_tip_searchers:
 
480
            common_to_all_unique_nodes.intersection_update(searcher.seen)
 
481
        common_to_all_unique_nodes.intersection_update(
 
482
                                    all_unique_searcher.seen)
 
483
        # Step all-unique less frequently than the other searchers.
 
484
        # In the common case, we don't need to spider out far here, so
 
485
        # avoid doing extra work.
 
486
        if step_all_unique:
 
487
            tstart = time.clock()
 
488
            nodes = all_unique_searcher.step()
 
489
            common_to_all_unique_nodes.update(nodes)
 
490
            if 'graph' in debug.debug_flags:
 
491
                tdelta = time.clock() - tstart
 
492
                trace.mutter('all_unique_searcher step() took %.3fs'
 
493
                             'for %d nodes (%d total), iteration: %s',
 
494
                             tdelta, len(nodes), len(all_unique_searcher.seen),
 
495
                             all_unique_searcher._iterations)
 
496
        return common_to_all_unique_nodes
 
497
 
 
498
    def _collapse_unique_searchers(self, unique_tip_searchers,
 
499
                                   common_to_all_unique_nodes):
 
500
        """Combine searchers that are searching the same tips.
 
501
 
 
502
        When two searchers are searching the same tips, we can stop one of the
 
503
        searchers. We also know that the maximal set of common ancestors is the
 
504
        intersection of the two original searchers.
 
505
 
 
506
        :return: A list of searchers that are searching unique nodes.
 
507
        """
 
508
        # Filter out searchers that don't actually search different
 
509
        # nodes. We already have the ancestry intersection for them
 
510
        unique_search_tips = {}
 
511
        for searcher in unique_tip_searchers:
 
512
            stopped = searcher.stop_searching_any(common_to_all_unique_nodes)
 
513
            will_search_set = frozenset(searcher._next_query)
 
514
            if not will_search_set:
 
515
                if 'graph' in debug.debug_flags:
 
516
                    trace.mutter('Unique searcher %s was stopped.'
 
517
                                 ' (%s iterations) %d nodes stopped',
 
518
                                 searcher._label,
 
519
                                 searcher._iterations,
 
520
                                 len(stopped))
 
521
            elif will_search_set not in unique_search_tips:
 
522
                # This searcher is searching a unique set of nodes, let it
 
523
                unique_search_tips[will_search_set] = [searcher]
 
524
            else:
 
525
                unique_search_tips[will_search_set].append(searcher)
 
526
        # TODO: it might be possible to collapse searchers faster when they
 
527
        #       only have *some* search tips in common.
 
528
        next_unique_searchers = []
 
529
        for searchers in unique_search_tips.itervalues():
 
530
            if len(searchers) == 1:
 
531
                # Searching unique tips, go for it
 
532
                next_unique_searchers.append(searchers[0])
 
533
            else:
 
534
                # These searchers have started searching the same tips, we
 
535
                # don't need them to cover the same ground. The
 
536
                # intersection of their ancestry won't change, so create a
 
537
                # new searcher, combining their histories.
 
538
                next_searcher = searchers[0]
 
539
                for searcher in searchers[1:]:
 
540
                    next_searcher.seen.intersection_update(searcher.seen)
 
541
                if 'graph' in debug.debug_flags:
 
542
                    trace.mutter('Combining %d searchers into a single'
 
543
                                 ' searcher searching %d nodes with'
 
544
                                 ' %d ancestry',
 
545
                                 len(searchers),
 
546
                                 len(next_searcher._next_query),
 
547
                                 len(next_searcher.seen))
 
548
                next_unique_searchers.append(next_searcher)
 
549
        return next_unique_searchers
 
550
 
 
551
    def _refine_unique_nodes(self, unique_searcher, all_unique_searcher,
 
552
                             unique_tip_searchers, common_searcher):
 
553
        """Steps 5-8 of find_unique_ancestors.
 
554
 
 
555
        This function returns when common_searcher has stopped searching for
 
556
        more nodes.
 
557
        """
 
558
        # We step the ancestor_all_unique searcher only every
 
559
        # STEP_UNIQUE_SEARCHER_EVERY steps.
 
560
        step_all_unique_counter = 0
 
561
        # While we still have common nodes to search
 
562
        while common_searcher._next_query:
 
563
            (newly_seen_common,
 
564
             newly_seen_unique) = self._step_unique_and_common_searchers(
 
565
                common_searcher, unique_tip_searchers, unique_searcher)
 
566
            # These nodes are common ancestors of all unique nodes
 
567
            common_to_all_unique_nodes = self._find_nodes_common_to_all_unique(
 
568
                unique_tip_searchers, all_unique_searcher, newly_seen_unique,
 
569
                step_all_unique_counter==0)
 
570
            step_all_unique_counter = ((step_all_unique_counter + 1)
 
571
                                       % STEP_UNIQUE_SEARCHER_EVERY)
 
572
 
 
573
            if newly_seen_common:
 
574
                # If a 'common' node is an ancestor of all unique searchers, we
 
575
                # can stop searching it.
 
576
                common_searcher.stop_searching_any(
 
577
                    all_unique_searcher.seen.intersection(newly_seen_common))
 
578
            if common_to_all_unique_nodes:
 
579
                common_to_all_unique_nodes.update(
 
580
                    common_searcher.find_seen_ancestors(
 
581
                        common_to_all_unique_nodes))
 
582
                # The all_unique searcher can start searching the common nodes
 
583
                # but everyone else can stop.
 
584
                # This is the sort of thing where we would like to not have it
 
585
                # start_searching all of the nodes, but only mark all of them
 
586
                # as seen, and have it search only the actual tips. Otherwise
 
587
                # it is another get_parent_map() traversal for it to figure out
 
588
                # what we already should know.
 
589
                all_unique_searcher.start_searching(common_to_all_unique_nodes)
 
590
                common_searcher.stop_searching_any(common_to_all_unique_nodes)
 
591
 
 
592
            next_unique_searchers = self._collapse_unique_searchers(
 
593
                unique_tip_searchers, common_to_all_unique_nodes)
 
594
            if len(unique_tip_searchers) != len(next_unique_searchers):
 
595
                if 'graph' in debug.debug_flags:
 
596
                    trace.mutter('Collapsed %d unique searchers => %d'
 
597
                                 ' at %s iterations',
 
598
                                 len(unique_tip_searchers),
 
599
                                 len(next_unique_searchers),
 
600
                                 all_unique_searcher._iterations)
 
601
            unique_tip_searchers = next_unique_searchers
 
602
 
 
603
    @symbol_versioning.deprecated_method(symbol_versioning.one_one)
 
604
    def get_parents(self, revisions):
 
605
        """Find revision ids of the parents of a list of revisions
 
606
 
 
607
        A list is returned of the same length as the input.  Each entry
 
608
        is a list of parent ids for the corresponding input revision.
 
609
 
 
610
        [NULL_REVISION] is used as the parent of the first user-committed
 
611
        revision.  Its parent list is empty.
 
612
 
 
613
        If the revision is not present (i.e. a ghost), None is used in place
 
614
        of the list of parents.
 
615
 
 
616
        Deprecated in bzr 1.2 - please see get_parent_map.
 
617
        """
 
618
        parents = self.get_parent_map(revisions)
 
619
        return [parents.get(r, None) for r in revisions]
 
620
 
 
621
    def get_parent_map(self, revisions):
 
622
        """Get a map of key:parent_list for revisions.
 
623
 
 
624
        This implementation delegates to get_parents, for old parent_providers
 
625
        that do not supply get_parent_map.
 
626
        """
 
627
        result = {}
 
628
        for rev, parents in self.get_parents(revisions):
 
629
            if parents is not None:
 
630
                result[rev] = parents
 
631
        return result
 
632
 
 
633
    def _make_breadth_first_searcher(self, revisions):
 
634
        return _BreadthFirstSearcher(revisions, self)
 
635
 
 
636
    def _find_border_ancestors(self, revisions):
 
637
        """Find common ancestors with at least one uncommon descendant.
 
638
 
 
639
        Border ancestors are identified using a breadth-first
 
640
        search starting at the bottom of the graph.  Searches are stopped
 
641
        whenever a node or one of its descendants is determined to be common.
 
642
 
 
643
        This will scale with the number of uncommon ancestors.
 
644
 
 
645
        As well as the border ancestors, a set of seen common ancestors and a
 
646
        list of sets of seen ancestors for each input revision is returned.
 
647
        This allows calculation of graph difference from the results of this
 
648
        operation.
 
649
        """
 
650
        if None in revisions:
 
651
            raise errors.InvalidRevisionId(None, self)
 
652
        common_ancestors = set()
 
653
        searchers = [self._make_breadth_first_searcher([r])
 
654
                     for r in revisions]
 
655
        active_searchers = searchers[:]
 
656
        border_ancestors = set()
 
657
 
 
658
        while True:
 
659
            newly_seen = set()
 
660
            for searcher in searchers:
 
661
                new_ancestors = searcher.step()
 
662
                if new_ancestors:
 
663
                    newly_seen.update(new_ancestors)
 
664
            new_common = set()
 
665
            for revision in newly_seen:
 
666
                if revision in common_ancestors:
 
667
                    # Not a border ancestor because it was seen as common
 
668
                    # already
 
669
                    new_common.add(revision)
 
670
                    continue
 
671
                for searcher in searchers:
 
672
                    if revision not in searcher.seen:
 
673
                        break
 
674
                else:
 
675
                    # This is a border because it is a first common that we see
 
676
                    # after walking for a while.
 
677
                    border_ancestors.add(revision)
 
678
                    new_common.add(revision)
 
679
            if new_common:
 
680
                for searcher in searchers:
 
681
                    new_common.update(searcher.find_seen_ancestors(new_common))
 
682
                for searcher in searchers:
 
683
                    searcher.start_searching(new_common)
 
684
                common_ancestors.update(new_common)
 
685
 
 
686
            # Figure out what the searchers will be searching next, and if
 
687
            # there is only 1 set being searched, then we are done searching,
 
688
            # since all searchers would have to be searching the same data,
 
689
            # thus it *must* be in common.
 
690
            unique_search_sets = set()
 
691
            for searcher in searchers:
 
692
                will_search_set = frozenset(searcher._next_query)
 
693
                if will_search_set not in unique_search_sets:
 
694
                    # This searcher is searching a unique set of nodes, let it
 
695
                    unique_search_sets.add(will_search_set)
 
696
 
 
697
            if len(unique_search_sets) == 1:
 
698
                nodes = unique_search_sets.pop()
 
699
                uncommon_nodes = nodes.difference(common_ancestors)
 
700
                if uncommon_nodes:
 
701
                    raise AssertionError("Somehow we ended up converging"
 
702
                                         " without actually marking them as"
 
703
                                         " in common."
 
704
                                         "\nStart_nodes: %s"
 
705
                                         "\nuncommon_nodes: %s"
 
706
                                         % (revisions, uncommon_nodes))
 
707
                break
 
708
        return border_ancestors, common_ancestors, searchers
 
709
 
 
710
    def heads(self, keys):
 
711
        """Return the heads from amongst keys.
 
712
 
 
713
        This is done by searching the ancestries of each key.  Any key that is
 
714
        reachable from another key is not returned; all the others are.
 
715
 
 
716
        This operation scales with the relative depth between any two keys. If
 
717
        any two keys are completely disconnected all ancestry of both sides
 
718
        will be retrieved.
 
719
 
 
720
        :param keys: An iterable of keys.
 
721
        :return: A set of the heads. Note that as a set there is no ordering
 
722
            information. Callers will need to filter their input to create
 
723
            order if they need it.
 
724
        """
 
725
        candidate_heads = set(keys)
 
726
        if revision.NULL_REVISION in candidate_heads:
 
727
            # NULL_REVISION is only a head if it is the only entry
 
728
            candidate_heads.remove(revision.NULL_REVISION)
 
729
            if not candidate_heads:
 
730
                return set([revision.NULL_REVISION])
 
731
        if len(candidate_heads) < 2:
 
732
            return candidate_heads
 
733
        searchers = dict((c, self._make_breadth_first_searcher([c]))
 
734
                          for c in candidate_heads)
 
735
        active_searchers = dict(searchers)
 
736
        # skip over the actual candidate for each searcher
 
737
        for searcher in active_searchers.itervalues():
 
738
            searcher.next()
 
739
        # The common walker finds nodes that are common to two or more of the
 
740
        # input keys, so that we don't access all history when a currently
 
741
        # uncommon search point actually meets up with something behind a
 
742
        # common search point. Common search points do not keep searches
 
743
        # active; they just allow us to make searches inactive without
 
744
        # accessing all history.
 
745
        common_walker = self._make_breadth_first_searcher([])
 
746
        while len(active_searchers) > 0:
 
747
            ancestors = set()
 
748
            # advance searches
 
749
            try:
 
750
                common_walker.next()
 
751
            except StopIteration:
 
752
                # No common points being searched at this time.
 
753
                pass
 
754
            for candidate in active_searchers.keys():
 
755
                try:
 
756
                    searcher = active_searchers[candidate]
 
757
                except KeyError:
 
758
                    # rare case: we deleted candidate in a previous iteration
 
759
                    # through this for loop, because it was determined to be
 
760
                    # a descendant of another candidate.
 
761
                    continue
 
762
                try:
 
763
                    ancestors.update(searcher.next())
 
764
                except StopIteration:
 
765
                    del active_searchers[candidate]
 
766
                    continue
 
767
            # process found nodes
 
768
            new_common = set()
 
769
            for ancestor in ancestors:
 
770
                if ancestor in candidate_heads:
 
771
                    candidate_heads.remove(ancestor)
 
772
                    del searchers[ancestor]
 
773
                    if ancestor in active_searchers:
 
774
                        del active_searchers[ancestor]
 
775
                # it may meet up with a known common node
 
776
                if ancestor in common_walker.seen:
 
777
                    # some searcher has encountered our known common nodes:
 
778
                    # just stop it
 
779
                    ancestor_set = set([ancestor])
 
780
                    for searcher in searchers.itervalues():
 
781
                        searcher.stop_searching_any(ancestor_set)
 
782
                else:
 
783
                    # or it may have been just reached by all the searchers:
 
784
                    for searcher in searchers.itervalues():
 
785
                        if ancestor not in searcher.seen:
 
786
                            break
 
787
                    else:
 
788
                        # The final active searcher has just reached this node,
 
789
                        # making it be known as a descendant of all candidates,
 
790
                        # so we can stop searching it, and any seen ancestors
 
791
                        new_common.add(ancestor)
 
792
                        for searcher in searchers.itervalues():
 
793
                            seen_ancestors =\
 
794
                                searcher.find_seen_ancestors([ancestor])
 
795
                            searcher.stop_searching_any(seen_ancestors)
 
796
            common_walker.start_searching(new_common)
 
797
        return candidate_heads
 
798
 
 
799
    def find_merge_order(self, tip_revision_id, lca_revision_ids):
 
800
        """Find the order that each revision was merged into tip.
 
801
 
 
802
        This basically just walks backwards with a stack, and walks left-first
 
803
        until it finds a node to stop.
 
804
        """
 
805
        if len(lca_revision_ids) == 1:
 
806
            return list(lca_revision_ids)
 
807
        looking_for = set(lca_revision_ids)
 
808
        # TODO: Is there a way we could do this "faster" by batching up the
 
809
        # get_parent_map requests?
 
810
        # TODO: Should we also be culling the ancestry search right away? We
 
811
        # could add looking_for to the "stop" list, and walk their
 
812
        # ancestry in batched mode. The flip side is it might mean we walk a
 
813
        # lot of "stop" nodes, rather than only the minimum.
 
814
        # Then again, without it we may trace back into ancestry we could have
 
815
        # stopped early.
 
816
        stack = [tip_revision_id]
 
817
        found = []
 
818
        stop = set()
 
819
        while stack and looking_for:
 
820
            next = stack.pop()
 
821
            stop.add(next)
 
822
            if next in looking_for:
 
823
                found.append(next)
 
824
                looking_for.remove(next)
 
825
                if len(looking_for) == 1:
 
826
                    found.append(looking_for.pop())
 
827
                    break
 
828
                continue
 
829
            parent_ids = self.get_parent_map([next]).get(next, None)
 
830
            if not parent_ids: # Ghost, nothing to search here
 
831
                continue
 
832
            for parent_id in reversed(parent_ids):
 
833
                # TODO: (performance) We see the parent at this point, but we
 
834
                #       wait to mark it until later to make sure we get left
 
835
                #       parents before right parents. However, instead of
 
836
                #       waiting until we have traversed enough parents, we
 
837
                #       could instead note that we've found it, and once all
 
838
                #       parents are in the stack, just reverse iterate the
 
839
                #       stack for them.
 
840
                if parent_id not in stop:
 
841
                    # this will need to be searched
 
842
                    stack.append(parent_id)
 
843
                stop.add(parent_id)
 
844
        return found
 
845
 
 
846
    def find_unique_lca(self, left_revision, right_revision,
 
847
                        count_steps=False):
 
848
        """Find a unique LCA.
 
849
 
 
850
        Find lowest common ancestors.  If there is no unique  common
 
851
        ancestor, find the lowest common ancestors of those ancestors.
 
852
 
 
853
        Iteration stops when a unique lowest common ancestor is found.
 
854
        The graph origin is necessarily a unique lowest common ancestor.
 
855
 
 
856
        Note that None is not an acceptable substitute for NULL_REVISION.
 
857
        in the input for this method.
 
858
 
 
859
        :param count_steps: If True, the return value will be a tuple of
 
860
            (unique_lca, steps) where steps is the number of times that
 
861
            find_lca was run.  If False, only unique_lca is returned.
 
862
        """
 
863
        revisions = [left_revision, right_revision]
 
864
        steps = 0
 
865
        while True:
 
866
            steps += 1
 
867
            lca = self.find_lca(*revisions)
 
868
            if len(lca) == 1:
 
869
                result = lca.pop()
 
870
                if count_steps:
 
871
                    return result, steps
 
872
                else:
 
873
                    return result
 
874
            if len(lca) == 0:
 
875
                raise errors.NoCommonAncestor(left_revision, right_revision)
 
876
            revisions = lca
 
877
 
 
878
    def iter_ancestry(self, revision_ids):
 
879
        """Iterate the ancestry of this revision.
 
880
 
 
881
        :param revision_ids: Nodes to start the search
 
882
        :return: Yield tuples mapping a revision_id to its parents for the
 
883
            ancestry of revision_id.
 
884
            Ghosts will be returned with None as their parents, and nodes
 
885
            with no parents will have NULL_REVISION as their only parent. (As
 
886
            defined by get_parent_map.)
 
887
            There will also be a node for (NULL_REVISION, ())
 
888
        """
 
889
        pending = set(revision_ids)
 
890
        processed = set()
 
891
        while pending:
 
892
            processed.update(pending)
 
893
            next_map = self.get_parent_map(pending)
 
894
            next_pending = set()
 
895
            for item in next_map.iteritems():
 
896
                yield item
 
897
                next_pending.update(p for p in item[1] if p not in processed)
 
898
            ghosts = pending.difference(next_map)
 
899
            for ghost in ghosts:
 
900
                yield (ghost, None)
 
901
            pending = next_pending
 
902
 
 
903
    def iter_topo_order(self, revisions):
 
904
        """Iterate through the input revisions in topological order.
 
905
 
 
906
        This sorting only ensures that parents come before their children.
 
907
        An ancestor may sort after a descendant if the relationship is not
 
908
        visible in the supplied list of revisions.
 
909
        """
 
910
        sorter = tsort.TopoSorter(self.get_parent_map(revisions))
 
911
        return sorter.iter_topo_order()
 
912
 
 
913
    def is_ancestor(self, candidate_ancestor, candidate_descendant):
 
914
        """Determine whether a revision is an ancestor of another.
 
915
 
 
916
        We answer this using heads() as heads() has the logic to perform the
 
917
        smallest number of parent lookups to determine the ancestral
 
918
        relationship between N revisions.
 
919
        """
 
920
        return set([candidate_descendant]) == self.heads(
 
921
            [candidate_ancestor, candidate_descendant])
 
922
 
 
923
    def is_between(self, revid, lower_bound_revid, upper_bound_revid):
 
924
        """Determine whether a revision is between two others.
 
925
 
 
926
        returns true if and only if:
 
927
        lower_bound_revid <= revid <= upper_bound_revid
 
928
        """
 
929
        return ((upper_bound_revid is None or
 
930
                    self.is_ancestor(revid, upper_bound_revid)) and
 
931
               (lower_bound_revid is None or
 
932
                    self.is_ancestor(lower_bound_revid, revid)))
 
933
 
 
934
    def _search_for_extra_common(self, common, searchers):
 
935
        """Make sure that unique nodes are genuinely unique.
 
936
 
 
937
        After _find_border_ancestors, all nodes marked "common" are indeed
 
938
        common. Some of the nodes considered unique are not, due to history
 
939
        shortcuts stopping the searches early.
 
940
 
 
941
        We know that we have searched enough when all common search tips are
 
942
        descended from all unique (uncommon) nodes because we know that a node
 
943
        cannot be an ancestor of its own ancestor.
 
944
 
 
945
        :param common: A set of common nodes
 
946
        :param searchers: The searchers returned from _find_border_ancestors
 
947
        :return: None
 
948
        """
 
949
        # Basic algorithm...
 
950
        #   A) The passed in searchers should all be on the same tips, thus
 
951
        #      they should be considered the "common" searchers.
 
952
        #   B) We find the difference between the searchers, these are the
 
953
        #      "unique" nodes for each side.
 
954
        #   C) We do a quick culling so that we only start searching from the
 
955
        #      more interesting unique nodes. (A unique ancestor is more
 
956
        #      interesting than any of its children.)
 
957
        #   D) We start searching for ancestors common to all unique nodes.
 
958
        #   E) We have the common searchers stop searching any ancestors of
 
959
        #      nodes found by (D)
 
960
        #   F) When there are no more common search tips, we stop
 
961
 
 
962
        # TODO: We need a way to remove unique_searchers when they overlap with
 
963
        #       other unique searchers.
 
964
        if len(searchers) != 2:
 
965
            raise NotImplementedError(
 
966
                "Algorithm not yet implemented for > 2 searchers")
 
967
        common_searchers = searchers
 
968
        left_searcher = searchers[0]
 
969
        right_searcher = searchers[1]
 
970
        unique = left_searcher.seen.symmetric_difference(right_searcher.seen)
 
971
        if not unique: # No unique nodes, nothing to do
 
972
            return
 
973
        total_unique = len(unique)
 
974
        unique = self._remove_simple_descendants(unique,
 
975
                    self.get_parent_map(unique))
 
976
        simple_unique = len(unique)
 
977
 
 
978
        unique_searchers = []
 
979
        for revision_id in unique:
 
980
            if revision_id in left_searcher.seen:
 
981
                parent_searcher = left_searcher
 
982
            else:
 
983
                parent_searcher = right_searcher
 
984
            revs_to_search = parent_searcher.find_seen_ancestors([revision_id])
 
985
            if not revs_to_search: # XXX: This shouldn't be possible
 
986
                revs_to_search = [revision_id]
 
987
            searcher = self._make_breadth_first_searcher(revs_to_search)
 
988
            # We don't care about the starting nodes.
 
989
            searcher.step()
 
990
            unique_searchers.append(searcher)
 
991
 
 
992
        # possible todo: aggregate the common searchers into a single common
 
993
        #   searcher, just make sure that we include the nodes into the .seen
 
994
        #   properties of the original searchers
 
995
 
 
996
        ancestor_all_unique = None
 
997
        for searcher in unique_searchers:
 
998
            if ancestor_all_unique is None:
 
999
                ancestor_all_unique = set(searcher.seen)
 
1000
            else:
 
1001
                ancestor_all_unique = ancestor_all_unique.intersection(
 
1002
                                            searcher.seen)
 
1003
 
 
1004
        trace.mutter('Started %s unique searchers for %s unique revisions',
 
1005
                     simple_unique, total_unique)
 
1006
 
 
1007
        while True: # If we have no more nodes we have nothing to do
 
1008
            newly_seen_common = set()
 
1009
            for searcher in common_searchers:
 
1010
                newly_seen_common.update(searcher.step())
 
1011
            newly_seen_unique = set()
 
1012
            for searcher in unique_searchers:
 
1013
                newly_seen_unique.update(searcher.step())
 
1014
            new_common_unique = set()
 
1015
            for revision in newly_seen_unique:
 
1016
                for searcher in unique_searchers:
 
1017
                    if revision not in searcher.seen:
 
1018
                        break
 
1019
                else:
 
1020
                    # This is a border because it is a first common that we see
 
1021
                    # after walking for a while.
 
1022
                    new_common_unique.add(revision)
 
1023
            if newly_seen_common:
 
1024
                # These are nodes descended from one of the 'common' searchers.
 
1025
                # Make sure all searchers are on the same page
 
1026
                for searcher in common_searchers:
 
1027
                    newly_seen_common.update(
 
1028
                        searcher.find_seen_ancestors(newly_seen_common))
 
1029
                # We start searching the whole ancestry. It is a bit wasteful,
 
1030
                # though. We really just want to mark all of these nodes as
 
1031
                # 'seen' and then start just the tips. However, it requires a
 
1032
                # get_parent_map() call to figure out the tips anyway, and all
 
1033
                # redundant requests should be fairly fast.
 
1034
                for searcher in common_searchers:
 
1035
                    searcher.start_searching(newly_seen_common)
 
1036
 
 
1037
                # If a 'common' node is an ancestor of all unique searchers, we
 
1038
                # can stop searching it.
 
1039
                stop_searching_common = ancestor_all_unique.intersection(
 
1040
                                            newly_seen_common)
 
1041
                if stop_searching_common:
 
1042
                    for searcher in common_searchers:
 
1043
                        searcher.stop_searching_any(stop_searching_common)
 
1044
            if new_common_unique:
 
1045
                # We found some ancestors that are common
 
1046
                for searcher in unique_searchers:
 
1047
                    new_common_unique.update(
 
1048
                        searcher.find_seen_ancestors(new_common_unique))
 
1049
                # Since these are common, we can grab another set of ancestors
 
1050
                # that we have seen
 
1051
                for searcher in common_searchers:
 
1052
                    new_common_unique.update(
 
1053
                        searcher.find_seen_ancestors(new_common_unique))
 
1054
 
 
1055
                # We can tell all of the unique searchers to start at these
 
1056
                # nodes, and tell all of the common searchers to *stop*
 
1057
                # searching these nodes
 
1058
                for searcher in unique_searchers:
 
1059
                    searcher.start_searching(new_common_unique)
 
1060
                for searcher in common_searchers:
 
1061
                    searcher.stop_searching_any(new_common_unique)
 
1062
                ancestor_all_unique.update(new_common_unique)
 
1063
 
 
1064
                # Filter out searchers that don't actually search different
 
1065
                # nodes. We already have the ancestry intersection for them
 
1066
                next_unique_searchers = []
 
1067
                unique_search_sets = set()
 
1068
                for searcher in unique_searchers:
 
1069
                    will_search_set = frozenset(searcher._next_query)
 
1070
                    if will_search_set not in unique_search_sets:
 
1071
                        # This searcher is searching a unique set of nodes, let it
 
1072
                        unique_search_sets.add(will_search_set)
 
1073
                        next_unique_searchers.append(searcher)
 
1074
                unique_searchers = next_unique_searchers
 
1075
            for searcher in common_searchers:
 
1076
                if searcher._next_query:
 
1077
                    break
 
1078
            else:
 
1079
                # All common searcher have stopped searching
 
1080
                return
 
1081
 
 
1082
    def _remove_simple_descendants(self, revisions, parent_map):
 
1083
        """remove revisions which are children of other ones in the set
 
1084
 
 
1085
        This doesn't do any graph searching, it just checks the immediate
 
1086
        parent_map to find if there are any children which can be removed.
 
1087
 
 
1088
        :param revisions: A set of revision_ids
 
1089
        :return: A set of revision_ids with the children removed
 
1090
        """
 
1091
        simple_ancestors = revisions.copy()
 
1092
        # TODO: jam 20071214 we *could* restrict it to searching only the
 
1093
        #       parent_map of revisions already present in 'revisions', but
 
1094
        #       considering the general use case, I think this is actually
 
1095
        #       better.
 
1096
 
 
1097
        # This is the same as the following loop. I don't know that it is any
 
1098
        # faster.
 
1099
        ## simple_ancestors.difference_update(r for r, p_ids in parent_map.iteritems()
 
1100
        ##     if p_ids is not None and revisions.intersection(p_ids))
 
1101
        ## return simple_ancestors
 
1102
 
 
1103
        # Yet Another Way, invert the parent map (which can be cached)
 
1104
        ## descendants = {}
 
1105
        ## for revision_id, parent_ids in parent_map.iteritems():
 
1106
        ##   for p_id in parent_ids:
 
1107
        ##       descendants.setdefault(p_id, []).append(revision_id)
 
1108
        ## for revision in revisions.intersection(descendants):
 
1109
        ##   simple_ancestors.difference_update(descendants[revision])
 
1110
        ## return simple_ancestors
 
1111
        for revision, parent_ids in parent_map.iteritems():
 
1112
            if parent_ids is None:
 
1113
                continue
 
1114
            for parent_id in parent_ids:
 
1115
                if parent_id in revisions:
 
1116
                    # This node has a parent present in the set, so we can
 
1117
                    # remove it
 
1118
                    simple_ancestors.discard(revision)
 
1119
                    break
 
1120
        return simple_ancestors
 
1121
 
 
1122
 
 
1123
class HeadsCache(object):
 
1124
    """A cache of results for graph heads calls."""
 
1125
 
 
1126
    def __init__(self, graph):
 
1127
        self.graph = graph
 
1128
        self._heads = {}
 
1129
 
 
1130
    def heads(self, keys):
 
1131
        """Return the heads of keys.
 
1132
 
 
1133
        This matches the API of Graph.heads(), specifically the return value is
 
1134
        a set which can be mutated, and ordering of the input is not preserved
 
1135
        in the output.
 
1136
 
 
1137
        :see also: Graph.heads.
 
1138
        :param keys: The keys to calculate heads for.
 
1139
        :return: A set containing the heads, which may be mutated without
 
1140
            affecting future lookups.
 
1141
        """
 
1142
        keys = frozenset(keys)
 
1143
        try:
 
1144
            return set(self._heads[keys])
 
1145
        except KeyError:
 
1146
            heads = self.graph.heads(keys)
 
1147
            self._heads[keys] = heads
 
1148
            return set(heads)
 
1149
 
 
1150
 
 
1151
class FrozenHeadsCache(object):
 
1152
    """Cache heads() calls, assuming the caller won't modify them."""
 
1153
 
 
1154
    def __init__(self, graph):
 
1155
        self.graph = graph
 
1156
        self._heads = {}
 
1157
 
 
1158
    def heads(self, keys):
 
1159
        """Return the heads of keys.
 
1160
 
 
1161
        Similar to Graph.heads(). The main difference is that the return value
 
1162
        is a frozen set which cannot be mutated.
 
1163
 
 
1164
        :see also: Graph.heads.
 
1165
        :param keys: The keys to calculate heads for.
 
1166
        :return: A frozenset containing the heads.
 
1167
        """
 
1168
        keys = frozenset(keys)
 
1169
        try:
 
1170
            return self._heads[keys]
 
1171
        except KeyError:
 
1172
            heads = frozenset(self.graph.heads(keys))
 
1173
            self._heads[keys] = heads
 
1174
            return heads
 
1175
 
 
1176
    def cache(self, keys, heads):
 
1177
        """Store a known value."""
 
1178
        self._heads[frozenset(keys)] = frozenset(heads)
 
1179
 
 
1180
 
 
1181
class _BreadthFirstSearcher(object):
 
1182
    """Parallel search breadth-first the ancestry of revisions.
 
1183
 
 
1184
    This class implements the iterator protocol, but additionally
 
1185
    1. provides a set of seen ancestors, and
 
1186
    2. allows some ancestries to be unsearched, via stop_searching_any
 
1187
    """
 
1188
 
 
1189
    def __init__(self, revisions, parents_provider):
 
1190
        self._iterations = 0
 
1191
        self._next_query = set(revisions)
 
1192
        self.seen = set()
 
1193
        self._started_keys = set(self._next_query)
 
1194
        self._stopped_keys = set()
 
1195
        self._parents_provider = parents_provider
 
1196
        self._returning = 'next_with_ghosts'
 
1197
        self._current_present = set()
 
1198
        self._current_ghosts = set()
 
1199
        self._current_parents = {}
 
1200
 
 
1201
    def __repr__(self):
 
1202
        if self._iterations:
 
1203
            prefix = "searching"
 
1204
        else:
 
1205
            prefix = "starting"
 
1206
        search = '%s=%r' % (prefix, list(self._next_query))
 
1207
        return ('_BreadthFirstSearcher(iterations=%d, %s,'
 
1208
                ' seen=%r)' % (self._iterations, search, list(self.seen)))
 
1209
 
 
1210
    def get_result(self):
 
1211
        """Get a SearchResult for the current state of this searcher.
 
1212
 
 
1213
        :return: A SearchResult for this search so far. The SearchResult is
 
1214
            static - the search can be advanced and the search result will not
 
1215
            be invalidated or altered.
 
1216
        """
 
1217
        if self._returning == 'next':
 
1218
            # We have to know the current nodes children to be able to list the
 
1219
            # exclude keys for them. However, while we could have a second
 
1220
            # look-ahead result buffer and shuffle things around, this method
 
1221
            # is typically only called once per search - when memoising the
 
1222
            # results of the search.
 
1223
            found, ghosts, next, parents = self._do_query(self._next_query)
 
1224
            # pretend we didn't query: perhaps we should tweak _do_query to be
 
1225
            # entirely stateless?
 
1226
            self.seen.difference_update(next)
 
1227
            next_query = next.union(ghosts)
 
1228
        else:
 
1229
            next_query = self._next_query
 
1230
        excludes = self._stopped_keys.union(next_query)
 
1231
        included_keys = self.seen.difference(excludes)
 
1232
        return SearchResult(self._started_keys, excludes, len(included_keys),
 
1233
            included_keys)
 
1234
 
 
1235
    def step(self):
 
1236
        try:
 
1237
            return self.next()
 
1238
        except StopIteration:
 
1239
            return ()
 
1240
 
 
1241
    def next(self):
 
1242
        """Return the next ancestors of this revision.
 
1243
 
 
1244
        Ancestors are returned in the order they are seen in a breadth-first
 
1245
        traversal.  No ancestor will be returned more than once. Ancestors are
 
1246
        returned before their parentage is queried, so ghosts and missing
 
1247
        revisions (including the start revisions) are included in the result.
 
1248
        This can save a round trip in LCA style calculation by allowing
 
1249
        convergence to be detected without reading the data for the revision
 
1250
        the convergence occurs on.
 
1251
 
 
1252
        :return: A set of revision_ids.
 
1253
        """
 
1254
        if self._returning != 'next':
 
1255
            # switch to returning the query, not the results.
 
1256
            self._returning = 'next'
 
1257
            self._iterations += 1
 
1258
        else:
 
1259
            self._advance()
 
1260
        if len(self._next_query) == 0:
 
1261
            raise StopIteration()
 
1262
        # We have seen what we're querying at this point as we are returning
 
1263
        # the query, not the results.
 
1264
        self.seen.update(self._next_query)
 
1265
        return self._next_query
 
1266
 
 
1267
    def next_with_ghosts(self):
 
1268
        """Return the next found ancestors, with ghosts split out.
 
1269
 
 
1270
        Ancestors are returned in the order they are seen in a breadth-first
 
1271
        traversal.  No ancestor will be returned more than once. Ancestors are
 
1272
        returned only after asking for their parents, which allows us to detect
 
1273
        which revisions are ghosts and which are not.
 
1274
 
 
1275
        :return: A tuple with (present ancestors, ghost ancestors) sets.
 
1276
        """
 
1277
        if self._returning != 'next_with_ghosts':
 
1278
            # switch to returning the results, not the current query.
 
1279
            self._returning = 'next_with_ghosts'
 
1280
            self._advance()
 
1281
        if len(self._next_query) == 0:
 
1282
            raise StopIteration()
 
1283
        self._advance()
 
1284
        return self._current_present, self._current_ghosts
 
1285
 
 
1286
    def _advance(self):
 
1287
        """Advance the search.
 
1288
 
 
1289
        Updates self.seen, self._next_query, self._current_present,
 
1290
        self._current_ghosts, self._current_parents and self._iterations.
 
1291
        """
 
1292
        self._iterations += 1
 
1293
        found, ghosts, next, parents = self._do_query(self._next_query)
 
1294
        self._current_present = found
 
1295
        self._current_ghosts = ghosts
 
1296
        self._next_query = next
 
1297
        self._current_parents = parents
 
1298
        # ghosts are implicit stop points, otherwise the search cannot be
 
1299
        # repeated when ghosts are filled.
 
1300
        self._stopped_keys.update(ghosts)
 
1301
 
 
1302
    def _do_query(self, revisions):
 
1303
        """Query for revisions.
 
1304
 
 
1305
        Adds revisions to the seen set.
 
1306
 
 
1307
        :param revisions: Revisions to query.
 
1308
        :return: A tuple: (set(found_revisions), set(ghost_revisions),
 
1309
           set(parents_of_found_revisions), dict(found_revisions:parents)).
 
1310
        """
 
1311
        found_revisions = set()
 
1312
        parents_of_found = set()
 
1313
        # revisions may contain nodes that point to other nodes in revisions:
 
1314
        # we want to filter them out.
 
1315
        self.seen.update(revisions)
 
1316
        parent_map = self._parents_provider.get_parent_map(revisions)
 
1317
        found_revisions.update(parent_map)
 
1318
        for rev_id, parents in parent_map.iteritems():
 
1319
            if parents is None:
 
1320
                continue
 
1321
            new_found_parents = [p for p in parents if p not in self.seen]
 
1322
            if new_found_parents:
 
1323
                # Calling set.update() with an empty generator is actually
 
1324
                # rather expensive.
 
1325
                parents_of_found.update(new_found_parents)
 
1326
        ghost_revisions = revisions - found_revisions
 
1327
        return found_revisions, ghost_revisions, parents_of_found, parent_map
 
1328
 
 
1329
    def __iter__(self):
 
1330
        return self
 
1331
 
 
1332
    def find_seen_ancestors(self, revisions):
 
1333
        """Find ancestors of these revisions that have already been seen.
 
1334
 
 
1335
        This function generally makes the assumption that querying for the
 
1336
        parents of a node that has already been queried is reasonably cheap.
 
1337
        (eg, not a round trip to a remote host).
 
1338
        """
 
1339
        # TODO: Often we might ask one searcher for its seen ancestors, and
 
1340
        #       then ask another searcher the same question. This can result in
 
1341
        #       searching the same revisions repeatedly if the two searchers
 
1342
        #       have a lot of overlap.
 
1343
        all_seen = self.seen
 
1344
        pending = set(revisions).intersection(all_seen)
 
1345
        seen_ancestors = set(pending)
 
1346
 
 
1347
        if self._returning == 'next':
 
1348
            # self.seen contains what nodes have been returned, not what nodes
 
1349
            # have been queried. We don't want to probe for nodes that haven't
 
1350
            # been searched yet.
 
1351
            not_searched_yet = self._next_query
 
1352
        else:
 
1353
            not_searched_yet = ()
 
1354
        pending.difference_update(not_searched_yet)
 
1355
        get_parent_map = self._parents_provider.get_parent_map
 
1356
        while pending:
 
1357
            parent_map = get_parent_map(pending)
 
1358
            all_parents = []
 
1359
            # We don't care if it is a ghost, since it can't be seen if it is
 
1360
            # a ghost
 
1361
            for parent_ids in parent_map.itervalues():
 
1362
                all_parents.extend(parent_ids)
 
1363
            next_pending = all_seen.intersection(all_parents).difference(seen_ancestors)
 
1364
            seen_ancestors.update(next_pending)
 
1365
            next_pending.difference_update(not_searched_yet)
 
1366
            pending = next_pending
 
1367
 
 
1368
        return seen_ancestors
 
1369
 
 
1370
    def stop_searching_any(self, revisions):
 
1371
        """
 
1372
        Remove any of the specified revisions from the search list.
 
1373
 
 
1374
        None of the specified revisions are required to be present in the
 
1375
        search list.
 
1376
 
 
1377
        It is okay to call stop_searching_any() for revisions which were seen
 
1378
        in previous iterations. It is the callers responsibility to call
 
1379
        find_seen_ancestors() to make sure that current search tips that are
 
1380
        ancestors of those revisions are also stopped.  All explicitly stopped
 
1381
        revisions will be excluded from the search result's get_keys(), though.
 
1382
        """
 
1383
        # TODO: does this help performance?
 
1384
        # if not revisions:
 
1385
        #     return set()
 
1386
        revisions = frozenset(revisions)
 
1387
        if self._returning == 'next':
 
1388
            stopped = self._next_query.intersection(revisions)
 
1389
            self._next_query = self._next_query.difference(revisions)
 
1390
        else:
 
1391
            stopped_present = self._current_present.intersection(revisions)
 
1392
            stopped = stopped_present.union(
 
1393
                self._current_ghosts.intersection(revisions))
 
1394
            self._current_present.difference_update(stopped)
 
1395
            self._current_ghosts.difference_update(stopped)
 
1396
            # stopping 'x' should stop returning parents of 'x', but
 
1397
            # not if 'y' always references those same parents
 
1398
            stop_rev_references = {}
 
1399
            for rev in stopped_present:
 
1400
                for parent_id in self._current_parents[rev]:
 
1401
                    if parent_id not in stop_rev_references:
 
1402
                        stop_rev_references[parent_id] = 0
 
1403
                    stop_rev_references[parent_id] += 1
 
1404
            # if only the stopped revisions reference it, the ref count will be
 
1405
            # 0 after this loop
 
1406
            for parents in self._current_parents.itervalues():
 
1407
                for parent_id in parents:
 
1408
                    try:
 
1409
                        stop_rev_references[parent_id] -= 1
 
1410
                    except KeyError:
 
1411
                        pass
 
1412
            stop_parents = set()
 
1413
            for rev_id, refs in stop_rev_references.iteritems():
 
1414
                if refs == 0:
 
1415
                    stop_parents.add(rev_id)
 
1416
            self._next_query.difference_update(stop_parents)
 
1417
        self._stopped_keys.update(stopped)
 
1418
        self._stopped_keys.update(revisions)
 
1419
        return stopped
 
1420
 
 
1421
    def start_searching(self, revisions):
 
1422
        """Add revisions to the search.
 
1423
 
 
1424
        The parents of revisions will be returned from the next call to next()
 
1425
        or next_with_ghosts(). If next_with_ghosts was the most recently used
 
1426
        next* call then the return value is the result of looking up the
 
1427
        ghost/not ghost status of revisions. (A tuple (present, ghosted)).
 
1428
        """
 
1429
        revisions = frozenset(revisions)
 
1430
        self._started_keys.update(revisions)
 
1431
        new_revisions = revisions.difference(self.seen)
 
1432
        if self._returning == 'next':
 
1433
            self._next_query.update(new_revisions)
 
1434
            self.seen.update(new_revisions)
 
1435
        else:
 
1436
            # perform a query on revisions
 
1437
            revs, ghosts, query, parents = self._do_query(revisions)
 
1438
            self._stopped_keys.update(ghosts)
 
1439
            self._current_present.update(revs)
 
1440
            self._current_ghosts.update(ghosts)
 
1441
            self._next_query.update(query)
 
1442
            self._current_parents.update(parents)
 
1443
            return revs, ghosts
 
1444
 
 
1445
 
 
1446
class SearchResult(object):
 
1447
    """The result of a breadth first search.
 
1448
 
 
1449
    A SearchResult provides the ability to reconstruct the search or access a
 
1450
    set of the keys the search found.
 
1451
    """
 
1452
 
 
1453
    def __init__(self, start_keys, exclude_keys, key_count, keys):
 
1454
        """Create a SearchResult.
 
1455
 
 
1456
        :param start_keys: The keys the search started at.
 
1457
        :param exclude_keys: The keys the search excludes.
 
1458
        :param key_count: The total number of keys (from start to but not
 
1459
            including exclude).
 
1460
        :param keys: The keys the search found. Note that in future we may get
 
1461
            a SearchResult from a smart server, in which case the keys list is
 
1462
            not necessarily immediately available.
 
1463
        """
 
1464
        self._recipe = (start_keys, exclude_keys, key_count)
 
1465
        self._keys = frozenset(keys)
 
1466
 
 
1467
    def get_recipe(self):
 
1468
        """Return a recipe that can be used to replay this search.
 
1469
 
 
1470
        The recipe allows reconstruction of the same results at a later date
 
1471
        without knowing all the found keys. The essential elements are a list
 
1472
        of keys to start and and to stop at. In order to give reproducible
 
1473
        results when ghosts are encountered by a search they are automatically
 
1474
        added to the exclude list (or else ghost filling may alter the
 
1475
        results).
 
1476
 
 
1477
        :return: A tuple (start_keys_set, exclude_keys_set, revision_count). To
 
1478
            recreate the results of this search, create a breadth first
 
1479
            searcher on the same graph starting at start_keys. Then call next()
 
1480
            (or next_with_ghosts()) repeatedly, and on every result, call
 
1481
            stop_searching_any on any keys from the exclude_keys set. The
 
1482
            revision_count value acts as a trivial cross-check - the found
 
1483
            revisions of the new search should have as many elements as
 
1484
            revision_count. If it does not, then additional revisions have been
 
1485
            ghosted since the search was executed the first time and the second
 
1486
            time.
 
1487
        """
 
1488
        return self._recipe
 
1489
 
 
1490
    def get_keys(self):
 
1491
        """Return the keys found in this search.
 
1492
 
 
1493
        :return: A set of keys.
 
1494
        """
 
1495
        return self._keys
 
1496
 
 
1497
 
 
1498
def collapse_linear_regions(parent_map):
 
1499
    """Collapse regions of the graph that are 'linear'.
 
1500
 
 
1501
    For example::
 
1502
 
 
1503
      A:[B], B:[C]
 
1504
 
 
1505
    can be collapsed by removing B and getting::
 
1506
 
 
1507
      A:[C]
 
1508
 
 
1509
    :param parent_map: A dictionary mapping children to their parents
 
1510
    :return: Another dictionary with 'linear' chains collapsed
 
1511
    """
 
1512
    # Note: this isn't a strictly minimal collapse. For example:
 
1513
    #   A
 
1514
    #  / \
 
1515
    # B   C
 
1516
    #  \ /
 
1517
    #   D
 
1518
    #   |
 
1519
    #   E
 
1520
    # Will not have 'D' removed, even though 'E' could fit. Also:
 
1521
    #   A
 
1522
    #   |    A
 
1523
    #   B => |
 
1524
    #   |    C
 
1525
    #   C
 
1526
    # A and C are both kept because they are edges of the graph. We *could* get
 
1527
    # rid of A if we wanted.
 
1528
    #   A
 
1529
    #  / \
 
1530
    # B   C
 
1531
    # |   |
 
1532
    # D   E
 
1533
    #  \ /
 
1534
    #   F
 
1535
    # Will not have any nodes removed, even though you do have an
 
1536
    # 'uninteresting' linear D->B and E->C
 
1537
    children = {}
 
1538
    for child, parents in parent_map.iteritems():
 
1539
        children.setdefault(child, [])
 
1540
        for p in parents:
 
1541
            children.setdefault(p, []).append(child)
 
1542
 
 
1543
    orig_children = dict(children)
 
1544
    removed = set()
 
1545
    result = dict(parent_map)
 
1546
    for node in parent_map:
 
1547
        parents = result[node]
 
1548
        if len(parents) == 1:
 
1549
            parent_children = children[parents[0]]
 
1550
            if len(parent_children) != 1:
 
1551
                # This is not the only child
 
1552
                continue
 
1553
            node_children = children[node]
 
1554
            if len(node_children) != 1:
 
1555
                continue
 
1556
            child_parents = result.get(node_children[0], None)
 
1557
            if len(child_parents) != 1:
 
1558
                # This is not its only parent
 
1559
                continue
 
1560
            # The child of this node only points at it, and the parent only has
 
1561
            # this as a child. remove this node, and join the others together
 
1562
            result[node_children[0]] = parents
 
1563
            children[parents[0]] = node_children
 
1564
            del result[node]
 
1565
            del children[node]
 
1566
            removed.add(node)
 
1567
 
 
1568
    return result