~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tsort.py

  • Committer: John Arbash Meinel
  • Date: 2008-05-28 23:20:33 UTC
  • mto: This revision was merged to the branch mainline in revision 3458.
  • Revision ID: john@arbash-meinel.com-20080528232033-cx3l3yg845udklps
Bring back always in the form of 'override'.
Change the functions so that they are compatible with the released
definition, and just allow callers to supply override=False
if they want the new behavior.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# (C) 2005, 2006 Canonical Limited.
 
1
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
18
18
"""Topological sorting routines."""
19
19
 
20
20
 
21
 
import bzrlib.errors as errors
 
21
from bzrlib import errors
 
22
import bzrlib.revision as _mod_revision
22
23
 
23
24
 
24
25
__all__ = ["topo_sort", "TopoSorter", "merge_sort", "MergeSorter"]
61
62
        """
62
63
        # a dict of the graph.
63
64
        self._graph = dict(graph)
 
65
        self._visitable = set(self._graph)
64
66
        ### if debugging:
65
67
        # self._original_graph = dict(graph)
66
68
        
120
122
                            # this parent was completed by a child on the
121
123
                            # call stack. skip it.
122
124
                            continue
 
125
                        if next_node_name not in self._visitable:
 
126
                            continue
123
127
                        # otherwise transfer it from the source graph into the
124
128
                        # top of the current depth first search stack.
125
129
                        try:
159
163
        return node_name
160
164
 
161
165
 
162
 
def merge_sort(graph, branch_tip, mainline_revisions=None):
 
166
def merge_sort(graph, branch_tip, mainline_revisions=None, generate_revno=False):
163
167
    """Topological sort a graph which groups merges.
164
168
 
165
169
    :param graph: sequence of pairs of node->parents_list.
174
178
                               old revision listed in the mainline revisions
175
179
                               list.
176
180
                               The order for this parameter is oldest-first.
177
 
 
178
 
    The result is a list of node names, such that all parents come before
179
 
    their children.
180
 
 
 
181
    :param generate_revno: Optional parameter controlling the generation of
 
182
        revision number sequences in the output. See the output description of
 
183
        the MergeSorter docstring for details.
 
184
    :result: See the MergeSorter docstring for details.
181
185
    node identifiers can be any hashable object, and are typically strings.
182
186
    """
183
 
    return MergeSorter(graph, branch_tip, mainline_revisions).sorted()
 
187
    return MergeSorter(graph, branch_tip, mainline_revisions,
 
188
        generate_revno).sorted()
184
189
 
185
190
 
186
191
class MergeSorter(object):
187
192
 
188
 
    def __init__(self, graph, branch_tip, mainline_revisions=None):
 
193
    __slots__ = ['_node_name_stack',
 
194
                 '_node_merge_depth_stack',
 
195
                 '_pending_parents_stack',
 
196
                 '_first_child_stack',
 
197
                 '_left_subtree_pushed_stack',
 
198
                 '_generate_revno',
 
199
                 '_graph',
 
200
                 '_mainline_revisions',
 
201
                 '_stop_revision',
 
202
                 '_original_graph',
 
203
                 '_revnos',
 
204
                 '_revno_to_branch_count',
 
205
                 '_completed_node_names',
 
206
                 '_scheduled_nodes',
 
207
                ]
 
208
 
 
209
    def __init__(self, graph, branch_tip, mainline_revisions=None,
 
210
        generate_revno=False):
189
211
        """Merge-aware topological sorting of a graph.
190
212
    
191
213
        :param graph: sequence of pairs of node_name->parent_names_list.
204
226
                               old revision listed in the mainline revisions
205
227
                               list.
206
228
                               The order for this parameter is oldest-first.
 
229
        :param generate_revno: Optional parameter controlling the generation of
 
230
            revision number sequences in the output. See the output description
 
231
            for more details.
 
232
 
 
233
        The result is a list sorted so that all parents come before
 
234
        their children. Each element of the list is a tuple containing:
 
235
        (sequence_number, node_name, merge_depth, end_of_merge)
 
236
         * sequence_number: The sequence of this row in the output. Useful for 
 
237
           GUIs.
 
238
         * node_name: The node name: opaque text to the merge routine.
 
239
         * merge_depth: How many levels of merging deep this node has been
 
240
           found.
 
241
         * revno_sequence: When requested this field provides a sequence of
 
242
             revision numbers for all revisions. The format is:
 
243
             (REVNO, BRANCHNUM, BRANCHREVNO). BRANCHNUM is the number of the
 
244
             branch that the revno is on. From left to right the REVNO numbers
 
245
             are the sequence numbers within that branch of the revision.
 
246
             For instance, the graph {A:[], B:['A'], C:['A', 'B']} will get
 
247
             the following revno_sequences assigned: A:(1,), B:(1,1,1), C:(2,).
 
248
             This should be read as 'A is the first commit in the trunk',
 
249
             'B is the first commit on the first branch made from A', 'C is the
 
250
             second commit in the trunk'.
 
251
         * end_of_merge: When True the next node is part of a different merge.
207
252
 
208
253
        
209
254
        node identifiers can be any hashable object, and are typically strings.
285
330
             XXXX revisit when awake. ddaa asks about the relevance of each one
286
331
             - maybe more than one parent is relevant
287
332
        """
 
333
        self._generate_revno = generate_revno
288
334
        # a dict of the graph.
289
335
        self._graph = dict(graph)
290
336
        # if there is an explicit mainline, alter the graph to match. This is
315
361
        # which requires the parents to be accessible: its easier for now
316
362
        # to just keep the original graph around.
317
363
        self._original_graph = dict(self._graph.items())
 
364
        # we need to know the revision numbers of revisions to determine
 
365
        # the revision numbers of their descendants
 
366
        # this is a graph from node to [revno_tuple, first_child]
 
367
        # where first_child is True if no other children have seen this node
 
368
        # and revno_tuple is the tuple that was assigned to the node.
 
369
        # we dont know revnos to start with, so we start it seeded with
 
370
        # [None, True]
 
371
        self._revnos = dict((revision, [None, True])
 
372
                            for revision in self._graph)
 
373
        # Each mainline revision counts how many child branches have spawned from it.
 
374
        self._revno_to_branch_count = {}
318
375
        
319
376
        # this is a stack storing the depth first search into the graph.
320
377
        self._node_name_stack = []
324
381
        # stack stores the parents we have not yet checked for the node at the 
325
382
        # matching depth in _node_name_stack
326
383
        self._pending_parents_stack = []
 
384
        # When we first look at a node we assign it a seqence number from its
 
385
        # leftmost parent.
 
386
        self._first_child_stack = []
327
387
        # this is a set of the nodes who have been completely analysed for fast
328
388
        # membership checking
329
389
        self._completed_node_names = set()
343
403
        # This records for each node when we have processed its left most 
344
404
        # unmerged subtree. After this subtree is scheduled, all other subtrees
345
405
        # have their merge depth increased by one from this nodes merge depth.
346
 
        self._left_subtree_done_stack = []
 
406
        # it contains tuples - name, merge_depth
 
407
        self._left_subtree_pushed_stack = []
347
408
 
348
409
        # seed the search with the tip of the branch
349
 
        if branch_tip is not None:
 
410
        if (branch_tip is not None and
 
411
            branch_tip != _mod_revision.NULL_REVISION):
350
412
            parents = self._graph.pop(branch_tip)
351
413
            self._push_node(branch_tip, 0, parents)
352
414
 
363
425
        After finishing iteration the sorter is empty and you cannot continue
364
426
        iteration.
365
427
        """
366
 
        while self._node_name_stack:
 
428
        # These are safe to offload to local variables, because they are used
 
429
        # as a stack and modified in place, never assigned to.
 
430
        node_name_stack = self._node_name_stack
 
431
        node_merge_depth_stack = self._node_merge_depth_stack
 
432
        pending_parents_stack = self._pending_parents_stack
 
433
        left_subtree_pushed_stack = self._left_subtree_pushed_stack
 
434
        completed_node_names = self._completed_node_names
 
435
        scheduled_nodes = self._scheduled_nodes
 
436
 
 
437
        graph_pop = self._graph.pop
 
438
 
 
439
        def push_node(node_name, merge_depth, parents,
 
440
                      node_name_stack_append=node_name_stack.append,
 
441
                      node_merge_depth_stack_append=node_merge_depth_stack.append,
 
442
                      left_subtree_pushed_stack_append=left_subtree_pushed_stack.append,
 
443
                      pending_parents_stack_append=pending_parents_stack.append,
 
444
                      first_child_stack_append=self._first_child_stack.append,
 
445
                      revnos=self._revnos,
 
446
                      ):
 
447
            """Add node_name to the pending node stack.
 
448
 
 
449
            Names in this stack will get emitted into the output as they are popped
 
450
            off the stack.
 
451
 
 
452
            This inlines a lot of self._variable.append functions as local
 
453
            variables.
 
454
            """
 
455
            node_name_stack_append(node_name)
 
456
            node_merge_depth_stack_append(merge_depth)
 
457
            left_subtree_pushed_stack_append(False)
 
458
            pending_parents_stack_append(list(parents))
 
459
            # as we push it, check if it is the first child
 
460
            if parents:
 
461
                # node has parents, assign from the left most parent.
 
462
                parent_info = revnos[parents[0]]
 
463
                first_child = parent_info[1]
 
464
                parent_info[1] = False
 
465
            else:
 
466
                # We don't use the same algorithm here, but we need to keep the
 
467
                # stack in line
 
468
                first_child = None
 
469
            first_child_stack_append(first_child)
 
470
 
 
471
        def pop_node(node_name_stack_pop=node_name_stack.pop,
 
472
                     node_merge_depth_stack_pop=node_merge_depth_stack.pop,
 
473
                     first_child_stack_pop=self._first_child_stack.pop,
 
474
                     left_subtree_pushed_stack_pop=left_subtree_pushed_stack.pop,
 
475
                     pending_parents_stack_pop=pending_parents_stack.pop,
 
476
                     original_graph=self._original_graph,
 
477
                     revnos=self._revnos,
 
478
                     completed_node_names_add=self._completed_node_names.add,
 
479
                     scheduled_nodes_append=scheduled_nodes.append,
 
480
                     revno_to_branch_count=self._revno_to_branch_count,
 
481
                    ):
 
482
            """Pop the top node off the stack
 
483
 
 
484
            The node is appended to the sorted output.
 
485
            """
 
486
            # we are returning from the flattened call frame:
 
487
            # pop off the local variables
 
488
            node_name = node_name_stack_pop()
 
489
            merge_depth = node_merge_depth_stack_pop()
 
490
            first_child = first_child_stack_pop()
 
491
            # remove this node from the pending lists:
 
492
            left_subtree_pushed_stack_pop()
 
493
            pending_parents_stack_pop()
 
494
 
 
495
            parents = original_graph[node_name]
 
496
            if parents:
 
497
                # node has parents, assign from the left most parent.
 
498
                parent_revno = revnos[parents[0]][0]
 
499
                if not first_child:
 
500
                    # not the first child, make a new branch
 
501
                    base_revno = parent_revno[0]
 
502
                    branch_count = revno_to_branch_count.get(base_revno, 0)
 
503
                    branch_count += 1
 
504
                    revno_to_branch_count[base_revno] = branch_count
 
505
                    revno = (parent_revno[0], branch_count, 1)
 
506
                    # revno = (parent_revno[0], branch_count, parent_revno[-1]+1)
 
507
                else:
 
508
                    # as the first child, we just increase the final revision
 
509
                    # number
 
510
                    revno = parent_revno[:-1] + (parent_revno[-1] + 1,)
 
511
            else:
 
512
                # no parents, use the root sequence
 
513
                root_count = revno_to_branch_count.get(0, 0)
 
514
                if root_count:
 
515
                    revno = (0, root_count, 1)
 
516
                else:
 
517
                    revno = (1,)
 
518
                root_count += 1
 
519
                revno_to_branch_count[0] = root_count
 
520
 
 
521
            # store the revno for this node for future reference
 
522
            revnos[node_name][0] = revno
 
523
            completed_node_names_add(node_name)
 
524
            scheduled_nodes_append((node_name, merge_depth, revno))
 
525
            return node_name
 
526
 
 
527
 
 
528
        while node_name_stack:
367
529
            # loop until this call completes.
368
 
            parents_to_visit = self._pending_parents_stack[-1]
 
530
            parents_to_visit = pending_parents_stack[-1]
369
531
            # if all parents are done, the revision is done
370
532
            if not parents_to_visit:
371
533
                # append the revision to the topo sorted scheduled list:
372
534
                # all the nodes parents have been scheduled added, now
373
535
                # we can add it to the output.
374
 
                self._pop_node()
 
536
                pop_node()
375
537
            else:
376
 
                while self._pending_parents_stack[-1]:
377
 
                    if not self._left_subtree_done_stack[-1]:
 
538
                while pending_parents_stack[-1]:
 
539
                    if not left_subtree_pushed_stack[-1]:
378
540
                        # recurse depth first into the primary parent
379
 
                        next_node_name = self._pending_parents_stack[-1].pop(0)
 
541
                        next_node_name = pending_parents_stack[-1].pop(0)
380
542
                    else:
381
543
                        # place any merges in right-to-left order for scheduling
382
544
                        # which gives us left-to-right order after we reverse
385
547
                        # subtree rather than the left most, which will 
386
548
                        # display nicely (you get smaller trees at the top
387
549
                        # of the combined merge).
388
 
                        next_node_name = self._pending_parents_stack[-1].pop()
389
 
                    if next_node_name in self._completed_node_names:
 
550
                        next_node_name = pending_parents_stack[-1].pop()
 
551
                    if next_node_name in completed_node_names:
390
552
                        # this parent was completed by a child on the
391
553
                        # call stack. skip it.
392
554
                        continue
393
555
                    # otherwise transfer it from the source graph into the
394
556
                    # top of the current depth first search stack.
395
557
                    try:
396
 
                        parents = self._graph.pop(next_node_name)
 
558
                        parents = graph_pop(next_node_name)
397
559
                    except KeyError:
398
560
                        # if the next node is not in the source graph it has
399
561
                        # already been popped from it and placed into the
400
562
                        # current search stack (but not completed or we would
401
563
                        # have hit the continue 4 lines up.
402
564
                        # this indicates a cycle.
403
 
                        raise errors.GraphCycleError(self._node_name_stack)
 
565
                        raise errors.GraphCycleError(node_name_stack)
404
566
                    next_merge_depth = 0
405
 
                    if self._left_subtree_done_stack[-1]:
 
567
                    if left_subtree_pushed_stack[-1]:
 
568
                        # a new child branch from name_stack[-1]
406
569
                        next_merge_depth = 1
407
570
                    else:
408
571
                        next_merge_depth = 0
409
 
                        self._left_subtree_done_stack[-1] = True
 
572
                        left_subtree_pushed_stack[-1] = True
410
573
                    next_merge_depth = (
411
 
                        self._node_merge_depth_stack[-1] + next_merge_depth)
412
 
                    self._push_node(
 
574
                        node_merge_depth_stack[-1] + next_merge_depth)
 
575
                    push_node(
413
576
                        next_node_name,
414
577
                        next_merge_depth,
415
578
                        parents)
416
579
                    # and do not continue processing parents until this 'call' 
417
580
                    # has recursed.
418
581
                    break
 
582
 
419
583
        # We have scheduled the graph. Now deliver the ordered output:
420
584
        sequence_number = 0
421
 
        while self._scheduled_nodes:
422
 
            node_name, merge_depth = self._scheduled_nodes.pop()
423
 
            if node_name == self._stop_revision:
 
585
        stop_revision = self._stop_revision
 
586
        generate_revno = self._generate_revno
 
587
        original_graph = self._original_graph
 
588
 
 
589
        while scheduled_nodes:
 
590
            node_name, merge_depth, revno = scheduled_nodes.pop()
 
591
            if node_name == stop_revision:
424
592
                return
425
 
            if not len(self._scheduled_nodes):
 
593
            if not len(scheduled_nodes):
 
594
                # last revision is the end of a merge
426
595
                end_of_merge = True
427
 
            elif self._scheduled_nodes[-1][1] < merge_depth:
 
596
            elif scheduled_nodes[-1][1] < merge_depth:
428
597
                # the next node is to our left
429
598
                end_of_merge = True
430
 
            elif (self._scheduled_nodes[-1][1] == merge_depth and
431
 
                  (self._scheduled_nodes[-1][0] not in
432
 
                   self._original_graph[node_name])):
 
599
            elif (scheduled_nodes[-1][1] == merge_depth and
 
600
                  (scheduled_nodes[-1][0] not in
 
601
                   original_graph[node_name])):
433
602
                # the next node was part of a multiple-merge.
434
603
                end_of_merge = True
435
604
            else:
436
605
                end_of_merge = False
437
 
            yield (sequence_number, node_name, merge_depth, end_of_merge)
 
606
            if generate_revno:
 
607
                yield (sequence_number, node_name, merge_depth, revno, end_of_merge)
 
608
            else:
 
609
                yield (sequence_number, node_name, merge_depth, end_of_merge)
438
610
            sequence_number += 1
439
611
 
440
612
    def _push_node(self, node_name, merge_depth, parents):
445
617
        """
446
618
        self._node_name_stack.append(node_name)
447
619
        self._node_merge_depth_stack.append(merge_depth)
448
 
        self._left_subtree_done_stack.append(False)
 
620
        self._left_subtree_pushed_stack.append(False)
449
621
        self._pending_parents_stack.append(list(parents))
 
622
        # as we push it, figure out if this is the first child
 
623
        parents = self._original_graph[node_name]
 
624
        if parents:
 
625
            # node has parents, assign from the left most parent.
 
626
            parent_info = self._revnos[parents[0]]
 
627
            first_child = parent_info[1]
 
628
            parent_info[1] = False
 
629
        else:
 
630
            # We don't use the same algorithm here, but we need to keep the
 
631
            # stack in line
 
632
            first_child = None
 
633
        self._first_child_stack.append(first_child)
450
634
 
451
635
    def _pop_node(self):
452
636
        """Pop the top node off the stack 
457
641
        # pop off the local variables
458
642
        node_name = self._node_name_stack.pop()
459
643
        merge_depth = self._node_merge_depth_stack.pop()
460
 
        self._left_subtree_done_stack.pop()
 
644
        first_child = self._first_child_stack.pop()
 
645
        # remove this node from the pending lists:
 
646
        self._left_subtree_pushed_stack.pop()
461
647
        self._pending_parents_stack.pop()
462
648
 
 
649
        parents = self._original_graph[node_name]
 
650
        if parents:
 
651
            # node has parents, assign from the left most parent.
 
652
            parent_revno = self._revnos[parents[0]][0]
 
653
            if not first_child:
 
654
                # not the first child, make a new branch
 
655
                base_revno = parent_revno[0]
 
656
                branch_count = self._revno_to_branch_count.get(base_revno, 0)
 
657
                branch_count += 1
 
658
                self._revno_to_branch_count[base_revno] = branch_count
 
659
                revno = (parent_revno[0], branch_count, 1)
 
660
                # revno = (parent_revno[0], branch_count, parent_revno[-1]+1)
 
661
            else:
 
662
                # as the first child, we just increase the final revision
 
663
                # number
 
664
                revno = parent_revno[:-1] + (parent_revno[-1] + 1,)
 
665
        else:
 
666
            # no parents, use the root sequence
 
667
            root_count = self._revno_to_branch_count.get(0, 0)
 
668
            if root_count:
 
669
                revno = (0, root_count, 1)
 
670
            else:
 
671
                revno = (1,)
 
672
            root_count += 1
 
673
            self._revno_to_branch_count[0] = root_count
 
674
 
 
675
        # store the revno for this node for future reference
 
676
        self._revnos[node_name][0] = revno
463
677
        self._completed_node_names.add(node_name)
464
 
        self._scheduled_nodes.append((node_name, merge_depth))
 
678
        self._scheduled_nodes.append((node_name, merge_depth, self._revnos[node_name][0]))
465
679
        return node_name