~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tsort.py

  • Committer: Aaron Bentley
  • Date: 2006-06-03 16:23:09 UTC
  • mfrom: (1736 +trunk)
  • mto: This revision was merged to the branch mainline in revision 1738.
  • Revision ID: aaron.bentley@utoronto.ca-20060603162309-c975ca9ea9fea344
Merge from bzr.dev

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# (C) 2005, 2006 Canonical Limited.
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
18
18
"""Topological sorting routines."""
19
19
 
20
20
 
21
 
from bzrlib import errors
 
21
import bzrlib.errors as errors
22
22
 
23
23
 
24
24
__all__ = ["topo_sort", "TopoSorter", "merge_sort", "MergeSorter"]
61
61
        """
62
62
        # a dict of the graph.
63
63
        self._graph = dict(graph)
64
 
        self._visitable = set(self._graph)
65
64
        ### if debugging:
66
65
        # self._original_graph = dict(graph)
67
66
        
121
120
                            # this parent was completed by a child on the
122
121
                            # call stack. skip it.
123
122
                            continue
124
 
                        if next_node_name not in self._visitable:
125
 
                            continue
126
123
                        # otherwise transfer it from the source graph into the
127
124
                        # top of the current depth first search stack.
128
125
                        try:
162
159
        return node_name
163
160
 
164
161
 
165
 
def merge_sort(graph, branch_tip, mainline_revisions=None, generate_revno=False):
 
162
def merge_sort(graph, branch_tip, mainline_revisions=None):
166
163
    """Topological sort a graph which groups merges.
167
164
 
168
165
    :param graph: sequence of pairs of node->parents_list.
177
174
                               old revision listed in the mainline revisions
178
175
                               list.
179
176
                               The order for this parameter is oldest-first.
180
 
    :param generate_revno: Optional parameter controlling the generation of
181
 
        revision number sequences in the output. See the output description of
182
 
        the MergeSorter docstring for details.
183
 
    :result: See the MergeSorter docstring for details.
 
177
 
 
178
    The result is a list of node names, such that all parents come before
 
179
    their children.
 
180
 
184
181
    node identifiers can be any hashable object, and are typically strings.
185
182
    """
186
 
    return MergeSorter(graph, branch_tip, mainline_revisions,
187
 
        generate_revno).sorted()
 
183
    return MergeSorter(graph, branch_tip, mainline_revisions).sorted()
188
184
 
189
185
 
190
186
class MergeSorter(object):
191
187
 
192
 
    __slots__ = ['_node_name_stack',
193
 
                 '_node_merge_depth_stack',
194
 
                 '_pending_parents_stack',
195
 
                 '_assigned_sequence_stack',
196
 
                 '_left_subtree_pushed_stack',
197
 
                 '_generate_revno',
198
 
                 '_graph',
199
 
                 '_mainline_revisions',
200
 
                 '_stop_revision',
201
 
                 '_original_graph',
202
 
                 '_revnos',
203
 
                 '_root_sequence',
204
 
                 '_completed_node_names',
205
 
                 '_scheduled_nodes',
206
 
                ]
207
 
 
208
 
    def __init__(self, graph, branch_tip, mainline_revisions=None,
209
 
        generate_revno=False):
 
188
    def __init__(self, graph, branch_tip, mainline_revisions=None):
210
189
        """Merge-aware topological sorting of a graph.
211
190
    
212
191
        :param graph: sequence of pairs of node_name->parent_names_list.
225
204
                               old revision listed in the mainline revisions
226
205
                               list.
227
206
                               The order for this parameter is oldest-first.
228
 
        :param generate_revno: Optional parameter controlling the generation of
229
 
            revision number sequences in the output. See the output description
230
 
            for more details.
231
 
 
232
 
        The result is a list sorted so that all parents come before
233
 
        their children. Each element of the list is a tuple containing:
234
 
        (sequence_number, node_name, merge_depth, end_of_merge)
235
 
         * sequence_number: The sequence of this row in the output. Useful for 
236
 
           GUIs.
237
 
         * node_name: The node name: opaque text to the merge routine.
238
 
         * merge_depth: How many levels of merging deep this node has been
239
 
           found.
240
 
         * revno_sequence: When requested this field provides a sequence of
241
 
             revision numbers for all revisions. The format is:
242
 
             REVNO[[.BRANCHREVNO.REVNO] ...]. BRANCHREVNO is the number of the
243
 
             branch that the revno is on. From left to right the REVNO numbers
244
 
             are the sequence numbers within that branch of the revision.
245
 
             For instance, the graph {A:[], B:['A'], C:['A', 'B']} will get
246
 
             the following revno_sequences assigned: A:(1,), B:(1,1,1), C:(2,).
247
 
             This should be read as 'A is the first commit in the trunk',
248
 
             'B is the first commit on the first branch made from A', 'C is the
249
 
             second commit in the trunk'.
250
 
         * end_of_merge: When True the next node is part of a different merge.
251
207
 
252
208
        
253
209
        node identifiers can be any hashable object, and are typically strings.
329
285
             XXXX revisit when awake. ddaa asks about the relevance of each one
330
286
             - maybe more than one parent is relevant
331
287
        """
332
 
        self._generate_revno = generate_revno
333
288
        # a dict of the graph.
334
289
        self._graph = dict(graph)
335
290
        # if there is an explicit mainline, alter the graph to match. This is
360
315
        # which requires the parents to be accessible: its easier for now
361
316
        # to just keep the original graph around.
362
317
        self._original_graph = dict(self._graph.items())
363
 
        # we need to know the revision numbers of revisions to determine
364
 
        # the revision numbers of their descendants
365
 
        # this is a graph from node to [revno_tuple, sequence_number]
366
 
        # where sequence is the number of branches made from the node,
367
 
        # and revno_tuple is the tuple that was assigned to the node.
368
 
        # we dont know revnos to start with, so we start it seeded with
369
 
        # [None, 0]
370
 
        self._revnos = dict((revision, [None, 0]) for revision in self._graph)
371
 
        # the global implicit root node has revno 0, but we need to know
372
 
        # the sequence number for it too:
373
 
        self._root_sequence = 0
374
318
        
375
319
        # this is a stack storing the depth first search into the graph.
376
320
        self._node_name_stack = []
380
324
        # stack stores the parents we have not yet checked for the node at the 
381
325
        # matching depth in _node_name_stack
382
326
        self._pending_parents_stack = []
383
 
        # When we first look at a node we assign it a seqence number from its
384
 
        # leftmost parent.
385
 
        self._assigned_sequence_stack = []
386
327
        # this is a set of the nodes who have been completely analysed for fast
387
328
        # membership checking
388
329
        self._completed_node_names = set()
402
343
        # This records for each node when we have processed its left most 
403
344
        # unmerged subtree. After this subtree is scheduled, all other subtrees
404
345
        # have their merge depth increased by one from this nodes merge depth.
405
 
        # it contains tuples - name, merge_depth
406
 
        self._left_subtree_pushed_stack = []
 
346
        self._left_subtree_done_stack = []
407
347
 
408
348
        # seed the search with the tip of the branch
409
349
        if branch_tip is not None:
423
363
        After finishing iteration the sorter is empty and you cannot continue
424
364
        iteration.
425
365
        """
426
 
        # These are safe to offload to local variables, because they are used
427
 
        # as a stack and modified in place, never assigned to.
428
 
        node_name_stack = self._node_name_stack
429
 
        node_merge_depth_stack = self._node_merge_depth_stack
430
 
        pending_parents_stack = self._pending_parents_stack
431
 
        left_subtree_pushed_stack = self._left_subtree_pushed_stack
432
 
        completed_node_names = self._completed_node_names
433
 
        scheduled_nodes = self._scheduled_nodes
434
 
 
435
 
        graph_pop = self._graph.pop
436
 
 
437
 
        def push_node(node_name, merge_depth, parents,
438
 
                      node_name_stack_append=node_name_stack.append,
439
 
                      node_merge_depth_stack_append=node_merge_depth_stack.append,
440
 
                      left_subtree_pushed_stack_append=left_subtree_pushed_stack.append,
441
 
                      pending_parents_stack_append=pending_parents_stack.append,
442
 
                      assigned_sequence_stack_append=self._assigned_sequence_stack.append,
443
 
                      original_graph=self._original_graph,
444
 
                      revnos=self._revnos,
445
 
                      ):
446
 
            """Add node_name to the pending node stack.
447
 
 
448
 
            Names in this stack will get emitted into the output as they are popped
449
 
            off the stack.
450
 
 
451
 
            This inlines a lot of self._variable.append functions as local
452
 
            variables.
453
 
            """
454
 
            node_name_stack_append(node_name)
455
 
            node_merge_depth_stack_append(merge_depth)
456
 
            left_subtree_pushed_stack_append(False)
457
 
            pending_parents_stack_append(list(parents))
458
 
            # as we push it, assign it a sequence number against its parent:
459
 
            parents = original_graph[node_name]
460
 
            if parents:
461
 
                # node has parents, assign from the left most parent.
462
 
                parent_revno = revnos[parents[0]]
463
 
                sequence = parent_revno[1]
464
 
                parent_revno[1] += 1
465
 
            else:
466
 
                # no parents, use the root sequence
467
 
                sequence = self._root_sequence
468
 
                self._root_sequence +=1
469
 
            assigned_sequence_stack_append(sequence)
470
 
 
471
 
        def pop_node(node_name_stack_pop=node_name_stack.pop,
472
 
                     node_merge_depth_stack_pop=node_merge_depth_stack.pop,
473
 
                     assigned_sequence_stack_pop=self._assigned_sequence_stack.pop,
474
 
                     left_subtree_pushed_stack_pop=left_subtree_pushed_stack.pop,
475
 
                     pending_parents_stack_pop=pending_parents_stack.pop,
476
 
                     original_graph=self._original_graph,
477
 
                     revnos=self._revnos,
478
 
                     completed_node_names_add=self._completed_node_names.add,
479
 
                     scheduled_nodes_append=scheduled_nodes.append,
480
 
                    ):
481
 
            """Pop the top node off the stack
482
 
 
483
 
            The node is appended to the sorted output.
484
 
            """
485
 
            # we are returning from the flattened call frame:
486
 
            # pop off the local variables
487
 
            node_name = node_name_stack_pop()
488
 
            merge_depth = node_merge_depth_stack_pop()
489
 
            sequence = assigned_sequence_stack_pop()
490
 
            # remove this node from the pending lists:
491
 
            left_subtree_pushed_stack_pop()
492
 
            pending_parents_stack_pop()
493
 
 
494
 
            parents = original_graph[node_name]
495
 
            if parents:
496
 
                # node has parents, assign from the left most parent.
497
 
                parent_revno = revnos[parents[0]]
498
 
                if sequence:
499
 
                    # not the first child, make a new branch
500
 
                    revno = parent_revno[0] + (sequence, 1)
501
 
                else:
502
 
                    # increment the sequence number within the branch
503
 
                    revno = parent_revno[0][:-1] + (parent_revno[0][-1] + 1,)
504
 
            else:
505
 
                # no parents, use the root sequence
506
 
                if sequence:
507
 
                    # make a parallel import revision number
508
 
                    revno = (0, sequence, 1)
509
 
                else:
510
 
                    revno = (1,)
511
 
 
512
 
            # store the revno for this node for future reference
513
 
            revnos[node_name][0] = revno
514
 
            completed_node_names_add(node_name)
515
 
            scheduled_nodes_append((node_name, merge_depth, revno))
516
 
            return node_name
517
 
 
518
 
 
519
 
        while node_name_stack:
 
366
        while self._node_name_stack:
520
367
            # loop until this call completes.
521
 
            parents_to_visit = pending_parents_stack[-1]
 
368
            parents_to_visit = self._pending_parents_stack[-1]
522
369
            # if all parents are done, the revision is done
523
370
            if not parents_to_visit:
524
371
                # append the revision to the topo sorted scheduled list:
525
372
                # all the nodes parents have been scheduled added, now
526
373
                # we can add it to the output.
527
 
                pop_node()
 
374
                self._pop_node()
528
375
            else:
529
 
                while pending_parents_stack[-1]:
530
 
                    if not left_subtree_pushed_stack[-1]:
 
376
                while self._pending_parents_stack[-1]:
 
377
                    if not self._left_subtree_done_stack[-1]:
531
378
                        # recurse depth first into the primary parent
532
 
                        next_node_name = pending_parents_stack[-1].pop(0)
 
379
                        next_node_name = self._pending_parents_stack[-1].pop(0)
533
380
                    else:
534
381
                        # place any merges in right-to-left order for scheduling
535
382
                        # which gives us left-to-right order after we reverse
538
385
                        # subtree rather than the left most, which will 
539
386
                        # display nicely (you get smaller trees at the top
540
387
                        # of the combined merge).
541
 
                        next_node_name = pending_parents_stack[-1].pop()
542
 
                    if next_node_name in completed_node_names:
 
388
                        next_node_name = self._pending_parents_stack[-1].pop()
 
389
                    if next_node_name in self._completed_node_names:
543
390
                        # this parent was completed by a child on the
544
391
                        # call stack. skip it.
545
392
                        continue
546
393
                    # otherwise transfer it from the source graph into the
547
394
                    # top of the current depth first search stack.
548
395
                    try:
549
 
                        parents = graph_pop(next_node_name)
 
396
                        parents = self._graph.pop(next_node_name)
550
397
                    except KeyError:
551
398
                        # if the next node is not in the source graph it has
552
399
                        # already been popped from it and placed into the
553
400
                        # current search stack (but not completed or we would
554
401
                        # have hit the continue 4 lines up.
555
402
                        # this indicates a cycle.
556
 
                        raise errors.GraphCycleError(node_name_stack)
 
403
                        raise errors.GraphCycleError(self._node_name_stack)
557
404
                    next_merge_depth = 0
558
 
                    if left_subtree_pushed_stack[-1]:
559
 
                        # a new child branch from name_stack[-1]
 
405
                    if self._left_subtree_done_stack[-1]:
560
406
                        next_merge_depth = 1
561
407
                    else:
562
408
                        next_merge_depth = 0
563
 
                        left_subtree_pushed_stack[-1] = True
 
409
                        self._left_subtree_done_stack[-1] = True
564
410
                    next_merge_depth = (
565
 
                        node_merge_depth_stack[-1] + next_merge_depth)
566
 
                    push_node(
 
411
                        self._node_merge_depth_stack[-1] + next_merge_depth)
 
412
                    self._push_node(
567
413
                        next_node_name,
568
414
                        next_merge_depth,
569
415
                        parents)
570
416
                    # and do not continue processing parents until this 'call' 
571
417
                    # has recursed.
572
418
                    break
573
 
 
574
419
        # We have scheduled the graph. Now deliver the ordered output:
575
420
        sequence_number = 0
576
 
        stop_revision = self._stop_revision
577
 
        generate_revno = self._generate_revno
578
 
        original_graph = self._original_graph
579
 
 
580
 
        while scheduled_nodes:
581
 
            node_name, merge_depth, revno = scheduled_nodes.pop()
582
 
            if node_name == stop_revision:
 
421
        while self._scheduled_nodes:
 
422
            node_name, merge_depth = self._scheduled_nodes.pop()
 
423
            if node_name == self._stop_revision:
583
424
                return
584
 
            if not len(scheduled_nodes):
585
 
                # last revision is the end of a merge
 
425
            if not len(self._scheduled_nodes):
586
426
                end_of_merge = True
587
 
            elif scheduled_nodes[-1][1] < merge_depth:
 
427
            elif self._scheduled_nodes[-1][1] < merge_depth:
588
428
                # the next node is to our left
589
429
                end_of_merge = True
590
 
            elif (scheduled_nodes[-1][1] == merge_depth and
591
 
                  (scheduled_nodes[-1][0] not in
592
 
                   original_graph[node_name])):
 
430
            elif (self._scheduled_nodes[-1][1] == merge_depth and
 
431
                  (self._scheduled_nodes[-1][0] not in
 
432
                   self._original_graph[node_name])):
593
433
                # the next node was part of a multiple-merge.
594
434
                end_of_merge = True
595
435
            else:
596
436
                end_of_merge = False
597
 
            if generate_revno:
598
 
                yield (sequence_number, node_name, merge_depth, revno, end_of_merge)
599
 
            else:
600
 
                yield (sequence_number, node_name, merge_depth, end_of_merge)
 
437
            yield (sequence_number, node_name, merge_depth, end_of_merge)
601
438
            sequence_number += 1
602
439
 
603
440
    def _push_node(self, node_name, merge_depth, parents):
608
445
        """
609
446
        self._node_name_stack.append(node_name)
610
447
        self._node_merge_depth_stack.append(merge_depth)
611
 
        self._left_subtree_pushed_stack.append(False)
 
448
        self._left_subtree_done_stack.append(False)
612
449
        self._pending_parents_stack.append(list(parents))
613
 
        # as we push it, assign it a sequence number against its parent:
614
 
        parents = self._original_graph[node_name]
615
 
        if parents:
616
 
            # node has parents, assign from the left most parent.
617
 
            parent_revno = self._revnos[parents[0]]
618
 
            sequence = parent_revno[1]
619
 
            parent_revno[1] += 1
620
 
        else:
621
 
            # no parents, use the root sequence
622
 
            sequence = self._root_sequence
623
 
            self._root_sequence +=1
624
 
        self._assigned_sequence_stack.append(sequence)
625
450
 
626
451
    def _pop_node(self):
627
452
        """Pop the top node off the stack 
632
457
        # pop off the local variables
633
458
        node_name = self._node_name_stack.pop()
634
459
        merge_depth = self._node_merge_depth_stack.pop()
635
 
        sequence = self._assigned_sequence_stack.pop()
636
 
        # remove this node from the pending lists:
637
 
        self._left_subtree_pushed_stack.pop()
 
460
        self._left_subtree_done_stack.pop()
638
461
        self._pending_parents_stack.pop()
639
462
 
640
 
        parents = self._original_graph[node_name]
641
 
        if parents:
642
 
            # node has parents, assign from the left most parent.
643
 
            parent_revno = self._revnos[parents[0]]
644
 
            if sequence:
645
 
                # not the first child, make a new branch
646
 
                revno = parent_revno[0] + (sequence, 1)
647
 
            else:
648
 
                # increment the sequence number within the branch
649
 
                revno = parent_revno[0][:-1] + (parent_revno[0][-1] + 1,)
650
 
        else:
651
 
            # no parents, use the root sequence
652
 
            if sequence:
653
 
                # make a parallel import revision number
654
 
                revno = (0, sequence, 1)
655
 
            else:
656
 
                revno = (1,)
657
 
 
658
 
        # store the revno for this node for future reference
659
 
        self._revnos[node_name][0] = revno
660
463
        self._completed_node_names.add(node_name)
661
 
        self._scheduled_nodes.append((node_name, merge_depth, self._revnos[node_name][0]))
 
464
        self._scheduled_nodes.append((node_name, merge_depth))
662
465
        return node_name