~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tsort.py

  • Committer: Ian Clatworthy
  • Date: 2009-01-19 02:24:15 UTC
  • mto: This revision was merged to the branch mainline in revision 3944.
  • Revision ID: ian.clatworthy@canonical.com-20090119022415-mo0mcfeiexfktgwt
apply jam's log --short fix (Ian Clatworthy)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# (C) 2005, 2006 Canonical Limited.
 
1
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
18
18
"""Topological sorting routines."""
19
19
 
20
20
 
21
 
import bzrlib.errors as errors
 
21
from bzrlib import errors
 
22
import bzrlib.revision as _mod_revision
22
23
 
23
24
 
24
25
__all__ = ["topo_sort", "TopoSorter", "merge_sort", "MergeSorter"]
61
62
        """
62
63
        # a dict of the graph.
63
64
        self._graph = dict(graph)
 
65
        self._visitable = set(self._graph)
64
66
        ### if debugging:
65
67
        # self._original_graph = dict(graph)
66
68
        
120
122
                            # this parent was completed by a child on the
121
123
                            # call stack. skip it.
122
124
                            continue
 
125
                        if next_node_name not in self._visitable:
 
126
                            continue
123
127
                        # otherwise transfer it from the source graph into the
124
128
                        # top of the current depth first search stack.
125
129
                        try:
159
163
        return node_name
160
164
 
161
165
 
162
 
def merge_sort(graph, branch_tip, mainline_revisions=None):
 
166
def merge_sort(graph, branch_tip, mainline_revisions=None, generate_revno=False):
163
167
    """Topological sort a graph which groups merges.
164
168
 
165
169
    :param graph: sequence of pairs of node->parents_list.
174
178
                               old revision listed in the mainline revisions
175
179
                               list.
176
180
                               The order for this parameter is oldest-first.
177
 
 
178
 
    The result is a list of node names, such that all parents come before
179
 
    their children.
180
 
 
 
181
    :param generate_revno: Optional parameter controlling the generation of
 
182
        revision number sequences in the output. See the output description of
 
183
        the MergeSorter docstring for details.
 
184
    :result: See the MergeSorter docstring for details.
181
185
    node identifiers can be any hashable object, and are typically strings.
182
186
    """
183
 
    return MergeSorter(graph, branch_tip, mainline_revisions).sorted()
 
187
    return MergeSorter(graph, branch_tip, mainline_revisions,
 
188
        generate_revno).sorted()
184
189
 
185
190
 
186
191
class MergeSorter(object):
187
192
 
188
 
    def __init__(self, graph, branch_tip, mainline_revisions=None):
 
193
    __slots__ = ['_node_name_stack',
 
194
                 '_node_merge_depth_stack',
 
195
                 '_pending_parents_stack',
 
196
                 '_first_child_stack',
 
197
                 '_left_subtree_pushed_stack',
 
198
                 '_generate_revno',
 
199
                 '_graph',
 
200
                 '_mainline_revisions',
 
201
                 '_stop_revision',
 
202
                 '_original_graph',
 
203
                 '_revnos',
 
204
                 '_revno_to_branch_count',
 
205
                 '_completed_node_names',
 
206
                 '_scheduled_nodes',
 
207
                ]
 
208
 
 
209
    def __init__(self, graph, branch_tip, mainline_revisions=None,
 
210
        generate_revno=False):
189
211
        """Merge-aware topological sorting of a graph.
190
212
    
191
213
        :param graph: sequence of pairs of node_name->parent_names_list.
204
226
                               old revision listed in the mainline revisions
205
227
                               list.
206
228
                               The order for this parameter is oldest-first.
 
229
        :param generate_revno: Optional parameter controlling the generation of
 
230
            revision number sequences in the output. See the output description
 
231
            for more details.
 
232
 
 
233
        The result is a list sorted so that all parents come before
 
234
        their children. Each element of the list is a tuple containing:
 
235
        (sequence_number, node_name, merge_depth, end_of_merge)
 
236
         * sequence_number: The sequence of this row in the output. Useful for 
 
237
           GUIs.
 
238
         * node_name: The node name: opaque text to the merge routine.
 
239
         * merge_depth: How many levels of merging deep this node has been
 
240
           found.
 
241
         * revno_sequence: When requested this field provides a sequence of
 
242
             revision numbers for all revisions. The format is:
 
243
             (REVNO, BRANCHNUM, BRANCHREVNO). BRANCHNUM is the number of the
 
244
             branch that the revno is on. From left to right the REVNO numbers
 
245
             are the sequence numbers within that branch of the revision.
 
246
             For instance, the graph {A:[], B:['A'], C:['A', 'B']} will get
 
247
             the following revno_sequences assigned: A:(1,), B:(1,1,1), C:(2,).
 
248
             This should be read as 'A is the first commit in the trunk',
 
249
             'B is the first commit on the first branch made from A', 'C is the
 
250
             second commit in the trunk'.
 
251
         * end_of_merge: When True the next node is part of a different merge.
207
252
 
208
253
        
209
254
        node identifiers can be any hashable object, and are typically strings.
285
330
             XXXX revisit when awake. ddaa asks about the relevance of each one
286
331
             - maybe more than one parent is relevant
287
332
        """
 
333
        self._generate_revno = generate_revno
288
334
        # a dict of the graph.
289
335
        self._graph = dict(graph)
290
336
        # if there is an explicit mainline, alter the graph to match. This is
305
351
            if parent is None:
306
352
                # end of mainline_revisions history
307
353
                continue
308
 
            if self._graph[revision][0] == parent:
 
354
            graph_parent_ids = self._graph[revision]
 
355
            if not graph_parent_ids:
 
356
                # We ran into a ghost, skip over it, this is a workaround for
 
357
                # bug #243536, the _graph has had ghosts stripped, but the
 
358
                # mainline_revisions have not
 
359
                continue
 
360
            if graph_parent_ids[0] == parent:
309
361
                continue
310
362
            # remove it from its prior spot
311
363
            self._graph[revision].remove(parent)
315
367
        # which requires the parents to be accessible: its easier for now
316
368
        # to just keep the original graph around.
317
369
        self._original_graph = dict(self._graph.items())
 
370
        # we need to know the revision numbers of revisions to determine
 
371
        # the revision numbers of their descendants
 
372
        # this is a graph from node to [revno_tuple, first_child]
 
373
        # where first_child is True if no other children have seen this node
 
374
        # and revno_tuple is the tuple that was assigned to the node.
 
375
        # we dont know revnos to start with, so we start it seeded with
 
376
        # [None, True]
 
377
        self._revnos = dict((revision, [None, True])
 
378
                            for revision in self._graph)
 
379
        # Each mainline revision counts how many child branches have spawned from it.
 
380
        self._revno_to_branch_count = {}
318
381
        
319
382
        # this is a stack storing the depth first search into the graph.
320
383
        self._node_name_stack = []
324
387
        # stack stores the parents we have not yet checked for the node at the 
325
388
        # matching depth in _node_name_stack
326
389
        self._pending_parents_stack = []
 
390
        # When we first look at a node we assign it a seqence number from its
 
391
        # leftmost parent.
 
392
        self._first_child_stack = []
327
393
        # this is a set of the nodes who have been completely analysed for fast
328
394
        # membership checking
329
395
        self._completed_node_names = set()
343
409
        # This records for each node when we have processed its left most 
344
410
        # unmerged subtree. After this subtree is scheduled, all other subtrees
345
411
        # have their merge depth increased by one from this nodes merge depth.
346
 
        self._left_subtree_done_stack = []
 
412
        # it contains tuples - name, merge_depth
 
413
        self._left_subtree_pushed_stack = []
347
414
 
348
415
        # seed the search with the tip of the branch
349
 
        if branch_tip is not None:
 
416
        if (branch_tip is not None and
 
417
            branch_tip != _mod_revision.NULL_REVISION):
350
418
            parents = self._graph.pop(branch_tip)
351
419
            self._push_node(branch_tip, 0, parents)
352
420
 
363
431
        After finishing iteration the sorter is empty and you cannot continue
364
432
        iteration.
365
433
        """
366
 
        while self._node_name_stack:
 
434
        # These are safe to offload to local variables, because they are used
 
435
        # as a stack and modified in place, never assigned to.
 
436
        node_name_stack = self._node_name_stack
 
437
        node_merge_depth_stack = self._node_merge_depth_stack
 
438
        pending_parents_stack = self._pending_parents_stack
 
439
        left_subtree_pushed_stack = self._left_subtree_pushed_stack
 
440
        completed_node_names = self._completed_node_names
 
441
        scheduled_nodes = self._scheduled_nodes
 
442
 
 
443
        graph_pop = self._graph.pop
 
444
 
 
445
        def push_node(node_name, merge_depth, parents,
 
446
                      node_name_stack_append=node_name_stack.append,
 
447
                      node_merge_depth_stack_append=node_merge_depth_stack.append,
 
448
                      left_subtree_pushed_stack_append=left_subtree_pushed_stack.append,
 
449
                      pending_parents_stack_append=pending_parents_stack.append,
 
450
                      first_child_stack_append=self._first_child_stack.append,
 
451
                      revnos=self._revnos,
 
452
                      ):
 
453
            """Add node_name to the pending node stack.
 
454
 
 
455
            Names in this stack will get emitted into the output as they are popped
 
456
            off the stack.
 
457
 
 
458
            This inlines a lot of self._variable.append functions as local
 
459
            variables.
 
460
            """
 
461
            node_name_stack_append(node_name)
 
462
            node_merge_depth_stack_append(merge_depth)
 
463
            left_subtree_pushed_stack_append(False)
 
464
            pending_parents_stack_append(list(parents))
 
465
            # as we push it, check if it is the first child
 
466
            if parents:
 
467
                # node has parents, assign from the left most parent.
 
468
                parent_info = revnos[parents[0]]
 
469
                first_child = parent_info[1]
 
470
                parent_info[1] = False
 
471
            else:
 
472
                # We don't use the same algorithm here, but we need to keep the
 
473
                # stack in line
 
474
                first_child = None
 
475
            first_child_stack_append(first_child)
 
476
 
 
477
        def pop_node(node_name_stack_pop=node_name_stack.pop,
 
478
                     node_merge_depth_stack_pop=node_merge_depth_stack.pop,
 
479
                     first_child_stack_pop=self._first_child_stack.pop,
 
480
                     left_subtree_pushed_stack_pop=left_subtree_pushed_stack.pop,
 
481
                     pending_parents_stack_pop=pending_parents_stack.pop,
 
482
                     original_graph=self._original_graph,
 
483
                     revnos=self._revnos,
 
484
                     completed_node_names_add=self._completed_node_names.add,
 
485
                     scheduled_nodes_append=scheduled_nodes.append,
 
486
                     revno_to_branch_count=self._revno_to_branch_count,
 
487
                    ):
 
488
            """Pop the top node off the stack
 
489
 
 
490
            The node is appended to the sorted output.
 
491
            """
 
492
            # we are returning from the flattened call frame:
 
493
            # pop off the local variables
 
494
            node_name = node_name_stack_pop()
 
495
            merge_depth = node_merge_depth_stack_pop()
 
496
            first_child = first_child_stack_pop()
 
497
            # remove this node from the pending lists:
 
498
            left_subtree_pushed_stack_pop()
 
499
            pending_parents_stack_pop()
 
500
 
 
501
            parents = original_graph[node_name]
 
502
            if parents:
 
503
                # node has parents, assign from the left most parent.
 
504
                parent_revno = revnos[parents[0]][0]
 
505
                if not first_child:
 
506
                    # not the first child, make a new branch
 
507
                    base_revno = parent_revno[0]
 
508
                    branch_count = revno_to_branch_count.get(base_revno, 0)
 
509
                    branch_count += 1
 
510
                    revno_to_branch_count[base_revno] = branch_count
 
511
                    revno = (parent_revno[0], branch_count, 1)
 
512
                    # revno = (parent_revno[0], branch_count, parent_revno[-1]+1)
 
513
                else:
 
514
                    # as the first child, we just increase the final revision
 
515
                    # number
 
516
                    revno = parent_revno[:-1] + (parent_revno[-1] + 1,)
 
517
            else:
 
518
                # no parents, use the root sequence
 
519
                root_count = revno_to_branch_count.get(0, -1)
 
520
                root_count += 1
 
521
                if root_count:
 
522
                    revno = (0, root_count, 1)
 
523
                else:
 
524
                    revno = (1,)
 
525
                revno_to_branch_count[0] = root_count
 
526
 
 
527
            # store the revno for this node for future reference
 
528
            revnos[node_name][0] = revno
 
529
            completed_node_names_add(node_name)
 
530
            scheduled_nodes_append((node_name, merge_depth, revno))
 
531
            return node_name
 
532
 
 
533
 
 
534
        while node_name_stack:
367
535
            # loop until this call completes.
368
 
            parents_to_visit = self._pending_parents_stack[-1]
 
536
            parents_to_visit = pending_parents_stack[-1]
369
537
            # if all parents are done, the revision is done
370
538
            if not parents_to_visit:
371
539
                # append the revision to the topo sorted scheduled list:
372
540
                # all the nodes parents have been scheduled added, now
373
541
                # we can add it to the output.
374
 
                self._pop_node()
 
542
                pop_node()
375
543
            else:
376
 
                while self._pending_parents_stack[-1]:
377
 
                    if not self._left_subtree_done_stack[-1]:
 
544
                while pending_parents_stack[-1]:
 
545
                    if not left_subtree_pushed_stack[-1]:
378
546
                        # recurse depth first into the primary parent
379
 
                        next_node_name = self._pending_parents_stack[-1].pop(0)
 
547
                        next_node_name = pending_parents_stack[-1].pop(0)
380
548
                    else:
381
549
                        # place any merges in right-to-left order for scheduling
382
550
                        # which gives us left-to-right order after we reverse
385
553
                        # subtree rather than the left most, which will 
386
554
                        # display nicely (you get smaller trees at the top
387
555
                        # of the combined merge).
388
 
                        next_node_name = self._pending_parents_stack[-1].pop()
389
 
                    if next_node_name in self._completed_node_names:
 
556
                        next_node_name = pending_parents_stack[-1].pop()
 
557
                    if next_node_name in completed_node_names:
390
558
                        # this parent was completed by a child on the
391
559
                        # call stack. skip it.
392
560
                        continue
393
561
                    # otherwise transfer it from the source graph into the
394
562
                    # top of the current depth first search stack.
395
563
                    try:
396
 
                        parents = self._graph.pop(next_node_name)
 
564
                        parents = graph_pop(next_node_name)
397
565
                    except KeyError:
398
566
                        # if the next node is not in the source graph it has
399
567
                        # already been popped from it and placed into the
400
568
                        # current search stack (but not completed or we would
401
569
                        # have hit the continue 4 lines up.
402
570
                        # this indicates a cycle.
403
 
                        raise errors.GraphCycleError(self._node_name_stack)
 
571
                        raise errors.GraphCycleError(node_name_stack)
404
572
                    next_merge_depth = 0
405
 
                    if self._left_subtree_done_stack[-1]:
 
573
                    if left_subtree_pushed_stack[-1]:
 
574
                        # a new child branch from name_stack[-1]
406
575
                        next_merge_depth = 1
407
576
                    else:
408
577
                        next_merge_depth = 0
409
 
                        self._left_subtree_done_stack[-1] = True
 
578
                        left_subtree_pushed_stack[-1] = True
410
579
                    next_merge_depth = (
411
 
                        self._node_merge_depth_stack[-1] + next_merge_depth)
412
 
                    self._push_node(
 
580
                        node_merge_depth_stack[-1] + next_merge_depth)
 
581
                    push_node(
413
582
                        next_node_name,
414
583
                        next_merge_depth,
415
584
                        parents)
416
585
                    # and do not continue processing parents until this 'call' 
417
586
                    # has recursed.
418
587
                    break
 
588
 
419
589
        # We have scheduled the graph. Now deliver the ordered output:
420
590
        sequence_number = 0
421
 
        while self._scheduled_nodes:
422
 
            node_name, merge_depth = self._scheduled_nodes.pop()
423
 
            if node_name == self._stop_revision:
 
591
        stop_revision = self._stop_revision
 
592
        generate_revno = self._generate_revno
 
593
        original_graph = self._original_graph
 
594
 
 
595
        while scheduled_nodes:
 
596
            node_name, merge_depth, revno = scheduled_nodes.pop()
 
597
            if node_name == stop_revision:
424
598
                return
425
 
            if not len(self._scheduled_nodes):
 
599
            if not len(scheduled_nodes):
 
600
                # last revision is the end of a merge
426
601
                end_of_merge = True
427
 
            elif self._scheduled_nodes[-1][1] < merge_depth:
 
602
            elif scheduled_nodes[-1][1] < merge_depth:
428
603
                # the next node is to our left
429
604
                end_of_merge = True
430
 
            elif (self._scheduled_nodes[-1][1] == merge_depth and
431
 
                  (self._scheduled_nodes[-1][0] not in
432
 
                   self._original_graph[node_name])):
 
605
            elif (scheduled_nodes[-1][1] == merge_depth and
 
606
                  (scheduled_nodes[-1][0] not in
 
607
                   original_graph[node_name])):
433
608
                # the next node was part of a multiple-merge.
434
609
                end_of_merge = True
435
610
            else:
436
611
                end_of_merge = False
437
 
            yield (sequence_number, node_name, merge_depth, end_of_merge)
 
612
            if generate_revno:
 
613
                yield (sequence_number, node_name, merge_depth, revno, end_of_merge)
 
614
            else:
 
615
                yield (sequence_number, node_name, merge_depth, end_of_merge)
438
616
            sequence_number += 1
439
617
 
440
618
    def _push_node(self, node_name, merge_depth, parents):
445
623
        """
446
624
        self._node_name_stack.append(node_name)
447
625
        self._node_merge_depth_stack.append(merge_depth)
448
 
        self._left_subtree_done_stack.append(False)
 
626
        self._left_subtree_pushed_stack.append(False)
449
627
        self._pending_parents_stack.append(list(parents))
 
628
        # as we push it, figure out if this is the first child
 
629
        parents = self._original_graph[node_name]
 
630
        if parents:
 
631
            # node has parents, assign from the left most parent.
 
632
            parent_info = self._revnos[parents[0]]
 
633
            first_child = parent_info[1]
 
634
            parent_info[1] = False
 
635
        else:
 
636
            # We don't use the same algorithm here, but we need to keep the
 
637
            # stack in line
 
638
            first_child = None
 
639
        self._first_child_stack.append(first_child)
450
640
 
451
641
    def _pop_node(self):
452
642
        """Pop the top node off the stack 
457
647
        # pop off the local variables
458
648
        node_name = self._node_name_stack.pop()
459
649
        merge_depth = self._node_merge_depth_stack.pop()
460
 
        self._left_subtree_done_stack.pop()
 
650
        first_child = self._first_child_stack.pop()
 
651
        # remove this node from the pending lists:
 
652
        self._left_subtree_pushed_stack.pop()
461
653
        self._pending_parents_stack.pop()
462
654
 
 
655
        parents = self._original_graph[node_name]
 
656
        if parents:
 
657
            # node has parents, assign from the left most parent.
 
658
            parent_revno = self._revnos[parents[0]][0]
 
659
            if not first_child:
 
660
                # not the first child, make a new branch
 
661
                base_revno = parent_revno[0]
 
662
                branch_count = self._revno_to_branch_count.get(base_revno, 0)
 
663
                branch_count += 1
 
664
                self._revno_to_branch_count[base_revno] = branch_count
 
665
                revno = (parent_revno[0], branch_count, 1)
 
666
                # revno = (parent_revno[0], branch_count, parent_revno[-1]+1)
 
667
            else:
 
668
                # as the first child, we just increase the final revision
 
669
                # number
 
670
                revno = parent_revno[:-1] + (parent_revno[-1] + 1,)
 
671
        else:
 
672
            # no parents, use the root sequence
 
673
            root_count = self._revno_to_branch_count.get(0, 0)
 
674
            if root_count:
 
675
                revno = (0, root_count, 1)
 
676
            else:
 
677
                revno = (1,)
 
678
            root_count += 1
 
679
            self._revno_to_branch_count[0] = root_count
 
680
 
 
681
        # store the revno for this node for future reference
 
682
        self._revnos[node_name][0] = revno
463
683
        self._completed_node_names.add(node_name)
464
 
        self._scheduled_nodes.append((node_name, merge_depth))
 
684
        self._scheduled_nodes.append((node_name, merge_depth, self._revnos[node_name][0]))
465
685
        return node_name