~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to tools/doc_generate/autodoc_man.py

  • Committer: Eric Holmberg
  • Date: 2008-05-06 15:02:27 UTC
  • mto: This revision was merged to the branch mainline in revision 3449.
  • Revision ID: eholmberg@arrow.com-20080506150227-l3arq1yntdvnoxum
Fix for Bug #215426 in which bzr can cause a MemoryError in socket.recv while
downloading large packs over http.  This patch limits the request size for
socket.recv to avoid this problem.

Changes:
Added mock file object bzrlib.tests.file_utils.
Added new parameters to bzrlib.osutils.pumpfile.
Added unit tests for bzrlib.osutils.pumpfile.
Added usage of bzrlib.osutils.pumpfile to bzrlib.transport.http.response.

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
#!/usr/bin/python
2
 
 
3
 
# Copyright (C) 2005 by Hans Ulrich Niedermann
4
 
# Portions Copyright (C) 2005 by Canonical Ltd
 
1
# Copyright 2005 Canonical Ltd.
5
2
 
6
3
# This program is free software; you can redistribute it and/or modify
7
4
# it under the terms of the GNU General Public License as published by
8
5
# the Free Software Foundation; either version 2 of the License, or
9
6
# (at your option) any later version.
10
 
 
 
7
#
11
8
# This program is distributed in the hope that it will be useful,
12
9
# but WITHOUT ANY WARRANTY; without even the implied warranty of
13
10
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14
11
# GNU General Public License for more details.
15
 
 
 
12
#
16
13
# You should have received a copy of the GNU General Public License
17
14
# along with this program; if not, write to the Free Software
18
15
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
19
16
 
20
 
#<<< code taken from bzr (C) Canonical
21
 
 
22
 
import os, sys
23
 
 
24
 
try:
25
 
    version_info = sys.version_info
26
 
except AttributeError:
27
 
    version_info = 1, 5 # 1.5 or older
28
 
 
29
 
 
30
 
REINVOKE = "__BZR_REINVOKE"    
31
 
NEED_VERS = (2, 3)
32
 
 
33
 
if version_info < NEED_VERS:
34
 
    if not os.environ.has_key(REINVOKE):
35
 
        # mutating os.environ doesn't work in old Pythons
36
 
        os.putenv(REINVOKE, "1")
37
 
        for python in 'python2.4', 'python2.3':
38
 
            try:
39
 
                os.execvp(python, [python] + sys.argv)
40
 
            except OSError:
41
 
                pass
42
 
    print >>sys.stderr, "bzr-man.py: error: cannot find a suitable python interpreter"
43
 
    print >>sys.stderr, "  (need %d.%d or later)" % NEED_VERS
44
 
    sys.exit(1)
45
 
os.unsetenv(REINVOKE)
46
 
 
47
 
import bzrlib, bzrlib.help
48
 
 
49
 
#>>> code taken from bzr (C) Canonical
50
 
 
51
 
#<<< code by HUN
52
 
 
 
17
"""man.py - create man page from built-in bzr help and static text
 
18
 
 
19
TODO:
 
20
  * use usage information instead of simple "bzr foo" in COMMAND OVERVIEW
 
21
  * add command aliases
 
22
"""
 
23
 
 
24
import os
 
25
import sys
 
26
import textwrap
53
27
import time
54
 
import re
 
28
 
 
29
import bzrlib
 
30
import bzrlib.help
 
31
import bzrlib.help_topics
 
32
import bzrlib.commands
 
33
 
 
34
 
 
35
def get_filename(options):
 
36
    """Provides name of manpage"""
 
37
    return "%s.1" % (options.bzr_name)
 
38
 
 
39
 
 
40
def infogen(options, outfile):
 
41
    """Assembles a man page"""
 
42
    t = time.time()
 
43
    tt = time.gmtime(t)
 
44
    params = \
 
45
           { "bzrcmd": options.bzr_name,
 
46
             "datestamp": time.strftime("%Y-%m-%d",tt),
 
47
             "timestamp": time.strftime("%Y-%m-%d %H:%M:%S +0000",tt),
 
48
             "version": bzrlib.__version__,
 
49
             }
 
50
    outfile.write(man_preamble % params)
 
51
    outfile.write(man_escape(man_head % params))
 
52
    outfile.write(man_escape(getcommand_list(params)))
 
53
    outfile.write(man_escape(getcommand_help(params)))
 
54
    outfile.write(man_escape(man_foot % params))
55
55
 
56
56
 
57
57
def man_escape(string):
 
58
    """Escapes strings for man page compatibility"""
58
59
    result = string.replace("\\","\\\\")
59
60
    result = result.replace("`","\\`")
60
61
    result = result.replace("'","\\'")
62
63
    return result
63
64
 
64
65
 
65
 
class Parser:
66
 
 
67
 
    def parse_line(self, line):
68
 
        pass
69
 
 
70
 
 
71
 
class CommandListParser(Parser):
72
 
 
73
 
    """Parser for output of "bzr help commands".
74
 
 
75
 
    The parsed content can then be used to
76
 
    - write a "COMMAND OVERVIEW" section into a man page
77
 
    - provide a list of all commands
78
 
    """
79
 
 
80
 
    def __init__(self,params):
81
 
        self.params = params
82
 
        self.command_usage = []
83
 
        self.all_commands = []
84
 
        self.usage_exp = re.compile("([a-z0-9-]+).*")
85
 
        self.descr_exp = re.compile("    ([A-Z].*)\s*")
86
 
        self.state = 0
87
 
        self.command = None
88
 
        self.usage = None
89
 
        self.descr = None
90
 
 
91
 
    def parse_line(self, line):
92
 
        m = self.usage_exp.match(line)
93
 
        if m:
94
 
            if self.state == 0:
95
 
                if self.usage:
96
 
                    self.command_usage.append((self.command,self.usage,self.descr))
97
 
                    self.all_commands.append(self.command)
98
 
                self.usage = line
99
 
                self.command = m.groups()[0]
100
 
            else:
101
 
                raise Error, "matching usage line in state %d" % state
102
 
            self.state = 1
103
 
            return
104
 
        m = self.descr_exp.match(line)
105
 
        if m:
106
 
            if self.state == 1:
107
 
                self.descr = m.groups()[0]
108
 
            else:
109
 
                raise Error, "matching descr line in state %d" % state
110
 
            self.state = 0
111
 
            return
112
 
        raise Error, "Cannot parse this line"
113
 
 
114
 
    def end_parse(self):
115
 
        if self.state == 0:
116
 
            if self.usage:
117
 
                self.command_usage.append((self.command,self.usage,self.descr))
118
 
                self.all_commands.append(self.command)
119
 
        else:
120
 
            raise Error, "ending parse in state %d" % state
121
 
 
122
 
    def write_to_manpage(self, outfile):
123
 
        bzrcmd = self.params["bzrcmd"]
124
 
        outfile.write('.SH "COMMAND OVERVIEW"\n')
125
 
        for (command,usage,descr) in self.command_usage:
126
 
            outfile.write('.TP\n.B "%s %s"\n%s\n\n' % (bzrcmd, usage, descr))
127
 
 
128
 
 
129
 
class HelpReader:
130
 
 
131
 
    def __init__(self, parser):
132
 
        self.parser = parser
133
 
 
134
 
    def write(self, data):
135
 
        if data[-1] == '\n':
136
 
            data = data[:-1]
137
 
        for line in data.split('\n'):
138
 
            self.parser.parse_line(line)
139
 
 
140
 
 
141
 
def write_command_details(params, command, usage, descr, outfile):
142
 
    x = ('.SS "%s %s"\n.B "%s"\n.PP\n.B "Usage:"\n%s %s\n\n' %
143
 
         (params["bzrcmd"],
144
 
          command,
145
 
          descr,
146
 
          params["bzrcmd"],
147
 
          usage))
148
 
    outfile.write(man_escape(x))
 
66
def command_name_list():
 
67
    """Builds a list of command names from bzrlib"""
 
68
    command_names = bzrlib.commands.builtin_command_names()
 
69
    command_names.sort()
 
70
    return command_names
 
71
 
 
72
 
 
73
def getcommand_list (params):
 
74
    """Builds summary help for command names in manpage format"""
 
75
    bzrcmd = params["bzrcmd"]
 
76
    output = '.SH "COMMAND OVERVIEW"\n'
 
77
    for cmd_name in command_name_list():
 
78
        cmd_object = bzrlib.commands.get_cmd_object(cmd_name)
 
79
        if cmd_object.hidden:
 
80
            continue
 
81
        cmd_help = cmd_object.help()
 
82
        if cmd_help:
 
83
            firstline = cmd_help.split('\n', 1)[0]
 
84
            usage = cmd_object._usage()
 
85
            tmp = '.TP\n.B "%s"\n%s\n' % (usage, firstline)
 
86
            output = output + tmp
 
87
        else:
 
88
            raise RuntimeError, "Command '%s' has no help text" % (cmd_name)
 
89
    return output
 
90
 
 
91
 
 
92
def getcommand_help(params):
 
93
    """Shows individual options for a bzr command"""
 
94
    output='.SH "COMMAND REFERENCE"\n'
 
95
    for cmd_name in command_name_list():
 
96
        cmd_object = bzrlib.commands.get_cmd_object(cmd_name)
 
97
        if cmd_object.hidden:
 
98
            continue
 
99
        output = output + format_command(params, cmd_object)
 
100
    return output
 
101
 
 
102
 
 
103
def format_command (params, cmd):
 
104
    """Provides long help for each public command"""
 
105
    subsection_header = '.SS "%s"\n' % (cmd._usage())
 
106
    doc = "%s\n" % (cmd.__doc__)
 
107
    doc = bzrlib.help_topics.help_as_plain_text(cmd.help())
 
108
 
 
109
    option_str = ""
 
110
    options = cmd.options()
 
111
    if options:
 
112
        option_str = "\nOptions:\n"
 
113
        for option_name, option in sorted(options.items()):
 
114
            for name, short_name, argname, help in option.iter_switches():
 
115
                if option.is_hidden(name):
 
116
                    continue
 
117
                l = '    --' + name
 
118
                if argname is not None:
 
119
                    l += ' ' + argname
 
120
                if short_name:
 
121
                    assert len(short_name) == 1
 
122
                    l += ', -' + short_name
 
123
                l += (30 - len(l)) * ' ' + (help or '')
 
124
                wrapped = textwrap.fill(l, initial_indent='',
 
125
                                        subsequent_indent=30*' ')
 
126
                option_str = option_str + wrapped + '\n'       
 
127
 
 
128
    aliases_str = ""
 
129
    if cmd.aliases:
 
130
        if len(cmd.aliases) > 1:
 
131
            aliases_str += '\nAliases: '
 
132
        else:
 
133
            aliases_str += '\nAlias: '
 
134
        aliases_str += ', '.join(cmd.aliases)
 
135
        aliases_str += '\n'
 
136
 
 
137
    see_also_str = ""
 
138
    see_also = cmd.get_see_also()
 
139
    if see_also:
 
140
        see_also_str += '\nSee also: '
 
141
        see_also_str += ', '.join(see_also)
 
142
        see_also_str += '\n'
 
143
 
 
144
    return subsection_header + option_str + aliases_str + see_also_str + "\n" + doc + "\n"
149
145
 
150
146
 
151
147
man_preamble = """\
152
 
.\\\" Man page for %(bzrcmd)s (bazaar-ng)
 
148
Man page for Bazaar (%(bzrcmd)s)
153
149
.\\\"
154
150
.\\\" Large parts of this file are autogenerated from the output of
155
151
.\\\"     \"%(bzrcmd)s help commands\"
159
155
.\\\"
160
156
"""
161
157
 
162
 
# The DESCRIPTION text was taken from http://www.bazaar-ng.org/
163
 
# and is thus (C) Canonical
 
158
 
164
159
man_head = """\
165
 
.TH bzr 1 "%(datestamp)s" "%(version)s" "bazaar-ng"
 
160
.TH bzr 1 "%(datestamp)s" "%(version)s" "Bazaar"
166
161
.SH "NAME"
167
 
%(bzrcmd)s - bazaar-ng next-generation distributed version control
 
162
Bazaar (%(bzrcmd)s) - next-generation distributed version control
168
163
.SH "SYNOPSIS"
169
164
.B "%(bzrcmd)s"
170
165
.I "command"
179
174
.B "help"
180
175
.I "command"
181
176
.SH "DESCRIPTION"
182
 
bazaar-ng (or
183
 
.B "%(bzrcmd)s"
184
 
) is a project of Canonical to develop an open source distributed version control system that is powerful, friendly, and scalable. Version control means a system that keeps track of previous revisions of software source code or similar information and helps people work on it in teams.
185
 
.SS "Warning"
186
 
bazaar-ng is at an early stage of development, and the design is still changing from week to week. This man page here may be inconsistent with itself, with other documentation or with the code, and sometimes refer to features that are planned but not yet written. Comments are still very welcome; please send them to bazaar-ng@lists.canonical.com.
 
177
Bazaar (or %(bzrcmd)s) is a project of Canonical to develop an open source
 
178
distributed version control system that is powerful, friendly, and scalable.
 
179
Version control means a system that keeps track of previous revisions
 
180
of software source code or similar information and helps people work on it in teams.
187
181
"""
188
182
 
189
183
man_foot = """\
192
186
.I "BZRPATH"
193
187
Path where
194
188
.B "%(bzrcmd)s"
195
 
is to look for external command.
196
 
 
 
189
is to look for shell plugin external commands.
197
190
.TP
198
 
.I "BZREMAIL"
199
 
E-Mail address of the user. Overrides
200
 
.I "~/.bzr.conf/email" and
201
 
.IR "EMAIL" .
202
 
Example content:
203
 
.I "John Doe <john@example.com>"
204
 
 
 
191
.I "BZR_EMAIL"
 
192
E-Mail address of the user. Overrides default user config.
205
193
.TP
206
194
.I "EMAIL"
207
 
E-Mail address of the user. Overridden by the content of the file
208
 
.I "~/.bzr.conf/email"
209
 
and of the environment variable
210
 
.IR "BZREMAIL" .
211
 
 
 
195
E-Mail address of the user. Overrides default user config.
 
196
.TP
 
197
.I "BZR_EDITOR"
 
198
Editor for editing commit messages
 
199
.TP
 
200
.I "EDITOR"
 
201
Editor for editing commit messages
 
202
.TP
 
203
.I "BZR_PLUGIN_PATH"
 
204
Paths where bzr should look for plugins
 
205
.TP
 
206
.I "BZR_HOME"
 
207
Home directory for bzr
212
208
.SH "FILES"
213
209
.TP
214
 
.I "~/.bzr.conf/"
215
 
Directory where all the user\'s settings are stored.
216
 
.TP
217
 
.I "~/.bzr.conf/email"
218
 
Stores name and email address of the user. Overrides content of
219
 
.I "EMAIL"
220
 
environment variable. Example content:
221
 
.I "John Doe <john@example.com>"
222
 
 
 
210
.I "~/.bazaar/bazaar.conf"
 
211
Contains the user's default configuration. The section
 
212
.B [DEFAULT]
 
213
is used to define general configuration that will be applied everywhere.
 
214
The section
 
215
.B [ALIASES]
 
216
can be used to create command aliases for
 
217
commonly used options.
 
218
 
 
219
A typical config file might look something like:
 
220
 
 
221
.br
 
222
[DEFAULT]
 
223
.br
 
224
email=John Doe <jdoe@isp.com>
 
225
.br
 
226
[ALIASES]
 
227
.br
 
228
commit = commit --strict
 
229
.br
 
230
log10 = log --short -r -10..-1
223
231
.SH "SEE ALSO"
224
 
.UR http://www.bazaar-ng.org/
225
 
.BR http://www.bazaar-ng.org/,
226
 
.UR http://www.bazaar-ng.org/doc/
227
 
.BR http://www.bazaar-ng.org/doc/
 
232
.UR http://www.bazaar-vcs.org/
 
233
.BR http://www.bazaar-vcs.org/
228
234
"""
229
235
 
230
 
def main():
231
 
    t = time.time()
232
 
    tt = time.gmtime(t)
233
 
    params = \
234
 
           { "bzrcmd": "bzr",
235
 
             "datestamp": time.strftime("%Y-%m-%d",tt),
236
 
             "timestamp": time.strftime("%Y-%m-%d %H:%M:%S +0000",tt),
237
 
             "version": bzrlib.__version__,
238
 
             }
239
 
 
240
 
    clp = CommandListParser(params)
241
 
    bzrlib.help.help("commands", outfile=HelpReader(clp))
242
 
    clp.end_parse()
243
 
 
244
 
    filename = "bzr.1"
245
 
    if len(sys.argv) == 2:
246
 
        filename = sys.argv[1]
247
 
    if filename == "-":
248
 
        outfile = sys.stdout
249
 
    else:
250
 
        outfile = open(filename,"w")
251
 
 
252
 
    outfile.write(man_preamble % params)
253
 
    outfile.write(man_escape(man_head % params))
254
 
    clp.write_to_manpage(outfile)
255
 
 
256
 
    # FIXME:
257
 
    #   This doesn't do more than the summary so far.
258
 
    #outfile.write('.SH "DETAILED COMMAND DESCRIPTION"\n')
259
 
    #for (command,usage,descr) in clp.command_usage:
260
 
    #    write_command_details(params, command, usage, descr, outfile = outfile)
261
 
 
262
 
    outfile.write(man_escape(man_foot % params))
263
 
 
264
 
 
265
 
if __name__ == '__main__':
266
 
    main()
267
 
 
268
 
 
269
 
#>>> code by HUN