← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_source.py

  • Committer: Ian Clatworthy
  • Date: 2009-09-09 11:43:10 UTC
  • mto: (4634.37.2 prepare-2.0)
  • mto: This revision was merged to the branch mainline in revision 4689.
  • Revision ID: ian.clatworthy@canonical.com-20090909114310-glw7tv76i5gnx9pt
put rules back in Makefile supporting plain-style docs

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/test_source.py
1
 
# Copyright (C) 2005, 2006 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
2
2
#   Authors: Robert Collins <robert.collins@canonical.com>
 
3
#            and others
3
4
#
4
5
# This program is free software; you can redistribute it and/or modify
5
6
# it under the terms of the GNU General Public License as published by
13
14
#
14
15
# You should have received a copy of the GNU General Public License
15
16
# along with this program; if not, write to the Free Software
16
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
17
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
17
18
 
18
19
"""These tests are tests about the source code of bzrlib itself.
19
20
 
22
23
 
23
24
# import system imports here
24
25
import os
 
26
import parser
25
27
import re
 
28
import symbol
26
29
import sys
 
30
import token
27
31
 
28
32
#import bzrlib specific imports here
29
33
from bzrlib import (
30
34
    osutils,
31
35
    )
32
36
import bzrlib.branch
33
 
from bzrlib.tests import TestCase, TestSkipped
 
37
from bzrlib.tests import (
 
38
    TestCase,
 
39
    TestSkipped,
 
40
    )
34
41
 
35
42
 
36
43
# Files which are listed here will be skipped when testing for Copyright (or
37
44
# GPL) statements.
38
 
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py']
 
45
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py']
39
46
 
40
 
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py']
 
47
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py']
41
48
# Technically, 'bzrlib/lsprof.py' should be 'bzrlib/util/lsprof.py',
42
49
# (we do not check bzrlib/util/, since that is code bundled from elsewhere)
43
50
# but for compatibility with previous releases, we don't want to move it.
47
54
 
48
55
    def source_file_name(self, package):
49
56
        """Return the path of the .py file for package."""
 
57
        if getattr(sys, "frozen", None) is not None:
 
58
            raise TestSkipped("can't test sources in frozen distributions.")
50
59
        path = package.__file__
51
60
        if path[-1] in 'co':
52
61
            return path[:-1]
72
81
        # do not even think of increasing this number. If you think you need to
73
82
        # increase it, then you almost certainly are doing something wrong as
74
83
        # the relationship from working_tree to branch is one way.
75
 
        # Note that this is an exact equality so that when the number drops, 
 
84
        # Note that this is an exact equality so that when the number drops,
76
85
        #it is not given a buffer but rather has this test updated immediately.
77
86
        self.assertEqual(0, occurences)
78
87
 
100
109
                              % source_dir)
101
110
        return source_dir
102
111
 
103
 
    def get_source_files(self):
104
 
        """yield all source files for bzr and bzrlib"""
 
112
    def get_source_files(self, extensions=None):
 
113
        """Yield all source files for bzr and bzrlib
 
114
 
 
115
        :param our_files_only: If true, exclude files from included libraries
 
116
            or plugins.
 
117
        """
105
118
        bzrlib_dir = self.get_bzrlib_dir()
 
119
        if extensions is None:
 
120
            extensions = ('.py',)
106
121
 
107
122
        # This is the front-end 'bzr' script
108
123
        bzr_path = self.get_bzr_path()
113
128
                if d.endswith('.tmp'):
114
129
                    dirs.remove(d)
115
130
            for f in files:
116
 
                if not f.endswith('.py'):
 
131
                for extension in extensions:
 
132
                    if f.endswith(extension):
 
133
                        break
 
134
                else:
 
135
                    # Did not match the accepted extensions
117
136
                    continue
118
137
                yield osutils.pathjoin(root, f)
119
138
 
120
 
    def get_source_file_contents(self):
121
 
        for fname in self.get_source_files():
 
139
    def get_source_file_contents(self, extensions=None):
 
140
        for fname in self.get_source_files(extensions=extensions):
122
141
            f = open(fname, 'rb')
123
142
            try:
124
143
                text = f.read()
126
145
                f.close()
127
146
            yield fname, text
128
147
 
 
148
    def is_our_code(self, fname):
 
149
        """Return true if it's a "real" part of bzrlib rather than external code"""
 
150
        if '/util/' in fname or '/plugins/' in fname:
 
151
            return False
 
152
        else:
 
153
            return True
 
154
 
129
155
    def is_copyright_exception(self, fname):
130
156
        """Certain files are allowed to be different"""
131
 
        if '/util/' in fname or '/plugins/' in fname:
 
157
        if not self.is_our_code(fname):
132
158
            # We don't ask that external utilities or plugins be
133
159
            # (C) Canonical Ltd
134
160
            return True
135
 
 
136
161
        for exc in COPYRIGHT_EXCEPTIONS:
137
162
            if fname.endswith(exc):
138
163
                return True
139
 
 
140
164
        return False
141
165
 
142
166
    def is_license_exception(self, fname):
143
167
        """Certain files are allowed to be different"""
144
 
        if '/util/' in fname or '/plugins/' in fname:
145
 
            # We don't ask that external utilities or plugins be
146
 
            # (C) Canonical Ltd
 
168
        if not self.is_our_code(fname):
147
169
            return True
148
 
 
149
170
        for exc in LICENSE_EXCEPTIONS:
150
171
            if fname.endswith(exc):
151
172
                return True
152
 
 
153
173
        return False
154
174
 
155
175
    def test_tmpdir_not_in_source_files(self):
161
181
                          % filename)
162
182
 
163
183
    def test_copyright(self):
164
 
        """Test that all .py files have a valid copyright statement"""
165
 
        # These are files which contain a different copyright statement
166
 
        # and that is okay.
 
184
        """Test that all .py and .pyx files have a valid copyright statement"""
167
185
        incorrect = []
168
186
 
169
187
        copyright_re = re.compile('#\\s*copyright.*(?=\n)', re.I)
173
191
            r'.*Canonical Ltd' # And containing 'Canonical Ltd'
174
192
            )
175
193
 
176
 
        for fname, text in self.get_source_file_contents():
 
194
        for fname, text in self.get_source_file_contents(
 
195
                extensions=('.py', '.pyx')):
177
196
            if self.is_copyright_exception(fname):
178
197
                continue
179
198
            match = copyright_canonical_re.search(text)
208
227
            self.fail('\n'.join(help_text))
209
228
 
210
229
    def test_gpl(self):
211
 
        """Test that all .py files have a GPL disclaimer"""
 
230
        """Test that all .py and .pyx files have a GPL disclaimer."""
212
231
        incorrect = []
213
232
 
214
233
        gpl_txt = """
224
243
#
225
244
# You should have received a copy of the GNU General Public License
226
245
# along with this program; if not, write to the Free Software
227
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
246
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
228
247
"""
229
248
        gpl_re = re.compile(re.escape(gpl_txt), re.MULTILINE)
230
249
 
231
 
        for fname, text in self.get_source_file_contents():
 
250
        for fname, text in self.get_source_file_contents(
 
251
                extensions=('.py', '.pyx')):
232
252
            if self.is_license_exception(fname):
233
253
                continue
234
254
            if not gpl_re.search(text):
248
268
 
249
269
            self.fail('\n'.join(help_text))
250
270
 
251
 
    def test_no_tabs(self):
252
 
        """bzrlib source files should not contain any tab characters."""
253
 
        incorrect = []
254
 
 
 
271
    def _push_file(self, dict_, fname, line_no):
 
272
        if fname not in dict_:
 
273
            dict_[fname] = [line_no]
 
274
        else:
 
275
            dict_[fname].append(line_no)
 
276
 
 
277
    def _format_message(self, dict_, message):
 
278
        files = ["%s: %s" % (f, ', '.join([str(i+1) for i in lines]))
 
279
                for f, lines in dict_.items()]
 
280
        files.sort()
 
281
        return message + '\n\n    %s' % ('\n    '.join(files))
 
282
 
 
283
    def test_coding_style(self):
 
284
        """Check if bazaar code conforms to some coding style conventions.
 
285
 
 
286
        Currently we assert that the following is not present:
 
287
         * any tab characters
 
288
         * non-unix newlines
 
289
         * no newline at end of files
 
290
 
 
291
        Print how many files have
 
292
         * trailing white space
 
293
         * lines longer than 79 chars
 
294
        """
 
295
        tabs = {}
 
296
        trailing_ws = {}
 
297
        illegal_newlines = {}
 
298
        long_lines = {}
 
299
        no_newline_at_eof = []
 
300
        for fname, text in self.get_source_file_contents(
 
301
                extensions=('.py', '.pyx')):
 
302
            if not self.is_our_code(fname):
 
303
                continue
 
304
            lines = text.splitlines(True)
 
305
            last_line_no = len(lines) - 1
 
306
            for line_no, line in enumerate(lines):
 
307
                if '\t' in line:
 
308
                    self._push_file(tabs, fname, line_no)
 
309
                if not line.endswith('\n') or line.endswith('\r\n'):
 
310
                    if line_no != last_line_no: # not no_newline_at_eof
 
311
                        self._push_file(illegal_newlines, fname, line_no)
 
312
                if line.endswith(' \n'):
 
313
                    self._push_file(trailing_ws, fname, line_no)
 
314
                if len(line) > 80:
 
315
                    self._push_file(long_lines, fname, line_no)
 
316
            if not lines[-1].endswith('\n'):
 
317
                no_newline_at_eof.append(fname)
 
318
        problems = []
 
319
        if tabs:
 
320
            problems.append(self._format_message(tabs,
 
321
                'Tab characters were found in the following source files.'
 
322
                '\nThey should either be replaced by "\\t" or by spaces:'))
 
323
        if trailing_ws:
 
324
            print ("There are %i lines with trailing white space in %i files."
 
325
                % (sum([len(lines) for f, lines in trailing_ws.items()]),
 
326
                    len(trailing_ws)))
 
327
        if illegal_newlines:
 
328
            problems.append(self._format_message(illegal_newlines,
 
329
                'Non-unix newlines were found in the following source files:'))
 
330
        if long_lines:
 
331
            print ("There are %i lines longer than 79 characters in %i files."
 
332
                % (sum([len(lines) for f, lines in long_lines.items()]),
 
333
                    len(long_lines)))
 
334
        if no_newline_at_eof:
 
335
            no_newline_at_eof.sort()
 
336
            problems.append("The following source files doesn't have a "
 
337
                "newline at the end:"
 
338
               '\n\n    %s'
 
339
               % ('\n    '.join(no_newline_at_eof)))
 
340
        if problems:
 
341
            self.fail('\n\n'.join(problems))
 
342
 
 
343
    def test_no_asserts(self):
 
344
        """bzr shouldn't use the 'assert' statement."""
 
345
        # assert causes too much variation between -O and not, and tends to
 
346
        # give bad errors to the user
 
347
        def search(x):
 
348
            # scan down through x for assert statements, report any problems
 
349
            # this is a bit cheesy; it may get some false positives?
 
350
            if x[0] == symbol.assert_stmt:
 
351
                return True
 
352
            elif x[0] == token.NAME:
 
353
                # can't search further down
 
354
                return False
 
355
            for sub in x[1:]:
 
356
                if sub and search(sub):
 
357
                    return True
 
358
            return False
 
359
        badfiles = []
255
360
        for fname, text in self.get_source_file_contents():
256
 
            if '/util/' in fname or '/plugins/' in fname:
 
361
            if not self.is_our_code(fname):
257
362
                continue
258
 
            if '\t' in text:
259
 
                incorrect.append(fname)
260
 
 
261
 
        if incorrect:
262
 
            self.fail('Tab characters were found in the following source files.'
263
 
              '\nThey should either be replaced by "\\t" or by spaces:'
264
 
              '\n\n    %s'
265
 
              % ('\n    '.join(incorrect)))
 
363
            ast = parser.ast2tuple(parser.suite(''.join(text)))
 
364
            if search(ast):
 
365
                badfiles.append(fname)
 
366
        if badfiles:
 
367
            self.fail(
 
368
                "these files contain an assert statement and should not:\n%s"
 
369
                % '\n'.join(badfiles))