← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_source.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2008-03-13 23:45:11 UTC
  • mfrom: (3272.1.1 ianc-integration)
  • Revision ID: pqm@pqm.ubuntu.com-20080313234511-fkj5oa8gm3nrfcro
(Neil Martinsen-Burrell) Explain version-info --custom in the User
        Guide

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/test_source.py
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005, 2006 Canonical Ltd
 
2
#   Authors: Robert Collins <robert.collins@canonical.com>
2
3
#
3
4
# This program is free software; you can redistribute it and/or modify
4
5
# it under the terms of the GNU General Public License as published by
12
13
#
13
14
# You should have received a copy of the GNU General Public License
14
15
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
16
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
17
 
17
18
"""These tests are tests about the source code of bzrlib itself.
18
19
 
19
20
They are useful for testing code quality, checking coverage metric etc.
20
21
"""
21
22
 
 
23
# import system imports here
22
24
import os
23
 
import parser
24
25
import re
25
 
import symbol
26
26
import sys
27
 
import token
28
27
 
 
28
#import bzrlib specific imports here
29
29
from bzrlib import (
30
30
    osutils,
31
31
    )
32
32
import bzrlib.branch
33
 
from bzrlib.tests import (
34
 
    TestCase,
35
 
    TestSkipped,
36
 
    )
 
33
from bzrlib.tests import TestCase, TestSkipped
37
34
 
38
35
 
39
36
# Files which are listed here will be skipped when testing for Copyright (or
40
37
# GPL) statements.
41
 
COPYRIGHT_EXCEPTIONS = [
42
 
    'bzrlib/_bencode_py.py',
43
 
    'bzrlib/doc_generate/conf.py',
44
 
    'bzrlib/lsprof.py',
45
 
    ]
 
38
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py']
46
39
 
47
 
LICENSE_EXCEPTIONS = [
48
 
    'bzrlib/_bencode_py.py',
49
 
    'bzrlib/doc_generate/conf.py',
50
 
    'bzrlib/lsprof.py',
51
 
    ]
 
40
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py']
52
41
# Technically, 'bzrlib/lsprof.py' should be 'bzrlib/util/lsprof.py',
53
42
# (we do not check bzrlib/util/, since that is code bundled from elsewhere)
54
43
# but for compatibility with previous releases, we don't want to move it.
55
 
#
56
 
# sphinx_conf is semi-autogenerated.
57
44
 
58
45
 
59
46
class TestSourceHelper(TestCase):
60
47
 
61
48
    def source_file_name(self, package):
62
49
        """Return the path of the .py file for package."""
63
 
        if getattr(sys, "frozen", None) is not None:
64
 
            raise TestSkipped("can't test sources in frozen distributions.")
65
50
        path = package.__file__
66
51
        if path[-1] in 'co':
67
52
            return path[:-1]
87
72
        # do not even think of increasing this number. If you think you need to
88
73
        # increase it, then you almost certainly are doing something wrong as
89
74
        # the relationship from working_tree to branch is one way.
90
 
        # Note that this is an exact equality so that when the number drops,
 
75
        # Note that this is an exact equality so that when the number drops, 
91
76
        #it is not given a buffer but rather has this test updated immediately.
92
77
        self.assertEqual(0, occurences)
93
78
 
111
96
 
112
97
        # Avoid the case when bzrlib is packaged in a zip file
113
98
        if not os.path.isdir(source_dir):
114
 
            raise TestSkipped(
115
 
                'Cannot find bzrlib source directory. Expected %s'
116
 
                % source_dir)
 
99
            raise TestSkipped('Cannot find bzrlib source directory. Expected %s'
 
100
                              % source_dir)
117
101
        return source_dir
118
102
 
119
 
    def get_source_files(self, extensions=None):
120
 
        """Yield all source files for bzr and bzrlib
121
 
 
122
 
        :param our_files_only: If true, exclude files from included libraries
123
 
            or plugins.
124
 
        """
 
103
    def get_source_files(self):
 
104
        """yield all source files for bzr and bzrlib"""
125
105
        bzrlib_dir = self.get_bzrlib_dir()
126
 
        if extensions is None:
127
 
            extensions = ('.py',)
128
106
 
129
107
        # This is the front-end 'bzr' script
130
108
        bzr_path = self.get_bzr_path()
135
113
                if d.endswith('.tmp'):
136
114
                    dirs.remove(d)
137
115
            for f in files:
138
 
                for extension in extensions:
139
 
                    if f.endswith(extension):
140
 
                        break
141
 
                else:
142
 
                    # Did not match the accepted extensions
 
116
                if not f.endswith('.py'):
143
117
                    continue
144
118
                yield osutils.pathjoin(root, f)
145
119
 
146
 
    def get_source_file_contents(self, extensions=None):
147
 
        for fname in self.get_source_files(extensions=extensions):
 
120
    def get_source_file_contents(self):
 
121
        for fname in self.get_source_files():
148
122
            f = open(fname, 'rb')
149
123
            try:
150
124
                text = f.read()
152
126
                f.close()
153
127
            yield fname, text
154
128
 
155
 
    def is_our_code(self, fname):
156
 
        """True if it's a "real" part of bzrlib rather than external code"""
157
 
        if '/util/' in fname or '/plugins/' in fname:
158
 
            return False
159
 
        else:
160
 
            return True
161
 
 
162
129
    def is_copyright_exception(self, fname):
163
130
        """Certain files are allowed to be different"""
164
 
        if not self.is_our_code(fname):
 
131
        if '/util/' in fname or '/plugins/' in fname:
165
132
            # We don't ask that external utilities or plugins be
166
133
            # (C) Canonical Ltd
167
134
            return True
 
135
 
168
136
        for exc in COPYRIGHT_EXCEPTIONS:
169
137
            if fname.endswith(exc):
170
138
                return True
 
139
 
171
140
        return False
172
141
 
173
142
    def is_license_exception(self, fname):
174
143
        """Certain files are allowed to be different"""
175
 
        if not self.is_our_code(fname):
 
144
        if '/util/' in fname or '/plugins/' in fname:
 
145
            # We don't ask that external utilities or plugins be
 
146
            # (C) Canonical Ltd
176
147
            return True
 
148
 
177
149
        for exc in LICENSE_EXCEPTIONS:
178
150
            if fname.endswith(exc):
179
151
                return True
 
152
 
180
153
        return False
181
154
 
182
155
    def test_tmpdir_not_in_source_files(self):
188
161
                          % filename)
189
162
 
190
163
    def test_copyright(self):
191
 
        """Test that all .py and .pyx files have a valid copyright statement"""
 
164
        """Test that all .py files have a valid copyright statement"""
 
165
        # These are files which contain a different copyright statement
 
166
        # and that is okay.
192
167
        incorrect = []
193
168
 
194
169
        copyright_re = re.compile('#\\s*copyright.*(?=\n)', re.I)
195
170
        copyright_canonical_re = re.compile(
196
 
            r'# Copyright \(C\) '  # Opening "# Copyright (C)"
197
 
            r'(\d+)(, \d+)*'       # followed by a series of dates
198
 
            r'.*Canonical Ltd')    # and containing 'Canonical Ltd'.
 
171
            r'# Copyright \(C\) ' # Opening "# Copyright (C)"
 
172
            r'(\d+)(, \d+)*' # Followed by a series of dates
 
173
            r'.*Canonical Ltd' # And containing 'Canonical Ltd'
 
174
            )
199
175
 
200
 
        for fname, text in self.get_source_file_contents(
201
 
                extensions=('.py', '.pyx')):
 
176
        for fname, text in self.get_source_file_contents():
202
177
            if self.is_copyright_exception(fname):
203
178
                continue
204
179
            match = copyright_canonical_re.search(text)
228
203
                        ]
229
204
            for fname, comment in incorrect:
230
205
                help_text.append(fname)
231
 
                help_text.append((' ' * 4) + comment)
 
206
                help_text.append((' '*4) + comment)
232
207
 
233
208
            self.fail('\n'.join(help_text))
234
209
 
235
210
    def test_gpl(self):
236
 
        """Test that all .py and .pyx files have a GPL disclaimer."""
 
211
        """Test that all .py files have a GPL disclaimer"""
237
212
        incorrect = []
238
213
 
239
214
        gpl_txt = """
249
224
#
250
225
# You should have received a copy of the GNU General Public License
251
226
# along with this program; if not, write to the Free Software
252
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
227
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
253
228
"""
254
229
        gpl_re = re.compile(re.escape(gpl_txt), re.MULTILINE)
255
230
 
256
 
        for fname, text in self.get_source_file_contents(
257
 
                extensions=('.py', '.pyx')):
 
231
        for fname, text in self.get_source_file_contents():
258
232
            if self.is_license_exception(fname):
259
233
                continue
260
234
            if not gpl_re.search(text):
267
241
                         " LICENSE_EXCEPTIONS in"
268
242
                         " bzrlib/tests/test_source.py",
269
243
                         "Or add the following text to the beginning:",
270
 
                         gpl_txt]
 
244
                         gpl_txt
 
245
                        ]
271
246
            for fname in incorrect:
272
 
                help_text.append((' ' * 4) + fname)
 
247
                help_text.append((' '*4) + fname)
273
248
 
274
249
            self.fail('\n'.join(help_text))
275
250
 
276
 
    def _push_file(self, dict_, fname, line_no):
277
 
        if fname not in dict_:
278
 
            dict_[fname] = [line_no]
279
 
        else:
280
 
            dict_[fname].append(line_no)
281
 
 
282
 
    def _format_message(self, dict_, message):
283
 
        files = ["%s: %s" % (f, ', '.join([str(i + 1) for i in lines]))
284
 
                for f, lines in dict_.items()]
285
 
        files.sort()
286
 
        return message + '\n\n    %s' % ('\n    '.join(files))
287
 
 
288
 
    def test_coding_style(self):
289
 
        """Check if bazaar code conforms to some coding style conventions.
290
 
 
291
 
        Generally we expect PEP8, but we do not generally strictly enforce
292
 
        this, and there are existing files that do not comply.  The 'pep8'
293
 
        tool, available separately, will check for more cases.
294
 
 
295
 
        This test only enforces conditions that are globally true at the
296
 
        moment, and that should cause a patch to be rejected: spaces rather
297
 
        than tabs, unix newlines, and a newline at the end of the file.
298
 
        """
299
 
        tabs = {}
300
 
        illegal_newlines = {}
301
 
        no_newline_at_eof = []
302
 
        for fname, text in self.get_source_file_contents(
303
 
                extensions=('.py', '.pyx')):
304
 
            if not self.is_our_code(fname):
305
 
                continue
306
 
            lines = text.splitlines(True)
307
 
            last_line_no = len(lines) - 1
308
 
            for line_no, line in enumerate(lines):
309
 
                if '\t' in line:
310
 
                    self._push_file(tabs, fname, line_no)
311
 
                if not line.endswith('\n') or line.endswith('\r\n'):
312
 
                    if line_no != last_line_no:  # not no_newline_at_eof
313
 
                        self._push_file(illegal_newlines, fname, line_no)
314
 
            if not lines[-1].endswith('\n'):
315
 
                no_newline_at_eof.append(fname)
316
 
        problems = []
317
 
        if tabs:
318
 
            problems.append(self._format_message(tabs,
319
 
                'Tab characters were found in the following source files.'
320
 
                '\nThey should either be replaced by "\\t" or by spaces:'))
321
 
        if illegal_newlines:
322
 
            problems.append(self._format_message(illegal_newlines,
323
 
                'Non-unix newlines were found in the following source files:'))
324
 
        if no_newline_at_eof:
325
 
            no_newline_at_eof.sort()
326
 
            problems.append("The following source files doesn't have a "
327
 
                "newline at the end:"
328
 
               '\n\n    %s'
329
 
               % ('\n    '.join(no_newline_at_eof)))
330
 
        if problems:
331
 
            self.fail('\n\n'.join(problems))
332
 
 
333
 
    def test_no_asserts(self):
334
 
        """bzr shouldn't use the 'assert' statement."""
335
 
        # assert causes too much variation between -O and not, and tends to
336
 
        # give bad errors to the user
337
 
        def search(x):
338
 
            # scan down through x for assert statements, report any problems
339
 
            # this is a bit cheesy; it may get some false positives?
340
 
            if x[0] == symbol.assert_stmt:
341
 
                return True
342
 
            elif x[0] == token.NAME:
343
 
                # can't search further down
344
 
                return False
345
 
            for sub in x[1:]:
346
 
                if sub and search(sub):
347
 
                    return True
348
 
            return False
349
 
        badfiles = []
350
 
        assert_re = re.compile(r'\bassert\b')
 
251
    def test_no_tabs(self):
 
252
        """bzrlib source files should not contain any tab characters."""
 
253
        incorrect = []
 
254
 
351
255
        for fname, text in self.get_source_file_contents():
352
 
            if not self.is_our_code(fname):
353
 
                continue
354
 
            if not assert_re.search(text):
355
 
                continue
356
 
            ast = parser.ast2tuple(parser.suite(text))
357
 
            if search(ast):
358
 
                badfiles.append(fname)
359
 
        if badfiles:
360
 
            self.fail(
361
 
                "these files contain an assert statement and should not:\n%s"
362
 
                % '\n'.join(badfiles))
363
 
 
364
 
    def test_extension_exceptions(self):
365
 
        """Extension functions should propagate exceptions.
366
 
 
367
 
        Either they should return an object, have an 'except' clause, or
368
 
        have a "# cannot_raise" to indicate that we've audited them and
369
 
        defined them as not raising exceptions.
370
 
        """
371
 
        both_exc_and_no_exc = []
372
 
        missing_except = []
373
 
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?'
374
 
                              r'(api\s+)?class (\w+).*:', re.MULTILINE)
375
 
        extern_class_re = re.compile(r'## extern cdef class (\w+)',
376
 
                                     re.MULTILINE)
377
 
        except_re = re.compile(
378
 
            r'cdef\s+'        # start with cdef
379
 
            r'([\w *]*?)\s*'  # this is the return signature
380
 
            r'(\w+)\s*\('     # the function name
381
 
            r'[^)]*\)\s*'     # parameters
382
 
            r'(.*)\s*:'       # the except clause
383
 
            r'\s*(#\s*cannot[- _]raise)?')  # cannot raise comment
384
 
        for fname, text in self.get_source_file_contents(
385
 
                extensions=('.pyx',)):
386
 
            known_classes = set([m[-1] for m in class_re.findall(text)])
387
 
            known_classes.update(extern_class_re.findall(text))
388
 
            cdefs = except_re.findall(text)
389
 
            for sig, func, exc_clause, no_exc_comment in cdefs:
390
 
                if sig.startswith('api '):
391
 
                    sig = sig[4:]
392
 
                if not sig or sig in known_classes:
393
 
                    sig = 'object'
394
 
                if 'nogil' in exc_clause:
395
 
                    exc_clause = exc_clause.replace('nogil', '').strip()
396
 
                if exc_clause and no_exc_comment:
397
 
                    both_exc_and_no_exc.append((fname, func))
398
 
                if sig != 'object' and not (exc_clause or no_exc_comment):
399
 
                    missing_except.append((fname, func))
400
 
        error_msg = []
401
 
        if both_exc_and_no_exc:
402
 
            error_msg.append(
403
 
                'The following functions had "cannot raise" comments'
404
 
                ' but did have an except clause set:')
405
 
            for fname, func in both_exc_and_no_exc:
406
 
                error_msg.append('%s:%s' % (fname, func))
407
 
            error_msg.extend(('', ''))
408
 
        if missing_except:
409
 
            error_msg.append(
410
 
                'The following functions have fixed return types,'
411
 
                ' but no except clause.')
412
 
            error_msg.append(
413
 
                'Either add an except or append "# cannot_raise".')
414
 
            for fname, func in missing_except:
415
 
                error_msg.append('%s:%s' % (fname, func))
416
 
            error_msg.extend(('', ''))
417
 
        if error_msg:
418
 
            self.fail('\n'.join(error_msg))
 
256
            if '/util/' in fname or '/plugins/' in fname:
 
257
                continue
 
258
            if '\t' in text:
 
259
                incorrect.append(fname)
 
260
 
 
261
        if incorrect:
 
262
            self.fail('Tab characters were found in the following source files.'
 
263
              '\nThey should either be replaced by "\\t" or by spaces:'
 
264
              '\n\n    %s'
 
265
              % ('\n    '.join(incorrect)))