← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_source.py

  • Committer: Vincent Ladeuil
  • Date: 2009-04-08 13:13:30 UTC
  • mfrom: (4202.4.3 348459-wrong-annotation)
  • mto: This revision was merged to the branch mainline in revision 4273.
  • Revision ID: v.ladeuil+lp@free.fr-20090408131330-mx1hq45oarrxia2z
Allows external annotation tie-breakers

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/test_source.py
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
 
2
#   Authors: Robert Collins <robert.collins@canonical.com>
 
3
#            and others
2
4
#
3
5
# This program is free software; you can redistribute it and/or modify
4
6
# it under the terms of the GNU General Public License as published by
19
21
They are useful for testing code quality, checking coverage metric etc.
20
22
"""
21
23
 
 
24
# import system imports here
22
25
import os
23
26
import parser
24
27
import re
26
29
import sys
27
30
import token
28
31
 
 
32
#import bzrlib specific imports here
29
33
from bzrlib import (
30
34
    osutils,
31
35
    )
32
36
import bzrlib.branch
33
37
from bzrlib.tests import (
 
38
    KnownFailure,
34
39
    TestCase,
35
40
    TestSkipped,
36
41
    )
38
43
 
39
44
# Files which are listed here will be skipped when testing for Copyright (or
40
45
# GPL) statements.
41
 
COPYRIGHT_EXCEPTIONS = [
42
 
    'bzrlib/_bencode_py.py',
43
 
    'bzrlib/doc_generate/conf.py',
44
 
    'bzrlib/lsprof.py',
45
 
    ]
 
46
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py']
46
47
 
47
 
LICENSE_EXCEPTIONS = [
48
 
    'bzrlib/_bencode_py.py',
49
 
    'bzrlib/doc_generate/conf.py',
50
 
    'bzrlib/lsprof.py',
51
 
    ]
 
48
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py']
52
49
# Technically, 'bzrlib/lsprof.py' should be 'bzrlib/util/lsprof.py',
53
50
# (we do not check bzrlib/util/, since that is code bundled from elsewhere)
54
51
# but for compatibility with previous releases, we don't want to move it.
55
 
#
56
 
# sphinx_conf is semi-autogenerated.
57
52
 
58
53
 
59
54
class TestSourceHelper(TestCase):
111
106
 
112
107
        # Avoid the case when bzrlib is packaged in a zip file
113
108
        if not os.path.isdir(source_dir):
114
 
            raise TestSkipped(
115
 
                'Cannot find bzrlib source directory. Expected %s'
116
 
                % source_dir)
 
109
            raise TestSkipped('Cannot find bzrlib source directory. Expected %s'
 
110
                              % source_dir)
117
111
        return source_dir
118
112
 
119
113
    def get_source_files(self, extensions=None):
153
147
            yield fname, text
154
148
 
155
149
    def is_our_code(self, fname):
156
 
        """True if it's a "real" part of bzrlib rather than external code"""
 
150
        """Return true if it's a "real" part of bzrlib rather than external code"""
157
151
        if '/util/' in fname or '/plugins/' in fname:
158
152
            return False
159
153
        else:
193
187
 
194
188
        copyright_re = re.compile('#\\s*copyright.*(?=\n)', re.I)
195
189
        copyright_canonical_re = re.compile(
196
 
            r'# Copyright \(C\) '  # Opening "# Copyright (C)"
197
 
            r'(\d+)(, \d+)*'       # followed by a series of dates
198
 
            r'.*Canonical Ltd')    # and containing 'Canonical Ltd'.
 
190
            r'# Copyright \(C\) ' # Opening "# Copyright (C)"
 
191
            r'(\d+)(, \d+)*' # Followed by a series of dates
 
192
            r'.*Canonical Ltd' # And containing 'Canonical Ltd'
 
193
            )
199
194
 
200
195
        for fname, text in self.get_source_file_contents(
201
196
                extensions=('.py', '.pyx')):
228
223
                        ]
229
224
            for fname, comment in incorrect:
230
225
                help_text.append(fname)
231
 
                help_text.append((' ' * 4) + comment)
 
226
                help_text.append((' '*4) + comment)
232
227
 
233
228
            self.fail('\n'.join(help_text))
234
229
 
267
262
                         " LICENSE_EXCEPTIONS in"
268
263
                         " bzrlib/tests/test_source.py",
269
264
                         "Or add the following text to the beginning:",
270
 
                         gpl_txt]
 
265
                         gpl_txt
 
266
                        ]
271
267
            for fname in incorrect:
272
 
                help_text.append((' ' * 4) + fname)
 
268
                help_text.append((' '*4) + fname)
273
269
 
274
270
            self.fail('\n'.join(help_text))
275
271
 
280
276
            dict_[fname].append(line_no)
281
277
 
282
278
    def _format_message(self, dict_, message):
283
 
        files = ["%s: %s" % (f, ', '.join([str(i + 1) for i in lines]))
 
279
        files = ["%s: %s" % (f, ', '.join([str(i+1) for i in lines]))
284
280
                for f, lines in dict_.items()]
285
281
        files.sort()
286
282
        return message + '\n\n    %s' % ('\n    '.join(files))
288
284
    def test_coding_style(self):
289
285
        """Check if bazaar code conforms to some coding style conventions.
290
286
 
291
 
        Generally we expect PEP8, but we do not generally strictly enforce
292
 
        this, and there are existing files that do not comply.  The 'pep8'
293
 
        tool, available separately, will check for more cases.
294
 
 
295
 
        This test only enforces conditions that are globally true at the
296
 
        moment, and that should cause a patch to be rejected: spaces rather
297
 
        than tabs, unix newlines, and a newline at the end of the file.
 
287
        Currently we check for:
 
288
         * any tab characters
 
289
         * trailing white space
 
290
         * non-unix newlines
 
291
         * no newline at end of files
 
292
         * lines longer than 79 chars
 
293
           (only print how many files and lines are in violation)
298
294
        """
299
295
        tabs = {}
 
296
        trailing_ws = {}
300
297
        illegal_newlines = {}
 
298
        long_lines = {}
301
299
        no_newline_at_eof = []
302
300
        for fname, text in self.get_source_file_contents(
303
301
                extensions=('.py', '.pyx')):
309
307
                if '\t' in line:
310
308
                    self._push_file(tabs, fname, line_no)
311
309
                if not line.endswith('\n') or line.endswith('\r\n'):
312
 
                    if line_no != last_line_no:  # not no_newline_at_eof
 
310
                    if line_no != last_line_no: # not no_newline_at_eof
313
311
                        self._push_file(illegal_newlines, fname, line_no)
 
312
                if line.endswith(' \n'):
 
313
                    self._push_file(trailing_ws, fname, line_no)
 
314
                if len(line) > 80:
 
315
                    self._push_file(long_lines, fname, line_no)
314
316
            if not lines[-1].endswith('\n'):
315
317
                no_newline_at_eof.append(fname)
316
318
        problems = []
318
320
            problems.append(self._format_message(tabs,
319
321
                'Tab characters were found in the following source files.'
320
322
                '\nThey should either be replaced by "\\t" or by spaces:'))
 
323
        if trailing_ws:
 
324
            problems.append(self._format_message(trailing_ws,
 
325
                'Trailing white space was found in the following source files:'
 
326
                ))
321
327
        if illegal_newlines:
322
328
            problems.append(self._format_message(illegal_newlines,
323
329
                'Non-unix newlines were found in the following source files:'))
 
330
        if long_lines:
 
331
            print ("There are %i lines longer than 79 characters in %i files."
 
332
                % (sum([len(lines) for f, lines in long_lines.items()]),
 
333
                    len(long_lines)))
324
334
        if no_newline_at_eof:
325
335
            no_newline_at_eof.sort()
326
336
            problems.append("The following source files doesn't have a "
328
338
               '\n\n    %s'
329
339
               % ('\n    '.join(no_newline_at_eof)))
330
340
        if problems:
 
341
            raise KnownFailure("test_coding_style has failed")
331
342
            self.fail('\n\n'.join(problems))
332
343
 
333
344
    def test_no_asserts(self):
347
358
                    return True
348
359
            return False
349
360
        badfiles = []
350
 
        assert_re = re.compile(r'\bassert\b')
351
361
        for fname, text in self.get_source_file_contents():
352
362
            if not self.is_our_code(fname):
353
363
                continue
354
 
            if not assert_re.search(text):
355
 
                continue
356
 
            ast = parser.ast2tuple(parser.suite(text))
 
364
            ast = parser.ast2tuple(parser.suite(''.join(text)))
357
365
            if search(ast):
358
366
                badfiles.append(fname)
359
367
        if badfiles:
360
368
            self.fail(
361
369
                "these files contain an assert statement and should not:\n%s"
362
370
                % '\n'.join(badfiles))
363
 
 
364
 
    def test_extension_exceptions(self):
365
 
        """Extension functions should propagate exceptions.
366
 
 
367
 
        Either they should return an object, have an 'except' clause, or
368
 
        have a "# cannot_raise" to indicate that we've audited them and
369
 
        defined them as not raising exceptions.
370
 
        """
371
 
        both_exc_and_no_exc = []
372
 
        missing_except = []
373
 
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?'
374
 
                              r'(api\s+)?class (\w+).*:', re.MULTILINE)
375
 
        extern_class_re = re.compile(r'## extern cdef class (\w+)',
376
 
                                     re.MULTILINE)
377
 
        except_re = re.compile(
378
 
            r'cdef\s+'        # start with cdef
379
 
            r'([\w *]*?)\s*'  # this is the return signature
380
 
            r'(\w+)\s*\('     # the function name
381
 
            r'[^)]*\)\s*'     # parameters
382
 
            r'(.*)\s*:'       # the except clause
383
 
            r'\s*(#\s*cannot[- _]raise)?')  # cannot raise comment
384
 
        for fname, text in self.get_source_file_contents(
385
 
                extensions=('.pyx',)):
386
 
            known_classes = set([m[-1] for m in class_re.findall(text)])
387
 
            known_classes.update(extern_class_re.findall(text))
388
 
            cdefs = except_re.findall(text)
389
 
            for sig, func, exc_clause, no_exc_comment in cdefs:
390
 
                if sig.startswith('api '):
391
 
                    sig = sig[4:]
392
 
                if not sig or sig in known_classes:
393
 
                    sig = 'object'
394
 
                if 'nogil' in exc_clause:
395
 
                    exc_clause = exc_clause.replace('nogil', '').strip()
396
 
                if exc_clause and no_exc_comment:
397
 
                    both_exc_and_no_exc.append((fname, func))
398
 
                if sig != 'object' and not (exc_clause or no_exc_comment):
399
 
                    missing_except.append((fname, func))
400
 
        error_msg = []
401
 
        if both_exc_and_no_exc:
402
 
            error_msg.append(
403
 
                'The following functions had "cannot raise" comments'
404
 
                ' but did have an except clause set:')
405
 
            for fname, func in both_exc_and_no_exc:
406
 
                error_msg.append('%s:%s' % (fname, func))
407
 
            error_msg.extend(('', ''))
408
 
        if missing_except:
409
 
            error_msg.append(
410
 
                'The following functions have fixed return types,'
411
 
                ' but no except clause.')
412
 
            error_msg.append(
413
 
                'Either add an except or append "# cannot_raise".')
414
 
            for fname, func in missing_except:
415
 
                error_msg.append('%s:%s' % (fname, func))
416
 
            error_msg.extend(('', ''))
417
 
        if error_msg:
418
 
            self.fail('\n'.join(error_msg))