~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_source.py

  • Committer: Patch Queue Manager
  • Date: 2016-04-21 05:06:57 UTC
  • mfrom: (6603.4.1 bzr)
  • Revision ID: pqm@pqm.ubuntu.com-20160421050657-ygnzfybewvudf1j9
(richard-wilbur) Use initial_comment as commit_message for lp_propose.(Shawn
 Wang) (Shawn Wang)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005-2010 Canonical Ltd
 
1
# Copyright (C) 2005-2011 Canonical Ltd
2
2
#
3
3
# This program is free software; you can redistribute it and/or modify
4
4
# it under the terms of the GNU General Public License as published by
19
19
They are useful for testing code quality, checking coverage metric etc.
20
20
"""
21
21
 
22
 
# import system imports here
23
22
import os
24
23
import parser
25
24
import re
27
26
import sys
28
27
import token
29
28
 
30
 
#import bzrlib specific imports here
31
29
from bzrlib import (
32
30
    osutils,
33
31
    )
40
38
 
41
39
# Files which are listed here will be skipped when testing for Copyright (or
42
40
# GPL) statements.
43
 
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
44
 
    'bzrlib/doc_generate/sphinx_conf.py']
 
41
COPYRIGHT_EXCEPTIONS = [
 
42
    'bzrlib/_bencode_py.py',
 
43
    'bzrlib/doc_generate/conf.py',
 
44
    'bzrlib/lsprof.py',
 
45
    ]
45
46
 
46
 
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
47
 
    'bzrlib/doc_generate/sphinx_conf.py']
 
47
LICENSE_EXCEPTIONS = [
 
48
    'bzrlib/_bencode_py.py',
 
49
    'bzrlib/doc_generate/conf.py',
 
50
    'bzrlib/lsprof.py',
 
51
    ]
48
52
# Technically, 'bzrlib/lsprof.py' should be 'bzrlib/util/lsprof.py',
49
53
# (we do not check bzrlib/util/, since that is code bundled from elsewhere)
50
54
# but for compatibility with previous releases, we don't want to move it.
107
111
 
108
112
        # Avoid the case when bzrlib is packaged in a zip file
109
113
        if not os.path.isdir(source_dir):
110
 
            raise TestSkipped('Cannot find bzrlib source directory. Expected %s'
111
 
                              % source_dir)
 
114
            raise TestSkipped(
 
115
                'Cannot find bzrlib source directory. Expected %s'
 
116
                % source_dir)
112
117
        return source_dir
113
118
 
114
119
    def get_source_files(self, extensions=None):
148
153
            yield fname, text
149
154
 
150
155
    def is_our_code(self, fname):
151
 
        """Return true if it's a "real" part of bzrlib rather than external code"""
 
156
        """True if it's a "real" part of bzrlib rather than external code"""
152
157
        if '/util/' in fname or '/plugins/' in fname:
153
158
            return False
154
159
        else:
188
193
 
189
194
        copyright_re = re.compile('#\\s*copyright.*(?=\n)', re.I)
190
195
        copyright_canonical_re = re.compile(
191
 
            r'# Copyright \(C\) ' # Opening "# Copyright (C)"
192
 
            r'(\d+)(, \d+)*' # Followed by a series of dates
193
 
            r'.*Canonical Ltd' # And containing 'Canonical Ltd'
194
 
            )
 
196
            r'# Copyright \(C\) '  # Opening "# Copyright (C)"
 
197
            r'(\d+)(, \d+)*'       # followed by a series of dates
 
198
            r'.*Canonical Ltd')    # and containing 'Canonical Ltd'.
195
199
 
196
200
        for fname, text in self.get_source_file_contents(
197
201
                extensions=('.py', '.pyx')):
224
228
                        ]
225
229
            for fname, comment in incorrect:
226
230
                help_text.append(fname)
227
 
                help_text.append((' '*4) + comment)
 
231
                help_text.append((' ' * 4) + comment)
228
232
 
229
233
            self.fail('\n'.join(help_text))
230
234
 
263
267
                         " LICENSE_EXCEPTIONS in"
264
268
                         " bzrlib/tests/test_source.py",
265
269
                         "Or add the following text to the beginning:",
266
 
                         gpl_txt
267
 
                        ]
 
270
                         gpl_txt]
268
271
            for fname in incorrect:
269
 
                help_text.append((' '*4) + fname)
 
272
                help_text.append((' ' * 4) + fname)
270
273
 
271
274
            self.fail('\n'.join(help_text))
272
275
 
277
280
            dict_[fname].append(line_no)
278
281
 
279
282
    def _format_message(self, dict_, message):
280
 
        files = ["%s: %s" % (f, ', '.join([str(i+1) for i in lines]))
 
283
        files = ["%s: %s" % (f, ', '.join([str(i + 1) for i in lines]))
281
284
                for f, lines in dict_.items()]
282
285
        files.sort()
283
286
        return message + '\n\n    %s' % ('\n    '.join(files))
285
288
    def test_coding_style(self):
286
289
        """Check if bazaar code conforms to some coding style conventions.
287
290
 
288
 
        Currently we assert that the following is not present:
289
 
         * any tab characters
290
 
         * non-unix newlines
291
 
         * no newline at end of files
 
291
        Generally we expect PEP8, but we do not generally strictly enforce
 
292
        this, and there are existing files that do not comply.  The 'pep8'
 
293
        tool, available separately, will check for more cases.
292
294
 
293
 
        Print how many files have
294
 
         * trailing white space
295
 
         * lines longer than 79 chars
 
295
        This test only enforces conditions that are globally true at the
 
296
        moment, and that should cause a patch to be rejected: spaces rather
 
297
        than tabs, unix newlines, and a newline at the end of the file.
296
298
        """
297
299
        tabs = {}
298
 
        trailing_ws = {}
299
300
        illegal_newlines = {}
300
 
        long_lines = {}
301
301
        no_newline_at_eof = []
302
302
        for fname, text in self.get_source_file_contents(
303
303
                extensions=('.py', '.pyx')):
309
309
                if '\t' in line:
310
310
                    self._push_file(tabs, fname, line_no)
311
311
                if not line.endswith('\n') or line.endswith('\r\n'):
312
 
                    if line_no != last_line_no: # not no_newline_at_eof
 
312
                    if line_no != last_line_no:  # not no_newline_at_eof
313
313
                        self._push_file(illegal_newlines, fname, line_no)
314
 
                if line.endswith(' \n'):
315
 
                    self._push_file(trailing_ws, fname, line_no)
316
 
                if len(line) > 80:
317
 
                    self._push_file(long_lines, fname, line_no)
318
314
            if not lines[-1].endswith('\n'):
319
315
                no_newline_at_eof.append(fname)
320
316
        problems = []
322
318
            problems.append(self._format_message(tabs,
323
319
                'Tab characters were found in the following source files.'
324
320
                '\nThey should either be replaced by "\\t" or by spaces:'))
325
 
        if trailing_ws:
326
 
            print ("There are %i lines with trailing white space in %i files."
327
 
                % (sum([len(lines) for f, lines in trailing_ws.items()]),
328
 
                    len(trailing_ws)))
329
321
        if illegal_newlines:
330
322
            problems.append(self._format_message(illegal_newlines,
331
323
                'Non-unix newlines were found in the following source files:'))
332
 
        if long_lines:
333
 
            print ("There are %i lines longer than 79 characters in %i files."
334
 
                % (sum([len(lines) for f, lines in long_lines.items()]),
335
 
                    len(long_lines)))
336
324
        if no_newline_at_eof:
337
325
            no_newline_at_eof.sort()
338
326
            problems.append("The following source files doesn't have a "
376
364
    def test_extension_exceptions(self):
377
365
        """Extension functions should propagate exceptions.
378
366
 
379
 
        Either they should return an object, have an 'except' clause, or have a
380
 
        "# cannot_raise" to indicate that we've audited them and defined them as not
381
 
        raising exceptions.
 
367
        Either they should return an object, have an 'except' clause, or
 
368
        have a "# cannot_raise" to indicate that we've audited them and
 
369
        defined them as not raising exceptions.
382
370
        """
383
371
        both_exc_and_no_exc = []
384
372
        missing_except = []
385
 
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?(api\s+)?class (\w+).*:',
386
 
                              re.MULTILINE)
387
 
        except_re = re.compile(r'cdef\s+' # start with cdef
388
 
                               r'([\w *]*?)\s*' # this is the return signature
389
 
                               r'(\w+)\s*\(' # the function name
390
 
                               r'[^)]*\)\s*' # parameters
391
 
                               r'(.*)\s*:' # the except clause
392
 
                               r'\s*(#\s*cannot[- _]raise)?' # cannot raise comment
393
 
                              )
 
373
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?'
 
374
                              r'(api\s+)?class (\w+).*:', re.MULTILINE)
 
375
        extern_class_re = re.compile(r'## extern cdef class (\w+)',
 
376
                                     re.MULTILINE)
 
377
        except_re = re.compile(
 
378
            r'cdef\s+'        # start with cdef
 
379
            r'([\w *]*?)\s*'  # this is the return signature
 
380
            r'(\w+)\s*\('     # the function name
 
381
            r'[^)]*\)\s*'     # parameters
 
382
            r'(.*)\s*:'       # the except clause
 
383
            r'\s*(#\s*cannot[- _]raise)?')  # cannot raise comment
394
384
        for fname, text in self.get_source_file_contents(
395
385
                extensions=('.pyx',)):
396
386
            known_classes = set([m[-1] for m in class_re.findall(text)])
 
387
            known_classes.update(extern_class_re.findall(text))
397
388
            cdefs = except_re.findall(text)
398
389
            for sig, func, exc_clause, no_exc_comment in cdefs:
399
390
                if sig.startswith('api '):
408
399
                    missing_except.append((fname, func))
409
400
        error_msg = []
410
401
        if both_exc_and_no_exc:
411
 
            error_msg.append('The following functions had "cannot raise" comments'
412
 
                             ' but did have an except clause set:')
 
402
            error_msg.append(
 
403
                'The following functions had "cannot raise" comments'
 
404
                ' but did have an except clause set:')
413
405
            for fname, func in both_exc_and_no_exc:
414
406
                error_msg.append('%s:%s' % (fname, func))
415
407
            error_msg.extend(('', ''))
416
408
        if missing_except:
417
 
            error_msg.append('The following functions have fixed return types,'
418
 
                             ' but no except clause.')
419
 
            error_msg.append('Either add an except or append "# cannot_raise".')
 
409
            error_msg.append(
 
410
                'The following functions have fixed return types,'
 
411
                ' but no except clause.')
 
412
            error_msg.append(
 
413
                'Either add an except or append "# cannot_raise".')
420
414
            for fname, func in missing_except:
421
415
                error_msg.append('%s:%s' % (fname, func))
422
416
            error_msg.extend(('', ''))
423
417
        if error_msg:
424
418
            self.fail('\n'.join(error_msg))
 
419
 
 
420
    def test_feature_absolute_import(self):
 
421
        """Using absolute imports means avoiding unnecesary stat and
 
422
        open calls.
 
423
 
 
424
        Make sure that all non-test files have absolute imports enabled.
 
425
        """
 
426
        missing_absolute_import = []
 
427
        for fname, text in self.get_source_file_contents(
 
428
                extensions=('.py', )):
 
429
            if "/tests/" in fname or "test_" in fname:
 
430
                # We don't really care about tests
 
431
                continue
 
432
            if not "from __future__ import absolute_import" in text:
 
433
                missing_absolute_import.append(fname)
 
434
 
 
435
        if missing_absolute_import:
 
436
            self.fail(
 
437
                'The following files do not have absolute_import enabled:\n'
 
438
                '\n' + '\n'.join(missing_absolute_import))