← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_source.py

  • Committer: Martin Pool
  • Date: 2008-07-14 07:39:30 UTC
  • mto: This revision was merged to the branch mainline in revision 3537.
  • Revision ID: mbp@sourcefrog.net-20080714073930-z8nl2c44jal0eozs
Update test for knit.check() to expect it to recurse into fallback vfs

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/test_source.py
1
 
# Copyright (C) 2005-2011 Canonical Ltd
 
1
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
 
2
#   Authors: Robert Collins <robert.collins@canonical.com>
 
3
#            and others
2
4
#
3
5
# This program is free software; you can redistribute it and/or modify
4
6
# it under the terms of the GNU General Public License as published by
12
14
#
13
15
# You should have received a copy of the GNU General Public License
14
16
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
17
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
16
18
 
17
19
"""These tests are tests about the source code of bzrlib itself.
18
20
 
19
21
They are useful for testing code quality, checking coverage metric etc.
20
22
"""
21
23
 
 
24
# import system imports here
22
25
import os
23
26
import parser
24
27
import re
26
29
import sys
27
30
import token
28
31
 
 
32
#import bzrlib specific imports here
29
33
from bzrlib import (
30
34
    osutils,
31
35
    )
32
36
import bzrlib.branch
33
37
from bzrlib.tests import (
 
38
    KnownFailure,
34
39
    TestCase,
35
40
    TestSkipped,
36
41
    )
38
43
 
39
44
# Files which are listed here will be skipped when testing for Copyright (or
40
45
# GPL) statements.
41
 
COPYRIGHT_EXCEPTIONS = [
42
 
    'bzrlib/_bencode_py.py',
43
 
    'bzrlib/doc_generate/conf.py',
44
 
    'bzrlib/lsprof.py',
45
 
    ]
 
46
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py']
46
47
 
47
 
LICENSE_EXCEPTIONS = [
48
 
    'bzrlib/_bencode_py.py',
49
 
    'bzrlib/doc_generate/conf.py',
50
 
    'bzrlib/lsprof.py',
51
 
    ]
 
48
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py']
52
49
# Technically, 'bzrlib/lsprof.py' should be 'bzrlib/util/lsprof.py',
53
50
# (we do not check bzrlib/util/, since that is code bundled from elsewhere)
54
51
# but for compatibility with previous releases, we don't want to move it.
55
 
#
56
 
# sphinx_conf is semi-autogenerated.
57
52
 
58
53
 
59
54
class TestSourceHelper(TestCase):
60
55
 
61
56
    def source_file_name(self, package):
62
57
        """Return the path of the .py file for package."""
63
 
        if getattr(sys, "frozen", None) is not None:
64
 
            raise TestSkipped("can't test sources in frozen distributions.")
65
58
        path = package.__file__
66
59
        if path[-1] in 'co':
67
60
            return path[:-1]
87
80
        # do not even think of increasing this number. If you think you need to
88
81
        # increase it, then you almost certainly are doing something wrong as
89
82
        # the relationship from working_tree to branch is one way.
90
 
        # Note that this is an exact equality so that when the number drops,
 
83
        # Note that this is an exact equality so that when the number drops, 
91
84
        #it is not given a buffer but rather has this test updated immediately.
92
85
        self.assertEqual(0, occurences)
93
86
 
111
104
 
112
105
        # Avoid the case when bzrlib is packaged in a zip file
113
106
        if not os.path.isdir(source_dir):
114
 
            raise TestSkipped(
115
 
                'Cannot find bzrlib source directory. Expected %s'
116
 
                % source_dir)
 
107
            raise TestSkipped('Cannot find bzrlib source directory. Expected %s'
 
108
                              % source_dir)
117
109
        return source_dir
118
110
 
119
 
    def get_source_files(self, extensions=None):
 
111
    def get_source_files(self):
120
112
        """Yield all source files for bzr and bzrlib
121
 
 
 
113
        
122
114
        :param our_files_only: If true, exclude files from included libraries
123
115
            or plugins.
124
116
        """
125
117
        bzrlib_dir = self.get_bzrlib_dir()
126
 
        if extensions is None:
127
 
            extensions = ('.py',)
128
118
 
129
119
        # This is the front-end 'bzr' script
130
120
        bzr_path = self.get_bzr_path()
135
125
                if d.endswith('.tmp'):
136
126
                    dirs.remove(d)
137
127
            for f in files:
138
 
                for extension in extensions:
139
 
                    if f.endswith(extension):
140
 
                        break
141
 
                else:
142
 
                    # Did not match the accepted extensions
 
128
                if not f.endswith('.py'):
143
129
                    continue
144
130
                yield osutils.pathjoin(root, f)
145
131
 
146
 
    def get_source_file_contents(self, extensions=None):
147
 
        for fname in self.get_source_files(extensions=extensions):
 
132
    def get_source_file_contents(self):
 
133
        for fname in self.get_source_files():
148
134
            f = open(fname, 'rb')
149
135
            try:
150
136
                text = f.read()
153
139
            yield fname, text
154
140
 
155
141
    def is_our_code(self, fname):
156
 
        """True if it's a "real" part of bzrlib rather than external code"""
 
142
        """Return true if it's a "real" part of bzrlib rather than external code"""
157
143
        if '/util/' in fname or '/plugins/' in fname:
158
144
            return False
159
145
        else:
188
174
                          % filename)
189
175
 
190
176
    def test_copyright(self):
191
 
        """Test that all .py and .pyx files have a valid copyright statement"""
 
177
        """Test that all .py files have a valid copyright statement"""
 
178
        # These are files which contain a different copyright statement
 
179
        # and that is okay.
192
180
        incorrect = []
193
181
 
194
182
        copyright_re = re.compile('#\\s*copyright.*(?=\n)', re.I)
195
183
        copyright_canonical_re = re.compile(
196
 
            r'# Copyright \(C\) '  # Opening "# Copyright (C)"
197
 
            r'(\d+)(, \d+)*'       # followed by a series of dates
198
 
            r'.*Canonical Ltd')    # and containing 'Canonical Ltd'.
 
184
            r'# Copyright \(C\) ' # Opening "# Copyright (C)"
 
185
            r'(\d+)(, \d+)*' # Followed by a series of dates
 
186
            r'.*Canonical Ltd' # And containing 'Canonical Ltd'
 
187
            )
199
188
 
200
 
        for fname, text in self.get_source_file_contents(
201
 
                extensions=('.py', '.pyx')):
 
189
        for fname, text in self.get_source_file_contents():
202
190
            if self.is_copyright_exception(fname):
203
191
                continue
204
192
            match = copyright_canonical_re.search(text)
228
216
                        ]
229
217
            for fname, comment in incorrect:
230
218
                help_text.append(fname)
231
 
                help_text.append((' ' * 4) + comment)
 
219
                help_text.append((' '*4) + comment)
232
220
 
233
221
            self.fail('\n'.join(help_text))
234
222
 
235
223
    def test_gpl(self):
236
 
        """Test that all .py and .pyx files have a GPL disclaimer."""
 
224
        """Test that all .py files have a GPL disclaimer"""
237
225
        incorrect = []
238
226
 
239
227
        gpl_txt = """
249
237
#
250
238
# You should have received a copy of the GNU General Public License
251
239
# along with this program; if not, write to the Free Software
252
 
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
 
240
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
253
241
"""
254
242
        gpl_re = re.compile(re.escape(gpl_txt), re.MULTILINE)
255
243
 
256
 
        for fname, text in self.get_source_file_contents(
257
 
                extensions=('.py', '.pyx')):
 
244
        for fname, text in self.get_source_file_contents():
258
245
            if self.is_license_exception(fname):
259
246
                continue
260
247
            if not gpl_re.search(text):
267
254
                         " LICENSE_EXCEPTIONS in"
268
255
                         " bzrlib/tests/test_source.py",
269
256
                         "Or add the following text to the beginning:",
270
 
                         gpl_txt]
 
257
                         gpl_txt
 
258
                        ]
271
259
            for fname in incorrect:
272
 
                help_text.append((' ' * 4) + fname)
 
260
                help_text.append((' '*4) + fname)
273
261
 
274
262
            self.fail('\n'.join(help_text))
275
263
 
276
 
    def _push_file(self, dict_, fname, line_no):
277
 
        if fname not in dict_:
278
 
            dict_[fname] = [line_no]
279
 
        else:
280
 
            dict_[fname].append(line_no)
281
 
 
282
 
    def _format_message(self, dict_, message):
283
 
        files = ["%s: %s" % (f, ', '.join([str(i + 1) for i in lines]))
284
 
                for f, lines in dict_.items()]
285
 
        files.sort()
286
 
        return message + '\n\n    %s' % ('\n    '.join(files))
287
 
 
288
 
    def test_coding_style(self):
289
 
        """Check if bazaar code conforms to some coding style conventions.
290
 
 
291
 
        Generally we expect PEP8, but we do not generally strictly enforce
292
 
        this, and there are existing files that do not comply.  The 'pep8'
293
 
        tool, available separately, will check for more cases.
294
 
 
295
 
        This test only enforces conditions that are globally true at the
296
 
        moment, and that should cause a patch to be rejected: spaces rather
297
 
        than tabs, unix newlines, and a newline at the end of the file.
298
 
        """
299
 
        tabs = {}
300
 
        illegal_newlines = {}
301
 
        no_newline_at_eof = []
302
 
        for fname, text in self.get_source_file_contents(
303
 
                extensions=('.py', '.pyx')):
 
264
    def test_no_tabs(self):
 
265
        """bzrlib source files should not contain any tab characters."""
 
266
        incorrect = []
 
267
 
 
268
        for fname, text in self.get_source_file_contents():
304
269
            if not self.is_our_code(fname):
305
270
                continue
306
 
            lines = text.splitlines(True)
307
 
            last_line_no = len(lines) - 1
308
 
            for line_no, line in enumerate(lines):
309
 
                if '\t' in line:
310
 
                    self._push_file(tabs, fname, line_no)
311
 
                if not line.endswith('\n') or line.endswith('\r\n'):
312
 
                    if line_no != last_line_no:  # not no_newline_at_eof
313
 
                        self._push_file(illegal_newlines, fname, line_no)
314
 
            if not lines[-1].endswith('\n'):
315
 
                no_newline_at_eof.append(fname)
316
 
        problems = []
317
 
        if tabs:
318
 
            problems.append(self._format_message(tabs,
319
 
                'Tab characters were found in the following source files.'
320
 
                '\nThey should either be replaced by "\\t" or by spaces:'))
321
 
        if illegal_newlines:
322
 
            problems.append(self._format_message(illegal_newlines,
323
 
                'Non-unix newlines were found in the following source files:'))
324
 
        if no_newline_at_eof:
325
 
            no_newline_at_eof.sort()
326
 
            problems.append("The following source files doesn't have a "
327
 
                "newline at the end:"
328
 
               '\n\n    %s'
329
 
               % ('\n    '.join(no_newline_at_eof)))
330
 
        if problems:
331
 
            self.fail('\n\n'.join(problems))
 
271
            if '\t' in text:
 
272
                incorrect.append(fname)
 
273
 
 
274
        if incorrect:
 
275
            self.fail('Tab characters were found in the following source files.'
 
276
              '\nThey should either be replaced by "\\t" or by spaces:'
 
277
              '\n\n    %s'
 
278
              % ('\n    '.join(incorrect)))
332
279
 
333
280
    def test_no_asserts(self):
334
281
        """bzr shouldn't use the 'assert' statement."""
347
294
                    return True
348
295
            return False
349
296
        badfiles = []
350
 
        assert_re = re.compile(r'\bassert\b')
351
297
        for fname, text in self.get_source_file_contents():
352
298
            if not self.is_our_code(fname):
353
299
                continue
354
 
            if not assert_re.search(text):
355
 
                continue
356
 
            ast = parser.ast2tuple(parser.suite(text))
 
300
            ast = parser.ast2tuple(parser.suite(''.join(text)))
357
301
            if search(ast):
358
302
                badfiles.append(fname)
359
303
        if badfiles:
360
304
            self.fail(
361
305
                "these files contain an assert statement and should not:\n%s"
362
306
                % '\n'.join(badfiles))
363
 
 
364
 
    def test_extension_exceptions(self):
365
 
        """Extension functions should propagate exceptions.
366
 
 
367
 
        Either they should return an object, have an 'except' clause, or
368
 
        have a "# cannot_raise" to indicate that we've audited them and
369
 
        defined them as not raising exceptions.
370
 
        """
371
 
        both_exc_and_no_exc = []
372
 
        missing_except = []
373
 
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?'
374
 
                              r'(api\s+)?class (\w+).*:', re.MULTILINE)
375
 
        extern_class_re = re.compile(r'## extern cdef class (\w+)',
376
 
                                     re.MULTILINE)
377
 
        except_re = re.compile(
378
 
            r'cdef\s+'        # start with cdef
379
 
            r'([\w *]*?)\s*'  # this is the return signature
380
 
            r'(\w+)\s*\('     # the function name
381
 
            r'[^)]*\)\s*'     # parameters
382
 
            r'(.*)\s*:'       # the except clause
383
 
            r'\s*(#\s*cannot[- _]raise)?')  # cannot raise comment
384
 
        for fname, text in self.get_source_file_contents(
385
 
                extensions=('.pyx',)):
386
 
            known_classes = set([m[-1] for m in class_re.findall(text)])
387
 
            known_classes.update(extern_class_re.findall(text))
388
 
            cdefs = except_re.findall(text)
389
 
            for sig, func, exc_clause, no_exc_comment in cdefs:
390
 
                if sig.startswith('api '):
391
 
                    sig = sig[4:]
392
 
                if not sig or sig in known_classes:
393
 
                    sig = 'object'
394
 
                if 'nogil' in exc_clause:
395
 
                    exc_clause = exc_clause.replace('nogil', '').strip()
396
 
                if exc_clause and no_exc_comment:
397
 
                    both_exc_and_no_exc.append((fname, func))
398
 
                if sig != 'object' and not (exc_clause or no_exc_comment):
399
 
                    missing_except.append((fname, func))
400
 
        error_msg = []
401
 
        if both_exc_and_no_exc:
402
 
            error_msg.append(
403
 
                'The following functions had "cannot raise" comments'
404
 
                ' but did have an except clause set:')
405
 
            for fname, func in both_exc_and_no_exc:
406
 
                error_msg.append('%s:%s' % (fname, func))
407
 
            error_msg.extend(('', ''))
408
 
        if missing_except:
409
 
            error_msg.append(
410
 
                'The following functions have fixed return types,'
411
 
                ' but no except clause.')
412
 
            error_msg.append(
413
 
                'Either add an except or append "# cannot_raise".')
414
 
            for fname, func in missing_except:
415
 
                error_msg.append('%s:%s' % (fname, func))
416
 
            error_msg.extend(('', ''))
417
 
        if error_msg:
418
 
            self.fail('\n'.join(error_msg))
419
 
 
420
 
    def test_feature_absolute_import(self):
421
 
        """Using absolute imports means avoiding unnecesary stat and
422
 
        open calls.
423
 
 
424
 
        Make sure that all non-test files have absolute imports enabled.
425
 
        """
426
 
        missing_absolute_import = []
427
 
        for fname, text in self.get_source_file_contents(
428
 
                extensions=('.py', )):
429
 
            if "/tests/" in fname or "test_" in fname:
430
 
                # We don't really care about tests
431
 
                continue
432
 
            if not "from __future__ import absolute_import" in text:
433
 
                missing_absolute_import.append(fname)
434
 
 
435
 
        if missing_absolute_import:
436
 
            self.fail(
437
 
                'The following files do not have absolute_import enabled:\n'
438
 
                '\n' + '\n'.join(missing_absolute_import))