← Back to branch summary

~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_source.py

Merge bzr.dev and tree-file-ids-as-tuples.

Show diffs side-by-side

added added

removed removed

Lines of Context:
bzrlib/tests/test_source.py
1
 
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
2
 
#   Authors: Robert Collins <robert.collins@canonical.com>
3
 
#            and others
 
1
# Copyright (C) 2005-2011 Canonical Ltd
4
2
#
5
3
# This program is free software; you can redistribute it and/or modify
6
4
# it under the terms of the GNU General Public License as published by
14
12
#
15
13
# You should have received a copy of the GNU General Public License
16
14
# along with this program; if not, write to the Free Software
17
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
18
16
 
19
17
"""These tests are tests about the source code of bzrlib itself.
20
18
 
21
19
They are useful for testing code quality, checking coverage metric etc.
22
20
"""
23
21
 
24
 
# import system imports here
25
22
import os
26
23
import parser
27
24
import re
29
26
import sys
30
27
import token
31
28
 
32
 
#import bzrlib specific imports here
33
29
from bzrlib import (
34
30
    osutils,
35
31
    )
36
32
import bzrlib.branch
37
33
from bzrlib.tests import (
38
 
    KnownFailure,
39
34
    TestCase,
40
35
    TestSkipped,
41
36
    )
43
38
 
44
39
# Files which are listed here will be skipped when testing for Copyright (or
45
40
# GPL) statements.
46
 
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py']
 
41
COPYRIGHT_EXCEPTIONS = [
 
42
    'bzrlib/_bencode_py.py',
 
43
    'bzrlib/doc_generate/conf.py',
 
44
    'bzrlib/lsprof.py',
 
45
    ]
47
46
 
48
 
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py']
 
47
LICENSE_EXCEPTIONS = [
 
48
    'bzrlib/_bencode_py.py',
 
49
    'bzrlib/doc_generate/conf.py',
 
50
    'bzrlib/lsprof.py',
 
51
    ]
49
52
# Technically, 'bzrlib/lsprof.py' should be 'bzrlib/util/lsprof.py',
50
53
# (we do not check bzrlib/util/, since that is code bundled from elsewhere)
51
54
# but for compatibility with previous releases, we don't want to move it.
 
55
#
 
56
# sphinx_conf is semi-autogenerated.
52
57
 
53
58
 
54
59
class TestSourceHelper(TestCase):
82
87
        # do not even think of increasing this number. If you think you need to
83
88
        # increase it, then you almost certainly are doing something wrong as
84
89
        # the relationship from working_tree to branch is one way.
85
 
        # Note that this is an exact equality so that when the number drops, 
 
90
        # Note that this is an exact equality so that when the number drops,
86
91
        #it is not given a buffer but rather has this test updated immediately.
87
92
        self.assertEqual(0, occurences)
88
93
 
106
111
 
107
112
        # Avoid the case when bzrlib is packaged in a zip file
108
113
        if not os.path.isdir(source_dir):
109
 
            raise TestSkipped('Cannot find bzrlib source directory. Expected %s'
110
 
                              % source_dir)
 
114
            raise TestSkipped(
 
115
                'Cannot find bzrlib source directory. Expected %s'
 
116
                % source_dir)
111
117
        return source_dir
112
118
 
113
 
    def get_source_files(self):
 
119
    def get_source_files(self, extensions=None):
114
120
        """Yield all source files for bzr and bzrlib
115
 
        
 
121
 
116
122
        :param our_files_only: If true, exclude files from included libraries
117
123
            or plugins.
118
124
        """
119
125
        bzrlib_dir = self.get_bzrlib_dir()
 
126
        if extensions is None:
 
127
            extensions = ('.py',)
120
128
 
121
129
        # This is the front-end 'bzr' script
122
130
        bzr_path = self.get_bzr_path()
127
135
                if d.endswith('.tmp'):
128
136
                    dirs.remove(d)
129
137
            for f in files:
130
 
                if not f.endswith('.py'):
 
138
                for extension in extensions:
 
139
                    if f.endswith(extension):
 
140
                        break
 
141
                else:
 
142
                    # Did not match the accepted extensions
131
143
                    continue
132
144
                yield osutils.pathjoin(root, f)
133
145
 
134
 
    def get_source_file_contents(self):
135
 
        for fname in self.get_source_files():
 
146
    def get_source_file_contents(self, extensions=None):
 
147
        for fname in self.get_source_files(extensions=extensions):
136
148
            f = open(fname, 'rb')
137
149
            try:
138
150
                text = f.read()
141
153
            yield fname, text
142
154
 
143
155
    def is_our_code(self, fname):
144
 
        """Return true if it's a "real" part of bzrlib rather than external code"""
 
156
        """True if it's a "real" part of bzrlib rather than external code"""
145
157
        if '/util/' in fname or '/plugins/' in fname:
146
158
            return False
147
159
        else:
176
188
                          % filename)
177
189
 
178
190
    def test_copyright(self):
179
 
        """Test that all .py files have a valid copyright statement"""
180
 
        # These are files which contain a different copyright statement
181
 
        # and that is okay.
 
191
        """Test that all .py and .pyx files have a valid copyright statement"""
182
192
        incorrect = []
183
193
 
184
194
        copyright_re = re.compile('#\\s*copyright.*(?=\n)', re.I)
185
195
        copyright_canonical_re = re.compile(
186
 
            r'# Copyright \(C\) ' # Opening "# Copyright (C)"
187
 
            r'(\d+)(, \d+)*' # Followed by a series of dates
188
 
            r'.*Canonical Ltd' # And containing 'Canonical Ltd'
189
 
            )
 
196
            r'# Copyright \(C\) '  # Opening "# Copyright (C)"
 
197
            r'(\d+)(, \d+)*'       # followed by a series of dates
 
198
            r'.*Canonical Ltd')    # and containing 'Canonical Ltd'.
190
199
 
191
 
        for fname, text in self.get_source_file_contents():
 
200
        for fname, text in self.get_source_file_contents(
 
201
                extensions=('.py', '.pyx')):
192
202
            if self.is_copyright_exception(fname):
193
203
                continue
194
204
            match = copyright_canonical_re.search(text)
218
228
                        ]
219
229
            for fname, comment in incorrect:
220
230
                help_text.append(fname)
221
 
                help_text.append((' '*4) + comment)
 
231
                help_text.append((' ' * 4) + comment)
222
232
 
223
233
            self.fail('\n'.join(help_text))
224
234
 
225
235
    def test_gpl(self):
226
 
        """Test that all .py files have a GPL disclaimer"""
 
236
        """Test that all .py and .pyx files have a GPL disclaimer."""
227
237
        incorrect = []
228
238
 
229
239
        gpl_txt = """
239
249
#
240
250
# You should have received a copy of the GNU General Public License
241
251
# along with this program; if not, write to the Free Software
242
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
252
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
243
253
"""
244
254
        gpl_re = re.compile(re.escape(gpl_txt), re.MULTILINE)
245
255
 
246
 
        for fname, text in self.get_source_file_contents():
 
256
        for fname, text in self.get_source_file_contents(
 
257
                extensions=('.py', '.pyx')):
247
258
            if self.is_license_exception(fname):
248
259
                continue
249
260
            if not gpl_re.search(text):
256
267
                         " LICENSE_EXCEPTIONS in"
257
268
                         " bzrlib/tests/test_source.py",
258
269
                         "Or add the following text to the beginning:",
259
 
                         gpl_txt
260
 
                        ]
 
270
                         gpl_txt]
261
271
            for fname in incorrect:
262
 
                help_text.append((' '*4) + fname)
 
272
                help_text.append((' ' * 4) + fname)
263
273
 
264
274
            self.fail('\n'.join(help_text))
265
275
 
266
 
    def test_no_tabs(self):
267
 
        """bzrlib source files should not contain any tab characters."""
268
 
        incorrect = []
269
 
 
270
 
        for fname, text in self.get_source_file_contents():
 
276
    def _push_file(self, dict_, fname, line_no):
 
277
        if fname not in dict_:
 
278
            dict_[fname] = [line_no]
 
279
        else:
 
280
            dict_[fname].append(line_no)
 
281
 
 
282
    def _format_message(self, dict_, message):
 
283
        files = ["%s: %s" % (f, ', '.join([str(i + 1) for i in lines]))
 
284
                for f, lines in dict_.items()]
 
285
        files.sort()
 
286
        return message + '\n\n    %s' % ('\n    '.join(files))
 
287
 
 
288
    def test_coding_style(self):
 
289
        """Check if bazaar code conforms to some coding style conventions.
 
290
 
 
291
        Generally we expect PEP8, but we do not generally strictly enforce
 
292
        this, and there are existing files that do not comply.  The 'pep8'
 
293
        tool, available separately, will check for more cases.
 
294
 
 
295
        This test only enforces conditions that are globally true at the
 
296
        moment, and that should cause a patch to be rejected: spaces rather
 
297
        than tabs, unix newlines, and a newline at the end of the file.
 
298
        """
 
299
        tabs = {}
 
300
        illegal_newlines = {}
 
301
        no_newline_at_eof = []
 
302
        for fname, text in self.get_source_file_contents(
 
303
                extensions=('.py', '.pyx')):
271
304
            if not self.is_our_code(fname):
272
305
                continue
273
 
            if '\t' in text:
274
 
                incorrect.append(fname)
275
 
 
276
 
        if incorrect:
277
 
            self.fail('Tab characters were found in the following source files.'
278
 
              '\nThey should either be replaced by "\\t" or by spaces:'
279
 
              '\n\n    %s'
280
 
              % ('\n    '.join(incorrect)))
 
306
            lines = text.splitlines(True)
 
307
            last_line_no = len(lines) - 1
 
308
            for line_no, line in enumerate(lines):
 
309
                if '\t' in line:
 
310
                    self._push_file(tabs, fname, line_no)
 
311
                if not line.endswith('\n') or line.endswith('\r\n'):
 
312
                    if line_no != last_line_no:  # not no_newline_at_eof
 
313
                        self._push_file(illegal_newlines, fname, line_no)
 
314
            if not lines[-1].endswith('\n'):
 
315
                no_newline_at_eof.append(fname)
 
316
        problems = []
 
317
        if tabs:
 
318
            problems.append(self._format_message(tabs,
 
319
                'Tab characters were found in the following source files.'
 
320
                '\nThey should either be replaced by "\\t" or by spaces:'))
 
321
        if illegal_newlines:
 
322
            problems.append(self._format_message(illegal_newlines,
 
323
                'Non-unix newlines were found in the following source files:'))
 
324
        if no_newline_at_eof:
 
325
            no_newline_at_eof.sort()
 
326
            problems.append("The following source files doesn't have a "
 
327
                "newline at the end:"
 
328
               '\n\n    %s'
 
329
               % ('\n    '.join(no_newline_at_eof)))
 
330
        if problems:
 
331
            self.fail('\n\n'.join(problems))
281
332
 
282
333
    def test_no_asserts(self):
283
334
        """bzr shouldn't use the 'assert' statement."""
296
347
                    return True
297
348
            return False
298
349
        badfiles = []
 
350
        assert_re = re.compile(r'\bassert\b')
299
351
        for fname, text in self.get_source_file_contents():
300
352
            if not self.is_our_code(fname):
301
353
                continue
302
 
            ast = parser.ast2tuple(parser.suite(''.join(text)))
 
354
            if not assert_re.search(text):
 
355
                continue
 
356
            ast = parser.ast2tuple(parser.suite(text))
303
357
            if search(ast):
304
358
                badfiles.append(fname)
305
359
        if badfiles:
306
360
            self.fail(
307
361
                "these files contain an assert statement and should not:\n%s"
308
362
                % '\n'.join(badfiles))
 
363
 
 
364
    def test_extension_exceptions(self):
 
365
        """Extension functions should propagate exceptions.
 
366
 
 
367
        Either they should return an object, have an 'except' clause, or
 
368
        have a "# cannot_raise" to indicate that we've audited them and
 
369
        defined them as not raising exceptions.
 
370
        """
 
371
        both_exc_and_no_exc = []
 
372
        missing_except = []
 
373
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?'
 
374
                              r'(api\s+)?class (\w+).*:', re.MULTILINE)
 
375
        extern_class_re = re.compile(r'## extern cdef class (\w+)',
 
376
                                     re.MULTILINE)
 
377
        except_re = re.compile(
 
378
            r'cdef\s+'        # start with cdef
 
379
            r'([\w *]*?)\s*'  # this is the return signature
 
380
            r'(\w+)\s*\('     # the function name
 
381
            r'[^)]*\)\s*'     # parameters
 
382
            r'(.*)\s*:'       # the except clause
 
383
            r'\s*(#\s*cannot[- _]raise)?')  # cannot raise comment
 
384
        for fname, text in self.get_source_file_contents(
 
385
                extensions=('.pyx',)):
 
386
            known_classes = set([m[-1] for m in class_re.findall(text)])
 
387
            known_classes.update(extern_class_re.findall(text))
 
388
            cdefs = except_re.findall(text)
 
389
            for sig, func, exc_clause, no_exc_comment in cdefs:
 
390
                if sig.startswith('api '):
 
391
                    sig = sig[4:]
 
392
                if not sig or sig in known_classes:
 
393
                    sig = 'object'
 
394
                if 'nogil' in exc_clause:
 
395
                    exc_clause = exc_clause.replace('nogil', '').strip()
 
396
                if exc_clause and no_exc_comment:
 
397
                    both_exc_and_no_exc.append((fname, func))
 
398
                if sig != 'object' and not (exc_clause or no_exc_comment):
 
399
                    missing_except.append((fname, func))
 
400
        error_msg = []
 
401
        if both_exc_and_no_exc:
 
402
            error_msg.append(
 
403
                'The following functions had "cannot raise" comments'
 
404
                ' but did have an except clause set:')
 
405
            for fname, func in both_exc_and_no_exc:
 
406
                error_msg.append('%s:%s' % (fname, func))
 
407
            error_msg.extend(('', ''))
 
408
        if missing_except:
 
409
            error_msg.append(
 
410
                'The following functions have fixed return types,'
 
411
                ' but no except clause.')
 
412
            error_msg.append(
 
413
                'Either add an except or append "# cannot_raise".')
 
414
            for fname, func in missing_except:
 
415
                error_msg.append('%s:%s' % (fname, func))
 
416
            error_msg.extend(('', ''))
 
417
        if error_msg:
 
418
            self.fail('\n'.join(error_msg))
 
419
 
 
420
    def test_feature_absolute_import(self):
 
421
        """Using absolute imports means avoiding unnecesary stat and
 
422
        open calls.
 
423
 
 
424
        Make sure that all non-test files have absolute imports enabled.
 
425
        """
 
426
        missing_absolute_import = []
 
427
        for fname, text in self.get_source_file_contents(
 
428
                extensions=('.py', )):
 
429
            if "/tests/" in fname or "test_" in fname:
 
430
                # We don't really care about tests
 
431
                continue
 
432
            if not "from __future__ import absolute_import" in text:
 
433
                missing_absolute_import.append(fname)
 
434
 
 
435
        if missing_absolute_import:
 
436
            self.fail(
 
437
                'The following files do not have absolute_import enabled:\n'
 
438
                '\n' + '\n'.join(missing_absolute_import))