~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to bzrlib/tests/test_source.py

  • Committer: Canonical.com Patch Queue Manager
  • Date: 2010-04-08 06:17:41 UTC
  • mfrom: (4797.33.16 apport)
  • Revision ID: pqm@pqm.ubuntu.com-20100408061741-m7vl6z97vu33riv7
(robertc) Make sure ExecutablePath and InterpreterPath are set in
        Apport. (Martin Pool, James Westby, lp:528114)

Show diffs side-by-side

added added

removed removed

Lines of Context:
1
 
# Copyright (C) 2005, 2006, 2008 Canonical Ltd
2
 
#   Authors: Robert Collins <robert.collins@canonical.com>
3
 
#            and others
 
1
# Copyright (C) 2005-2010 Canonical Ltd
4
2
#
5
3
# This program is free software; you can redistribute it and/or modify
6
4
# it under the terms of the GNU General Public License as published by
14
12
#
15
13
# You should have received a copy of the GNU General Public License
16
14
# along with this program; if not, write to the Free Software
17
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
18
16
 
19
17
"""These tests are tests about the source code of bzrlib itself.
20
18
 
35
33
    )
36
34
import bzrlib.branch
37
35
from bzrlib.tests import (
38
 
    KnownFailure,
39
36
    TestCase,
40
37
    TestSkipped,
41
38
    )
43
40
 
44
41
# Files which are listed here will be skipped when testing for Copyright (or
45
42
# GPL) statements.
46
 
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py']
 
43
COPYRIGHT_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
 
44
    'bzrlib/doc_generate/sphinx_conf.py']
47
45
 
48
 
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py']
 
46
LICENSE_EXCEPTIONS = ['bzrlib/lsprof.py', 'bzrlib/_bencode_py.py',
 
47
    'bzrlib/doc_generate/sphinx_conf.py']
49
48
# Technically, 'bzrlib/lsprof.py' should be 'bzrlib/util/lsprof.py',
50
49
# (we do not check bzrlib/util/, since that is code bundled from elsewhere)
51
50
# but for compatibility with previous releases, we don't want to move it.
 
51
#
 
52
# sphinx_conf is semi-autogenerated.
52
53
 
53
54
 
54
55
class TestSourceHelper(TestCase):
82
83
        # do not even think of increasing this number. If you think you need to
83
84
        # increase it, then you almost certainly are doing something wrong as
84
85
        # the relationship from working_tree to branch is one way.
85
 
        # Note that this is an exact equality so that when the number drops, 
 
86
        # Note that this is an exact equality so that when the number drops,
86
87
        #it is not given a buffer but rather has this test updated immediately.
87
88
        self.assertEqual(0, occurences)
88
89
 
110
111
                              % source_dir)
111
112
        return source_dir
112
113
 
113
 
    def get_source_files(self):
 
114
    def get_source_files(self, extensions=None):
114
115
        """Yield all source files for bzr and bzrlib
115
 
        
 
116
 
116
117
        :param our_files_only: If true, exclude files from included libraries
117
118
            or plugins.
118
119
        """
119
120
        bzrlib_dir = self.get_bzrlib_dir()
 
121
        if extensions is None:
 
122
            extensions = ('.py',)
120
123
 
121
124
        # This is the front-end 'bzr' script
122
125
        bzr_path = self.get_bzr_path()
127
130
                if d.endswith('.tmp'):
128
131
                    dirs.remove(d)
129
132
            for f in files:
130
 
                if not f.endswith('.py'):
 
133
                for extension in extensions:
 
134
                    if f.endswith(extension):
 
135
                        break
 
136
                else:
 
137
                    # Did not match the accepted extensions
131
138
                    continue
132
139
                yield osutils.pathjoin(root, f)
133
140
 
134
 
    def get_source_file_contents(self):
135
 
        for fname in self.get_source_files():
 
141
    def get_source_file_contents(self, extensions=None):
 
142
        for fname in self.get_source_files(extensions=extensions):
136
143
            f = open(fname, 'rb')
137
144
            try:
138
145
                text = f.read()
176
183
                          % filename)
177
184
 
178
185
    def test_copyright(self):
179
 
        """Test that all .py files have a valid copyright statement"""
180
 
        # These are files which contain a different copyright statement
181
 
        # and that is okay.
 
186
        """Test that all .py and .pyx files have a valid copyright statement"""
182
187
        incorrect = []
183
188
 
184
189
        copyright_re = re.compile('#\\s*copyright.*(?=\n)', re.I)
188
193
            r'.*Canonical Ltd' # And containing 'Canonical Ltd'
189
194
            )
190
195
 
191
 
        for fname, text in self.get_source_file_contents():
 
196
        for fname, text in self.get_source_file_contents(
 
197
                extensions=('.py', '.pyx')):
192
198
            if self.is_copyright_exception(fname):
193
199
                continue
194
200
            match = copyright_canonical_re.search(text)
223
229
            self.fail('\n'.join(help_text))
224
230
 
225
231
    def test_gpl(self):
226
 
        """Test that all .py files have a GPL disclaimer"""
 
232
        """Test that all .py and .pyx files have a GPL disclaimer."""
227
233
        incorrect = []
228
234
 
229
235
        gpl_txt = """
239
245
#
240
246
# You should have received a copy of the GNU General Public License
241
247
# along with this program; if not, write to the Free Software
242
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
248
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
243
249
"""
244
250
        gpl_re = re.compile(re.escape(gpl_txt), re.MULTILINE)
245
251
 
246
 
        for fname, text in self.get_source_file_contents():
 
252
        for fname, text in self.get_source_file_contents(
 
253
                extensions=('.py', '.pyx')):
247
254
            if self.is_license_exception(fname):
248
255
                continue
249
256
            if not gpl_re.search(text):
263
270
 
264
271
            self.fail('\n'.join(help_text))
265
272
 
266
 
    def test_no_tabs(self):
267
 
        """bzrlib source files should not contain any tab characters."""
268
 
        incorrect = []
269
 
 
270
 
        for fname, text in self.get_source_file_contents():
 
273
    def _push_file(self, dict_, fname, line_no):
 
274
        if fname not in dict_:
 
275
            dict_[fname] = [line_no]
 
276
        else:
 
277
            dict_[fname].append(line_no)
 
278
 
 
279
    def _format_message(self, dict_, message):
 
280
        files = ["%s: %s" % (f, ', '.join([str(i+1) for i in lines]))
 
281
                for f, lines in dict_.items()]
 
282
        files.sort()
 
283
        return message + '\n\n    %s' % ('\n    '.join(files))
 
284
 
 
285
    def test_coding_style(self):
 
286
        """Check if bazaar code conforms to some coding style conventions.
 
287
 
 
288
        Currently we assert that the following is not present:
 
289
         * any tab characters
 
290
         * non-unix newlines
 
291
         * no newline at end of files
 
292
 
 
293
        Print how many files have
 
294
         * trailing white space
 
295
         * lines longer than 79 chars
 
296
        """
 
297
        tabs = {}
 
298
        trailing_ws = {}
 
299
        illegal_newlines = {}
 
300
        long_lines = {}
 
301
        no_newline_at_eof = []
 
302
        for fname, text in self.get_source_file_contents(
 
303
                extensions=('.py', '.pyx')):
271
304
            if not self.is_our_code(fname):
272
305
                continue
273
 
            if '\t' in text:
274
 
                incorrect.append(fname)
275
 
 
276
 
        if incorrect:
277
 
            self.fail('Tab characters were found in the following source files.'
278
 
              '\nThey should either be replaced by "\\t" or by spaces:'
279
 
              '\n\n    %s'
280
 
              % ('\n    '.join(incorrect)))
 
306
            lines = text.splitlines(True)
 
307
            last_line_no = len(lines) - 1
 
308
            for line_no, line in enumerate(lines):
 
309
                if '\t' in line:
 
310
                    self._push_file(tabs, fname, line_no)
 
311
                if not line.endswith('\n') or line.endswith('\r\n'):
 
312
                    if line_no != last_line_no: # not no_newline_at_eof
 
313
                        self._push_file(illegal_newlines, fname, line_no)
 
314
                if line.endswith(' \n'):
 
315
                    self._push_file(trailing_ws, fname, line_no)
 
316
                if len(line) > 80:
 
317
                    self._push_file(long_lines, fname, line_no)
 
318
            if not lines[-1].endswith('\n'):
 
319
                no_newline_at_eof.append(fname)
 
320
        problems = []
 
321
        if tabs:
 
322
            problems.append(self._format_message(tabs,
 
323
                'Tab characters were found in the following source files.'
 
324
                '\nThey should either be replaced by "\\t" or by spaces:'))
 
325
        if trailing_ws:
 
326
            print ("There are %i lines with trailing white space in %i files."
 
327
                % (sum([len(lines) for f, lines in trailing_ws.items()]),
 
328
                    len(trailing_ws)))
 
329
        if illegal_newlines:
 
330
            problems.append(self._format_message(illegal_newlines,
 
331
                'Non-unix newlines were found in the following source files:'))
 
332
        if long_lines:
 
333
            print ("There are %i lines longer than 79 characters in %i files."
 
334
                % (sum([len(lines) for f, lines in long_lines.items()]),
 
335
                    len(long_lines)))
 
336
        if no_newline_at_eof:
 
337
            no_newline_at_eof.sort()
 
338
            problems.append("The following source files doesn't have a "
 
339
                "newline at the end:"
 
340
               '\n\n    %s'
 
341
               % ('\n    '.join(no_newline_at_eof)))
 
342
        if problems:
 
343
            self.fail('\n\n'.join(problems))
281
344
 
282
345
    def test_no_asserts(self):
283
346
        """bzr shouldn't use the 'assert' statement."""
296
359
                    return True
297
360
            return False
298
361
        badfiles = []
 
362
        assert_re = re.compile(r'\bassert\b')
299
363
        for fname, text in self.get_source_file_contents():
300
364
            if not self.is_our_code(fname):
301
365
                continue
302
 
            ast = parser.ast2tuple(parser.suite(''.join(text)))
 
366
            if not assert_re.search(text):
 
367
                continue
 
368
            ast = parser.ast2tuple(parser.suite(text))
303
369
            if search(ast):
304
370
                badfiles.append(fname)
305
371
        if badfiles:
306
372
            self.fail(
307
373
                "these files contain an assert statement and should not:\n%s"
308
374
                % '\n'.join(badfiles))
 
375
 
 
376
    def test_extension_exceptions(self):
 
377
        """Extension functions should propagate exceptions.
 
378
 
 
379
        Either they should return an object, have an 'except' clause, or have a
 
380
        "# cannot_raise" to indicate that we've audited them and defined them as not
 
381
        raising exceptions.
 
382
        """
 
383
        both_exc_and_no_exc = []
 
384
        missing_except = []
 
385
        class_re = re.compile(r'^(cdef\s+)?(public\s+)?(api\s+)?class (\w+).*:',
 
386
                              re.MULTILINE)
 
387
        except_re = re.compile(r'cdef\s+' # start with cdef
 
388
                               r'([\w *]*?)\s*' # this is the return signature
 
389
                               r'(\w+)\s*\(' # the function name
 
390
                               r'[^)]*\)\s*' # parameters
 
391
                               r'(.*)\s*:' # the except clause
 
392
                               r'\s*(#\s*cannot[- _]raise)?' # cannot raise comment
 
393
                              )
 
394
        for fname, text in self.get_source_file_contents(
 
395
                extensions=('.pyx',)):
 
396
            known_classes = set([m[-1] for m in class_re.findall(text)])
 
397
            cdefs = except_re.findall(text)
 
398
            for sig, func, exc_clause, no_exc_comment in cdefs:
 
399
                if sig.startswith('api '):
 
400
                    sig = sig[4:]
 
401
                if not sig or sig in known_classes:
 
402
                    sig = 'object'
 
403
                if 'nogil' in exc_clause:
 
404
                    exc_clause = exc_clause.replace('nogil', '').strip()
 
405
                if exc_clause and no_exc_comment:
 
406
                    both_exc_and_no_exc.append((fname, func))
 
407
                if sig != 'object' and not (exc_clause or no_exc_comment):
 
408
                    missing_except.append((fname, func))
 
409
        error_msg = []
 
410
        if both_exc_and_no_exc:
 
411
            error_msg.append('The following functions had "cannot raise" comments'
 
412
                             ' but did have an except clause set:')
 
413
            for fname, func in both_exc_and_no_exc:
 
414
                error_msg.append('%s:%s' % (fname, func))
 
415
            error_msg.extend(('', ''))
 
416
        if missing_except:
 
417
            error_msg.append('The following functions have fixed return types,'
 
418
                             ' but no except clause.')
 
419
            error_msg.append('Either add an except or append "# cannot_raise".')
 
420
            for fname, func in missing_except:
 
421
                error_msg.append('%s:%s' % (fname, func))
 
422
            error_msg.extend(('', ''))
 
423
        if error_msg:
 
424
            self.fail('\n'.join(error_msg))