~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to doc/en/developer-guide/HACKING.txt

  • Committer: Vincent Ladeuil
  • Date: 2009-06-22 12:52:39 UTC
  • mto: (4471.1.1 integration)
  • mto: This revision was merged to the branch mainline in revision 4472.
  • Revision ID: v.ladeuil+lp@free.fr-20090622125239-kabo9smxt9c3vnir
Use a consistent scheme for naming pyrex source files.

Show diffs side-by-side

added added

removed removed

Lines of Context:
12
12
document, send a merge request or new text to the mailing list.
13
13
 
14
14
The current version of this document is available in the file 
15
 
``doc/developers/HACKING.txt`` in the source tree, or at
 
15
``doc/en/developer-guide/HACKING.txt`` in the source tree, or at
16
16
http://doc.bazaar-vcs.org/bzr.dev/en/developer-guide/HACKING.html
17
17
 
 
18
See also:
 
19
`Bazaar Developer Documentation Catalog <../../developers/index.html>`_.
 
20
 
18
21
.. contents::
19
22
 
20
23
 
43
46
If nothing else, perhaps you'll find inspiration in how other developers
44
47
have solved their challenges.
45
48
 
 
49
Finding Something To Do
 
50
=======================
 
51
 
 
52
Ad-hoc performance work can also be done. One useful tool is the 'evil' debug
 
53
flag. For instance running ``bzr -Devil commit -m "test"`` will log a backtrace
 
54
to the bzr log file for every method call which triggers a slow or non-scalable
 
55
part of the bzr library. So checking that a given command with ``-Devil`` has
 
56
no backtraces logged to the log file is a good way to find problem function
 
57
calls that might be nested deep in the code base.
46
58
 
47
59
Planning and Discussing Changes
48
60
===============================
79
91
Understanding the Development Process
80
92
=====================================
81
93
 
82
 
The development team follows many best-practices including:
 
94
The development team follows many practices including:
83
95
 
84
96
* a public roadmap and planning process in which anyone can participate
85
97
 
105
117
For further information, see http://bazaar-vcs.org/BzrDevelopment.
106
118
 
107
119
 
108
 
A Closer Look at the Merge & Review Process
109
 
===========================================
 
120
 
 
121
 
 
122
Preparing a Sandbox for Making Changes to Bazaar
 
123
================================================
 
124
 
 
125
Bazaar supports many ways of organising your work. See
 
126
http://bazaar-vcs.org/SharedRepositoryLayouts for a summary of the
 
127
popular alternatives.
 
128
 
 
129
Of course, the best choice for you will depend on numerous factors:
 
130
the number of changes you may be making, the complexity of the changes, etc.
 
131
As a starting suggestion though:
 
132
 
 
133
* create a local copy of the main development branch (bzr.dev) by using
 
134
  this command::
 
135
  
 
136
    bzr branch http://bazaar-vcs.org/bzr/bzr.dev/ bzr.dev
 
137
   
 
138
* keep your copy of bzr.dev prestine (by not developing in it) and keep
 
139
  it up to date (by using bzr pull)
 
140
 
 
141
* create a new branch off your local bzr.dev copy for each issue
 
142
  (bug or feature) you are working on.
 
143
 
 
144
This approach makes it easy to go back and make any required changes
 
145
after a code review. Resubmitting the change is then simple with no
 
146
risk of accidentially including edits related to other issues you may
 
147
be working on. After the changes for an issue are accepted and merged,
 
148
the associated branch can be deleted or archived as you wish.
 
149
 
 
150
 
 
151
Navigating the Code Base
 
152
========================
 
153
 
 
154
.. Was at <http://bazaar-vcs.org/NewDeveloperIntroduction>
 
155
 
 
156
Some of the key files in this directory are:
 
157
 
 
158
bzr
 
159
    The command you run to start Bazaar itself.  This script is pretty
 
160
    short and just does some checks then jumps into bzrlib.
 
161
 
 
162
README
 
163
    This file covers a brief introduction to Bazaar and lists some of its
 
164
    key features. 
 
165
 
 
166
NEWS
 
167
    Summary of changes in each Bazaar release that can affect users or 
 
168
    plugin developers.
 
169
 
 
170
setup.py
 
171
    Installs Bazaar system-wide or to your home directory.  To perform
 
172
    development work on Bazaar it is not required to run this file - you
 
173
    can simply run the bzr command from the top level directory of your
 
174
    development copy. Note: That if you run setup.py this will create a
 
175
    'build' directory in your development branch. There's nothing wrong
 
176
    with this but don't be confused by it. The build process puts a copy
 
177
    of the main code base into this build directory, along with some other
 
178
    files. You don't need to go in here for anything discussed in this
 
179
    guide. 
 
180
 
 
181
bzrlib
 
182
    Possibly the most exciting folder of all, bzrlib holds the main code
 
183
    base. This is where you will go to edit python files and contribute to
 
184
    Bazaar.
 
185
 
 
186
doc
 
187
    Holds documentation on a whole range of things on Bazaar from the
 
188
    origination of ideas within the project to information on Bazaar
 
189
    features and use cases.  Within this directory there is a subdirectory
 
190
    for each translation into a human language.  All the documentation 
 
191
    is in the ReStructuredText markup language.
 
192
 
 
193
doc/developers 
 
194
    Documentation specifically targetted at Bazaar and plugin developers.
 
195
    (Including this document.)
 
196
    
 
197
        
 
198
 
 
199
Automatically-generated API reference information is available at 
 
200
<http://starship.python.net/crew/mwh/bzrlibapi/>.  
 
201
 
 
202
See also the `Bazaar Architectural Overview  <../../developers/overview.html>`_.
 
203
 
 
204
 
 
205
The Code Review Process
 
206
#######################
 
207
 
 
208
All code changes coming in to Bazaar are reviewed by someone else.
 
209
Normally changes by core contributors are reviewed by one other core
 
210
developer, and changes from other people are reviewed by two core
 
211
developers.  Use intelligent discretion if the patch is trivial.
 
212
 
 
213
Good reviews do take time. They also regularly require a solid
 
214
understanding of the overall code base. In practice, this means a small
 
215
number of people often have a large review burden - with knowledge comes
 
216
responsibility. No one like their merge requests sitting in a queue going
 
217
nowhere, so reviewing sooner rather than later is strongly encouraged.
 
218
 
 
219
 
 
220
 
 
221
 
 
222
 
 
223
Review cover letters
 
224
====================
 
225
 
 
226
Please put a "cover letter" on your merge request explaining:
 
227
 
 
228
* the reason **why** you're making this change
 
229
 
 
230
* **how** this change achieves this purpose
 
231
 
 
232
* anything else you may have fixed in passing 
 
233
 
 
234
* anything significant that you thought of doing, such as a more
 
235
  extensive fix or a different approach, but didn't or couldn't do now
 
236
 
 
237
A good cover letter makes reviewers' lives easier because they can decide
 
238
from the letter whether they agree with the purpose and approach, and then
 
239
assess whether the patch actually does what the cover letter says.
 
240
Explaining any "drive-by fixes" or roads not taken may also avoid queries
 
241
from the reviewer.  All in all this should give faster and better reviews.
 
242
Sometimes writing the cover letter helps the submitter realize something
 
243
else they need to do.  The size of the cover letter should be proportional
 
244
to the size and complexity of the patch.
 
245
 
 
246
 
 
247
Reviewing proposed changes
 
248
==========================
 
249
 
 
250
Anyone is welcome to review code, and reply to the thread with their
 
251
opinion or comments.
 
252
 
 
253
The simplest way to review a proposed change is to just read the patch on
 
254
the list or in Bundle Buggy.  For more complex changes it may be useful
 
255
to make a new working tree or branch from trunk, and merge the proposed
 
256
change into it, so you can experiment with the code or look at a wider
 
257
context.
 
258
 
 
259
There are three main requirements for code to get in:
 
260
 
 
261
* Doesn't reduce test coverage: if it adds new methods or commands,
 
262
  there should be tests for them.  There is a good test framework
 
263
  and plenty of examples to crib from, but if you are having trouble
 
264
  working out how to test something feel free to post a draft patch
 
265
  and ask for help.
 
266
 
 
267
* Doesn't reduce design clarity, such as by entangling objects
 
268
  we're trying to separate.  This is mostly something the more
 
269
  experienced reviewers need to help check.
 
270
 
 
271
* Improves bugs, features, speed, or code simplicity.
 
272
 
 
273
Code that goes in should not degrade any of these aspects.  Patches are
 
274
welcome that only cleanup the code without changing the external
 
275
behaviour.  The core developers take care to keep the code quality high
 
276
and understandable while recognising that perfect is sometimes the enemy
 
277
of good. 
 
278
 
 
279
It is easy for reviews to make people notice other things which should be
 
280
fixed but those things should not hold up the original fix being accepted.
 
281
New things can easily be recorded in the Bug Tracker instead.
 
282
 
 
283
It's normally much easier to review several smaller patches than one large
 
284
one.  You might want to use ``bzr-loom`` to maintain threads of related
 
285
work, or submit a preparatory patch that will make your "real" change
 
286
easier.
 
287
 
 
288
 
 
289
Checklist for reviewers
 
290
=======================
 
291
 
 
292
* Do you understand what the code's doing and why?
 
293
 
 
294
* Will it perform reasonably for large inputs, both in memory size and
 
295
  run time?  Are there some scenarios where performance should be
 
296
  measured?
 
297
 
 
298
* Is it tested, and are the tests at the right level?  Are there both
 
299
  blackbox (command-line level) and API-oriented tests?
 
300
 
 
301
* If this change will be visible to end users or API users, is it
 
302
  appropriately documented in NEWS?
 
303
 
 
304
* Does it meet the coding standards below?
 
305
 
 
306
* If it changes the user-visible behaviour, does it update the help
 
307
  strings and user documentation?
 
308
 
 
309
* If it adds a new major concept or standard practice, does it update the
 
310
  developer documentation?
 
311
 
 
312
* (your ideas here...)
 
313
 
 
314
 
 
315
Reviews on Launchpad
 
316
====================
 
317
 
 
318
From May 2009 on, we prefer people to propose code reviews through
 
319
Launchpad.  
 
320
 
 
321
 * <https://launchpad.net/+tour/code-review>
 
322
 
 
323
 * <https://help.launchpad.net/Code/Review>
 
324
 
 
325
Anyone can propose or comment on a merge propsal just by creating a
 
326
Launchpad account.
 
327
 
 
328
There are two ways to create a new merge proposal: through the web
 
329
interface or by email.
 
330
 
 
331
 
 
332
Proposing a merge through the web
 
333
---------------------------------
 
334
 
 
335
To create the propsal through the web: push your branch to Launchpad, eg::
 
336
 
 
337
  bzr push lp:~mbp/bzr/doc
 
338
 
 
339
then go to the branch's web page, which in this case would be
 
340
<https://code.launchpad.net/~mbp/bzr/doc>.  You can automate that by just
 
341
running ::
 
342
 
 
343
  bzr lp-open
 
344
 
 
345
You can then click "Propose for merging into another branch", and enter a
 
346
cover letter into the web form.  Typically you'll want to merge into
 
347
``~bzr/bzr/trunk`` which will be the default; you might also want to
 
348
nominate merging into a release branch for a bug fix.  There is the option
 
349
to specify a specific reviewer or type of review, and you shouldn't
 
350
normally change those.
 
351
 
 
352
Submitting the form takes you to the new page about the merge proposal
 
353
containing the diff of the changes, comments by interested people, and
 
354
controls to comment or vote on the change.
 
355
 
 
356
Proposing a merge by mail
 
357
-------------------------
 
358
 
 
359
To propose a merge by mail, send a bundle to ``merge@code.launchpad.net``.
 
360
 
 
361
You can generate a merge request like this::
 
362
 
 
363
  bzr send -o bug-1234.diff
 
364
  
 
365
``bzr send`` can also send mail directly if you prefer; see the help.
 
366
 
 
367
Reviewing changes
 
368
-----------------
 
369
 
 
370
From <https://code.launchpad.net/bzr/+activereviews> you can see all
 
371
currently active reviews, and choose one to comment on.  This page also
 
372
shows proposals that are now approved and should be merged by someone with
 
373
PQM access.
 
374
 
 
375
 
 
376
Reviews through Bundle Buggy
 
377
============================
 
378
 
 
379
The Bundle Buggy tool used up to May 2009 is still available as a review
 
380
mechanism.
 
381
 
 
382
Sending patches for review
 
383
--------------------------
110
384
 
111
385
If you'd like to propose a change, please post to the
112
386
bazaar@lists.canonical.com list with a bundle, patch, or link to a
113
 
branch. Put '[PATCH]' or '[MERGE]' in the subject so Bundle Buggy
 
387
branch. Put ``[PATCH]`` or ``[MERGE]`` in the subject so Bundle Buggy
114
388
can pick it out, and explain the change in the email message text.
115
389
Remember to update the NEWS file as part of your change if it makes any
116
390
changes visible to users or plugin developers. Please include a diff
117
391
against mainline if you're giving a link to a branch.
118
392
 
119
 
You can generate a bundle like this::
 
393
You can generate a merge request like this::
120
394
 
121
 
  bzr bundle > mybundle.patch
 
395
  bzr send -o bug-1234.patch
122
396
  
123
 
A .patch extension is recommended instead of .bundle as many mail clients
124
 
will send the latter as a binary file. If a bundle would be too long or your
125
 
mailer mangles whitespace (e.g. implicitly converts Unix newlines to DOS
126
 
newlines), use the merge-directive command instead like this::
127
 
 
128
 
  bzr merge-directive http://bazaar-vcs.org http://example.org/my_branch > my_directive.patch
129
 
 
130
 
See the help for details on the arguments to merge-directive.
 
397
A ``.patch`` extension is recommended instead of .bundle as many mail clients
 
398
will send the latter as a binary file.
 
399
 
 
400
``bzr send`` can also send mail directly if you prefer; see the help.
131
401
 
132
402
Please do **NOT** put [PATCH] or [MERGE] in the subject line if you don't
133
403
want it to be merged. If you want comments from developers rather than
134
 
to be merged, you can put '[RFC]' in the subject line.
135
 
 
136
 
Anyone is welcome to review code.  There are broadly three gates for
137
 
code to get in:
138
 
 
139
 
 * Doesn't reduce test coverage: if it adds new methods or commands,
140
 
   there should be tests for them.  There is a good test framework
141
 
   and plenty of examples to crib from, but if you are having trouble
142
 
   working out how to test something feel free to post a draft patch
143
 
   and ask for help.
144
 
 
145
 
 * Doesn't reduce design clarity, such as by entangling objects
146
 
   we're trying to separate.  This is mostly something the more
147
 
   experienced reviewers need to help check.
148
 
 
149
 
 * Improves bugs, features, speed, or code simplicity.
150
 
 
151
 
Code that goes in should pass all three. The core developers take care
152
 
to keep the code quality high and understandable while recognising that
153
 
perfect is sometimes the enemy of good. (It is easy for reviews to make
154
 
people notice other things which should be fixed but those things should
155
 
not hold up the original fix being accepted. New things can easily be
156
 
recorded in the Bug Tracker instead.)
157
 
 
158
 
Anyone can "vote" on the mailing list. Core developers can also vote using
159
 
Bundle Buggy. Here are the voting codes and their explanations.
 
404
to be merged, you can put ``[RFC]`` in the subject line.
 
405
 
 
406
If this change addresses a bug, please put the bug number in the subject
 
407
line too, in the form ``[#1]`` so that Bundle Buggy can recognize it.
 
408
 
 
409
If the change is intended for a particular release mark that in the
 
410
subject too, e.g. ``[1.6]``.
 
411
Anyone can "vote" on the mailing list by expressing an opinion. Core
 
412
developers can also vote using Bundle Buggy. Here are the voting codes and
 
413
their explanations.
160
414
 
161
415
:approve:  Reviewer wants this submission merged.
162
416
:tweak:    Reviewer wants this submission merged with small changes. (No
179
433
outstanding merge requests together with an explanation of the columns.
180
434
Bundle Buggy will also mail you a link to track just your change.
181
435
 
182
 
 
183
 
Preparing a Sandbox for Making Changes to Bazaar
184
 
================================================
185
 
 
186
 
Bazaar supports many ways of organising your work. See
187
 
http://bazaar-vcs.org/SharedRepositoryLayouts for a summary of the
188
 
popular alternatives.
189
 
 
190
 
Of course, the best choice for you will depend on numerous factors:
191
 
the number of changes you may be making, the complexity of the changes, etc.
192
 
As a starting suggestion though:
193
 
 
194
 
* create a local copy of the main development branch (bzr.dev) by using
195
 
  this command::
196
 
  
197
 
    bzr branch http://bazaar-vcs.org/bzr/bzr.dev/ bzr.dev
198
 
   
199
 
* keep your copy of bzr.dev prestine (by not developing in it) and keep
200
 
  it up to date (by using bzr pull)
201
 
 
202
 
* create a new branch off your local bzr.dev copy for each issue
203
 
  (bug or feature) you are working on.
204
 
 
205
 
This approach makes it easy to go back and make any required changes
206
 
after a code review. Resubmitting the change is then simple with no
207
 
risk of accidentially including edits related to other issues you may
208
 
be working on. After the changes for an issue are accepted and merged,
209
 
the associated branch can be deleted or archived as you wish.
210
 
 
211
 
 
212
 
Navigating the Code Base
213
 
========================
214
 
 
215
 
TODO: List and describe in one line the purpose of each directory
216
 
inside an installation of bzr.
217
 
 
218
 
TODO: Refer to a central location holding an up to date copy of the API
219
 
documentation generated by epydoc, e.g. something like
220
 
http://starship.python.net/crew/mwh/bzrlibapi/bzrlib.html.
221
 
 
222
 
 
223
 
Testing Bazaar
224
 
##############
225
 
 
226
 
The Importance of Testing
227
 
=========================
228
 
 
229
 
Reliability is a critical success factor for any Version Control System.
230
 
We want Bazaar to be highly reliable across multiple platforms while
231
 
evolving over time to meet the needs of its community. 
232
 
 
233
 
In a nutshell, this is want we expect and encourage:
234
 
 
235
 
* New functionality should have test cases.  Preferably write the
236
 
  test before writing the code.
237
 
 
238
 
  In general, you can test at either the command-line level or the
239
 
  internal API level.  See Writing tests below for more detail.
240
 
 
241
 
* Try to practice Test-Driven Development: before fixing a bug, write a
242
 
  test case so that it does not regress.  Similarly for adding a new
243
 
  feature: write a test case for a small version of the new feature before
244
 
  starting on the code itself.  Check the test fails on the old code, then
245
 
  add the feature or fix and check it passes.
246
 
 
247
 
By doing these things, the Bazaar team gets increased confidence that
248
 
changes do what they claim to do, whether provided by the core team or
249
 
by community members. Equally importantly, we can be surer that changes
250
 
down the track do not break new features or bug fixes that you are
251
 
contributing today.
252
 
 
253
 
As of May 2008, Bazaar ships with a test suite containing over 12000 tests
254
 
and growing. We are proud of it and want to remain so. As community
255
 
members, we all benefit from it. Would you trust version control on
256
 
your project to a product *without* a test suite like Bazaar has?
257
 
 
258
 
 
259
 
Running the Test Suite
260
 
======================
261
 
 
262
 
Currently, bzr selftest is used to invoke tests.
263
 
You can provide a pattern argument to run a subset. For example, 
264
 
to run just the blackbox tests, run::
265
 
 
266
 
  ./bzr selftest -v blackbox
267
 
 
268
 
To skip a particular test (or set of tests), use the --exclude option
269
 
(shorthand -x) like so::
270
 
 
271
 
  ./bzr selftest -v -x blackbox  
272
 
 
273
 
To ensure that all tests are being run and succeeding, you can use the
274
 
--strict option which will fail if there are any missing features or known
275
 
failures, like so::
276
 
 
277
 
  ./bzr selftest --strict
278
 
 
279
 
To list tests without running them, use the --list-only option like so::
280
 
 
281
 
  ./bzr selftest --list-only
282
 
 
283
 
This option can be combined with other selftest options (like -x) and
284
 
filter patterns to understand their effect.
285
 
 
286
 
Once you understand how to create a list of tests, you can use the --load-list
287
 
option to run only a restricted set of tests that you kept in a file, one test
288
 
id by line. Keep in mind that this will never be sufficient to validate your
289
 
modifications, you still need to run the full test suite for that, but using it
290
 
can help in some cases (like running only the failed tests for some time)::
291
 
 
292
 
  ./bzr selftest -- load-list my_failing_tests
293
 
 
294
 
This option can also be combined with other selftest options, including
295
 
patterns. It has some drawbacks though, the list can become out of date pretty
296
 
quick when doing Test Driven Development.
297
 
 
298
 
To address this concern, there is another way to run a restricted set of tests:
299
 
the --starting-with option will run only the tests whose name starts with the
300
 
specified string. It will also avoid loading the other tests and as a
301
 
consequence starts running your tests quicker::
302
 
 
303
 
  ./bzr selftest --starting-with bzrlib.blackbox
304
 
 
305
 
This option can be combined with all the other selftest options including
306
 
--load-list. The later is rarely used but allows to run a subset of a list of
307
 
failing tests for example.
308
 
 
309
 
Test suite debug flags
310
 
----------------------
311
 
 
312
 
Similar to the global ``-Dfoo`` debug options, bzr selftest accepts
313
 
``-E=foo`` debug flags.  These flags are:
314
 
 
315
 
:allow_debug: do *not* clear the global debug flags when running a test.
316
 
  This can provide useful logging to help debug test failures when used
317
 
  with e.g. ``bzr -Dhpss selftest -E=allow_debug``
318
 
 
319
 
 
320
 
Writing Tests
321
 
=============
322
 
 
323
 
In general tests should be placed in a file named test_FOO.py where 
324
 
FOO is the logical thing under test. That file should be placed in the
325
 
tests subdirectory under the package being tested.
326
 
 
327
 
For example, tests for merge3 in bzrlib belong in bzrlib/tests/test_merge3.py.
328
 
See bzrlib/tests/test_sampler.py for a template test script.
329
 
 
330
 
Tests can be written for the UI or for individual areas of the library.
331
 
Choose whichever is appropriate: if adding a new command, or a new command 
332
 
option, then you should be writing a UI test.  If you are both adding UI
333
 
functionality and library functionality, you will want to write tests for 
334
 
both the UI and the core behaviours.  We call UI tests 'blackbox' tests
335
 
and they are found in ``bzrlib/tests/blackbox/*.py``. 
336
 
 
337
 
When writing blackbox tests please honour the following conventions:
338
 
 
339
 
 1. Place the tests for the command 'name' in
340
 
    bzrlib/tests/blackbox/test_name.py. This makes it easy for developers
341
 
    to locate the test script for a faulty command.
342
 
 
343
 
 2. Use the 'self.run_bzr("name")' utility function to invoke the command
344
 
    rather than running bzr in a subprocess or invoking the
345
 
    cmd_object.run() method directly. This is a lot faster than
346
 
    subprocesses and generates the same logging output as running it in a
347
 
    subprocess (which invoking the method directly does not).
348
 
 
349
 
 3. Only test the one command in a single test script. Use the bzrlib 
350
 
    library when setting up tests and when evaluating the side-effects of
351
 
    the command. We do this so that the library api has continual pressure
352
 
    on it to be as functional as the command line in a simple manner, and
353
 
    to isolate knock-on effects throughout the blackbox test suite when a
354
 
    command changes its name or signature. Ideally only the tests for a
355
 
    given command are affected when a given command is changed.
356
 
 
357
 
 4. If you have a test which does actually require running bzr in a
358
 
    subprocess you can use ``run_bzr_subprocess``. By default the spawned
359
 
    process will not load plugins unless ``--allow-plugins`` is supplied.
360
 
 
361
 
 
362
 
Doctests
363
 
--------
364
 
 
365
 
We make selective use of doctests__.  In general they should provide 
366
 
*examples* within the API documentation which can incidentally be tested.  We 
367
 
don't try to test every important case using doctests -- regular Python
368
 
tests are generally a better solution.
369
 
 
370
 
Most of these are in ``bzrlib/doc/api``.  More additions are welcome.
371
 
 
372
 
  __ http://docs.python.org/lib/module-doctest.html
373
 
 
374
 
 
375
 
Skipping tests and test requirements
376
 
------------------------------------
377
 
 
378
 
In our enhancements to unittest we allow for some addition results beyond
379
 
just success or failure.
380
 
 
381
 
If a test can't be run, it can say that it's skipped.  This is typically
382
 
used in parameterized tests - for example if a transport doesn't support
383
 
setting permissions, we'll skip the tests that relating to that.  ::
384
 
 
385
 
    try:
386
 
        return self.branch_format.initialize(repo.bzrdir)
387
 
    except errors.UninitializableFormat:
388
 
        raise tests.TestSkipped('Uninitializable branch format')
389
 
 
390
 
Raising TestSkipped is a good idea when you want to make it clear that the
391
 
test was not run, rather than just returning which makes it look as if it
392
 
was run and passed.
393
 
 
394
 
Several different cases are distinguished:
395
 
 
396
 
TestSkipped
397
 
        Generic skip; the only type that was present up to bzr 0.18.
398
 
 
399
 
TestNotApplicable
400
 
        The test doesn't apply to the parameters with which it was run.
401
 
        This is typically used when the test is being applied to all
402
 
        implementations of an interface, but some aspects of the interface
403
 
        are optional and not present in particular concrete
404
 
        implementations.  (Some tests that should raise this currently
405
 
        either silently return or raise TestSkipped.)  Another option is
406
 
        to use more precise parameterization to avoid generating the test
407
 
        at all.
408
 
 
409
 
TestPlatformLimit
410
 
        **(Not implemented yet)**
411
 
        The test can't be run because of an inherent limitation of the
412
 
        environment, such as not having symlinks or not supporting
413
 
        unicode.
414
 
 
415
 
UnavailableFeature
416
 
        The test can't be run because a dependency (typically a Python
417
 
        library) is not available in the test environment.  These
418
 
        are in general things that the person running the test could fix 
419
 
        by installing the library.  It's OK if some of these occur when 
420
 
        an end user runs the tests or if we're specifically testing in a
421
 
        limited environment, but a full test should never see them.
422
 
 
423
 
KnownFailure
424
 
        The test exists but is known to fail, for example because the 
425
 
        code to fix it hasn't been run yet.  Raising this allows 
426
 
        you to distinguish these failures from the ones that are not 
427
 
        expected to fail.  This could be conditionally raised if something
428
 
        is broken on some platforms but not on others.
429
 
 
430
 
We plan to support three modes for running the test suite to control the
431
 
interpretation of these results.  Strict mode is for use in situations
432
 
like merges to the mainline and releases where we want to make sure that
433
 
everything that can be tested has been tested.  Lax mode is for use by
434
 
developers who want to temporarily tolerate some known failures.  The
435
 
default behaviour is obtained by ``bzr selftest`` with no options, and
436
 
also (if possible) by running under another unittest harness.
437
 
 
438
 
======================= ======= ======= ========
439
 
result                  strict  default lax
440
 
======================= ======= ======= ========
441
 
TestSkipped             pass    pass    pass
442
 
TestNotApplicable       pass    pass    pass
443
 
TestPlatformLimit       pass    pass    pass
444
 
TestDependencyMissing   fail    pass    pass
445
 
KnownFailure            fail    pass    pass
446
 
======================= ======= ======= ========
447
 
     
448
 
 
449
 
Test feature dependencies
450
 
-------------------------
451
 
 
452
 
Rather than manually checking the environment in each test, a test class
453
 
can declare its dependence on some test features.  The feature objects are
454
 
checked only once for each run of the whole test suite.
455
 
 
456
 
For historical reasons, as of May 2007 many cases that should depend on
457
 
features currently raise TestSkipped.)
458
 
 
459
 
::
460
 
 
461
 
    class TestStrace(TestCaseWithTransport):
462
 
 
463
 
        _test_needs_features = [StraceFeature]
464
 
 
465
 
This means all tests in this class need the feature.  The feature itself
466
 
should provide a ``_probe`` method which is called once to determine if
467
 
it's available.
468
 
 
469
 
These should generally be equivalent to either TestDependencyMissing or
470
 
sometimes TestPlatformLimit.
471
 
 
472
 
 
473
 
Known failures
474
 
--------------
475
 
 
476
 
Known failures are when a test exists but we know it currently doesn't
477
 
work, allowing the test suite to still pass.  These should be used with
478
 
care, we don't want a proliferation of quietly broken tests.  It might be
479
 
appropriate to use them if you've committed a test for a bug but not the
480
 
fix for it, or if something works on Unix but not on Windows.
481
 
 
482
 
 
483
 
Testing exceptions and errors
484
 
-----------------------------
485
 
 
486
 
It's important to test handling of errors and exceptions.  Because this
487
 
code is often not hit in ad-hoc testing it can often have hidden bugs --
488
 
it's particularly common to get NameError because the exception code
489
 
references a variable that has since been renamed.
490
 
 
491
 
.. TODO: Something about how to provoke errors in the right way?
492
 
 
493
 
In general we want to test errors at two levels:
494
 
 
495
 
1. A test in ``test_errors.py`` checking that when the exception object is
496
 
   constructed with known parameters it produces an expected string form.
497
 
   This guards against mistakes in writing the format string, or in the
498
 
   ``str`` representations of its parameters.  There should be one for
499
 
   each exception class.
500
 
 
501
 
2. Tests that when an api is called in a particular situation, it raises
502
 
   an error of the expected class.  You should typically use
503
 
   ``assertRaises``, which in the Bazaar test suite returns the exception
504
 
   object to allow you to examine its parameters.  
505
 
 
506
 
In some cases blackbox tests will also want to check error reporting.  But
507
 
it can be difficult to provoke every error through the commandline
508
 
interface, so those tests are only done as needed -- eg in response to a
509
 
particular bug or if the error is reported in an unusual way(?)  Blackbox
510
 
tests should mostly be testing how the command-line interface works, so
511
 
should only test errors if there is something particular to the cli in how
512
 
they're displayed or handled.
513
 
 
514
 
 
515
 
Testing warnings
516
 
----------------
517
 
 
518
 
The Python ``warnings`` module is used to indicate a non-fatal code
519
 
problem.  Code that's expected to raise a warning can be tested through
520
 
callCatchWarnings.
521
 
 
522
 
The test suite can be run with ``-Werror`` to check no unexpected errors
523
 
occur.
524
 
 
525
 
However, warnings should be used with discretion.  It's not an appropriate
526
 
way to give messages to the user, because the warning is normally shown
527
 
only once per source line that causes the problem.  You should also think
528
 
about whether the warning is serious enought that it should be visible to
529
 
users who may not be able to fix it.
530
 
 
531
 
 
532
 
Interface implementation testing and test scenarios
533
 
---------------------------------------------------
534
 
 
535
 
There are several cases in Bazaar of multiple implementations of a common 
536
 
conceptual interface.  ("Conceptual" because 
537
 
it's not necessary for all the implementations to share a base class,
538
 
though they often do.)  Examples include transports and the working tree,
539
 
branch and repository classes. 
540
 
 
541
 
In these cases we want to make sure that every implementation correctly
542
 
fulfils the interface requirements.  For example, every Transport should
543
 
support the ``has()`` and ``get()`` and ``clone()`` methods.  We have a
544
 
sub-suite of tests in ``test_transport_implementations``.  (Most
545
 
per-implementation tests are in submodules of ``bzrlib.tests``, but not
546
 
the transport tests at the moment.)  
547
 
 
548
 
These tests are repeated for each registered Transport, by generating a
549
 
new TestCase instance for the cross product of test methods and transport
550
 
implementations.  As each test runs, it has ``transport_class`` and
551
 
``transport_server`` set to the class it should test.  Most tests don't
552
 
access these directly, but rather use ``self.get_transport`` which returns
553
 
a transport of the appropriate type.
554
 
 
555
 
The goal is to run per-implementation only tests that relate to that
556
 
particular interface.  Sometimes we discover a bug elsewhere that happens
557
 
with only one particular transport.  Once it's isolated, we can consider 
558
 
whether a test should be added for that particular implementation,
559
 
or for all implementations of the interface.
560
 
 
561
 
The multiplication of tests for different implementations is normally 
562
 
accomplished by overriding the ``test_suite`` function used to load 
563
 
tests from a module.  This function typically loads all the tests,
564
 
then applies a TestProviderAdapter to them, which generates a longer 
565
 
suite containing all the test variations.
566
 
 
567
 
 
568
 
Test scenarios
569
 
--------------
570
 
 
571
 
Some utilities are provided for generating variations of tests.  This can
572
 
be used for per-implementation tests, or other cases where the same test
573
 
code needs to run several times on different scenarios.
574
 
 
575
 
The general approach is to define a class that provides test methods,
576
 
which depend on attributes of the test object being pre-set with the
577
 
values to which the test should be applied.  The test suite should then
578
 
also provide a list of scenarios in which to run the tests.
579
 
 
580
 
Typically ``multiply_tests_from_modules`` should be called from the test
581
 
module's ``test_suite`` function.
582
 
 
583
 
 
584
 
Essential Domain Classes
585
 
########################
586
 
 
587
 
Introducing the Object Model
588
 
============================
589
 
 
590
 
The core domain objects within the bazaar model are:
591
 
 
592
 
* Transport
593
 
 
594
 
* Branch
595
 
 
596
 
* Repository
597
 
 
598
 
* WorkingTree
599
 
 
600
 
Transports are explained below. See http://bazaar-vcs.org/Classes/
601
 
for an introduction to the other key classes.
602
 
 
603
 
Using Transports
604
 
================
605
 
 
606
 
The ``Transport`` layer handles access to local or remote directories.
607
 
Each Transport object acts like a logical connection to a particular
608
 
directory, and it allows various operations on files within it.  You can
609
 
*clone* a transport to get a new Transport connected to a subdirectory or
610
 
parent directory.
611
 
 
612
 
Transports are not used for access to the working tree.  At present
613
 
working trees are always local and they are accessed through the regular
614
 
Python file io mechanisms.
615
 
 
616
 
Filenames vs URLs
617
 
-----------------
618
 
 
619
 
Transports work in URLs.  Take note that URLs are by definition only
620
 
ASCII - the decision of how to encode a Unicode string into a URL must be
621
 
taken at a higher level, typically in the Store.  (Note that Stores also
622
 
escape filenames which cannot be safely stored on all filesystems, but
623
 
this is a different level.)
624
 
 
625
 
The main reason for this is that it's not possible to safely roundtrip a
626
 
URL into Unicode and then back into the same URL.  The URL standard
627
 
gives a way to represent non-ASCII bytes in ASCII (as %-escapes), but
628
 
doesn't say how those bytes represent non-ASCII characters.  (They're not
629
 
guaranteed to be UTF-8 -- that is common but doesn't happen everywhere.)
630
 
 
631
 
For example if the user enters the url ``http://example/%e0`` there's no
632
 
way to tell whether that character represents "latin small letter a with
633
 
grave" in iso-8859-1, or "latin small letter r with acute" in iso-8859-2
634
 
or malformed UTF-8.  So we can't convert their URL to Unicode reliably.
635
 
 
636
 
Equally problematic if we're given a url-like string containing non-ascii
637
 
characters (such as the accented a) we can't be sure how to convert that
638
 
to the correct URL, because we don't know what encoding the server expects
639
 
for those characters.  (Although this is not totally reliable we might still
640
 
accept these and assume they should be put into UTF-8.)
641
 
 
642
 
A similar edge case is that the url ``http://foo/sweet%2Fsour`` contains
643
 
one directory component whose name is "sweet/sour".  The escaped slash is
644
 
not a directory separator.  If we try to convert URLs to regular Unicode
645
 
paths this information will be lost.
646
 
 
647
 
This implies that Transports must natively deal with URLs; for simplicity
648
 
they *only* deal with URLs and conversion of other strings to URLs is done
649
 
elsewhere.  Information they return, such as from ``list_dir``, is also in
650
 
the form of URL components.
651
 
 
652
 
 
653
 
Core Topics
654
 
###########
655
 
 
656
 
Evolving Interfaces
657
 
===================
658
 
 
659
 
We have a commitment to 6 months API stability - any supported symbol in a
660
 
release of bzr MUST NOT be altered in any way that would result in
661
 
breaking existing code that uses it. That means that method names,
662
 
parameter ordering, parameter names, variable and attribute names etc must
663
 
not be changed without leaving a 'deprecated forwarder' behind. This even
664
 
applies to modules and classes.
665
 
 
666
 
If you wish to change the behaviour of a supported API in an incompatible
667
 
way, you need to change its name as well. For instance, if I add an optional keyword
668
 
parameter to branch.commit - that's fine. On the other hand, if I add a
669
 
keyword parameter to branch.commit which is a *required* transaction
670
 
object, I should rename the API - i.e. to 'branch.commit_transaction'. 
671
 
 
672
 
When renaming such supported API's, be sure to leave a deprecated_method (or
673
 
_function or ...) behind which forwards to the new API. See the
674
 
bzrlib.symbol_versioning module for decorators that take care of the
675
 
details for you - such as updating the docstring, and issuing a warning
676
 
when the old api is used.
677
 
 
678
 
For unsupported API's, it does not hurt to follow this discipline, but it's
679
 
not required. Minimally though, please try to rename things so that
680
 
callers will at least get an AttributeError rather than weird results.
681
 
 
682
 
 
683
 
Deprecation decorators
684
 
----------------------
685
 
 
686
 
``bzrlib.symbol_versioning`` provides decorators that can be attached to
687
 
methods, functions, and other interfaces to indicate that they should no
688
 
longer be used.
689
 
 
690
 
To deprecate a static method you must call ``deprecated_function``
691
 
(**not** method), after the staticmethod call::
692
 
 
693
 
    @staticmethod
694
 
    @deprecated_function(zero_ninetyone)
695
 
    def create_repository(base, shared=False, format=None):
696
 
 
697
 
When you deprecate an API, you should not just delete its tests, because
698
 
then we might introduce bugs in them.  If the API is still present at all,
699
 
it should still work.  The basic approach is to use
700
 
``TestCase.applyDeprecated`` which in one step checks that the API gives
701
 
the expected deprecation message, and also returns the real result from
702
 
the method, so that tests can keep running.
703
 
 
704
436
Coding Style Guidelines
705
 
=======================
 
437
#######################
706
438
 
707
439
hasattr and getattr
708
 
-------------------
 
440
===================
709
441
 
710
442
``hasattr`` should not be used because it swallows exceptions including
711
443
``KeyboardInterrupt``.  Instead, say something like ::
714
446
 
715
447
 
716
448
Code layout
717
 
-----------
 
449
===========
718
450
 
719
451
Please write PEP-8__ compliant code.  
720
452
 
726
458
We use 4 space indents for blocks, and never use tab characters.  (In vim,
727
459
``set expandtab``.)
728
460
 
 
461
Trailing white space should be avoided, but is allowed.
 
462
You should however not make lots of unrelated white space changes.
 
463
 
 
464
Unix style newlines (LF) are used.
 
465
 
 
466
Each file must have a newline at the end of it.
 
467
 
729
468
Lines should be no more than 79 characters if at all possible.
730
469
Lines that continue a long statement may be indented in either of 
731
470
two ways:
803
542
 
804
543
 
805
544
Module Imports
806
 
--------------
 
545
==============
807
546
 
808
547
* Imports should be done at the top-level of the file, unless there is
809
548
  a strong reason to have them lazily loaded when a particular
815
554
 
816
555
 
817
556
Naming
818
 
------
 
557
======
819
558
 
820
559
Functions, methods or members that are "private" to bzrlib are given
821
560
a leading underscore prefix.  Names without a leading underscore are
838
577
 
839
578
 
840
579
Standard Names
841
 
--------------
 
580
==============
842
581
 
843
582
``revision_id`` not ``rev_id`` or ``revid``
844
583
 
847
586
 
848
587
 
849
588
Destructors
850
 
-----------
 
589
===========
851
590
 
852
591
Python destructors (``__del__``) work differently to those of other
853
592
languages.  In particular, bear in mind that destructors may be called
855
594
later time, or possibly never at all.  Therefore we have restrictions on
856
595
what can be done inside them.
857
596
 
858
 
 0. Never use a __del__ method without asking Martin/Robert first.
 
597
 0. If you think you need to use a ``__del__`` method ask another
 
598
    developer for alternatives.  If you do need to use one, explain
 
599
    why in a comment.
859
600
 
860
601
 1. Never rely on a ``__del__`` method running.  If there is code that
861
602
    must run, do it from a ``finally`` block instead.
869
610
 
870
611
 
871
612
Factories
872
 
---------
 
613
=========
873
614
 
874
615
In some places we have variables which point to callables that construct
875
616
new instances.  That is to say, they can be used a lot like class objects,
884
625
 
885
626
 
886
627
Registries
887
 
----------
 
628
==========
888
629
 
889
630
Several places in Bazaar use (or will use) a registry, which is a 
890
631
mapping from names to objects or classes.  The registry allows for 
892
633
associated information such as a help string or description.
893
634
 
894
635
 
 
636
InterObject and multiple dispatch
 
637
=================================
 
638
 
 
639
The ``InterObject`` provides for two-way `multiple dispatch`__: matching
 
640
up for example a source and destination repository to find the right way
 
641
to transfer data between them. 
 
642
 
 
643
.. __: http://en.wikipedia.org/wiki/Multiple_dispatch
 
644
 
 
645
There is a subclass ``InterObject`` classes for each type of object that is
 
646
dispatched this way, e.g. ``InterRepository``.  Calling ``.get()`` on this
 
647
class will return an ``InterObject`` instance providing the best match for 
 
648
those parameters, and this instance then has methods for operations
 
649
between the objects.
 
650
 
 
651
  inter = InterRepository.get(source_repo, target_repo)
 
652
  inter.fetch(revision_id)
 
653
 
 
654
``InterRepository`` also acts as a registry-like object for its
 
655
subclasses, and they can be added through ``.register_optimizer``.  The
 
656
right one to run is selected by asking each class, in reverse order of
 
657
registration, whether it ``.is_compatible`` with the relevant objects.
 
658
 
895
659
Lazy Imports
896
 
------------
 
660
============
897
661
 
898
662
To make startup time faster, we use the ``bzrlib.lazy_import`` module to
899
663
delay importing modules until they are actually used. ``lazy_import`` uses
923
687
the variable is a module, and these object should be hidden anyway, since
924
688
they shouldn't be imported into other namespaces.
925
689
 
926
 
 
927
 
Modules versus Members
928
 
~~~~~~~~~~~~~~~~~~~~~~
929
 
 
930
690
While it is possible for ``lazy_import()`` to import members of a module
931
691
when using the ``from module import member`` syntax, it is recommended to
932
692
only use that syntax to load sub modules ``from module import submodule``.
943
703
This will incorrectly fail, because ``MyClass`` is a ``ImportReplacer``
944
704
object, rather than the real class.
945
705
 
946
 
 
947
 
Passing to Other Variables
948
 
~~~~~~~~~~~~~~~~~~~~~~~~~~
949
 
 
950
706
It also is incorrect to assign ``ImportReplacer`` objects to other variables.
951
707
Because the replacer only knows about the original name, it is unable to
952
708
replace other variables. The ``ImportReplacer`` class will raise an
956
712
 
957
713
 
958
714
The Null revision
959
 
-----------------
 
715
=================
960
716
 
961
717
The null revision is the ancestor of all revisions.  Its revno is 0, its
962
718
revision-id is ``null:``, and its tree is the empty tree.  When referring
965
721
being phased out.
966
722
 
967
723
 
 
724
Object string representations
 
725
=============================
 
726
 
 
727
Python prints objects using their ``__repr__`` method when they are
 
728
written to logs, exception tracebacks, or the debugger.  We want
 
729
objects to have useful representations to help in determining what went
 
730
wrong.
 
731
 
 
732
If you add a new class you should generally add a ``__repr__`` method
 
733
unless there is an adequate method in a parent class.  There should be a
 
734
test for the repr.  
 
735
 
 
736
Representations should typically look like Python constructor syntax, but
 
737
they don't need to include every value in the object and they don't need
 
738
to be able to actually execute.  They're to be read by humans, not
 
739
machines.  Don't hardcode the classname in the format, so that we get the
 
740
correct value if the method is inherited by a subclass.  If you're
 
741
printing attributes of the object, including strings, you should normally
 
742
use ``%r`` syntax (to call their repr in turn).
 
743
 
 
744
Try to avoid the representation becoming more than one or two lines long.
 
745
(But balance this against including useful information, and simplicity of
 
746
implementation.)
 
747
 
 
748
Because repr methods are often called when something has already gone
 
749
wrong, they should be written somewhat more defensively than most code.
 
750
The object may be half-initialized or in some other way in an illegal
 
751
state.  The repr method shouldn't raise an exception, or it may hide the
 
752
(probably more useful) underlying exception.
 
753
 
 
754
Example::
 
755
 
 
756
    def __repr__(self):
 
757
        return '%s(%r)' % (self.__class__.__name__,
 
758
                           self._transport)
 
759
 
 
760
 
 
761
Exception handling
 
762
==================
 
763
 
 
764
A bare ``except`` statement will catch all exceptions, including ones that
 
765
really should terminate the program such as ``MemoryError`` and
 
766
``KeyboardInterrupt``.  They should rarely be used unless the exception is
 
767
later re-raised.  Even then, think about whether catching just
 
768
``Exception`` (which excludes system errors in Python2.5 and later) would
 
769
be better.
 
770
 
 
771
 
 
772
Test coverage
 
773
=============
 
774
 
 
775
All code should be exercised by the test suite.  See `Guide to Testing
 
776
Bazaar <../../developers/testing.html>`_ for detailed information about writing tests.
 
777
 
 
778
 
 
779
Core Topics
 
780
###########
 
781
 
 
782
Evolving Interfaces
 
783
===================
 
784
 
 
785
We have a commitment to 6 months API stability - any supported symbol in a
 
786
release of bzr MUST NOT be altered in any way that would result in
 
787
breaking existing code that uses it. That means that method names,
 
788
parameter ordering, parameter names, variable and attribute names etc must
 
789
not be changed without leaving a 'deprecated forwarder' behind. This even
 
790
applies to modules and classes.
 
791
 
 
792
If you wish to change the behaviour of a supported API in an incompatible
 
793
way, you need to change its name as well. For instance, if I add an optional keyword
 
794
parameter to branch.commit - that's fine. On the other hand, if I add a
 
795
keyword parameter to branch.commit which is a *required* transaction
 
796
object, I should rename the API - i.e. to 'branch.commit_transaction'. 
 
797
 
 
798
When renaming such supported API's, be sure to leave a deprecated_method (or
 
799
_function or ...) behind which forwards to the new API. See the
 
800
bzrlib.symbol_versioning module for decorators that take care of the
 
801
details for you - such as updating the docstring, and issuing a warning
 
802
when the old api is used.
 
803
 
 
804
For unsupported API's, it does not hurt to follow this discipline, but it's
 
805
not required. Minimally though, please try to rename things so that
 
806
callers will at least get an AttributeError rather than weird results.
 
807
 
 
808
 
 
809
Deprecation decorators
 
810
----------------------
 
811
 
 
812
``bzrlib.symbol_versioning`` provides decorators that can be attached to
 
813
methods, functions, and other interfaces to indicate that they should no
 
814
longer be used.  For example::
 
815
 
 
816
   @deprecated_method(deprecated_in((0, 1, 4)))
 
817
   def foo(self):
 
818
        return self._new_foo()
 
819
 
 
820
To deprecate a static method you must call ``deprecated_function``
 
821
(**not** method), after the staticmethod call::
 
822
 
 
823
    @staticmethod
 
824
    @deprecated_function(deprecated_in((0, 1, 4)))
 
825
    def create_repository(base, shared=False, format=None):
 
826
 
 
827
When you deprecate an API, you should not just delete its tests, because
 
828
then we might introduce bugs in them.  If the API is still present at all,
 
829
it should still work.  The basic approach is to use
 
830
``TestCase.applyDeprecated`` which in one step checks that the API gives
 
831
the expected deprecation message, and also returns the real result from
 
832
the method, so that tests can keep running.
 
833
 
 
834
Deprecation warnings will be suppressed for final releases, but not for
 
835
development versions or release candidates, or when running ``bzr
 
836
selftest``. This gives developers information about whether their code is
 
837
using deprecated functions, but avoids confusing users about things they
 
838
can't fix.
 
839
 
 
840
 
968
841
Getting Input
969
842
=============
970
843
 
1025
898
should be only in the command-line tool.
1026
899
 
1027
900
 
 
901
Progress and Activity Indications
 
902
---------------------------------
 
903
 
 
904
bzrlib has a way for code to display to the user that stuff is happening
 
905
during a long operation.  There are two particular types: *activity* which
 
906
means that IO is happening on a Transport, and *progress* which means that
 
907
higher-level application work is occurring.  Both are drawn together by
 
908
the `ui_factory`.
 
909
 
 
910
Transport objects are responsible for calling `report_transport_activity`
 
911
when they do IO.
 
912
 
 
913
Progress uses a model/view pattern: application code acts on a
 
914
`ProgressTask` object, which notifies the UI when it needs to be
 
915
displayed.  Progress tasks form a stack.  To create a new progress task on
 
916
top of the stack, call `bzrlib.ui.ui_factory.nested_progress_bar()`, then
 
917
call `update()` on the returned ProgressTask.  It can be updated with just
 
918
a text description, with a numeric count, or with a numeric count and
 
919
expected total count.  If an expected total count is provided the view
 
920
can show the progress moving along towards the expected total.
 
921
 
 
922
The user should call `finish` on the `ProgressTask` when the logical
 
923
operation has finished, so it can be removed from the stack.
 
924
 
 
925
Progress tasks have a complex relatioship with generators: it's a very
 
926
good place to use them, but because python2.4 does not allow ``finally``
 
927
blocks in generators it's hard to clean them up properly.  In this case
 
928
it's probably better to have the code calling the generator allocate a
 
929
progress task for its use and then call `finalize` when it's done, which
 
930
will close it if it was not already closed.  The generator should also
 
931
finish the progress task when it exits, because it may otherwise be a long
 
932
time until the finally block runs.
 
933
 
1028
934
 
1029
935
Displaying help
1030
936
===============
1043
949
sentences.
1044
950
 
1045
951
 
1046
 
Writing tests
1047
 
=============
1048
 
 
1049
 
In general tests should be placed in a file named test_FOO.py where 
1050
 
FOO is the logical thing under test. That file should be placed in the
1051
 
tests subdirectory under the package being tested.
1052
 
 
1053
 
For example, tests for merge3 in bzrlib belong in bzrlib/tests/test_merge3.py.
1054
 
See bzrlib/tests/test_sampler.py for a template test script.
1055
 
 
1056
 
Tests can be written for the UI or for individual areas of the library.
1057
 
Choose whichever is appropriate: if adding a new command, or a new command 
1058
 
option, then you should be writing a UI test.  If you are both adding UI
1059
 
functionality and library functionality, you will want to write tests for 
1060
 
both the UI and the core behaviours.  We call UI tests 'blackbox' tests
1061
 
and they are found in ``bzrlib/tests/blackbox/*.py``. 
1062
 
 
1063
 
When writing blackbox tests please honour the following conventions:
1064
 
 
1065
 
 1. Place the tests for the command 'name' in
1066
 
    bzrlib/tests/blackbox/test_name.py. This makes it easy for developers
1067
 
    to locate the test script for a faulty command.
1068
 
 
1069
 
 2. Use the 'self.run_bzr("name")' utility function to invoke the command
1070
 
    rather than running bzr in a subprocess or invoking the
1071
 
    cmd_object.run() method directly. This is a lot faster than
1072
 
    subprocesses and generates the same logging output as running it in a
1073
 
    subprocess (which invoking the method directly does not).
1074
 
 
1075
 
 3. Only test the one command in a single test script. Use the bzrlib 
1076
 
    library when setting up tests and when evaluating the side-effects of
1077
 
    the command. We do this so that the library api has continual pressure
1078
 
    on it to be as functional as the command line in a simple manner, and
1079
 
    to isolate knock-on effects throughout the blackbox test suite when a
1080
 
    command changes its name or signature. Ideally only the tests for a
1081
 
    given command are affected when a given command is changed.
1082
 
 
1083
 
 4. If you have a test which does actually require running bzr in a
1084
 
    subprocess you can use ``run_bzr_subprocess``. By default the spawned
1085
 
    process will not load plugins unless ``--allow-plugins`` is supplied.
1086
 
 
1087
 
 
1088
 
Test support
1089
 
------------
1090
 
 
1091
 
We have a rich collection of tools to support writing tests. Please use
1092
 
them in preference to ad-hoc solutions as they provide portability and
1093
 
performance benefits.
1094
 
 
1095
 
TreeBuilder
1096
 
~~~~~~~~~~~
1097
 
 
1098
 
The ``TreeBuilder`` interface allows the construction of arbitrary trees
1099
 
with a declarative interface. A sample session might look like::
1100
 
 
1101
 
  tree = self.make_branch_and_tree('path')
1102
 
  builder = TreeBuilder()
1103
 
  builder.start_tree(tree)
1104
 
  builder.build(['foo', "bar/", "bar/file"])
1105
 
  tree.commit('commit the tree')
1106
 
  builder.finish_tree()
1107
 
 
1108
 
Please see bzrlib.treebuilder for more details.
1109
 
 
1110
 
BranchBuilder
1111
 
~~~~~~~~~~~~~
1112
 
 
1113
 
The ``BranchBuilder`` interface allows the creation of test branches in a
1114
 
quick and easy manner. A sample session::
1115
 
 
1116
 
  builder = BranchBuilder(self.get_transport().clone('relpath'))
1117
 
  builder.build_commit()
1118
 
  builder.build_commit()
1119
 
  builder.build_commit()
1120
 
  branch = builder.get_branch()
1121
 
 
1122
 
Please see bzrlib.branchbuilder for more details.
1123
 
 
1124
 
Doctests
1125
 
--------
1126
 
 
1127
 
We make selective use of doctests__.  In general they should provide 
1128
 
*examples* within the API documentation which can incidentally be tested.  We 
1129
 
don't try to test every important case using doctests -- regular Python
1130
 
tests are generally a better solution.
1131
 
 
1132
 
Most of these are in ``bzrlib/doc/api``.  More additions are welcome.
1133
 
 
1134
 
  __ http://docs.python.org/lib/module-doctest.html
1135
 
 
1136
 
 
1137
 
Running tests
1138
 
=============
1139
 
Currently, bzr selftest is used to invoke tests.
1140
 
You can provide a pattern argument to run a subset. For example, 
1141
 
to run just the blackbox tests, run::
1142
 
 
1143
 
  ./bzr selftest -v blackbox
1144
 
 
1145
 
To skip a particular test (or set of tests), use the --exclude option
1146
 
(shorthand -x) like so::
1147
 
 
1148
 
  ./bzr selftest -v -x blackbox  
1149
 
 
1150
 
To list tests without running them, use the --list-only option like so::
1151
 
 
1152
 
  ./bzr selftest --list-only
1153
 
 
1154
 
This option can be combined with other selftest options (like -x) and
1155
 
filter patterns to understand their effect.
1156
 
 
1157
 
 
1158
952
Handling Errors and Exceptions
1159
953
==============================
1160
954
 
1203
997
that exception specifically, or when it needs a substantially different
1204
998
format string.
1205
999
 
 
1000
#. If it is something that a caller can recover from, a custom exception
 
1001
   is reasonable. 
 
1002
 
 
1003
#. If it is a data consistency issue, using a builtin like
 
1004
   ``ValueError``/``TypeError`` is reasonable. 
 
1005
 
 
1006
#. If it is a programmer error (using an api incorrectly)
 
1007
   ``AssertionError`` is reasonable. 
 
1008
 
 
1009
#. Otherwise, use ``BzrError`` or ``InternalBzrError``.
 
1010
 
1206
1011
Exception strings should start with a capital letter and should not have a
1207
1012
final fullstop.  If long, they may contain newlines to break the text.
1208
1013
 
1209
1014
 
1210
1015
Assertions
1211
 
----------
 
1016
==========
1212
1017
 
1213
1018
Do not use the Python ``assert`` statement, either in tests or elsewhere.
1214
1019
A source test checks that it is not used.  It is ok to explicitly raise
1368
1173
by setting the environment variable ``BZR_SIGQUIT_PDB=0``.
1369
1174
 
1370
1175
 
 
1176
Debug Flags
 
1177
===========
 
1178
 
 
1179
Bazaar accepts some global options starting with ``-D`` such as
 
1180
``-Dhpss``.  These set a value in `bzrlib.debug.debug_flags`, and
 
1181
typically cause more information to be written to the trace file.  Most
 
1182
`mutter` calls should be guarded by a check of those flags so that we
 
1183
don't write out too much information if it's not needed.
 
1184
 
 
1185
Debug flags may have effects other than just emitting trace messages.
 
1186
 
 
1187
Run ``bzr help global-options`` to see them all.
 
1188
 
 
1189
These flags may also be set as a comma-separated list in the
 
1190
``debug_flags`` option in e.g.  ``~/.bazaar/bazaar.conf``.  (Note that it
 
1191
must be in this global file, not in the branch or location configuration,
 
1192
because it's currently only loaded at startup time.)  For instance you may
 
1193
want to always record hpss traces and to see full error tracebacks::
 
1194
 
 
1195
    debug_flags = hpss, error
 
1196
 
 
1197
 
1371
1198
Jargon
1372
1199
======
1373
1200
 
1505
1332
* reviewing changes
1506
1333
* reviewing blueprints
1507
1334
* planning releases
1508
 
* managing releases.
 
1335
* managing releases (see the `Releasing Bazaar <../../developers/releasing.html>`_)
1509
1336
 
1510
1337
.. note::
1511
1338
  Removing barriers to community participation is a key reason for adopting
1516
1343
  differences between core and non-core contributors to a minimum.
1517
1344
 
1518
1345
 
1519
 
The Development Lifecycle
1520
 
-------------------------
1521
 
 
1522
 
As a rule, Bazaar development follows a 4 week cycle:
1523
 
 
1524
 
* 2 weeks - general changes
1525
 
* 1 week - feature freeze
1526
 
* 1 week+ - Release Candidate stabilization
1527
 
 
1528
 
During the FeatureFreeze week, the trunk (bzr.dev) is open in a limited
1529
 
way: only low risk changes, critical and high priority fixes are accepted
1530
 
during this time. At the end of FeatureFreeze, a branch is created for the
1531
 
first Release Candidate and the trunk is reopened for general development
1532
 
on the *next* release. A week or so later, the final release is packaged
1533
 
assuming no serious problems were encountered with the one or more Release
1534
 
Candidates.
1535
 
 
1536
 
.. note::
1537
 
  There is a one week overlap between the start of one release and
1538
 
  the end of the previous one.
1539
 
 
1540
 
 
1541
1346
Communicating and Coordinating
1542
1347
------------------------------
1543
1348
 
1570
1375
how to set it up and configure it.
1571
1376
 
1572
1377
 
1573
 
Reviewing Changes
1574
 
=================
1575
 
 
1576
 
Setting Up Your Workspace for Reviews
1577
 
-------------------------------------
1578
 
 
1579
 
TODO: Incorporate John Arbash Meinel's detailed email to Ian C on the
1580
 
numerous ways of setting up integration branches.
1581
 
 
1582
 
 
1583
 
The Review Checklist
1584
 
--------------------
1585
 
 
1586
 
See `A Closer Look at the Merge & Review Process`_
1587
 
for information on the gates used to decide whether code can be merged
1588
 
or not and details on how review results are recorded and communicated.
1589
 
 
1590
 
 
1591
 
The Importance of Timely Reviews
1592
 
--------------------------------
1593
 
 
1594
 
Good reviews do take time. They also regularly require a solid
1595
 
understanding of the overall code base. In practice, this means a small
1596
 
number of people often have a large review burden - with knowledge comes
1597
 
responsibility. No one like their merge requests sitting in a queue going
1598
 
nowhere, so reviewing sooner rather than later is strongly encouraged.
1599
 
 
1600
 
 
1601
1378
Submitting Changes
1602
1379
==================
1603
1380
 
1781
1558
Planning Releases
1782
1559
=================
1783
1560
 
1784
 
Roadmaps
1785
 
--------
1786
 
 
1787
 
As the two senior developers, Martin Pool and Robert Collins coordinate
1788
 
the overall Bazaar product development roadmap. Core developers provide
1789
 
input and review into this, particularly during sprints. It's totally
1790
 
expected that community members ought to be working on things that
1791
 
interest them the most. The roadmap is valuable though because it provides
1792
 
context for understanding where the product is going as a whole and why.
1793
 
 
1794
1561
 
1795
1562
Using Releases and Milestones in Launchpad
1796
1563
------------------------------------------