~bzr-pqm/bzr/bzr.dev

« back to all changes in this revision

Viewing changes to doc/developers/HACKING.txt

  • Committer: John Arbash Meinel
  • Date: 2009-03-27 22:29:55 UTC
  • mto: (3735.39.2 clean)
  • mto: This revision was merged to the branch mainline in revision 4280.
  • Revision ID: john@arbash-meinel.com-20090327222955-utifmfm888zerixt
Implement apply_delta_to_source which doesn't have to malloc another string.

Show diffs side-by-side

added added

removed removed

Lines of Context:
2
2
Bazaar Developer Guide
3
3
======================
4
4
 
5
 
This document describes the Bazaar internals and the development process.
 
5
This document describes the Bazaar internals and the development process.  
6
6
It's meant for people interested in developing Bazaar, and some parts will
7
7
also be useful to people developing Bazaar plugins.
8
8
 
11
11
the Bazaar mailing list.  To propose a correction or addition to this
12
12
document, send a merge request or new text to the mailing list.
13
13
 
14
 
The latest developer documentation can be found online at
15
 
http://doc.bazaar-vcs.org/developers/.
 
14
The current version of this document is available in the file 
 
15
``doc/developers/HACKING.txt`` in the source tree, or at
 
16
http://doc.bazaar-vcs.org/bzr.dev/en/developer-guide/HACKING.html
 
17
 
 
18
See also:
 
19
`Bazaar Developer Documentation Catalog <../../developers/index.html>`_.
 
20
 
 
21
.. contents::
16
22
 
17
23
 
18
24
Getting Started
35
41
 
36
42
* Bug Tracker for the core product - https://bugs.launchpad.net/bzr/
37
43
 
 
44
* Blueprint Tracker for the core product - https://blueprints.launchpad.net/bzr/
 
45
 
38
46
If nothing else, perhaps you'll find inspiration in how other developers
39
47
have solved their challenges.
40
48
 
41
 
Finding Something To Do
42
 
=======================
43
 
 
44
 
Ad-hoc performance work can also be done. One useful tool is the 'evil' debug
45
 
flag. For instance running ``bzr -Devil commit -m "test"`` will log a backtrace
46
 
to the bzr log file for every method call which triggers a slow or non-scalable
47
 
part of the bzr library. So checking that a given command with ``-Devil`` has
48
 
no backtraces logged to the log file is a good way to find problem function
49
 
calls that might be nested deep in the code base.
50
49
 
51
50
Planning and Discussing Changes
52
51
===============================
60
59
to involving the community before you spend much time on a change.
61
60
These include:
62
61
 
63
 
* you get to build on the wisdom of others, saving time
 
62
* you get to build on the wisdom on others, saving time
64
63
 
65
 
* if others can direct you to similar code, it minimises the work to be done
 
64
* if others can direct you to similar code, it minimises the work to be done 
66
65
 
67
66
* it assists everyone in coordinating direction, priorities and effort.
68
67
 
74
73
Bazaar Development in a Nutshell
75
74
================================
76
75
 
77
 
.. was from bazaar-vcs.org/BzrGivingBack
78
 
 
79
 
One of the fun things about working on a version control system like Bazaar is
80
 
that the users have a high level of proficiency in contributing back into
81
 
the tool.  Consider the following very brief introduction to contributing back
82
 
to Bazaar.  More detailed instructions are in the following sections.
83
 
 
84
 
Making the change
85
 
-----------------
86
 
 
87
 
First, get a local copy of the development mainline (See `Why make a local
88
 
copy of bzr.dev?`_.)
89
 
::
90
 
 
91
 
 $ bzr init-repo ~/bzr
92
 
 $ cd ~/bzr
93
 
 $ bzr branch http://bazaar-vcs.org/bzr/bzr.dev/ bzr.dev
94
 
 
95
 
Now make your own branch::
96
 
 
97
 
 $ bzr branch bzr.dev 123456-my-bugfix
98
 
 
99
 
This will give you a branch called "123456-my-bugfix" that you can work on
100
 
and commit in. Here, you can study the code, make a fix or a new feature.
101
 
Feel free to commit early and often (after all, it's your branch!).
102
 
 
103
 
Documentation improvements are an easy place to get started giving back to the
104
 
Bazaar project.  The documentation is in the `doc/` subdirectory of the Bazaar
105
 
source tree.
106
 
 
107
 
When you are done, make sure that you commit your last set of changes as well!
108
 
Once you are happy with your changes, ask for them to be merged, as described
109
 
below.
110
 
 
111
 
Making a Merge Proposal
112
 
-----------------------
113
 
 
114
 
The Bazaar developers use Launchpad to further enable a truly distributed
115
 
style of development.  Anyone can propose a branch for merging into the Bazaar
116
 
trunk.  To start this process, you need to push your branch to Launchpad.  To
117
 
do this, you will need a Launchpad account and user name, e.g.
118
 
`your_lp_username`.  You can push your branch to Launchpad directly from
119
 
Bazaar::
120
 
 
121
 
  $ bzr push lp:~your_lp_username/bzr/meaningful_name_here
122
 
 
123
 
After you have pushed your branch, you will need to propose it for merging to
124
 
the Bazaar trunk.  Go to
125
 
<https://launchpad.net/your_lp_username/bzr/meaningful_name_here> and choose
126
 
"Propose for merging into another branch".  Select "~bzr/bzr/trunk" to hand
127
 
your changes off to the Bazaar developers for review and merging.
128
 
 
129
 
Alternatively, after pushing you can use the ``lp-propose`` command to 
130
 
create the merge proposal.
131
 
 
132
 
Using a meaningful name for your branch will help you and the reviewer(s)
133
 
better track the submission. Use a very succint description of your submission
134
 
and prefix it with bug number if needed (lp:~mbp/bzr/484558-merge-directory
135
 
for example). Alternatively, you can suffix with the bug number
136
 
(lp:~jameinel/bzr/export-file-511987).
137
 
 
138
 
 
139
 
Review cover letters
140
 
--------------------
141
 
 
142
 
Please put a "cover letter" on your merge request explaining:
143
 
 
144
 
* the reason **why** you're making this change
145
 
 
146
 
* **how** this change achieves this purpose
147
 
 
148
 
* anything else you may have fixed in passing
149
 
 
150
 
* anything significant that you thought of doing, such as a more
151
 
  extensive fix or a different approach, but didn't or couldn't do now
152
 
 
153
 
A good cover letter makes reviewers' lives easier because they can decide
154
 
from the letter whether they agree with the purpose and approach, and then
155
 
assess whether the patch actually does what the cover letter says.
156
 
Explaining any "drive-by fixes" or roads not taken may also avoid queries
157
 
from the reviewer.  All in all this should give faster and better reviews.
158
 
Sometimes writing the cover letter helps the submitter realize something
159
 
else they need to do.  The size of the cover letter should be proportional
160
 
to the size and complexity of the patch.
161
 
 
162
 
 
163
 
Why make a local copy of bzr.dev?
164
 
---------------------------------
165
 
 
166
 
Making a local mirror of bzr.dev is not strictly necessary, but it means
167
 
 
168
 
- You can use that copy of bzr.dev as your main bzr executable, and keep it
169
 
  up-to-date using ``bzr pull``.
170
 
- Certain operations are faster, and can be done when offline.  For example:
171
 
 
172
 
  - ``bzr bundle``
173
 
  - ``bzr diff -r ancestor:...``
174
 
  - ``bzr merge``
175
 
 
176
 
- When it's time to create your next branch, it's more convenient.  When you
177
 
  have further contributions to make, you should do them in their own branch::
178
 
 
179
 
    $ cd ~/bzr
180
 
    $ bzr branch bzr.dev additional_fixes
181
 
    $ cd additional_fixes # hack, hack, hack
182
 
 
 
76
Looking for a 10 minute introduction to submitting a change?
 
77
See http://bazaar-vcs.org/BzrGivingBack.
 
78
 
 
79
TODO: Merge that Wiki page into this document.
183
80
 
184
81
 
185
82
Understanding the Development Process
204
101
 
205
102
* Bazaar - http://bazaar-vcs.org/
206
103
 
 
104
* Bundle Buggy - http://bundlebuggy.aaronbentley.com/
 
105
 
207
106
* Patch Queue Manager - https://launchpad.net/pqm/
208
107
 
209
 
For further information, see <http://wiki.bazaar.canonical.com/BzrDevelopment>.
 
108
For further information, see http://bazaar-vcs.org/BzrDevelopment.
210
109
 
211
110
 
212
111
 
224
123
 
225
124
* create a local copy of the main development branch (bzr.dev) by using
226
125
  this command::
227
 
 
 
126
  
228
127
    bzr branch http://bazaar-vcs.org/bzr/bzr.dev/ bzr.dev
229
 
 
230
 
* keep your copy of bzr.dev pristine (by not developing in it) and keep
 
128
   
 
129
* keep your copy of bzr.dev prestine (by not developing in it) and keep
231
130
  it up to date (by using bzr pull)
232
131
 
233
132
* create a new branch off your local bzr.dev copy for each issue
235
134
 
236
135
This approach makes it easy to go back and make any required changes
237
136
after a code review. Resubmitting the change is then simple with no
238
 
risk of accidentally including edits related to other issues you may
 
137
risk of accidentially including edits related to other issues you may
239
138
be working on. After the changes for an issue are accepted and merged,
240
139
the associated branch can be deleted or archived as you wish.
241
140
 
253
152
 
254
153
README
255
154
    This file covers a brief introduction to Bazaar and lists some of its
256
 
    key features.
 
155
    key features. 
257
156
 
258
157
NEWS
259
 
    Summary of changes in each Bazaar release that can affect users or
 
158
    Summary of changes in each Bazaar release that can affect users or 
260
159
    plugin developers.
261
160
 
262
161
setup.py
268
167
    with this but don't be confused by it. The build process puts a copy
269
168
    of the main code base into this build directory, along with some other
270
169
    files. You don't need to go in here for anything discussed in this
271
 
    guide.
 
170
    guide. 
272
171
 
273
172
bzrlib
274
173
    Possibly the most exciting folder of all, bzrlib holds the main code
279
178
    Holds documentation on a whole range of things on Bazaar from the
280
179
    origination of ideas within the project to information on Bazaar
281
180
    features and use cases.  Within this directory there is a subdirectory
282
 
    for each translation into a human language.  All the documentation
 
181
    for each translation into a human language.  All the documentation 
283
182
    is in the ReStructuredText markup language.
284
183
 
285
 
doc/developers
286
 
    Documentation specifically targeted at Bazaar and plugin developers.
 
184
doc/developers 
 
185
    Documentation specifically targetted at Bazaar and plugin developers.
287
186
    (Including this document.)
288
 
 
289
 
 
290
 
 
291
 
Automatically-generated API reference information is available at
292
 
<http://starship.python.net/crew/mwh/bzrlibapi/>.
293
 
 
294
 
See also the `Bazaar Architectural Overview
295
 
<http://doc.bazaar-vcs.org/developers/overview.html>`_.
 
187
    
 
188
        
 
189
 
 
190
Automatically-generated API reference information is available at 
 
191
<http://starship.python.net/crew/mwh/bzrlibapi/>.  
 
192
 
 
193
See also the `Bazaar Architectural Overview  <../../developers/overview.html>`_.
 
194
 
 
195
 
 
196
The Code Review Process
 
197
#######################
 
198
 
 
199
All code changes coming in to Bazaar are reviewed by someone else.
 
200
Normally changes by core contributors are reviewed by one other core
 
201
developer, and changes from other people are reviewed by two core
 
202
developers.  Use intelligent discretion if the patch is trivial.
 
203
 
 
204
Good reviews do take time. They also regularly require a solid
 
205
understanding of the overall code base. In practice, this means a small
 
206
number of people often have a large review burden - with knowledge comes
 
207
responsibility. No one like their merge requests sitting in a queue going
 
208
nowhere, so reviewing sooner rather than later is strongly encouraged.
 
209
 
 
210
 
 
211
 
 
212
Sending patches for review
 
213
==========================
 
214
 
 
215
If you'd like to propose a change, please post to the
 
216
bazaar@lists.canonical.com list with a bundle, patch, or link to a
 
217
branch. Put ``[PATCH]`` or ``[MERGE]`` in the subject so Bundle Buggy
 
218
can pick it out, and explain the change in the email message text.
 
219
Remember to update the NEWS file as part of your change if it makes any
 
220
changes visible to users or plugin developers. Please include a diff
 
221
against mainline if you're giving a link to a branch.
 
222
 
 
223
You can generate a merge request like this::
 
224
 
 
225
  bzr send -o bug-1234.patch
 
226
  
 
227
A ``.patch`` extension is recommended instead of .bundle as many mail clients
 
228
will send the latter as a binary file.
 
229
 
 
230
``bzr send`` can also send mail directly if you prefer; see the help.
 
231
 
 
232
Please do **NOT** put [PATCH] or [MERGE] in the subject line if you don't
 
233
want it to be merged. If you want comments from developers rather than
 
234
to be merged, you can put ``[RFC]`` in the subject line.
 
235
 
 
236
If this change addresses a bug, please put the bug number in the subject
 
237
line too, in the form ``[#1]`` so that Bundle Buggy can recognize it.
 
238
 
 
239
If the change is intended for a particular release mark that in the
 
240
subject too, e.g. ``[1.6]``.
 
241
 
 
242
 
 
243
Review cover letters
 
244
====================
 
245
 
 
246
Please put a "cover letter" on your merge request explaining:
 
247
 
 
248
* the reason **why** you're making this change
 
249
 
 
250
* **how** this change achieves this purpose
 
251
 
 
252
* anything else you may have fixed in passing 
 
253
 
 
254
* anything significant that you thought of doing, such as a more
 
255
  extensive fix or a different approach, but didn't or couldn't do now
 
256
 
 
257
A good cover letter makes reviewers' lives easier because they can decide
 
258
from the letter whether they agree with the purpose and approach, and then
 
259
assess whether the patch actually does what the cover letter says.
 
260
Explaining any "drive-by fixes" or roads not taken may also avoid queries
 
261
from the reviewer.  All in all this should give faster and better reviews.
 
262
Sometimes writing the cover letter helps the submitter realize something
 
263
else they need to do.  The size of the cover letter should be proportional
 
264
to the size and complexity of the patch.
 
265
 
 
266
 
 
267
Reviewing proposed changes
 
268
==========================
 
269
 
 
270
Anyone is welcome to review code, and reply to the thread with their
 
271
opinion or comments.
 
272
 
 
273
The simplest way to review a proposed change is to just read the patch on
 
274
the list or in Bundle Buggy.  For more complex changes it may be useful
 
275
to make a new working tree or branch from trunk, and merge the proposed
 
276
change into it, so you can experiment with the code or look at a wider
 
277
context.
 
278
 
 
279
There are three main requirements for code to get in:
 
280
 
 
281
* Doesn't reduce test coverage: if it adds new methods or commands,
 
282
  there should be tests for them.  There is a good test framework
 
283
  and plenty of examples to crib from, but if you are having trouble
 
284
  working out how to test something feel free to post a draft patch
 
285
  and ask for help.
 
286
 
 
287
* Doesn't reduce design clarity, such as by entangling objects
 
288
  we're trying to separate.  This is mostly something the more
 
289
  experienced reviewers need to help check.
 
290
 
 
291
* Improves bugs, features, speed, or code simplicity.
 
292
 
 
293
Code that goes in should not degrade any of these aspects.  Patches are
 
294
welcome that only cleanup the code without changing the external
 
295
behaviour.  The core developers take care to keep the code quality high
 
296
and understandable while recognising that perfect is sometimes the enemy
 
297
of good. 
 
298
 
 
299
It is easy for reviews to make people notice other things which should be
 
300
fixed but those things should not hold up the original fix being accepted.
 
301
New things can easily be recorded in the Bug Tracker instead.
 
302
 
 
303
It's normally much easier to review several smaller patches than one large
 
304
one.  You might want to use ``bzr-loom`` to maintain threads of related
 
305
work, or submit a preparatory patch that will make your "real" change
 
306
easier.
 
307
 
 
308
 
 
309
Checklist for reviewers
 
310
=======================
 
311
 
 
312
* Do you understand what the code's doing and why?
 
313
 
 
314
* Will it perform reasonably for large inputs, both in memory size and
 
315
  run time?  Are there some scenarios where performance should be
 
316
  measured?
 
317
 
 
318
* Is it tested, and are the tests at the right level?  Are there both
 
319
  blackbox (command-line level) and API-oriented tests?
 
320
 
 
321
* If this change will be visible to end users or API users, is it
 
322
  appropriately documented in NEWS?
 
323
 
 
324
* Does it meet the coding standards below?
 
325
 
 
326
* If it changes the user-visible behaviour, does it update the help
 
327
  strings and user documentation?
 
328
 
 
329
* If it adds a new major concept or standard practice, does it update the
 
330
  developer documentation?
 
331
 
 
332
* (your ideas here...)
 
333
 
 
334
 
 
335
Bundle Buggy and review outcomes
 
336
================================
 
337
 
 
338
Anyone can "vote" on the mailing list by expressing an opinion. Core
 
339
developers can also vote using Bundle Buggy. Here are the voting codes and
 
340
their explanations.
 
341
 
 
342
:approve:  Reviewer wants this submission merged.
 
343
:tweak:    Reviewer wants this submission merged with small changes. (No
 
344
  re-review required.)
 
345
:abstain:  Reviewer does not intend to vote on this patch.
 
346
:resubmit: Please make changes and resubmit for review.
 
347
:reject:   Reviewer doesn't want this kind of change merged.
 
348
:comment:  Not really a vote. Reviewer just wants to comment, for now.
 
349
 
 
350
If a change gets two approvals from core reviewers, and no rejections,
 
351
then it's OK to come in.  Any of the core developers can bring it into the
 
352
bzr.dev trunk and backport it to maintenance branches if required.  The
 
353
Release Manager will merge the change into the branch for a pending
 
354
release, if any. As a guideline, core developers usually merge their own
 
355
changes and volunteer to merge other contributions if they were the second
 
356
reviewer to agree to a change.
 
357
 
 
358
To track the progress of proposed changes, use Bundle Buggy. See
 
359
http://bundlebuggy.aaronbentley.com/help for a link to all the
 
360
outstanding merge requests together with an explanation of the columns.
 
361
Bundle Buggy will also mail you a link to track just your change.
 
362
 
 
363
Coding Style Guidelines
 
364
#######################
 
365
 
 
366
hasattr and getattr
 
367
===================
 
368
 
 
369
``hasattr`` should not be used because it swallows exceptions including
 
370
``KeyboardInterrupt``.  Instead, say something like ::
 
371
 
 
372
  if getattr(thing, 'name', None) is None
 
373
 
 
374
 
 
375
Code layout
 
376
===========
 
377
 
 
378
Please write PEP-8__ compliant code.  
 
379
 
 
380
__ http://www.python.org/peps/pep-0008.html
 
381
 
 
382
One often-missed requirement is that the first line of docstrings
 
383
should be a self-contained one-sentence summary.
 
384
 
 
385
We use 4 space indents for blocks, and never use tab characters.  (In vim,
 
386
``set expandtab``.)
 
387
 
 
388
No trailing white space is allowed.
 
389
 
 
390
Unix style newlines (LF) are used.
 
391
 
 
392
Each file must have a newline at the end of it.
 
393
 
 
394
Lines should be no more than 79 characters if at all possible.
 
395
Lines that continue a long statement may be indented in either of 
 
396
two ways:
 
397
 
 
398
within the parenthesis or other character that opens the block, e.g.::
 
399
 
 
400
    my_long_method(arg1,
 
401
                   arg2,
 
402
                   arg3)
 
403
 
 
404
or indented by four spaces::
 
405
 
 
406
    my_long_method(arg1,
 
407
        arg2,
 
408
        arg3)
 
409
 
 
410
The first is considered clearer by some people; however it can be a bit
 
411
harder to maintain (e.g. when the method name changes), and it does not
 
412
work well if the relevant parenthesis is already far to the right.  Avoid
 
413
this::
 
414
 
 
415
     self.legbone.kneebone.shinbone.toebone.shake_it(one,
 
416
                                                     two,
 
417
                                                     three)
 
418
 
 
419
but rather ::
 
420
 
 
421
     self.legbone.kneebone.shinbone.toebone.shake_it(one,
 
422
         two,
 
423
         three)
 
424
 
 
425
or ::
 
426
 
 
427
     self.legbone.kneebone.shinbone.toebone.shake_it(
 
428
         one, two, three)
 
429
 
 
430
For long lists, we like to add a trailing comma and put the closing
 
431
character on the following line.  This makes it easier to add new items in
 
432
future::
 
433
 
 
434
    from bzrlib.goo import (
 
435
        jam,
 
436
        jelly,
 
437
        marmalade,
 
438
        )
 
439
 
 
440
There should be spaces between function paramaters, but not between the
 
441
keyword name and the value::
 
442
 
 
443
    call(1, 3, cheese=quark)
 
444
 
 
445
In emacs::
 
446
 
 
447
    ;(defface my-invalid-face
 
448
    ;  '((t (:background "Red" :underline t)))
 
449
    ;  "Face used to highlight invalid constructs or other uglyties"
 
450
    ;  )
 
451
 
 
452
    (defun my-python-mode-hook ()
 
453
     ;; setup preferred indentation style.
 
454
     (setq fill-column 79)
 
455
     (setq indent-tabs-mode nil) ; no tabs, never, I will not repeat
 
456
    ;  (font-lock-add-keywords 'python-mode
 
457
    ;                         '(("^\\s *\t" . 'my-invalid-face) ; Leading tabs
 
458
    ;                            ("[ \t]+$" . 'my-invalid-face)  ; Trailing spaces
 
459
    ;                            ("^[ \t]+$" . 'my-invalid-face)); Spaces only
 
460
    ;                          )
 
461
     )
 
462
 
 
463
    (add-hook 'python-mode-hook 'my-python-mode-hook)
 
464
 
 
465
The lines beginning with ';' are comments. They can be activated
 
466
if one want to have a strong notice of some tab/space usage
 
467
violations.
 
468
 
 
469
 
 
470
Module Imports
 
471
==============
 
472
 
 
473
* Imports should be done at the top-level of the file, unless there is
 
474
  a strong reason to have them lazily loaded when a particular
 
475
  function runs.  Import statements have a cost, so try to make sure
 
476
  they don't run inside hot functions.
 
477
 
 
478
* Module names should always be given fully-qualified,
 
479
  i.e. ``bzrlib.hashcache`` not just ``hashcache``.
 
480
 
 
481
 
 
482
Naming
 
483
======
 
484
 
 
485
Functions, methods or members that are "private" to bzrlib are given
 
486
a leading underscore prefix.  Names without a leading underscore are
 
487
public not just across modules but to programmers using bzrlib as an
 
488
API. As a consequence, a leading underscore is appropriate for names
 
489
exposed across modules but that are not to be exposed to bzrlib API
 
490
programmers.
 
491
 
 
492
We prefer class names to be concatenated capital words (``TestCase``)
 
493
and variables, methods and functions to be lowercase words joined by
 
494
underscores (``revision_id``, ``get_revision``).
 
495
 
 
496
For the purposes of naming some names are treated as single compound
 
497
words: "filename", "revno".
 
498
 
 
499
Consider naming classes as nouns and functions/methods as verbs.
 
500
 
 
501
Try to avoid using abbreviations in names, because there can be
 
502
inconsistency if other people use the full name.
 
503
 
 
504
 
 
505
Standard Names
 
506
==============
 
507
 
 
508
``revision_id`` not ``rev_id`` or ``revid``
 
509
 
 
510
Functions that transform one thing to another should be named ``x_to_y``
 
511
(not ``x2y`` as occurs in some old code.)
 
512
 
 
513
 
 
514
Destructors
 
515
===========
 
516
 
 
517
Python destructors (``__del__``) work differently to those of other
 
518
languages.  In particular, bear in mind that destructors may be called
 
519
immediately when the object apparently becomes unreferenced, or at some
 
520
later time, or possibly never at all.  Therefore we have restrictions on
 
521
what can be done inside them.
 
522
 
 
523
 0. If you think you need to use a ``__del__`` method ask another
 
524
    developer for alternatives.  If you do need to use one, explain
 
525
    why in a comment.
 
526
 
 
527
 1. Never rely on a ``__del__`` method running.  If there is code that
 
528
    must run, do it from a ``finally`` block instead.
 
529
 
 
530
 2. Never ``import`` from inside a ``__del__`` method, or you may crash the
 
531
    interpreter!!
 
532
 
 
533
 3. In some places we raise a warning from the destructor if the object
 
534
    has not been cleaned up or closed.  This is considered OK: the warning
 
535
    may not catch every case but it's still useful sometimes.
 
536
 
 
537
 
 
538
Factories
 
539
=========
 
540
 
 
541
In some places we have variables which point to callables that construct
 
542
new instances.  That is to say, they can be used a lot like class objects,
 
543
but they shouldn't be *named* like classes:
 
544
 
 
545
> I think that things named FooBar should create instances of FooBar when
 
546
> called. Its plain confusing for them to do otherwise. When we have
 
547
> something that is going to be used as a class - that is, checked for via
 
548
> isinstance or other such idioms, them I would call it foo_class, so that
 
549
> it is clear that a callable is not sufficient. If it is only used as a
 
550
> factory, then yes, foo_factory is what I would use.
 
551
 
 
552
 
 
553
Registries
 
554
==========
 
555
 
 
556
Several places in Bazaar use (or will use) a registry, which is a 
 
557
mapping from names to objects or classes.  The registry allows for 
 
558
loading in registered code only when it's needed, and keeping
 
559
associated information such as a help string or description.
 
560
 
 
561
 
 
562
InterObject and multiple dispatch
 
563
=================================
 
564
 
 
565
The ``InterObject`` provides for two-way `multiple dispatch`__: matching
 
566
up for example a source and destination repository to find the right way
 
567
to transfer data between them. 
 
568
 
 
569
.. __: http://en.wikipedia.org/wiki/Multiple_dispatch
 
570
 
 
571
There is a subclass ``InterObject`` classes for each type of object that is
 
572
dispatched this way, e.g. ``InterRepository``.  Calling ``.get()`` on this
 
573
class will return an ``InterObject`` instance providing the best match for 
 
574
those parameters, and this instance then has methods for operations
 
575
between the objects.
 
576
 
 
577
  inter = InterRepository.get(source_repo, target_repo)
 
578
  inter.fetch(revision_id)
 
579
 
 
580
``InterRepository`` also acts as a registry-like object for its
 
581
subclasses, and they can be added through ``.register_optimizer``.  The
 
582
right one to run is selected by asking each class, in reverse order of
 
583
registration, whether it ``.is_compatible`` with the relevant objects.
 
584
 
 
585
Lazy Imports
 
586
============
 
587
 
 
588
To make startup time faster, we use the ``bzrlib.lazy_import`` module to
 
589
delay importing modules until they are actually used. ``lazy_import`` uses
 
590
the same syntax as regular python imports. So to import a few modules in a
 
591
lazy fashion do::
 
592
 
 
593
  from bzrlib.lazy_import import lazy_import
 
594
  lazy_import(globals(), """
 
595
  import os
 
596
  import subprocess
 
597
  import sys
 
598
  import time
 
599
 
 
600
  from bzrlib import (
 
601
     errors,
 
602
     transport,
 
603
     revision as _mod_revision,
 
604
     )
 
605
  import bzrlib.transport
 
606
  import bzrlib.xml5
 
607
  """)
 
608
 
 
609
At this point, all of these exist as a ``ImportReplacer`` object, ready to
 
610
be imported once a member is accessed. Also, when importing a module into
 
611
the local namespace, which is likely to clash with variable names, it is
 
612
recommended to prefix it as ``_mod_<module>``. This makes it clearer that
 
613
the variable is a module, and these object should be hidden anyway, since
 
614
they shouldn't be imported into other namespaces.
 
615
 
 
616
While it is possible for ``lazy_import()`` to import members of a module
 
617
when using the ``from module import member`` syntax, it is recommended to
 
618
only use that syntax to load sub modules ``from module import submodule``.
 
619
This is because variables and classes can frequently be used without
 
620
needing a sub-member for example::
 
621
 
 
622
  lazy_import(globals(), """
 
623
  from module import MyClass
 
624
  """)
 
625
 
 
626
  def test(x):
 
627
      return isinstance(x, MyClass)
 
628
 
 
629
This will incorrectly fail, because ``MyClass`` is a ``ImportReplacer``
 
630
object, rather than the real class.
 
631
 
 
632
It also is incorrect to assign ``ImportReplacer`` objects to other variables.
 
633
Because the replacer only knows about the original name, it is unable to
 
634
replace other variables. The ``ImportReplacer`` class will raise an
 
635
``IllegalUseOfScopeReplacer`` exception if it can figure out that this
 
636
happened. But it requires accessing a member more than once from the new
 
637
variable, so some bugs are not detected right away.
 
638
 
 
639
 
 
640
The Null revision
 
641
=================
 
642
 
 
643
The null revision is the ancestor of all revisions.  Its revno is 0, its
 
644
revision-id is ``null:``, and its tree is the empty tree.  When referring
 
645
to the null revision, please use ``bzrlib.revision.NULL_REVISION``.  Old
 
646
code sometimes uses ``None`` for the null revision, but this practice is
 
647
being phased out.
 
648
 
 
649
 
 
650
Object string representations
 
651
=============================
 
652
 
 
653
Python prints objects using their ``__repr__`` method when they are
 
654
written to logs, exception tracebacks, or the debugger.  We want
 
655
objects to have useful representations to help in determining what went
 
656
wrong.
 
657
 
 
658
If you add a new class you should generally add a ``__repr__`` method
 
659
unless there is an adequate method in a parent class.  There should be a
 
660
test for the repr.  
 
661
 
 
662
Representations should typically look like Python constructor syntax, but
 
663
they don't need to include every value in the object and they don't need
 
664
to be able to actually execute.  They're to be read by humans, not
 
665
machines.  Don't hardcode the classname in the format, so that we get the
 
666
correct value if the method is inherited by a subclass.  If you're
 
667
printing attributes of the object, including strings, you should normally
 
668
use ``%r`` syntax (to call their repr in turn).
 
669
 
 
670
Try to avoid the representation becoming more than one or two lines long.
 
671
(But balance this against including useful information, and simplicity of
 
672
implementation.)
 
673
 
 
674
Because repr methods are often called when something has already gone
 
675
wrong, they should be written somewhat more defensively than most code.
 
676
The object may be half-initialized or in some other way in an illegal
 
677
state.  The repr method shouldn't raise an exception, or it may hide the
 
678
(probably more useful) underlying exception.
 
679
 
 
680
Example::
 
681
 
 
682
    def __repr__(self):
 
683
        return '%s(%r)' % (self.__class__.__name__,
 
684
                           self._transport)
 
685
 
 
686
 
 
687
Exception handling
 
688
==================
 
689
 
 
690
A bare ``except`` statement will catch all exceptions, including ones that
 
691
really should terminate the program such as ``MemoryError`` and
 
692
``KeyboardInterrupt``.  They should rarely be used unless the exception is
 
693
later re-raised.  Even then, think about whether catching just
 
694
``Exception`` (which excludes system errors in Python2.5 and later) would
 
695
be better.
 
696
 
 
697
 
 
698
Test coverage
 
699
=============
 
700
 
 
701
All code should be exercised by the test suite.  See `Guide to Testing
 
702
Bazaar <../../developers/testing.html>`_ for detailed information about writing tests.
296
703
 
297
704
 
298
705
Core Topics
301
708
Evolving Interfaces
302
709
===================
303
710
 
304
 
We don't change APIs in stable branches: any supported symbol in a stable
305
 
release of bzr must not be altered in any way that would result in
 
711
We have a commitment to 6 months API stability - any supported symbol in a
 
712
release of bzr MUST NOT be altered in any way that would result in
306
713
breaking existing code that uses it. That means that method names,
307
714
parameter ordering, parameter names, variable and attribute names etc must
308
715
not be changed without leaving a 'deprecated forwarder' behind. This even
312
719
way, you need to change its name as well. For instance, if I add an optional keyword
313
720
parameter to branch.commit - that's fine. On the other hand, if I add a
314
721
keyword parameter to branch.commit which is a *required* transaction
315
 
object, I should rename the API - i.e. to 'branch.commit_transaction'.
316
 
 
317
 
  (Actually, that may break code that provides a new implementation of
318
 
  ``commit`` and doesn't expect to receive the parameter.)
 
722
object, I should rename the API - i.e. to 'branch.commit_transaction'. 
319
723
 
320
724
When renaming such supported API's, be sure to leave a deprecated_method (or
321
725
_function or ...) behind which forwards to the new API. See the
322
726
bzrlib.symbol_versioning module for decorators that take care of the
323
727
details for you - such as updating the docstring, and issuing a warning
324
 
when the old API is used.
 
728
when the old api is used.
325
729
 
326
730
For unsupported API's, it does not hurt to follow this discipline, but it's
327
731
not required. Minimally though, please try to rename things so that
444
848
The user should call `finish` on the `ProgressTask` when the logical
445
849
operation has finished, so it can be removed from the stack.
446
850
 
447
 
Progress tasks have a complex relationship with generators: it's a very
 
851
Progress tasks have a complex relatioship with generators: it's a very
448
852
good place to use them, but because python2.4 does not allow ``finally``
449
853
blocks in generators it's hard to clean them up properly.  In this case
450
854
it's probably better to have the code calling the generator allocate a
454
858
time until the finally block runs.
455
859
 
456
860
 
457
 
Message guidelines
458
 
------------------
459
 
 
460
 
When filenames or similar variables are presented inline within a message,
461
 
they should be enclosed in double quotes (ascii 0x22, not chiral unicode
462
 
quotes)::
463
 
 
464
 
  bzr: ERROR: No such file "asdf"
465
 
 
466
 
When we print just a list of filenames there should not be any quoting:
467
 
see `bug 544297`_.
468
 
 
469
 
.. _bug 544297: https://bugs.launchpad.net/bugs/544297
470
 
 
471
 
https://wiki.ubuntu.com/UnitsPolicy provides a good explanation about
472
 
which unit should be used when. Roughly speaking, IEC standard applies
473
 
for base-2 units and SI standard applies for base-10 units:
474
 
 
475
 
* for network bandwidth and disk sizes, use base-10 (Mbits/s, kB/s, GB)
476
 
 
477
 
* for RAM sizes, use base-2 (GiB, TiB)
478
 
 
479
 
 
480
 
 
481
861
Displaying help
482
862
===============
483
863
 
486
866
and on other help topics.  (See ``help_topics.py``.)
487
867
 
488
868
As for python docstrings, the first paragraph should be a single-sentence
489
 
synopsis of the command. These are user-visible and should be prefixed with
490
 
``__doc__ =`` so help works under ``python -OO`` with docstrings stripped.
 
869
synopsis of the command.
491
870
 
492
871
The help for options should be one or more proper sentences, starting with
493
872
a capital letter and finishing with a full stop (period).
507
886
 
508
887
    0. OK.
509
888
    1. Conflicts in merge-like operations, or changes are present in
510
 
       diff-like operations.
511
 
    2. Unrepresentable diff changes (i.e. binary files that we cannot show
 
889
       diff-like operations. 
 
890
    2. Unrepresentable diff changes (i.e. binary files that we cannot show 
512
891
       a diff of).
513
892
    3. An error or exception has occurred.
514
893
    4. An internal error occurred (one that shows a traceback.)
545
924
format string.
546
925
 
547
926
#. If it is something that a caller can recover from, a custom exception
548
 
   is reasonable.
 
927
   is reasonable. 
549
928
 
550
929
#. If it is a data consistency issue, using a builtin like
551
 
   ``ValueError``/``TypeError`` is reasonable.
 
930
   ``ValueError``/``TypeError`` is reasonable. 
552
931
 
553
932
#. If it is a programmer error (using an api incorrectly)
554
 
   ``AssertionError`` is reasonable.
 
933
   ``AssertionError`` is reasonable. 
555
934
 
556
935
#. Otherwise, use ``BzrError`` or ``InternalBzrError``.
557
936
 
559
938
final fullstop.  If long, they may contain newlines to break the text.
560
939
 
561
940
 
 
941
Assertions
 
942
==========
 
943
 
 
944
Do not use the Python ``assert`` statement, either in tests or elsewhere.
 
945
A source test checks that it is not used.  It is ok to explicitly raise
 
946
AssertionError.
 
947
 
 
948
Rationale:
 
949
 
 
950
 * It makes the behaviour vary depending on whether bzr is run with -O
 
951
   or not, therefore giving a chance for bugs that occur in one case or
 
952
   the other, several of which have already occurred: assertions with
 
953
   side effects, code which can't continue unless the assertion passes,
 
954
   cases where we should give the user a proper message rather than an
 
955
   assertion failure.
 
956
 * It's not that much shorter than an explicit if/raise.
 
957
 * It tends to lead to fuzzy thinking about whether the check is
 
958
   actually needed or not, and whether it's an internal error or not
 
959
 * It tends to cause look-before-you-leap patterns.
 
960
 * It's unsafe if the check is needed to protect the integrity of the
 
961
   user's data.
 
962
 * It tends to give poor messages since the developer can get by with
 
963
   no explanatory text at all.
 
964
 * We can't rely on people always running with -O in normal use, so we
 
965
   can't use it for tests that are actually expensive.
 
966
 * Expensive checks that help developers are better turned on from the
 
967
   test suite or a -D flag.
 
968
 * If used instead of ``self.assert*()`` in tests it makes them falsely pass with -O.
 
969
 
562
970
 
563
971
Documenting Changes
564
972
===================
581
989
Within each release, entries in the news file should have the most
582
990
user-visible changes first.  So the order should be approximately:
583
991
 
584
 
 * changes to existing behaviour - the highest priority because the
 
992
 * changes to existing behaviour - the highest priority because the 
585
993
   user's existing knowledge is incorrect
586
994
 * new features - should be brought to their attention
587
995
 * bug fixes - may be of interest if the bug was affecting them, and
588
996
   should include the bug number if any
589
 
 * major documentation changes, including fixed documentation bugs
 
997
 * major documentation changes
590
998
 * changes to internal interfaces
591
999
 
592
1000
People who made significant contributions to each change are listed in
593
1001
parenthesis.  This can include reporting bugs (particularly with good
594
1002
details or reproduction recipes), submitting patches, etc.
595
1003
 
596
 
To help with merging, NEWS entries should be sorted lexicographically
597
 
within each section.
598
 
 
599
1004
Commands
600
1005
--------
601
1006
 
609
1014
-----------------
610
1015
 
611
1016
Functions, methods, classes and modules should have docstrings
612
 
describing how they are used.
 
1017
describing how they are used. 
613
1018
 
614
1019
The first line of the docstring should be a self-contained sentence.
615
1020
 
640
1045
    We had the problem that lots of our files were "Copyright Canonical
641
1046
    Development Ltd" which is not a real company, and some other variations
642
1047
    on this theme. Also, some files were missing the GPL statements.
643
 
 
 
1048
    
644
1049
    I want to be clear about the intent of this patch, since copyright can
645
1050
    be a little controversial.
646
 
 
 
1051
    
647
1052
    1) The big motivation for this is not to shut out the community, but
648
1053
    just to clean up all of the invalid copyright statements.
649
 
 
 
1054
    
650
1055
    2) It has been the general policy for bzr that we want a single
651
1056
    copyright holder for all of the core code. This is following the model
652
1057
    set by the FSF, which makes it easier to update the code to a new
659
1064
    I'm sure Canonical would do the same).
660
1065
    As such, Canonical has requested copyright assignments from all of the
661
1066
    major contributers.
662
 
 
 
1067
    
663
1068
    3) If someone wants to add code and not attribute it to Canonical, there
664
1069
    is a specific list of files that are excluded from this check. And the
665
1070
    test failure indicates where that is, and how to update it.
666
 
 
 
1071
    
667
1072
    4) If anyone feels that I changed a copyright statement incorrectly, just
668
1073
    let me know, and I'll be happy to correct it. Whenever you have large
669
1074
    mechanical changes like this, it is possible to make some mistakes.
670
 
 
 
1075
    
671
1076
    Just to reiterate, this is a community project, and it is meant to stay
672
1077
    that way. Core bzr code is copyright Canonical for legal reasons, and
673
1078
    the tests are just there to help us maintain that.
684
1089
 
685
1090
.. _pdb: http://docs.python.org/lib/debugger-commands.html
686
1091
 
687
 
If the ``BZR_PDB`` environment variable is set
 
1092
If the ``BZR_PDB`` environment variable is set 
688
1093
then bzr will go into pdb post-mortem mode when an unhandled exception
689
1094
occurs.
690
1095
 
691
 
If you send a SIGQUIT or SIGBREAK signal to bzr then it will drop into the
692
 
debugger immediately. SIGQUIT can be generated by pressing Ctrl-\\ on
693
 
Unix.  SIGBREAK is generated with Ctrl-Pause on Windows (some laptops have
694
 
this as Fn-Pause).  You can continue execution by typing ``c``.  This can
695
 
be disabled if necessary by setting the environment variable
696
 
``BZR_SIGQUIT_PDB=0``.
 
1096
If you send a SIGQUIT signal to bzr, which can be done by pressing
 
1097
Ctrl-\\ on Unix, bzr will go into the debugger immediately.  You can
 
1098
continue execution by typing ``c``.  This can be disabled if necessary
 
1099
by setting the environment variable ``BZR_SIGQUIT_PDB=0``.
697
1100
 
698
1101
 
699
1102
Debug Flags
752
1155
    for automated processing.
753
1156
    For example: ``bzr log`` should not fail if one of the entries has text
754
1157
    that cannot be displayed.
755
 
 
 
1158
  
756
1159
  strict
757
1160
    Attempting to print an unprintable character will cause a UnicodeError.
758
1161
    This is for commands that are intended more as scripting support, rather
759
1162
    than plain user review.
760
 
    For example: ``bzr ls`` is designed to be used with shell scripting. One
761
 
    use would be ``bzr ls --null --unknowns | xargs -0 rm``.  If ``bzr``
 
1163
    For exampl: ``bzr ls`` is designed to be used with shell scripting. One
 
1164
    use would be ``bzr ls --null --unknows | xargs -0 rm``.  If ``bzr``
762
1165
    printed a filename with a '?', the wrong file could be deleted. (At the
763
1166
    very least, the correct file would not be deleted). An error is used to
764
1167
    indicate that the requested action could not be performed.
765
 
 
 
1168
  
766
1169
  exact
767
1170
    Do not attempt to automatically convert Unicode strings. This is used
768
1171
    for commands that must handle conversion themselves.
782
1185
valid characters are generated where possible.
783
1186
 
784
1187
 
 
1188
Portability Tips
 
1189
================
 
1190
 
 
1191
The ``bzrlib.osutils`` module has many useful helper functions, including
 
1192
some more portable variants of functions in the standard library.
 
1193
 
 
1194
In particular, don't use ``shutil.rmtree`` unless it's acceptable for it
 
1195
to fail on Windows if some files are readonly or still open elsewhere.
 
1196
Use ``bzrlib.osutils.rmtree`` instead.
 
1197
 
 
1198
 
785
1199
C Extension Modules
786
1200
===================
787
1201
 
805
1219
 
806
1220
To create an extension, add rules to setup.py for building it with pyrex,
807
1221
and with distutils. Now start with an empty .pyx file. At the top add
808
 
"include 'yourmodule.py'". This will import the contents of foo.py into this
 
1222
"include 'yourmodule.py'". This will import the contents of foo.py into this 
809
1223
file at build time - remember that only one module will be loaded at
810
1224
runtime. Now you can subclass classes, or replace functions, and only your
811
1225
changes need to be present in the .pyx file.
812
1226
 
813
1227
Note that pyrex does not support all 2.4 programming idioms, so some
814
 
syntax changes may be required. I.e.
 
1228
syntax changes may be required. I.e. 
815
1229
 
816
 
 - 'from foo import (bar, gam)' needs to change to not use the brackets.
817
 
 - 'import foo.bar as bar' needs to be 'import foo.bar; bar = foo.bar'
 
1230
 - 'from foo import (bar, gam)' needs to change to not use the brackets. 
 
1231
 - 'import foo.bar as bar' needs to be 'import foo.bar; bar = foo.bar' 
818
1232
 
819
1233
If the changes are too dramatic, consider
820
1234
maintaining the python code twice - once in the .pyx, and once in the .py,
844
1258
* reviewing changes
845
1259
* reviewing blueprints
846
1260
* planning releases
847
 
* managing releases (see `Releasing Bazaar <http://doc.bazaar-vcs.org/developers/releasing.html>`_)
 
1261
* managing releases (see the `Releasing Bazaar <../../developers/releasing.html>`_)
848
1262
 
849
1263
.. note::
850
1264
  Removing barriers to community participation is a key reason for adopting
1039
1453
results.
1040
1454
 
1041
1455
 
 
1456
Reviewing Blueprints
 
1457
====================
 
1458
 
 
1459
Blueprint Tracking Using Launchpad
 
1460
----------------------------------
 
1461
 
 
1462
New features typically require a fair amount of discussion, design and
 
1463
debate. For Bazaar, that information is often captured in a so-called
 
1464
"blueprint" on our Wiki. Overall tracking of blueprints and their status
 
1465
is done using Launchpad's relevant tracker,
 
1466
https://blueprints.launchpad.net/bzr/. Once a blueprint for ready for
 
1467
review, please announce it on the mailing list.
 
1468
 
 
1469
Alternatively, send an email begining with [RFC] with the proposal to the
 
1470
list. In some cases, you may wish to attach proposed code  or a proposed
 
1471
developer document if that best communicates the idea. Debate can then
 
1472
proceed using the normal merge review processes.
 
1473
 
 
1474
 
 
1475
Recording Blueprint Review Feedback
 
1476
-----------------------------------
 
1477
 
 
1478
Unlike its Bug Tracker, Launchpad's Blueprint Tracker doesn't currently
 
1479
(Jun 2007) support a chronological list of comment responses. Review
 
1480
feedback can either be recorded on the Wiki hosting the blueprints or by
 
1481
using Launchpad's whiteboard feature.
 
1482
 
 
1483
 
1042
1484
Planning Releases
1043
1485
=================
1044
1486
 
 
1487
Roadmaps
 
1488
--------
 
1489
 
 
1490
As the two senior developers, Martin Pool and Robert Collins coordinate
 
1491
the overall Bazaar product development roadmap. Core developers provide
 
1492
input and review into this, particularly during sprints. It's totally
 
1493
expected that community members ought to be working on things that
 
1494
interest them the most. The roadmap is valuable though because it provides
 
1495
context for understanding where the product is going as a whole and why.
 
1496
 
 
1497
 
 
1498
Using Releases and Milestones in Launchpad
 
1499
------------------------------------------
 
1500
 
 
1501
TODO ... (Exact policies still under discussion)
 
1502
 
1045
1503
 
1046
1504
Bug Triage
1047
1505
----------
1063
1521
.. note::
1064
1522
  As well as prioritizing bugs and nominating them against a
1065
1523
  target milestone, Launchpad lets core developers offer to mentor others in
1066
 
  fixing them.
 
1524
  fixing them. 
1067
1525
 
1068
1526
 
1069
1527
..